Re: [Talk-hr] Renderiranje je zapelo?
On 06.08.2018 18:09, Janko Mihelić wrote: Čini se da su se nove promjene počele renderirati, ali one stare treba pogurati sa /dirty naredbom. pon, 6. kol 2018. u 12:25 hbogner napisao je: Tile render serveri šalju renderirane podatke tile cache serverima kojih ima nešto više, te su oni zaduženi za slanje podataka u pojedine regije, Iz Zagreba ide za Pulu pa iz Pule dalje po RH i svijetu. Jel to znači da svi tile rendereri renderiraju sve promjene? Ili su se podijelili po regijama, da jedan renderira samo Europu, drugi samo Ameriku, i tako.. Janko ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr Hvala na prijavi problema, bitno da je rješeno :D Svi tile render serveri(5 servera, svi u EU) se ažuriraju sa glavne OSM baze i sadrže cijeli planet za svim zadnjim promjenama. Zoom lvl od 0-12 se na svim tile render serverima kompletno renderira za cijeli svijet, a lvl 13-19 se renderiraju on demand. Nema smisla sve renderirati zbog količine podataka i postotka pregleda tih podataka, evo tablice sa količinama i postotkom pregleda pojedinog zoom lvl-a pa će ti biti jasnije: https://wiki.openstreetmap.org/wiki/Tile_disk_usage Nitko od nas ne pristupa direktno tile render serverima, nego oni sve zahtjeve dobiju, te sve podatke vraćaju tile cache serverima. Tile cache serveri(21 server, većina u EU) su poveznica između korisnika i render servera. Ti otvoriš OSM kartu, te si ovisno o svojoj lokaciji preusmjeren na najbliži tile cache server. Njemu tvoj browser pošalje zahtjev za prikazom određenog dijela karte. Tile cache server provjeri ima li te podatke već kod sebe i koliko su stari. Ako ih ima i dovoljno su svježi prosljedi ti ih odmah. Ako ih ima, ali prestari su onda šalje zahtjev render serveru za novom verzijom. Ako nema te podatke onda šalje zahtjev render serveru za tim podatcima. Ovo je rapored tile cache servera po svijetu: https://dns.openstreetmap.org/tile.openstreetmap.org.html i država koje oni poslužuju. Dakle svi render serveri su sposobni renderirati cijeli svijet, ali renderiraju samo ono što tile cache serveri od njih zatraže, a to ovisi o korisnicima u državama koje tile cache serveri poslužuju. Naravno ovo je samo osnovni prikaz rada cjelog sustava, jer ispod haube ovo je puno kompleksnije. Nadam se da sam pomogao sa razjašnjenjem. Pozdrav, Hrvoje ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
Re: [Talk-hr] Renderiranje je zapelo?
Čini se da su se nove promjene počele renderirati, ali one stare treba pogurati sa /dirty naredbom. pon, 6. kol 2018. u 12:25 hbogner napisao je: > Tile render serveri šalju renderirane podatke tile cache serverima kojih > ima nešto više, te su oni zaduženi za slanje podataka u pojedine regije, > Iz Zagreba ide za Pulu pa iz Pule dalje po RH i svijetu. > > Jel to znači da svi tile rendereri renderiraju sve promjene? Ili su se podijelili po regijama, da jedan renderira samo Europu, drugi samo Ameriku, i tako.. Janko ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
Re: [Talk-hr] Renderiranje je zapelo?
On Mon, Aug 06, 2018 at 12:46:49PM +0200, hbogner wrote: > On 06.08.2018 12:40, Matija Nalis wrote: > > meni nema nista slikica na npr. > > https://munin.openstreetmap.org/openstreetmap/render.openstreetmap/openstreetmap.org/openstreetmap.org/scorch.openstreetmap.org/index.html#postgresql > > > Zadnji odegovor poslan smao Matiji zabunom, evo ponovno svima: > > Problem je sa novom verzijom koda, i sa procedurom za automatsko dirty > procesiranje starih tajlova. Riješit će se tokom dana/večeri kad developeri > preprave kod i operations ga deploya super, tnx > Baci pogled na ovaj link: > https://munin.openstreetmap.org/openstreetmap.org/scorch.openstreetmap.org/index.html#postgresql > > Mjenali su munin strukturu, pa moraš editirati bookmarke ok, popravio sam linkove na: https://wiki.openstreetmap.org/wiki/Platform_Status -- Opinions above are GNU-copylefted. ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
Re: [Talk-hr] Renderiranje je zapelo?
Pa, ni moja ostala 4 changeseta ocito nisu renderirana, a oni sadrzavaju puno vise tileova koje treba "obraditi", a i nisam jedini koji je editirao u HR, pa se nadam da ce developeri sto prije lansirati prepravljeni kod tj. proceduru za obradu starih tileova (thnx. Hrvoje!). Pozdrav Goran On Mon, Aug 6, 2018, 12:27 Matija Nalis wrote: > > ne pise da bi trebalo biti problema: > https://wiki.openstreetmap.org/wiki/Platform_Status > > ali https://twitter.com/osm_tech kaze da su 1.8.2018 primjetili da su > tile.osm.org serveri potkapicirani u sjevernoj americi zadnjih par > dana prije toga... nije da bi trebalo kvaciti nas u EU doduse... > > No ako pogledas u browseru pod view page info/media, pa pronadjes > problematicni tile, mozes dodati '/status' na njega pa ce reci sto se > dogadjalo, npr. na: > https://c.tile.openstreetmap.org/19/286313/192288.png > iz tog changeseta gdje bi trebao biti bench otvoris: > https://c.tile.openstreetmap.org/19/286313/192288.png/status > > koji kaze: > "Tile is clean. Last rendered at Sun Jul 29 08:38:15 2018. Last accessed > at Mon Aug 06 09:40:32 2018. Stored in file:///srv/ > tile.openstreetmap.org/tiles/default/19/66/94/239/98/128.meta > (Dates might not be accurate. Rendering time might be reset to an old date > for tile expiry. Access times might not be updated on all file systems)" > > a changset 61158827 od je 29.7 8:40:19 kaze, sto je cudno, jer je > trebao opet dirty-ati pa ga dati za rendering, a ne tvrditi da je "clean". > > rucno sam ga poslao sad na render: > https://c.tile.openstreetmap.org/19/286313/192288.png/dirty > > pa kaze par sekundi kasnije: > "Tile is clean. Last rendered at Mon Aug 06 10:22:12 2018. Last accessed > at Mon Aug 06 10:22:12 2018. Stored in file:///srv/ > tile.openstreetmap.org/tiles/default/19/66/94/239/98/128.meta" > > i sada se (nakon ctrl-f5 force refresh) ta klupica vidi. Tako da ne > izgleda da je do samog opterecenja renderera, nego kao da logika za > detekciju da li je bilo promjena je problematicna. > > > Imamo li jos primjera nerenderanih changeseta da mozemo napisati na > listu o problemu, jer definitivno izgleda kao problem? > > On Mon, Aug 06, 2018 at 11:57:47AM +0200, Goran Racic wrote: > > Pozdrav Janko! > > I ja sam primijetio da se nekoliko zadnjih edita uopce ne renderiraju, i > to > > jos od changeseta 61158827 ( > http://www.openstreetmap.org/changeset/61158827) > > kojega sam napravio jos pred 8 dana. Znam da Mapniku i slicnim renderima > > treba ponekad malo duze da provedu edite, ali ovo je ipak vec vise od > > tjedan dana. > > > > Pozdrav, > > Goran > > > > > > On Mon, Aug 6, 2018, 11:37 Janko Mihelić wrote: > > > > > Pozdrav kartografi! > > > Jel i vama OpenStreetMap prestao renderirati nove promjene? Već nekih > > > tjedan dana ne vidim promjene, a na glavnim mailing listama ne vidim da > > > itko piše o tome. > > > > > > (...) > > > > > > Janko > > ___ > > Talk-hr mailing list > > Talk-hr@openstreetmap.org > > https://lists.openstreetmap.org/listinfo/talk-hr > > -- > Opinions above are GNU-copylefted. > ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
Re: [Talk-hr] Renderiranje je zapelo?
On 06.08.2018 12:40, Matija Nalis wrote: On Mon, Aug 06, 2018 at 12:24:25PM +0200, hbogner wrote: Prijavio sma probleme, pa čekam odgovor. cool, tnx... BTW da li ikome rade munin statistike OSM servera? meni nema nista slikica na npr. https://munin.openstreetmap.org/openstreetmap/render.openstreetmap/openstreetmap.org/openstreetmap.org/scorch.openstreetmap.org/index.html#postgresql Zadnji odegovor poslan smao Matiji zabunom, evo ponovno svima: Problem je sa novom verzijom koda, i sa procedurom za automatsko dirty procesiranje starih tajlova. Riješit će se tokom dana/večeri kad developeri preprave kod i operations ga deploya Baci pogled na ovaj link: https://munin.openstreetmap.org/openstreetmap.org/scorch.openstreetmap.org/index.html#postgresql Mjenali su munin strukturu, pa moraš editirati bookmarke ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
Re: [Talk-hr] Renderiranje je zapelo?
On Mon, Aug 06, 2018 at 12:24:25PM +0200, hbogner wrote: > Prijavio sma probleme, pa čekam odgovor. cool, tnx... BTW da li ikome rade munin statistike OSM servera? meni nema nista slikica na npr. https://munin.openstreetmap.org/openstreetmap/render.openstreetmap/openstreetmap.org/openstreetmap.org/scorch.openstreetmap.org/index.html#postgresql -- Opinions above are GNU-copylefted. ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
Re: [Talk-hr] Renderiranje je zapelo?
ne pise da bi trebalo biti problema: https://wiki.openstreetmap.org/wiki/Platform_Status ali https://twitter.com/osm_tech kaze da su 1.8.2018 primjetili da su tile.osm.org serveri potkapicirani u sjevernoj americi zadnjih par dana prije toga... nije da bi trebalo kvaciti nas u EU doduse... No ako pogledas u browseru pod view page info/media, pa pronadjes problematicni tile, mozes dodati '/status' na njega pa ce reci sto se dogadjalo, npr. na: https://c.tile.openstreetmap.org/19/286313/192288.png iz tog changeseta gdje bi trebao biti bench otvoris: https://c.tile.openstreetmap.org/19/286313/192288.png/status koji kaze: "Tile is clean. Last rendered at Sun Jul 29 08:38:15 2018. Last accessed at Mon Aug 06 09:40:32 2018. Stored in file:///srv/tile.openstreetmap.org/tiles/default/19/66/94/239/98/128.meta (Dates might not be accurate. Rendering time might be reset to an old date for tile expiry. Access times might not be updated on all file systems)" a changset 61158827 od je 29.7 8:40:19 kaze, sto je cudno, jer je trebao opet dirty-ati pa ga dati za rendering, a ne tvrditi da je "clean". rucno sam ga poslao sad na render: https://c.tile.openstreetmap.org/19/286313/192288.png/dirty pa kaze par sekundi kasnije: "Tile is clean. Last rendered at Mon Aug 06 10:22:12 2018. Last accessed at Mon Aug 06 10:22:12 2018. Stored in file:///srv/tile.openstreetmap.org/tiles/default/19/66/94/239/98/128.meta" i sada se (nakon ctrl-f5 force refresh) ta klupica vidi. Tako da ne izgleda da je do samog opterecenja renderera, nego kao da logika za detekciju da li je bilo promjena je problematicna. Imamo li jos primjera nerenderanih changeseta da mozemo napisati na listu o problemu, jer definitivno izgleda kao problem? On Mon, Aug 06, 2018 at 11:57:47AM +0200, Goran Racic wrote: > Pozdrav Janko! > I ja sam primijetio da se nekoliko zadnjih edita uopce ne renderiraju, i to > jos od changeseta 61158827 (http://www.openstreetmap.org/changeset/61158827) > kojega sam napravio jos pred 8 dana. Znam da Mapniku i slicnim renderima > treba ponekad malo duze da provedu edite, ali ovo je ipak vec vise od > tjedan dana. > > Pozdrav, > Goran > > > On Mon, Aug 6, 2018, 11:37 Janko Mihelić wrote: > > > Pozdrav kartografi! > > Jel i vama OpenStreetMap prestao renderirati nove promjene? Već nekih > > tjedan dana ne vidim promjene, a na glavnim mailing listama ne vidim da > > itko piše o tome. > > > > (...) > > > > Janko > ___ > Talk-hr mailing list > Talk-hr@openstreetmap.org > https://lists.openstreetmap.org/listinfo/talk-hr -- Opinions above are GNU-copylefted. ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
Re: [Talk-hr] Renderiranje je zapelo?
On 06.08.2018 11:36, Janko Mihelić wrote: Pozdrav kartografi! Jel i vama OpenStreetMap prestao renderirati nove promjene? Već nekih tjedan dana ne vidim promjene, a na glavnim mailing listama ne vidim da itko piše o tome. I drugo pitanje, kako radi distribuirano renderiranje? Kod nas u Zagrebu imamo render server, pa me zanima kako to radi. Jel svaki server renderira svoju regiju, ili svaki server renderira svaku petu kockicu, ili kako? Janko ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr Pokrenut je tile render u zagrebu, ali još nije javno objavljeno, tek pišem tekst, jer još testiramo load na njemu. Render u Zagrebu je jedan od 5 servera na svijetu koji rade render, možda ih ostane samo 4 jer je plan ugasiti jedna koji nije održiv. Tile render serveri šalju renderirane podatke tile cache serverima kojih ima nešto više, te su oni zaduženi za slanje podataka u pojedine regije, Iz Zagreba ide za Pulu pa iz Pule dalje po RH i svijetu. Prijavio sma probleme, pa čekam odgovor. ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
Re: [Talk-hr] Renderiranje je zapelo?
Ni moje promjene koje sam napravio u josm nisu još na karti pon, 6. kol 2018. u 11:37 Janko Mihelić napisao je: > Pozdrav kartografi! > Jel i vama OpenStreetMap prestao renderirati nove promjene? Već nekih > tjedan dana ne vidim promjene, a na glavnim mailing listama ne vidim da > itko piše o tome. > > I drugo pitanje, kako radi distribuirano renderiranje? Kod nas u Zagrebu > imamo render server, pa me zanima kako to radi. Jel svaki server renderira > svoju regiju, ili svaki server renderira svaku petu kockicu, ili kako? > > Janko > ___ > Talk-hr mailing list > Talk-hr@openstreetmap.org > https://lists.openstreetmap.org/listinfo/talk-hr > ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
Re: [Talk-hr] Renderiranje je zapelo?
Pozdrav Janko! I ja sam primijetio da se nekoliko zadnjih edita uopce ne renderiraju, i to jos od changeseta 61158827 (http://www.openstreetmap.org/changeset/61158827) kojega sam napravio jos pred 8 dana. Znam da Mapniku i slicnim renderima treba ponekad malo duze da provedu edite, ali ovo je ipak vec vise od tjedan dana. Pozdrav, Goran On Mon, Aug 6, 2018, 11:37 Janko Mihelić wrote: > Pozdrav kartografi! > Jel i vama OpenStreetMap prestao renderirati nove promjene? Već nekih > tjedan dana ne vidim promjene, a na glavnim mailing listama ne vidim da > itko piše o tome. > > (...) > > Janko ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
[Talk-hr] Renderiranje je zapelo?
Pozdrav kartografi! Jel i vama OpenStreetMap prestao renderirati nove promjene? Već nekih tjedan dana ne vidim promjene, a na glavnim mailing listama ne vidim da itko piše o tome. I drugo pitanje, kako radi distribuirano renderiranje? Kod nas u Zagrebu imamo render server, pa me zanima kako to radi. Jel svaki server renderira svoju regiju, ili svaki server renderira svaku petu kockicu, ili kako? Janko ___ Talk-hr mailing list Talk-hr@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-hr
