Re: [Talk-ee] Maakaart.ee lehel oleva kaardi andmebaasi uuendamine

2011-09-17 Thread Margus Värton 

17.09.2011 9:31, Vitali Balandin kirjutas:

Ei näe mõttet terve planet.osm uuendada - see on palju tarbetuid andmeid.
Minu arvates, maakaart.ee piisavalt uuendada ainult Eesti andmed.
Sellise lähenemisega andmete uuendus on võimalik vähendada ühe päevaga.

Vaadake osm2pgsql ja osmosis.

Igapäevane Estonia.OSM saate leida siin:
http://download.geofabrik.de/osm/europe/

Meil on piisavalt võimas riistvara kasutada, et ka planeet päevaga sisse 
tõmmata. Andrese väitel on küll viimased impordid pikenenud, arvatavasti 
64-bitiste nodeID-de kasutuselevõtu tõttu. Probleemiks on praegu kogu 
planeedi kaardi näitamiseks vajalik kettaruum, aga kui piirduda Euroopa 
valmisrenderdamisega, siis ei tohiks ka see piiravaks saada. Samas - me 
tegelikult tahame näidata eestikeelse kaardiga maailma. Loomulikult ei 
pea kogu maailma valmis renderdama, aga andmebaasis peaks see ikkagi 
olemas olema. Alati on võimalik minna deduppiva failisüsteemi 
kasutamisele, praegu näiteks peaks OpenDedup 
(http://opendedup.googlecode.com/files/SDFS%20Architecture.pdf) täiesti 
kasutuskõlblik  olema. See peaks andma umbes kümnekordset võitu 
kettamahus. Testmasinas on piisavalt jõudlust, et seda testida. Samuti 
on lootust, et viimaste päevade arengud osm2pgsql vallas kiirendavad 
tavalist, standardset OSM importi läbi paralleelsuse optimeerimise - 
multithreadingu kallal töötatakse praegu. Imposm-i ja osm2pgsql-i 
oluline erinevus on selles, et osm2pgsql toetab diffe, imposm peab alati 
importima terve baasi. Kui me ütleme, et iga päev uue täisimpordi 
tegemine on okei, siis on imposm lahendus. Kui tahame diffidest 
sagedamini kui korra päevas baasi uuendada, siis on osm2pgsql korralik 
töölesaamine ainuke võimalus. Mina arvan, et igapäevane planeedi 
importimine on piisav.


Teadmiseks - meil on sisuliselt 100 Mbit kanali otsas (tegelikult 
gigabiti, aga riistvaraline tulemüür on sajamegaste portidega) otsas 
kaks füüsilist masinat. Neist üks (testmasin) on tavaline tornkorpuses 
lauaarvuti, AMD neljatuumase prose, minu mäletamist mööda 4 GB mälu ning 
kahe füüsilise kettaga kogumahuga umbes 750 GB. See on minu MTÜ-le antud 
arvuti. Teine on KÜSKi projekti rahadest ostetud pärisserver, milles on 
nii SATA kui SCSI kettaid, neid esimesi kaardikildude ning teisi 
andmebaasi jaoks. Selles masinas on minu mäletamist mööda 16GB mälu ja 
kaks AMD kuuetuumalist Bobcat-protsessorit ning kui üldse sellele 
purgile midagi juurde tahta, siis oleks see korralik cache-mäluga 
RAID-kontroller. Kui keegi teab võimalust ses osas meid aidata, siis 
antagu aga teada :). Muus osas on tegemist jätkuvalt hea serveriga ning 
meil pole põhjust viriseda. Nojah, kettaruumi võib kah alati rohkem 
olla, aga see praegu ei piira ning vajadusel saab SATA kettaid alati 
juurde osta ning praeguseid tornkorpuses testserverisse komandeerida. 
Selle serveri mälupesad on hetkel vististi täis, aga iseenesest saab 
mälu väljavahetamise hinnaga ka mälu juurde panna, 128 GB on vististi 
piir. Ühesõnaga - riistvaraplatvormid meid praegu sisuliselt ei piira 
või siis on nendele piirangutele olemas mõistliku hinnaga lahendused.



- M -

___
Talk-ee mailing list
Talk-ee@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ee

Re: [Talk-ee] Maakaart.ee lehel oleva kaardi andmebaasi uuendamine

2011-09-16 Thread Vitali Balandin 
Ei näe mõttet terve planet.osm uuendada - see on palju tarbetuid andmeid.
Minu arvates, maakaart.ee piisavalt uuendada ainult Eesti andmed.
Sellise lähenemisega andmete uuendus on võimalik vähendada ühe päevaga.

Vaadake osm2pgsql ja osmosis.

Igapäevane Estonia.OSM saate leida siin:
http://download.geofabrik.de/osm/europe/

>Ma toon SOTM-ilt mitmeid uusi ideid, kuidas importimist ja renderdust
>parandada, nii et saab tehtud. Üldiselt:
> -  teha uuendusi näiteks korra nädalas kasutades imposm-i, mis peaks
>planeedi alla 24 tunniga sisse lugema,
> - imposm andmestruktuur kannatab kiiremat renderust ka madalatel
>zoomidel. Viimane on WMS/Eesti projektsiooni jaoks vajalik.
> - selle probleem on et vaikimisi mapniku xml sellega ei toimi, vajab
>eraldi kujundust, sest baasi/tabelite struktuur on teine.
> - live tileserver kasutab trunk-mapnikut, sest seal on tehtud olulisi
>renderduse kiiruseparandusi mida pole veel releasetud
> - http://mapproxy.org/ peaks panema WMS cachema et teha seda
>kasutatavalt kiireks.


___
Talk-ee mailing list
Talk-ee@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ee

Re: [Talk-ee] Maakaart.ee lehel oleva kaardi andmebaasi uuendamine

2011-09-15 Thread Margus Värton 

15.09.2011 15:46, Mihkel Rämmel kirjutas:
Sildid on õiged ning ka renderdamise reeglid paistavad osmarenderis 
selle kohta olemas olevat. Jääb vaid üle pakkuda, et andmed, mille 
alusel viimane renderdamine tehti, polnud just mitte kõige värskemad.


Sama muutustekogumi teised muutused renderdati mõne minutiga ära.  
http://www.openstreetmap.org/?lat=58.07331&lon=27.07687&zoom=16&layers=M 
on see koht, millest jutt, ja nii Mapniku kui Osmarenderi pildid ei 
näita siin mitte mingit gaasitrassi.


-  M -



___
Talk-ee mailing list
Talk-ee@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ee

Re: [Talk-ee] Maakaart.ee lehel oleva kaardi andmebaasi uuendamine

2011-09-15 Thread Mihkel Rämmel 
Sildid on õiged ning ka renderdamise reeglid paistavad osmarenderis selle
kohta olemas olevat. Jääb vaid üle pakkuda, et andmed, mille alusel viimane
renderdamine tehti, polnud just mitte kõige värskemad.

Mihkel

2011/9/15 Margus Värton 

> 12.09.2011 20:45, Mihkel Rämmel kirjutas:
>
>> Osmarender renderdab vähemalt selliseid torujuhtmeid mille sisuks on
>> määratud vesi: http://www.openstreetmap.org/?**lat=59.23209&lon=24.31805&;
>> **zoom=17&layers=O<
>> http://www.openstreetmap.org/**?lat=59.23209&lon=24.31805&**
>> zoom=17&layers=O
>> >
>>
>> Kuigi arutelu kaardistiili üle ei teeks paha, kuna Eestis leidub tõesti
>> asju, mida mujal maailmas praktiliselt polegi nt. lauluväljakud.
>>
> No mina joonistasin maa-aluse gaasitrassi riigipiirist kuni Põlva
> harutrassi hargnemiskohani ning harutrassi kuni Põlvani. No ei renderdu :).
>
>
> - M -
>
> __**_
> Talk-ee mailing list
> Talk-ee@openstreetmap.org
> http://lists.openstreetmap.**org/listinfo/talk-ee
>
___
Talk-ee mailing list
Talk-ee@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ee

Re: [Talk-ee] Maakaart.ee lehel oleva kaardi andmebaasi uuendamine

2011-09-15 Thread Margus Värton 

12.09.2011 20:45, Mihkel Rämmel kirjutas:
Osmarender renderdab vähemalt selliseid torujuhtmeid mille sisuks on 
määratud vesi: 
http://www.openstreetmap.org/?lat=59.23209&lon=24.31805&zoom=17&layers=O 

Kuigi arutelu kaardistiili üle ei teeks paha, kuna Eestis leidub 
tõesti asju, mida mujal maailmas praktiliselt polegi nt. lauluväljakud.
No mina joonistasin maa-aluse gaasitrassi riigipiirist kuni Põlva 
harutrassi hargnemiskohani ning harutrassi kuni Põlvani. No ei renderdu :).


- M -

___
Talk-ee mailing list
Talk-ee@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ee

Re: [Talk-ee] Maakaart.ee lehel oleva kaardi andmebaasi uuendamine

2011-09-12 Thread Jaak Laineste 

Tundub et parim kujunduse muutja oleks tilemill. Probleem on sellel et ta 
kasutab oma kujundusdefinitsiooni, ja konverdib selle mapniku omasse alles 
pärast modimise valmis saamist. Seega parimad vabalt saadaval valmiskujundused 
(default mapnik, openstreetmap.de või mapquest-i oma) sinna ei sobi. Samuti ei 
ole valmiskujundust imposm andmebaasi jaoks.

Parim mis võtta on FOSS4G testi jaoks tehtud enamvähem default-mapnik saranane 
kujundus ( https://github.com/mapbox/foss4g-benchmark-style), sealt on aga 
väidetavalt ühtteist puudu (puud, elektriliinid näiteks). Igal juhul tuleb 
kujundust meie vajaduste jaoks tuunida.

Jaak

On 11.09.2011, at 11:36, Jaak Laineste (Nutiteq) wrote:

> Ma toon SOTM-ilt mitmeid uusi ideid, kuidas importimist ja renderdust
> parandada, nii et saab tehtud. Üldiselt:
> -  teha uuendusi näiteks korra nädalas kasutades imposm-i, mis peaks
> planeedi alla 24 tunniga sisse lugema,
> - imposm andmestruktuur kannatab kiiremat renderust ka madalatel
> zoomidel. Viimane on WMS/Eesti projektsiooni jaoks vajalik.
> - selle probleem on et vaikimisi mapniku xml sellega ei toimi, vajab
> eraldi kujundust, sest baasi/tabelite struktuur on teine.
> - live tileserver kasutab trunk-mapnikut, sest seal on tehtud olulisi
> renderduse kiiruseparandusi mida pole veel releasetud
> - http://mapproxy.org/ peaks panema WMS cachema et teha seda
> kasutatavalt kiireks.
> 
> 
> ps. kujunduste modimiseks võiks http://tilemill.com/pages/index.html
> installida livemasinasse.
> 
> Jaak
> 
> Kuupäeval 11. september 2011 11:44 kirjutas Margus Värton :
>> Hoi,
>> 
>> http://kaart.maakaart.ee/map.html asub meie enda renderdatud kaart. Kas
>> keegi oskab mulle öelda, kui sageli selle aluseks olevat andmebaasi
>> uuendatakse? Tundub, et viimatine muutus on nädalaid, kui mitte kuid vana.
>> Nii et kui kellegi võimuses on uus andmebaasiimport käivitada, siis palun
>> tehtagu seda.
>> 
>> Tänud,
>> 
>> - M -
>> 
>> ___
>> Talk-ee mailing list
>> Talk-ee@openstreetmap.org
>> http://lists.openstreetmap.org/listinfo/talk-ee
>> 
> 
> 
> 
> -- 
> Jaak Laineste
> 
> ___
> Talk-ee mailing list
> Talk-ee@openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-ee


___
Talk-ee mailing list
Talk-ee@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ee

Re: [Talk-ee] Maakaart.ee lehel oleva kaardi andmebaasi uuendamine

2011-09-12 Thread Mihkel Rämmel 
Osmarender renderdab vähemalt selliseid torujuhtmeid mille sisuks on
määratud vesi:
http://www.openstreetmap.org/?lat=59.23209&lon=24.31805&zoom=17&layers=O
Kuigi arutelu kaardistiili üle ei teeks paha, kuna Eestis leidub tõesti
asju, mida mujal maailmas praktiliselt polegi nt. lauluväljakud.

Mihkel

2011/9/12 Margus Värton 

> 11.09.2011 20:36, Jaak Laineste (Nutiteq) kirjutas:
>
>  Ma toon SOTM-ilt mitmeid uusi ideid, kuidas importimist ja renderdust
>> parandada, nii et saab tehtud. Üldiselt:
>>  -  teha uuendusi näiteks korra nädalas kasutades imposm-i, mis peaks
>> planeedi alla 24 tunniga sisse lugema,
>>  - imposm andmestruktuur kannatab kiiremat renderust ka madalatel
>> zoomidel. Viimane on WMS/Eesti projektsiooni jaoks vajalik.
>>  - selle probleem on et vaikimisi mapniku xml sellega ei toimi, vajab
>> eraldi kujundust, sest baasi/tabelite struktuur on teine.
>>  - live tileserver kasutab trunk-mapnikut, sest seal on tehtud olulisi
>> renderduse kiiruseparandusi mida pole veel releasetud
>>  - http://mapproxy.org/ peaks panema WMS cachema et teha seda
>> kasutatavalt kiireks.
>>
> Seda kõike on jube tore kuulda, tõsiselt. See tähendab seda, et ka
> kujunduste osas saab  edasi minna. http://svn.openstreetmap.org/**
> applications/rendering/mapnik-**german/on
>  sakslaste enese (
> www.openstreetmap.de) tarbeks tehtud kaardistiil. Üks tõsisem ajurünnak
> kujunduse osas oleks ilmselt vajalik. Nii näiteks ei renderdata ei Mapniku
> ega Osmarenderi abil torujuhtmeid, meil aga on metsades gaasijuhtmeid küll,
> mis tegelikult ka renderdatud võiksid olla. Kuna gaasijuhtmete ümber on
> tühjaks raiutud sihid, oleks täpsemate metsade puhul täitsa abiks näidata,
> mis selle sihi raiumise põhjuseks on olnud.
>
>
> - M -
>
>
> __**_
> Talk-ee mailing list
> Talk-ee@openstreetmap.org
> http://lists.openstreetmap.**org/listinfo/talk-ee
>
___
Talk-ee mailing list
Talk-ee@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ee

Re: [Talk-ee] Maakaart.ee lehel oleva kaardi andmebaasi uuendamine

2011-09-12 Thread Margus Värton 

11.09.2011 20:36, Jaak Laineste (Nutiteq) kirjutas:

Ma toon SOTM-ilt mitmeid uusi ideid, kuidas importimist ja renderdust
parandada, nii et saab tehtud. Üldiselt:
  -  teha uuendusi näiteks korra nädalas kasutades imposm-i, mis peaks
planeedi alla 24 tunniga sisse lugema,
  - imposm andmestruktuur kannatab kiiremat renderust ka madalatel
zoomidel. Viimane on WMS/Eesti projektsiooni jaoks vajalik.
  - selle probleem on et vaikimisi mapniku xml sellega ei toimi, vajab
eraldi kujundust, sest baasi/tabelite struktuur on teine.
  - live tileserver kasutab trunk-mapnikut, sest seal on tehtud olulisi
renderduse kiiruseparandusi mida pole veel releasetud
  - http://mapproxy.org/ peaks panema WMS cachema et teha seda
kasutatavalt kiireks.
Seda kõike on jube tore kuulda, tõsiselt. See tähendab seda, et ka 
kujunduste osas saab  edasi minna. 
http://svn.openstreetmap.org/applications/rendering/mapnik-german/ on 
sakslaste enese (www.openstreetmap.de) tarbeks tehtud kaardistiil. Üks 
tõsisem ajurünnak kujunduse osas oleks ilmselt vajalik. Nii näiteks ei 
renderdata ei Mapniku ega Osmarenderi abil torujuhtmeid, meil aga on 
metsades gaasijuhtmeid küll, mis tegelikult ka renderdatud võiksid olla. 
Kuna gaasijuhtmete ümber on tühjaks raiutud sihid, oleks täpsemate 
metsade puhul täitsa abiks näidata, mis selle sihi raiumise põhjuseks on 
olnud.


- M -


___
Talk-ee mailing list
Talk-ee@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ee

Re: [Talk-ee] Maakaart.ee lehel oleva kaardi andmebaasi uuendamine

2011-09-11 Thread Jaak Laineste (Nutiteq) 
Ma toon SOTM-ilt mitmeid uusi ideid, kuidas importimist ja renderdust
parandada, nii et saab tehtud. Üldiselt:
 -  teha uuendusi näiteks korra nädalas kasutades imposm-i, mis peaks
planeedi alla 24 tunniga sisse lugema,
 - imposm andmestruktuur kannatab kiiremat renderust ka madalatel
zoomidel. Viimane on WMS/Eesti projektsiooni jaoks vajalik.
 - selle probleem on et vaikimisi mapniku xml sellega ei toimi, vajab
eraldi kujundust, sest baasi/tabelite struktuur on teine.
 - live tileserver kasutab trunk-mapnikut, sest seal on tehtud olulisi
renderduse kiiruseparandusi mida pole veel releasetud
 - http://mapproxy.org/ peaks panema WMS cachema et teha seda
kasutatavalt kiireks.


ps. kujunduste modimiseks võiks http://tilemill.com/pages/index.html
installida livemasinasse.

Jaak

Kuupäeval 11. september 2011 11:44 kirjutas Margus Värton :
> Hoi,
>
> http://kaart.maakaart.ee/map.html asub meie enda renderdatud kaart. Kas
> keegi oskab mulle öelda, kui sageli selle aluseks olevat andmebaasi
> uuendatakse? Tundub, et viimatine muutus on nädalaid, kui mitte kuid vana.
> Nii et kui kellegi võimuses on uus andmebaasiimport käivitada, siis palun
> tehtagu seda.
>
> Tänud,
>
> - M -
>
> ___
> Talk-ee mailing list
> Talk-ee@openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-ee
>



-- 
Jaak Laineste

___
Talk-ee mailing list
Talk-ee@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ee