17.09.2011 9:31, Vitali Balandin kirjutas:
Ei näe mõttet terve planet.osm uuendada - see on palju tarbetuid andmeid.
Minu arvates, maakaart.ee piisavalt uuendada ainult Eesti andmed.
Sellise lähenemisega andmete uuendus on võimalik vähendada ühe päevaga.
Vaadake osm2pgsql ja osmosis.
Igapäevane Estonia.OSM saate leida siin:
http://download.geofabrik.de/osm/europe/
Meil on piisavalt võimas riistvara kasutada, et ka planeet päevaga sisse
tõmmata. Andrese väitel on küll viimased impordid pikenenud, arvatavasti
64-bitiste nodeID-de kasutuselevõtu tõttu. Probleemiks on praegu kogu
planeedi kaardi näitamiseks vajalik kettaruum, aga kui piirduda Euroopa
valmisrenderdamisega, siis ei tohiks ka see piiravaks saada. Samas - me
tegelikult tahame näidata eestikeelse kaardiga maailma. Loomulikult ei
pea kogu maailma valmis renderdama, aga andmebaasis peaks see ikkagi
olemas olema. Alati on võimalik minna deduppiva failisüsteemi
kasutamisele, praegu näiteks peaks OpenDedup
(http://opendedup.googlecode.com/files/SDFS%20Architecture.pdf) täiesti
kasutuskõlblik olema. See peaks andma umbes kümnekordset võitu
kettamahus. Testmasinas on piisavalt jõudlust, et seda testida. Samuti
on lootust, et viimaste päevade arengud osm2pgsql vallas kiirendavad
tavalist, standardset OSM importi läbi paralleelsuse optimeerimise -
multithreadingu kallal töötatakse praegu. Imposm-i ja osm2pgsql-i
oluline erinevus on selles, et osm2pgsql toetab diffe, imposm peab alati
importima terve baasi. Kui me ütleme, et iga päev uue täisimpordi
tegemine on okei, siis on imposm lahendus. Kui tahame diffidest
sagedamini kui korra päevas baasi uuendada, siis on osm2pgsql korralik
töölesaamine ainuke võimalus. Mina arvan, et igapäevane planeedi
importimine on piisav.
Teadmiseks - meil on sisuliselt 100 Mbit kanali otsas (tegelikult
gigabiti, aga riistvaraline tulemüür on sajamegaste portidega) otsas
kaks füüsilist masinat. Neist üks (testmasin) on tavaline tornkorpuses
lauaarvuti, AMD neljatuumase prose, minu mäletamist mööda 4 GB mälu ning
kahe füüsilise kettaga kogumahuga umbes 750 GB. See on minu MTÜ-le antud
arvuti. Teine on KÜSKi projekti rahadest ostetud pärisserver, milles on
nii SATA kui SCSI kettaid, neid esimesi kaardikildude ning teisi
andmebaasi jaoks. Selles masinas on minu mäletamist mööda 16GB mälu ja
kaks AMD kuuetuumalist Bobcat-protsessorit ning kui üldse sellele
purgile midagi juurde tahta, siis oleks see korralik cache-mäluga
RAID-kontroller. Kui keegi teab võimalust ses osas meid aidata, siis
antagu aga teada :). Muus osas on tegemist jätkuvalt hea serveriga ning
meil pole põhjust viriseda. Nojah, kettaruumi võib kah alati rohkem
olla, aga see praegu ei piira ning vajadusel saab SATA kettaid alati
juurde osta ning praeguseid tornkorpuses testserverisse komandeerida.
Selle serveri mälupesad on hetkel vististi täis, aga iseenesest saab
mälu väljavahetamise hinnaga ka mälu juurde panna, 128 GB on vististi
piir. Ühesõnaga - riistvaraplatvormid meid praegu sisuliselt ei piira
või siis on nendele piirangutele olemas mõistliku hinnaga lahendused.
- M -
_______________________________________________
Talk-ee mailing list
Talk-ee@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-ee
