Re: [Talk-ee] Eesti kaart ei tööta
9.11.2011 21:03, Margus Värton kirjutas: Mees Kellel On Kontroller on masina juures ära käinud ning masin on taas püsti. Ma ei olnud ise selle paigalduse juures, seega julgen vaid arvata, et asjade põhjaliku katkimineku vältimiseks loodi raua-RAID vaid neljale suurele kettale.'Kui Jaak mere tagant tagasi tuleb, siis ehk saame seda lähemalt vaatama minna, seni aga las on nii nagu on. Ma mõtlesin vahepeal pikalt selle üle, kas oleks ehk mõistlik kasutada suurtel ketastel Btrfs'i, ja võrgus kolades jõudsin järeldusele, et veel ei ole. Kuu aja pärast võib juba olla, aga sinnamaale peab kah kuidagi elama :). Nii et - jõudu, adminnid, tehke midagi :). Praegu on neli suurt ketast uue kontrolleri taga ja ülejäänud vana kontrolleri taga. Põhjuseks on see, et uue kontrolleri külge ühendamiseks oleks vaja ka uut kaablit ning see saabub alles uue nädala alguses. Seetõttu ei surgi ma selles kastis nüüd mõnda aega. Masin is on püsti, teenused mitte. 16. novembril osaleme GIS-päeval rahvusraamatukogus. Ma loodan siiralt, et selleks ajaks on meil teenused taas püsti ja emakeelsed. - M - ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Kuupäeval 6. november 2011 22:54 kirjutas Jaak Laineste j...@nutiteq.com: postgres@AMS-live:/storage/suur/data$ du -hs du: `./pg_stat_tmp/pgstat.stat' ei saa kasutada: Input/output error [..] Selle pealt küll midagi ei ütle. Kontroller, ma saan aru, on riistvaraline? Siis peaks tolle admin-liidesest vaatama, mis häda on. Ja paljalt kontrollerist andmete kaitseks ei piisa - peab olema ka teatav paralleelsus: Raid-0 - 1+n kettast moodustatakse 1 suur, ükskõik millise ketta riknemisel võib eeldada kõikide andmete riknemist Raid-1 - 2*n ketast on peeglis - andmemaht S=0,5*s*n (pool ketaste kogumahust, väikseimate poolte järgi, kuna andmed topelt) -- kiire lugemine, aeglane kirjutamine Raid-2 - (polevat kasutusel) 4 ketast andmetega, 3 ketast vigade paranduseks Raid-3 - (haruldane) 3 ketast andmetega, 1 ketas paarsuskontrolliks -- baidi tasemel, üsna aeglane Raid-4 - (haruldane) 3 ketast andmetega, 1 ketas paarsuskontrolliks -- bloki tasemel, aeglane Raid-5 - 2+n ketast, paarsusinfo jagatud ketaste vahel, andmemaht S=s*(n-1) -- ketastel ühtlane koormus Raid-6 - 2+n ketast, paarsusinfo dubleeritud, andmemaht S=s*(n-2) -- turvalisem kui arvukate ketastega raid-5 Seega, kui andmed pole taastamatud ja nende taastamine on vaid tülikas, soovitan kasutada raid-5'te, mis annab minimaalse 3 ketta puhul andmemahuks 2 ketta mahu. Andmete taastamine muu allika põhjal on sel juhul vajalik rohkem kui 1 ketta riknemisel. Kui aga andmed on unikaalsed, võiks kasutada raid-6'te, mis annab aga ketaste kokkuhoiuefekti alates 5 kettast, ent andmed lähevad taastamatult kaotsi alles vähemalt 2 ketta samaaegsel riknemisel. Eks teadjamad parandagu mind, -- Joosep-Georg ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Kontroller ei ole riistvaraline ... tarkvara kontroller md raid Kuupäeval 7. november 2011 11:19 kirjutas Joosep-Georg Järvemaa joosep-georg.jarve...@eesti.ee: Kuupäeval 6. november 2011 22:54 kirjutas Jaak Laineste j...@nutiteq.com: postgres@AMS-live:/storage/suur/data$ du -hs du: `./pg_stat_tmp/pgstat.stat' ei saa kasutada: Input/output error [..] Selle pealt küll midagi ei ütle. Kontroller, ma saan aru, on riistvaraline? Siis peaks tolle admin-liidesest vaatama, mis häda on. Ja paljalt kontrollerist andmete kaitseks ei piisa - peab olema ka teatav paralleelsus: Raid-0 - 1+n kettast moodustatakse 1 suur, ükskõik millise ketta riknemisel võib eeldada kõikide andmete riknemist Raid-1 - 2*n ketast on peeglis - andmemaht S=0,5*s*n (pool ketaste kogumahust, väikseimate poolte järgi, kuna andmed topelt) -- kiire lugemine, aeglane kirjutamine Raid-2 - (polevat kasutusel) 4 ketast andmetega, 3 ketast vigade paranduseks Raid-3 - (haruldane) 3 ketast andmetega, 1 ketas paarsuskontrolliks -- baidi tasemel, üsna aeglane Raid-4 - (haruldane) 3 ketast andmetega, 1 ketas paarsuskontrolliks -- bloki tasemel, aeglane Raid-5 - 2+n ketast, paarsusinfo jagatud ketaste vahel, andmemaht S=s*(n-1) -- ketastel ühtlane koormus Raid-6 - 2+n ketast, paarsusinfo dubleeritud, andmemaht S=s*(n-2) -- turvalisem kui arvukate ketastega raid-5 Seega, kui andmed pole taastamatud ja nende taastamine on vaid tülikas, soovitan kasutada raid-5'te, mis annab minimaalse 3 ketta puhul andmemahuks 2 ketta mahu. Andmete taastamine muu allika põhjal on sel juhul vajalik rohkem kui 1 ketta riknemisel. Kui aga andmed on unikaalsed, võiks kasutada raid-6'te, mis annab aga ketaste kokkuhoiuefekti alates 5 kettast, ent andmed lähevad taastamatult kaotsi alles vähemalt 2 ketta samaaegsel riknemisel. Eks teadjamad parandagu mind, -- Joosep-Georg ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee -- A. Kaaber ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Kuupäeval 7. november 2011 11:37 kirjutas Andres Kaaber andres.kaa...@gmail.com: Kontroller ei ole riistvaraline ... tarkvara kontroller md raid Tarkvaralist olen hallanud, suhtleme. -- Joosep-Georg ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Hoi, andres.kaa...@gmail.com: Kontroller ei ole riistvaraline ... tarkvara kontroller md raid Tarkvaralist olen hallanud, suhtleme. See ketaste jama ei ole mingi uudis ning selle juurikas võib olla emaplaadil olevas kettakontrolleris. Emaplaat on AMD prosede ja chipsetiga ning ehkki see on väga äge server, tunduvad sellel olevad mingid ühilduvusprobleemid Ubuntu kerneliga. Ma julgen arvata, et nii Jaak, Andres kui mina võime RAIDi tasemete kohta ka ise loenguid pidada. On tõsi, et andmeliiasus on vajalik, kuid me peame vaatama ka eelarveid. Kui keegi tunnneb, et tal on kiireid SAS kettaid üle ning tahab neid meile annetada, siis võtame need rõõmuga vastu. Seni aga on kasutusel kaks straibitud 15k SAS ketast andmebaasiks ning see on tõesti jubekiire ja stabiilne kah. SAS ketastega ei ole mingeid jamasid olnud, nendega on elu lill. SATA kettaid on neli, minu mäletamist mööda terabaidised. Need on mõeldud tileseti jaoks ning need on need kettad, mis käntsavad ning viivad masina enesega kaasa. Kõik kettad on ühendatud emaplaadil oleva kontrolleri külge ning nagu öeldud, on RAID tarkvaraline. Praegu ei ole põhjust arvata, et surnud oleksid kettad ise - see avalduks enne mingi kernelipaanikana, mitte paukse kokkukukkumisena. Praegu on plaan selline - kolmapäeval kl 12 tuleb serveri juurde Mees Kellel On Kontroller. See kontroller (LSI2108) paigaldub serverisse ning kogu masinale tehakse uus install, nullist. Oleks VÄGA hea, kui selle installi viiks läbi keegi, kes selle serveri hoolduses tulevikus osaleb - Andres, Margus Väli? Seejärel tehakse uus import ning kui masin jääb stabiilseks, väljastab Mees Kellel On Kontroller meile või meie sponsorile arve ning meil ongi server, mis riistvaraliselt rahuldab meid hulk aastaid. SSD võib järgmisse aastasse plaani võtta, aga siis on vaja taas üks ring müts peos ringi käia. Seni kuni vesi Taimaal ei alane, ei ole põhjust mitte mingit salvestuspinda juurde soetada, see on lihtsalt arutult kallis. Pealegi on äärmiselt tõenäoline, et Linuxisse tekib mõni toimiv deduppiv failisüsteem ning see võimaldaks kettamahtu mitmekordistada, mis kaotaks igasuguse vajaduse lisapinna järele. Minu ettepanek on esimeses lähenduses teha imposm + Mapserver + mapproxy install ning käivitada teenused WMS põhjal. Kui imposm areneb sellise hooga nagu seni, on peatselt loota diffide tuge ning üks põhjus Mapniku baasil tilesetti genereerida kaob ära. Seega pole mõtet Mapniku sõltuvustega ega osm2pgsql aeglusega enese pead vaevata. Seni teeme iganädalase impordi. Kui tahame enese loodetavasti äärmiselt stabiilset rauda mingil viisil koormata, siis võib Mapniku ja osm2pgsql millaski juurde panna, kuid alles pärast põhjalikku testimist testserveris. Edu, - M - ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Väga vinge. Üks asi mida ma praegu ei teeks on masina järjekordne ümberinstallimine. Selle OSM jaoks vajaliku tarkvarastäki kokkupanek on võtnud mul ikka mitmeid unetuid öid ja seda olen juba mitu korda uuesti teinud. Kui jätta teised toimivad kettad nagu nad on, ja baaskonf on rahuldav, siis ei ole see vist hädavajalik? Maksimum võiks olla 11.10-le Ubuntu distro uuendus dist-upgradena, see kergendab OSM tarkvara-pinu kompileerimist sest seal on Boost jms olulised sõltuvused juba piisavalt uute versioonide peal. Jaak Kuupäeval 7. november 2011 11:25 kirjutas Margus Värton mar...@dakar.ee: Hoi, andres.kaa...@gmail.com: Kontroller ei ole riistvaraline ... tarkvara kontroller md raid Tarkvaralist olen hallanud, suhtleme. See ketaste jama ei ole mingi uudis ning selle juurikas võib olla emaplaadil olevas kettakontrolleris. Emaplaat on AMD prosede ja chipsetiga ning ehkki see on väga äge server, tunduvad sellel olevad mingid ühilduvusprobleemid Ubuntu kerneliga. Ma julgen arvata, et nii Jaak, Andres kui mina võime RAIDi tasemete kohta ka ise loenguid pidada. On tõsi, et andmeliiasus on vajalik, kuid me peame vaatama ka eelarveid. Kui keegi tunnneb, et tal on kiireid SAS kettaid üle ning tahab neid meile annetada, siis võtame need rõõmuga vastu. Seni aga on kasutusel kaks straibitud 15k SAS ketast andmebaasiks ning see on tõesti jubekiire ja stabiilne kah. SAS ketastega ei ole mingeid jamasid olnud, nendega on elu lill. SATA kettaid on neli, minu mäletamist mööda terabaidised. Need on mõeldud tileseti jaoks ning need on need kettad, mis käntsavad ning viivad masina enesega kaasa. Kõik kettad on ühendatud emaplaadil oleva kontrolleri külge ning nagu öeldud, on RAID tarkvaraline. Praegu ei ole põhjust arvata, et surnud oleksid kettad ise - see avalduks enne mingi kernelipaanikana, mitte paukse kokkukukkumisena. Praegu on plaan selline - kolmapäeval kl 12 tuleb serveri juurde Mees Kellel On Kontroller. See kontroller (LSI2108) paigaldub serverisse ning kogu masinale tehakse uus install, nullist. Oleks VÄGA hea, kui selle installi viiks läbi keegi, kes selle serveri hoolduses tulevikus osaleb - Andres, Margus Väli? Seejärel tehakse uus import ning kui masin jääb stabiilseks, väljastab Mees Kellel On Kontroller meile või meie sponsorile arve ning meil ongi server, mis riistvaraliselt rahuldab meid hulk aastaid. SSD võib järgmisse aastasse plaani võtta, aga siis on vaja taas üks ring müts peos ringi käia. Seni kuni vesi Taimaal ei alane, ei ole põhjust mitte mingit salvestuspinda juurde soetada, see on lihtsalt arutult kallis. Pealegi on äärmiselt tõenäoline, et Linuxisse tekib mõni toimiv deduppiv failisüsteem ning see võimaldaks kettamahtu mitmekordistada, mis kaotaks igasuguse vajaduse lisapinna järele. Minu ettepanek on esimeses lähenduses teha imposm + Mapserver + mapproxy install ning käivitada teenused WMS põhjal. Kui imposm areneb sellise hooga nagu seni, on peatselt loota diffide tuge ning üks põhjus Mapniku baasil tilesetti genereerida kaob ära. Seega pole mõtet Mapniku sõltuvustega ega osm2pgsql aeglusega enese pead vaevata. Seni teeme iganädalase impordi. Kui tahame enese loodetavasti äärmiselt stabiilset rauda mingil viisil koormata, siis võib Mapniku ja osm2pgsql millaski juurde panna, kuid alles pärast põhjalikku testimist testserveris. Edu, - M - ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee -- Jaak Laineste ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Neil skriptidel on see probleem, et keegi peab nad valmis kirjutamine (ja läbitestimine), ja see on kordades suurem töö kui käsitsi käsud läbi käia. Ka netis olevatel skriptidel/juhenditel on paha komme kiirelt vananeda. Ikka tahaks viimast Postgre versiooni kasutada, mitte paari aasta vanust. Õnneks on tänapäeval olemas nelja-käsu skipt http://www.mail-archive.com/talk@openstreetmap.org/msg40128.html mod_tile tileserveri jaoks, ja mapserveri ülespanek on üks installikäsk ja siis ka konfifailide (apache, kujundus jms) tegemise teema. Kindlasti tuleb teha korralik backup, sest eelmine kord konfifailide nüansside uuesti leiutamine ja käsitsi modimine oli üsna piinarikas. Jaak On 07.11.2011, at 12:08, Margus Väli wrote: Jõuame selle pilvedemagoogiani, et näpuga ei tehta midagi vaid masinad tulevad ikka skriptidega nullist ise üles kui on vaja parki üles skaleerida või katastroofist väljuda. Mis puudutab minu ressurssi siis seda on vbl ainult Mapniku vms. asja uurimisel ja sedagi suht olematus mahus nagu elu on näidanud viimasel paaril nädalal. RAID on selline asi mida ma pm-lt väldiks hajusate duplitseeritud blade-serveri lahenduste kasuks, aga ega ma nendest ka suurt midagi ei tea :) mv Ühel kenal päeval, E, 07.11.2011 kell 11:43, kirjutas Jaak Laineste (Nutiteq): Üks asi mida ma praegu ei teeks on masina järjekordne ümberinstallimine. Selle OSM jaoks vajaliku tarkvarastäki kokkupanek on võtnud mul ikka mitmeid unetuid öid ja seda olen juba mitu korda uuesti teinud. Kui jätta teised toimivad kettad nagu nad on, ja baaskonf on rahuldav, siis ei ole see vist hädavajalik? ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
http://maakaart.ee/index.php/kaart endiselt ei tööta. Samas http://www.openstreetmap.org/ pilti näitab. Sealt meie lehelt võiks lehitsejasse saata ka mingi tarkuse, et kui kaardi pildid ei laadu, kuvataks kena teade, et on parasjagu mingi probleem ja et alternatiivina võib suunduda aadressile openstreetmap.org JavaScriptiga saab seda põhimõtteliselt teha ja loodetavasti on OpenLayersil mingid sellised kohad ka olemas, kus saab piltide laadumist kontrollida. -- Joosep-Georg ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
Mnjah, tundub et serveris on ikkagi need kettad või kontroller või midagi katki ning seetõttu nii baas kui cache on lihtlabaselt maas (failid loetamatud). See juhtus samal ajal kui imposm tõmbas uut planeedi seisu sisse, paistab et kettamassiiv, kontroller või selle konf ei ole ikkagi hea. Peab vist algatama tõsisema sponsoritsingu et osta: a) korralikum RAID kontroller b) SSD 500GB ketas et baas up-to-date oleks. Muide imposm algatab just diff-ide toe arendust ja kogub huvilistelt raha, sest see on päris suur lisandus. Javascripti täiendamine, et seal oleks tark fallback kasvõi mapquest-i tiledele on teretulnud. Mu enda oskused jäävad siin väikeseks. Kes oskab Linuxit piisavalt madalal tasemel hallata - on seal ketas vigane või kontroller? Kui üks ketas, siis kuidas saab konf selline olla et see failisüsteemi katki teeb (seal võiks ju raid 1+0 näiteks olla, mis ühe ketta probleemi üle elaks) ? Ühesõnaga, ma mingit kiiret lahendust siin hetkel isegi ei näe. Näiteks saan sellise tulemuse: postgres@AMS-live:/storage/suur/data$ du -hs du: `./pg_stat_tmp/pgstat.stat' ei saa kasutada: Input/output error du: `./global/11601_fsm' ei saa kasutada: Input/output error du: `./global/11786_vm' ei saa kasutada: Input/output error du: `./global/11806' ei saa kasutada: Input/output error du: `./global/11784' ei saa kasutada: Input/output error du: `./global/11801' ei saa kasutada: Input/output error du: `./global/11797_vm' ei saa kasutada: Input/output error du: `./global/11790_vm' ei saa kasutada: Input/output error du: `./global/11801_fsm' ei saa kasutada: Input/output error du: `./global/11801_vm' ei saa kasutada: Input/output error du: `./global/11797' ei saa kasutada: Input/output error du: `./global/11799' ei saa kasutada: Input/output error du: `./global/11796' ei saa kasutada: Input/output error du: `./global/11795' ei saa kasutada: Input/output error du: `./global/11601_vm' ei saa kasutada: Input/output error du: `./global/11790_fsm' ei saa kasutada: Input/output error du: `./global/11871' ei saa kasutada: Input/output error du: `./global/11789' ei saa kasutada: Input/output error du: `./global/11805' ei saa kasutada: Input/output error du: `./global/11792' ei saa kasutada: Input/output error du: `./global/11782' ei saa kasutada: Input/output error du: `./global/11800' ei saa kasutada: Input/output error du: `./global/11797_fsm' ei saa kasutada: Input/output error du: `./global/11869' ei saa kasutada: Input/output error du: `./global/11803' ei saa kasutada: Input/output error du: `./global/11786_fsm' ei saa kasutada: Input/output error du: `./base/16384/605604_vm' ei saa kasutada: Input/output error du: `./base/16384/559297_fsm' ei saa kasutada: Input/output error du: `./base/16384/615797_vm' ei saa kasutada: Input/output error On 06.11.2011, at 10:30, Joosep-Georg Järvemaa wrote: http://maakaart.ee/index.php/kaart endiselt ei tööta. Samas http://www.openstreetmap.org/ pilti näitab. Sealt meie lehelt võiks lehitsejasse saata ka mingi tarkuse, et kui kaardi pildid ei laadu, kuvataks kena teade, et on parasjagu mingi probleem ja et alternatiivina võib suunduda aadressile openstreetmap.org JavaScriptiga saab seda põhimõtteliselt teha ja loodetavasti on OpenLayersil mingid sellised kohad ka olemas, kus saab piltide laadumist kontrollida. -- Joosep-Georg ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
Re: [Talk-ee] Eesti kaart ei tööta
6.11.2011 22:54, Jaak Laineste kirjutas: Mnjah, tundub et serveris on ikkagi need kettad või kontroller või midagi katki ning seetõttu nii baas kui cache on lihtlabaselt maas (failid loetamatud). See juhtus samal ajal kui imposm tõmbas uut planeedi seisu sisse, paistab et kettamassiiv, kontroller või selle konf ei ole ikkagi hea. Peab vist algatama tõsisema sponsoritsingu et osta: a) korralikum RAID kontroller b) SSD 500GB ketas et baas up-to-date oleks. Ma pöördun ühe võimaliku sponsori poole, kellega on toetamisest juttu olnud. Et ilmselgelt on esimene prioriteet kontroller, palun siinkohal Sinu ja Andrese abi vajaliku kontrollerikonfi määramisel. Võimalik ostukoht võiks olla kas MarkIT või Tigma või miks mitte ka Network Tomorrow, kust ka server ise pärit on. Ma ise arvan, et 8 pordiga ja korraliku puhvermäluga SAS/SATA kontroller peaks see olema ning oskama ka osavamaid RAIDe - 0, 1 ja 10 ilmselt ei piisa, RAID 5 võiks ikka kah osata. SSD on ilmselt lihtsam osta, MarkITis on neid nii- ja naasuguseid, aga ma ei keskenduks sellele enne kui kontrolleri asjad korras on. - M - ___ Talk-ee mailing list Talk-ee@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-ee
