Re: [Talk-cz] Import skript z uir_adr (fwd)
On Wed 2008-08-27 13:09:41, Petr Nejedly wrote: > Pavel Machek napsal(a): > > Spechat se neda, pocitace jsou pomaly; ta konverze by mela trvat 10+ > > hodin... > > O to nejde. Jeste jsme se nedomluvili jak to ma vypadat a ty si tu hazis > outer joinama nad CSV v bashi ;-) ;-). No, debata se zda-se omezila na 'jak se zapise cislo popisne', z cehoz usuzuju ze se v podstate shodujem > Stejne to nakonec nejlepe provede Tomas Kolda (vid ;-)) protoze uz ma v > databazi > i ty 3+ roky updatu a u nej ten outer join pobezi asi tak 130ms. No, ono se to stejne bude uploadovat rychlosti 3 zaznamy za sekundu... ;-). No... kdyby nekde byly updatovany data v CSV, tak nepohrdnu; asi se mi update opravdu psat nechce. Pavel -- (english) http://www.livejournal.com/~pavelmachek (cesky, pictures) http://atrey.karlin.mff.cuni.cz/~pavel/picture/horses/blog.html ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] Import skript z uir_adr (fwd)
Pavel Machek napsal(a): > Spechat se neda, pocitace jsou pomaly; ta konverze by mela trvat 10+ hodin... O to nejde. Jeste jsme se nedomluvili jak to ma vypadat a ty si tu hazis outer joinama nad CSV v bashi ;-) Stejne to nakonec nejlepe provede Tomas Kolda (vid ;-)) protoze uz ma v databazi i ty 3+ roky updatu a u nej ten outer join pobezi asi tak 130ms. > Na pochlapeni UIR_ADR bych moc nespolehal. Hmm, pravda, vsechny updaty dohromady daji necelych 24 tisic nove dodanych souradnic existujicich adres a vseho vsudy 9 (devet) novych adres ktere maji i souradnice. Takze z hlediska souradnic jsou relevantni jen updaty 442, 497, 606, 607 a 6 > >> > jestli a jak se to tam nacpe. I kdyz si myslim ze ty data by tam byt v >> > OSM mely. Dost to pomuze, jak pri mapovani, tak pri navigaci. >> >> Mely by tam byt urcite. Dulezite je doladit v jakem formatu a hlavne >> nasetupovat proces pro updaty! (Precijen si nechceme zaneradit OSM >> nejakymi 10%, ktere by nam pak vyrazneji komplikovali dodani tech >> zbylych 90%... > > Ten ADRESA_KOD by mel pro updaty stacit, ne? Ano > Anyway, tady je dalsi vzorek, mel by byt oznacen podle debaty na > tady, takze pokud jsem neco udelal blbe, reknete... Udelal. Vychazis ze 4 roky starych dat. Viz prvni odstavec. (Tim nechci nijak krotit tvoji kreativitu, jen ji mirne nasmerovat. Pokud to mergovani updatu taky napises v Bashi, jsi borec ;-) Teda ne ze by to neslo...) -- Petr "Nenik" Nejedly, NetBeans/Sun Microsystems, http://www.netbeans.org 355/113 -- Not the famous irrational number PI, but an incredible simulation! ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
Re: [Talk-cz] Import skript z uir_adr (fwd)
On Wed 2008-08-27 01:00:38, Petr Nejedly wrote: > Pavel Machek napsal(a): > > Ahoj! > > > > je v priloze... > > > > Bohuzel tak jak je napsanej zvlada jen asi tak 2 adresy za sekundu > > :-(. grep ,19800, ho omezuje na jedno PSC, to asi dava smysl vyhodit > > nebo nahradit Vasim oblibenym PSC. > > Nespěchejmež... Spechat se neda, pocitace jsou pomaly; ta konverze by mela trvat 10+ hodin... > BH napsal(a): > > No, nejdriv bych to radsi prozkoumal, zjistil o kolik to nafoukne > > data, jak je to kvalitni, odlkadil to a pak teprve se rozhodoval > > Vzhledem k tomu, ze geotagovanych je zatim jen cca 10% adres, jedna se > o cca 300.000 nodu, nafouknuti CR o ~20%. Pokud se UIR_ADR pochlapi > a da to dohromady cele, narostla by nam CR o 200%. Pak bysme dosahli > paradoxniho stavu vicemene kompletni site silnic prvnich a druhych > trid a ulicni site, ale bez vetsiny silnic 3. tridy ;-) Na pochlapeni UIR_ADR bych moc nespolehal. > > jestli a jak se to tam nacpe. I kdyz si myslim ze ty data by tam byt v > > OSM mely. Dost to pomuze, jak pri mapovani, tak pri navigaci. > > Mely by tam byt urcite. Dulezite je doladit v jakem formatu a hlavne > nasetupovat proces pro updaty! (Precijen si nechceme zaneradit OSM > nejakymi 10%, ktere by nam pak vyrazneji komplikovali dodani tech > zbylych 90%... Ten ADRESA_KOD by mel pro updaty stacit, ne? Anyway, tady je dalsi vzorek, mel by byt oznacen podle debaty na tady, takze pokud jsem neco udelal blbe, reknete... Pavel -- (english) http://www.livejournal.com/~pavelmachek (cesky, pictures) http://atrey.karlin.mff.cuni.cz/~pavel/picture/horses/blog.html cat > /tmp/delme.osm << EOF EOF ID=0 cat adresa.csv | grep -v ",,.$" | grep ,198.., | head -30 | ( while IFS=, read ADRESA_KOD OBJEKT_KOD ULICE_KOD CISOR_HOD CISOR_PIS PSC STAV VZNIK_DNE VZNIK_INFO ZANIK_DNE ZANIK_INFO PCD X Y; do ID=$[$ID-1] # echo $ULICE_KOD $CISOR_HOD $OBJEKT_KOD $PSC $X $Y if [ $STAV -eq 1 ]; then grep "^$ULICE_KOD" ulice.csv | ( IFS=, read I1 I2 NAME NAME2 grep "^$OBJEKT_KOD" objekt.csv | ( IFS=, read I1 I2 I3 CISDOM_HOD I4 echo "$X $Y" | ~/sf/timetab/cz/geo/jtsk2wgs | ( read LAT LON H echo $ID $NAME $CISDOM_HOD $CISOR_HOD $CISOR_PIS $PSC $LAT $LON echo "" >> /tmp/delme.osm echo " " >> /tmp/delme.osm echo " " >> /tmp/delme.osm echo " " >> /tmp/delme.osm echo " " >> /tmp/delme.osm echo " " >> /tmp/delme.osm echo " " >> /tmp/delme.osm echo "" >> /tmp/delme.osm ) ) ) fi done ) cat >> /tmp/delme.osm << EOF EOF cat /tmp/delme.osm | cstocs 1250 utf8 > /tmp/delme2.osm ___ Talk-cz mailing list Talk-cz@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-cz
