Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-15 Tråd Michael Andersen 
On søndag den 15. april 2018 19.40.32 CEST Jakob Barfod wrote:
> > > F.eks. bør den kunne finde ud af at flette oplysningerne korrekt
> > > sammen hvis nogen har tilføjet ekstra tags. Hvis adresseknuden senere
> > > forsvinder fra det officielle register, bør den jo nok også lade være
> > > med at slette sådan en knude men i stedet bare slette osak-tagsn'e.
> 
> Helt enig. Det nævnes flere gange i tråden, at DAR kommer til at blive det
> autoritative datagrundlag - og fx slette/ændre adressenoder i OSM, hvis der
> er kommer nye(re) data fra DAR.
> 
> Det synes jeg er en tvivlsom tilgang; der er stor chance for, at OSM's data
> er mere korrekte (fx rettelse af forkerte koordinater) eller fyldestgørende
> (fx i form af supplerende tags) end data fra DAR (jf. mit spørgsmål om
> supplerende tags;
> https://lists.openstreetmap.org/pipermail/talk-dk/2018-April/005026.html).
> 
> Venligst,

Som nævnt tidligere sker det jævnligt at især begyndere ved diverse uheld 
(først og fremmest ved at komme til at "gribe fat" i en node når de forsøger 
at "panne" kortet) kommer til fejlagtigt at rykke adresser op til flere 100 m 
(eksempel fra i dag: https://www.openstreetmap.org/changeset/58115512).

Det sker også jævnligt at folk aktivt forsøger at rette adresser i OSM (flytte 
lidt rundt på dem eller ændre numre). Fint nok. Men som vi flere gange 
tidligere på denne liste har været inde på må det korrekte altså være at 
adresser importeret til OSM fra DAR rettes ved kilden (altså ved henvendelse 
til DAR)




___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-15 Tråd Jakob Barfod 
> > F.eks. bør den kunne finde ud af at flette oplysningerne korrekt
> > sammen hvis nogen har tilføjet ekstra tags. Hvis adresseknuden senere
> > forsvinder fra det officielle register, bør den jo nok også lade være
> > med at slette sådan en knude men i stedet bare slette osak-tagsn'e.

Helt enig. Det nævnes flere gange i tråden, at DAR kommer til at blive det 
autoritative datagrundlag - og fx slette/ændre adressenoder i OSM, hvis der er 
kommer nye(re) data fra DAR.

Det synes jeg er en tvivlsom tilgang; der er stor chance for, at OSM's data er 
mere korrekte (fx rettelse af forkerte koordinater) eller fyldestgørende (fx i 
form af supplerende tags) end data fra DAR (jf. mit spørgsmål om supplerende 
tags; https://lists.openstreetmap.org/pipermail/talk-dk/2018-April/005026.html).

Venligst,

-- 
Jakob


___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-15 Tråd Michael Andersen 
> 
> Steffen Møller/AWSbot "eksporterede" jævnligt diverse "fremmede" tags fra
> osak adressenoder. Eksempler i Århus: https://overpass-turbo.eu/s/xTn
> 
Hmm. Søgningen https://overpass-turbo.eu/s/xTX virker bedre :-/


___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-15 Tråd Jonathan Hougaard 

Hej Ole


Du har ret i det kunne være en fordel at tage hensyn til ekstra tags når 
en adresse bliver slettet. Egentlig havde jeg planer om en "naiv" 
tilgang hvor knudes simpelthen bliver slettet, hvis adressen ikke 
længere eksisterer. Det er klart det nemmeste og mindst resourcekrævende 
at lave. Men i princippet kan funktionen til sletning af adresse godt 
laves anderledes, noget ala: hent hver knude med adresse der skal 
slettes, scan alle tags igennem, hvis knuden kun indeholder kendte 
adressetags - slet noden - ellers fjern blot kendte tags. Der er uden 
tvivl faldgruber ved begge metoder. Ved den "naive" tilgang risikerer vi 
at miste data i form af ekstra tags på adresseknuder. Jeg ved ikke, hvor 
almindeligt det er, at der er tilføjet ekstra tags, og hvor meget data 
der i så fald er tale om. Omvendt risikerer vi at ende med knuder med 
tags, der måske ikke giver ret meget mening alene, hvis nogle tags blot 
fjernes og knuden efterlades. Eks. en adresseknude hvor der er tilføjet 
et "note" tag, hvilket så vil være det eneste tilbageværende tag efter 
en sletning.


Jeg har ikke planer om at lave en større validering af data fra DAR. Så 
bliver det lige pludseligt et kæmpestort, og for mig uoverskueligt, 
projekt. Hvis en adresse ifølge DAR ligger i en sø, så ligger adressen i 
en sø. Data fra DAR har været af god nok kvalitet til at vi har 
importeret det til OSM siden 2009, og jeg tillader mig derfor den 
antagelse, at det stadig er tilfældet. Hvis vi ikke kan stole på vores 
ene datakilde, falder hele projektet til jorden.



On 15/04/2018 07:32, Ole Laursen wrote:

Et skridt ad gangen, men nogle tanker:


Nu er det et stykke tid siden jeg har rodet med adresser i OSM (for
mange små børn og for lidt søvn), men i mine øjne bør vi have en lille
dokumentation af hvad botten kan finde ud af med hensyn til
interaktion med manuel kortlægning.

F.eks. bør den kunne finde ud af at flette oplysningerne korrekt
sammen hvis nogen har tilføjet ekstra tags. Hvis adresseknuden senere
forsvinder fra det officielle register, bør den jo nok også lade være
med at slette sådan en knude men i stedet bare slette osak-tagsn'e.

Vi bør også have en måde at rette åbenlyst forkerte adresser. Jeg
biksede i sin tid denne side sammen

https://oisfixes.iola.dk/

som kan håndtere forkerte vejnavne. Men der kan være andre ting galt,
f.eks. koordinaterne. Jeg har i sin tid set adresser ude i en sø,
eller adresser der ligger oven i hinanden i en boligforening med
rækkehuse.

Det skal kommunerne fikse, men det dur ikke at vi har en løsning hvor
data i OSM er forkerte indtil en eller anden ved en kommune måske
eller måske ikke retter noget til.

Om det er lettest at have et system hvor vi tagger knuderne i OSM
eller jeg skal tage mig sammen til at udvide oisfixes som jeg nu har
lovet i flere omgange, ved jeg ikke?


Ole

___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk



___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-15 Tråd Jonathan Hougaard 

Hej Mikkel


Tak for link. Jeg har kigget dine issues igennem og kan konstatere, at 
der ikke umiddelbart er nogen, der går igen i min foreløbige kode.


Jeg vil som sagt gerne dele kildekoden, men så længe projektet er i et 
tidligt stadie hvor store dele af koden hurtigt kan ændre sig, ser jeg 
det ikke som en fordel at bruge tid på at uploade rettelser hvert andet 
øjeblik. Når den grundlæggende struktur er på plads skal den nok blive 
uploaded, don't worry.


Spørger du fordi du kender til import-platforme, der kan bruges - eller 
er det et reelt spørgsmål? Hvis du kender noget, der kunne være 
relevant, håber jeg selvfølgelig, at du vil dele det.



On 14/04/2018 13:33, Mikkel wrote:

Hej Jonathan.

Fedt endelig at se noget interesse og initiativ til at forbedre 
DAR-importen (aka. DAWA/AWS), det kan jeg kun bakke op om.


Jeg har ikke så meget tid til at uddybe lige nu, men har også studeret 
og eksperimenteret med det eksisterende AWSbot, og begyndt at 
forberede noget lignende det du beskriver. Jeg tænkte dog oprindeligt 
at prioritere at få scriptet i en tilstand så Stephen i første omgang 
kunne fortsætte med hans normale procedure, inden der blev kigget for 
meget fremad. Det virkede dog som om han mistede interessen, og så 
vidt jeg kan se har han trukket sig helt, så jeg har valgt at bruge 
tiden på at blive klogere i stedet for at implementere nødløsninger.


Jeg har et AWSbot-fork på https://github.com/mikini/AWSbot/, hvor jeg 
har tilføjet issues med de problemer jeg har observeret i det 
eksisterende script. Hvis du har taget udgangspunkt i det, vil det nok 
være en ide at kaste et blik på dem.


Det er fint at du spørger til input, samarbejde og konsensus er efter 
min mening helt nødvendigt, men input er ikke nok. Processen og en 
forbedret importer bør være så åben og transparent som mulig, så vi 
kan skabe så fleksible og interoperable værktøjer til os selv som muligt.
Jeg synes bestemt ikke det er i orden at kildekode først frigives når 
der foreligger en endelig version. Et så centralt værktøj skal 
udvikles i det åbne af og i fællesskabet og være under en fri software 
licens.


Har du studeret om der findes en "import-platform" fra OSM eller andre 
regioner man kunne bygge videre på?


Bemærk at Apple som også annonceret her, 
https://lists.openstreetmap.org/pipermail/talk-dk/2018-March/004995.html, 
har vist interesse for data i Dansk OSM, herunder også importeren. Vi 
er nogle stykker der har haft en snak med dem om tilstanden af 
DAR-import i deres issue for Danmark, se 
https://github.com/osmlab/appledata/issues/69#issuecomment-370098972.
Jeg har kommunikeret lidt med OSM-projektlederen fra Apple, og det er 
mit indtryk at de også godt kunne være interesserede i at sponsorere 
noget arbejde på at forbedre importeren.


Hilsner,
Mikkel

Den 14. april 2018 09.45.50 CEST, Jonathan Hougaard 
 skrev:


Hej alle


Efter en kort diskussion her:
https://www.openstreetmap.org/changeset/57976035  har jeg besluttet mig
for at give mig i kast med at bygge en ny web app, der kan bruges til at
vedligeholde danske adresser vha. det danske adresseregister.


Grundstrukturen er allerede funktionel, men før jeg arbejder videre med
projektet vil jeg gerne have spørgsmål, kommentarer og ønsker til
projektet. Grundlæggende er ideen at opdatere adresser på en måde
svarende til den vi kender fra AWSbot scriptet. Den tekniske del er dog
lavet fra bunden, og virker på en noget anden måde end AWSbot, hvilket
gerne skulle give en mere effektiv og fleksibel databehandling.


Følgende wiki-side vil være primær dokumentation for projektet:
https://wiki.openstreetmap.org/wiki/AutoAWS.  Siden vil blive opdateret
løbende i takt med at jeg arbejder videre med projektet, baseret på
jeres kommentarer og ønsker. Kildekoden vil blive offentliggjort når en
endelig version af appen er færdiggjort.


Efterhånden som det hele skrider frem vil jeg nok have mere konkrete
spørgsmål at stille - men i første omgang vil jeg blot meget gerne høre
jeres umiddelbare indtryk, tanker, ønsker osv.


Allerede nu vil jeg melde ud, at hvis opdatering af adresser skal køre
fuldautomatisk (tanken er at hvert postnummer automatisk kan blive
opdateret hver 30. dag), vil det kræve noget serverinfrastruktur hvor
scriptet kan køre. Jeg bidrager gerne min tid og viden til projektet,
men er ikke interesseret i at bidrage økonomisk. Hvis der er nogen, der
kan bidrage med serverplads, hører jeg derfor gerne fra jer. Det er ikke
det helt store, der kræves - hvis du for eksempel har en personlig
hjemmeside, vil scriptet nok kunne køre i baggrunden på den.

Alternativt kan det hele også køre på en almindelig computer, hvis der
installeres noget server-software (f.eks. Wampserver). Så vil
opdateringen dog ikke kunne køre fuldautomatisk.


Foreløbigt ser jeg frem til at modtage tanker og kommentarer.

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Ole Laursen 
Et skridt ad gangen, men nogle tanker:


Nu er det et stykke tid siden jeg har rodet med adresser i OSM (for
mange små børn og for lidt søvn), men i mine øjne bør vi have en lille
dokumentation af hvad botten kan finde ud af med hensyn til
interaktion med manuel kortlægning.

F.eks. bør den kunne finde ud af at flette oplysningerne korrekt
sammen hvis nogen har tilføjet ekstra tags. Hvis adresseknuden senere
forsvinder fra det officielle register, bør den jo nok også lade være
med at slette sådan en knude men i stedet bare slette osak-tagsn'e.

Vi bør også have en måde at rette åbenlyst forkerte adresser. Jeg
biksede i sin tid denne side sammen

https://oisfixes.iola.dk/

som kan håndtere forkerte vejnavne. Men der kan være andre ting galt,
f.eks. koordinaterne. Jeg har i sin tid set adresser ude i en sø,
eller adresser der ligger oven i hinanden i en boligforening med
rækkehuse.

Det skal kommunerne fikse, men det dur ikke at vi har en løsning hvor
data i OSM er forkerte indtil en eller anden ved en kommune måske
eller måske ikke retter noget til.

Om det er lettest at have et system hvor vi tagger knuderne i OSM
eller jeg skal tage mig sammen til at udvide oisfixes som jeg nu har
lovet i flere omgange, ved jeg ikke?


Ole

___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Michel Coene 
Kun fordi der ikke er en bygning på adressen er i øvrigt ikke en grund at
slette den.  Ambulancer kan kun rykke ud til en adresse, ikke til GPS
koordinater, men kræver ikke der står en bygning...

Op za 14 apr. 2018 15:02 schreef Michael Andersen :

> 2. For min skyld kan for OSM uinteressante tags sagtens droppes i
> forbindelse med øvrig opdatering. Men jo flere tags der er på et givent OSM
> objekt, jo sværere bliver det for en menneskelig mapper som mig at overskue
> dem (og det sker ofte at jeg har brug for at studere adresser), så derfor
> plæderer jeg gerne for at holde antallet på et rimeligt niveau.
>
> 3. Et eksempel på et changeset der medførte dubletter:
> https://www.openstreetmap.org/changeset/41112526. Jeg stødte på mange
> flere og kommenterede på nogen af dem (igen desværre uden respons).
>
> Bruger Jørn-osm foretog dog siden en del oprydning i danske adresser
> (indtil jeg gjorde ham opmærksom på
> https://lists.openstreetmap.org/pipermail/talk-dk/2017-October/004884.html),
> så det er ikke sikkert at der vil kunne findes flere dubletter nu. Jørn
> dokumenterede sit arbejde i bl.a.
> https://wiki.openstreetmap.org/wiki/Da:Adresse_tjek.
>
> On lørdag den 14. april 2018 13.29.11 CEST Jonathan Hougaard wrote:
> > 1 Der vil være grov kontrol af data kommende fra DAWA. F.eks. vil en
> > adresse ikke blive medtaget, hvis koordinaterne ligger uden for en kasse
> > med hjørner 54N007E-58N016E. Så adresser hvor koordinater er angivet til
> > 0,0 bliver frasorteret.
> >
> > 2 For min skyld kan vi sagtens fjerne nogle.
> >
> > osak:street er blot en dublet af addr:street
> >
> > osak:house_no er en dublet af addr:housenumber
> >
> > osak:municipality_name - har vi evt. et godt alternativt tag til at
> > angive kommunenavn? Ellers tænker jeg det er fint at bibeholde.
> >
> > osak:municipality_no og osak:street_no er interne værdier brugt af DAWA.
> > Jeg har ikke planer om at bruge dem, så de kan også sagtens forsvinde.
> >
> > osak:revision bruges til at tjekke, hvornår adressen sidst er opdateret
> > - så den skal gerne blive.
> >
> > osak:identifier er adressens unikke ID, og skal også blive.
> >
> > Så osak:street, osak:house_no, osak:municipality_no og osak:street_no
> > tænker jeg godt, vi kan fjerne. Spørgsmålet er, om scriptet aktivt skal
> > gå ind og slette alle disse tags, eller om de bare skal fjernes
> > efterhånden som de pågældende adresser bliver opdateret?
> >
> > 3 Kan du uddybe/komme med eksempler? Hvis en osak:identifier er ukendt
> > for scriptet, vil noden blive slettet, så jeg tror ikke umiddelbart, der
> > er risiko for dubletter.
> >
> > 4 Der er ikke noget i vejen for at opdatere tags på en way i stedet for
> > en node - men det vil så blive umuligt at tjekke, om en adresse er
> > placeret korrekt. En adresse i DAWA er jo netop defineret ved ét punkt,
> > ikke et område. Rent teknisk kan man godt sammenligne områder med
> > punkter, men det vil kræve noget decideret GIS-software og en hel del
> > mere regnekraft - og er øvrigt uden for mit ekspertiseområde. Så
> > umiddelbart tror jeg ikke det er en god ide at begynde at definere
> > adresser som områder, når de i det officielle register fremgår som
> punkter.
> >
> > On 14/04/2018 12:21, Michael Andersen wrote:
> > > !. Det bør sikres at danske adresser ikke, på grund af fejlagtige eller
> > > manglende koordinater, ender på Null Island eller andre steder uden for
> > > Danmark.
> > >
> > > 2. Behøver vi virkelig alle de forskellige osak:* tags i OSM? Kan vi
> med
> > > fordel droppe nogle af dem?
> > >
> > > 3. Man kan ikke stole 100% på osak:identifier.  Jeg observerede
> adskillige
> > > tilfælde hvor AWSbot oprettede dubletter med forskellige udgaver af
> dette
> > > tag (og operatøren reagerede desværre sjældent på mine henvendelser
> > > angående det).
> > >
> > > 4. Jeg har ofte tænkt om ikke vi kunne revidere den hidtidige politik
> > > nævnt på blandt andet
> > > https://wiki.openstreetmap.org/wiki/Addresses#Denmark. I mange
> tilfælde
> > > kan der være god mening i at tagge adresser på f.eks. villaer fremfor
> på
> > > en node midt i den (uden for DK er det normen at have adresser på
> > > bygninger. Teknikken skal bare være i stand til at tage højde for at en
> > > adresse kan eksistere både som en node og som en "vej"/"way"
>
>
> ___
> Talk-dk mailing list
> Talk-dk@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-dk
>
___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Michael Andersen 
2. For min skyld kan for OSM uinteressante tags sagtens droppes i forbindelse 
med øvrig opdatering. Men jo flere tags der er på et givent OSM objekt, jo 
sværere bliver det for en menneskelig mapper som mig at overskue dem (og det 
sker ofte at jeg har brug for at studere adresser), så derfor plæderer jeg 
gerne for at holde antallet på et rimeligt niveau.

3. Et eksempel på et changeset der medførte dubletter:
https://www.openstreetmap.org/changeset/41112526. Jeg stødte på mange flere og 
kommenterede på nogen af dem (igen desværre uden respons).

Bruger Jørn-osm foretog dog siden en del oprydning i danske adresser (indtil 
jeg gjorde ham opmærksom på 
https://lists.openstreetmap.org/pipermail/talk-dk/2017-October/004884.html), så 
det er ikke sikkert at der vil kunne findes flere dubletter nu. Jørn 
dokumenterede sit arbejde i bl.a. 
https://wiki.openstreetmap.org/wiki/Da:Adresse_tjek.

On lørdag den 14. april 2018 13.29.11 CEST Jonathan Hougaard wrote:
> 1 Der vil være grov kontrol af data kommende fra DAWA. F.eks. vil en
> adresse ikke blive medtaget, hvis koordinaterne ligger uden for en kasse
> med hjørner 54N007E-58N016E. Så adresser hvor koordinater er angivet til
> 0,0 bliver frasorteret.
> 
> 2 For min skyld kan vi sagtens fjerne nogle.
> 
> osak:street er blot en dublet af addr:street
> 
> osak:house_no er en dublet af addr:housenumber
> 
> osak:municipality_name - har vi evt. et godt alternativt tag til at
> angive kommunenavn? Ellers tænker jeg det er fint at bibeholde.
> 
> osak:municipality_no og osak:street_no er interne værdier brugt af DAWA.
> Jeg har ikke planer om at bruge dem, så de kan også sagtens forsvinde.
> 
> osak:revision bruges til at tjekke, hvornår adressen sidst er opdateret
> - så den skal gerne blive.
> 
> osak:identifier er adressens unikke ID, og skal også blive.
> 
> Så osak:street, osak:house_no, osak:municipality_no og osak:street_no
> tænker jeg godt, vi kan fjerne. Spørgsmålet er, om scriptet aktivt skal
> gå ind og slette alle disse tags, eller om de bare skal fjernes
> efterhånden som de pågældende adresser bliver opdateret?
> 
> 3 Kan du uddybe/komme med eksempler? Hvis en osak:identifier er ukendt
> for scriptet, vil noden blive slettet, så jeg tror ikke umiddelbart, der
> er risiko for dubletter.
> 
> 4 Der er ikke noget i vejen for at opdatere tags på en way i stedet for
> en node - men det vil så blive umuligt at tjekke, om en adresse er
> placeret korrekt. En adresse i DAWA er jo netop defineret ved ét punkt,
> ikke et område. Rent teknisk kan man godt sammenligne områder med
> punkter, men det vil kræve noget decideret GIS-software og en hel del
> mere regnekraft - og er øvrigt uden for mit ekspertiseområde. Så
> umiddelbart tror jeg ikke det er en god ide at begynde at definere
> adresser som områder, når de i det officielle register fremgår som punkter.
> 
> On 14/04/2018 12:21, Michael Andersen wrote:
> > !. Det bør sikres at danske adresser ikke, på grund af fejlagtige eller
> > manglende koordinater, ender på Null Island eller andre steder uden for
> > Danmark.
> > 
> > 2. Behøver vi virkelig alle de forskellige osak:* tags i OSM? Kan vi med
> > fordel droppe nogle af dem?
> > 
> > 3. Man kan ikke stole 100% på osak:identifier.  Jeg observerede adskillige
> > tilfælde hvor AWSbot oprettede dubletter med forskellige udgaver af dette
> > tag (og operatøren reagerede desværre sjældent på mine henvendelser
> > angående det).
> > 
> > 4. Jeg har ofte tænkt om ikke vi kunne revidere den hidtidige politik
> > nævnt på blandt andet
> > https://wiki.openstreetmap.org/wiki/Addresses#Denmark. I mange tilfælde
> > kan der være god mening i at tagge adresser på f.eks. villaer fremfor på
> > en node midt i den (uden for DK er det normen at have adresser på
> > bygninger. Teknikken skal bare være i stand til at tage højde for at en
> > adresse kan eksistere både som en node og som en "vej"/"way"


___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Michael Andersen 
Bemærk at du kan ændre søgningen så det passer med tidsrummet siden sidste 
kørsel af dit script (de 7 dage var bare et eksempel). Se
https://wiki.openstreetmap.org/wiki/Overpass_API/Overpass_QL#newer.

Et problem med en sådan Overpass søgning er selvfølgelig at den ikke vil finde 
slettede adresse noder.
Jeg tænker derfor om det kunne være en fordel at køre noget
https://wiki.openstreetmap.org/wiki/Osmosis/Replication og derigennem løbende 
fange alle ændringer (inkl sletninger) på relevante adressenoder.

On lørdag den 14. april 2018 13.41.45 CEST Jonathan Hougaard wrote:
> Okay, det kunne faktisk godt være en måde at angribe det på. Jeg skal så
> bare frasortere noder, som scriptet selv har ændret indenfor den sidste
> uge, ellers vil det også begyndet at gennemgå sine egne rettelser.
> 
> Dog vil det i første omgang stadig kræve en grundig gennemgang af alle
> adresser for at få hele datasættet opdateret, hvorefter det så vil nemt
> blot at opdatere de adresser, der er ændret, enten i OSM eller AWS.
> 
> On 14/04/2018 13:28, Michael Andersen wrote:
> > On lørdag den 14. april 2018 13.10.13 CEST Jonathan Hougaard wrote:
> >> Hej Anton
> >> 
> >> 
> >> Tak, den var jeg ikke bekendt med. Det ændrer jo straks spillereglerne
> >> lidt.
> >> 
> >> Det ville selvfølgelig være nemt bare at kunne importere det komplette
> >> datasæt fra DAWA, indlæse i OSM og så holde det opdateret vha. deres
> >> replikerings-API.  Desværre er OSM-dataet allerede til dels forældet, og
> >> skal derfor bringes up-to-date først. Så for et komplet og korrekt
> >> datasæt ville det nok kræve at slette alle eksisterende adressenodes i
> >> OSM og så indlæse det hele forfra. Jeg er bange for det vil være svært
> >> at finde opbakning til den fremgangsmåde, da man risikerer større tab af
> >> data (f.eks. hvis der er tilføjet andre data-tags på adressenoderne, som
> >> så vil blive slettet). Hmm.
> >> 
> >> I øvrigt vil brug af replikerings-API'et også kun fange rettelser, der
> >> kommer fra DAWA. Dvs. hvis en bruger manuelt (fejlagtigt) har rettet på
> >> en adresse-node i OSM, vil denne ikke blive rettet tilbage (medmindre
> >> samme adresse tilfældigvis også bliver ændret i DAWA). En del af ideen
> >> er også at fange sådanne manuelle edits og rette dem tilbage.
> >> 
> >> Hvis OSM var er sterilt miljø med korrekte og kontrollerede edits ville
> >> et replikerings-API være super, men jeg er ikke sikker på, det er en
> >> optimal løsning her. Hvad tænker du om det?
> >> 
> >> Mht. serverplads: fedt, det vil jeg huske når jeg når så langt!
> > 
> > Overpass søgningen https://overpass-turbo.eu/s/xSA finder alle noder i DK
> > tagget med osak:identifier=*, der er ændret/flyttet indenfor den seneste
> > uge, så vi behøver ikke sammenligne med DAWA for at kunne finde dem.
> > 
> > ___
> > Talk-dk mailing list
> > Talk-dk@openstreetmap.org
> > https://lists.openstreetmap.org/listinfo/talk-dk
> 
> ___
> Talk-dk mailing list
> Talk-dk@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-dk



___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Mikkel 
Hej Jonathan. 

Fedt endelig at se noget interesse og initiativ til at forbedre DAR-importen 
(aka. DAWA/AWS), det kan jeg kun bakke op om. 

Jeg har ikke så meget tid til at uddybe lige nu, men har også studeret og 
eksperimenteret med det eksisterende AWSbot, og begyndt at forberede noget 
lignende det du beskriver. Jeg tænkte dog oprindeligt at prioritere at få 
scriptet i en tilstand så Stephen i første omgang kunne fortsætte med hans 
normale procedure, inden der blev kigget for meget fremad. Det virkede dog som 
om han mistede interessen, og så vidt jeg kan se har han trukket sig helt, så 
jeg har valgt at bruge tiden på at blive klogere i stedet for at implementere 
nødløsninger.

Jeg har et AWSbot-fork på https://github.com/mikini/AWSbot/, hvor jeg har 
tilføjet issues med de problemer jeg har observeret i det eksisterende script. 
Hvis du har taget udgangspunkt i det, vil det nok være en ide at kaste et blik 
på dem.

Det er fint at du spørger til input, samarbejde og konsensus er efter min 
mening helt nødvendigt, men input er ikke nok. Processen og en forbedret 
importer bør være så åben og transparent som mulig, så vi kan skabe så 
fleksible og interoperable værktøjer til os selv som muligt.
Jeg synes bestemt ikke det er i orden at kildekode først frigives når der 
foreligger en endelig version. Et så centralt værktøj skal udvikles i det åbne 
af og i fællesskabet og være under en fri software licens. 
  
Har du studeret om der findes en "import-platform" fra OSM eller andre regioner 
man kunne bygge videre på? 

Bemærk at Apple som også annonceret her, 
https://lists.openstreetmap.org/pipermail/talk-dk/2018-March/004995.html, har 
vist interesse for data i Dansk OSM, herunder også importeren. Vi er nogle 
stykker der har haft en snak med dem om tilstanden af DAR-import i deres issue 
for Danmark, se 
https://github.com/osmlab/appledata/issues/69#issuecomment-370098972. 
Jeg har kommunikeret lidt med OSM-projektlederen fra Apple, og det er mit 
indtryk at de også godt kunne være interesserede i at sponsorere noget arbejde 
på at forbedre importeren.

Hilsner,
Mikkel 

Den 14. april 2018 09.45.50 CEST, Jonathan Hougaard  
skrev:
>Hej alle
>
>
>Efter en kort diskussion her: 
>https://www.openstreetmap.org/changeset/57976035 har jeg besluttet mig 
>for at give mig i kast med at bygge en ny web app, der kan bruges til
>at 
>vedligeholde danske adresser vha. det danske adresseregister.
>
>
>Grundstrukturen er allerede funktionel, men før jeg arbejder videre med
>
>projektet vil jeg gerne have spørgsmål, kommentarer og ønsker til 
>projektet. Grundlæggende er ideen at opdatere adresser på en måde 
>svarende til den vi kender fra AWSbot scriptet. Den tekniske del er dog
>
>lavet fra bunden, og virker på en noget anden måde end AWSbot, hvilket 
>gerne skulle give en mere effektiv og fleksibel databehandling.
>
>
>Følgende wiki-side vil være primær dokumentation for projektet: 
>https://wiki.openstreetmap.org/wiki/AutoAWS. Siden vil blive opdateret 
>løbende i takt med at jeg arbejder videre med projektet, baseret på 
>jeres kommentarer og ønsker. Kildekoden vil blive offentliggjort når en
>
>endelig version af appen er færdiggjort.
>
>
>Efterhånden som det hele skrider frem vil jeg nok have mere konkrete 
>spørgsmål at stille - men i første omgang vil jeg blot meget gerne høre
>
>jeres umiddelbare indtryk, tanker, ønsker osv.
>
>
>Allerede nu vil jeg melde ud, at hvis opdatering af adresser skal køre 
>fuldautomatisk (tanken er at hvert postnummer automatisk kan blive 
>opdateret hver 30. dag), vil det kræve noget serverinfrastruktur hvor 
>scriptet kan køre. Jeg bidrager gerne min tid og viden til projektet, 
>men er ikke interesseret i at bidrage økonomisk. Hvis der er nogen, der
>
>kan bidrage med serverplads, hører jeg derfor gerne fra jer. Det er
>ikke 
>det helt store, der kræves - hvis du for eksempel har en personlig 
>hjemmeside, vil scriptet nok kunne køre i baggrunden på den.
>
>Alternativt kan det hele også køre på en almindelig computer, hvis der 
>installeres noget server-software (f.eks. Wampserver). Så vil 
>opdateringen dog ikke kunne køre fuldautomatisk.
>
>
>Foreløbigt ser jeg frem til at modtage tanker og kommentarer.
>
>
>___
>Talk-dk mailing list
>Talk-dk@openstreetmap.org
>https://lists.openstreetmap.org/listinfo/talk-dk

-- 
Dette er sendt fra min mobiltelefon. Undskyld at jeg fatter mig i korthed.___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Jonathan Hougaard 
Okay, det kunne faktisk godt være en måde at angribe det på. Jeg skal så 
bare frasortere noder, som scriptet selv har ændret indenfor den sidste 
uge, ellers vil det også begyndet at gennemgå sine egne rettelser.


Dog vil det i første omgang stadig kræve en grundig gennemgang af alle 
adresser for at få hele datasættet opdateret, hvorefter det så vil nemt 
blot at opdatere de adresser, der er ændret, enten i OSM eller AWS.



On 14/04/2018 13:28, Michael Andersen wrote:

On lørdag den 14. april 2018 13.10.13 CEST Jonathan Hougaard wrote:

Hej Anton


Tak, den var jeg ikke bekendt med. Det ændrer jo straks spillereglerne lidt.

Det ville selvfølgelig være nemt bare at kunne importere det komplette
datasæt fra DAWA, indlæse i OSM og så holde det opdateret vha. deres
replikerings-API.  Desværre er OSM-dataet allerede til dels forældet, og
skal derfor bringes up-to-date først. Så for et komplet og korrekt
datasæt ville det nok kræve at slette alle eksisterende adressenodes i
OSM og så indlæse det hele forfra. Jeg er bange for det vil være svært
at finde opbakning til den fremgangsmåde, da man risikerer større tab af
data (f.eks. hvis der er tilføjet andre data-tags på adressenoderne, som
så vil blive slettet). Hmm.

I øvrigt vil brug af replikerings-API'et også kun fange rettelser, der
kommer fra DAWA. Dvs. hvis en bruger manuelt (fejlagtigt) har rettet på
en adresse-node i OSM, vil denne ikke blive rettet tilbage (medmindre
samme adresse tilfældigvis også bliver ændret i DAWA). En del af ideen
er også at fange sådanne manuelle edits og rette dem tilbage.

Hvis OSM var er sterilt miljø med korrekte og kontrollerede edits ville
et replikerings-API være super, men jeg er ikke sikker på, det er en
optimal løsning her. Hvad tænker du om det?

Mht. serverplads: fedt, det vil jeg huske når jeg når så langt!

Overpass søgningen https://overpass-turbo.eu/s/xSA finder alle noder i DK
tagget med osak:identifier=*, der er ændret/flyttet indenfor den seneste uge, så
vi behøver ikke sammenligne med DAWA for at kunne finde dem.

___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk



___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Michael Andersen 
On lørdag den 14. april 2018 13.10.13 CEST Jonathan Hougaard wrote:
> Hej Anton
> 
> 
> Tak, den var jeg ikke bekendt med. Det ændrer jo straks spillereglerne lidt.
> 
> Det ville selvfølgelig være nemt bare at kunne importere det komplette
> datasæt fra DAWA, indlæse i OSM og så holde det opdateret vha. deres
> replikerings-API.  Desværre er OSM-dataet allerede til dels forældet, og
> skal derfor bringes up-to-date først. Så for et komplet og korrekt
> datasæt ville det nok kræve at slette alle eksisterende adressenodes i
> OSM og så indlæse det hele forfra. Jeg er bange for det vil være svært
> at finde opbakning til den fremgangsmåde, da man risikerer større tab af
> data (f.eks. hvis der er tilføjet andre data-tags på adressenoderne, som
> så vil blive slettet). Hmm.
> 
> I øvrigt vil brug af replikerings-API'et også kun fange rettelser, der
> kommer fra DAWA. Dvs. hvis en bruger manuelt (fejlagtigt) har rettet på
> en adresse-node i OSM, vil denne ikke blive rettet tilbage (medmindre
> samme adresse tilfældigvis også bliver ændret i DAWA). En del af ideen
> er også at fange sådanne manuelle edits og rette dem tilbage.
> 
> Hvis OSM var er sterilt miljø med korrekte og kontrollerede edits ville
> et replikerings-API være super, men jeg er ikke sikker på, det er en
> optimal løsning her. Hvad tænker du om det?
> 
> Mht. serverplads: fedt, det vil jeg huske når jeg når så langt!

Overpass søgningen https://overpass-turbo.eu/s/xSA finder alle noder i DK 
tagget med osak:identifier=*, der er ændret/flyttet indenfor den seneste uge, 
så 
vi behøver ikke sammenligne med DAWA for at kunne finde dem.

___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Jonathan Hougaard 
1 Der vil være grov kontrol af data kommende fra DAWA. F.eks. vil en 
adresse ikke blive medtaget, hvis koordinaterne ligger uden for en kasse 
med hjørner 54N007E-58N016E. Så adresser hvor koordinater er angivet til 
0,0 bliver frasorteret.


2 For min skyld kan vi sagtens fjerne nogle.

osak:street er blot en dublet af addr:street

osak:house_no er en dublet af addr:housenumber

osak:municipality_name - har vi evt. et godt alternativt tag til at 
angive kommunenavn? Ellers tænker jeg det er fint at bibeholde.


osak:municipality_no og osak:street_no er interne værdier brugt af DAWA. 
Jeg har ikke planer om at bruge dem, så de kan også sagtens forsvinde.


osak:revision bruges til at tjekke, hvornår adressen sidst er opdateret 
- så den skal gerne blive.


osak:identifier er adressens unikke ID, og skal også blive.

Så osak:street, osak:house_no, osak:municipality_no og osak:street_no 
tænker jeg godt, vi kan fjerne. Spørgsmålet er, om scriptet aktivt skal 
gå ind og slette alle disse tags, eller om de bare skal fjernes 
efterhånden som de pågældende adresser bliver opdateret?


3 Kan du uddybe/komme med eksempler? Hvis en osak:identifier er ukendt 
for scriptet, vil noden blive slettet, så jeg tror ikke umiddelbart, der 
er risiko for dubletter.


4 Der er ikke noget i vejen for at opdatere tags på en way i stedet for 
en node - men det vil så blive umuligt at tjekke, om en adresse er 
placeret korrekt. En adresse i DAWA er jo netop defineret ved ét punkt, 
ikke et område. Rent teknisk kan man godt sammenligne områder med 
punkter, men det vil kræve noget decideret GIS-software og en hel del 
mere regnekraft - og er øvrigt uden for mit ekspertiseområde. Så 
umiddelbart tror jeg ikke det er en god ide at begynde at definere 
adresser som områder, når de i det officielle register fremgår som punkter.



On 14/04/2018 12:21, Michael Andersen wrote:

!. Det bør sikres at danske adresser ikke, på grund af fejlagtige eller
manglende koordinater, ender på Null Island eller andre steder uden for
Danmark.

2. Behøver vi virkelig alle de forskellige osak:* tags i OSM? Kan vi med
fordel droppe nogle af dem?

3. Man kan ikke stole 100% på osak:identifier.  Jeg observerede adskillige
tilfælde hvor AWSbot oprettede dubletter med forskellige udgaver af dette tag
(og operatøren reagerede desværre sjældent på mine henvendelser angående det).

4. Jeg har ofte tænkt om ikke vi kunne revidere den hidtidige politik nævnt på
blandt andet https://wiki.openstreetmap.org/wiki/Addresses#Denmark. I mange
tilfælde kan der være god mening i at tagge adresser på f.eks. villaer fremfor
på en node midt i den (uden for DK er det normen at have adresser på
bygninger. Teknikken skal bare være i stand til at tage højde for at en
adresse kan eksistere både som en node og som en "vej"/"way"

On lørdag den 14. april 2018 09.45.50 CEST Jonathan Hougaard wrote:

Hej alle


Efter en kort diskussion her:
https://www.openstreetmap.org/changeset/57976035 har jeg besluttet mig
for at give mig i kast med at bygge en ny web app, der kan bruges til at
vedligeholde danske adresser vha. det danske adresseregister.


Grundstrukturen er allerede funktionel, men før jeg arbejder videre med
projektet vil jeg gerne have spørgsmål, kommentarer og ønsker til
projektet. Grundlæggende er ideen at opdatere adresser på en måde
svarende til den vi kender fra AWSbot scriptet. Den tekniske del er dog
lavet fra bunden, og virker på en noget anden måde end AWSbot, hvilket
gerne skulle give en mere effektiv og fleksibel databehandling.


Følgende wiki-side vil være primær dokumentation for projektet:
https://wiki.openstreetmap.org/wiki/AutoAWS. Siden vil blive opdateret
løbende i takt med at jeg arbejder videre med projektet, baseret på
jeres kommentarer og ønsker. Kildekoden vil blive offentliggjort når en
endelig version af appen er færdiggjort.


Efterhånden som det hele skrider frem vil jeg nok have mere konkrete
spørgsmål at stille - men i første omgang vil jeg blot meget gerne høre
jeres umiddelbare indtryk, tanker, ønsker osv.


Allerede nu vil jeg melde ud, at hvis opdatering af adresser skal køre
fuldautomatisk (tanken er at hvert postnummer automatisk kan blive
opdateret hver 30. dag), vil det kræve noget serverinfrastruktur hvor
scriptet kan køre. Jeg bidrager gerne min tid og viden til projektet,
men er ikke interesseret i at bidrage økonomisk. Hvis der er nogen, der
kan bidrage med serverplads, hører jeg derfor gerne fra jer. Det er ikke
det helt store, der kræves - hvis du for eksempel har en personlig
hjemmeside, vil scriptet nok kunne køre i baggrunden på den.

Alternativt kan det hele også køre på en almindelig computer, hvis der
installeres noget server-software (f.eks. Wampserver). Så vil
opdateringen dog ikke kunne køre fuldautomatisk.


Foreløbigt ser jeg frem til at modtage tanker og kommentarer.


___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Jonathan Hougaard 

Hej Anton


Tak, den var jeg ikke bekendt med. Det ændrer jo straks spillereglerne lidt.

Det ville selvfølgelig være nemt bare at kunne importere det komplette 
datasæt fra DAWA, indlæse i OSM og så holde det opdateret vha. deres 
replikerings-API.  Desværre er OSM-dataet allerede til dels forældet, og 
skal derfor bringes up-to-date først. Så for et komplet og korrekt 
datasæt ville det nok kræve at slette alle eksisterende adressenodes i 
OSM og så indlæse det hele forfra. Jeg er bange for det vil være svært 
at finde opbakning til den fremgangsmåde, da man risikerer større tab af 
data (f.eks. hvis der er tilføjet andre data-tags på adressenoderne, som 
så vil blive slettet). Hmm.


I øvrigt vil brug af replikerings-API'et også kun fange rettelser, der 
kommer fra DAWA. Dvs. hvis en bruger manuelt (fejlagtigt) har rettet på 
en adresse-node i OSM, vil denne ikke blive rettet tilbage (medmindre 
samme adresse tilfældigvis også bliver ændret i DAWA). En del af ideen 
er også at fange sådanne manuelle edits og rette dem tilbage.


Hvis OSM var er sterilt miljø med korrekte og kontrollerede edits ville 
et replikerings-API være super, men jeg er ikke sikker på, det er en 
optimal løsning her. Hvad tænker du om det?


Mht. serverplads: fedt, det vil jeg huske når jeg når så langt!


On 14/04/2018 11:52, Anton Stonor wrote:

Hej Jonathan,

Fedt, at du tager teten!

Jeg har et par tekniske pointer, du kan overveje og måske allerede er 
opmærksom på.


DAWA har et fint replikerings-API. Den løbende synkronisering vil 
blive meget mere letvægts, hvis du abonnerer på ændringer frem for at 
trawle alt igennem. https://dawa.aws.dk//dok/guide/replikering


Brug et kø-system, fx ved hjælp af RabbitMQ. Du kan sikre, at alle 
ændringer går igennem ved fx periodiske problemet, og evt. fejl kan 
behandles fra en fejlkø.


I øvrigt: Jeg er en del af en it-virksomhed, som gerne vil sponsorere 
en server til projektet.


/Anton


Den 14. april 2018 kl. 09.45 skrev Jonathan Hougaard 
>:


Hej alle


Efter en kort diskussion her:
https://www.openstreetmap.org/changeset/57976035
 har jeg
besluttet mig for at give mig i kast med at bygge en ny web app,
der kan bruges til at vedligeholde danske adresser vha. det danske
adresseregister.


Grundstrukturen er allerede funktionel, men før jeg arbejder
videre med projektet vil jeg gerne have spørgsmål, kommentarer og
ønsker til projektet. Grundlæggende er ideen at opdatere adresser
på en måde svarende til den vi kender fra AWSbot scriptet. Den
tekniske del er dog lavet fra bunden, og virker på en noget anden
måde end AWSbot, hvilket gerne skulle give en mere effektiv og
fleksibel databehandling.


Følgende wiki-side vil være primær dokumentation for projektet:
https://wiki.openstreetmap.org/wiki/AutoAWS
. Siden vil blive
opdateret løbende i takt med at jeg arbejder videre med projektet,
baseret på jeres kommentarer og ønsker. Kildekoden vil blive
offentliggjort når en endelig version af appen er færdiggjort.


Efterhånden som det hele skrider frem vil jeg nok have mere
konkrete spørgsmål at stille - men i første omgang vil jeg blot
meget gerne høre jeres umiddelbare indtryk, tanker, ønsker osv.


Allerede nu vil jeg melde ud, at hvis opdatering af adresser skal
køre fuldautomatisk (tanken er at hvert postnummer automatisk kan
blive opdateret hver 30. dag), vil det kræve noget
serverinfrastruktur hvor scriptet kan køre. Jeg bidrager gerne min
tid og viden til projektet, men er ikke interesseret i at bidrage
økonomisk. Hvis der er nogen, der kan bidrage med serverplads,
hører jeg derfor gerne fra jer. Det er ikke det helt store, der
kræves - hvis du for eksempel har en personlig hjemmeside, vil
scriptet nok kunne køre i baggrunden på den.

Alternativt kan det hele også køre på en almindelig computer, hvis
der installeres noget server-software (f.eks. Wampserver). Så vil
opdateringen dog ikke kunne køre fuldautomatisk.


Foreløbigt ser jeg frem til at modtage tanker og kommentarer.


___
Talk-dk mailing list
Talk-dk@openstreetmap.org 
https://lists.openstreetmap.org/listinfo/talk-dk





___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk


___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Michael Andersen 
!. Det bør sikres at danske adresser ikke, på grund af fejlagtige eller 
manglende koordinater, ender på Null Island eller andre steder uden for 
Danmark.

2. Behøver vi virkelig alle de forskellige osak:* tags i OSM? Kan vi med 
fordel droppe nogle af dem?

3. Man kan ikke stole 100% på osak:identifier.  Jeg observerede adskillige 
tilfælde hvor AWSbot oprettede dubletter med forskellige udgaver af dette tag 
(og operatøren reagerede desværre sjældent på mine henvendelser angående det).

4. Jeg har ofte tænkt om ikke vi kunne revidere den hidtidige politik nævnt på 
blandt andet https://wiki.openstreetmap.org/wiki/Addresses#Denmark. I mange 
tilfælde kan der være god mening i at tagge adresser på f.eks. villaer fremfor 
på en node midt i den (uden for DK er det normen at have adresser på 
bygninger. Teknikken skal bare være i stand til at tage højde for at en 
adresse kan eksistere både som en node og som en "vej"/"way"

On lørdag den 14. april 2018 09.45.50 CEST Jonathan Hougaard wrote:
> Hej alle
> 
> 
> Efter en kort diskussion her:
> https://www.openstreetmap.org/changeset/57976035 har jeg besluttet mig
> for at give mig i kast med at bygge en ny web app, der kan bruges til at
> vedligeholde danske adresser vha. det danske adresseregister.
> 
> 
> Grundstrukturen er allerede funktionel, men før jeg arbejder videre med
> projektet vil jeg gerne have spørgsmål, kommentarer og ønsker til
> projektet. Grundlæggende er ideen at opdatere adresser på en måde
> svarende til den vi kender fra AWSbot scriptet. Den tekniske del er dog
> lavet fra bunden, og virker på en noget anden måde end AWSbot, hvilket
> gerne skulle give en mere effektiv og fleksibel databehandling.
> 
> 
> Følgende wiki-side vil være primær dokumentation for projektet:
> https://wiki.openstreetmap.org/wiki/AutoAWS. Siden vil blive opdateret
> løbende i takt med at jeg arbejder videre med projektet, baseret på
> jeres kommentarer og ønsker. Kildekoden vil blive offentliggjort når en
> endelig version af appen er færdiggjort.
> 
> 
> Efterhånden som det hele skrider frem vil jeg nok have mere konkrete
> spørgsmål at stille - men i første omgang vil jeg blot meget gerne høre
> jeres umiddelbare indtryk, tanker, ønsker osv.
> 
> 
> Allerede nu vil jeg melde ud, at hvis opdatering af adresser skal køre
> fuldautomatisk (tanken er at hvert postnummer automatisk kan blive
> opdateret hver 30. dag), vil det kræve noget serverinfrastruktur hvor
> scriptet kan køre. Jeg bidrager gerne min tid og viden til projektet,
> men er ikke interesseret i at bidrage økonomisk. Hvis der er nogen, der
> kan bidrage med serverplads, hører jeg derfor gerne fra jer. Det er ikke
> det helt store, der kræves - hvis du for eksempel har en personlig
> hjemmeside, vil scriptet nok kunne køre i baggrunden på den.
> 
> Alternativt kan det hele også køre på en almindelig computer, hvis der
> installeres noget server-software (f.eks. Wampserver). Så vil
> opdateringen dog ikke kunne køre fuldautomatisk.
> 
> 
> Foreløbigt ser jeg frem til at modtage tanker og kommentarer.
> 
> 
> ___
> Talk-dk mailing list
> Talk-dk@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-dk



___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Anton Stonor 
Hej Jonathan,

Fedt, at du tager teten!

Jeg har et par tekniske pointer, du kan overveje og måske allerede er
opmærksom på.

DAWA har et fint replikerings-API. Den løbende synkronisering vil blive
meget mere letvægts, hvis du abonnerer på ændringer frem for at trawle alt
igennem. https://dawa.aws.dk//dok/guide/replikering

Brug et kø-system, fx ved hjælp af RabbitMQ. Du kan sikre, at alle
ændringer går igennem ved fx periodiske problemet, og evt. fejl kan
behandles fra en fejlkø.

I øvrigt: Jeg er en del af en it-virksomhed, som gerne vil sponsorere en
server til projektet.

/Anton


Den 14. april 2018 kl. 09.45 skrev Jonathan Hougaard :

> Hej alle
>
>
> Efter en kort diskussion her: https://www.openstreetmap.org/
> changeset/57976035 har jeg besluttet mig for at give mig i kast med at
> bygge en ny web app, der kan bruges til at vedligeholde danske adresser
> vha. det danske adresseregister.
>
>
> Grundstrukturen er allerede funktionel, men før jeg arbejder videre med
> projektet vil jeg gerne have spørgsmål, kommentarer og ønsker til
> projektet. Grundlæggende er ideen at opdatere adresser på en måde svarende
> til den vi kender fra AWSbot scriptet. Den tekniske del er dog lavet fra
> bunden, og virker på en noget anden måde end AWSbot, hvilket gerne skulle
> give en mere effektiv og fleksibel databehandling.
>
>
> Følgende wiki-side vil være primær dokumentation for projektet:
> https://wiki.openstreetmap.org/wiki/AutoAWS. Siden vil blive opdateret
> løbende i takt med at jeg arbejder videre med projektet, baseret på jeres
> kommentarer og ønsker. Kildekoden vil blive offentliggjort når en endelig
> version af appen er færdiggjort.
>
>
> Efterhånden som det hele skrider frem vil jeg nok have mere konkrete
> spørgsmål at stille - men i første omgang vil jeg blot meget gerne høre
> jeres umiddelbare indtryk, tanker, ønsker osv.
>
>
> Allerede nu vil jeg melde ud, at hvis opdatering af adresser skal køre
> fuldautomatisk (tanken er at hvert postnummer automatisk kan blive
> opdateret hver 30. dag), vil det kræve noget serverinfrastruktur hvor
> scriptet kan køre. Jeg bidrager gerne min tid og viden til projektet, men
> er ikke interesseret i at bidrage økonomisk. Hvis der er nogen, der kan
> bidrage med serverplads, hører jeg derfor gerne fra jer. Det er ikke det
> helt store, der kræves - hvis du for eksempel har en personlig hjemmeside,
> vil scriptet nok kunne køre i baggrunden på den.
>
> Alternativt kan det hele også køre på en almindelig computer, hvis der
> installeres noget server-software (f.eks. Wampserver). Så vil opdateringen
> dog ikke kunne køre fuldautomatisk.
>
>
> Foreløbigt ser jeg frem til at modtage tanker og kommentarer.
>
>
> ___
> Talk-dk mailing list
> Talk-dk@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-dk
>
___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

Re: [Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Michael Andersen 
Hej Jonathan

Jeg kan kun applaudere dit fine initiativ med hensyn til både teknik og 
dokumentation. Det er supergodt at der endeligt bliver taget ordentligt hånd 
om importen af danske adresser.

Jeg har tidligere tænkt at det for at undgå unødig overbelastning af Overpass 
api'et kunne være en god ide istedet at hente et komplet udsnit af OSM 
dækkende danmark via https://download.geofabrik.de/europe/denmark.html, 
filtrere alle relevante adresser ud ved hjælp af https://
wiki.openstreetmap.org/wiki/Osmosis og endeligt smide disse i en local 
database, som der så kan arbejdes på.
Jeg har dog desværre ikke selv de nødvendige kundskaber i forhold til dette og 
får det formentlig aldrig.

Mvh Hjart


On lørdag den 14. april 2018 09.45.50 CEST Jonathan Hougaard wrote:
> Hej alle
> 
> 
> Efter en kort diskussion her:
> https://www.openstreetmap.org/changeset/57976035 har jeg besluttet mig
> for at give mig i kast med at bygge en ny web app, der kan bruges til at
> vedligeholde danske adresser vha. det danske adresseregister.
> 
> 
> Grundstrukturen er allerede funktionel, men før jeg arbejder videre med
> projektet vil jeg gerne have spørgsmål, kommentarer og ønsker til
> projektet. Grundlæggende er ideen at opdatere adresser på en måde
> svarende til den vi kender fra AWSbot scriptet. Den tekniske del er dog
> lavet fra bunden, og virker på en noget anden måde end AWSbot, hvilket
> gerne skulle give en mere effektiv og fleksibel databehandling.
> 
> 
> Følgende wiki-side vil være primær dokumentation for projektet:
> https://wiki.openstreetmap.org/wiki/AutoAWS. Siden vil blive opdateret
> løbende i takt med at jeg arbejder videre med projektet, baseret på
> jeres kommentarer og ønsker. Kildekoden vil blive offentliggjort når en
> endelig version af appen er færdiggjort.
> 
> 
> Efterhånden som det hele skrider frem vil jeg nok have mere konkrete
> spørgsmål at stille - men i første omgang vil jeg blot meget gerne høre
> jeres umiddelbare indtryk, tanker, ønsker osv.
> 
> 
> Allerede nu vil jeg melde ud, at hvis opdatering af adresser skal køre
> fuldautomatisk (tanken er at hvert postnummer automatisk kan blive
> opdateret hver 30. dag), vil det kræve noget serverinfrastruktur hvor
> scriptet kan køre. Jeg bidrager gerne min tid og viden til projektet,
> men er ikke interesseret i at bidrage økonomisk. Hvis der er nogen, der
> kan bidrage med serverplads, hører jeg derfor gerne fra jer. Det er ikke
> det helt store, der kræves - hvis du for eksempel har en personlig
> hjemmeside, vil scriptet nok kunne køre i baggrunden på den.
> 
> Alternativt kan det hele også køre på en almindelig computer, hvis der
> installeres noget server-software (f.eks. Wampserver). Så vil
> opdateringen dog ikke kunne køre fuldautomatisk.
> 
> 
> Foreløbigt ser jeg frem til at modtage tanker og kommentarer.
> 
> 
> ___
> Talk-dk mailing list
> Talk-dk@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-dk



___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk

[Talk-dk] Nyt script til addresseopdateringer

2018-04-14 Tråd Jonathan Hougaard 

Hej alle


Efter en kort diskussion her: 
https://www.openstreetmap.org/changeset/57976035 har jeg besluttet mig 
for at give mig i kast med at bygge en ny web app, der kan bruges til at 
vedligeholde danske adresser vha. det danske adresseregister.



Grundstrukturen er allerede funktionel, men før jeg arbejder videre med 
projektet vil jeg gerne have spørgsmål, kommentarer og ønsker til 
projektet. Grundlæggende er ideen at opdatere adresser på en måde 
svarende til den vi kender fra AWSbot scriptet. Den tekniske del er dog 
lavet fra bunden, og virker på en noget anden måde end AWSbot, hvilket 
gerne skulle give en mere effektiv og fleksibel databehandling.



Følgende wiki-side vil være primær dokumentation for projektet: 
https://wiki.openstreetmap.org/wiki/AutoAWS. Siden vil blive opdateret 
løbende i takt med at jeg arbejder videre med projektet, baseret på 
jeres kommentarer og ønsker. Kildekoden vil blive offentliggjort når en 
endelig version af appen er færdiggjort.



Efterhånden som det hele skrider frem vil jeg nok have mere konkrete 
spørgsmål at stille - men i første omgang vil jeg blot meget gerne høre 
jeres umiddelbare indtryk, tanker, ønsker osv.



Allerede nu vil jeg melde ud, at hvis opdatering af adresser skal køre 
fuldautomatisk (tanken er at hvert postnummer automatisk kan blive 
opdateret hver 30. dag), vil det kræve noget serverinfrastruktur hvor 
scriptet kan køre. Jeg bidrager gerne min tid og viden til projektet, 
men er ikke interesseret i at bidrage økonomisk. Hvis der er nogen, der 
kan bidrage med serverplads, hører jeg derfor gerne fra jer. Det er ikke 
det helt store, der kræves - hvis du for eksempel har en personlig 
hjemmeside, vil scriptet nok kunne køre i baggrunden på den.


Alternativt kan det hele også køre på en almindelig computer, hvis der 
installeres noget server-software (f.eks. Wampserver). Så vil 
opdateringen dog ikke kunne køre fuldautomatisk.



Foreløbigt ser jeg frem til at modtage tanker og kommentarer.


___
Talk-dk mailing list
Talk-dk@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-dk