Re: [OSM-talk-nl] Maandelijkse PostGIS en CSV dumps BAG beschikbaar op data.nlextract.nl/bag

2014-12-26 Berichten over hetzelfde onderwerp Just van den Broecke

On 26-12-14 00:06, Stefan de Konink wrote:

On Tuesday, December 23, 2014 12:57:03 PM CEST, Just van den Broecke wrote:

Er is nu een maandelijkse download van de BAG als PostGIS dump en CSV
beschikbaar via http://data.nlextract.nl/bag


Ik heb de dagelijkse BAG updates beschikbaar, kan NLextract hier al mee
omgaan?
Ja, de code en en de tests zijn er voor verwerken mutatie-bestanden, 
inclusief een laatste PR. Er moet m.i. nog wat geschaafd na uitvoerig 
testen. Zie deze thread:

https://github.com/opengeogroep/NLExtract/issues/55

Ik had net (19 dec) bij de Kadaster BAG club om een mutatie aboo 
gevraagd voor OSGeo.nl. Zij verwezen mij weer naar Logius en 
Digikoppeling 2.0. Daar werd het een ingewikkeld verhaal, in ieder geval 
iets dat veel tijd gaat kosten. Ben daar verder niet meer aan 
toegekomen, maar blijkbaar heb jij wel zo'n abbo als niet-overheid? Ben 
benieuwd, ook of je dit evt kunt doorleveren.


groet,

Just


___
Talk-nl mailing list
Talk-nl@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-nl


Re: [OSM-talk-nl] Maandelijkse PostGIS en CSV dumps BAG beschikbaar op data.nlextract.nl/bag

2014-12-26 Berichten over hetzelfde onderwerp Stefan de Konink

On Friday, December 26, 2014 3:23:43 PM CEST, Just van den Broecke wrote:
 Ben daar verder niet 
meer aan toegekomen, maar blijkbaar heb jij wel zo'n abbo als 
niet-overheid? Ben benieuwd, ook of je dit evt kunt doorleveren.


Ik moet m'n imap scriptje even afmaken, maar ze komen op de openstreetmap 
mirror terecht. Maar goed als NLExtract er mee om kan gaan, dan wil ik ze 
ook gewoon lokaal inladen :)


--
Stefan

___
Talk-nl mailing list
Talk-nl@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-nl


Re: [OSM-talk-nl] Maandelijkse PostGIS en CSV dumps BAG beschikbaar op data.nlextract.nl/bag

2014-12-25 Berichten over hetzelfde onderwerp Stefan de Konink

On Tuesday, December 23, 2014 12:57:03 PM CEST, Just van den Broecke wrote:
Er is nu een maandelijkse download van de BAG als PostGIS dump 
en CSV beschikbaar via http://data.nlextract.nl/bag


Ik heb de dagelijkse BAG updates beschikbaar, kan NLextract hier al mee 
omgaan?


--
Stefan

___
Talk-nl mailing list
Talk-nl@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-nl


[OSM-talk-nl] Maandelijkse PostGIS en CSV dumps BAG beschikbaar op data.nlextract.nl/bag

2014-12-23 Berichten over hetzelfde onderwerp Just van den Broecke

Beste Mensen,

Er is nu een maandelijkse download van de BAG als PostGIS dump en CSV 
beschikbaar via http://data.nlextract.nl/bag


Een autonoom (cron) proces checkt dagelijks of er op de PDOK site een 
nieuw BAG bronbestand beschikbaar is, gebruikmakend van de zgn PDOK BAG 
Atomfeed. Als de Atomfile (via datum veld) aangeeft dat de BAG vernieuwd 
is, wordt deze gedownload en met NLExtract-BAG ingelezen en verrijkt 
(provincies, gemeenten, adres tabel) in PostGIS. Vervolgens worden 
PostGIS en CSV dumps aangemaakt en ter download neergezet.


Normaal gesproken zal er op iedere 8e/9e van de maand een verse BAG 
zijn, hoewel PDOK recentelijk wat storingen daarin had...


Hartelijke groet,

--Just





___
Talk-nl mailing list
Talk-nl@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-nl


Re: [OSM-talk-nl] Maandelijkse PostGIS en CSV dumps BAG beschikbaar op data.nlextract.nl/bag

2014-12-23 Berichten over hetzelfde onderwerp Sebastiaan Couwenberg
 Een autonoom (cron) proces checkt dagelijks of er op de PDOK site een
 nieuw BAG bronbestand beschikbaar is, gebruikmakend van de zgn PDOK BAG
 Atomfeed. Als de Atomfile (via datum veld) aangeeft dat de BAG vernieuwd
 is, wordt deze gedownload en met NLExtract-BAG ingelezen en verrijkt
 (provincies, gemeenten, adres tabel) in PostGIS. Vervolgens worden
 PostGIS en CSV dumps aangemaakt en ter download neergezet.

Voor mijn eigen BAG database doe ik nagenoeg hetzelfde. Voor het
automatisch kunnen importeren van de inspireadressen moest ik wel een
argument toevoegen aan NLExtract om niet te prompten, hoe hebben jullie
dat opgelost zodat er geen interactie nodig is?

 Normaal gesproken zal er op iedere 8e/9e van de maand een verse BAG
 zijn, hoewel PDOK recentelijk wat storingen daarin had...

De updates van oktober en november zijn dit jaar net als vorig jaar
overgeslagen. Dat vorige jaar dezelfde maanden zijn overgeslagen is
opvallend, ik vermoed een structureel probleem.

Mvg,

Bas


___
Talk-nl mailing list
Talk-nl@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-nl


Re: [OSM-talk-nl] Maandelijkse PostGIS en CSV dumps BAG beschikbaar op data.nlextract.nl/bag

2014-12-23 Berichten over hetzelfde onderwerp Just van den Broecke

Leuk die cross-postings.
On 23-12-14 13:17, Sebastiaan Couwenberg wrote:

Een autonoom (cron) proces checkt dagelijks of er op de PDOK site een
nieuw BAG bronbestand beschikbaar is, gebruikmakend van de zgn PDOK BAG
Atomfeed. Als de Atomfile (via datum veld) aangeeft dat de BAG vernieuwd
is, wordt deze gedownload en met NLExtract-BAG ingelezen en verrijkt
(provincies, gemeenten, adres tabel) in PostGIS. Vervolgens worden
PostGIS en CSV dumps aangemaakt en ter download neergezet.


Voor mijn eigen BAG database doe ik nagenoeg hetzelfde. Voor het
automatisch kunnen importeren van de inspireadressen moest ik wel een
argument toevoegen aan NLExtract om niet te prompten, hoe hebben jullie
dat opgelost zodat er geen interactie nodig is?

Ja daar moet een override-optie komen.
Voorlopig zo opgelost:

./bag-extract.sh -c  ja.txt
en in ja.txt staat alleen 'j' ;-)




Normaal gesproken zal er op iedere 8e/9e van de maand een verse BAG
zijn, hoewel PDOK recentelijk wat storingen daarin had...


De updates van oktober en november zijn dit jaar net als vorig jaar
overgeslagen. Dat vorige jaar dezelfde maanden zijn overgeslagen is
opvallend, ik vermoed een structureel probleem.
roblemen begonnen nadat men in van 2013 NLExtract/Stetl en custom SQL 
scripts die prima en snel werkten, ook voor BAG naar INSPIRE Address 
transformatie, op FME is overgestapt :-(.


Afgelopen maanden is PDOK naar nieuw (JAP) platform gemigreerd. Dat 
heeft laatste keer voor oponthoud gezorgd is mij door PDOK Beheer 
aangegeven. Denk/hoop dat vanaf nu alles op orde is.


Mvg,

Just



Mvg,

Bas


___
Talk-nl mailing list
Talk-nl@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-nl




--
kind regards / met vriendelijke groet,

--Just

Just van den Broecke  j...@justobjects.nl
Just Objects B.V. tel +31 65 4268627 Skype: justb4
The Netherlands   http://www.justobjects.nl






___
Talk-nl mailing list
Talk-nl@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-nl