Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-06 Por tôpico Hermann Peifer 
Esperar uns 10 segundos ajuda muito aqui. Tambem é preciso JavaScript 
ativado.


Estou enviando uma imagem (155k), mas não sei se é posivel de enviar
imagens pela lista talk-br.

Hermann




On 2014-04-06 14:48, John Packer wrote:

Hermann,
quando eu abro o link do /heat map/ gaúcho [1], só vejo o estilo padrão
do OSM, sem uma camada de /heat map/.

Achei legal a comparação de nomes de ruas, e vi que também traduziram a
interface para Português do Brasil, bem bacana.

[1]: http://regio-osm.de/listofstreets/kartenansicht.html?file=BR


Em 6 de abril de 2014 09:08, Hermann Peifer
mailto:peifer-cfr20cyp...@public.gmane.org>> escreveu:

On 2014-04-05 21:40, Thiago Marcos P. Santos wrote:

2014-04-05 19:21 GMT+03:00 Hermann Peifer
mailto:pei...@gmx.eu>>:

Oi Pessoal,

Minha resposta demorou um pouco porque a vida real,
incluindo o trabalho me
manteve longe do OSM.

Estou em contato com o mapeador alemão Dietmar [1] o qual eu
encontrei no
evento OSM em Berlim. Ele já tem um sistema online que
apresenta comparações
entre listas oficiais de ruas e as ruas mapeadas no OSM.
Para quem entende
um pouco de alemão: a palestra dele em Berlim está
disponivel no Youtube [2]

A cobertura do sistema dele era: Alemanha, Austria, Suiça e
Luxembourgo.
Agora, ele importou os dados IBGE/CNEFE do RS.  Um resultado
daquela
importação é o "Heat Map" do RS [3]. (Tem que ter ums
segundinhhos de
paciencia).

Clique num município e segue o link "Auswertung". Você
encontrara as
estatísticas do município, por exemplo Ivoti [4]. Você até
pode escolher
"Português do Brasil" (= Português do Hermann ;-) como
lingua da página.
Infelizmente, tem ainda problemas com as páginas dos
municípios que tem
acentos no nome.


Acho fantástico. Seria algo excelente se tivéssemos para o
Brasil todo.

O projeto dos mapas do IBGE que estou trabalhando está 90%
pronto,
falta mesmo só dois estados para processar e fazer o upload
para o
Mapbox. Depois de concluído, vai ser um prazer te ajudar no
heat map
se você tiver interesse.


Thiago,

Que bom que tu gostaste. É mesmo: faltam voluntários para preparar e
verificar a importação dos dados CNEFE de outros estados
brasileiros. Tabem é necessario de verificar e talvez
reparar/corrigir as divisas municipais no OSM, para inventar uma
comparação menos rigido e mais intelligente das duas listas (usando
Levenshtein, etc.).

Estou um pouco preocupado que somente tu estás comentando sobre o
"heat map gaúcho" do osm-regio.de . Talvez o
interesse na comparação das listas não é tão grande? Em qualquer
caso, estou reenviando os links relevantes, veja abaixo.

Abraços, Hermann


[3] http://regio-osm.de/__listofstreets/kartenansicht.__html?file=BR

[4]

http://regio-osm.de/__listofstreets/evaluation?__title=Ivoti&country=Brasil







_
Talk-br mailing list
Talk-br@openstreetmap.org

https://lists.openstreetmap.__org/listinfo/talk-br










___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-06 Por tôpico John Packer 
Hermann,
quando eu abro o link do *heat map* gaúcho [1], só vejo o estilo padrão do
OSM, sem uma camada de *heat map*.

Achei legal a comparação de nomes de ruas, e vi que também traduziram a
interface para Português do Brasil, bem bacana.

[1]: http://regio-osm.de/listofstreets/kartenansicht.html?file=BR


Em 6 de abril de 2014 09:08, Hermann Peifer  escreveu:

> On 2014-04-05 21:40, Thiago Marcos P. Santos wrote:
>
>> 2014-04-05 19:21 GMT+03:00 Hermann Peifer :
>>
>>> Oi Pessoal,
>>>
>>> Minha resposta demorou um pouco porque a vida real, incluindo o trabalho
>>> me
>>> manteve longe do OSM.
>>>
>>> Estou em contato com o mapeador alemão Dietmar [1] o qual eu encontrei no
>>> evento OSM em Berlim. Ele já tem um sistema online que apresenta
>>> comparações
>>> entre listas oficiais de ruas e as ruas mapeadas no OSM. Para quem
>>> entende
>>> um pouco de alemão: a palestra dele em Berlim está disponivel no Youtube
>>> [2]
>>>
>>> A cobertura do sistema dele era: Alemanha, Austria, Suiça e Luxembourgo.
>>> Agora, ele importou os dados IBGE/CNEFE do RS.  Um resultado daquela
>>> importação é o "Heat Map" do RS [3]. (Tem que ter ums segundinhhos de
>>> paciencia).
>>>
>>> Clique num município e segue o link "Auswertung". Você encontrara as
>>> estatísticas do município, por exemplo Ivoti [4]. Você até pode escolher
>>> "Português do Brasil" (= Português do Hermann ;-) como lingua da página.
>>> Infelizmente, tem ainda problemas com as páginas dos municípios que tem
>>> acentos no nome.
>>>
>>>
>> Acho fantástico. Seria algo excelente se tivéssemos para o Brasil todo.
>>
>> O projeto dos mapas do IBGE que estou trabalhando está 90% pronto,
>> falta mesmo só dois estados para processar e fazer o upload para o
>> Mapbox. Depois de concluído, vai ser um prazer te ajudar no heat map
>> se você tiver interesse.
>>
>>
> Thiago,
>
> Que bom que tu gostaste. É mesmo: faltam voluntários para preparar e
> verificar a importação dos dados CNEFE de outros estados brasileiros. Tabem
> é necessario de verificar e talvez reparar/corrigir as divisas municipais
> no OSM, para inventar uma comparação menos rigido e mais intelligente das
> duas listas (usando Levenshtein, etc.).
>
> Estou um pouco preocupado que somente tu estás comentando sobre o "heat
> map gaúcho" do osm-regio.de. Talvez o interesse na comparação das listas
> não é tão grande? Em qualquer caso, estou reenviando os links relevantes,
> veja abaixo.
>
> Abraços, Hermann
>
>
> [3] http://regio-osm.de/listofstreets/kartenansicht.html?file=BR
> [4] http://regio-osm.de/listofstreets/evaluation?
> title=Ivoti&country=Brasil
>
>
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-06 Por tôpico Hermann Peifer 

On 2014-04-05 21:40, Thiago Marcos P. Santos wrote:

2014-04-05 19:21 GMT+03:00 Hermann Peifer :

Oi Pessoal,

Minha resposta demorou um pouco porque a vida real, incluindo o trabalho me
manteve longe do OSM.

Estou em contato com o mapeador alemão Dietmar [1] o qual eu encontrei no
evento OSM em Berlim. Ele já tem um sistema online que apresenta comparações
entre listas oficiais de ruas e as ruas mapeadas no OSM. Para quem entende
um pouco de alemão: a palestra dele em Berlim está disponivel no Youtube [2]

A cobertura do sistema dele era: Alemanha, Austria, Suiça e Luxembourgo.
Agora, ele importou os dados IBGE/CNEFE do RS.  Um resultado daquela
importação é o "Heat Map" do RS [3]. (Tem que ter ums segundinhhos de
paciencia).

Clique num município e segue o link "Auswertung". Você encontrara as
estatísticas do município, por exemplo Ivoti [4]. Você até pode escolher
"Português do Brasil" (= Português do Hermann ;-) como lingua da página.
Infelizmente, tem ainda problemas com as páginas dos municípios que tem
acentos no nome.



Acho fantástico. Seria algo excelente se tivéssemos para o Brasil todo.

O projeto dos mapas do IBGE que estou trabalhando está 90% pronto,
falta mesmo só dois estados para processar e fazer o upload para o
Mapbox. Depois de concluído, vai ser um prazer te ajudar no heat map
se você tiver interesse.



Thiago,

Que bom que tu gostaste. É mesmo: faltam voluntários para preparar e 
verificar a importação dos dados CNEFE de outros estados brasileiros. 
Tabem é necessario de verificar e talvez reparar/corrigir as divisas 
municipais no OSM, para inventar uma comparação menos rigido e mais 
intelligente das duas listas (usando Levenshtein, etc.).


Estou um pouco preocupado que somente tu estás comentando sobre o "heat 
map gaúcho" do osm-regio.de. Talvez o interesse na comparação das listas 
não é tão grande? Em qualquer caso, estou reenviando os links 
relevantes, veja abaixo.


Abraços, Hermann

[3] http://regio-osm.de/listofstreets/kartenansicht.html?file=BR
[4] http://regio-osm.de/listofstreets/evaluation?title=Ivoti&country=Brasil




___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-05 Por tôpico Thiago Marcos P. Santos 
2014-04-05 19:21 GMT+03:00 Hermann Peifer :
> Oi Pessoal,
>
> Minha resposta demorou um pouco porque a vida real, incluindo o trabalho me
> manteve longe do OSM.
>
> Estou em contato com o mapeador alemão Dietmar [1] o qual eu encontrei no
> evento OSM em Berlim. Ele já tem um sistema online que apresenta comparações
> entre listas oficiais de ruas e as ruas mapeadas no OSM. Para quem entende
> um pouco de alemão: a palestra dele em Berlim está disponivel no Youtube [2]
>
> A cobertura do sistema dele era: Alemanha, Austria, Suiça e Luxembourgo.
> Agora, ele importou os dados IBGE/CNEFE do RS.  Um resultado daquela
> importação é o "Heat Map" do RS [3]. (Tem que ter ums segundinhhos de
> paciencia).
>
> Clique num município e segue o link "Auswertung". Você encontrara as
> estatísticas do município, por exemplo Ivoti [4]. Você até pode escolher
> "Português do Brasil" (= Português do Hermann ;-) como lingua da página.
> Infelizmente, tem ainda problemas com as páginas dos municípios que tem
> acentos no nome.
>
> O Dietmar faz um comparação simples: nome da rua segundo o CNEFE x nome OSM
> normalizado. Ele ainda não usa o algoritmo Levenshtein (ou outros) para
> descobrir nomes semelhantes.
>
> Exemplo:
>
> Nome da lista CNEFE "faltando" em Ivoti  = RUA JOAO W HOLDEFER
> Nome somente conhecido pela lista do OSM = Rua João Walter Holdefer
>
> O que você acha do "Heat Map" do Dietmar ?

Acho fantástico. Seria algo excelente se tivéssemos para o Brasil todo.

O projeto dos mapas do IBGE que estou trabalhando está 90% pronto,
falta mesmo só dois estados para processar e fazer o upload para o
Mapbox. Depois de concluído, vai ser um prazer te ajudar no heat map
se você tiver interesse.

[]'s

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-05 Por tôpico Hermann Peifer 

Oi Pessoal,

Minha resposta demorou um pouco porque a vida real, incluindo o trabalho 
me manteve longe do OSM.


Estou em contato com o mapeador alemão Dietmar [1] o qual eu encontrei 
no evento OSM em Berlim. Ele já tem um sistema online que apresenta 
comparações entre listas oficiais de ruas e as ruas mapeadas no OSM. 
Para quem entende um pouco de alemão: a palestra dele em Berlim está 
disponivel no Youtube [2]


A cobertura do sistema dele era: Alemanha, Austria, Suiça e Luxembourgo. 
Agora, ele importou os dados IBGE/CNEFE do RS.  Um resultado daquela 
importação é o "Heat Map" do RS [3]. (Tem que ter ums segundinhhos de 
paciencia).


Clique num município e segue o link "Auswertung". Você encontrara as 
estatísticas do município, por exemplo Ivoti [4]. Você até pode escolher 
"Português do Brasil" (= Português do Hermann ;-) como lingua da página. 
Infelizmente, tem ainda problemas com as páginas dos municípios que tem 
acentos no nome.


O Dietmar faz um comparação simples: nome da rua segundo o CNEFE x nome 
OSM normalizado. Ele ainda não usa o algoritmo Levenshtein (ou outros) 
para descobrir nomes semelhantes.


Exemplo:

Nome da lista CNEFE "faltando" em Ivoti  = RUA JOAO W HOLDEFER
Nome somente conhecido pela lista do OSM = Rua João Walter Holdefer

O que você acha do "Heat Map" do Dietmar ?

Abraços, Hermann

[1] http://www.fossgis.de/konferenz/2014/programm/speakers/401.de.html
[2] https://www.youtube.com/watch?v=dA8tBsKZ6qY
[3] http://regio-osm.de/listofstreets/kartenansicht.html?file=BR
[4] http://regio-osm.de/listofstreets/evaluation?title=Ivoti&country=Brasil


On 2014-04-03 21:05, Thiago Marcos P. Santos wrote:

2014-04-03 15:31 GMT+03:00 Lucas Ferreira Mation :

Thiago, vamos estreitar mais a conversa e iniciativas.

Uma vez estive no IBGE a trabalho e eles comentaram que o shape de
quarteirões só poderá ser liberado em 2015, se não me engano, pois os mapas
foram comprados de empresas de mapeamento comercial, então não poderiam
liberar antes de 2015. Parece que este foi um grande desapontamento por lá,
pois achavam que a qualidade destes mapas seria muito melhor do que era e
fato. Antes do Censo as equipes do IBGE foram a campo fazer o "arrolamento"
dos setores censitários, isto é, verificar as ruas, corrigindo diretamente
no PDA, e estimando o número de casas por setor. Acho que existiria grande
potencial para o IBGE usar o OSM como base para o próximo censo, e usar a
enorme equipe deles para corrigir/complementar o OSM. Operacionalmente isso
é muito mais fácil do que ficar fazendo licitações, para comprar bases, etc.
Além disso já viria com uma série de aplicativos para fazer estas correções
no campo pela equipe deles.

Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma idéia
do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%,  10% ou
50% das ruas estão erradas?


Não tenho idéia, mas acho que é bom o suficiente na maioria dos casos.


Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace é
baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que
manualmente segmentar em ruas ou isso é feito de alguma forma automatizada?


É um XML com vários meta dados.
http://wiki.openstreetmap.org/wiki/OSM_XML

Tem várias bibliotecas já prontas para fazer o processamento deste XML:
http://wiki.openstreetmap.org/wiki/Frameworks

Mas sinceramente minha prioridade seria ajudar o Hermann a concluir o
heat map de ruas sem nome ou não traçadas de todo o Brasil, baseado no
dados CNEFE. A partir deste trabalho, podemos aprimorar as ferramentas
para incluir esta otimização de ruas que passam por múltiplas regiões
censitárias.

Conversando com um amigo alemão hoje, ele estava me falando como a
"gamification" do OSM ajudou a melhor a situação dos mapas na
Alemanha, já que todo mundo queria ver sua cidade "verde" no head map.
:)


Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome,
poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do
CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores A,B,C e
D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e D ,
e não pela lista completa de ruas que passam por qualquer um deles.



4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import dos
números de casa, deixe-me explicar melhor a idéia. Para isso vai ser
necessário parear as quadras e faces de quadras das com ruas já mapeadas e
nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"?
Imagino algo assim:
Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de quadras do
OSM, onde cada quadra i é indexada pela lista de quarteirões que a compõem.
E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma sequencia de ruas
do seu contorno, R1, R2, R3, R4, ... (em geral seria 4, mas podem ser mais).
Similarmente teríamos o conjunto de quadras do CNEFE:  Qcnefe={Qcnefe_1,
Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-03 Por tôpico Lucas Ferreira Mation 
Opa, não sabia qu eo Hermann já tava com a comparação em andamento.
Em que pé está isso? Digo isso porque finalmente consegui fazer o spatial
join do shape de ruas do OSM com o shape de municípios do IBGE. Ia agora
cruzar com os dados do CNEFE. Acho que dá até para fazer uns refinamentos
como corrigir para typos no CNEFE e no OSM, fazer matching
probabilistico/fuzzy (reclink).  É o que ia fazer agora, mas não vamos
duplicar esforços, vocês já tem isso pronto?

Para o Heat map, vocês precisam os dados em que nível de detalhe? Agora que
já desenvolvi a capacidade de cruzamento dos dados, seria fácil produzir  a
mesma estatística por Bairro também. E eventualmente por setor. O que eu
não sei fazer é o heatmap em sí, e colocar na web.









2014-04-03 16:05 GMT-03:00 Thiago Marcos P. Santos :

> 2014-04-03 15:31 GMT+03:00 Lucas Ferreira Mation :
> > Thiago, vamos estreitar mais a conversa e iniciativas.
> >
> > Uma vez estive no IBGE a trabalho e eles comentaram que o shape de
> > quarteirões só poderá ser liberado em 2015, se não me engano, pois os
> mapas
> > foram comprados de empresas de mapeamento comercial, então não poderiam
> > liberar antes de 2015. Parece que este foi um grande desapontamento por
> lá,
> > pois achavam que a qualidade destes mapas seria muito melhor do que era e
> > fato. Antes do Censo as equipes do IBGE foram a campo fazer o
> "arrolamento"
> > dos setores censitários, isto é, verificar as ruas, corrigindo
> diretamente
> > no PDA, e estimando o número de casas por setor. Acho que existiria
> grande
> > potencial para o IBGE usar o OSM como base para o próximo censo, e usar a
> > enorme equipe deles para corrigir/complementar o OSM. Operacionalmente
> isso
> > é muito mais fácil do que ficar fazendo licitações, para comprar bases,
> etc.
> > Além disso já viria com uma série de aplicativos para fazer estas
> correções
> > no campo pela equipe deles.
> >
> > Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma
> idéia
> > do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%,
>  10% ou
> > 50% das ruas estão erradas?
>
> Não tenho idéia, mas acho que é bom o suficiente na maioria dos casos.
>
> > Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace
> é
> > baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que
> > manualmente segmentar em ruas ou isso é feito de alguma forma
> automatizada?
>
> É um XML com vários meta dados.
> http://wiki.openstreetmap.org/wiki/OSM_XML
>
> Tem várias bibliotecas já prontas para fazer o processamento deste XML:
> http://wiki.openstreetmap.org/wiki/Frameworks
>
> Mas sinceramente minha prioridade seria ajudar o Hermann a concluir o
> heat map de ruas sem nome ou não traçadas de todo o Brasil, baseado no
> dados CNEFE. A partir deste trabalho, podemos aprimorar as ferramentas
> para incluir esta otimização de ruas que passam por múltiplas regiões
> censitárias.
>
> Conversando com um amigo alemão hoje, ele estava me falando como a
> "gamification" do OSM ajudou a melhor a situação dos mapas na
> Alemanha, já que todo mundo queria ver sua cidade "verde" no head map.
> :)
>
> > Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome,
> > poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do
> > CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores
> A,B,C e
> > D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e
> D ,
> > e não pela lista completa de ruas que passam por qualquer um deles.
> >
> >
> >
> > 4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import
> dos
> > números de casa, deixe-me explicar melhor a idéia. Para isso vai ser
> > necessário parear as quadras e faces de quadras das com ruas já mapeadas
> e
> > nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"?
> > Imagino algo assim:
> > Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de
> quadras do
> > OSM, onde cada quadra i é indexada pela lista de quarteirões que a
> compõem.
> > E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma sequencia de
> ruas
> > do seu contorno, R1, R2, R3, R4, ... (em geral seria 4, mas podem ser
> mais).
> > Similarmente teríamos o conjunto de quadras do CNEFE:  Qcnefe={Qcnefe_1,
> > Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por j
> e é
> > descrita polas ruas que a cercam: Qcnefe_i{R1,R2,R3,R4,...}
> > Contanto que as ruas nas duas bases estejam com nomes similares, estejam
> > pareadas, podemos formular um problema matemático, um sistema de equações
> > para determinar os pareamentos entre as quadras i e j (OSM e CNEFE).
> Claro,
> > isso não precisa ser feito com todas as quadras contra todas, basta
> cruzar
> > os subconjuntos de quadras em cada setor nas duas bases. Tendo feito este
> > pareamento, seria possível saber para cada face de quarteirão do CNEFE a
> > face de rua correspondente no OSM. Aí bastaria importar todos os
> endereços
>

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-03 Por tôpico Thiago Marcos P. Santos 
2014-04-03 15:31 GMT+03:00 Lucas Ferreira Mation :
> Thiago, vamos estreitar mais a conversa e iniciativas.
>
> Uma vez estive no IBGE a trabalho e eles comentaram que o shape de
> quarteirões só poderá ser liberado em 2015, se não me engano, pois os mapas
> foram comprados de empresas de mapeamento comercial, então não poderiam
> liberar antes de 2015. Parece que este foi um grande desapontamento por lá,
> pois achavam que a qualidade destes mapas seria muito melhor do que era e
> fato. Antes do Censo as equipes do IBGE foram a campo fazer o "arrolamento"
> dos setores censitários, isto é, verificar as ruas, corrigindo diretamente
> no PDA, e estimando o número de casas por setor. Acho que existiria grande
> potencial para o IBGE usar o OSM como base para o próximo censo, e usar a
> enorme equipe deles para corrigir/complementar o OSM. Operacionalmente isso
> é muito mais fácil do que ficar fazendo licitações, para comprar bases, etc.
> Além disso já viria com uma série de aplicativos para fazer estas correções
> no campo pela equipe deles.
>
> Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma idéia
> do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%,  10% ou
> 50% das ruas estão erradas?

Não tenho idéia, mas acho que é bom o suficiente na maioria dos casos.

> Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace é
> baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que
> manualmente segmentar em ruas ou isso é feito de alguma forma automatizada?

É um XML com vários meta dados.
http://wiki.openstreetmap.org/wiki/OSM_XML

Tem várias bibliotecas já prontas para fazer o processamento deste XML:
http://wiki.openstreetmap.org/wiki/Frameworks

Mas sinceramente minha prioridade seria ajudar o Hermann a concluir o
heat map de ruas sem nome ou não traçadas de todo o Brasil, baseado no
dados CNEFE. A partir deste trabalho, podemos aprimorar as ferramentas
para incluir esta otimização de ruas que passam por múltiplas regiões
censitárias.

Conversando com um amigo alemão hoje, ele estava me falando como a
"gamification" do OSM ajudou a melhor a situação dos mapas na
Alemanha, já que todo mundo queria ver sua cidade "verde" no head map.
:)

> Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome,
> poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do
> CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores A,B,C e
> D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e D ,
> e não pela lista completa de ruas que passam por qualquer um deles.
>
>
>
> 4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import dos
> números de casa, deixe-me explicar melhor a idéia. Para isso vai ser
> necessário parear as quadras e faces de quadras das com ruas já mapeadas e
> nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"?
> Imagino algo assim:
> Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de quadras do
> OSM, onde cada quadra i é indexada pela lista de quarteirões que a compõem.
> E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma sequencia de ruas
> do seu contorno, R1, R2, R3, R4, ... (em geral seria 4, mas podem ser mais).
> Similarmente teríamos o conjunto de quadras do CNEFE:  Qcnefe={Qcnefe_1,
> Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por j e é
> descrita polas ruas que a cercam: Qcnefe_i{R1,R2,R3,R4,...}
> Contanto que as ruas nas duas bases estejam com nomes similares, estejam
> pareadas, podemos formular um problema matemático, um sistema de equações
> para determinar os pareamentos entre as quadras i e j (OSM e CNEFE). Claro,
> isso não precisa ser feito com todas as quadras contra todas, basta cruzar
> os subconjuntos de quadras em cada setor nas duas bases. Tendo feito este
> pareamento, seria possível saber para cada face de quarteirão do CNEFE a
> face de rua correspondente no OSM. Aí bastaria importar todos os endereços
> daquela face, talvez validando primeiro para ver se a informação é
> compatível com os endereços já incluidos no OSM daquela face.
>
>
>
>
>
>
>
>
>
> 2014-04-02 20:38 GMT-03:00 Thiago Marcos P. Santos :
>
>> 2014-03-31 12:32 GMT+03:00 Lucas Ferreira Mation :
>> >
>> > Prezados,
>> >
>> > Sou economista e trabalho no IPEA, entre outras coisas, com questões de
>> > economia urbana e favelas. Sempre sentimos falta de uma base de dados
>> > completa, precisa e gratuita de ruas, e outros atributos. Apenas
>> > recentemente tive contato com o OSM e estou impressionado com a riqueza
>> > de
>> > informações disponíveis. O projeto e o trabalho de vocês é fantástico.
>> >
>> > Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
>> > 2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer
>> > as
>> > informações destas bases para dentro do OSM, ou como um rascunho-guia
>> > para
>> > pessoas validarem. Sugeri esta idéia no forum
>> > e o Alexan

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-03 Por tôpico Lucas Ferreira Mation 
Thiago, vamos estreitar mais a conversa e iniciativas.

Uma vez estive no IBGE a trabalho e eles comentaram que o shape de
quarteirões só poderá ser liberado em 2015, se não me engano, pois os mapas
foram comprados de empresas de mapeamento comercial, então não poderiam
liberar antes de 2015. Parece que este foi um grande desapontamento por lá,
pois achavam que a qualidade destes mapas seria muito melhor do que era e
fato. Antes do Censo as equipes do IBGE foram a campo fazer o "arrolamento"
dos setores censitários, isto é, verificar as ruas, corrigindo diretamente
no PDA, e estimando o número de casas por setor. Acho que existiria grande
potencial para o IBGE usar o OSM como base para o próximo censo, e usar a
enorme equipe deles para corrigir/complementar o OSM. Operacionalmente isso
é muito mais fácil do que ficar fazendo licitações, para comprar bases,
etc. Além disso já viria com uma série de aplicativos para fazer estas
correções no campo pela equipe deles.

Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma idéia
do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%,  10%
ou 50% das ruas estão erradas?


Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace é
baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que
manualmente segmentar em ruas ou isso é feito de alguma forma automatizada?
Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome,
poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do
CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores A,B,C e
D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e D
, e não pela lista completa de ruas que passam por qualquer um deles.



4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import dos
números de casa, deixe-me explicar melhor a idéia. Para isso vai ser
necessário parear as quadras e faces de quadras das com ruas já mapeadas e
nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"?
Imagino algo assim:
Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de quadras
do OSM, onde cada quadra i é indexada pela lista de quarteirões que a
compõem.   E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma
sequencia de ruas do seu contorno, R1, R2, R3, R4, ... (em geral seria 4,
mas podem ser mais).
Similarmente teríamos o conjunto de quadras do CNEFE:  Qcnefe={Qcnefe_1,
Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por j e
é descrita polas ruas que a cercam: Qcnefe_i{R1,R2,R3,R4,...}
Contanto que as ruas nas duas bases estejam com nomes similares, estejam
pareadas, podemos formular um problema matemático, um sistema de equações
para determinar os pareamentos entre as quadras i e j (OSM e CNEFE). Claro,
isso não precisa ser feito com todas as quadras contra todas, basta cruzar
os subconjuntos de quadras em cada setor nas duas bases. Tendo feito este
pareamento, seria possível saber para cada face de quarteirão do CNEFE a
face de rua correspondente no OSM. Aí bastaria importar todos os endereços
daquela face, talvez validando primeiro para ver se a informação é
compatível com os endereços já incluidos no OSM daquela face.









2014-04-02 20:38 GMT-03:00 Thiago Marcos P. Santos :

> 2014-03-31 12:32 GMT+03:00 Lucas Ferreira Mation :
> >
> > Prezados,
> >
> > Sou economista e trabalho no IPEA, entre outras coisas, com questões de
> > economia urbana e favelas. Sempre sentimos falta de uma base de dados
> > completa, precisa e gratuita de ruas, e outros atributos. Apenas
> > recentemente tive contato com o OSM e estou impressionado com a riqueza
> de
> > informações disponíveis. O projeto e o trabalho de vocês é fantástico.
> >
> > Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
> > 2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer
> as
> > informações destas bases para dentro do OSM, ou como um rascunho-guia
> para
> > pessoas validarem. Sugeri esta idéia no forum
> > e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads com
> > idéias similares. Listo abaixo as informações que sei destas bases do
> Censo
> > 2010, e depois minhas idéias sobre como poderiam ser
> exploradas/mireradas:
> >
> > A) Setor censitário: são uma divisão do território para operacionalizar a
> > coleta de informação no censo, tal que um setor seja  área de
> > responsabilidade de um único recenseador, com 250 a 350 domicílios em
> áreas
> > urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns
> poucos
> > quarteirões, mas podem ser apenas um quarteirão, ou até meio quarteirão
> em
> > áreas muito densas. São 316,5 mil setores em 2010.
> > O IBGE fornece um shapefile para cada uf com os polígonos dos setores.
> Além
> > disso o IBGE fornece uma base de dados com informações
> > demográficas e econômicas agregadas para os moradores de cada setor
> > censitário. O grau de precisão destes shapes varia de cid

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-02 Por tôpico Thiago Marcos P. Santos 
2014-03-31 12:32 GMT+03:00 Lucas Ferreira Mation :
>
> Prezados,
>
> Sou economista e trabalho no IPEA, entre outras coisas, com questões de
> economia urbana e favelas. Sempre sentimos falta de uma base de dados
> completa, precisa e gratuita de ruas, e outros atributos. Apenas
> recentemente tive contato com o OSM e estou impressionado com a riqueza de
> informações disponíveis. O projeto e o trabalho de vocês é fantástico.
>
> Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
> 2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer as
> informações destas bases para dentro do OSM, ou como um rascunho-guia para
> pessoas validarem. Sugeri esta idéia no forum
> e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads com
> idéias similares. Listo abaixo as informações que sei destas bases do Censo
> 2010, e depois minhas idéias sobre como poderiam ser exploradas/mireradas:
>
> A) Setor censitário: são uma divisão do território para operacionalizar a
> coleta de informação no censo, tal que um setor seja  área de
> responsabilidade de um único recenseador, com 250 a 350 domicílios em áreas
> urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns poucos
> quarteirões, mas podem ser apenas um quarteirão, ou até meio quarteirão em
> áreas muito densas. São 316,5 mil setores em 2010.
> O IBGE fornece um shapefile para cada uf com os polígonos dos setores. Além
> disso o IBGE fornece uma base de dados com informações
> demográficas e econômicas agregadas para os moradores de cada setor
> censitário. O grau de precisão destes shapes varia de cidade para cidade.
>
> B) Base de quarteirões/quadras: o IBGE também dispõem internamente de uma
> base de dados de quarteirões, entretanto esta base, em formato digital não é
> divulgada. Aprendi com o projeto IBGEtools (muito bacana por sinal), que
> imagens dos quarteirões de cada setor estão dispníveis em PDF no site do
> IBGE.

Bom mesmo se eles liberassem estes mapas que eles usaram para gerar os
PDFs. O que o IBGETools faz é um hack e o resultado final só serve
como referência, principalmente para pegar os nomes das ruas.

No momento estou gerando layers para todos os estados, o pessoal do
Mapbox ofereceu storage para os tiles.

>
> C) CNEFE  : lista os endereços de todos os domicílios recenseados = 81
> milhões de observações. Para os domicílios rurais são incluídas as
> coordenadas do domicílio. Para os urbanos é indicado o setor censitário
> (localização conhecida pelo item A).  Também são indicados o quarteirão e
> face de quarteirão, cujo shape eles não divulgam mas que cuja numeração
> segue uma contagem seguencial dentro do setor (acho que no sentido horário).
>
> Dado isso, listo as coisas dúvidas  que penso que podem ser feitas e as
> dúvidas associadas:
>
> 0) medir imprecisão dos shapes de setor censitário: acho que este
> diagnóstico seria a primeira coisa a ser feita seria, para ter uma idéia do
> grau de erro deste dado em cada cidade.  Já foi feito alguma estimativa do
> tipo ? Alguma tentativa de corrigir os shapes de setor censitário? Digo isso
> porque as idéias subsequentes, na maioria usam o shape de setores para
> juntar espacialmente os dados.
>
> 1) Comparar listas de ruas CNEFE vs. OSM para ver o grau de coberturado OSM:
> , conforme proposto/implementado para o Brasil (aqui1 e aqui2) e Alemanha
> (aqui). Esta comparação pode ser feita em diversas escalas (município,
> distrito, subdistrito e até setor (supoondo mapas compatíveis) na forma de
> tabela ou de um heatmap. Aliás, baixei o shape de ruas do Brasil do OSM mas
> não vem com informação de município ou nenhuma indicação geográfica.Como
> obtenho isso nos shapes do OSM? ou preciso eu mesmo cruzar com um shape de
> municípios no qgis?
>
>  2) Dado este paramento,  o CNEFE poderia ser usado para corrigir typos dos
> nomes de ruas no OSM, ou pelo menos sugerir correções. (neste caso seria bom
> fazer um matching probalistico/fuzzy dos nomes).
>
> 3) Criar traçados de ruas a partir de CNEFE+shape-setores. Conforme descrito
> no post no forum, sabendo que a rua passa dentro de um conjunto de setores
> seria possível esboçar o trajeto da rua, ou uma área no meio da qual sabemos
> que ela passa, o que poderia servir de guia para os mapeadores.

Como você pretende fazer isso?

Eu acho que o que dá para fazer é pegar as informações dos traces já
existentes no OSM e cruzar com os setores que ele faz intercessão e
tentar achar os possíveis nomes para a rua baseado no CNEFE. Eu
implementaria isto como um plugin no JOSM, e o mapeador ainda teria
que confirmar manualmente para cada rua, dado que a qualidade dos
dados no CNEFE é bm questionável.

>
> 4) Pareamento de quarteirões e faces de quarteirão do CNEFE e do OSM em
> áreas já mapeadas. Supondo que o perímetro do setor seja conhecido
> (shape-setor seja preciso) deve ser possível identificar qual quarteirão do
> CNEFE corresponde a qual quarteirão do OSMs. Sendo assim seria poss

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-02 Por tôpico Lucas Ferreira Mation 
Fernando, (o email ficou gigante de novo, mas tem que ir botando as idéias
no papel...)

bacana, você pode começar a wiki? Depois me passa as instruções que eu vou
lá complementando/editando. Seria muito importante ter ajuda de mais gente,
é bastante trabalho e requer algumas habilidades de programação (talvez
valesse a pena fazer uma hackton ou algo assim, se tiver programadores ou a
equipe em alguma universidade animada para ajudar), mas acho que o
resultado pode sr fantástico.

Eu não tenho familiaridade com programação phyton, web, e as várias APIs,
instances do OSM, nem sei muito dos softwares de GIS. Entretanto consigo
programar bem no Stata (um software estatístico, similar ao R só que
proprietário) e tenho um servidor de 96gb de ram a que posso usar aqui.
Então se alguém me ajudar a importar os dados do OSM como um "tabelão", eu
consigo fazer o cruzamentos aqui, numa escala  e velocidade muito boas e
que seriam quase impensáveis nestes programas de GIS (Arcgis, Qgis).

Abaixo alguns detalhes adicionais (tem muitas coisa para falar, espero que
não fique gigante de novo):

*A e 0)* Bacana que você mapeou corretamente as favelas. Talvez te
interesse o estudo que estou participando sobre favelas no Brasil com base
nestes mesmodados. Veja uma versão preliminar
aqui
de
um dos artigos.
 A vantagem de garantir que o shape de setores censitários seja compatível
é poder cruzar os dados do OSM com os dados dos censos. Isto é, poderia se
ter informações demográficas (sexo, idade), renda, tx. de analfabetismo,
etc para cada setor. Não sei qual a política do OSM sobre adicoinar este
tipo de informação, imagino que seja de não adicoinar, mas ter a
possibilidade de fazer estes cruzamentos é fundamental (seja apenas
garantindo a compatibilidade dos arquivos,mesmo que separados, ou
adicionando as fronteiras dos setores e seus códigos no OSM).

A qualidade depende de lugar para lugar. Seria excelente mapear/corrigir
isso.
Para corrigir o shape de setoressei de  3 fontes que podem ser usadas:
- o IBGE divulga um arquivo com a descrição dos perímetros dos setores.
Tipo: "(1) esquina da rua X com a Y até (2) esquina da rua Y com a Z, (3)
... , (N) até retornar ao ponto original". Este é um arquivo descritivo
quem vem junto dos dados de "Agregados por Setor Censitário". Vem um
arquivo por estado, que coloquei
aqui
.
- além disso o IBGE divulga um PDF o perímetro e quarteirões de cada
setor (aqui
por exemplo). É o que é usado como base para o IBGE tools (o problema é que
lá, ao juntar/sobrepor imagens de diferentes setores, perde-se o perímetro
do setor. Mas acho que seria interssante integrar com o que o Thiago Santos
fez com o IBGE tools).
- ontem fiquei sabendo que o Centro de Estudos da Metrópole refez/corrigiu
o shape de setores censitários
(aqui)
das principais regiões metropolitanas. Entretanto o arquivo veio sem
informações de projeção e ao tentar abrir vimos que estava errado, todo
deslocado uns 30 metros para nordeste. Mas os contornos parecem mais
corretos mesmo.

*B)* Os arquivos do "CNEFE público" são disponibilizados em um txt para
cada subdistrito, pelo IBGE aqui , veja no arquivo
"layout" a estrutura da base. Além de muito "picotados" os dados vem num
txt "colunado", então meio difícil de visualizar antes de importar como
tabela.  De todo modo eu já baixei tudo, importei e unifiquei em um único
arquivo, que fica com 32GB no formato .dta (formato do Stata). Isso
corresponde aos 81,5 milhões de endereços. Fiz várias tabelas com
estatísticas (número de endereços ruais, endereços com coordenadas, end.
com coordenadas por tipo de domicílio, etc..) que estão neste
arquivo.
Dá uma olhada.


*1)* Pedi ajuda sobre isso neste outro email pra
lista.
Esta forma que você propôs seria bastante lenta. Acho que inviável. Uma
forma natural seira fazer um "spatial join" do shape de ruas do OSM-Brasil
com alguma divisão geográfica. Tentei fazer começando cruzando o shape the
ruas do OSM-Brasil
com um shape
de 
municípiosdo
IBGE. Tentei no Arcgis e no Qgis, ambos travaram. Vou tentar agora em
algum programa tipo SQL server ou PostGis. Este mesmo cruzamento pode ser
feito em níveis mais desagregados (distrito, subdistrito, localidade (um
conceito do IBGE que não sei exatamente o que é acho que é +o- equivalente
a bairro) ou setor (garantindo antes a compatibilidade dos polígonos dos
setores)). Outra possibilidade seria usar as divisões geográficas já
incorporadas na base do OSMs e fazer uma exportação de uma tabela incluindo
nomes de

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-04-01 Por tôpico Fernando Trebien 
Oi Lucas,

A) Eu não sei se poderíamos importar no OSM os contornos dos setores
censitários, não temos tags pra isso ainda. Mas podemos pensar em
propor essas tags. Setores não são nem áreas residenciais
(landuse=residential), nem limites administrativos
(boundary=administrative), seriam algo novo. Talvez tenhamos alguns
problemas em disponibilizar essa informação para que as pessoas
alterem como queiram, o que poderia introduzir erros uma vez que os
setores não são visíveis/identificáveis em solo e/ou imagens de
satélite.

C) Seria bem interessante importar os domicílios rurais com base
nessas coordenadas. Onde encontramos essa informação?

0) Fiz a importação dos aglomerados subnormais (que são um subconjunto
dos setores censitários) e a geometria me pareceu muito boa nos casos
que eu tratei (revisei mais de 10 mil polígonos, um por um). Só em
Salvador havia um deslocamento uniforme (que o Wille me avisou e eu
corrigi manualmente depois) de menos de 30 metros.

1) Com o "osmosis" (https://wiki.openstreetmap.org/wiki/Osmosis) você
consegue extrair geometria a partir de um polígono-limite. Se você
baixar o mapa do país
(http://download.geofabrik.de/south-america/brazil.html), pode aplicar
o osmosis a cada uma das cidades ou mesmo a cada setor censitário (a
partir do shape do IBGE), e com isso descobrir quais ruas pertencem a
cada cidade/setor. Seria um processamento complexo e talvez demorado,
mas possível.

2) Eu acho esse assunto muito interessante e acho que deveríamos
pensar em generalizar para cadastros quaisquer (não só o CNEFE). Vamos
criar uma página no wiki pra tratar disso como um projeto (com
objetivos, idéias/brainstorm, obstáculos a resolver, etc.)? Acho mais
fácil chamar gente pra nos ajudar se fizermos isso, e pra servir de
registro/inspiração pra revisões similares no futuro.

Da maneira que eu sugeri no fórum, acho arriscado aplicar uma correção
100% automática. O melhor é sugerir uma correção e deixar que as
pessoas decidam. O CNEFE já se mostrou um tanto desatualizado nos
casos em que eu testei.

Eu também tinha em mente dividir o território em partes e entregar o
resultado da comparação pros mapeadores locais, que então nos
avisariam quais porções já foram tratadas/revisadas (ninguém mais
precisaria repetir a comparação nessas porções).

3) Acho uma idéia interessantíssima.

4) Acho que se você conseguir extrair uma lista de nomes por setor
como eu sugeri em (1), você não precisa fazer esse pareamento.

Num primeiro momento, acho que o mais fácil seria fazer assim:
- a partir dos shapes dos setores censitários do IBGE, extrair nomes
de ruas para cada setor; isso envolve usar o osmosis pra extrair a
geometria dentro dos limites do setor, e depois usar algo como o
osmfilter pra extrair o nome das ruas
- gerar, para cada setor, o resultado da comparação dos nomes de ruas
(talvez usando o script que eu propus no fórum, com melhorias)
- descartar os setores que não tiverem diferenças
- distribuir para os mapeadores locais (talvez através do wiki) o
resultado da comparação por setor, junto com o shape do setor, para
que possam fazer os ajustes que acharem necessários
- conforme vão consumindo essa informação, os mapeadores nos
informariam e nós registraríamos no wiki quais setores já foram
revisados (com isso os esforços se concentrariam nos setores que ainda
não foram revisados)

O que mais poderíamos fazer:
- uma interface com o LeafletJS que, a partir da posição atual do
usuário no mapa, descobriria qual é o setor mais próximo, mostraria o
seu contorno e o resultado da comparação

Mas o pessoal que está acostumado com o JOSM não precisaria muito
disso. Poderíamos colocar (no próprio artigo do projeto) como usar o
JOSM para fazer a revisão; isso seria mais fácil do que desenvolver
uma interface só pra mostrar as diferenças graficamente com algum grau
de aproximação.

O mesmo processo poderia ser aplicado pra todas as demais comparações
que pensarmos em fazer no futuro.

Acho que, pras cidades menores, seria mais rápido/eficiente fazer a
revisão por cidade ao invés de por setor.

Que tal?

2014-03-31 6:32 GMT-03:00 Lucas Ferreira Mation :
>
> Prezados,
>
> Sou economista e trabalho no IPEA, entre outras coisas, com questões de
> economia urbana e favelas. Sempre sentimos falta de uma base de dados
> completa, precisa e gratuita de ruas, e outros atributos. Apenas
> recentemente tive contato com o OSM e estou impressionado com a riqueza de
> informações disponíveis. O projeto e o trabalho de vocês é fantástico.
>
> Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
> 2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer as
> informações destas bases para dentro do OSM, ou como um rascunho-guia para
> pessoas validarem. Sugeri esta idéia no forum
> e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads com
> idéias similares. Listo abaixo as informações que sei destas bases do Censo
> 2010, e depois minhas idéias sobre como poderiam ser exp

[Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

2014-03-31 Por tôpico Lucas Ferreira Mation 
Prezados,

Sou economista e trabalho no IPEA, entre outras coisas, com questões de
economia urbana e favelas. Sempre sentimos falta de uma base de dados
completa, precisa e gratuita de ruas, e outros atributos. Apenas
recentemente tive contato com o OSM e estou impressionado com a riqueza de
informações disponíveis. O projeto e o trabalho de vocês é fantástico.

Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer as
informações destas bases para dentro do OSM, ou como um rascunho-guia para
pessoas validarem. Sugeri esta idéia no
forum

e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads com
idéias similares. Listo abaixo as informações que sei destas bases do Censo
2010, e depois minhas idéias sobre como poderiam ser exploradas/mireradas:

A) Setor censitário: são uma divisão do território para operacionalizar a
 coleta de informação no censo, tal que um setor seja  área de
responsabilidade de um único recenseador, com 250 a 350 domicílios em áreas
urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns poucos
quarteirões, mas podem ser apenas um quarteirão, ou até meio quarteirão em
áreas muito densas. São 316,5 mil setores em 2010.
O IBGE fornece um shapefile para cada uf com os polígonos dos setores. Além
disso o IBGE fornece uma base de dados com informações
demográficas e econômicas agregadas para os moradores de cada setor
censitário. O grau de precisão destes shapes varia de cidade para cidade.

B) Base de quarteirões/quadras: o IBGE também dispõem internamente de uma
base de dados de quarteirões, entretanto esta base, em formato digital não
é divulgada. Aprendi com o projeto
IBGEtools(muito bacana por sinal),
que imagens dos quarteirões de cada setor estão dispníveis em PDF no site
do IBGE.

C) 
CNEFE
: lista os endereços de todos os domicílios recenseados = 81 milhões de
observações. Para os domicílios rurais são incluídas as coordenadas do
domicílio. Para os urbanos é indicado o setor censitário (localização
conhecida pelo item A).  Também são indicados o quarteirão e face de
quarteirão, cujo shape eles não divulgam mas que cuja numeração segue uma
contagem seguencial dentro do setor (acho que no sentido horário).

Dado isso, listo as coisas dúvidas  que penso que podem ser feitas e as
dúvidas associadas:

0) medir imprecisão dos shapes de setor censitário: acho que este
diagnóstico seria a primeira coisa a ser feita seria, para ter uma idéia do
grau de erro deste dado em cada cidade.  Já foi feito alguma estimativa do
tipo ? Alguma tentativa de corrigir os shapes de setor censitário? Digo
isso porque as idéias subsequentes, na maioria usam o shape de setores para
juntar espacialmente os dados.

1) Comparar listas de ruas CNEFE vs. OSM para ver o grau de coberturado
OSM: , conforme proposto/implementado para o Brasil
(aqui1
e
aqui2 ) e Alemanha (
aqui ). Esta comparação pode
ser feita em diversas escalas (município, distrito, subdistrito e até setor
(supoondo mapas compatíveis) na forma de tabela ou de um heatmap. Aliás,
baixei o shape de ruas do Brasil do OSM mas não vem com informação de
município ou nenhuma indicação geográfica.Como obtenho isso nos shapes do
OSM? ou preciso eu mesmo cruzar com um shape de municípios no qgis?

 2) Dado este paramento,  o CNEFE poderia ser usado para corrigir typos dos
nomes de ruas no OSM, ou pelo menos sugerir correções. (neste caso seria
bom fazer um matching probalistico/fuzzy dos nomes).

3) Criar traçados de ruas a partir de CNEFE+shape-setores. Conforme
descrito no post no forum, sabendo que a rua passa dentro de um conjunto de
setores seria possível esboçar o trajeto da rua, ou uma área no meio da
qual sabemos que ela passa, o que poderia servir de guia para os
mapeadores.

4) Pareamento de quarteirões e faces de quarteirão do CNEFE e do OSM em
áreas já mapeadas. Supondo que o perímetro do setor seja conhecido
(shape-setor seja preciso) deve ser possível identificar qual quarteirão do
CNEFE corresponde a qual quarteirão do OSMs. Sendo assim seria possível
adicionar toda a estrutura de números de rua do CNEFE ao OSM.

Enfim, estas são a idéias mais preliminares, espero que o email não tenha
ficado longo demais. Queria ver o que o pessoal acha delas e se alguém se
anima a ajudar. Tenho algumas idéias sobre algoritmos, etc para fazer estes
cruzamentos, mas não sei python, detalhes do OSM , etc para implementa tudo
num código na web.

abraço
Lucas
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br