Oi Pessoal,

Minha resposta demorou um pouco porque a vida real, incluindo o trabalho me manteve longe do OSM.

Estou em contato com o mapeador alemão Dietmar [1] o qual eu encontrei no evento OSM em Berlim. Ele já tem um sistema online que apresenta comparações entre listas oficiais de ruas e as ruas mapeadas no OSM. Para quem entende um pouco de alemão: a palestra dele em Berlim está disponivel no Youtube [2]

A cobertura do sistema dele era: Alemanha, Austria, Suiça e Luxembourgo. Agora, ele importou os dados IBGE/CNEFE do RS. Um resultado daquela importação é o "Heat Map" do RS [3]. (Tem que ter ums segundinhhos de paciencia).

Clique num município e segue o link "Auswertung". Você encontrara as estatísticas do município, por exemplo Ivoti [4]. Você até pode escolher "Português do Brasil" (= Português do Hermann ;-) como lingua da página. Infelizmente, tem ainda problemas com as páginas dos municípios que tem acentos no nome.

O Dietmar faz um comparação simples: nome da rua segundo o CNEFE x nome OSM normalizado. Ele ainda não usa o algoritmo Levenshtein (ou outros) para descobrir nomes semelhantes.

Exemplo:

Nome da lista CNEFE "faltando" em Ivoti  = RUA JOAO W HOLDEFER
Nome somente conhecido pela lista do OSM = Rua João Walter Holdefer

O que você acha do "Heat Map" do Dietmar ?

Abraços, Hermann

[1] http://www.fossgis.de/konferenz/2014/programm/speakers/401.de.html
[2] https://www.youtube.com/watch?v=dA8tBsKZ6qY
[3] http://regio-osm.de/listofstreets/kartenansicht.html?file=BR
[4] http://regio-osm.de/listofstreets/evaluation?title=Ivoti&country=Brasil


On 2014-04-03 21:05, Thiago Marcos P. Santos wrote:
2014-04-03 15:31 GMT+03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>:
Thiago, vamos estreitar mais a conversa e iniciativas.

Uma vez estive no IBGE a trabalho e eles comentaram que o shape de
quarteirões só poderá ser liberado em 2015, se não me engano, pois os mapas
foram comprados de empresas de mapeamento comercial, então não poderiam
liberar antes de 2015. Parece que este foi um grande desapontamento por lá,
pois achavam que a qualidade destes mapas seria muito melhor do que era e
fato. Antes do Censo as equipes do IBGE foram a campo fazer o "arrolamento"
dos setores censitários, isto é, verificar as ruas, corrigindo diretamente
no PDA, e estimando o número de casas por setor. Acho que existiria grande
potencial para o IBGE usar o OSM como base para o próximo censo, e usar a
enorme equipe deles para corrigir/complementar o OSM. Operacionalmente isso
é muito mais fácil do que ficar fazendo licitações, para comprar bases, etc.
Além disso já viria com uma série de aplicativos para fazer estas correções
no campo pela equipe deles.

Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma idéia
do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%,  10% ou
50% das ruas estão erradas?

Não tenho idéia, mas acho que é bom o suficiente na maioria dos casos.

Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace é
baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que
manualmente segmentar em ruas ou isso é feito de alguma forma automatizada?

É um XML com vários meta dados.
http://wiki.openstreetmap.org/wiki/OSM_XML

Tem várias bibliotecas já prontas para fazer o processamento deste XML:
http://wiki.openstreetmap.org/wiki/Frameworks

Mas sinceramente minha prioridade seria ajudar o Hermann a concluir o
heat map de ruas sem nome ou não traçadas de todo o Brasil, baseado no
dados CNEFE. A partir deste trabalho, podemos aprimorar as ferramentas
para incluir esta otimização de ruas que passam por múltiplas regiões
censitárias.

Conversando com um amigo alemão hoje, ele estava me falando como a
"gamification" do OSM ajudou a melhor a situação dos mapas na
Alemanha, já que todo mundo queria ver sua cidade "verde" no head map.
:)

Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome,
poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do
CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores A,B,C e
D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e D ,
e não pela lista completa de ruas que passam por qualquer um deles.



4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import dos
números de casa, deixe-me explicar melhor a idéia. Para isso vai ser
necessário parear as quadras e faces de quadras das com ruas já mapeadas e
nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"?
Imagino algo assim:
Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de quadras do
OSM, onde cada quadra i é indexada pela lista de quarteirões que a compõem.
E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma sequencia de ruas
do seu contorno, R1, R2, R3, R4, ... (em geral seria 4, mas podem ser mais).
Similarmente teríamos o conjunto de quadras do CNEFE:  Qcnefe={Qcnefe_1,
Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por j e é
descrita polas ruas que a cercam: Qcnefe_i{R1,R2,R3,R4,...}
Contanto que as ruas nas duas bases estejam com nomes similares, estejam
pareadas, podemos formular um problema matemático, um sistema de equações
para determinar os pareamentos entre as quadras i e j (OSM e CNEFE). Claro,
isso não precisa ser feito com todas as quadras contra todas, basta cruzar
os subconjuntos de quadras em cada setor nas duas bases. Tendo feito este
pareamento, seria possível saber para cada face de quarteirão do CNEFE a
face de rua correspondente no OSM. Aí bastaria importar todos os endereços
daquela face, talvez validando primeiro para ver se a informação é
compatível com os endereços já incluidos no OSM daquela face.









2014-04-02 20:38 GMT-03:00 Thiago Marcos P. Santos <tmpsan...@gmail.com>:

2014-03-31 12:32 GMT+03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>:

Prezados,

Sou economista e trabalho no IPEA, entre outras coisas, com questões de
economia urbana e favelas. Sempre sentimos falta de uma base de dados
completa, precisa e gratuita de ruas, e outros atributos. Apenas
recentemente tive contato com o OSM e estou impressionado com a riqueza
de
informações disponíveis. O projeto e o trabalho de vocês é fantástico.

Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer
as
informações destas bases para dentro do OSM, ou como um rascunho-guia
para
pessoas validarem. Sugeri esta idéia no forum
e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads
com
idéias similares. Listo abaixo as informações que sei destas bases do
Censo
2010, e depois minhas idéias sobre como poderiam ser
exploradas/mireradas:

A) Setor censitário: são uma divisão do território para operacionalizar
a
coleta de informação no censo, tal que um setor seja  área de
responsabilidade de um único recenseador, com 250 a 350 domicílios em
áreas
urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns
poucos
quarteirões, mas podem ser apenas um quarteirão, ou até meio quarteirão
em
áreas muito densas. São 316,5 mil setores em 2010.
O IBGE fornece um shapefile para cada uf com os polígonos dos setores.
Além
disso o IBGE fornece uma base de dados com informações
demográficas e econômicas agregadas para os moradores de cada setor
censitário. O grau de precisão destes shapes varia de cidade para
cidade.

B) Base de quarteirões/quadras: o IBGE também dispõem internamente de
uma
base de dados de quarteirões, entretanto esta base, em formato digital
não é
divulgada. Aprendi com o projeto IBGEtools (muito bacana por sinal), que
imagens dos quarteirões de cada setor estão dispníveis em PDF no site do
IBGE.

Bom mesmo se eles liberassem estes mapas que eles usaram para gerar os
PDFs. O que o IBGETools faz é um hack e o resultado final só serve
como referência, principalmente para pegar os nomes das ruas.

No momento estou gerando layers para todos os estados, o pessoal do
Mapbox ofereceu storage para os tiles.


C) CNEFE  : lista os endereços de todos os domicílios recenseados = 81
milhões de observações. Para os domicílios rurais são incluídas as
coordenadas do domicílio. Para os urbanos é indicado o setor censitário
(localização conhecida pelo item A).  Também são indicados o quarteirão
e
face de quarteirão, cujo shape eles não divulgam mas que cuja numeração
segue uma contagem seguencial dentro do setor (acho que no sentido
horário).

Dado isso, listo as coisas dúvidas  que penso que podem ser feitas e as
dúvidas associadas:

0) medir imprecisão dos shapes de setor censitário: acho que este
diagnóstico seria a primeira coisa a ser feita seria, para ter uma idéia
do
grau de erro deste dado em cada cidade.  Já foi feito alguma estimativa
do
tipo ? Alguma tentativa de corrigir os shapes de setor censitário? Digo
isso
porque as idéias subsequentes, na maioria usam o shape de setores para
juntar espacialmente os dados.

1) Comparar listas de ruas CNEFE vs. OSM para ver o grau de coberturado
OSM:
, conforme proposto/implementado para o Brasil (aqui1 e aqui2) e
Alemanha
(aqui). Esta comparação pode ser feita em diversas escalas (município,
distrito, subdistrito e até setor (supoondo mapas compatíveis) na forma
de
tabela ou de um heatmap. Aliás, baixei o shape de ruas do Brasil do OSM
mas
não vem com informação de município ou nenhuma indicação geográfica.Como
obtenho isso nos shapes do OSM? ou preciso eu mesmo cruzar com um shape
de
municípios no qgis?

  2) Dado este paramento,  o CNEFE poderia ser usado para corrigir typos
dos
nomes de ruas no OSM, ou pelo menos sugerir correções. (neste caso seria
bom
fazer um matching probalistico/fuzzy dos nomes).

3) Criar traçados de ruas a partir de CNEFE+shape-setores. Conforme
descrito
no post no forum, sabendo que a rua passa dentro de um conjunto de
setores
seria possível esboçar o trajeto da rua, ou uma área no meio da qual
sabemos
que ela passa, o que poderia servir de guia para os mapeadores.

Como você pretende fazer isso?

Eu acho que o que dá para fazer é pegar as informações dos traces já
existentes no OSM e cruzar com os setores que ele faz intercessão e
tentar achar os possíveis nomes para a rua baseado no CNEFE. Eu
implementaria isto como um plugin no JOSM, e o mapeador ainda teria
que confirmar manualmente para cada rua, dado que a qualidade dos
dados no CNEFE é beeeem questionável.


4) Pareamento de quarteirões e faces de quarteirão do CNEFE e do OSM em
áreas já mapeadas. Supondo que o perímetro do setor seja conhecido
(shape-setor seja preciso) deve ser possível identificar qual quarteirão
do
CNEFE corresponde a qual quarteirão do OSMs. Sendo assim seria possível
adicionar toda a estrutura de números de rua do CNEFE ao OSM.

Enfim, estas são a idéias mais preliminares, espero que o email não
tenha
ficado longo demais. Queria ver o que o pessoal acha delas e se alguém
se
anima a ajudar. Tenho algumas idéias sobre algoritmos, etc para fazer
estes
cruzamentos, mas não sei python, detalhes do OSM , etc para implementa
tudo
num código na web.

abraço
Lucas

_______________________________________________
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br


_______________________________________________
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br



_______________________________________________
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br



_______________________________________________
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Responder a