Opa, não sabia qu eo Hermann já tava com a comparação em andamento. Em que pé está isso? Digo isso porque finalmente consegui fazer o spatial join do shape de ruas do OSM com o shape de municípios do IBGE. Ia agora cruzar com os dados do CNEFE. Acho que dá até para fazer uns refinamentos como corrigir para typos no CNEFE e no OSM, fazer matching probabilistico/fuzzy (reclink). É o que ia fazer agora, mas não vamos duplicar esforços, vocês já tem isso pronto?
Para o Heat map, vocês precisam os dados em que nível de detalhe? Agora que já desenvolvi a capacidade de cruzamento dos dados, seria fácil produzir a mesma estatística por Bairro também. E eventualmente por setor. O que eu não sei fazer é o heatmap em sí, e colocar na web. 2014-04-03 16:05 GMT-03:00 Thiago Marcos P. Santos <tmpsan...@gmail.com>: > 2014-04-03 15:31 GMT+03:00 Lucas Ferreira Mation <lucasmat...@gmail.com>: > > Thiago, vamos estreitar mais a conversa e iniciativas. > > > > Uma vez estive no IBGE a trabalho e eles comentaram que o shape de > > quarteirões só poderá ser liberado em 2015, se não me engano, pois os > mapas > > foram comprados de empresas de mapeamento comercial, então não poderiam > > liberar antes de 2015. Parece que este foi um grande desapontamento por > lá, > > pois achavam que a qualidade destes mapas seria muito melhor do que era e > > fato. Antes do Censo as equipes do IBGE foram a campo fazer o > "arrolamento" > > dos setores censitários, isto é, verificar as ruas, corrigindo > diretamente > > no PDA, e estimando o número de casas por setor. Acho que existiria > grande > > potencial para o IBGE usar o OSM como base para o próximo censo, e usar a > > enorme equipe deles para corrigir/complementar o OSM. Operacionalmente > isso > > é muito mais fácil do que ficar fazendo licitações, para comprar bases, > etc. > > Além disso já viria com uma série de aplicativos para fazer estas > correções > > no campo pela equipe deles. > > > > Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma > idéia > > do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%, > 10% ou > > 50% das ruas estão erradas? > > Não tenho idéia, mas acho que é bom o suficiente na maioria dos casos. > > > Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace > é > > baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que > > manualmente segmentar em ruas ou isso é feito de alguma forma > automatizada? > > É um XML com vários meta dados. > http://wiki.openstreetmap.org/wiki/OSM_XML > > Tem várias bibliotecas já prontas para fazer o processamento deste XML: > http://wiki.openstreetmap.org/wiki/Frameworks > > Mas sinceramente minha prioridade seria ajudar o Hermann a concluir o > heat map de ruas sem nome ou não traçadas de todo o Brasil, baseado no > dados CNEFE. A partir deste trabalho, podemos aprimorar as ferramentas > para incluir esta otimização de ruas que passam por múltiplas regiões > censitárias. > > Conversando com um amigo alemão hoje, ele estava me falando como a > "gamification" do OSM ajudou a melhor a situação dos mapas na > Alemanha, já que todo mundo queria ver sua cidade "verde" no head map. > :) > > > Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome, > > poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do > > CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores > A,B,C e > > D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e > D , > > e não pela lista completa de ruas que passam por qualquer um deles. > > > > > > > > 4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import > dos > > números de casa, deixe-me explicar melhor a idéia. Para isso vai ser > > necessário parear as quadras e faces de quadras das com ruas já mapeadas > e > > nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"? > > Imagino algo assim: > > Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de > quadras do > > OSM, onde cada quadra i é indexada pela lista de quarteirões que a > compõem. > > E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma sequencia de > ruas > > do seu contorno, R1, R2, R3, R4, ... (em geral seria 4, mas podem ser > mais). > > Similarmente teríamos o conjunto de quadras do CNEFE: Qcnefe={Qcnefe_1, > > Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por j > e é > > descrita polas ruas que a cercam: Qcnefe_i{R1,R2,R3,R4,...} > > Contanto que as ruas nas duas bases estejam com nomes similares, estejam > > pareadas, podemos formular um problema matemático, um sistema de equações > > para determinar os pareamentos entre as quadras i e j (OSM e CNEFE). > Claro, > > isso não precisa ser feito com todas as quadras contra todas, basta > cruzar > > os subconjuntos de quadras em cada setor nas duas bases. Tendo feito este > > pareamento, seria possível saber para cada face de quarteirão do CNEFE a > > face de rua correspondente no OSM. Aí bastaria importar todos os > endereços > > daquela face, talvez validando primeiro para ver se a informação é > > compatível com os endereços já incluidos no OSM daquela face. > > > > > > > > > > > > > > > > > > > > 2014-04-02 20:38 GMT-03:00 Thiago Marcos P. Santos <tmpsan...@gmail.com > >: > > > >> 2014-03-31 12:32 GMT+03:00 Lucas Ferreira Mation <lucasmat...@gmail.com > >: > >> > > >> > Prezados, > >> > > >> > Sou economista e trabalho no IPEA, entre outras coisas, com questões > de > >> > economia urbana e favelas. Sempre sentimos falta de uma base de dados > >> > completa, precisa e gratuita de ruas, e outros atributos. Apenas > >> > recentemente tive contato com o OSM e estou impressionado com a > riqueza > >> > de > >> > informações disponíveis. O projeto e o trabalho de vocês é fantástico. > >> > > >> > Como tenho trabalhado com as bases de setor censitário e CNEFE do > censo > >> > 2010, minha primeira idéia ao entrar em contato com o OSM foi de > trazer > >> > as > >> > informações destas bases para dentro do OSM, ou como um rascunho-guia > >> > para > >> > pessoas validarem. Sugeri esta idéia no forum > >> > e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads > >> > com > >> > idéias similares. Listo abaixo as informações que sei destas bases do > >> > Censo > >> > 2010, e depois minhas idéias sobre como poderiam ser > >> > exploradas/mireradas: > >> > > >> > A) Setor censitário: são uma divisão do território para > operacionalizar > >> > a > >> > coleta de informação no censo, tal que um setor seja área de > >> > responsabilidade de um único recenseador, com 250 a 350 domicílios em > >> > áreas > >> > urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns > >> > poucos > >> > quarteirões, mas podem ser apenas um quarteirão, ou até meio > quarteirão > >> > em > >> > áreas muito densas. São 316,5 mil setores em 2010. > >> > O IBGE fornece um shapefile para cada uf com os polígonos dos setores. > >> > Além > >> > disso o IBGE fornece uma base de dados com informações > >> > demográficas e econômicas agregadas para os moradores de cada setor > >> > censitário. O grau de precisão destes shapes varia de cidade para > >> > cidade. > >> > > >> > B) Base de quarteirões/quadras: o IBGE também dispõem internamente de > >> > uma > >> > base de dados de quarteirões, entretanto esta base, em formato digital > >> > não é > >> > divulgada. Aprendi com o projeto IBGEtools (muito bacana por sinal), > que > >> > imagens dos quarteirões de cada setor estão dispníveis em PDF no site > do > >> > IBGE. > >> > >> Bom mesmo se eles liberassem estes mapas que eles usaram para gerar os > >> PDFs. O que o IBGETools faz é um hack e o resultado final só serve > >> como referência, principalmente para pegar os nomes das ruas. > >> > >> No momento estou gerando layers para todos os estados, o pessoal do > >> Mapbox ofereceu storage para os tiles. > >> > >> > > >> > C) CNEFE : lista os endereços de todos os domicílios recenseados = 81 > >> > milhões de observações. Para os domicílios rurais são incluídas as > >> > coordenadas do domicílio. Para os urbanos é indicado o setor > censitário > >> > (localização conhecida pelo item A). Também são indicados o > quarteirão > >> > e > >> > face de quarteirão, cujo shape eles não divulgam mas que cuja > numeração > >> > segue uma contagem seguencial dentro do setor (acho que no sentido > >> > horário). > >> > > >> > Dado isso, listo as coisas dúvidas que penso que podem ser feitas e > as > >> > dúvidas associadas: > >> > > >> > 0) medir imprecisão dos shapes de setor censitário: acho que este > >> > diagnóstico seria a primeira coisa a ser feita seria, para ter uma > idéia > >> > do > >> > grau de erro deste dado em cada cidade. Já foi feito alguma > estimativa > >> > do > >> > tipo ? Alguma tentativa de corrigir os shapes de setor censitário? > Digo > >> > isso > >> > porque as idéias subsequentes, na maioria usam o shape de setores para > >> > juntar espacialmente os dados. > >> > > >> > 1) Comparar listas de ruas CNEFE vs. OSM para ver o grau de > coberturado > >> > OSM: > >> > , conforme proposto/implementado para o Brasil (aqui1 e aqui2) e > >> > Alemanha > >> > (aqui). Esta comparação pode ser feita em diversas escalas (município, > >> > distrito, subdistrito e até setor (supoondo mapas compatíveis) na > forma > >> > de > >> > tabela ou de um heatmap. Aliás, baixei o shape de ruas do Brasil do > OSM > >> > mas > >> > não vem com informação de município ou nenhuma indicação > geográfica.Como > >> > obtenho isso nos shapes do OSM? ou preciso eu mesmo cruzar com um > shape > >> > de > >> > municípios no qgis? > >> > > >> > 2) Dado este paramento, o CNEFE poderia ser usado para corrigir > typos > >> > dos > >> > nomes de ruas no OSM, ou pelo menos sugerir correções. (neste caso > seria > >> > bom > >> > fazer um matching probalistico/fuzzy dos nomes). > >> > > >> > 3) Criar traçados de ruas a partir de CNEFE+shape-setores. Conforme > >> > descrito > >> > no post no forum, sabendo que a rua passa dentro de um conjunto de > >> > setores > >> > seria possível esboçar o trajeto da rua, ou uma área no meio da qual > >> > sabemos > >> > que ela passa, o que poderia servir de guia para os mapeadores. > >> > >> Como você pretende fazer isso? > >> > >> Eu acho que o que dá para fazer é pegar as informações dos traces já > >> existentes no OSM e cruzar com os setores que ele faz intercessão e > >> tentar achar os possíveis nomes para a rua baseado no CNEFE. Eu > >> implementaria isto como um plugin no JOSM, e o mapeador ainda teria > >> que confirmar manualmente para cada rua, dado que a qualidade dos > >> dados no CNEFE é beeeem questionável. > >> > >> > > >> > 4) Pareamento de quarteirões e faces de quarteirão do CNEFE e do OSM > em > >> > áreas já mapeadas. Supondo que o perímetro do setor seja conhecido > >> > (shape-setor seja preciso) deve ser possível identificar qual > quarteirão > >> > do > >> > CNEFE corresponde a qual quarteirão do OSMs. Sendo assim seria > possível > >> > adicionar toda a estrutura de números de rua do CNEFE ao OSM. > >> > > >> > Enfim, estas são a idéias mais preliminares, espero que o email não > >> > tenha > >> > ficado longo demais. Queria ver o que o pessoal acha delas e se alguém > >> > se > >> > anima a ajudar. Tenho algumas idéias sobre algoritmos, etc para fazer > >> > estes > >> > cruzamentos, mas não sei python, detalhes do OSM , etc para implementa > >> > tudo > >> > num código na web. > >> > > >> > abraço > >> > Lucas > >> > > >> > _______________________________________________ > >> > Talk-br mailing list > >> > Talk-br@openstreetmap.org > >> > https://lists.openstreetmap.org/listinfo/talk-br > >> > > >> > >> _______________________________________________ > >> Talk-br mailing list > >> Talk-br@openstreetmap.org > >> https://lists.openstreetmap.org/listinfo/talk-br > > > > > > > > _______________________________________________ > > Talk-br mailing list > > Talk-br@openstreetmap.org > > https://lists.openstreetmap.org/listinfo/talk-br > > > > _______________________________________________ > Talk-br mailing list > Talk-br@openstreetmap.org > https://lists.openstreetmap.org/listinfo/talk-br >
_______________________________________________ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
