[Talk-br] Comparação de ruas: CNEFE x OSM no site osm-regio.de
Oi Pessoal, Obviamente não faltam idéias e projetos para cruzar/comparar as ruas do IBGE/CNEFE com aquelas do OSM. Estou escrevendo para fazer um pouco de "propaganda" para a comparação das duas listas (CNEFE x OSM) no site do mapeador alemão Dietmar [1]. O site, que tem páginas em Português, apresenta estatísticas por município, micro/meso-região, e um "heat map", chamado "Apresentação cartográfica no mapa OSM". O heat map preciso ~20 segundos para aparecer, tambem é preciso JavaScript ativado (Openlayers). Tudo isso existe com cobertura do RS, a área-piloto do projeto. Mais estados (até todo o Brasil) podem ser incluidos, dependente do feedback da communidade. Abraços, Hermann PS: Estou (quase) no meio do caminho entre Copenhague e POA, atualmente em Lisboa. Quem sabe: alguns mapeadores do Sul (POA, São Leo, NH, Ivoti(!), Montenegro) queriam se encontrar nas próximas duas semanas? [1] http://regio-osm.de/listofstreets/index.html ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.
Esperar uns 10 segundos ajuda muito aqui. Tambem é preciso JavaScript ativado. Estou enviando uma imagem (155k), mas não sei se é posivel de enviar imagens pela lista talk-br. Hermann On 2014-04-06 14:48, John Packer wrote: Hermann, quando eu abro o link do /heat map/ gaúcho [1], só vejo o estilo padrão do OSM, sem uma camada de /heat map/. Achei legal a comparação de nomes de ruas, e vi que também traduziram a interface para Português do Brasil, bem bacana. [1]: http://regio-osm.de/listofstreets/kartenansicht.html?file=BR Em 6 de abril de 2014 09:08, Hermann Peifer mailto:peifer-cfr20cyp...@public.gmane.org>> escreveu: On 2014-04-05 21:40, Thiago Marcos P. Santos wrote: 2014-04-05 19:21 GMT+03:00 Hermann Peifer mailto:pei...@gmx.eu>>: Oi Pessoal, Minha resposta demorou um pouco porque a vida real, incluindo o trabalho me manteve longe do OSM. Estou em contato com o mapeador alemão Dietmar [1] o qual eu encontrei no evento OSM em Berlim. Ele já tem um sistema online que apresenta comparações entre listas oficiais de ruas e as ruas mapeadas no OSM. Para quem entende um pouco de alemão: a palestra dele em Berlim está disponivel no Youtube [2] A cobertura do sistema dele era: Alemanha, Austria, Suiça e Luxembourgo. Agora, ele importou os dados IBGE/CNEFE do RS. Um resultado daquela importação é o "Heat Map" do RS [3]. (Tem que ter ums segundinhhos de paciencia). Clique num município e segue o link "Auswertung". Você encontrara as estatísticas do município, por exemplo Ivoti [4]. Você até pode escolher "Português do Brasil" (= Português do Hermann ;-) como lingua da página. Infelizmente, tem ainda problemas com as páginas dos municípios que tem acentos no nome. Acho fantástico. Seria algo excelente se tivéssemos para o Brasil todo. O projeto dos mapas do IBGE que estou trabalhando está 90% pronto, falta mesmo só dois estados para processar e fazer o upload para o Mapbox. Depois de concluído, vai ser um prazer te ajudar no heat map se você tiver interesse. Thiago, Que bom que tu gostaste. É mesmo: faltam voluntários para preparar e verificar a importação dos dados CNEFE de outros estados brasileiros. Tabem é necessario de verificar e talvez reparar/corrigir as divisas municipais no OSM, para inventar uma comparação menos rigido e mais intelligente das duas listas (usando Levenshtein, etc.). Estou um pouco preocupado que somente tu estás comentando sobre o "heat map gaúcho" do osm-regio.de <http://osm-regio.de>. Talvez o interesse na comparação das listas não é tão grande? Em qualquer caso, estou reenviando os links relevantes, veja abaixo. Abraços, Hermann [3] http://regio-osm.de/__listofstreets/kartenansicht.__html?file=BR <http://regio-osm.de/listofstreets/kartenansicht.html?file=BR> [4] http://regio-osm.de/__listofstreets/evaluation?__title=Ivoti&country=Brasil <http://regio-osm.de/listofstreets/evaluation?title=Ivoti&country=Brasil> _ Talk-br mailing list Talk-br@openstreetmap.org <mailto:Talk-br-3+rWM/WnaLOn4i5uJCXUsti2O/jbr...@public.gmane.org> https://lists.openstreetmap.__org/listinfo/talk-br <https://lists.openstreetmap.org/listinfo/talk-br> ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.
On 2014-04-05 21:40, Thiago Marcos P. Santos wrote: 2014-04-05 19:21 GMT+03:00 Hermann Peifer : Oi Pessoal, Minha resposta demorou um pouco porque a vida real, incluindo o trabalho me manteve longe do OSM. Estou em contato com o mapeador alemão Dietmar [1] o qual eu encontrei no evento OSM em Berlim. Ele já tem um sistema online que apresenta comparações entre listas oficiais de ruas e as ruas mapeadas no OSM. Para quem entende um pouco de alemão: a palestra dele em Berlim está disponivel no Youtube [2] A cobertura do sistema dele era: Alemanha, Austria, Suiça e Luxembourgo. Agora, ele importou os dados IBGE/CNEFE do RS. Um resultado daquela importação é o "Heat Map" do RS [3]. (Tem que ter ums segundinhhos de paciencia). Clique num município e segue o link "Auswertung". Você encontrara as estatísticas do município, por exemplo Ivoti [4]. Você até pode escolher "Português do Brasil" (= Português do Hermann ;-) como lingua da página. Infelizmente, tem ainda problemas com as páginas dos municípios que tem acentos no nome. Acho fantástico. Seria algo excelente se tivéssemos para o Brasil todo. O projeto dos mapas do IBGE que estou trabalhando está 90% pronto, falta mesmo só dois estados para processar e fazer o upload para o Mapbox. Depois de concluído, vai ser um prazer te ajudar no heat map se você tiver interesse. Thiago, Que bom que tu gostaste. É mesmo: faltam voluntários para preparar e verificar a importação dos dados CNEFE de outros estados brasileiros. Tabem é necessario de verificar e talvez reparar/corrigir as divisas municipais no OSM, para inventar uma comparação menos rigido e mais intelligente das duas listas (usando Levenshtein, etc.). Estou um pouco preocupado que somente tu estás comentando sobre o "heat map gaúcho" do osm-regio.de. Talvez o interesse na comparação das listas não é tão grande? Em qualquer caso, estou reenviando os links relevantes, veja abaixo. Abraços, Hermann [3] http://regio-osm.de/listofstreets/kartenansicht.html?file=BR [4] http://regio-osm.de/listofstreets/evaluation?title=Ivoti&country=Brasil ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.
Oi Pessoal,
Minha resposta demorou um pouco porque a vida real, incluindo o trabalho
me manteve longe do OSM.
Estou em contato com o mapeador alemão Dietmar [1] o qual eu encontrei
no evento OSM em Berlim. Ele já tem um sistema online que apresenta
comparações entre listas oficiais de ruas e as ruas mapeadas no OSM.
Para quem entende um pouco de alemão: a palestra dele em Berlim está
disponivel no Youtube [2]
A cobertura do sistema dele era: Alemanha, Austria, Suiça e Luxembourgo.
Agora, ele importou os dados IBGE/CNEFE do RS. Um resultado daquela
importação é o "Heat Map" do RS [3]. (Tem que ter ums segundinhhos de
paciencia).
Clique num município e segue o link "Auswertung". Você encontrara as
estatísticas do município, por exemplo Ivoti [4]. Você até pode escolher
"Português do Brasil" (= Português do Hermann ;-) como lingua da página.
Infelizmente, tem ainda problemas com as páginas dos municípios que tem
acentos no nome.
O Dietmar faz um comparação simples: nome da rua segundo o CNEFE x nome
OSM normalizado. Ele ainda não usa o algoritmo Levenshtein (ou outros)
para descobrir nomes semelhantes.
Exemplo:
Nome da lista CNEFE "faltando" em Ivoti = RUA JOAO W HOLDEFER
Nome somente conhecido pela lista do OSM = Rua João Walter Holdefer
O que você acha do "Heat Map" do Dietmar ?
Abraços, Hermann
[1] http://www.fossgis.de/konferenz/2014/programm/speakers/401.de.html
[2] https://www.youtube.com/watch?v=dA8tBsKZ6qY
[3] http://regio-osm.de/listofstreets/kartenansicht.html?file=BR
[4] http://regio-osm.de/listofstreets/evaluation?title=Ivoti&country=Brasil
On 2014-04-03 21:05, Thiago Marcos P. Santos wrote:
2014-04-03 15:31 GMT+03:00 Lucas Ferreira Mation :
Thiago, vamos estreitar mais a conversa e iniciativas.
Uma vez estive no IBGE a trabalho e eles comentaram que o shape de
quarteirões só poderá ser liberado em 2015, se não me engano, pois os mapas
foram comprados de empresas de mapeamento comercial, então não poderiam
liberar antes de 2015. Parece que este foi um grande desapontamento por lá,
pois achavam que a qualidade destes mapas seria muito melhor do que era e
fato. Antes do Censo as equipes do IBGE foram a campo fazer o "arrolamento"
dos setores censitários, isto é, verificar as ruas, corrigindo diretamente
no PDA, e estimando o número de casas por setor. Acho que existiria grande
potencial para o IBGE usar o OSM como base para o próximo censo, e usar a
enorme equipe deles para corrigir/complementar o OSM. Operacionalmente isso
é muito mais fácil do que ficar fazendo licitações, para comprar bases, etc.
Além disso já viria com uma série de aplicativos para fazer estas correções
no campo pela equipe deles.
Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma idéia
do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%, 10% ou
50% das ruas estão erradas?
Não tenho idéia, mas acho que é bom o suficiente na maioria dos casos.
Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace é
baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que
manualmente segmentar em ruas ou isso é feito de alguma forma automatizada?
É um XML com vários meta dados.
http://wiki.openstreetmap.org/wiki/OSM_XML
Tem várias bibliotecas já prontas para fazer o processamento deste XML:
http://wiki.openstreetmap.org/wiki/Frameworks
Mas sinceramente minha prioridade seria ajudar o Hermann a concluir o
heat map de ruas sem nome ou não traçadas de todo o Brasil, baseado no
dados CNEFE. A partir deste trabalho, podemos aprimorar as ferramentas
para incluir esta otimização de ruas que passam por múltiplas regiões
censitárias.
Conversando com um amigo alemão hoje, ele estava me falando como a
"gamification" do OSM ajudou a melhor a situação dos mapas na
Alemanha, já que todo mundo queria ver sua cidade "verde" no head map.
:)
Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome,
poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do
CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores A,B,C e
D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e D ,
e não pela lista completa de ruas que passam por qualquer um deles.
4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import dos
números de casa, deixe-me explicar melhor a idéia. Para isso vai ser
necessário parear as quadras e faces de quadras das com ruas já mapeadas e
nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"?
Imagino algo assim:
Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de quadras do
OSM, onde cada quadra i é indexada pela lista de quarteirões que a compõem.
E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma sequencia de ruas
do seu contorno, R1, R2, R3, R4, ... (em geral seria 4, mas podem ser mais).
Similarmente teríamos o conjunto de quadras do CNEFE: Qcnefe={Qcnefe_1,
Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por
Re: [Talk-br] Street name data
Estou fazendo as novas listas, baseadas nos setores censitários. Vou colocar depois na minha pasta no ubuntuone. Esta demorando um pouco. Para contar as ruas tenho que primeiro cortar o estado em municípios, depois os municípios em setores. Estou vendo que muitos setores ficam sem nemhuma rua no OSM :-(. Claro, a média no estado é 23679 ruas OSM / 130175 ruas CNEFE = 18.2% Hermann On 2014-03-24 13:16, Fernando Trebien wrote: Eu acho que as comparações setoriais poderiam ser muito úteis sim. Com base nelas (vou viajar um pouco, mas não quer dizer que não seja factível) daria pra fazer um sistema que mostra diferenças graficamente, por região (aproximada). Por exemplo, com um LeafletJS, daria pra: - obter a posição atual do usuário no mapa - encontrar o setor censitário mais próximo (não precisa ser muito rebuscado, pode ser uma busca gulosa usando a distância em relação ao centro/centróide do setor censitário) - consultar (a partir de dados já compilados) e mostrar quais ruas do CNEFE não existem no OSM (idealmente seria só naquele setor) - também mostrar as ruas que existem no OSM mas não no CNEFE, listando os nomes mais similares (poderia ser a saída do script que eu fiz - e estou melhorando com o seu feedback) Com isso, qualquer pessoa poderia entrar no sistema e descobrir quais ruas faltam e onde. E num nível mais afastado, ao invés dessa análise, poderiam aparecer os heat maps que você já desenvolveu. Com o tempo, as pessoas saberiam quais lugares precisam ser trabalhados. (Se não viajei demais, acho que temos um projeto. :P) 2014-03-24 0:19 GMT-03:00 Hermann Peifer : Fernando, Claro: tu fais as comparações como tu achas mais adequadas. Eu só pensei que no caso de 'RUA A' <> 'RUA B': 4 caractères = 80% de igualdade parece muito alto, já que o prefixo 'RUA ' é quase omnipresente no CNEFE, como "Tipo do logradouro". O que é que tu achas das comparações setoriais? A tabela CNEFE cresceu: de 130 000 linhas > 190 000 linhas, Não tenho ainda a nova tabela setorial do OSM. Abçs, Hermann On 2014-03-24 3:32, Fernando Trebien wrote: O fórum brasileiro foi criado há pouco tempo (meados do ano passado). Se vocês olharem bem, o fórum alemão, o russo e o inglês têm muita atividade (talvez mais do que as listas de e-mail, sinceramente não acompanho tão de perto). Embora no Brasil o fórum ainda esteja engatinhando, fora do Brasil ele costuma ser usado pra diversas coisas (ou seja, o propósito é livre). Andaram conversando aqui na lista (e eu acho que faz algum sentido pensar assim) que o fórum é um espaço adequado a discussões mais longas, cujo registro pode ser importante depois (basta mandar o link pras pessoas que estiverem chegando na discussão), enquanto que a lista é mais um espaço para anúncios, dúvidas rápidas ou assuntos urgentes. Outra utilidade do fórum é poder referenciar a discussão no próprio mapa (basta colocar o link pra discussão na tag note) quando há divergências sobre a forma correta de mapear algo. Eu acho interessante manter "rua" e "avenida" na comparação, pois gostaríamos que esses prefixos constassem no mapa do OSM. Uma idéia: - calcular duas distâncias: uma com (1) e outra sem (2) os prefixos (rua, avenida, etc.) - se ambas forem zero, não gerar nada na saída (os nomes são iguais) - senão, usar 2 para ordenar a saída, mesmo que 2 seja zero; viria no começo então todos os casos em que a única diferença está no prefixo Vou tentar fazer isso ver como fica o resultado. 2014-03-23 23:15 GMT-03:00 Aun Johnsen : PS: Alguem me pode explicar a lógica brasileira da dualidade de "lista talk-br" e "OSM Forum, users: Brazil" ? Minha hipótese é que o Forum serve mais para a "Geração Facebook" (a geração dos meus filhos), enquanto que, por outro lado, a lista talk-br é o veículo histórico de comunicação da "Geração pré-Facebook" (que nem eu). É verdade memo ? ;-) Eu talvez sao do geracao mais velho, a lista talk-br e maia util p mim como recebendo no meu email, onde eu pode responder mesmo que viajando O forum nao e bem util p mim como sempre viajando, utilizando computadores publico ou do trabalho Sds ___ Talk-br mailing list Talk-br-3+rWM/WnaLOn4i5uJCXUsti2O/jbr...@public.gmane.org https://lists.openstreetmap.org/listinfo/talk-br ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Fwd: Re: Street name data
Fernando, Claro: tu fais as comparações como tu achas mais adequadas. Eu só pensei que no caso de 'RUA A' <> 'RUA B': 4 caractères = 80% de igualdade parece muito alto, já que o prefixo 'RUA ' é quase omnipresente no CNEFE, como "Tipo do logradouro". O que é que tu achas das comparações setoriais? A tabela CNEFE cresceu: de 130 000 linhas > 190 000 linhas, Não tenho ainda a nova tabela setorial do OSM. Abçs, Hermann On 2014-03-24 3:32, Fernando Trebien wrote: O fórum brasileiro foi criado há pouco tempo (meados do ano passado). Se vocês olharem bem, o fórum alemão, o russo e o inglês têm muita atividade (talvez mais do que as listas de e-mail, sinceramente não acompanho tão de perto). Embora no Brasil o fórum ainda esteja engatinhando, fora do Brasil ele costuma ser usado pra diversas coisas (ou seja, o propósito é livre). Andaram conversando aqui na lista (e eu acho que faz algum sentido pensar assim) que o fórum é um espaço adequado a discussões mais longas, cujo registro pode ser importante depois (basta mandar o link pras pessoas que estiverem chegando na discussão), enquanto que a lista é mais um espaço para anúncios, dúvidas rápidas ou assuntos urgentes. Outra utilidade do fórum é poder referenciar a discussão no próprio mapa (basta colocar o link pra discussão na tag note) quando há divergências sobre a forma correta de mapear algo. Eu acho interessante manter "rua" e "avenida" na comparação, pois gostaríamos que esses prefixos constassem no mapa do OSM. Uma idéia: - calcular duas distâncias: uma com (1) e outra sem (2) os prefixos (rua, avenida, etc.) - se ambas forem zero, não gerar nada na saída (os nomes são iguais) - senão, usar 2 para ordenar a saída, mesmo que 2 seja zero; viria no começo então todos os casos em que a única diferença está no prefixo Vou tentar fazer isso ver como fica o resultado. 2014-03-23 23:15 GMT-03:00 Aun Johnsen : PS: Alguem me pode explicar a lógica brasileira da dualidade de "lista talk-br" e "OSM Forum, users: Brazil" ? Minha hipótese é que o Forum serve mais para a "Geração Facebook" (a geração dos meus filhos), enquanto que, por outro lado, a lista talk-br é o veículo histórico de comunicação da "Geração pré-Facebook" (que nem eu). É verdade memo ? ;-) Eu talvez sao do geracao mais velho, a lista talk-br e maia util p mim como recebendo no meu email, onde eu pode responder mesmo que viajando O forum nao e bem util p mim como sempre viajando, utilizando computadores publico ou do trabalho Sds ___ Talk-br mailing list Talk-br-3+rWM/WnaLOn4i5uJCXUsti2O/jbr...@public.gmane.org https://lists.openstreetmap.org/listinfo/talk-br ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Fwd: Re: Street name data
Eu até ia cortar 'RUA ', 'AVENIDA ', 'ESTRADA ' antes do cálculo da distância (si este "prefixo" seria presente em ambos lados da comparação). Custa um pouco tempo para usar a função substr(), mais tambem reduza o cálculo Levenshtein. Então o caso 'RUA A' <-> 'RUA B' seria 100% de distância. Parece muita distância, mas na realidade que eu vi, 'RUA A' e 'RUA B' são duas ruas vizinhas, mais diferentes mesmo. Hermann PS: Alguem me pode explicar a lógica brasileira da dualidade de "lista talk-br" e "OSM Forum, users: Brazil" ? Minha hipótese é que o Forum serve mais para a "Geração Facebook" (a geração dos meus filhos), enquanto que, por outro lado, a lista talk-br é o veículo histórico de comunicação da "Geração pré-Facebook" (que nem eu). É verdade memo ? ;-) On 2014-03-23 23:16, Fernando Trebien wrote: Hehe foi exatamente isso que eu fiz na segunda versão: http://forum.openstreetmap.org/viewtopic.php?pid=408056#p408056 2014-03-23 19:04 GMT-03:00 Paulo Carvalho : Sugiro dividir o valor da distância pelo número de caracteres de um dos operandos. Em ambos os exemplos a distância é 1. Mas se relativizar, fica 25% para o primeiro exemplo e 3% para o segundo. Em 23 de março de 2014 16:01, Hermann Peifer escreveu: Nossa! Isso foi rápido. Nem tive tempo para olhar os detalhes dos resultados, mas vou fazer logo. A distäncia Levenshtein é absoluta, não é? Digamos: estes dois exemplos tem ambos uma distância de 1: 'RUA A' <-> 'RUA B' 'RUA MARECHAL ARTHUR COSTA E SILVA' <-> 'RUA MARECHAL ARTUR COSTA E SILVA' No primeiro exemplo, um dos dois nomes seria completamente errado e no segundo exemplo falta só uma letra no meio de um nome comprido. Vou pensar no assunto. Abçs, Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Fwd: Re: Street name data
Tambem já pensei nos setores censitários. A hierarquia no RS (em todo país?) e: município > distrito > subdistrito > setor No RS teve em 2010 (e tem ainda, pelo que eu sei): 496 municípios e dois "pseudo-municípios": 431 LAGOA MIRIM e 432 LAGOA DOS PATOS. (O bom neste projeto é que a gente não precisa se preocupar muito com os pseudo-municípios ;-) Os 496 municípios gaúchos são divididos em: 1230 distritos > 1370 sub-distritos > 22728 setores Estou usando os shape do IBGE para fazer a(s) lista(s) OSM, não trabablho direto com os tags boundary/admin_level do OSM. O CNEFE 2010, abaixado do ftp.ibge.gov.br [1] e as divisas municipais/setoriais de 2010 abaixado do geoftp.ibge.gov.br [2] me parecem uma boa combinação para fazer comparações consistentes. Usar as "próprias" divisas do OSM-BR seria um detalho por resolver depois (já que pelo estou vendo, a maioria das divisas do OSM-BR é um resultado de uma importação histórica de uma outra versão de divisas originando do IBGE). Vou fazer 3 novas tabelas na base das divisas setoriais: RUAS_CNEFE, RUAS_OSM e SETORES_IBGE. Estas tabelas vão ter mais linhas porque a mesma avenida comprida vai aparecer em vários setores. Mesmo asim, acho que "comparações setoriais" podem melhorar o resultado, pelo menos na teoria.. Abraços, Hermann [1] ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/RS/ [2] ftp://geoftp.ibge.gov.br/malhas_digitais/censo_2010/setores_censitarios/rs.zip On 2014-03-23 21:12, Fernando Trebien wrote: Mas isso funcionaria também onde os distritos/subdistritos não estão mapeados no OSM? (Nem definimos ainda qual é o admin_level que se deve colocar pra representar esses casos. Mas provavelmente deveríamos ter essa discussão.) Eu estava pensando se esse método de comparação não poderia se estender para outros cadastros quaisquer (além do CNEFE). Assim seria mais fácil integrar no OSM o melhor de todos os mundos que temos disponíveis. Alguém sabe de outro cadastro que poderia ser interessante comparar com o OSM? 2014-03-23 17:04 GMT-03:00 Thiago Marcos P. Santos : 2014-03-23 21:37 GMT+02:00 Fernando Trebien : Exato. Isso na verdade me sugere um outro critério de ordenação do resultado: tamanho do nome/distância de Levenshtein. Seria um critério aproximado mas que ajudaria o revisor a começar direto com casos que raramente seriam descartados e a deixar pro final os difíceis de decidir. Postei no fórum o resultado de fazer assim, pra poder comparar facilmente. Vou tentar integrar o script com este outro arquivo pra gerar na saída o nome ao invés do código da cidade. Depois, dá até pra dividir a saída por cidade, colocar tudo num repositório, e só ir controlando no wiki quais arquivos já foram revisados (ou talvez até ir passando de um diretório para outro no repositório). Minha impressão até o momento: a comparação dos cadastros é bastante útil, mas não dá pra confiar no CNEFE sempre. No CNEFE tem informações sobre o distrito, sub-distrito, etc. Se pegarmos as informações do way em questão no OSM e fizermos um bounding box, poderíamos restringir a busca aos sub-distritos que fazer overlap com este bounding box e deixaríamos o resultado mais preciso. O que acham? ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Fwd: Re: Street name data
Nossa! Isso foi rápido. Nem tive tempo para olhar os detalhes dos
resultados, mas vou fazer logo.
A distäncia Levenshtein é absoluta, não é? Digamos: estes dois exemplos
tem ambos uma distância de 1:
'RUA A' <-> 'RUA B'
'RUA MARECHAL ARTHUR COSTA E SILVA' <-> 'RUA MARECHAL ARTUR COSTA E SILVA'
No primeiro exemplo, um dos dois nomes seria completamente errado e no
segundo exemplo falta só uma letra no meio de um nome comprido. Vou
pensar no assunto.
Abçs, Hermann
PS:
Agora tambem coloquei os nomes dos municípios na minha pasta:
MUE250GC_SIR.txt, baseado no shapefile 43MUE250GC_SIR.shp do IBGE
496 municípios com código e nome, 10 kb, texto UTF-8, sep = tab
http://ubuntuone.com/1uCkqoBdecUmXgsMw8lSQC
Minha NORMALIZACAO does nomes das ruas do OSM era asim:
$ cat scripts/translit.awk
{
$0 = toupper($0)
gsub(/[ÀÁÂÃĪ]/, "A")
gsub(/Ç/, "C")
gsub(/[ÈÉÊ]/, "E")
gsub(/Í/, "I")
gsub(/Ñ/, "N")
gsub(/[ÓÔÕÖ°º]/, "O")
gsub(/[ÚÜ]/, "U")
gsub(/ß/, "SS")
print
}
On 2014-03-23 18:31, Fernando Trebien wrote:
Tentei, acho que os resultados são interessantes. Por isso, acabei
postando no fórum:
http://forum.openstreetmap.org/viewtopic.php?pid=408015#p408015
2014-03-23 12:01 GMT-03:00 Hermann Peifer :
Olá,
Fiz algumas pesquisas provisórias, pegando os dados do RS:
O CNEFE tem ~130 000 nomes para avenidas, ruas e estradas gaúchas. Entre
eles tem uma boa quantidade de varias formas de ruas sem nome, veja o anexo.
Nos dados OSM do RS tem 23 679 nomes de ruas. Eu carreguei 2 listas no
ubuntu.com:
1) municipio_cep_RUA_CNEFE.txt
Código do municipio, CEP e NOME DA RUA, segundo o CNEFE
130175 linhas, 4.7 MB, texto UTF-8, sep = tecla de tabulação
http://ubuntuone.com/3yVwVRtk5bob8UcPL4EEjs
2) municipio_rua_RUA_OSM.txt
Código do municipio, nome da rua, NOME NORMALIZADO DA RUA, segundo OSM
23679 linhas, 1.1 MB, texto UTF-8, sep = tecla de tabulação
http://ubuntuone.com/4LFzmNYhB8zanUN0gjh7l9
Eu inventei aqueles NOMES NORMALIZADOS, baseado nos nomes do OSM para
facilitar a comparação, colocando tudo em maiúsculos e sem acentos (fiz
dessa forma para evitar de mexer com as duas listas).
Ainda tenho duvidas si vale a pena de fazer uma comparação, usando o a
distância Levenshtein, ou algo semelhante.
Alguem quer tentar ?
Abçs, Hermann
Anexo
Casos Nome
215 RUA SEM DENOMINACAO
163 RUA SEM NOME
91 RUA SEM NOME 2
88 BECO SEM NOME
84 RUA SEM NOME 1
77 BECO SEM DENOMINACAO
68 RUA SEM NOME 3
67 ESTRADA SEM DENOMINACAO
66 RUA SEM DENOMINACAO 2
60 TRAVESSA SEM NOME
57 RUA SEM DENOMINACAO 1
57 ESTRADA SEM NOME
54 RUA SEM NOME 4
45 RUA SEM DENOMINACAO 3
43 RUA SEM NOME 5
38 BECO SEM NOME 2
37 RUA SEM DENOMINACAO 4
36 TRAVESSA SEM DENOMINACAO
36 BECO SEM NOME 1
33 RUA SEM NOME 6
28 ESTRADA SEM NOME 2
27 ESTRADA SEM NOME 1
26 RUA SEM DENOMINACAO 5
25 RUA CASEMIRO DE ABREU
23 BECO SEM NOME 3
22 RUA SEM NOME 8
22 RUA SEM NOME 7
21 BECO SEM NOME 4
20 ESTRADA SEM DENOMINACAO 2
On 2014-03-23 14:24, Thiago Marcos P. Santos wrote:
2014-03-23 14:53 GMT+02:00 Fernando Trebien :
Pelo que entendi é no processamento, pra poder comparar as duas bases
tendo menos falsas diferenças.
Eh a qualidade dos dados está realmente bastante questionável
Peguei um arquivo aleatório para testar (31235280500.TXT) e veja as
pérolas que encontrei:
RUA SEMINTERIO
RUA DO CEMINTERIO
RUA CEMINTERIO
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Fwd: Re: Street name data
Olá, Fiz algumas pesquisas provisórias, pegando os dados do RS: O CNEFE tem ~130 000 nomes para avenidas, ruas e estradas gaúchas. Entre eles tem uma boa quantidade de varias formas de ruas sem nome, veja o anexo. Nos dados OSM do RS tem 23 679 nomes de ruas. Eu carreguei 2 listas no ubuntu.com: 1) municipio_cep_RUA_CNEFE.txt Código do municipio, CEP e NOME DA RUA, segundo o CNEFE 130175 linhas, 4.7 MB, texto UTF-8, sep = tecla de tabulação http://ubuntuone.com/3yVwVRtk5bob8UcPL4EEjs 2) municipio_rua_RUA_OSM.txt Código do municipio, nome da rua, NOME NORMALIZADO DA RUA, segundo OSM 23679 linhas, 1.1 MB, texto UTF-8, sep = tecla de tabulação http://ubuntuone.com/4LFzmNYhB8zanUN0gjh7l9 Eu inventei aqueles NOMES NORMALIZADOS, baseado nos nomes do OSM para facilitar a comparação, colocando tudo em maiúsculos e sem acentos (fiz dessa forma para evitar de mexer com as duas listas). Ainda tenho duvidas si vale a pena de fazer uma comparação, usando o a distância Levenshtein, ou algo semelhante. Alguem quer tentar ? Abçs, Hermann Anexo Casos Nome 215 RUA SEM DENOMINACAO 163 RUA SEM NOME 91 RUA SEM NOME 2 88 BECO SEM NOME 84 RUA SEM NOME 1 77 BECO SEM DENOMINACAO 68 RUA SEM NOME 3 67 ESTRADA SEM DENOMINACAO 66 RUA SEM DENOMINACAO 2 60 TRAVESSA SEM NOME 57 RUA SEM DENOMINACAO 1 57 ESTRADA SEM NOME 54 RUA SEM NOME 4 45 RUA SEM DENOMINACAO 3 43 RUA SEM NOME 5 38 BECO SEM NOME 2 37 RUA SEM DENOMINACAO 4 36 TRAVESSA SEM DENOMINACAO 36 BECO SEM NOME 1 33 RUA SEM NOME 6 28 ESTRADA SEM NOME 2 27 ESTRADA SEM NOME 1 26 RUA SEM DENOMINACAO 5 25 RUA CASEMIRO DE ABREU 23 BECO SEM NOME 3 22 RUA SEM NOME 8 22 RUA SEM NOME 7 21 BECO SEM NOME 4 20 ESTRADA SEM DENOMINACAO 2 On 2014-03-23 14:24, Thiago Marcos P. Santos wrote: 2014-03-23 14:53 GMT+02:00 Fernando Trebien : Pelo que entendi é no processamento, pra poder comparar as duas bases tendo menos falsas diferenças. Eh a qualidade dos dados está realmente bastante questionável Peguei um arquivo aleatório para testar (31235280500.TXT) e veja as pérolas que encontrei: RUA SEMINTERIO RUA DO CEMINTERIO RUA CEMINTERIO ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
[Talk-br] Fwd: Re: Street name data
É mesmo: a qualidade dos dados do IBGE pode ser um problema. Acabei de abaixar todos os 1370 arquivos do RS com um total de 5 129 203 endereços. Nemhum deles tem um acento e todos os nomes em letras maiúsculas :-( Alguns exemplos abaixo. Tambem já pensei no algoritmo Levenshtein, mas agora estou na dúvidas si vale a pena mesmo. Por outro lado: ainda acho que os "heat maps" poderiam fazer sentido, para ilustrar o estágio do mapeamento. Abraços, Hermann RUA ALBINO PRIESTCH RUA ANTONIO ALVES PEREIRA RUA ADAO BRASIL RUA PROJETADA 1 RUA PROJETADA 2 RUA VEREADORA LORINHA RUA PROJETADA 3 ... ESTRADA LOC SAO SEBASTIAO A PTO BIGUA ESTRADA PORTO BIGUA A ESQ SAO PEDRO ESTRADA ESQ SAO PEDRO A POCO PRETO ... RUA BARAO TRIUNFO RUA SEM DENOMINACAO A RUA SEM DENOMINACAO B RUA SEM DENOMINACAO D On 2014-03-22 19:56, Fernando Trebien wrote: Uma idéia: o diff poderia ordenar as diferenças pela distância de Levenshtein (http://en.wikipedia.org/wiki/Levenshtein_distance). No início do arquivo, ficariam os nomes com o menor número de diferenças, a maioria pequenos erros ortográficos ou com acentuação incorreta (tanto no OSM quanto no cadastro do IBGE), muitas das quais teriam uma solução imediatamente óbvia (dispensando que o mapeador tenha que confirmar o nome na placa). No final, ficariam as diferenças mais grosseiras (problemas de qualidade em ou ou no outro cadastro), cujo conserto custaria mais para o mapeador, mas somariam um número bem menor. Uma rápida olhada no arquivo daria ao mapeador uma idéia de quanto trabalho ele teria pela frente. Por exemplo, se forem 1 diferenças na sua cidade, mas só 250 realmente exigirem que ele verifique a placa (o resto é aparentemente trivial), é muito mais provável que sinta vontade de iniciar o processo de correção. Mas se o mapeador só souber que são 1 diferenças, pode nunca começar por achar que o trabalho é difícil demais. 2014-03-22 14:11 GMT-03:00 wille : oi, Hermann Claro: faltam páginas em Português e talves outras adaptações (por exemplo no algoritmo de comparação dos nomes: qual seria a tolerância para dizer que 2 nomes são iguais: tolerância cero que nem na Lei Seca?). Os dados do IBGE tem muitas ruas com nomes abreviados ou sem os acentos... Acho a ideia interessante, mas não consideraria prioritária, por dois motivos: não estamos num estágio tão avançado de mapeamento quanto os alemães e o os dados do IBGE não são de qualidade muito confiável. abçs, wille Acho que no caso este projeto saísse do papel: tambem é preciso de alguns voluntários do Brasil mesmo, alguns "verdadeiros mapeadores brasileiros" que entendem melhor o sistema de endereços no Brasil. Hermann On 2014-03-22 15:50, Arlindo Pereira wrote: Muito legal. Acho super válido, se não for tomar muito o seu tempo. Não deixa de ser uma forma de contribuir com o projeto. =) []s Arlindo Pereira On Sat, Mar 22, 2014 at 11:16 AM, Hermann Peifer mailto:peifer-cfr20cypkuq-xmd5yjdbdmrexy1tmh2...@public.gmane.org>> wrote: On 2014-03-22 14:51, Hermann Peifer wrote: [1] http://www.openstreetmap.org/__user/okilimu/diary <http://www.openstreetmap.org/user/okilimu/diary> [2] "Heat maps" por cidade/região, clique por exemplo: Berlim http://regio-osm.de/__listofstreets/__kartenuebersicht.html <http://regio-osm.de/listofstreets/kartenuebersicht.html> Esqueci que daqueles heat maps vc pode chegar nas páginas com as estatísticas. Aqui os números de uma pequena vila de 1000 habitantes, nem é município (usando Google Translate): http://translate.google.com/__translate?sl=de&tl=pt&js=n&__prev=_t&hl=en&ie=UTF-8&u=__regio-osm.de%2Flistofstreets%__2Fevaluation%3Ftitle%__3DWiltingen%26country%__3DBundesrepublik%2BDeutschland <http://translate.google.com/translate?sl=de&tl=pt&js=n&prev=_t&hl=en&ie=UTF-8&u=regio-osm.de%2Flistofstreets%2Fevaluation%3Ftitle%3DWiltingen%26country%3DBundesrepublik%2BDeutschland> Hermann ___ Talk-br mailing list Talk-br-3+rWM/WnaLOn4i5uJCXUsti2O/jbr...@public.gmane.org https://lists.openstreetmap.org/listinfo/talk-br -- wille http://wille.blog.br ___ Talk-br mailing list Talk-br-3+rWM/WnaLOn4i5uJCXUsti2O/jbr...@public.gmane.org https://lists.openstreetmap.org/listinfo/talk-br ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Cadastro Nacional de Endereços
Oi Thiago, No FTP tem o arquivo Layout.zip explicando o formato dos endereços: Variável Código da UF Código do município Código do distrito Código do subdistrito Código do setor Situação do setor Tem até coordenadas de endereços, mas somente por 10% (?) dos endereços, na maioria nos setores rurais. Nunca olhei nos CEPs mas observi que no interior do RS tem alguns problemas com a atualidade dos dados. No CNEFE tem muitos nomes gerais que nem: "Estrada principal entre município A e município B", "Estrada municipal", etc. e na verdade, os municípios recém-emancipados colocaram verdadeiros nomes, atraves das leis municipais. Vou olhar de novo nos endereços já que na época, eu só peguei a quantidade de ruas por município. Abraços, Hermann On 2014-03-22 13:41, Thiago Marcos P. Santos wrote: Pessoal, Resolvi dar uma olhada nestes dados do Cadastro Nacional de Endereços que o Hermman comentou no email anterior. Foi só eu que percebi que aparentemente temos todas as ruas do país com CEP nestes dados?! Exemplo de uma entrada de Pará de Minas: 3147105 5 0 51 RUA SACRAMENTO 150 CASA CENTRO 01 00100235660001 35660001 é o CEP, está correto. Mais que isso, temos o "range" de CEPs de toda a rua/avenida, caso ela seja enorme e tenha mais de um CEP. Transformar isso tudo em uma base de dados me parece trivial, tendo em conta que estes dados são supostamente domínio público, resolveria nosso problema com CEPs e endereços. Tem também a numeração de todas as casas e apartamentos de uma determinada rua. As possibilidades são muitas, exemplos: - Da para fazer uma ferramenta (ou adicionar ao Keep it right) que avisa que uma rua adicionada em uma cidade não está na base de dados, estando provavelmente com o nome errado. - Plugins pro JOSM para ajudar a dar nomes as ruas e números. Me surpreendo com a quantidade de coisas que o IBGE disponibiliza. Tenho que tirar um dia ainda para vasculhar este FTP. :) []'s ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
O mapeador okilimu até convidou o pessoal do evento de "doar" listas de ruas. Pelo que eu entendi: tudo é preparado para analisar mais paises. Claro: faltam páginas em Português e talves outras adaptações (por exemplo no algoritmo de comparação dos nomes: qual seria a tolerância para dizer que 2 nomes são iguais: tolerância cero que nem na Lei Seca?). Acho que no caso este projeto saísse do papel: tambem é preciso de alguns voluntários do Brasil mesmo, alguns "verdadeiros mapeadores brasileiros" que entendem melhor o sistema de endereços no Brasil. Hermann On 2014-03-22 15:50, Arlindo Pereira wrote: Muito legal. Acho super válido, se não for tomar muito o seu tempo. Não deixa de ser uma forma de contribuir com o projeto. =) []s Arlindo Pereira On Sat, Mar 22, 2014 at 11:16 AM, Hermann Peifer mailto:peifer-cfr20cyp...@public.gmane.org>> wrote: On 2014-03-22 14:51, Hermann Peifer wrote: [1] http://www.openstreetmap.org/__user/okilimu/diary <http://www.openstreetmap.org/user/okilimu/diary> [2] "Heat maps" por cidade/região, clique por exemplo: Berlim http://regio-osm.de/__listofstreets/__kartenuebersicht.html <http://regio-osm.de/listofstreets/kartenuebersicht.html> Esqueci que daqueles heat maps vc pode chegar nas páginas com as estatísticas. Aqui os números de uma pequena vila de 1000 habitantes, nem é município (usando Google Translate): http://translate.google.com/__translate?sl=de&tl=pt&js=n&__prev=_t&hl=en&ie=UTF-8&u=__regio-osm.de%2Flistofstreets%__2Fevaluation%3Ftitle%__3DWiltingen%26country%__3DBundesrepublik%2BDeutschland <http://translate.google.com/translate?sl=de&tl=pt&js=n&prev=_t&hl=en&ie=UTF-8&u=regio-osm.de%2Flistofstreets%2Fevaluation%3Ftitle%3DWiltingen%26country%3DBundesrepublik%2BDeutschland> Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
On 2014-03-22 14:51, Hermann Peifer wrote: [1] http://www.openstreetmap.org/user/okilimu/diary [2] "Heat maps" por cidade/região, clique por exemplo: Berlim http://regio-osm.de/listofstreets/kartenuebersicht.html Esqueci que daqueles heat maps vc pode chegar nas páginas com as estatísticas. Aqui os números de uma pequena vila de 1000 habitantes, nem é município (usando Google Translate): http://translate.google.com/translate?sl=de&tl=pt&js=n&prev=_t&hl=en&ie=UTF-8&u=regio-osm.de%2Flistofstreets%2Fevaluation%3Ftitle%3DWiltingen%26country%3DBundesrepublik%2BDeutschland Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
On 2014-03-22 13:13, Fernando Trebien wrote: > Oi Hermann, > > Se ninguém responder que já está fazendo algo assim, sem dúvida seria > bem interessante gerar um diff de nomes de ruas por cidade e deixar a > comunidade ir consumindo a informação aos poucos. :D On 2014-03-22 13:21, Thiago Marcos P. Santos wrote: Oi Hermann, Acho muito válido fazer este "heat map" do país. Você tem um script ou algo para fazer isto automatizado? []'s Oi Fernando e Thiago, Relativo ao "heat map": Tenho ainda aquele script para fazer as percentagens por município, distríto. O que me faltou na época era uma forma decente de publicar as informações. Relativo ao diff de nomes de ruas: Isso já seria um projeto mais sofisticado, que eu nunca fiz na prática, já que às vezes é dificil de descobrir qual é o "verdadeiro nome oficial" de uma rua. Estou voltando do evento annual dos mapeadores alemães onde encontrei o mapeador okilimu [1] que está fazendo coisas incrivéis na área de comparar listas oficiais de ruas com os dados OSM. Ele está fazendo as percentagens e os diffs dos nomes das ruas da Alemanha, da Austria, da Suiça e do Luxemburgo. Olhem os "heat maps" dele [2]. Todas páginas em alemäo, mas os mapas não precisam muita traduçao. Abraços, Hermann [1] http://www.openstreetmap.org/user/okilimu/diary [2] "Heat maps" por cidade/região, clique por exemplo: Berlim http://regio-osm.de/listofstreets/kartenuebersicht.html ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
Oi pessoal, Estou voltando para um e-mail mais antigo, de maio de 2012. Na época, eu fiz algumas estatísticas simples, comparando os números das ruas do Cadastro Nacioanal (CNEFE 2010) com os números achados nos dados OSM (por setor estatístico, município, etc.). Um resultado era uma imagem do RS illustrando aquela comparação: http://ubuntuone.com/25BHLd8ss7XHBFyYKySsxi Exemplo: Um setor estatístico do "meu" município Ivoti tem 100 nomes de ruas no CNEFE e 80 nomes de ruas no OSM: percentagem OSM = 80% Alguem acha que vale a pena re-vitalizar este projeto semi-abandonado, talves um pouco mais profissional, comparando tambem os próprios nomes das ruas, invés de simplesmente comparar os números de nomes, etc. ? Ou será que alguém já está usando os dados do CNEFE 2010 neste sentido e mais um projeto não seria necessário ? Abs, Hermann PS: Obviamente, isto não é a minha primeira aparência na lista, mas para quem não me conhece, aqui toda a minha vida com menos de 150 caracteres: Alemão, 50+ anos, casado com uma Gaúcha, pai de 2 filhos teuto-brasileiros, estámos vivendo na Dinamarca, mas passando todas as férias no RS. On 2012-05-02 15:12, Hermann Peifer wrote: Oi Vitor, Eu baixei alguns dados do site do IBGE. Também baxei brazil.osm.pbf do site da geofabrik.de [1]. Para o Rio Grande do Sul, eu fiz algumas estatísticas muito provisórias: simplesmente contei o número de nomes de ruas nos dados OSM e comparei os resultados com os números do IBGE. Veja aqui uma ilustração dos resultados: [2]. Para realmente descobrir se todos os nomes de ruas de um setor (ou sub-distrito, municipio) estão mapeadas: isso é mais difícil, pois sempre há várias opções para escrever o nome de uma rua. Abs, Hermann PS: You might have noticed: Portuguese is not my strongest language. I am trying my best, though. [1] http://download.geofabrik.de/osm/south-america/brazil.osm.pbf [2] https://docs.google.com/open?id=0B7wH21aRzMT_NDBjX284Z3JQMGM -- vitor vitor.george em gmail.com Sexta Março 16 16:23:37 GMT 2012 Oi Alex, O IBGE, Instituto Brasileiro de Geografia e Estatística, realizou um censo populacional em 2010, e divulgou uma base com *todos* os endereços do país: ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/ O problema é que esta base não é georeferenciada, mas cada endereço está associado a um setor censitário, e de aí você poderia usar o .SHP dos setores censitários como um "gabarito" para saber se todos os nomes de ruas de um setor estão mapeadas. Aqui estão os arquivos .SHP dos setores censitários: ftp://geoftp.ibge.gov.br/malhas_digitais/censo_2010/setores_censitarios/ Eu descobri estes dados recentemente e comecei a fazer em rails uma interface web para que as pessoas possam conferir suas localidades, mas não avancei muito. Abs, Vitor | mapaslivres.org | @mapaslivres ___ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Mapas do IBGE
Ola,
No ano passado, abaixei alguns mapas do IBGE e fiz um processamento
segundo as etapas abaixo. O resultado nao e perfeito, mais...
A etapa #5 e a mais trablahosa e tem 30+ setores censitarios no
minicipio :-(
Abs, Hermann
-
# 0. Create a working directory and use it
mkdir mapas_de_setores_censitarios
cd mapas_de_setores_censitarios
# 1. Download IBGE maps for Ivoti, RS
wget
ftp://geoftp.ibge.gov.br/mapas_estatisticos/censo_2010/mapas_de_setores_censitarios/RS/4310801.zip
# 2. Extract all relevant maps (there are 34 sectors in Ivoti)
unzip -j 4310801.zip "*/4310801.pdf"
# 3. Convert maps to PNG, in reasonable resolution (200 dpi)
for f in *.pdf ; do convert -density 200 $f ${f%pdf}png ; done
# 4. Georeference 43108010501.png, through visual inspection :-(
# Upper left corner of the actual map at pixel 164,121
-51d09'51" = -51.164167 longitude
-29d35'20" = -29.59 latitude
# Lower right corner of the actual map at pixel 2226,2838
-51d09'23" = -51.156389 longitude
-29d35'57" = -29.599167 latitide
# 5. Apply the above values as ground control points (GCPs)
# Assuming that the undocumented datum is SIRGAS2000 = EPSG:4674
gdal_translate 43108010501.png 43108010501.tif \
-gcp 164 121 -51.164167 -29.59 \
-gcp 2226 2838 -51.156389 -29.599167 \
-gcp 2226 121 -51.156389 -29.59 \
-a_srs epsg:4674
# 6. JOSM/PicLayer only supports PNG, JPEG or GIF formats
# only EPSG:3857 is supported, world files are understood
# Warp the file to EPSG:3857 = WGS 84 / Pseudo-Mercator
gdalwarp 43108010501.tif 43108010501_epsg3857.tif \
-t_srs epsg:3857 -co tfw=yes
# Change image format, rename world file
convert 43108010501_epsg3857.tif 43108010501_epsg3857.jpg
mv 43108010501_epsg3857.tfw 43108010501_epsg3857.wld
On 2014-02-25 19:29, Fernando Trebien wrote:
Como era o seu antigo método? Não temos preconceitos. :D
On Feb 25, 2014 1:57 PM, "Raffaello Bruno Limongi Freire"
mailto:raffaellobruno-pkbjnfxxiarbdgjk7y7...@public.gmane.org>> wrote:
Arlindo/Vitor,
consegui visualizar e georreferenciar um mapa do IBGE no JOSM, mas
deu tando trabalho que eu não sei se será mais eficiente do que meu
antigo método "tabajara"... :)
Uma vantagem que eu vejo é que só precisa calibrar uma vez para
visualizar quantas vezes quiser.
Obrigado.
From:
openstreetmap-qpc2wcgjr8vppgbeqg0jjtbpr1lh4...@public.gmane.org
Date: Mon, 24 Feb 2014 20:37:28 -0300
To: talk-br-3+rWM/WnaLOn4i5uJCXUsti2O/jbr...@public.gmane.org
Subject: Re: [Talk-br] Mapas do IBGE
O Vitor foi mais rápido que eu. :-P
Discutimos isso ano passado:
https://lists.openstreetmap.org/pipermail/talk-br/2013-January/003109.html
2014-02-24 20:27 GMT-03:00 Vítor Rodrigo Dias
mailto:vitor.dias-re5jqeeqqe8avxtiumw...@public.gmane.org>>:
Raffaello,
O ideal é converter os PDFs para imagem e usar o PicLayer para
colocá-los como imagens de fundo. Uma outra dica é, no PicLayer,
alinhar os limites dos PDFs usando o KML do IBGE com os limites
de setores censitários.
Abraços,
Vítor Dias
Em 24/02/2014 20:20, "Raffaello Bruno Limongi Freire"
mailto:raffaellobruno-pkbjnfxxiarbdgjk7y7...@public.gmane.org>>
escreveu:
Oi, Arlindo,
não sei se vou ser claro, mas minha dúvida é como visualizar
esses mapas do IBGE como uma camada adicional no editor, ou
seja, como visualizar os dados do IBGE e do OSM em uma mesma
janela, _caso possível_, para facilitar o mapeamento.
O procedimento "artesanal" que faço para o Tracksouce, e que
eu queria otimizar no OSM, é abrir os PDFs do IBGE e os
mapas em janelas separadas para ficar comparando, o que não
é muito produtivo.
Para ficar mais claro, por exemplo, abro um mapa do IBGE e
visualizo um cruzamento entre a Rua X e a Rua Y. Aí, eu abro
o mapa do Tracksource (em outro aplicativo) e tento
localizar esse cruzamento. Feito isso, saio comparando as
informações nessa região para ver se não há mais alguma
informação que eu possa adicionar, como nomes de ruas faltantes.
O problema, é que esses arquivos de mapas, em formato PDF,
são muito fragmentados, e dá muito trabalho ficar abrindo um
por um em janelas distintas das janelas do editor.
Obrigado.
Raffaello Bruno
From:
openstreetmap-qpc2wcgjr8vppgbeqg0jjtbpr1lh4...@public.gmane.org
Date: Mon, 24 Feb 2
Re: [Talk-br] Usuário Matheus Eduardo apagando coisas do mapa
On 2013-01-29 8:14, Gerald Weber wrote: Olá creio que teremos de rever todas as mais de 900 edições do usuário Matheus Eduardo e removê-las. Qual o melhor jeito de fazer? Talvez esta visualisação pode ajudar: as áreas (bbox) das 900+ edições dele. Felizmente, ele não fez muito no RS. https://www.google.com/fusiontables/DataSource?docid=1ZFfdCXuOgQdPPQtrgH91Z6TeEfAq1P3DYIfQw9w#map:id=3 Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] OpenRiverMap !!
On 2012-07-02 20:55, Aun Yngve Johnsen wrote: Tem um differencia SIRGAS pela WGS84 que e o sistema projeção usado pela OSM, mas acho que existe plugins para editors que corrigindo este. Por exemplo, JOSM tem plugins que recalculando posições do françese Lamberd projeção para WGS. Se voçe quer exprimemtar, da um olhada no plugin proj.4 ou procura mais informações do Proj.4 Em bacía do Campos, 200 quilometre leste do Macae, o differencia SIRGAS/WGS e mais ou menus 180 meter ??? Tu tems um exemplo para esta differencia? O FAQ #15 do IBGE explica: > Não existem parâmetros de transformação entre SIRGAS2000 e WGS84 porque eles são praticamente iguais, ou seja, DX = 0, DY = 0 e DZ = 0. http://www.ibge.gov.br/home/geociencias/geodesia/pmrg/faq.shtm#15 Abs, Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] OpenRiverMap !!
On 2012-07-02 20:55, Aun Yngve Johnsen wrote: Tem um differencia SIRGAS pela WGS84 que e o sistema projeção usado pela OSM, mas acho que existe plugins para editors que corrigindo este. Por exemplo, JOSM tem plugins que recalculando posições do françese Lamberd projeção para WGS. Se voçe quer exprimemtar, da um olhada no plugin proj.4 ou procura mais informações do Proj.4 Em bacía do Campos, 200 quilometre leste do Macae, o differencia SIRGAS/WGS e mais ou menus 180 meter ??? Tu tems um exemplo para esta differencia? O FAQ #15 do IBGE explica: > Não existem parâmetros de transformação entre SIRGAS2000 e WGS84 porque eles são praticamente iguais, ou seja, DX = 0, DY = 0 e DZ = 0. http://www.ibge.gov.br/home/geociencias/geodesia/pmrg/faq.shtm#15 Abs, Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Classificação de vias
Obrigado pela reposta. Estava mesmo pensando em estradas municipais que ligam um município a outro ou um distrito à sede do município. Vou continuar mapear-las como tertiary (dependente do fluxo de veículos). Hermann On 2012-06-15 15:52, Flavio Bello Fialho wrote: Nada é nunca. O mais importante é usar o bom senso. Supõe-se que uma estrada municipal não liga um município a outro, então a sua importância para o fluxo de veículos seria baixa. Pode haver alguma exceção. Por exemplo, se a estrada municipal não pavimentada é a principal via de ligação de um distrito (com centro urbano) à sede do município, talvez seja mais adequado classificá-la como tertiary. É difícil prever todas as possibilidades. Em 15-06-2012 04:06, Hermann Peifer escreveu: Olá, Tenho uma pergunta relacionada as definições de rodovias em áreas rurais [1]: É verdade que uma estrada municipal não-pavimentada nunca pode ser na categoria "tertiary"? Este tipo de estrada tem que ser mapeado como: "unclassified" ? As definições do Wiki: --- snip --- unclassified = Estrada não pavimentada, de administração municipal. tertiary = Estrada não pavimentada, federal ou estadual, ou rodovia pavimentada municipal. --- snip --- Abs, Hermann [1] http://wiki.openstreetmap.org/wiki/Pt-br:Guia_de_Mapeamento_do_Territ%C3%B3rio_Brasileiro ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Classificação de vias
Olá, Tenho uma pergunta relacionada as definições de rodovias em áreas rurais [1]: É verdade que uma estrada municipal não-pavimentada nunca pode ser na categoria "tertiary"? Este tipo de estrada tem que ser mapeado como: "unclassified" ? As definições do Wiki: --- snip --- unclassified = Estrada não pavimentada, de administração municipal. tertiary = Estrada não pavimentada, federal ou estadual, ou rodovia pavimentada municipal. --- snip --- Abs, Hermann [1] http://wiki.openstreetmap.org/wiki/Pt-br:Guia_de_Mapeamento_do_Territ%C3%B3rio_Brasileiro On 14/06/2012 16:20, Flavio Bello Fialho wrote: Alterei o Wiki. Agora as duas definições estão coerentes. Em 12-06-2012 12:40, martin137-hi6y0cq0...@public.gmane.org escreveu: Olá, encontrei algumas incoerências na classificação das vias urbanas no wiki e queria perguntar qual é a versão oficial. Dum lado existe uma classificação segundo limites de velocidade e as categorias trânsito rápido, arterial, coletora e local: http://wiki.openstreetmap.org/wiki/Pt-br:Guia_de_Mapeamento_do_Territ%C3%B3rio_Brasileiro Dum outro lado existe uma tradução do tag highway que até o tradutor não achou oficial (e que ignora os aspectos acima): http://wiki.openstreetmap.org/wiki/Pt-br:Key:highway Alguém pode me dizer qual versão devíamos seguir? E se for a primeira, onde em geral posso achar a classificação das vias na cidade? Acabei de ver que São Paulo tinha uma tal lista ([1]), mas não sei onde achar essas classificações para outras cidades. Abraço Martin [1] http://www.prefeitura.sp.gov.br/cidade/secretarias/habitacao/departamentos/aprov/index.php?p=3303 ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Antes e depois
Oi Eduardo, Tem alguns exemplos pre-fabricados aqui: http://www.geofabrik.de/gallery/history/ O site para fazer proprios exemplos esta fora do servico (temporariamente): http://labs.geofabrik.de/history/ A pagina disse que tu poderias contactar frederik.r...@geofabrik.de, mencionando o "bounding box" da tua região e ele iria dar um jeito (se tiver tempo). Um exemplo de um "bounding box" de Rio (~ 50x50 km): left=-43.5 right=-43 top=-22.6 bottom=-23.1. Abs, Hermann On 10/05/2012 18:58, Eduardo Medeiros wrote: Tem alguma forma de gerar um mapa com a situação anterior de uma região, para ter noção de como esta evoluindo o mapa? Tipo aqueles do Chile que normalmente são utilizados como exemplos. []s, Eduardo Medeiros ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Endereços do CNEFE em formato gpx
Oi Vitor,
Então me informe quando o novo site estara pronto.
Tambem fiz uma nova contagem dos nomes das ruas por município: CNEFE x
OSM. Esta vez excluí todos os "RUA SEM NOME" etc. no CNEFE (e nos dados
OSM). O resultado está aqui:
https://www.google.com/fusiontables/DataSource?docid=1ZLfuQDwbEsllg1853HnC4S671vAqKKMB8aw9WUQ
Abs, Hermann
On 09/05/2012 21:28, vitor wrote:
Como o Arlindo falou, posso publicar no Mapas Livres.
No momento estou reformulando o site, então não dá pra colocar agora,
mas haverá uma seção de Download no site novo e aí posso colocar.
Abs,
Vitor George
mapaslivres.org <http://mapaslivres.org>
twitter.com/mapaslivres <http://twitter.com/mapaslivres>
2012/5/9 Arlindo Pereira mailto:openstreet...@arlindopereira.com>>
O Vitor pode publicar no Mapas Livres. Alternativamente, posso
hospedar no meu servidor ou mesmo no Dropbox.
[]s
2012/5/9 Hermann Peifer mailto:pei...@gmx.eu>>
Oi pessoal,
Depois de alguns comentários de alguns membros da lista, achei
que seria melhor transformar os endereços do CNEFE em formato
gpx, já que Potlatch, JOSM, Google Earth, os aparelhos GPS,
MapSource, BaseCamp, etc. reconhecem este formato. Tambem acho
que é o formato mais conhecido entre os "OpenStreetMapeadores".
Fiz um arquivo gpx por município, que engloba
- Endereços do CNEFE (em forma de pontos)
- Limite do município (em forma de um "track")
Usei um filtro simples para eliminar pontos muito próximos (com
endereços semelhantes). Aqui uma captura do resultado
(IVOTI.gpx, usado como "background vector file", em Potlatch 2):
https://docs.google.com/open?__id=0B7wH21aRzMT___S0RSREkyS1BfRjg
<https://docs.google.com/open?id=0B7wH21aRzMT_S0RSREkyS1BfRjg>
Os pontos no arquivo gpx tem estas informações:
ESTRADA VILA NOVA = Logradouro
915AES SUL = Número no logradouro
VILA NOVA = Localidade
CULTIVO ACACIA = Identificação estabelecimento
Coloquei todos municípios de um estado num arquivo XX_gpx.zip. O
tamanho destes arquivos zip é na faixa de 269KB (DF_gpx.zip) até
40MB (MG_gpx.zip).
Alguém tem uma sugestão onde publicar estes arquivos? (Se não há
algumas restrições. Pelo menos, coloquei uma referência ao CNEFE
/ IBGE nos arquivos gpx.)
Um abraço, Hermann
_
Talk-br mailing list
Talk-br@openstreetmap.org <mailto:Talk-br@openstreetmap.org>
http://lists.openstreetmap.__org/listinfo/talk-br
<http://lists.openstreetmap.org/listinfo/talk-br>
___
Talk-br mailing list
Talk-br@openstreetmap.org <mailto:Talk-br@openstreetmap.org>
http://lists.openstreetmap.org/listinfo/talk-br
___
Talk-br mailing list
Talk-br@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-br
___
Talk-br mailing list
Talk-br@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-br
[Talk-br] Endereços do CNEFE em formato gpx
Oi pessoal, Depois de alguns comentários de alguns membros da lista, achei que seria melhor transformar os endereços do CNEFE em formato gpx, já que Potlatch, JOSM, Google Earth, os aparelhos GPS, MapSource, BaseCamp, etc. reconhecem este formato. Tambem acho que é o formato mais conhecido entre os "OpenStreetMapeadores". Fiz um arquivo gpx por município, que engloba - Endereços do CNEFE (em forma de pontos) - Limite do município (em forma de um "track") Usei um filtro simples para eliminar pontos muito próximos (com endereços semelhantes). Aqui uma captura do resultado (IVOTI.gpx, usado como "background vector file", em Potlatch 2): https://docs.google.com/open?id=0B7wH21aRzMT_S0RSREkyS1BfRjg Os pontos no arquivo gpx tem estas informações: ESTRADA VILA NOVA = Logradouro 915AES SUL = Número no logradouro VILA NOVA = Localidade CULTIVO ACACIA = Identificação estabelecimento Coloquei todos municípios de um estado num arquivo XX_gpx.zip. O tamanho destes arquivos zip é na faixa de 269KB (DF_gpx.zip) até 40MB (MG_gpx.zip). Alguém tem uma sugestão onde publicar estes arquivos? (Se não há algumas restrições. Pelo menos, coloquei uma referência ao CNEFE / IBGE nos arquivos gpx.) Um abraço, Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
Oi Vitor, Não usei o tag addr:city. Fiz o sequinte para identificar os nomes por município: - Baixei brazil.osm.pbf do site da geofabrik.de [0] - Cortei brazil.osm.pbf em estados, usando osmosis [1] e os .poly da cloudemade.com [2] - Cortei os estados em municípios, usando os .shp do IBGE (transformado em formato .poly) - Por município.osm.pbf, contei os nomes (name=...) de todos OSM ways que tem um tag: highway=*, usando osmium/osmjs [3] Bem estúpido, mas funcionou. Abraços, Hermann [0] http://download.geofabrik.de/osm/south-america/ [1] osmosis --read-pbf brazil.osm.pbf --bp file=estado.poly ... --write-pbf estado.osm.pbf [2] http://downloads.cloudmade.com/americas/south_america/brazil [3] https://github.com/joto/osmium On 06/05/2012 21:53, vitor wrote: Oi Hermann, Como você identificou as ways que estão dentro de uma cidade no OSM? Está usando as fronteiras do IBGE ou as relações? Pergunto porque muitas ways não tem o addr:city para fazer o cruzamento. Abraços, Vitor George mapaslivres.org <http://mapaslivres.org> twitter.com/mapaslivres <http://twitter.com/mapaslivres> 2012/5/6 Hermann Peifer mailto:pei...@gmx.eu>> On 04/05/2012 02:09, vitor wrote: Minha objetivo com estes dados é fazer uma interface web cruzando nomes do CNEFE e do OSM, para que as pessoas possam ir ajustando as suas regiões. São 80 milhões de endereços nesta base! Fiz algumas estatisticas "cruas", cruzando (por município) o numero de nomes (das ruas) no CNEFE e no OSM. Um resultado é que 3608 municípios do Brasil (= 68%) não tem nenhum nome de uma rua no OSM. O "melhor" município no OSM é: PAULÍNIA, SP [1], onde contei 880 nomes diferentes no CNEFE e 861 nomes de ruas no OSM. Abraços, Hermann [1] http://www.openstreetmap.org/?__lat=-22.7733&lon=-47.1483&__zoom=16 <http://www.openstreetmap.org/?lat=-22.7733&lon=-47.1483&zoom=16> [2] https://docs.google.com/open?__id=0B7wH21aRzMT___RFp2RGdIc0ZGRFU <https://docs.google.com/open?id=0B7wH21aRzMT_RFp2RGdIc0ZGRFU> ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
On 04/05/2012 02:09, vitor wrote: Minha objetivo com estes dados é fazer uma interface web cruzando nomes do CNEFE e do OSM, para que as pessoas possam ir ajustando as suas regiões. São 80 milhões de endereços nesta base! Fiz algumas estatisticas "cruas", cruzando (por município) o numero de nomes (das ruas) no CNEFE e no OSM. Um resultado é que 3608 municípios do Brasil (= 68%) não tem nenhum nome de uma rua no OSM. O "melhor" município no OSM é: PAULÍNIA, SP [1], onde contei 880 nomes diferentes no CNEFE e 861 nomes de ruas no OSM. Abraços, Hermann [1] http://www.openstreetmap.org/?lat=-22.7733&lon=-47.1483&zoom=16 [2] https://docs.google.com/open?id=0B7wH21aRzMT_RFp2RGdIc0ZGRFU ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Digest Talk-br, volume 44, assunto 5
Olá D4RK-L3G10N, Transformei os dados de todos municípios do estado de São Paulo num formato gpx simples. Os endereços apparecem como "waypoints". Os waypoints tem um unico attributo: name, onde coloquei uma combinação dos variáveis CNEFE: Localidade ": " Logradouro ", " NumeroLogradouro Alguns waypoints do arquivo IGUAPE.gpx: veja [1]. Também appliquei um filtro simples para eliminar pontos muito próximos (com endereços semelhantes), porque estes "quase duplicatas" complicam a leitura dos endereços na tela. A distância mínima entre os pontos é ~100 metros. Coloquei SP_lite_gpx.zip (~4MB) aqui: https://docs.google.com/open?id=0B7wH21aRzMT_MTcxSkd2UXVOTTg Abraços, Hermann [1] JAIRE: RUA IVAN, 404 ... IGUAPE ROCIO: RUA REGISTRO, 830 ... PE DA SERRA: SITIO DO DESPRAIADO, 0SN ... IGUAPE: ESTRADA DO CAFE, 5KM ... IGUAPE: ESTRADA DO TABAQUARA, 0SN On 06/05/2012 17:24, D4RK-L3G10N wrote: Olá Hermann! Compreendo que existem em sua maioria apenas ruas em áreas rurais, mas para mim já é ótimo, pois também mapeio o interior do estado de São Paulo! Infelizmente meu conhecimento de programação é muito pequeno, por isso não sei te dizer qual o melhor formato que se adequa ao JOSM. Eu sei que ele possui a possibilidade de ler arquivos GPX, mas agora outros formatos acredito que não (já testei uma vez um arquivo kml mas deu erro). Novamente agradeço a sua preocupação em ter feito a captura para o município de São Paulo e quando for possível e menos incômodo para você, pode me mandar esses dados! Mas como eu também mapeio municípios perto de Holambra/SP e Iguape/SP, também me serve um arquivo que engloba todos os dados do estado de São Paulo, dos quais então usarei os mais relevantes para mim. Mas faça o que for mais fácil para você, afinal das contas você já está sendo muito legal em transformar esses dados em algo útil para nós :) Abraços, D4RK-L3G10N *From:* "talk-br-requ...@openstreetmap.org" *To:* talk-br@openstreetmap.org *Sent:* Friday, May 4, 2012 8:00 AM *Subject:* Digest Talk-br, volume 44, assunto 5 Enviar submissões para a lista de discussão Talk-br para talk-br@openstreetmap.org <mailto:talk-br@openstreetmap.org> Para se cadastrar ou descadastrar via WWW, visite o endereço http://lists.openstreetmap.org/listinfo/talk-br ou, via email, envie uma mensagem com a palavra 'help' no assunto ou corpo da mensagem para talk-br-requ...@openstreetmap.org <mailto:talk-br-requ...@openstreetmap.org> Você poderá entrar em contato com a pessoa que gerencia a lista pelo endereço talk-br-ow...@openstreetmap.org <mailto:talk-br-ow...@openstreetmap.org> Quando responder, por favor edite sua linha Assunto assim ela será mais específica que "Re: Contents of Talk-br digest..." Tópicos de Hoje: 1. Re: Street name data (Hermann Peifer) 2. Re: Street name data (vitor) ---------- Message: 1 Date: Thu, 03 May 2012 21:16:39 +0200 From: Hermann Peifer mailto:pei...@gmx.eu>> To: OSM talk-br mailto:talk-br@openstreetmap.org>> Subject: Re: [Talk-br] Street name data Message-ID: <4fa2d997.7040...@gmx.eu <mailto:4fa2d997.7040...@gmx.eu>> Content-Type: text/plain; charset=windows-1252; format=flowed Se alguem quiser: posso gerar arquivos kml (ou shp, ...) para todos os municipios (ou estados) do Brasil. Nao custa muito. Ja fiz os ~500 municipios do RS (em approx. 1 hora). Veja abaixo um exemplo de um "Placemark" [1]. Minha maneira de processar os dados era: 0) wget -r ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/... 1) unzip 2) awk -f coordinates.awk ibge_file.txt > out_file.csv 3) ogr2ogr -f kml out_file.kml out_file.csv Abs, Hermann [1] ESTRADA PARIS PINHEIRO MACHADO 0SN ESTRADA PARIS PINHEIRO MACHADO 0SN 43026590514 2 ESTRADA PARIS PINHEIRO MACHADO 0SN -29.496827 -51.647645 NOVO PARIS 06 CEMITERIO EVANGELICO NOVO PARIS 1 000 000 9579 -51.647645,-29.496827 On 03/05/2012 17:47, Rodrigo Avila wrote: > Oi Hermann, > > pode ensinar como faz isso? A cidade onde moro é mais rural que urbana, > então... > > -- > Rodrigo de Avila > Analista de Desenvolvimento > > rodr...@avila.net.br <mailto:rodr...@avila.net.br> <mailto:rodr...@avila.net.br <mailto:rodr...@avila.net.br>>? www.avila.net.br > <http://www.avila.net.br> > > > > > Em 3 de maio de 2012 12:42, Hermann Peifer mailto:pei...@gmx.eu> > <mailto:pei...@gmx.eu <mailto:pei...@gmx.eu>>> escreveu: > > On 02/05/2012 16:20, Arlindo Pereira wrote: > > Hermann: seu português está melhor do que o de muitos > brasileiros ;-) > > Vitor: sabe informar a licença desses dados do IBGE? Tem muita > rua aqui > no Rio tra
Re: [Talk-br] Street name data
Ola Willie,
E verdade: coordinates.awk e um programinha AWK que eu criei, para
converter o formato dos dados do CNEFE ("fixed field widths") no formato
csv. O Vitor ja mostrou como fazer isto sem programa, somente com um
"AWK one-liner":
gawk -v FIELDWIDTHS='15 1 20 30 60 8 7 20 10 20 10 20 10 20 10 20 10 20
10 15 15 120 2 40 1 30 3 3 8' -v OFS=';' '{$1=$1 ; print }' infile.txt |
sed 's/ *;/;/g' > outfile.csv [1]
Meu programinha faz a mesma coisa, e so mais complicado ;-)
Posso te mandar, se quiseres.
Abraços, Hermann
[1] https://github.com/vgeorge/cnefe-parser/blob/master/go_parse.sh
On 06/05/2012 01:27, Wille wrote:
Ola Hermann
Tentei gerar um kml usando os comandos que você mostrou, mas não entendi
de onde veio o arquivo coordinates.awk. É um arquivo de parâmetros
criados por você?
abçs,
wille
On 03-05-2012 16:16, Hermann Peifer wrote:
Se alguem quiser: posso gerar arquivos kml (ou shp, ...) para todos os
municipios (ou estados) do Brasil. Nao custa muito. Ja fiz os ~500
municipios do RS (em approx. 1 hora). Veja abaixo um exemplo de um
"Placemark" [1].
Minha maneira de processar os dados era:
0) wget -r ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/...
1) unzip
2) awk -f coordinates.awk ibge_file.txt > out_file.csv
3) ogr2ogr -f kml out_file.kml out_file.csv
Abs, Hermann
[1]
ESTRADA PARIS PINHEIRO MACHADO 0SN
ESTRADA PARIS PINHEIRO MACHADO 0SN
43026590514
2
ESTRADA PARIS PINHEIRO MACHADO
0SN
-29.496827
-51.647645
NOVO PARIS
06
CEMITERIO EVANGELICO NOVO
PARIS
1
000
000
9579
-51.647645,-29.496827
On 03/05/2012 17:47, Rodrigo Avila wrote:
Oi Hermann,
pode ensinar como faz isso? A cidade onde moro é mais rural que urbana,
então...
--
Rodrigo de Avila
Analista de Desenvolvimento
rodr...@avila.net.br <mailto:rodr...@avila.net.br>• www.avila.net.br
<http://www.avila.net.br>
Em 3 de maio de 2012 12:42, Hermann Peifer mailto:pei...@gmx.eu>> escreveu:
On 02/05/2012 16:20, Arlindo Pereira wrote:
Hermann: seu português está melhor do que o de muitos
brasileiros ;-)
Vitor: sabe informar a licença desses dados do IBGE? Tem muita
rua aqui
no Rio traçada a partir das imagens do Bing que ainda está sem nome.
Ontem baxei todos os dados do "Cadastro Nacional de Endereços Fins
Estatisticos" [1]. São 10903 arquivos com um total de 81+ M
endereços. Entre eles, achei ~ 9 M endereços georeferenciadas. Quase
todos eles estão situados nos "setores rurais", normalmente perto
das estradas principais.
Aqui um exemplo de Ivoti, Rio Grande do Sul [2]. Infelizmente, não
achei nemhuma informaçao sobre a licença desses dados do IBGE :-(
Abs, Hermann
[1]
ftp://ftp.ibge.gov.br/Censos/__Censo_Demografico_2010/__Cadastro_Nacional_de___Enderecos_Fins_Estatisticos
<ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos>
[2] https://docs.google.com/open?__id=0B7wH21aRzMT___bmpDU3hGMTQ0SkE
<https://docs.google.com/open?id=0B7wH21aRzMT_bmpDU3hGMTQ0SkE>
___
Talk-br mailing list
Talk-br@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
On 05/05/2012 16:43, Gerald Weber wrote: Gostei :) mas de onde vem o programa ogr2ogr? A sintaxe parece do gpsbabel... > ogr2ogr: a commandline tool providing read (and sometimes write) > access to a variety of vector file formats... http://www.gdal.org/ogr2ogr.html http://www.gdal.org/ogr/ogr_formats.html Um abraco, Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Digest Talk-br, volume 44, assunto 5
Oi Arlete, Boa tarde da Dinamarca. Em relação às variáveis: tem um total de 19 variáveis, segundo o arquivo 'Layouts.csv' [1]. Eu fiz um kml com todos endereços georeferenciados de Presidente Prudente (2506 pontos), com todas variáveis [2]. Mais não tem no cadastro. Tambem tem que verificar a qualidade dos dados CNEFE. Eu vi numa estrada rural em Ivoti, RS que os endereços de um lado tem como Logradouro: "RUA SAO JOAO", no outro lado: "ESTRADA PICADA SCHNEIDER" [3]. Isto não é muito provável. Talvez tem mais problemas nos dados. Um abraço, Hermann [1] ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/Layouts.csv Layouts.csv (com algumas correções) --- snip --- # # Variável;Tamanho;Categorias # 1 Código da UF;2; # 2 Código do município;5; # 3 Código do distrito;2; # 4 Código do subdistrito;2; # 5 Código do setor;4; # 6 Situação do setor;1; #;;1=urbano #;;2=rural # 7 Logradouro;110; # 8 Número no logradouro;15; # 9 Complemento;180; # 10 Latitude;15; # 11 Longitude;15; # 12 Localidade;120; # 13 Espécie de endereço;2; #;;01=domicílio particular #;;02=domicílio coletivo #;;03=estabeleciemento agropecuário #;;04=estabelecimento de ensino #;;05=estabelecimento de saúde #;;06=estabeleciemento de outras finalidades #;;07=edificação em construção # 14 Identificação estabelecimento;40; # 15 Indicador de endereço;1; #;;1=único #;;2=múltiplo # 16 identificação domicílio coletivo;30; # 17 Número da quadra (*);3; # 18 Número da face;3; # 19 CEP;8; --- snip --- [2] https://docs.google.com/open?id=0B7wH21aRzMT_eDdJMWRQZ0Q2Q1k [3] https://docs.google.com/open?id=0B7wH21aRzMT_VHYzd2h2VkJNT00 On 05/05/2012 13:01, Arlete Meneguette wrote: Bom dia a todos Estou respondendo com Cc para o Prof. Dr. Edilson Flores, meu colega na Unesp - Campus de Presidente Prudente. Ele também tem interesse nos dados do CNEFE e com certeza poderá colaborar conosco na definição dos atributos, formatos etc. Uma novidade: teremos uma sessão OSM no MundoGEO#Connect LatinAmerica 2012. Em breve as informações estarão disponíveis em http://mundogeoconnect.com/2012/grade/ O Eduardo (MundoGEO) está copiado nesta msg. Finalmente poderemos nos encontrar pessoalmente em São Paulo Arlete Em 5 de maio de 2012 05:22, Hermann Peifer escreveu: Ola Arlete e D4RK-L3G10N, Como eu ja havia dito, o Cadastro Nacional de Enderecos Fins Estatisticos (CNEFE) tem um total de 81,5 milhões endereços para todo o Brasil. Entre eles, 9,7 milhões endereços sao georeferenciados com um valor Latitude e Longitude. Todos os outros endereços nao tem esta informação, so se sabe a que "setor censitário" eles pertencem. Os setores censitários tem a classificação: Situação do setor (1=urbano, 2=rural). Approx. 98% dos endereços georeferenciados estão localisados dentro de setores censitários rurais. No RS, Porto Alegre não tem nenhum endereço georeferenciado, Novo Hamburgo tambem não tem. Entre os endereços georeferenciados tem duplicatas no sentido que endereços semelhantes vem com as mesmas coordenadas geogr áficas. Depois de eliminar essas duplicatas (distância mínima entre as coordenadas: ~10 metros), encontrei os seguintes números de endereços: Município 3550308 SÃO PAULO: 6092 Município 3541406 PRESIDENTE PRUDENTE: 1954 Como varias pessoas estão interessados nos dados de endereços georeferenciados: o melhor seria de concordar sobre - o formato mais adequado (kml, osm, shp, gpx, ...) - tamanhos "razoáveis" (divisão em estados, municípios, ...) - eliminar coordenadas duplicatas ou não - a seleção mais adequada de atributos - onde publicar os dados Para meu próprio uso, só preciso de alguns municípios do RS. Decidi de eliminar essas duplicatas e transformar os endereços restantes em formato kml, que posso usar como "background layer", no Potlatch2 editor. Eu só uso o atributo "Logradouro" (como Placemark name) e "Localidade - Identificação estabelecimento" (como Placemark description). Não uso JOSM e tambem não sei se o JOSM tem alguma função para usar "background vector files". Mas o JOSM não é o irmão grande do Potlatch? Então deve haver alguma função/plugin para isso. Um abraço, Hermann On 05/05/2012 00:46, Arlete Meneguette wrote: Hermann Minha área de estudo é Presidente Prudente, SP. Você pode me ajudar? Grata. Arlete Em 04/05/2012 19:26, "D4RK-L3G10N"mailto:d4rkl3g...@yahoo.com>> escreveu: Olá Hermann, Eu tenho interesse na geração de um arquivo para a região metropolitana de São Paulo somente, mas se for muito trabalho pra você restringir para uma área menor, pode ser de todo o estado também, o que for mais fácil para você. :) Uma pergunta: esses arquivos podem ser lidos pelo JOSM? É o programa que eu uso. Muito obrigado! D4RK-L3G10N ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Digest Talk-br, volume 44, assunto 5
Aqui uma captura do Google Earth com os dados de São Paulo e Presidente Prudente: https://docs.google.com/open?id=0B7wH21aRzMT_MlBxWEFEb2U5NkU Hermann On 05/05/2012 10:22, Hermann Peifer wrote: Ola Arlete e D4RK-L3G10N, Como eu ja havia dito, o Cadastro Nacional de Enderecos Fins Estatisticos (CNEFE) tem um total de 81,5 milhões endereços para todo o Brasil. Entre eles, 9,7 milhões endereços sao georeferenciados com um valor Latitude e Longitude. Todos os outros endereços nao tem esta informação, so se sabe a que "setor censitário" eles pertencem. Os setores censitários tem a classificação: Situação do setor (1=urbano, 2=rural). Approx. 98% dos endereços georeferenciados estão localisados dentro de setores censitários rurais. No RS, Porto Alegre não tem nenhum endereço georeferenciado, Novo Hamburgo tambem não tem. Entre os endereços georeferenciados tem duplicatas no sentido que endereços semelhantes vem com as mesmas coordenadas geogr áficas. Depois de eliminar essas duplicatas (distância mínima entre as coordenadas: ~10 metros), encontrei os seguintes números de endereços: Município 3550308 SÃO PAULO: 6092 Município 3541406 PRESIDENTE PRUDENTE: 1954 Como varias pessoas estão interessados nos dados de endereços georeferenciados: o melhor seria de concordar sobre - o formato mais adequado (kml, osm, shp, gpx, ...) - tamanhos "razoáveis" (divisão em estados, municípios, ...) - eliminar coordenadas duplicatas ou não - a seleção mais adequada de atributos - onde publicar os dados Para meu próprio uso, só preciso de alguns municípios do RS. Decidi de eliminar essas duplicatas e transformar os endereços restantes em formato kml, que posso usar como "background layer", no Potlatch2 editor. Eu só uso o atributo "Logradouro" (como Placemark name) e "Localidade - Identificação estabelecimento" (como Placemark description). Não uso JOSM e tambem não sei se o JOSM tem alguma função para usar "background vector files". Mas o JOSM não é o irmão grande do Potlatch? Então deve haver alguma função/plugin para isso. Um abraço, Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Digest Talk-br, volume 44, assunto 5
Ola Arlete e D4RK-L3G10N,
Como eu ja havia dito, o Cadastro Nacional de Enderecos Fins
Estatisticos (CNEFE) tem um total de 81,5 milhões endereços para todo o
Brasil. Entre eles, 9,7 milhões endereços sao georeferenciados com um
valor Latitude e Longitude. Todos os outros endereços nao tem esta
informação, so se sabe a que "setor censitário" eles pertencem.
Os setores censitários tem a classificação: Situação do setor (1=urbano,
2=rural). Approx. 98% dos endereços georeferenciados estão localisados
dentro de setores censitários rurais. No RS, Porto Alegre não tem nenhum
endereço georeferenciado, Novo Hamburgo tambem não tem.
Entre os endereços georeferenciados tem duplicatas no sentido que
endereços semelhantes vem com as mesmas coordenadas geogr áficas. Depois
de eliminar essas duplicatas (distância mínima entre as coordenadas: ~10
metros), encontrei os seguintes números de endereços:
Município 3550308 SÃO PAULO: 6092
Município 3541406 PRESIDENTE PRUDENTE: 1954
Como varias pessoas estão interessados nos dados de endereços
georeferenciados: o melhor seria de concordar sobre
- o formato mais adequado (kml, osm, shp, gpx, ...)
- tamanhos "razoáveis" (divisão em estados, municípios, ...)
- eliminar coordenadas duplicatas ou não
- a seleção mais adequada de atributos
- onde publicar os dados
Para meu próprio uso, só preciso de alguns municípios do RS. Decidi de
eliminar essas duplicatas e transformar os endereços restantes em
formato kml, que posso usar como "background layer", no Potlatch2
editor. Eu só uso o atributo "Logradouro" (como Placemark name) e
"Localidade - Identificação estabelecimento" (como Placemark description).
Não uso JOSM e tambem não sei se o JOSM tem alguma função para usar
"background vector files". Mas o JOSM não é o irmão grande do Potlatch?
Então deve haver alguma função/plugin para isso.
Um abraço, Hermann
On 05/05/2012 00:46, Arlete Meneguette wrote:
Hermann
Minha área de estudo é Presidente Prudente, SP.
Você pode me ajudar?
Grata.
Arlete
Em 04/05/2012 19:26, "D4RK-L3G10N" mailto:d4rkl3g...@yahoo.com>> escreveu:
Olá Hermann,
Eu tenho interesse na geração de um arquivo para a região
metropolitana de São Paulo somente, mas se for muito trabalho pra
você restringir para uma área menor, pode ser de todo o estado
também, o que for mais fácil para você. :)
Uma pergunta: esses arquivos podem ser lidos pelo JOSM? É o programa
que eu uso.
Muito obrigado!
D4RK-L3G10N
*From:* "talk-br-requ...@openstreetmap.org
<mailto:talk-br-requ...@openstreetmap.org>"
mailto:talk-br-requ...@openstreetmap.org>>
*To:* talk-br@openstreetmap.org <mailto:talk-br@openstreetmap.org>
*Sent:* Friday, May 4, 2012 8:00 AM
*Subject:* Digest Talk-br, volume 44, assunto 5
Enviar submissões para a lista de discussão Talk-br para
talk-br@openstreetmap.org <mailto:talk-br@openstreetmap.org>
Para se cadastrar ou descadastrar via WWW, visite o endereço
http://lists.openstreetmap.org/listinfo/talk-br
ou, via email, envie uma mensagem com a palavra 'help' no assunto ou
corpo da mensagem para
talk-br-requ...@openstreetmap.org
<mailto:talk-br-requ...@openstreetmap.org>
Você poderá entrar em contato com a pessoa que gerencia a lista pelo
endereço
talk-br-ow...@openstreetmap.org <mailto:talk-br-ow...@openstreetmap.org>
Quando responder, por favor edite sua linha Assunto assim ela será
mais específica que "Re: Contents of Talk-br digest..."
Tópicos de Hoje:
1. Re: Street name data (Hermann Peifer)
2. Re: Street name data (vitor)
------
Message: 1
Date: Thu, 03 May 2012 21:16:39 +0200
From: Hermann Peifer mailto:pei...@gmx.eu>>
To: OSM talk-br mailto:talk-br@openstreetmap.org>>
Subject: Re: [Talk-br] Street name data
Message-ID: <4fa2d997.7040...@gmx.eu <mailto:4fa2d997.7040...@gmx.eu>>
Content-Type: text/plain; charset=windows-1252; format=flowed
Se alguem quiser: posso gerar arquivos kml (ou shp, ...) para todos os
municipios (ou estados) do Brasil. Nao custa muito. Ja fiz os ~500
municipios do RS (em approx. 1 hora). Veja abaixo um exemplo de um
"Placemark" [1].
Minha maneira de processar os dados era:
0) wget -r ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/...
1) unzip
2) awk -f coordinates.awk ibge_file.txt > out_file.csv
3) ogr2ogr -f kml out_file.kml out_file.csv
Abs, Hermann
[1]
ESTRADA PARIS PINHEIRO MACHADO 0SN
ESTRADA PARIS PINHEIRO MACHADO
0SN
43026590514
2
ESTRADA PARIS PINHEIRO
MAC
Re: [Talk-br] Street name data
Notei que tem muitos casos onde 2-3 pontos ficam bem pertos, ate um em cima do outro (com o mesmo endereco: casa na frente e nos fundos, etc.). Estas duplicatas não tem muito valor e complicam a leitura dos nomes na tela. Por isso, dexei fora todos pontos que tem menos que ~100 metros de distancia do ponto vizinho. Sobrou mais que suficiente para identificar os nomes das estradas. O resultato no RS: 498 municipios, na media com 700 pontos/municipio. Tudo junto num arquivo zip: 4 MB. Um abroco, Hermann On 04/05/2012 18:45, Claudomiro Nascimento Junior wrote: Caramba, desconhecia essa novidade no Potlatch... Acho que "matou" o problema então... é só uma questão de dividir em tamanhos "razoáveis" (por municipio, talvez) os kmls e publicar em algum lugar... []s 2012/5/4 Hermann Peifer mailto:pei...@gmx.eu>> On 03/05/2012 17:54, Claudomiro Nascimento Junior wrote: O problema é como mostrar esses dados num editor - para visualização eu transformei em xml no formato OSM (similar ao que o Hermann fez, presumo com KML), mas acho meio perigoso alguem carregar esses pontos por acidente. Estou usando meus KMLs como "background vector file" no Potlatch2 editor, com estilo "GPS". Com a opção: "Select? = No", não há risco de carregar os pontos por acidente. Aqui uma captura: https://docs.google.com/open?__id=0B7wH21aRzMT___TGRpeUlWaUV0ZjA <https://docs.google.com/open?id=0B7wH21aRzMT_TGRpeUlWaUV0ZjA> Um abraço, Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
On 03/05/2012 17:54, Claudomiro Nascimento Junior wrote: O problema é como mostrar esses dados num editor - para visualização eu transformei em xml no formato OSM (similar ao que o Hermann fez, presumo com KML), mas acho meio perigoso alguem carregar esses pontos por acidente. Estou usando meus KMLs como "background vector file" no Potlatch2 editor, com estilo "GPS". Com a opção: "Select? = No", não há risco de carregar os pontos por acidente. Aqui uma captura: https://docs.google.com/open?id=0B7wH21aRzMT_TGRpeUlWaUV0ZjA Um abraço, Hermann ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
Se alguem quiser: posso gerar arquivos kml (ou shp, ...) para todos os municipios (ou estados) do Brasil. Nao custa muito. Ja fiz os ~500 municipios do RS (em approx. 1 hora). Veja abaixo um exemplo de um "Placemark" [1]. Minha maneira de processar os dados era: 0) wget -r ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/... 1) unzip 2) awk -f coordinates.awk ibge_file.txt > out_file.csv 3) ogr2ogr -f kml out_file.kml out_file.csv Abs, Hermann [1] ESTRADA PARIS PINHEIRO MACHADO 0SN ESTRADA PARIS PINHEIRO MACHADO 0SN 43026590514 2 ESTRADA PARIS PINHEIRO MACHADO 0SN -29.496827 -51.647645 NOVO PARIS 06 CEMITERIO EVANGELICO NOVO PARIS 1 000 000 9579 -51.647645,-29.496827 On 03/05/2012 17:47, Rodrigo Avila wrote: Oi Hermann, pode ensinar como faz isso? A cidade onde moro é mais rural que urbana, então... -- Rodrigo de Avila Analista de Desenvolvimento rodr...@avila.net.br <mailto:rodr...@avila.net.br>• www.avila.net.br <http://www.avila.net.br> Em 3 de maio de 2012 12:42, Hermann Peifer mailto:pei...@gmx.eu>> escreveu: On 02/05/2012 16:20, Arlindo Pereira wrote: Hermann: seu português está melhor do que o de muitos brasileiros ;-) Vitor: sabe informar a licença desses dados do IBGE? Tem muita rua aqui no Rio traçada a partir das imagens do Bing que ainda está sem nome. Ontem baxei todos os dados do "Cadastro Nacional de Endereços Fins Estatisticos" [1]. São 10903 arquivos com um total de 81+ M endereços. Entre eles, achei ~ 9 M endereços georeferenciadas. Quase todos eles estão situados nos "setores rurais", normalmente perto das estradas principais. Aqui um exemplo de Ivoti, Rio Grande do Sul [2]. Infelizmente, não achei nemhuma informaçao sobre a licença desses dados do IBGE :-( Abs, Hermann [1] ftp://ftp.ibge.gov.br/Censos/__Censo_Demografico_2010/__Cadastro_Nacional_de___Enderecos_Fins_Estatisticos <ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos> [2] https://docs.google.com/open?__id=0B7wH21aRzMT___bmpDU3hGMTQ0SkE <https://docs.google.com/open?id=0B7wH21aRzMT_bmpDU3hGMTQ0SkE> _ Talk-br mailing list Talk-br@openstreetmap.org <mailto:Talk-br@openstreetmap.org> http://lists.openstreetmap.__org/listinfo/talk-br <http://lists.openstreetmap.org/listinfo/talk-br> ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
On 02/05/2012 16:20, Arlindo Pereira wrote: Hermann: seu português está melhor do que o de muitos brasileiros ;-) Vitor: sabe informar a licença desses dados do IBGE? Tem muita rua aqui no Rio traçada a partir das imagens do Bing que ainda está sem nome. Ontem baxei todos os dados do "Cadastro Nacional de Endereços Fins Estatisticos" [1]. São 10903 arquivos com um total de 81+ M endereços. Entre eles, achei ~ 9 M endereços georeferenciadas. Quase todos eles estão situados nos "setores rurais", normalmente perto das estradas principais. Aqui um exemplo de Ivoti, Rio Grande do Sul [2]. Infelizmente, não achei nemhuma informaçao sobre a licença desses dados do IBGE :-( Abs, Hermann [1] ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos [2] https://docs.google.com/open?id=0B7wH21aRzMT_bmpDU3hGMTQ0SkE ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
Re: [Talk-br] Street name data
Oi Vitor, Eu baixei alguns dados do site do IBGE. Também baxei brazil.osm.pbf do site da geofabrik.de [1]. Para o Rio Grande do Sul, eu fiz algumas estatísticas muito provisórias: simplesmente contei o número de nomes de ruas nos dados OSM e comparei os resultados com os números do IBGE. Veja aqui uma ilustração dos resultados: [2]. Para realmente descobrir se todos os nomes de ruas de um setor (ou sub-distrito, municipio) estão mapeadas: isso é mais difícil, pois sempre há várias opções para escrever o nome de uma rua. Abs, Hermann PS: You might have noticed: Portuguese is not my strongest language. I am trying my best, though. [1] http://download.geofabrik.de/osm/south-america/brazil.osm.pbf [2] https://docs.google.com/open?id=0B7wH21aRzMT_NDBjX284Z3JQMGM -- vitor vitor.george em gmail.com Sexta Março 16 16:23:37 GMT 2012 Oi Alex, O IBGE, Instituto Brasileiro de Geografia e Estatística, realizou um censo populacional em 2010, e divulgou uma base com *todos* os endereços do país: ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Cadastro_Nacional_de_Enderecos_Fins_Estatisticos/ O problema é que esta base não é georeferenciada, mas cada endereço está associado a um setor censitário, e de aí você poderia usar o .SHP dos setores censitários como um "gabarito" para saber se todos os nomes de ruas de um setor estão mapeadas. Aqui estão os arquivos .SHP dos setores censitários: ftp://geoftp.ibge.gov.br/malhas_digitais/censo_2010/setores_censitarios/ Eu descobri estes dados recentemente e comecei a fazer em rails uma interface web para que as pessoas possam conferir suas localidades, mas não avancei muito. Abs, Vitor | mapaslivres.org | @mapaslivres ___ Talk-br mailing list Talk-br@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-br
