[Talk-br] Alturas, mapas3D do OSM

[Lucas Ferreira Mation]

Pessoal,

em primeiro lugar um feliz natal.

Alguém sabe de onde vem os dados de planta dos prédios e altura que são
usados para renderizar o mapa em 3D? Esta empresa (f4map) os calcula
automaticamente de alguma forma (análise de sombras de imagens aérias) ou
estes dados já estão no OSM?

Fiquei muito surpreso de ver o quão completo isso está para São Paulo
São Paulo
http://demo.f4map.com/#lat=-23.5522503&lon=-46.6761298&zoom=16

Já para Brasília, os prédios das superquadras parecem mais baixos do que
realmetne são

http://demo.f4map.com/#lat=-15.8045536&lon=-47.8923768&zoom=17

Enfim, apenas queria saber se de fato estes dados estão no OSM, e como são
inseridos

feliz 2017
Lucas
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Ok para reuniao 20h40 hoje.

Ainda nao consegui matar o problema do do cruzamento do OSM com os setores
censitarios.
Eu peguei as sugestoes do stack overflow
e
juntei em varias possiveis queries e coloquei tudo em

https://github.com/lucasmation/osm_cnefe_import/blob/master/OSM_Streets_SetorCensitario_spatial_match.sql

Mas nao sei interpretar muito bem o output do EXPLAIN. Peter da uma olhada
para mim por favor (interrogacao)







2015-10-02 18:10 GMT-03:00 Peter Krauss :

> Ola!
>
> Respondendo por alto a todos os tópicos,
>
> *== reuniao hoje 20h40 ==*
> Acho que estamos de acordo com isso, falta conferir o canal de voz a ser
> usado (Hangouts ou Zoom)... Eu acabo de descobrir que não estarei em casa,
> não sei se conseguirei  participar hoje. Caso alguem use cel. da Claro eu
> passo por email e falamos antes, no celular ou em fixo.
>
>
> *== PROJETOS OSM ==*
> O Marcos indicou o norte,
>
> http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos
>
> acho que podemos começar por "dar um tapa" nisso, já fiz coisa parecida
> lá na OKBR , onde
> classificamos com 2 ou 3 tags, e categorizamos os projetos, amarrando de
> forma mais sólida as páginas...
>
> No caso da descrição de quadras, etc. como se trata de Wikimedia, o mesmo
> software que usado na Wikipedia (!), posso até copiar/colar o que comecei
> na Wikipedia (
> https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
>  )
> e tentar por fim uma abordagem didática para todos entendermos exatamente
> como se relacionam as quadras com o CEP e com o CNEFE... Ou seja, texto
> mais ilustrativo e didático, e conforme formos obtendo resultados concretos.
>
> Eu talvez migre uma parte (a mais técnica) da OKFN para a wiki da OSM,
> onde haverão mais colaboradores,
>   http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
>
> O Alexandre comentou de um nome melhor no Github, concordo... e, pensando
> bem, acho que nem precisamos de Github para essa organização geral de
> projetos, pode ficar tudo na WikiProject_Brazil/Projetos
>  por hora.
> . ... acho que "CNEFE data, IBGE, Brasil import" e  "Mapa-do-CEP" tendem a
> convergir para algo como "city block generation" e "segmentation by faces,
> of city block", ou seja, faces de quadra serão nosso foco.
>
>
> *=== PROJETO CNEFE===*
> @Marcos, sim, o Lucas é o trator e o coordenador do projeto (!), nós vamos
> atrás a reboque, com umas pás de jardim e boa vontade esporádica ;-)
> A discussão sobre onde colocar esse projeto do Lucas de CNEFE, qual Wiki
> usar (Github ou wiki.openstreetmap), etc. podemos tentar fechar em
> https://github.com/lucasmation/osm_cnefe_import/issues/1
> aguardo você por lá ok?
> Como já somos 1 coordenador ("trator") e 2 colaboradres ("reboques"), já
> podemos estimar metas e seguir as dicas do Alexandre, "(...) um projeto
> coletivo e grande talvez deva necessariamente começar pelos planos, pela
> engenharia, pela definição de arquitetura". Os colaboradores (eu e Marcos)
> podemos iniciar por isso que não exige muita expertize nem estar com a mão
> na massa, o Lucas já  "prototipou e ensaiou" o principal, o que faltar vai
> saindo no feedback de comunidade.
>
> *===PROJETO MAPA DO CEP===*
> Acho que estamos convergindo para a fusão do CNEFE com o  MAPA DO CEP: o
> fundamento de ambos são as faces de quadra e, posteriormente, o valor de
> logística agreado.
>
>
> *== Metaphone, Lucas ==*
> A análise de duplicações de nomes de rua é complexa,  tem mil meandros e
> em geral cada cidade  uma peculiaridade (as respectivas Câmaras Municipais
> são as responsáveis)... As duplicações seriam talvez um projetinho a parte,
> acho que podemos até tratar em outro *git* e fazer centenas de
> experimentos e demonstrações com planilhas CSV.
> - - -
> PS: Olhei por alto o seu link
> 
> , parece que estamos em consenso.  A ultima vez que discuti o assunto foi
> em http://pt.stackoverflow.com/a/10202/4186
> RESUMO: basta instalar o Metaphone no PostgreSQL: precisa indexar com
> metaphone poque é exponencialmente mais rápido do que comparar par-a-par
> com semelhança. O indexador sugerido (as ruas do Brasil exigem 90% fonética
> do portugues) já faz também uma espécie de *stemming
>  *grosseiro por ficar só com
> prefixos. Aí, como diz também seu link, com grupos de similares em mãos,
> aplica-se a semelhança par-a-par.
>
>
>
>
> Em 2 de outubro de 2015 02:13, Marcos Fedato 
> escreveu:
>
>> Peter,
>>
>> Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina do
>> Wiki k.
>>
>> http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
>>
>> Acho que podemos seguir o que ele fez e crescer 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Acho que resolvi (com muita ajuda do Komzpa no IRC do OSM#DEV IRC, como
est[a resumido aqui
http://stackoverflow.com/questions/32907481/optimize-large-st-intersect-query-match-1-8m-osm-streets-to-317k-polygons
(uma das sugest'oes eh a que voce tinha dado marcos) o cruzamento de Ruas
do OSM com setores censitarios

Veja o item 2b aqui
https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sqlEsta
rodando aqui, vamos ver quanto demora


2015-10-01 23:13 GMT-03:00 Marcos Fedato :

> Peter,
>
> Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina do
> Wiki k.
>
> http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import
>
> Acho que podemos seguir o que ele fez e crescer com isso.
>
> Então já temos o repo, o wiki e o objetivo claro que podemos revalidar.
>
> O Lucas ta ralando a tempo nisso essa pagina da wiki começou em Abril de
> 2014!
>
> Att
> Marcos Fedato
>
>
> --
> From: heroij...@hotmail.com
> To: talk-br@openstreetmap.org
> Date: Thu, 1 Oct 2015 22:40:53 -0300
>
> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>
> Olá Peter,
>
> 1) Eu acho legal, acho que ficaria melhor criar um repo ja com o nome de
> "importacao_cnefe" e dentro dele criar uma pasta tipo "documentação" caso
> precisemos guardar algo lá.
>
> Na verdade o lucas já tem um projeto criado
> https://github.com/lucasmation/osm_cnefe_import, mas talvez criar um pelo
> OSM fique mais formal, chame mais atenção, sei lá.
>
> Nesse repo poderiamos dividir em pastas as diferentes ferramentas que
> possamos ter de desenvolver, e fica focado no tema.
>
> Acho também que poderiamos usar o Wiki do OSM para documentar em alto
> nível assim mesmo quem não é programador fica a vontade para entender o que
> fizemos.
>
> 2) Só dando crédito a pessoa correta , o Lucas que "numerou com
> letras" de A a G.
>
> Sobre o primeiro tópico, acho que deveria ser dar um passo técnico para
> trás e definir bem o objetivo deste projeto (se é nomear automaticamente,
> apontar áreas de correção, apontar possíveis nomes para o ID, criar uma
> camada de setor censitário alinhada ao OSM para futuras análises espaciais,
> tudo isso, tudo isso e mais um pouco...).
>
> 3) Consolidação: Pode ser no Wiki do GITHub ou no Wiki do OSM, eu tendo
> mais ao Wiki do OSM pois ficaria concentrado onde outros projetos já
> existem. http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos.
>
> Mas se for no Wiki do GITHub, a gente cria uma pagina no Wiki do OSM
> redirecionando para lá e ta massa também, acho que não devemos gastar muita
> energia criativa com ferramental pq gosto é como... nariz, cada um tem uma
> ferramenta especial k.
>
> Então assim, como vc teve a iniciativa, acho que vc pode escolher (só
> veria como lucas a questão de usar o repo dele ou criar pelo OSM, de qual
> Wiki, o que importa é gerarmos conteúdo de qualidade), decisões concensuais
> por listas de email são demoradas, desgastantes e normalmente... não são
> concensuais no fim .
>
> Atenciosamente,
> Marcos Fedato
>
>
> --
> Date: Thu, 1 Oct 2015 22:01:57 +
> From: ppkra...@gmail.com
> To: talk-br@openstreetmap.org
> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>
> Oi Alexandre, não se preocupe, e creio que aqui a maioria é intermitente,
> com seus altos e baixos de participação.
>
> Uma coisa onde *todos podem  ajudar para já adiantar o processo* é o
> seguinte:
>
> *1) *o nome do projeto Github, que tal "Organizando"? ficaria
> https://github.com/OSMBrasil/organizando
>
> *2)* O Marcos já lançou tópicos de A a G (!), que fal votarmos aqui,
> antes de começar no git, qual será o primeiro tópico a ser abordado?
>
> *3) *consolidação de textos aqui dos emails: uma série de dicas,
> questionamentos, e consensos foram expressos neste theread, quem ajudaria a
> resumir/consolidar esse blabla rico todo para servir de referência mais
> organizada e centralizada? (preparo la no Git como Wiki ou README)
>
> Peter
>
>
> Em 1 de outubro de 2015 21:21, Alexandre Magno Brito de Medeiros <
> alexandre@gmail.com> escreveu:
>
> Peter Krauss e Marcos Fedato,
>
> Infelizmente eu preciso declarar que *eu apenas trouxe a ideia*, para
> quem está com gás, vocês. Não posso me envolver. Tenho um bocado de
> pendências por aqui, pela comunidade mesmo, coisa que eu devia ter feito e
> não fiz. E coisa que preciso fazer, como simples traduções. Mesmo que eu
> não as tivesse, minha cabeça está cada vez mais distante dos conhecimentos
> técnicos que o projeto de vocês requer. Eu preciso resolver várias coisas
> no âmbito pessoal (particular), às quais dou mesmo mais prioridade. Por
> exemplo, meu pai tornou-se deficiente físico e... bem, estou com ele.
>
> Alexandre Magno
>
> Em 1 de outubro de 2015 17:16, Peter Krauss  escreveu:
>
> Alexandre, acho uma boa ideia, e se houver maior concentração de adeptos
> numa cidade, como São Paulo, podemos até fazer presencial+web ... Quanto
> aos sli

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

excelente! vou ver como instalar

estes slides explicam um pouco da intuição dos negócios fonéticos e das
comparações por proximidade de Levihnsen:
http://pt.slideshare.net/DiogoLVGRubert/palestra-diogo-rubert-pgday-campinas-2015



2015-10-01 19:49 GMT-03:00 Peter Krauss :

> Oi, só alguns lembretes/sugestoes pro Lucas, que talvez possam interessar,
>
> Em 1 de outubro de 2015 22:01, Lucas Ferreira Mation <
> lucasmat...@gmail.com> escreveu:
>
>> (...) O ambiente de trabalho que tenho a disposição tem R e Postgresql,
>>
>
> parece que o grosso está em PostgreSQL+PostGIS: que tal usar o R como
> parte do SQL? fica *embedded* como PL/R,
>
> http://www.joeconway.com/plr/
> http://www.postgresql.org/docs/9.3/static/external-pl.html
> http://www.postgresql.org/docs/9.3/static/xplang-install.html
>
>
>>  um script (...) que faça a correção fonética
>>
>>
> O PostgreSQL roda o melhor deles,
> http://sourceforge.net/projects/metaphoneptbr/
> tem um driver para postgreSQL, facil de usar com UBUNTU.
>
>
>
>>
>>
>>
>>
>>
>>
>>
>>
>> 2015-10-01 17:20 GMT-03:00 Peter Krauss :
>>
>>> Oi Marcos, que tal organizarmos essa ideia de "metodologia para a
>>> organização" num Github?
>>> Acho q qualquer um pode iniciar projeto sob https://github.com/OSMBrasil
>>> voce inicia um? Se precisar de alguém mais "nerd" para o git, só avisar,
>>> posso ajudar ;-)
>>>
>>>
>>> Em 1 de outubro de 2015 15:13, Marcos Fedato 
>>> escreveu:
>>>
>>>> Oi Lucas,
>>>>
>>>> Caramba vc tem pensado bastante nisso mesmo , vou tentar ajudar
>>>> também.
>>>>
>>>> A) Até onde eu estudei, não existe base perfeita. Por exemplo, se a
>>>> gente usa ponto coletado por GPS como referência pode ser algo bom, mas
>>>> existem deformações também na coleta por GPS causados pela altitude,
>>>> qualidade do GPS e tudo mais. Porém eu já vi um fabricante de GPS falar que
>>>> pra ele, ele quer mesmo que a base dele tenha a mesma deformação do GPS
>>>> pois os usuários dele vão usar GPS para se locomover na cidade, então se
>>>> der 5m a esquerda na coleta, provavelmente o GPS do usuario também vai dar
>>>> algo parecido a 5m a esquerda, no final o ponto cai no meio da rua. Então
>>>> nada é perfeito, é preciso entender o que é a verdade conveniente para nós
>>>> k. Eu acho que essa de assumir o OSM uma boa.
>>>>
>>>> B) O processo que um colega meu tinha desenhado uma vez era "faseado",
>>>> primeiro se achava os que batiam tudo pelo nome, depois se ajustava eles
>>>> com o arruamento, depois se ajustava os setores vizinhos, depois fazia uma
>>>> junção espacial dos vizinhos com as quadras do arruamento abaixo deles,
>>>> depois se validava os atributos entre eles...
>>>> Uma época eu até estudei se a gente conseguiria fazer uma comparação de
>>>> formas de polígonos para validar se a/as quadras do arruamento realmente
>>>> batem com as do setor censitário, tipo se no setor censitário a forma é um
>>>> quadrado, mas no processo a quadra do OSM abaixo desse setor é triangular,
>>>> ou um quadrado girado x graus...
>>>> Pois esse colega tinha feito comparações usando a área e o perímetro
>>>> dos setores casados, o que já é bom.
>>>>
>>>> C) Não manjo nada de geometria direto no banco assim, mas talvez ele
>>>> esteja reprocessando o buffer a cada rodada, talvez poderia se criar uma
>>>> coluna da geometria com buffer preencher ela uma vez e então usar essa
>>>> coluna.
>>>> Menos impactante deve ser o join com os 2 ands, se eu me lembro bem no
>>>> geocodigo do município já tem o estado, então não precisa fazer join com o
>>>> estado, o municipio só já é estado e município.
>>>>
>>>> D) Já usei um processo parecido desse de ordem alfabética quando eu
>>>> queria cruzar 2 bases de dados usando as esquinas para achar os pontos de
>>>> referência. O que eu tinha em mente é que eu não precisava achar tudo, se
>>>> eu achasse 40% sei lá, o resto eu faria o processo de alinhar pelos
>>>> vizinhos, extrapolando o deslocamento de um para outro. Porém o que a gente
>>>> pode fazer é usar comparação de nome a nome ao invés de somar tudo. de
>>>> depois fazer o join de volta e ver quantos nomes bateram.
>>>>
>>>> Podem

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

gt;
>> --
>> Date: Wed, 30 Sep 2015 10:20:55 -0300
>>
>> From: lucasmat...@gmail.com
>> To: talk-br@openstreetmap.org
>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>>
>> ops, mandei acidentalmente antes de terminar. Retomando no ponto C
>>
>> C) De fato a podemos usar o shape de setores para aproximar mais o
>> pareamento espacial (atualmente eu só usei os municípios) antes de parear
>> as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
>> pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
>> também é útil para a outra grande metade do projeto (na qual ainda não
>> avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
>> CNEFE.
>> Eu já tentei rodar a query abaixo para fazer isso (resumindo, cruzar
>> primeiro por uf e municipio, atribuindo codigos para estes nas duas bases,
>> para reduzir o número de cruzamentos espaciais de fato entre setores e ruas
>> apenas dentro de cada municipio):
>>
>> CREATE TABLE OSM_Streets_by_SetorCensitario2 AS
>> SELECT OSM_Streets_by_Mun.*, setor_censitarioL.geom
>> FROM OSM_Streets_by_Mun, setor_censitarioL
>> WHERE OSM_Streets_by_Mun.cod_UF=
>> substring(setor_censitarioL.cd_geocodi,1,2)  AND
>> OSM_Streets_by_Mun.cod_mun= substring(setor_censitarioL.cd_geocodi,1,7)
>> AND
>> ST_Intersects(way,ST_Buffer(setor_censitarioL.geom,0.005))=true
>>
>> O problema é que é um cruzamento muito grande. Se bem me lembro, são
>> ~1.6milhoes de ruas no OSM brasil e 312 mil setores censitarios. Deixei
>> rodando por 5 dias no servidor (relativamente potente, 126GB de ram, 4
>> nucleos) e não terminou. Nao sei se tem uma forma de otimizar esta query,
>> talvez fazendo proceduralmente, num loop, muncipio a municipio (mas isso em
>> tese as 1as duas condições do WHERE já impõem). Ou entao cruzando com
>> layers espaciais intermediarios, como distrito e subdistrito antes de ir
>> pro setor censitario direto (mas não estou conseguindo criar estes layers
>> com base nos setores censitarios, por causa dos problemas topologicos
>> destes). Enfim, vou perguntar no StackOverflow para ver se alguém tem uma
>> idéia.
>>
>> D) melhorar as queries textuais, com filtros nos textos e fuzzy acho que
>> é um ótimo caminho. Uma restrição, pelo menos como eu modelei os dados, é
>> que estou fazendo pareamento de arrays contendo nomes de ruas, que
>> internamente são ordenados alfabeticamente (uma linha da tabela representa
>> uma quadra, e há uma coluna que é um array, e lá dentro tem todos os nomes
>> de rua, ordenados alfabeticamente). Se o erro ou correção ocorrer no começo
>> de certo nome de rua, isso vai afetar a ordem alfabetica dos nomes de rua,
>> e não sei como o pareamento (possivelmente fuzzy) vai reagir a isso.
>>
>> Você tem alguma idéia melhor de uma estrutura de dados mais adequada pro
>> pareamento?
>>
>> Outra coisa, estou trabalhando no PostGis-Postgresql então o ideal seria
>> os "filtros foneticos" serem implementados no próprio Postgis. Tenho boa
>> familiaridade com R também, então, se precisar sair, a 2a opção mais fácil
>> de implementar seria o R.
>>
>> E) pensei também nos blocos que parearem apenas 3 das 4 ruas. Bom,
>> considerando apenas quadras de 4 lados, para simplificar, seriam 2 quadras
>> para cada conjunto de 3 ruas. precisamos de uma forma de definir qual é
>> qual. Alguma idéia?
>>
>> F) voce mencionou uma outra idéia, na qual eu também já trabalhei um
>> pouco, que é ir seguinto a descrição textual dos setores. Estes aquivos vem
>> com dois campos: "ponto inicial" e "decrição do setor". Com banstante
>> traquejo no uso de expressões regulares da para quebrar isso em seguencias
>> de esquinas (cruzamentos). Mas uma dificuldade é que e linguagem não é
>> padrão. Como os arquivos são produzidos de forma descentralizada, pelos
>> ~500 escritórios locais do IBGE, há diferenças ao longo do brasil (talvez
>> seja por estado). Tem setores que está com "esquina da rua A com a B". Em
>> outros está "cruzamento rua A e rua B". Isso para o campo "ponto incial". A
>> descrição de setor tem ainda mais variabilidade.
>>
>> G)  Outro elelmento que ainda não eplorei, mas que vem de uma idéia do
>> Peter Krauss, é que o CEP segue uma estrutura, tal que, cada seguimento de
>> uma rua, tem o mesmo CEP para as quadras dos dois lados da rua. Isso pode
>> ser mais um elemento para "amarrar" estes pareamentos de alguma forma.
>>
>>
>>
>> enfim, 

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

B) (melhorando o item B, do email anterior) Flexibilizei agora um pouco a
busca por setores plenamente pareados. Ao invés de olhar só para setores de
um único quarteirão, estou olhando agora para setores que tiveram todos
seus setores pareados.
Agora é póssível mapear 2272 setores, pertencentes a 207 municipios

2015-09-30 9:53 GMT-03:00 Lucas Ferreira Mation :

> fantástico Marcos,
>
> eu já "ataquei" várias linhas das que você sugeriu, mas ainda não
> completei. Tenho trocado algumas idéias a respeito, off-line do grupo para
> não tumultuar muito por aqui, com o  Peter Krauss. Podemos te incluir na
> conversa.
>
> Vamos por partes:
>
> A) A primeira grande dúvida que eu tenho é quanto podemos confiar no
> posicoinamento das ruas do OSM? Por exemplo, quando o shape de setor
> censitário e o OSM não batem, como eu posse ter certeza que o certo é o
> OSM? Será que o mapeador não se baseou numa imagem de satélite que também
> estava deslocada? Enfim, no meu código estou de certa forma tomando o
> posicionamento de ruas do OSM como "verdade", mas seria bom pensar um pouco
> melhor nisso. Eu vi nos vídeos do SotM-Latin-America-2015 um cara da Mapbox
> apresentando como eles tem umas técnicas para corrigir o posicionamento de
> ruas do OSM, que aplicaram no Japao e em Lima.
>
>
> B) Agora de manhã estou trabalhando nesta idéia de usar os quarteiroes que
> parearem e que sejam setores de um só quarteirão como pontos de controle
> para corrigir a malha de setores censitarios.
>
> Dos 95mil  quarteiroes que eu consegui parear, 952 são setores com um
> único quarteirão (que são os que de fato podemos parear no momento). Estes
> 952 setores são de 81 municípios (eu estava com esperança de que seriam
> mais). Para estes eu vou calcular a distancia (ST_distance) e o angulo
> (ST_Azimuth) entre os centroides das quadras pareadas do OSM e do CNEFE.
> Como você falou isso vai nos dar uma lista de pontos de controle.
>
>  Com isso podemos:
> b1) ter uma lista de "margens de erro" do shape de setor censitário para
> cada municipio (ou melhor pros 81 muncípios em que há estes casos). Isso
> serve para definir o buffer (max(ST_distance) para usar quando parear o
> shape de setores censitarios com os ruas do OSM (como você sugere).
> b2) Usar os pontos de controle para corrigir o shape de setor censitario.
> Isto é, fazer uma transformação afim (que estica partes do mapa e contrai
> outras partes) com base nestes pontos.
>
> C) De fato a podemos usar o shape de setores para aproximar mais o
> pareamento espacial (atualmente eu só usei os municípios) antes de parear
> as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
> pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
> também é útil para a outra grande metade do projeto (na qual ainda não
> avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
> CNEFE.
> Eu já tentei rodar uma query para fazer isso
>
>
>
>
>
>
>
>
>
>
>
>
>
> 2015-09-30 9:14 GMT-03:00 Marcos Fedato :
>
>> Caros,
>>
>> Eu trabalhei alguns anos com essa parte de endereçamento e tenho muito a
>> ajudar nesse processo do CNEFE.
>>
>> Além dos acentos e da lógica fuzzy (que pode adicionar erros), podemos
>> usar alguma coisa de fonética brasileira(que pode adicionar erros) e
>> tabelas auxiliares(que pode adicionar erros) com nomes padrão, dando
>> replace em erros conhecidos de grafia (AKA: juscelino kubitschek é
>> difícil de escrever).
>>
>> Tem esse algoritimo em Delphi que eu achei uma vez, que faz um trabalho
>> fantastico de fonética BR (tecnicamente não é BR é do Portugês) (AKA:
>> soundex não é bom para matches exatos) http://pastebin.com/KpYxxw5e.
>>
>> Vamos supor que o "quarteirão" tenha 4 ruas e 3 delas tem nome no OSM e
>> estes nomes batem, a gente pode supor que a rua que faltou no OSM tem o
>> nome da rua que sobrou no CNEFE.
>>
>> A gente pode usar não só os municipios, mas também os setores censitários
>> para achar exatamente onde estão os nomes faltantes.
>>
>> Os setores censitários tem uma tabela de descrição do entorno. É um campo
>> de texto livre para cada setor falando as ruas por onde ele é delimitado.
>> Com alguma inteligência a gente pode quebrar esse campo em ruas e cruzar
>> com o OSM também.
>>
>> O problema conhecido de cruzar diferentes bases de dados espaciais é o
>> deslocamento que pode haver entre uma e outra, tenho alguns esboços
>> interessantes de como resolver isso saíndo do mundo tabular e utilizando
>> GIS.
>>
>> Minha ideia se baseia em 2 coisas, achar alguns setores por cidade on

Re: [Talk-br] Duvida precisão de bases censitarias

[Lucas Ferreira Mation]

boa pergunta

Na parte de usar dados do CNEFE para completar ruas sem nomes, eu não tinha
pensado em nada do tipo de uma grande importação.
O que eu tinha pensado que talvez fosse útil seria prover algum tipo de
interface pra facilitar a vida do mapeador. Poderia por exemplo aparecer
uma sugestão de nome, já meio pre selecionada (por meio de cruzamentos
espaciais que rolassem no background) vinda do CNEFE. Aí o mapeador poderia
aceitar ou rejeitar.

Outra possibilidade seria verificar nomes de ruas que "não batem" entre OSM
e CNEFE, como checagem de erros. Neste caso o mapeador seria perguntado: "é
isso mesmo?"

Eu acho que consigo contribuir com a cruzamento espacial em sí. Chegando na
lista de sugestões. Não saberia desenvolver estas ferramentas de interface
pro programador.

Voltando a pergunta,  não sei dizer muito sobre a qualidade dos dados do
CNEFE. Acho que nem o próprio IBGE se manifesta muito a respeito. O que
eles dizem é que não é um dado 100%, use sob sua conta e risco. Mas o que
precisamos de uma idéia é se é um dado com 1%, 10% ou 80% de erros.

Seria legal se outros mapeadores que usam o CNEFE se manifestassem sobre a
percepção eles, a frequencia de erros, etc.

Se os erros forem realmente muito frequentes e a qualidade do CNEFE for
mito baixa talvez não valha a pena tentar usar os nomes do CNEFE no OSM.
(isso não tira a utilidade de bater os quarteirões, que são casos em que os
nomes de ruas batem, e que serve para pegar os endereços do CNEFE).









2015-09-30 12:25 GMT-03:00 Helio Cesar Tomio :

> Vcs acreditam na precisão das bases censitarias para acertar dados do OSM?
> Porque qto aos nomes de vias e Poi's durante minhas edições, vi muitas
> diferenças ou erros.
> Nas quadras do ibge nas cidades menores tem muita informação imprecisa,
> sejam vias ou nomes.
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Arlindo. Concordo com você. A idéia de parear é para acertar nomes de ruas
e  atribuir endereços.
Uma segunda idéia é usar os dados do OSM (supondo que estejam certos) para
corrigir o shapes de setor censitário do IBGE. Mas nunca corrigir o OSM com
base nos shapes do IBGE, até porque são bem mais agregados (por setor
censitário) e, estes sim, sabemos que tem problemas

2015-09-30 10:52 GMT-03:00 Arlindo Pereira :

> Não manjo de GIS para opinar sobre os trechos de código referidos, mas eu
> acho que pegar os nomes de rua do CNEFE para o OSM e corrigir um eventual
> desalinhamento do OSM são duas tarefas distintas, que seriam melhor
> atacadas separadamente.
>
> []s
> Arlindo
>
>
> 2015-09-30 9:53 GMT-03:00 Lucas Ferreira Mation :
>
>> fantástico Marcos,
>>
>> eu já "ataquei" várias linhas das que você sugeriu, mas ainda não
>> completei. Tenho trocado algumas idéias a respeito, off-line do grupo para
>> não tumultuar muito por aqui, com o  Peter Krauss. Podemos te incluir na
>> conversa.
>>
>> Vamos por partes:
>>
>> A) A primeira grande dúvida que eu tenho é quanto podemos confiar no
>> posicoinamento das ruas do OSM? Por exemplo, quando o shape de setor
>> censitário e o OSM não batem, como eu posse ter certeza que o certo é o
>> OSM? Será que o mapeador não se baseou numa imagem de satélite que também
>> estava deslocada? Enfim, no meu código estou de certa forma tomando o
>> posicionamento de ruas do OSM como "verdade", mas seria bom pensar um pouco
>> melhor nisso. Eu vi nos vídeos do SotM-Latin-America-2015 um cara da Mapbox
>> apresentando como eles tem umas técnicas para corrigir o posicionamento de
>> ruas do OSM, que aplicaram no Japao e em Lima.
>>
>>
>> B) Agora de manhã estou trabalhando nesta idéia de usar os quarteiroes
>> que parearem e que sejam setores de um só quarteirão como pontos de
>> controle para corrigir a malha de setores censitarios.
>>
>> Dos 95mil  quarteiroes que eu consegui parear, 952 são setores com um
>> único quarteirão (que são os que de fato podemos parear no momento). Estes
>> 952 setores são de 81 municípios (eu estava com esperança de que seriam
>> mais). Para estes eu vou calcular a distancia (ST_distance) e o angulo
>> (ST_Azimuth) entre os centroides das quadras pareadas do OSM e do CNEFE.
>> Como você falou isso vai nos dar uma lista de pontos de controle.
>>
>>  Com isso podemos:
>> b1) ter uma lista de "margens de erro" do shape de setor censitário para
>> cada municipio (ou melhor pros 81 muncípios em que há estes casos). Isso
>> serve para definir o buffer (max(ST_distance) para usar quando parear o
>> shape de setores censitarios com os ruas do OSM (como você sugere).
>> b2) Usar os pontos de controle para corrigir o shape de setor censitario.
>> Isto é, fazer uma transformação afim (que estica partes do mapa e contrai
>> outras partes) com base nestes pontos.
>>
>> C) De fato a podemos usar o shape de setores para aproximar mais o
>> pareamento espacial (atualmente eu só usei os municípios) antes de parear
>> as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
>> pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
>> também é útil para a outra grande metade do projeto (na qual ainda não
>> avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
>> CNEFE.
>> Eu já tentei rodar uma query para fazer isso
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 2015-09-30 9:14 GMT-03:00 Marcos Fedato :
>>
>>> Caros,
>>>
>>> Eu trabalhei alguns anos com essa parte de endereçamento e tenho muito a
>>> ajudar nesse processo do CNEFE.
>>>
>>> Além dos acentos e da lógica fuzzy (que pode adicionar erros), podemos
>>> usar alguma coisa de fonética brasileira(que pode adicionar erros) e
>>> tabelas auxiliares(que pode adicionar erros) com nomes padrão, dando
>>> replace em erros conhecidos de grafia (AKA: juscelino kubitschek é
>>> difícil de escrever).
>>>
>>> Tem esse algoritimo em Delphi que eu achei uma vez, que faz um trabalho
>>> fantastico de fonética BR (tecnicamente não é BR é do Portugês) (AKA:
>>> soundex não é bom para matches exatos) http://pastebin.com/KpYxxw5e.
>>>
>>> Vamos supor que o "quarteirão" tenha 4 ruas e 3 delas tem nome no OSM e
>>> estes nomes batem, a gente pode supor que a rua que faltou no OSM tem o
>>> nome da rua que sobrou no CNEFE.
>>>
>>> A gente pode usar não só os mu

Re: [Talk-br] RES: RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Reinaldo,
obrigado,

Poderia explicar melhor, o dar exemplo, do que você quis dizer com a frase
abaixo?

"Uma problema que encontrei fora das capitais e que deve receber uma
atenção são os eixos de rua que estão contínuos no OSM e podem gerar
problema ao transferir os nomes do CNEFE."

2015-09-30 10:22 GMT-03:00 Reinaldo Neves :

> Lucas eu tenho feito diversas edições no OSM com base no cnefe para
> incluir a nomenclatura das ruas e comparando com a camada do bing também.
>
>
>
> Posso confirmar que o deslocamento esta no cnefe mesmo, provável que por
> conta das imagens que eles utilizaram na geração do setor censitário.
>
>
>
> Setores com um único quarteirão ocorrem em quantidade nos centros urbanos
> com maior densidade populacional.   Mas você pode aplicar o algoritmo aos
> setores que abrangem mais de um bairro, que vai obter o mesmo nível de
> sucesso.
>
>
>
> Uma problema que encontrei fora das capitais e que deve receber uma
> atenção são os eixos de rua que estão contínuos no OSM e podem gerar
> problema ao transferir os nomes do CNEFE.  Não é o caso que vou usar como
> exemplo, mas este acho mais simples verificar
>
>
>
> Abraços
>
>
>
>
>
> _______
>
> Reinaldo Neves
>
> Equação Informática
>
> (11) 3221-3722
>
>
>
>
>
> *De:* Lucas Ferreira Mation [mailto:lucasmat...@gmail.com]
> *Enviada em:* quarta-feira, 30 de setembro de 2015 09:54
> *Para:* OpenStreetMap no Brasil
> *Assunto:* Re: [Talk-br] RES: RES: OSM - CNEFE
>
>
>
> fantástico Marcos,
>
>
>
> eu já "ataquei" várias linhas das que você sugeriu, mas ainda não
> completei. Tenho trocado algumas idéias a respeito, off-line do grupo para
> não tumultuar muito por aqui, com o  Peter Krauss. Podemos te incluir na
> conversa.
>
>
>
> Vamos por partes:
>
>
>
> A) A primeira grande dúvida que eu tenho é quanto podemos confiar no
> posicoinamento das ruas do OSM? Por exemplo, quando o shape de setor
> censitário e o OSM não batem, como eu posse ter certeza que o certo é o
> OSM? Será que o mapeador não se baseou numa imagem de satélite que também
> estava deslocada? Enfim, no meu código estou de certa forma tomando o
> posicionamento de ruas do OSM como "verdade", mas seria bom pensar um pouco
> melhor nisso. Eu vi nos vídeos do SotM-Latin-America-2015 um cara da Mapbox
> apresentando como eles tem umas técnicas para corrigir o posicionamento de
> ruas do OSM, que aplicaram no Japao e em Lima.
>
>
>
>
>
> B) Agora de manhã estou trabalhando nesta idéia de usar os quarteiroes que
> parearem e que sejam setores de um só quarteirão como pontos de controle
> para corrigir a malha de setores censitarios.
>
>
>
> Dos 95mil  quarteiroes que eu consegui parear, 952 são setores com um
> único quarteirão (que são os que de fato podemos parear no momento). Estes
> 952 setores são de 81 municípios (eu estava com esperança de que seriam
> mais). Para estes eu vou calcular a distancia (ST_distance) e o angulo
> (ST_Azimuth) entre os centroides das quadras pareadas do OSM e do CNEFE.
> Como você falou isso vai nos dar uma lista de pontos de controle.
>
>
>
>  Com isso podemos:
>
> b1) ter uma lista de "margens de erro" do shape de setor censitário para
> cada municipio (ou melhor pros 81 muncípios em que há estes casos). Isso
> serve para definir o buffer (max(ST_distance) para usar quando parear o
> shape de setores censitarios com os ruas do OSM (como você sugere).
>
> b2) Usar os pontos de controle para corrigir o shape de setor censitario.
> Isto é, fazer uma transformação afim (que estica partes do mapa e contrai
> outras partes) com base nestes pontos.
>
>
>
> C) De fato a podemos usar o shape de setores para aproximar mais o
> pareamento espacial (atualmente eu só usei os municípios) antes de parear
> as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
> pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
> também é útil para a outra grande metade do projeto (na qual ainda não
> avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
> CNEFE.
>
> Eu já tentei rodar uma query para fazer isso
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 2015-09-30 9:14 GMT-03:00 Marcos Fedato :
>
> Caros,
>
>
>
> Eu trabalhei alguns anos com essa parte de endereçamento e tenho muito a
> ajudar nesse processo do CNEFE.
>
>
>
> Além dos acentos e da lógica fuzzy (que pode adicionar erros), podemos
> usar alguma coisa de fonética brasileira(que pode adicionar erros) e
> tabelas au

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

ops, mandei acidentalmente antes de terminar. Retomando no ponto C

C) De fato a podemos usar o shape de setores para aproximar mais o
pareamento espacial (atualmente eu só usei os municípios) antes de parear
as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
também é útil para a outra grande metade do projeto (na qual ainda não
avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
CNEFE.
Eu já tentei rodar a query abaixo para fazer isso (resumindo, cruzar
primeiro por uf e municipio, atribuindo codigos para estes nas duas bases,
para reduzir o número de cruzamentos espaciais de fato entre setores e ruas
apenas dentro de cada municipio):

CREATE TABLE OSM_Streets_by_SetorCensitario2 AS
SELECT OSM_Streets_by_Mun.*, setor_censitarioL.geom
FROM OSM_Streets_by_Mun, setor_censitarioL
WHERE OSM_Streets_by_Mun.cod_UF=
substring(setor_censitarioL.cd_geocodi,1,2)  AND
OSM_Streets_by_Mun.cod_mun= substring(setor_censitarioL.cd_geocodi,1,7)
AND
ST_Intersects(way,ST_Buffer(setor_censitarioL.geom,0.005))=true

O problema é que é um cruzamento muito grande. Se bem me lembro, são
~1.6milhoes de ruas no OSM brasil e 312 mil setores censitarios. Deixei
rodando por 5 dias no servidor (relativamente potente, 126GB de ram, 4
nucleos) e não terminou. Nao sei se tem uma forma de otimizar esta query,
talvez fazendo proceduralmente, num loop, muncipio a municipio (mas isso em
tese as 1as duas condições do WHERE já impõem). Ou entao cruzando com
layers espaciais intermediarios, como distrito e subdistrito antes de ir
pro setor censitario direto (mas não estou conseguindo criar estes layers
com base nos setores censitarios, por causa dos problemas topologicos
destes). Enfim, vou perguntar no StackOverflow para ver se alguém tem uma
idéia.

D) melhorar as queries textuais, com filtros nos textos e fuzzy acho que é
um ótimo caminho. Uma restrição, pelo menos como eu modelei os dados, é que
estou fazendo pareamento de arrays contendo nomes de ruas, que internamente
são ordenados alfabeticamente (uma linha da tabela representa uma quadra, e
há uma coluna que é um array, e lá dentro tem todos os nomes de rua,
ordenados alfabeticamente). Se o erro ou correção ocorrer no começo de
certo nome de rua, isso vai afetar a ordem alfabetica dos nomes de rua, e
não sei como o pareamento (possivelmente fuzzy) vai reagir a isso.

Você tem alguma idéia melhor de uma estrutura de dados mais adequada pro
pareamento?

Outra coisa, estou trabalhando no PostGis-Postgresql então o ideal seria os
"filtros foneticos" serem implementados no próprio Postgis. Tenho boa
familiaridade com R também, então, se precisar sair, a 2a opção mais fácil
de implementar seria o R.

E) pensei também nos blocos que parearem apenas 3 das 4 ruas. Bom,
considerando apenas quadras de 4 lados, para simplificar, seriam 2 quadras
para cada conjunto de 3 ruas. precisamos de uma forma de definir qual é
qual. Alguma idéia?

F) voce mencionou uma outra idéia, na qual eu também já trabalhei um pouco,
que é ir seguinto a descrição textual dos setores. Estes aquivos vem com
dois campos: "ponto inicial" e "decrição do setor". Com banstante traquejo
no uso de expressões regulares da para quebrar isso em seguencias de
esquinas (cruzamentos). Mas uma dificuldade é que e linguagem não é padrão.
Como os arquivos são produzidos de forma descentralizada, pelos ~500
escritórios locais do IBGE, há diferenças ao longo do brasil (talvez seja
por estado). Tem setores que está com "esquina da rua A com a B". Em outros
está "cruzamento rua A e rua B". Isso para o campo "ponto incial". A
descrição de setor tem ainda mais variabilidade.

G)  Outro elelmento que ainda não eplorei, mas que vem de uma idéia do
Peter Krauss, é que o CEP segue uma estrutura, tal que, cada seguimento de
uma rua, tem o mesmo CEP para as quadras dos dois lados da rua. Isso pode
ser mais um elemento para "amarrar" estes pareamentos de alguma forma.



enfim, estes são menos comentarios sobre as idéias que você mencionou.
Vamos pensar mais nisso para "espremer" tudo de informação últil no CNEFE e
vice-versa








2015-09-30 9:53 GMT-03:00 Lucas Ferreira Mation :

> fantástico Marcos,
>
> eu já "ataquei" várias linhas das que você sugeriu, mas ainda não
> completei. Tenho trocado algumas idéias a respeito, off-line do grupo para
> não tumultuar muito por aqui, com o  Peter Krauss. Podemos te incluir na
> conversa.
>
> Vamos por partes:
>
> A) A primeira grande dúvida que eu tenho é quanto podemos confiar no
> posicoinamento das ruas do OSM? Por exemplo, quando o shape de setor
> censitário e o OSM não batem, como eu posse ter certeza que o certo é o
> OSM? Será que o mapeador não se baseou numa imagem de satélite que também
> estava deslocada? Enfim, no meu código estou de certa forma to

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

.
>
> Pegar as áreas verdes (acho que village_green e park) com nome seria legal
> também, pois muitas praças dão nomes a logradouros, mas nem sempre isso se
> reflete na base de arruamento.
>
> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante
> tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse
> em expandir essa conversa além da lista (dá uma preguiça de escrever e a
> discussão demora, principalmente para brain storming) estou disposto a
> participar de discussões via áudio sobre o tema em horário não comercial e
> depois a gente pode colocar na lista um resumo para não perder o histórico.
>
> Sou programador experiente, posso ajudar a desenvolver rotinas de
> transformação de texto, consultas e análises espaciais necessárias para
> esse processo.
>
> Parabéns pelo trabalho até então, essa iniciativa é 10, somando esforços a
> gente vai destruir de deixar o OSM completo!
>
> Atenciosamente
> Marcos Fedato
>
>
> --
> Date: Wed, 30 Sep 2015 01:33:03 -0300
> From: lucasmat...@gmail.com
> To: talk-br@openstreetmap.org
> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE
>
>
> coloquei agora.
> Mudei o codigo mesmo , que estava grande demais pro Readme para
>
>
> https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sql
>
>
>
> 2015-09-29 15:45 GMT-03:00 Márcio Aguiar Ribeiro 
> :
>
> Oi, Lucas!
>
> Muito bom! Eu venho planejando fazer isso faz um tempo já. Entrei no
> repositório e fiquei fuçando o código e o que eu entendi é que ainda não
> está disponível, certo?
>
> Marcio Aguiar Ribeiro
>
> 2015-09-28 13:19 GMT-03:00 Lucas Ferreira Mation :
>
> Pessoal,
>
> retomando este assunto:
>  consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.
>
> O Cnefe tem 2.1 milhões de quarteirões.
> O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
> mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
> tem todos os lados nomeados.
>
> O primeiro critério do cruzamento foi que os quarteirões tinham que cair
> no mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O
> 2o critéiro foi que os nomes de todas as ruas que compõem o quarteirão
> batessem nas duas bases.
>
> Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
> Para estes quarteirões temos todos os endereços que estão no CNEFE.
>
> Os municípios com mais quarteirões são:
>
> São Paulo - 5mil.
> Bejo Horizonte -  3,5mil
> Curitiba - 3.2mil
> Campo Grande - 2.7mil
> Fortaleza - 1.9mil
> Ribeirão Preto - 1.7mil
> Rio de Janeiro - 1.5mil
>
> e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
> menos de 20 quarteirões encontrados.
>
> Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
> matches.
>
>
>
> ao longo do dia vou migrar o código para:
> https://github.com/lucasmation/osm_cnefe_import
>
>
>
> Lucas
>
>
>
>
>
>
>
>
> 2015-07-14 12:12 GMT-03:00 Peter Krauss :
>
> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
> conversar mais tecnicamente ;-)
>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
> também ajuda)
> Como sou novato, pretendo seguir um pouco "pelas bordas" e no escopo mais
> geral das discussões...
>
> A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
> apreciada em
>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
> que tal começarmos pelo CEP2?
>
> - - - -
> Quanto os problemas legais (direitos autorais reclamados pela ECT bem como
> lei do monopólio) , precisamos de apoio internacional, inclusive da OSM...
> Comecei a busca por essa discussão (link abaixo), e senti receptividade,
>
> *    http://opendata.stackexchange.com/q/5600/1313
> <http://opendata.stackexchange.com/q/5600/1313>*
> a parte juridica é importante para não jogarmos nosso tempo no lixo... Até
> onde conversei com advogados, se criarmos uma metodologia (algoritmos) para
> espacialização do CEP (ver links Wikipedia com preliminares), não tem
> problema algum: o primeiro a publicar é o autor... Por isso acho importante
> termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
> no http://arxiv.org
>
>
>
>
>
> Em 14 de julho de 2015 11:13, Lucas Ferreira Mation  > escreveu:
>
> Pessoal, estou colocando o que já tenho de código em:
>
>
> https://github.com/lucasmation/osm_cnefe_import
> (que perdoe a lingua portuguesa, escrevi em ing

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

coloquei agora.
Mudei o codigo mesmo , que estava grande demais pro Readme para

https://github.com/lucasmation/osm_cnefe_import/blob/master/OMS_and_CNEFE_blocks_matching.sql



2015-09-29 15:45 GMT-03:00 Márcio Aguiar Ribeiro :

> Oi, Lucas!
>
> Muito bom! Eu venho planejando fazer isso faz um tempo já. Entrei no
> repositório e fiquei fuçando o código e o que eu entendi é que ainda não
> está disponível, certo?
>
> Marcio Aguiar Ribeiro
>
> 2015-09-28 13:19 GMT-03:00 Lucas Ferreira Mation :
>
>> Pessoal,
>>
>> retomando este assunto:
>>  consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.
>>
>> O Cnefe tem 2.1 milhões de quarteirões.
>> O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
>> mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
>> tem todos os lados nomeados.
>>
>> O primeiro critério do cruzamento foi que os quarteirões tinham que cair
>> no mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O
>> 2o critéiro foi que os nomes de todas as ruas que compõem o quarteirão
>> batessem nas duas bases.
>>
>> Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
>> Para estes quarteirões temos todos os endereços que estão no CNEFE.
>>
>> Os municípios com mais quarteirões são:
>>
>> São Paulo - 5mil.
>> Bejo Horizonte -  3,5mil
>> Curitiba - 3.2mil
>> Campo Grande - 2.7mil
>> Fortaleza - 1.9mil
>> Ribeirão Preto - 1.7mil
>> Rio de Janeiro - 1.5mil
>>
>> e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
>> menos de 20 quarteirões encontrados.
>>
>> Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
>> matches.
>>
>>
>>
>> ao longo do dia vou migrar o código para:
>> https://github.com/lucasmation/osm_cnefe_import
>>
>>
>>
>> Lucas
>>
>>
>>
>>
>>
>>
>>
>>
>> 2015-07-14 12:12 GMT-03:00 Peter Krauss :
>>
>>> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
>>> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
>>> conversar mais tecnicamente ;-)
>>>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
>>> também ajuda)
>>> Como sou novato, pretendo seguir um pouco "pelas bordas" e no escopo
>>> mais geral das discussões...
>>>
>>> A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
>>> apreciada em
>>>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
>>> que tal começarmos pelo CEP2?
>>>
>>> - - - -
>>> Quanto os problemas legais (direitos autorais reclamados pela ECT bem
>>> como lei do monopólio) , precisamos de apoio internacional, inclusive da
>>> OSM... Comecei a busca por essa discussão (link abaixo), e senti
>>> receptividade,
>>>
>>> *http://opendata.stackexchange.com/q/5600/1313
>>> <http://opendata.stackexchange.com/q/5600/1313>*
>>> a parte juridica é importante para não jogarmos nosso tempo no lixo...
>>> Até onde conversei com advogados, se criarmos uma metodologia (algoritmos)
>>> para espacialização do CEP (ver links Wikipedia com preliminares), não tem
>>> problema algum: o primeiro a publicar é o autor... Por isso acho importante
>>> termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
>>> no http://arxiv.org
>>>
>>>
>>>
>>>
>>>
>>> Em 14 de julho de 2015 11:13, Lucas Ferreira Mation <
>>> lucasmat...@gmail.com> escreveu:
>>>
>>>> Pessoal, estou colocando o que já tenho de código em:
>>>>
>>>>
>>>> https://github.com/lucasmation/osm_cnefe_import
>>>> (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar
>>>> mais feedback dos desenvolvedores do OSM no mundo, foruns, etc)
>>>>
>>>> Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
>>>> elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
>>>> teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
>>>> quadras não pareadas. Mas o quão certo, 100% é isso?
>>>>
>>>> abs
>>>> Lucas
>>>>
>>>>
>>>>
>>>>
>>>> 2015-07-13 19:01 GMT-03:00 Peter Krauss :
>>>>
>>>>> Oi gen

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal,

retomando este assunto:
 consegui (finalmente!!!) cruzar os quarteirões do CNEFE com os do OSM.

O Cnefe tem 2.1 milhões de quarteirões.
O OSM tem 1.6 milhões de "quarteirões" (os quarteirões são algo que eu
mesmo crio, a partir da interseção das Ruas do OSM). Destes apenas 480 mil
tem todos os lados nomeados.

O primeiro critério do cruzamento foi que os quarteirões tinham que cair no
mesmo município (a partir do shapefile de municípios de 2010 do IBGE). O 2o
critéiro foi que os nomes de todas as ruas que compõem o quarteirão
batessem nas duas bases.

Com este critério consegui identificar 95mil quarteirões do CNEFE no OSM.
Para estes quarteirões temos todos os endereços que estão no CNEFE.

Os municípios com mais quarteirões são:

São Paulo - 5mil.
Bejo Horizonte -  3,5mil
Curitiba - 3.2mil
Campo Grande - 2.7mil
Fortaleza - 1.9mil
Ribeirão Preto - 1.7mil
Rio de Janeiro - 1.5mil

e assim vai. Encontrei quarteirões em 1822 municípios, mas a maioria tem
menos de 20 quarteirões encontrados.

Isso foi com pareamento extato. Vou começar agora a testar com fuzzy
matches.



ao longo do dia vou migrar o código para:
https://github.com/lucasmation/osm_cnefe_import



Lucas








2015-07-14 12:12 GMT-03:00 Peter Krauss :

> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
> conversar mais tecnicamente ;-)
>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
> também ajuda)
> Como sou novato, pretendo seguir um pouco "pelas bordas" e no escopo mais
> geral das discussões...
>
> A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
> apreciada em
>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
> que tal começarmos pelo CEP2?
>
> - - - -
> Quanto os problemas legais (direitos autorais reclamados pela ECT bem como
> lei do monopólio) , precisamos de apoio internacional, inclusive da OSM...
> Comecei a busca por essa discussão (link abaixo), e senti receptividade,
>
> *http://opendata.stackexchange.com/q/5600/1313
> <http://opendata.stackexchange.com/q/5600/1313>*
> a parte juridica é importante para não jogarmos nosso tempo no lixo... Até
> onde conversei com advogados, se criarmos uma metodologia (algoritmos) para
> espacialização do CEP (ver links Wikipedia com preliminares), não tem
> problema algum: o primeiro a publicar é o autor... Por isso acho importante
> termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
> no http://arxiv.org
>
>
>
>
>
> Em 14 de julho de 2015 11:13, Lucas Ferreira Mation  > escreveu:
>
>> Pessoal, estou colocando o que já tenho de código em:
>>
>>
>> https://github.com/lucasmation/osm_cnefe_import
>> (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
>> feedback dos desenvolvedores do OSM no mundo, foruns, etc)
>>
>> Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
>> elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
>> teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
>> quadras não pareadas. Mas o quão certo, 100% é isso?
>>
>> abs
>> Lucas
>>
>>
>>
>>
>> 2015-07-13 19:01 GMT-03:00 Peter Krauss :
>>
>>> Oi gente, acabo de me inscrever na lista... Posso participar da
>>> discussão?
>>>
>>> Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente
>>> ajudam a resolver ambiguidades e
>>> dar mais confiança à geocodificação... Até onde verifiquei, o
>>> Mapa-do-CEP não oferece problema jurídico...
>>> Postei um esboço metodológico da sua construção, na Wikipedia,
>>>
>>> https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
>>> que acham?
>>> Alguem falou em quadras por aqui, é justamente o foco metodológico...
>>>   http://gis.stackexchange.com/q/80498/7505
>>>
>>> PS: sobre pontos de endereçamento de utilidade publica, um bom projeto
>>> de referencia é o http://adresse.data.gouv.fr/
>>>
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Reunião Periodica - OSM Brasil‏‏

[Lucas Ferreira Mation]

legal, hoje poderei participar. Vai ser 12h00? em qual "local"/software?

2015-08-19 10:23 GMT-03:00 Peter Krauss :

> Que ótimo, teremos ao menos uma *lista dos CEPs válidos*??
> A partir da *lista* (só isso uma lista de números inteiros!) podemos
> viabilizar o projeto Mapa-do-CEP,
>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
>
> Essa tal de "lista dos CEPs" precisa ser oficial, com carimbo de "CC0"
>  dado pela ECT...
> Idealmente, para o OSM, seria importante também a listagem oficial (grafia
> e acentos corretos) de nomes de logradouros (que as prefeituras ão
> obrigadas a fornecer além dos correios) e nomes de bairro/loteamento,
>
>
>
>
>
> 2015-08-19 9:58 GMT-03:00 Thierry Jean :
>
>> Caros,
>>
>> Estive nos Correios em Brasilia, a semana passada, e tenho boas noticias.
>>
>> Sugiro que falemos hoje às 12h, horário habitual.
>>
>> Abs,
>>
>> Time: Aug 19, 2015 12:00 PM (GMT-3:00) Sao Paulo
>> Join from PC, Mac, iOS or Android: https://zoom.us/j/5694747229
>>
>> Or join by phone:
>> +55 21 3958 7888 (Brazil Toll)
>> Meeting ID: 569 474 7229
>> International numbers available:
>> https://zoom.us/zoomconference?m=tJqmRt7UxT13wmNluWqjTAVcKHBy1rtq
>>
>>
>> Thierry Jean
>>
>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal,

e ai, vamos ter a conversa mesmo hoje?
12h00?

alguém pode "criar" a reunião (google hangouts, ou alguma outra plataforma)?
(se precisar tenho skype também)






2015-07-14 12:12 GMT-03:00 Peter Krauss :

> Oi Lucas, ótimo trabalho (!), assim que sobrar um tempo (algum final de
> semana) ponho a mão-na-massa, para entender o que voce fez e como podemos
> conversar mais tecnicamente ;-)
>  (se tiver ilustrações, ex. UML, de modelo de dados para postar no git
> também ajuda)
> Como sou novato, pretendo seguir um pouco "pelas bordas" e no escopo mais
> geral das discussões...
>
> A ideia geral do projeto de Mapa-do-CEP ainda é rascunho mas pode ser
> apreciada em
>http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP
> que tal começarmos pelo CEP2?
>
> - - - -
> Quanto os problemas legais (direitos autorais reclamados pela ECT bem como
> lei do monopólio) , precisamos de apoio internacional, inclusive da OSM...
> Comecei a busca por essa discussão (link abaixo), e senti receptividade,
>
> *http://opendata.stackexchange.com/q/5600/1313
> <http://opendata.stackexchange.com/q/5600/1313>*
> a parte juridica é importante para não jogarmos nosso tempo no lixo... Até
> onde conversei com advogados, se criarmos uma metodologia (algoritmos) para
> espacialização do CEP (ver links Wikipedia com preliminares), não tem
> problema algum: o primeiro a publicar é o autor... Por isso acho importante
> termos resultado a curto prazo de um projeto-piloto com OSM e publicarmos
> no http://arxiv.org
>
>
>
>
>
> Em 14 de julho de 2015 11:13, Lucas Ferreira Mation  > escreveu:
>
>> Pessoal, estou colocando o que já tenho de código em:
>>
>>
>> https://github.com/lucasmation/osm_cnefe_import
>> (que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
>> feedback dos desenvolvedores do OSM no mundo, foruns, etc)
>>
>> Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
>> elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
>> teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
>> quadras não pareadas. Mas o quão certo, 100% é isso?
>>
>> abs
>> Lucas
>>
>>
>>
>>
>> 2015-07-13 19:01 GMT-03:00 Peter Krauss :
>>
>>> Oi gente, acabo de me inscrever na lista... Posso participar da
>>> discussão?
>>>
>>> Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente
>>> ajudam a resolver ambiguidades e
>>> dar mais confiança à geocodificação... Até onde verifiquei, o
>>> Mapa-do-CEP não oferece problema jurídico...
>>> Postei um esboço metodológico da sua construção, na Wikipedia,
>>>
>>> https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
>>> que acham?
>>> Alguem falou em quadras por aqui, é justamente o foco metodológico...
>>>   http://gis.stackexchange.com/q/80498/7505
>>>
>>> PS: sobre pontos de endereçamento de utilidade publica, um bom projeto
>>> de referencia é o http://adresse.data.gouv.fr/
>>>
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal, estou colocando o que já tenho de código em:


https://github.com/lucasmation/osm_cnefe_import
(que perdoe a lingua portuguesa, escrevi em ingles para poder pegar mais
feedback dos desenvolvedores do OSM no mundo, foruns, etc)

Peter, bem vindo. Eu usei mesmo esta pergunta do gis.stackexchange. E
elaborei em cima. Esta questão de dois lados do mesmo seguimento de rua
teremo o mesmo CEP eu poderia explorar para melhorar o paramento, mesmo em
quadras não pareadas. Mas o quão certo, 100% é isso?

abs
Lucas




2015-07-13 19:01 GMT-03:00 Peter Krauss :

> Oi gente, acabo de me inscrever na lista... Posso participar da discussão?
>
> Eu tenho interesse no mapeamento do CEP e do CNEFE, que justamente ajudam
> a resolver ambiguidades e
> dar mais confiança à geocodificação... Até onde verifiquei, o Mapa-do-CEP
> não oferece problema jurídico...
> Postei um esboço metodológico da sua construção, na Wikipedia,
>
> https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders
> que acham?
> Alguem falou em quadras por aqui, é justamente o foco metodológico...
>   http://gis.stackexchange.com/q/80498/7505
>
> PS: sobre pontos de endereçamento de utilidade publica, um bom projeto de
> referencia é o http://adresse.data.gouv.fr/
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal,

1) obrigado, Ok, entendo que existem ruas distintas com mesmo nome dentro
de um município. Mas quão sério é este problema? Afeta qual porcentagem dos
municípios? E qual porcentagem, em média, das ruas de dos municípios me que
isso ocorre? Alguém já tentou estimar estas coisas, ou imagina alguma forma
de fazê-lo?

Pergunto porque, talvez se for algo raro seja possível supor a unicidade do
nome (exceto Brasília, Goiânia, etc) e depois tratar as duplicidades
separadamente.
E pensando bem, talvez este problema não atrapalhe a importação de dados
CNEFE > OSM

2) Vários falaram que existem fontes oficiais de listas de ruas para várias
cidades.
Alguém da comunidade se anima a organizar uma tabela, wiki (ou mesmo
sequencia de emails) com as fontes de informação para cada município e um
link onde fosse possível baixar a base. Eu posso tentar fazer a integração
destas bases, mas preciso desta lista.

O Vitor menciona o uso da base dos correios para validação dos nomes (entre
CNEFE e OSM). Levando em conta a questão dos direitos autorais, isos pode
ser feito? Não se trataria extrair dados da base dos correios, apenas
usá-la para validar (se o tema for polêmico vamos deixar para debater em
outra tread, esta já tem muito assunto...).

3) Em breve mando uns print-screens de Setor Censitário vs. OSM.











2015-07-13 11:33 GMT-03:00 Reinaldo Neves :

> Bom dia George,
>
> Sinto ser portador de más notícias, e espero manter a cabeça em cima dos
> ombros, mas creio que vai ter que revisar os sistemas em produção que use
> essa tupla como identificador.  Como indiquei em outro email tipo e nome de
> logradouro não podem ser usados como PK sem incorrer em graves problemas
> caso o sistema seja de uso nacional.
>
> Caso alguém da lista precise de maiores esclarecimento por favor é só
> avisar.
>
> Abraços
>
> ___
> Reinaldo Neves
> Equação Informática
> (11) 3221-3722
>
> Reinaldo
>
> De: George Silva [mailto:georger.si...@gmail.com]
> Enviada em: segunda-feira, 13 de julho de 2015 10:57
> Para: OpenStreetMap no Brasil
> Assunto: Re: [Talk-br] OSM - CNEFE
>
> Sempre que fiz algum sistema o que identifica o logradouro e a tupla tipo
> + nome. Para mim estes exemplos não são duplicados.
>
> Em segunda-feira, 13 de julho de 2015, Vitor George <
> vitor.geo...@gmail.com> escreveu:
> Reinaldo, mas o tipo logradouro não serve diferenciar o nome nestes casos?
> Existirá duas ruas Antonio Carlos Magalhães na mesma cidade?
>
> 2015-07-13 10:19 GMT-03:00 Reinaldo Neves :
> Vitor bom dia,
>
> O caso de BH não é único, mas talvez seja das poucas cidades em que exista
> uma lei regulando isso.  Eu trabalho com validação de endereços há alguns
> anos e o problema é recorrente.
>
> Alias para ficarmos num único exemplo em Salvador temos:
> 7 - Rua Antonio Carlos Magalhães,
> 5 - Avenida Antonio Carlos Magalhães
> 2 - Rua Luis Eduardo Magalhães
> 2 - Avenida Luis Eduardo Magalhães
>
> Sem contar travessas e praças com o mesmo nome.
>
> Reinaldo
>
> De: Vítor Rodrigo Dias [mailto:vitor.d...@gmail.com]
> Enviada em: segunda-feira, 13 de julho de 2015 09:55
> Para: OpenStreetMap no Brasil
> Assunto: Re: [Talk-br] OSM - CNEFE
> Lucas,
>
> Há casos em cidades grandes onde pode haver essa duplicidade, mesmo no
> caso de haver lei proibindo. Já vi reportagens versando sobre a existência
> de ruas duplicadas aqui em Belo Horizonte, mas não sei se ainda existem ou
> já foram corrigidas.
>
> Em 13 de julho de 2015 08:49, Lucas Ferreira Mation 
> escreveu:
> pessoal,
>
> fica marcada então a reunião para quarta feira, 15/07, 12h00. Ok?
>
> abaixo já algumas dúvidas que tenho tido:
>
> 1) Como é a normatização dos nomes de ruas no Brasil? Dentro de um
> município duas ruas diferentes podem legalmente ter o mesmo nome? Varia de
> município a município?
>
> 2) Existe algum banco de dados com os nomes corretos das ruas? Como o
> George falou, "existem duas situações: o nome do OSM estar errado, ou o
> nome do CNEFE estar errado". Seria muito bom ter uma 3a fonte, o mais
> oficial possível, para nomes de ruas. Existem listas separadas, talvez
> município a município, que contenham isso, e que podem ser juntadas?
>
> 3) Em algum momento vou precisar fazer um cruzamento espacial entre os
> dados do OSM e os polígonos de setores censitários (que são a fonte mais
> espaciamente precisa dos dados do Censo). Só que os shapes de setores
> censitários muitas vezes estão deslocados em algum direção. Como estes
> shapes agregam informações de vários provedores locais de mapas, estes
> erros podem variar significativamente entre municípios. Seria interessante
> ter uma medida de margem de erro entre os Setores Censistários e a
> "realidade&quo

Re: [Talk-br] OSM - CNEFE

[Lucas Ferreira Mation]

pessoal,

fica marcada então a reunião para quarta feira, 15/07, 12h00. Ok?

abaixo já algumas dúvidas que tenho tido:

1) Como é a normatização dos nomes de ruas no Brasil? Dentro de um
município duas ruas diferentes podem legalmente ter o mesmo nome? Varia de
município a município?

2) Existe algum banco de dados com os nomes corretos das ruas? Como o
George falou, "existem duas situações: o nome do OSM estar errado, ou o
nome do CNEFE estar errado". Seria muito bom ter uma 3a fonte, o mais
oficial possível, para nomes de ruas. Existem listas separadas, talvez
município a município, que contenham isso, e que podem ser juntadas?

3) Em algum momento vou precisar fazer um cruzamento espacial entre os
dados do OSM e os polígonos de setores censitários (que são a fonte mais
espaciamente precisa dos dados do Censo). Só que os shapes de setores
censitários muitas vezes estão deslocados em algum direção. Como estes
shapes agregam informações de vários provedores locais de mapas, estes
erros podem variar significativamente entre municípios. Seria interessante
ter uma medida de margem de erro entre os Setores Censistários e a
"realidade", para colocar como margem de tolerância ( ST_Buffer() ) no
cruzamento espacial.








2015-07-10 14:56 GMT-03:00 Vitor George :

> Topo conversar na semana que vem, Lucas. Será bom retomar este assunto.
>
> Fiz um script para importar dados do CNEFE ao MongoDB, não deve ser
> difícil alterar para ser ao PostGIS:
>
> https://github.com/vgeorge/cnefe-parser
>
> Usei este script to Thiago como base:
>
> https://github.com/tmpsantos/cnefe-tools/blob/master/cnefe-validator
>
> Abraço,
> Vitor
>
>
>
>
> 2015-07-10 11:20 GMT-03:00 George Silva :
>
>> Olá Lucas, bom dia!
>>
>>
>> Trabalho no IPEA. Há mais o menos 1 ano eu propuz algo aqui na lista
>>> sobre usar o CNEFE no OSM (e o inverso também: usar os dados do OSM para
>>> melhorar a espacialização dos dados do CENSO). Desde então o projeto ficou
>>> parado.
>>>
>>
>> Show de bola, acho que é um casamento legal.
>>
>>
>>> Montei um servodor Postgres/PostGis "forte" e importei os dados do OSM
>>> (geofabrik planet dump do Brasil, usando o osm2pgsql).
>>>
>>> Consegui fazer um negócio interessante que é definir "quarteirões" a
>>> partir das ruas do OSM. Cada quarteirão é caracterizado por um conjunto
>>> (array) de ruas. Então, contanto que os nomes de ruas estejam corretos, dá
>>> para mapear os "quarteirões" do OSM com os quarteirões do CNEFE. Com isso
>>> seria possível importar os endereços para cada seguimento de rua, caso isso
>>> seja de interesse da comunidade.
>>>
>>
>> Certo.
>>
>>
>>> A outra coisa a ser feita é usar o CNEFE, a partir da malha de setores
>>> censitários, para identificar possíveis nomes de ruas para o OSM. Nesta
>>> parte eu ainda não trabalhei, mas está na minha lista de tarefas.
>>>
>>
>> Acho que podemos usar para conferir os nomes de ruas. Mas existem duas
>> situações: o nome do OSM estar errado, ou o nome do CNEFE errado, certo?
>>
>>
>>>
>>> Seria ótimo ter ajuda de outras pessoas, principalmente programadores
>>> com experiência com SQL/Postgres/Postgis. E também pessoas da comunidade
>>> que entendam bem os conceitos etc (por exemplo, para definir os quarteirões
>>> eu levei em conta algumas tags que identificavam ruas, mas talvez eu tenha
>>> perdido algo, não colocando ferrovias, ou includo ruas subterrâneas por
>>> exemplo).
>>>
>>
>> Suba os códigos no Github e vejo o que posso ajudar (pelo menos na
>> questão do PostGIS - já que sou novo no OSM.
>>
>>
>>> Eu vou colocar todos os códigos que usar no github. Infelizmente não
>>> posso abrir o servidor do Ipea em que importei os dados do OSM para pessoas
>>> de fora. Mas tendo os códigos públicos as pessoas podem ir replicando em
>>> casa, ou fazendo sugestões que nos rodaremos por aqui.
>>>
>>
>> Show.
>>
>> Por mim um hangout na quarta seria ok!
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] OSM - CNEFE

[Lucas Ferreira Mation]

Pessoal,


Trabalho no IPEA. Há mais o menos 1 ano eu propuz algo aqui na lista sobre
usar o CNEFE no OSM (e o inverso também: usar os dados do OSM para melhorar
a espacialização dos dados do CENSO). Desde então o projeto ficou parado.
Mas agora está sobrando mais tempo e eu estou dominando mais
SQL/Postgres/Postgis. Consegui fazer alguns avaços, que listo abaixo.

Vamos marcar uma reunião on-line (hangout) para discutir este negócio? que
tal terça, ou quarta, ou quinta se semana que vem, na hora do almoço?

abaixo descrevo o que já fiz e algumas idéias

abs
Lucas



Montei um servodor Postgres/PostGis "forte" e importei os dados do OSM
(geofabrik planet dump do Brasil, usando o osm2pgsql).

Consegui fazer um negócio interessante que é definir "quarteirões" a partir
das ruas do OSM. Cada quarteirão é caracterizado por um conjunto (array) de
ruas. Então, contanto que os nomes de ruas estejam corretos, dá para mapear
os "quarteirões" do OSM com os quarteirões do CNEFE. Com isso seria
possível importar os endereços para cada seguimento de rua, caso isso seja
de interesse da comunidade.

A outra coisa a ser feita é usar o CNEFE, a partir da malha de setores
censitários, para identificar possíveis nomes de ruas para o OSM. Nesta
parte eu ainda não trabalhei, mas está na minha lista de tarefas.


Seria ótimo ter ajuda de outras pessoas, principalmente programadores com
experiência com SQL/Postgres/Postgis. E também pessoas da comunidade que
entendam bem os conceitos etc (por exemplo, para definir os quarteirões eu
levei em conta algumas tags que identificavam ruas, mas talvez eu tenha
perdido algo, não colocando ferrovias, ou includo ruas subterrâneas por
exemplo).

Eu vou colocar todos os códigos que usar no github. Infelizmente não posso
abrir o servidor do Ipea em que importei os dados do OSM para pessoas de
fora. Mas tendo os códigos públicos as pessoas podem ir replicando em casa,
ou fazendo sugestões que nos rodaremos por aqui.
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Cartórios

[Lucas Ferreira Mation]

É, o complicado é que esta é uma jabuticaba nossa... Nos EUA por exemplo
acho que notary é um advogado c poder de validar um contrato. Mas o cara
vai ate o contrato, em geral não é um lugar físico
Em 21/05/2014 20:12, "Fernando Trebien" 
escreveu:

> Suspeito que o mais próximo é pensando na relação entre "cartório" e
> "notary". Este último é mapeado com office=lawyer+lawyer=notary.
>
> Outra opção, talvez menos clara, é office=government.
>
> 2014-05-21 18:58 GMT-03:00 Raffaello Bruno Limongi Freire
> :
> > Oi,
> >
> > alguém sabe como mapear cartório de registro de imóveis, hipotecas e
> notas?
> >
> > Obrigado,
> > Raffaello Bruno
> >
> > ___
> > Talk-br mailing list
> > Talk-br@openstreetmap.org
> > https://lists.openstreetmap.org/listinfo/talk-br
> >
>
>
>
> --
> Fernando Trebien
> +55 (51) 9962-5409
>
> "Nullius in verba."
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Maratona de Edições da Copa

[Lucas Ferreira Mation]

Já tem uma Wiki sobre a "Mapatona" rolando???


2014-05-13 13:33 GMT-03:00 Wille :

> Pode ser Mapatona sim!
>
> Coloquei a lista de cidades sede com link para o mapa da cidade e para o
> estádio no wiki.
>
>
>
>
> On 13-05-2014 12:48, Fernando Trebien wrote:
>
>> Eu concordo, e posso ajudar se quiserem. Mas pra não dar confusão (e
>> quem sabe até estimular a participação internacional), talvez seja bom
>> ter um canal também pros estrangeiros que não falam português.
>>
>> 2014-05-13 12:35 GMT-03:00 Vitor George :
>>
>>> Muito legal!
>>>
>>> O que vocês acham de chamar de Mapatona?
>>>
>>> Também podemos divulgar em inglês, já que pode rolar muito mapeamento de
>>> cadeira.
>>>
>>>
>>> 2014-05-13 11:44 GMT-03:00 Wille :
>>>
 Concordo!


 Então seriam 3 objetivos gerais:

 1. Melhorar o mapeamento no entorno dos estádios;
 2. Melhorar o mapeamento de POIs úteis a turistas: pontos turísticos,
 hotéis, restaurantes...
 3. Melhorar os endereços das regiões que se encaixam nos critérios acima
 mencionados.

 A data pode ser dia 30/05 mesmo?

 Criei a página no Wiki:
 http://wiki.openstreetmap.org/wiki/Mapathon_Copa_2014

 abçs,
 wille


 On 13-05-2014 11:36, Fernando Trebien wrote:

> Pensei em mais uma sugestão de assunto. O que mais falta no mapa
> brasileiro para os usuários comuns? Endereços! Esse poderia ser o foco
> da maratona.
>
> Nos dias anteriores à maratona, os participantes observariam nas suas
> cidades se a numeração é normalmente sequencial (caso em que dá pra
> usar interpoladores) ou se é irregular (caso em que é necessário
> mapear o endereço de cada residência individualmente). Poderiam
> inclusive começar a coletar esses endereços, usando métodos como o
> FieldPapers, tracklogs (à la OSMAnd), ou qualquer outro de sua
> preferência. E no dia, nós nos preocuparíamos em colocar esses
> endereços no mapa e em ajudar respondendo dúvidas sobre como mapear e
> resolver eventuais problemas (casos em que por exemplo o Nominatim não
> está retornando os endereços).
>
> Podemos escolher lugares relacionados com a Copa (estádios, regiões
> hoteleiras e/ou turísticas, regiões boêmias, etc.) e mapear os
> endereços nas proximidades desses centros. Isso daria visibilidade ao
> problema e provavelmente estimularia outros usuários a continuar esse
> mapeamento depois.
>
> Os participantes da maratona também poderiam aproveitar os dias
> anteriores para investigar se existe uma fonte de dados de endereços
> importável na sua cidade e/ou no seu estado. Daí no dia da maratona
> estaríamos ajudando-os com o processo de importação.
>
> O que acham?
>
> 2014-05-13 11:12 GMT-03:00 Lists :
>
>> Quando definido o dia e o alvo do Mapaton, podemos devulgar no Wiki
>> para
>> convidar pessoas que talvez não ler este lista.
>>
>> Aun Johnsen
>>
>> On May 13, 2014, at 8:54, Fernando Trebien <
>> fernando.treb...@gmail.com>
>> wrote:
>>
>> Acho que funcionou bem, mas como clientes IRC ocupam menos espaço na
>> tela,
>> acho que mais gente deixaria o programa aberto e visível enquanto
>> mapeia
>> (eu
>> tinha uma tendência a deixar o MoPad em segundo plano pra usar o
>> espaço
>> da
>> tela pra fazer a tradução).
>>
>> Temos algum objetivo específico com a maratona? Tipo mapear o entorno
>> de
>> estádios, ou mapear alojamentos, aeroportos, pontos turísticos?
>>
>> On May 13, 2014 12:12 AM, "Alexandre Magno Brito de Medeiros"
>>  wrote:
>>
>>> O MoPad não funcionou bem, durante do FISL?
>>>
>>>
>>> Em 12 de maio de 2014 23:19, Wille  escreveu:
>>>
 [...] a ideia de fazer uma maratona de edições nas cidades sede da
 Copa.
 [...] Poderíamos nos reunir em um canal de IRC e quem quiser
 organizar
 eventos presenciais em suas cidades.

>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>  ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br

>>>
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>
>>

Re: [Talk-br] Maratona de Edições da Copa

[Lucas Ferreira Mation]

Pessoal,

acho bacana,

talvez haja interesse também de gente fora do Brasil.

Saindo um pouco numa tangente:
 há um tempo estou pensando em propor uma hackton para fazer as coisas da
importação do CNEFE. Poderiamos tentar fazer para as cidades da copa.
Basicamente se conseguirmos bater os nomes de ruas do CNEFE com os do OSM
(com alguma validação humana), dá para pegar os números a partir do CNEFE.
Os nomes de rua não são muito confiáveis no CNEFE, mas acho que os números
são bem mais confiávies.

Mas enfim, é muito mais uma maratona de programação do que de "mapeamento"
tradicional. Acho que seria algo em paralelo, mas que pode ajudar a
maratona mais tradicional da COPA.

Será que haveria  pessoas com estas habilidades de programação
interessados?

abs
Lucas








2014-05-13 11:44 GMT-03:00 Wille :

> Concordo!
>
> Então seriam 3 objetivos gerais:
>
> 1. Melhorar o mapeamento no entorno dos estádios;
> 2. Melhorar o mapeamento de POIs úteis a turistas: pontos turísticos,
> hotéis, restaurantes...
> 3. Melhorar os endereços das regiões que se encaixam nos critérios acima
> mencionados.
>
> A data pode ser dia 30/05 mesmo?
>
> Criei a página no Wiki: http://wiki.openstreetmap.org/
> wiki/Mapathon_Copa_2014
>
> abçs,
> wille
>
>
> On 13-05-2014 11:36, Fernando Trebien wrote:
>
>> Pensei em mais uma sugestão de assunto. O que mais falta no mapa
>> brasileiro para os usuários comuns? Endereços! Esse poderia ser o foco
>> da maratona.
>>
>> Nos dias anteriores à maratona, os participantes observariam nas suas
>> cidades se a numeração é normalmente sequencial (caso em que dá pra
>> usar interpoladores) ou se é irregular (caso em que é necessário
>> mapear o endereço de cada residência individualmente). Poderiam
>> inclusive começar a coletar esses endereços, usando métodos como o
>> FieldPapers, tracklogs (à la OSMAnd), ou qualquer outro de sua
>> preferência. E no dia, nós nos preocuparíamos em colocar esses
>> endereços no mapa e em ajudar respondendo dúvidas sobre como mapear e
>> resolver eventuais problemas (casos em que por exemplo o Nominatim não
>> está retornando os endereços).
>>
>> Podemos escolher lugares relacionados com a Copa (estádios, regiões
>> hoteleiras e/ou turísticas, regiões boêmias, etc.) e mapear os
>> endereços nas proximidades desses centros. Isso daria visibilidade ao
>> problema e provavelmente estimularia outros usuários a continuar esse
>> mapeamento depois.
>>
>> Os participantes da maratona também poderiam aproveitar os dias
>> anteriores para investigar se existe uma fonte de dados de endereços
>> importável na sua cidade e/ou no seu estado. Daí no dia da maratona
>> estaríamos ajudando-os com o processo de importação.
>>
>> O que acham?
>>
>> 2014-05-13 11:12 GMT-03:00 Lists :
>>
>>> Quando definido o dia e o alvo do Mapaton, podemos devulgar no Wiki para
>>> convidar pessoas que talvez não ler este lista.
>>>
>>> Aun Johnsen
>>>
>>> On May 13, 2014, at 8:54, Fernando Trebien 
>>> wrote:
>>>
>>> Acho que funcionou bem, mas como clientes IRC ocupam menos espaço na
>>> tela,
>>> acho que mais gente deixaria o programa aberto e visível enquanto mapeia
>>> (eu
>>> tinha uma tendência a deixar o MoPad em segundo plano pra usar o espaço
>>> da
>>> tela pra fazer a tradução).
>>>
>>> Temos algum objetivo específico com a maratona? Tipo mapear o entorno de
>>> estádios, ou mapear alojamentos, aeroportos, pontos turísticos?
>>>
>>> On May 13, 2014 12:12 AM, "Alexandre Magno Brito de Medeiros"
>>>  wrote:
>>>
 O MoPad não funcionou bem, durante do FISL?


 Em 12 de maio de 2014 23:19, Wille  escreveu:

> [...] a ideia de fazer uma maratona de edições nas cidades sede da
> Copa.
> [...] Poderíamos nos reunir em um canal de IRC e quem quiser organizar
> eventos presenciais em suas cidades.
>

 ___
 Talk-br mailing list
 Talk-br@openstreetmap.org
 https://lists.openstreetmap.org/listinfo/talk-br

  ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>>
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Dados históricos OSM-Brasil

[Lucas Ferreira Mation]

Valeu Alexandre!!!


2014-05-09 4:12 GMT-03:00 Alexandre Magno Brito de Medeiros <
alexandre@gmail.com>:

> Importei os PDF no Inkscape <https://pt.wikipedia.org/wiki/Inkscape> e
> exportei (salvei) como SVG <https://pt.wikipedia.org/wiki/SVG>. Era PDF
> vetorial <https://pt.wikipedia.org/wiki/Desenho_vetorial>. Então eu
> enviei os SVG para o wiki e eles estão sendo exibidos com largura 
> 660px<http://wiki.openstreetmap.org/wiki/Stats_-_Brasil>.
> Os navegadores de hoje exibem SVG (na verdade, o wiki exibe um PNG resultado
> de conversão 
> automática<http://wiki.openstreetmap.org/w/images/thumb/8/84/Brasil_history_points.svg/660px-Brasil_history_points.svg.png>).
> Se aqui existisse um problema, seria  o caso de se pegar os mesmos SVG do
> wiki, abri-los no Inkscape, e fazer a exportação para 
> bitmap<https://pt.wikipedia.org/wiki/Raster>(
> PNG <https://pt.wikipedia.org/wiki/PNG>) em resolução 
> (dpi<https://pt.wikipedia.org/wiki/Dpi>)
> alta ou tamanho satisfatório.
>
> Alexandre Magno
>
>
> Em 8 de maio de 2014 22:27, Nelson A. de Oliveira escreveu:
>
> 2014-05-08 21:50 GMT-03:00 Lucas Ferreira Mation :
>> > O Stata me permite salvar nestas resoluções:
>>
>> Tem como gerar PNG com anti-aliasing?
>> E não dá para especificar um tamanho (ou resolução) na hora de exportar?
>>
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Dados históricos OSM-Brasil

[Lucas Ferreira Mation]

putz, não sei porque aconteceu isso, tá numa resolução bem pior que o
normal.
O Stata me permite salvar nestas resoluções:

 .psas(ps) PostScript
.eps   as(eps)EPS (Encapsulated PostScript)
.wmf   as(wmf)Windows Metafile
.emf   as(emf)Windows Enhanced Metafile
.pdf   as(pdf)PDF
.png   as(png)PNG (Portable Network Graphics)
.tif   as(tif)TIFF

mas o wiki do OSM só aceita estas:   png, gif, jpg, jpeg, doc, pdf, odt,
odp, svg.

tentei trocar para pdf mas além de não melhorar as imagens ainda ficaram
pequenas.


2014-05-08 18:10 GMT-03:00 Alexandre Magno Brito de Medeiros <
alexandre@gmail.com>:

> Se tinha imagem de resolução melhor... acho que não vale à pena economizar
> tanto no tamanho. Tem? O wiki redimensiona "na exibição".
>
> Alexandre Magno
>
>
> Em 8 de maio de 2014 18:03, Lucas Ferreira Mation 
> escreveu:
>
> joguei nesta wiki (incompleta...)
>>
>> http://wiki.openstreetmap.org/wiki/Stats_-_Brasil
>>
>>
>> 2014-05-08 16:36 GMT-03:00 Lucas Ferreira Mation :
>>
>>> Fiz agora o da malha total (ruas + rodovias, etc) (supondo que estas
>>> sejam indicadas pelo tag "highway" no history file)
>>>
>>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Dados históricos OSM-Brasil

[Lucas Ferreira Mation]

joguei nesta wiki (incompleta...)

http://wiki.openstreetmap.org/wiki/Stats_-_Brasil


2014-05-08 16:36 GMT-03:00 Lucas Ferreira Mation :

> Fiz agora o da malha total (ruas + rodovias, etc) (supondo que estas sejam
> indicadas pelo tag "highway" no history file)
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 2014-05-08 11:17 GMT-03:00 Lucas Ferreira Mation :
>
> Pessoal,
>>
>> tava há um tempo tentando fazer isso. Seguem os gráficos da evolução dos
>> dados do OSM no Brasil (detalhes abaixo)
>> Fiz para número de pontos e comprimento total das linhas (anexos, se o
>> grupo não comportar anexos me avisem que posto no Dropbox, ou numa wiki).
>>
>> Agora que tá feito dá para fazer outros gráficos que sejam de interesse.
>>
>>  Agora vou tentar fazer um novo gráfico com o comprimento das vias (ruas,
>> estradas), separando entre as "nomeadas" e "não nomeadas".
>> Uma dúvida: para separar as vias basta olhar as que tem a tag "highway"
>> (independente do subtipo de residencial, unclassified, etcc), certo?
>>
>>
>> Detalhes de como eu fiz:
>>  (1) baixar o history file do Brasil (preparado pelo "MaZderMind",
>> disponível aqui:
>> http://osm.personalwerk.de/full-history-extracts/latest/south-america/brazil.osh.pbf
>> ),
>> (2) montar um servidor linux, com postgres/postgis e importar os dados do
>> history-file-Brasil, (3) aprender o básico de SQL para fazer as consultas,
>> e dos comandos espaciais do postgis e (4) exportar pro Stata (um software
>> pago de estatística que eu conheço mais, mas poderia ser R ou qualquer
>> coisa) e fazer os gráficos.
>>
>> se alguém quiser mando os programas.
>>
>> abs
>> Lucas
>>
>>
>>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] RES: Listas de endereços por município

[Lucas Ferreira Mation]

Pessoal,

esse é o espírito.
Vamos tentar computar uma lista com os links ou arquivos de listagens de
ruas das prefeituras?

Similar ao que foi feito para os shapes das prefeituras aqui:
http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Importa%C3%A7%C3%B5es/Prefeituras

Com base nisso vai dar para juntar tudo e filtrar o CNEFE. Posso fazer este
cruzamento, não consigo encontrar as listagens locais/oficiais.

Lucas




2014-04-25 10:43 GMT-03:00 Reinaldo Neves :

> Grafia de rua realmente é um problema sério, penas para ficar em um
> exemplo que tenho catalogado devido ao processo de Auditoria de Endereços
> que faço em relação a base de CEPs, este é um caso real retirado de arquivo
> de um cliente:
>
>
>
> RUA *RROUXINOL* NR 575
>
> R *ROXINOL* NUM 575
>
> R *ROUCHINOL* 575
>
> R *REGIONOL* 575
>
> RUA *AV* ROUXINOL 575
>
> R *ROXINO* 575
>
> R *AVENIDA* ROUXINOL 575
>
> R *ROUSCHINOL* 575
>
>
>
> Algumas coisas podem ser dicionarizadas mas com muito critério, outras
> somente um trabalho manual mesmo, apenas para ficar num caso já citado aqui
> não é possível dicionarizar usando fonética ( Izabel e Isabel, Sousa e
> Souza ) entre outros, pois ambas as grafias são corretas.
>
>
>
> Os cadastros da prefeitura são as melhores referências, seguido pelo
> correio (Base mantida a mais tempos com objetivo de endereçamento) e o
> CNEFE em ultima instância ( pelo volume de dados disponível numa única
> fonte ), nos casos de placas de rua o problema não é o cadastro mas a
> execução do serviço até pouco tempo atrás tínhamos placas para a R Estela e
> R Stela uma em frente a outra aqui em São Paulo.  Só para constar o Correio
> não tem nenhuma Rua Doutor Ébano catalogada no CEP.
>
>
>
> Mesmo podendo existir algum erro no CNEFE alguma informação é melhor que
> nenhuma informação, de qualquer maneira estou corrigindo a base CNEFE que
> tenho aqui e padronizando de acordo com a EXCT no caso de cidades com CEP
> por logradouro, mas o processo é realmente longo.
>
>
>
> De resto para minhas inserções no OSM sigo o critério de não alterar o
> source para correções do tipo ROUCHINOL  para ROUXINOL, MEM SA para MEM DE
> SA, acentuação, pluralidade, etc
>
>
>
> Reinaldo
>
>
>
>
>
>
>
> *De:* John Packer [mailto:john.pack...@gmail.com]
> *Enviada em:* quinta-feira, 24 de abril de 2014 23:36
> *Para:* OpenStreetMap no Brasil
> *Assunto:* Re: [Talk-br] Listas de endereços por município
>
>
>
> Por mim, poderia ser passado um corretor ortográfico pelos nomes de ruas
> retirados pelo IBGE.
>
> Não tem nenhuma garantia de qualidade neles.
>
>
>
> Em 24 de abril de 2014 23:30, Lucas Ferreira Mation 
> escreveu:
>
> Tem casos em que é clara a grafia, como em JK e outros nomes comuns,  da
> para fazer um dicionário. Mas tem vários casos em que não da para saber.
>
> Se conseguíssemos juntar listas de varias fontes "oficiais"/corretas, ou
> pelo menos mais corretas que o CNEFE, eu posso fazer um matching
> probabilístico p ficar c um cnefe com as grafias corrigidas. Assim daria p
> juntar as vantagens do cnefe ter ruas com algumas indicação de localização
> (setor censitário), com a grafia correta das listagens oficiais
>
> Em 24/04/2014 23:17, "Alexandre Magno Brito de Medeiros" <
> alexandre@gmail.com> escreveu:
>
> Sim, é basicamente isso. Não me lembro de ter inserido ou retirado termos
> ou letras de algum nome. A não ser um singular/plural evidentemente
> destoante.
>
> Alexandre Magno
>
>
>
> Em 24 de abril de 2014 23:12, Nelson A. de Oliveira 
> escreveu:
>
> Se são correções do tipo Joao → João não há necessidade de mudar o source.
>
>
>
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] lecença do OSM, uso pelo governo/empresas

[Lucas Ferreira Mation]

Interessante ver os contra argumentos nos comentários do post, me deixou na
duvida sobre o que seria a melhor forma.

Mas acho que haveria demanda sim, por parte dos governos. Ouvi falar que
mesmo o ibge teve muita dificuldade e licitações complicadas com
fornecedores de mapas locais para conseguir uma malha de ruas do Brasil. E
depois, quando os recenseadores foram a campo verificaram que alguns mapas
tinham muitos erros em alguns locais.

Sem falar no custo que é fazer uma licitação no Brasil, formulação de
edital, jurídica, depois fornecedores que perderam recorrendo, etc. Aqui no
ipea fizemos uma "conta de padeiro" ( não é oficial!) do custo das horas
dos funcionários envolvidos numa licitação de software e serviços
similares. O custo estimado foi 10 mil reais, independente se o programa
custe 100 ou 100 mil reais.

Seria muito mais fácil se as equipes pudessem contar com o mapa do OSM e
depois valida-lo.

Na prefeituras, que tem condições de equipe e orçamento muito piores, seria
mais útil ainda.

Agora não tinha pensado na possibilidade dos órgãos públicos
disponibilizarem os dados com uma licença SA, ao invés de domínio publico.
Será que haveria restrições quanto a isso?

Em 24/04/2014 22:36, "Wille"  escreveu:

> Lucas,
>
> a questao é que a prefeitura de Nova Iorque libera os dados em Domínio
> Público, assim ela não poderiam pegar os dados do OSM que estão disponíveis
> em ODbL, importar na base de dados da prefeitura e depois redistribuir em
> domínio público.
>
> No entanto, acho pouquíssimo provável que algum órgão governamental abra
> mão de ter controle sobre seus dados para importar dados do OpenStreetMap.
>
> Com a ODbL, podemos utilizar uma grande quantidade de fontes de dados no
> OSM e garantir que isso continue livre e não seja privatizado. Se o OSM
> migrasse para uma licença sem share-alike não poderia se beneficiar de
> dados que exijam share-alike
>
> Recomendo ler esse post e principalmente os comentários:
> http://www.openstreetmap.org/user/lxbarth/diary/21221
>
>
>
> On 24-04-2014 22:21, Lucas Ferreira Mation wrote:
>
>> Pessoal,
>>
>> estava assistindo este vídeo do Stata of the Map 2014 - US:
>> http://stateofthemap.us/session/more-open/
>>
>> em que ele diz que governos não poderiam usar os dados do OSM para
>> atualizar suas bases oficiais. Ele dá o exemplo do governo da cidade
>> de Nova Iorque, que disponibiliza os dados de todos os prédios para
>> importação no OSM, mas não pode usar os dados do OSM para atualizar
>> seus dados. Acho que a questão é o "share-alike", pois se o governo
>> utilizar os dados do OSM e com isso atualizar sua base, a base
>> divulgada também precisaria ser "share-alike"
>>
>> É isso mesmo? no Brasil também não seria possível este uso?
>>
>> Lucas
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Listas de endereços por município

[Lucas Ferreira Mation]

Tem casos em que é clara a grafia, como em JK e outros nomes comuns,  da
para fazer um dicionário. Mas tem vários casos em que não da para saber.

Se conseguíssemos juntar listas de varias fontes "oficiais"/corretas, ou
pelo menos mais corretas que o CNEFE, eu posso fazer um matching
probabilístico p ficar c um cnefe com as grafias corrigidas. Assim daria p
juntar as vantagens do cnefe ter ruas com algumas indicação de localização
(setor censitário), com a grafia correta das listagens oficiais
 Em 24/04/2014 23:17, "Alexandre Magno Brito de Medeiros" <
alexandre@gmail.com> escreveu:

> Sim, é basicamente isso. Não me lembro de ter inserido ou retirado termos
> ou letras de algum nome. A não ser um singular/plural evidentemente
> destoante.
>
> Alexandre Magno
>
>
> Em 24 de abril de 2014 23:12, Nelson A. de Oliveira 
> escreveu:
>
>> Se são correções do tipo Joao → João não há necessidade de mudar o source.
>
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] lecença do OSM, uso pelo governo/empresas

[Lucas Ferreira Mation]

É justamente isso. Um governo não pode disponibilizar dados públicos
com uma clausula "share-alike',  os dados públicos tem que ser de uso
indiscriminado, inclusive de redistribuição por um 3o.
Logo não poderiam usar dados do OSM. Procede?

2014-04-24 22:32 GMT-03:00 Alexandre Magno Brito de Medeiros
:
> Só no caso de redistribuição, talvez. Não vou ler a licença agora.
>
> Alexandre Magno
>
>
> Em 24 de abril de 2014 22:21, Lucas Ferreira Mation 
> escreveu:
>
>> Pessoal,
>>
>> estava assistindo este vídeo do Stata of the Map 2014 - US:
>> http://stateofthemap.us/session/more-open/
>>
>> em que ele diz que governos não poderiam usar os dados do OSM para
>> atualizar suas bases oficiais. Ele dá o exemplo do governo da cidade
>> de Nova Iorque, que disponibiliza os dados de todos os prédios para
>> importação no OSM, mas não pode usar os dados do OSM para atualizar
>> seus dados. Acho que a questão é o "share-alike", pois se o governo
>> utilizar os dados do OSM e com isso atualizar sua base, a base
>> divulgada também precisaria ser "share-alike"
>>
>> É isso mesmo? no Brasil também não seria possível este uso?
>>
>> Lucas
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] lecença do OSM, uso pelo governo/empresas

[Lucas Ferreira Mation]

Pessoal,

estava assistindo este vídeo do Stata of the Map 2014 - US:
http://stateofthemap.us/session/more-open/

em que ele diz que governos não poderiam usar os dados do OSM para
atualizar suas bases oficiais. Ele dá o exemplo do governo da cidade
de Nova Iorque, que disponibiliza os dados de todos os prédios para
importação no OSM, mas não pode usar os dados do OSM para atualizar
seus dados. Acho que a questão é o "share-alike", pois se o governo
utilizar os dados do OSM e com isso atualizar sua base, a base
divulgada também precisaria ser "share-alike"

É isso mesmo? no Brasil também não seria possível este uso?

Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Listas de endereços por município

[Lucas Ferreira Mation]

Pessoal,

alguém tem um levantamento de listagens de endereços (das prefeituras
ou outras fontes) de cada cidade?

Estou tentando "filtrar" o CNEFE mas há muitos casos em que há 2 ou 3
grafias para o mesmo nome de rua, e não há como saber qual é o certo.
Se tivessemos listagens das ruas de cada município, ou algo similar
poderímos potencializar o uso do CNEFE com mais confiança.

Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Exemplo de visualização 3D com dados do OSM

[Lucas Ferreira Mation]

Pessoal,

terminei transformação dos dados do CNEFE para ficar com uma base de número
de andares por edifício (na verdade por bloco) para o bairro de vista
alegre. Está aqui:

https://www.dropbox.com/s/6qycg6ifammbihu/CNEFE2010_altura_edificos_VISTA_ALEGRE_Rio_de_Janeiro_RJ.xls

 Demorou um pouco porque tive que dar um hipon nos dados (normalizar por
bloco e agregar, hipóteses sobre a numeração de números de apartamento
baixo) mas agora saiu.
Arlindo, dá uma olhada para ver se as coisas fazem sentido na sua área.

Só tratei dos casos em que o CNEFE diz que há apartamentos, e mais de um,
em cada endereço.

Agora que já tá feito, basta rodar o script para o Brasil todo ou qualquer
outra subivisão (municípios, distrito, subdistrito, etc).

Se alguém quiser para sua área me peça.



Detalhes:

Ao fazer isso tive que fazer umas hipóteses sobre como os apartamentos são
numerados nos edifícios;

Alguém sabe se existe uma regra, ou pelo menos um padrão comummente
aplicado para numeração de apartamento de certo prédio/bloco?
Os edifícios começam sempre no térreo, e o andar imediatamente acima é o
1o?
Na maioria dos casos é isso que tenho encontrado, mas há casos em que a
numeração dos apartamentos está começando no 201, ...,  Nestes casos posso
considerar que o 1o andar seria o térreo (que não tem apartamentos)?


Em geral os endereços na base são do tipo 101, 102, 103, 201, 202, 203,
etc.. Há também uns poucos casos com "101 b", em que ignorei o "b".
A regra que apliquei foi:
a) se os números dos apartamentos tem 3 ou 4 dígitos, e o antepenúltimo
número é zero em todos os apartamentos do bloco, então tenho certeza que a
centena (ou do milhar+centena) denota o andar.
b) caso contrário (números de 3 ou 4 dígitos mas um dos penúltimos número
não é zero), então é necessário um procedimento mais complicado.  Por
exemplo, o número de apartamento 111. A dúvida é se se trata de o
apartamento 11 do 1o andar ou do apartamento 1 do 11o andar  (tenho uma tia
que mora num apartamento 111, e se trata do 1o andar)

Neste caso a estratégia é: suponha que o algarismo da dezena (ou da dezena
e do milhar) seja o andar. Verifique se há um número constate de
apartamentos por andar ( identificados pelos dígitos das dezenas e
unidades, e/ou pelo número de linhas daquele "andar" na base)

Lucas




2014-04-22 0:18 GMT-03:00 Alexandre Magno Brito de Medeiros <
alexandre@gmail.com>:

> Alguém sabe dizer se e como é possível modelar esta caixa 
> d'água
> ?
>
> Alexandre Magno
>
>
> Em 13 de abril de 2014 10:24, Paulo Carvalho  > escreveu:
>
> Legal isso!
>>
>> Os prédios que mapeei ficaram ótimos:
>> http://demo.f4map.com/#lat=-23.0017312&lon=-43.3906494&zoom=17&camera.phi=35.753
>>
>> As duas "escadinhas" são minha tentativa de reproduzir o condomínio
>> Sundeck:
>> [image: Imagem inline 1]
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Exemplo de visualização 3D com dados do OSM

[Lucas Ferreira Mation]

Arnildo,

desculpe a demora, correria no trabalho. Fiz a seleção de todos os
endereços de Vista Alegre, no Rio de Janeiro/RJ, segundo o que o IBGE
classifica como a "localidade" de vista alegre. Acredito que é um
conceito que tenta aproximar o que chamamos de bairro, mas não tenho
certeza dos detalhes. Outra coisa é que vista alegre é um bairro
"baixo", sem tantos prédios e os que tem são mais baixos (até 4
andares).

A localidade de Vista Alegre tem 6930 endereços, divididos em 29
setores censitários e 80 quadras, e 242 "faces de quadras" (uma quadra
retangular teria 4 faces).
Já adianto neste neste link coloquei o link com a lista completa de endereços:

https://www.dropbox.com/s/y4nzrazwk7p3yiy/CNEFE2010_limp_VISTA_ALEGRE_Rio_de_Janeiro_RJ.xls

Agora estou programando uma forma como colapsar/normalizar estes dados
para ficar um uma linha por prédio., com uma estimativa do número de
andares. Mas pelo menos você já pode ir olhando os dados.


Lucas







2014-04-11 22:47 GMT-03:00 Arlindo Pereira :
> Ideia bacana! Se você puder, posso experimentar com os prédios do bairro de
> Vista Alegre, no Rio de Janeiro/RJ, se houverem dados disponíveis (ou
> qualquer outro bairro, na verdade). Um quarteirão basta.
>
> []s
>
>
> 2014-04-11 22:31 GMT-03:00 Lucas Ferreira Mation :
>
>> Pessoal, se a informacao do número de andares for suficiente, acho que
>> isso pode ser estimado usando o CNEFE, com alguma validação/conhecimento
>> local.
>>
>> A ideia é o seguinte.  Se a pessoa souber o endereço certinho ou
>> ,preferencialmente, o cep (em geral prédios maiores tem cep próprio) daria
>> para estimar o numero de andares do prédio com base na estrutura de
>> "complementos" dos endereços dos domicílios do prédio.
>>
>> Po exemplo , se os complementos são: ap 101, ap102, ap201,... ap1801, eu
>> posso supor q o prédio tem 18 andares. Não é garantido, mas pode ajudar o
>> mapeador local.
>>
>> Se alguem se animar em testar esta ideia na sua cidade ou bairro me avise
>> que eu preparo uma lista da estimativa do no de andares de cada endereço na
>> área.
>>
>> Abs
>> Lucas
>>
>> Em 11/04/2014 22:08, "Arlindo Pereira" 
>> escreveu:
>>
>>> Maneiro!
>>>
>>> Já tinha tentado mexer com isso e não tinha conseguido ver renderizado.
>>> Agora sim! =) http://demo.f4map.com/#lat=-22.9569227&lon=-43.1768235&zoom=18
>>>
>>> Como uma sugestão, mapeem os prédios mais altos da sua cidade. Uma ideia
>>> que eu tive uma vez (mas nunca coloquei em prática) era de mapear os prédios
>>> dessa lista:
>>> http://pt.wikipedia.org/wiki/Anexo:Lista_de_arranha-c%C3%A9us_do_Brasil
>>>
>>>
>>> []s
>>> Nighto
>>>
>>> 2014-04-11 21:40 GMT-03:00 John Packer :
>>>>
>>>> Pessoal, pra me gabar um pouco.
>>>>
>>>> Andei dando uma mexida no meu campus, e aos poucos estou adicionando
>>>> umas informações para visualização 3D em sites como o f4map.com (precisa de
>>>> um navegador moderno com WebGL).
>>>> Está ficando bem legal:
>>>> no F4:
>>>> http://demo.f4map.com/#lat=-26.2530405&lon=-48.8550115&zoom=18&camera.theta=57.319&camera.phi=-2.005
>>>> no OSM:
>>>> http://www.openstreetmap.org/way/263290462#map=17/-26.25337/-48.85415
>>>>
>>>> E tem um outro usuário aqui em Joinville que, entre outras coisas, andou
>>>> detalhando um dos pontos turísticos da cidade:
>>>> No F4:
>>>> http://demo.f4map.com/#lat=-26.3217907&lon=-48.8462260&zoom=19&camera.theta=49.92&camera.phi=-165.194
>>>> No OSM:
>>>> http://www.openstreetmap.org/node/2619265385#map=18/-26.32202/-48.84655
>>>> E no mapa Humanitário:
>>>> http://www.openstreetmap.org/node/2619265385#map=19/-26.32179/-48.84667&layers=H
>>>>
>>>> Abs,
>>>> João
>>>>
>>>> ___
>>>> Talk-br mailing list
>>>> Talk-br@openstreetmap.org
>>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>>
>>>
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] CNEFE, sugerir nomes do CNEFE para ruas sem nome do OSM

[Lucas Ferreira Mation]

sabemos que o CNEFE tem problemas. Além disso não tem como eu saber só
com base no CNEFE qual rua é qual.

Então seria assim. Você clica numa rua sem nome e ele te sugere uma
lista dos nomes de rua que há no CNEFE para o(s) setor(es) por onde
aquela rua passa. Aí o usuário avalia se é alguma daquelas ruas e se
está com algum problema de grafia e marca.

2014-04-16 12:17 GMT-03:00 Paulo Carvalho :
> Cocordo que nome errado em rua é problema.  No entanto, se for fazer,
> colocar também um fixme indicando incerteza no nome da rua.
>
> []s
>
> Paulo
>
>
> Em 16 de abril de 2014 12:09, Wallace Silva  escreveu:
>
>> Mas isso vai ser usado apenas como opção para o usuário certo? Porque tem
>> cidades que eu mesmo tendo baixado do IBGE ele estava tão errado.. que
>> deixei a cidade sem nome.. vi uma cidade que tinha mais de 15 ruas com o
>> mesmo nome.. se for para auxiliar o usuário vai ser muito maneiro, mas se
>> for colocar nome na rua que esta sem nome de forma automática, vai ser um
>> problema..
>>
>>
>> Em 16 de abril de 2014 11:59, Lucas Ferreira Mation
>>  escreveu:
>>
>>> Acho que isso, combinado ao "IBGE Layer", vai ser muito últil mesmo.
>>> Temos 1.4 milhões de seguimentos de ruas no OSM. Destes apenas 974 mil
>>> com nome. Ou seja 31% dos seguimentos de rua estão sem nome.
>>> Eu já fiz o cruzamento OSM-ruas com Shape de Municípios.
>>> Vou tentar fazer agora com o shape de setores censitários. Talvez o
>>> Qgis não aguente, aí vai ser necessário fazer no PostGis, ou SQL
>>> server.
>>>
>>> 2014-04-16 11:28 GMT-03:00 Fernando Trebien :
>>> > Ou Lucas,
>>> >
>>> > Eu suspeito que uma implementação com o LeafletJS seria mais fácil
>>> > tanto pra fazer quanto pra dar manutenção. Não seria tão integrado
>>> > quando um plugin pro editor, mas seria praticamente tão útil quanto, é
>>> > só uma questão de atualizar a comparação periodicamente. Os dados, eu
>>> > creio, você pode colocar no próprio Github (com isso eu posso ajudar e
>>> > sei que várias outras pessoas também podem).
>>> >
>>> > Se você realmente acha que vale à pena fazer um plugin, sem dúvida o
>>> > melhor caminho é com o JOSM. O iD não tem plugins até onde eu sei (mas
>>> > não o conheço a fundo). Daria pra olhar o código-fonte de plugins que
>>> > já existem, estão todos no site do JOSM, mas acho que isso vai lhe
>>> > consumir um tempo considerável.
>>> >
>>> > Pergunta: você já conseguiu extrair o nome das ruas do OSM por setor do
>>> > IBGE?
>>> >
>>> > 2014-04-16 10:13 GMT-03:00 Lucas Ferreira Mation
>>> > :
>>> >> pessoal,
>>> >> (estou dividindo as idéias do uso do CNEFE em diferentes emails, acho
>>> >> que tinha coisa demais e estava ficando confuso).
>>> >>
>>> >> A idéia seria usar o CNEFE + shape file dos setores censiotários para
>>> >> sugerir nomes de ruas para os mapeadores. Ou seja, um plugin no  JOSM
>>> >> e/ou no ID. Ao clicar no way o plugin sugeriria uma lista de nomes.
>>> >>
>>> >> A pessoa usaria a "IBGE Layer" que o thiago fez como background, mas
>>> >> não precisaria digitar no nome, poderia pegar da lista pronta.
>>> >>
>>> >> Estes nomes viriam de um cruzamento de dados espaciais entre os
>>> >> seguimentos do OSM e o CNEFE+shape de setores censitários. Ou seja,
>>> >> seriam sugeridos os nomes de ruas daquele setor no CNEFE. O cruzamento
>>> >> eu sei como fazer (tem que deixar um buffer  de uns 50m para corrigir
>>> >> problemas do traçado dos setores).
>>> >>
>>> >> Mas não tenho idéia como criar este plugin. Alguém saberia fazer isso?
>>> >>
>>> >> Outra implementação possível seria usando o maproulette, ele iria
>>> >> aleatoriamente escolhendo ways não nomeados do OSM e dando uma lista
>>> >> de nomes de rua possíveis para a pessoa escolher.
>>> >>
>>> >> abs
>>> >> Lucas
>>> >>
>>> >> ___
>>> >> Talk-br mailing list
>>> >> Talk-br@openstreetmap.org
>>> >> https://lists.openstreetmap.org/listinfo/talk-br
>>> >
>>> >
>>> >
>>> > --
>>> > Fernando Trebien
>>> > +55 (51) 9962-5409
>>> >
>>> > "Nullius in verba."
>>> >
>>> > ___
>>> > Talk-br mailing list
>>> > Talk-br@openstreetmap.org
>>> > https://lists.openstreetmap.org/listinfo/talk-br
>>>
>>> ___
>>> Talk-br mailing list
>>> Talk-br@openstreetmap.org
>>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>>
>>
>> --
>> "Cordeiro de Deus que tira os pecados do mundo, tenha piedade de nós..."
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] CNEFE, sugerir nomes do CNEFE para ruas sem nome do OSM

[Lucas Ferreira Mation]

Acho que isso, combinado ao "IBGE Layer", vai ser muito últil mesmo.
Temos 1.4 milhões de seguimentos de ruas no OSM. Destes apenas 974 mil
com nome. Ou seja 31% dos seguimentos de rua estão sem nome.
Eu já fiz o cruzamento OSM-ruas com Shape de Municípios.
Vou tentar fazer agora com o shape de setores censitários. Talvez o
Qgis não aguente, aí vai ser necessário fazer no PostGis, ou SQL
server.

2014-04-16 11:28 GMT-03:00 Fernando Trebien :
> Ou Lucas,
>
> Eu suspeito que uma implementação com o LeafletJS seria mais fácil
> tanto pra fazer quanto pra dar manutenção. Não seria tão integrado
> quando um plugin pro editor, mas seria praticamente tão útil quanto, é
> só uma questão de atualizar a comparação periodicamente. Os dados, eu
> creio, você pode colocar no próprio Github (com isso eu posso ajudar e
> sei que várias outras pessoas também podem).
>
> Se você realmente acha que vale à pena fazer um plugin, sem dúvida o
> melhor caminho é com o JOSM. O iD não tem plugins até onde eu sei (mas
> não o conheço a fundo). Daria pra olhar o código-fonte de plugins que
> já existem, estão todos no site do JOSM, mas acho que isso vai lhe
> consumir um tempo considerável.
>
> Pergunta: você já conseguiu extrair o nome das ruas do OSM por setor do IBGE?
>
> 2014-04-16 10:13 GMT-03:00 Lucas Ferreira Mation :
>> pessoal,
>> (estou dividindo as idéias do uso do CNEFE em diferentes emails, acho
>> que tinha coisa demais e estava ficando confuso).
>>
>> A idéia seria usar o CNEFE + shape file dos setores censiotários para
>> sugerir nomes de ruas para os mapeadores. Ou seja, um plugin no  JOSM
>> e/ou no ID. Ao clicar no way o plugin sugeriria uma lista de nomes.
>>
>> A pessoa usaria a "IBGE Layer" que o thiago fez como background, mas
>> não precisaria digitar no nome, poderia pegar da lista pronta.
>>
>> Estes nomes viriam de um cruzamento de dados espaciais entre os
>> seguimentos do OSM e o CNEFE+shape de setores censitários. Ou seja,
>> seriam sugeridos os nomes de ruas daquele setor no CNEFE. O cruzamento
>> eu sei como fazer (tem que deixar um buffer  de uns 50m para corrigir
>> problemas do traçado dos setores).
>>
>> Mas não tenho idéia como criar este plugin. Alguém saberia fazer isso?
>>
>> Outra implementação possível seria usando o maproulette, ele iria
>> aleatoriamente escolhendo ways não nomeados do OSM e dando uma lista
>> de nomes de rua possíveis para a pessoa escolher.
>>
>> abs
>> Lucas
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>
>
>
> --
> Fernando Trebien
> +55 (51) 9962-5409
>
> "Nullius in verba."
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] CNEFE, sugerir nomes do CNEFE para ruas sem nome do OSM

[Lucas Ferreira Mation]

pessoal,
(estou dividindo as idéias do uso do CNEFE em diferentes emails, acho
que tinha coisa demais e estava ficando confuso).

A idéia seria usar o CNEFE + shape file dos setores censiotários para
sugerir nomes de ruas para os mapeadores. Ou seja, um plugin no  JOSM
e/ou no ID. Ao clicar no way o plugin sugeriria uma lista de nomes.

A pessoa usaria a "IBGE Layer" que o thiago fez como background, mas
não precisaria digitar no nome, poderia pegar da lista pronta.

Estes nomes viriam de um cruzamento de dados espaciais entre os
seguimentos do OSM e o CNEFE+shape de setores censitários. Ou seja,
seriam sugeridos os nomes de ruas daquele setor no CNEFE. O cruzamento
eu sei como fazer (tem que deixar um buffer  de uns 50m para corrigir
problemas do traçado dos setores).

Mas não tenho idéia como criar este plugin. Alguém saberia fazer isso?

Outra implementação possível seria usando o maproulette, ele iria
aleatoriamente escolhendo ways não nomeados do OSM e dando uma lista
de nomes de rua possíveis para a pessoa escolher.

abs
Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Videos do State of the Map US, 2014

[Lucas Ferreira Mation]

Pessoal,

neste último fim de semana foi o "State of the Map" dos EUA. Já
colocaram a maioria dos vídeos on-line:
http://stateofthemap.us/schedule/

ainda não assisti, mas pelos títulos parece que tem coisa bem bacana.

abs
Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Exemplo de visualização 3D com dados do OSM

[Lucas Ferreira Mation]

Pessoal, se a informacao do número de andares for suficiente, acho que isso
pode ser estimado usando o CNEFE, com alguma validação/conhecimento local.

A ideia é o seguinte.  Se a pessoa souber o endereço certinho ou
,preferencialmente, o cep (em geral prédios maiores tem cep próprio) daria
para estimar o numero de andares do prédio com base na estrutura de
"complementos" dos endereços dos domicílios do prédio.

Po exemplo , se os complementos são: ap 101, ap102, ap201,... ap1801, eu
posso supor q o prédio tem 18 andares. Não é garantido, mas pode ajudar o
mapeador local.

Se alguem se animar em testar esta ideia na sua cidade ou bairro me avise
que eu preparo uma lista da estimativa do no de andares de cada endereço na
área.

Abs
Lucas
Em 11/04/2014 22:08, "Arlindo Pereira" 
escreveu:

> Maneiro!
>
> Já tinha tentado mexer com isso e não tinha conseguido ver renderizado.
> Agora sim! =)
> http://demo.f4map.com/#lat=-22.9569227&lon=-43.1768235&zoom=18
>
> Como uma sugestão, mapeem os prédios mais altos da sua cidade. Uma ideia
> que eu tive uma vez (mas nunca coloquei em prática) era de mapear os
> prédios dessa lista:
> http://pt.wikipedia.org/wiki/Anexo:Lista_de_arranha-c%C3%A9us_do_Brasil
>
>
> []s
> Nighto
>
> 2014-04-11 21:40 GMT-03:00 John Packer :
>
>> Pessoal, pra me gabar um pouco.
>>
>> Andei dando uma mexida no meu campus, e aos poucos estou adicionando umas
>> informações para visualização 3D em sites como o f4map.com (precisa de
>> um navegador moderno com WebGL).
>> Está ficando bem legal:
>> no F4:
>> http://demo.f4map.com/#lat=-26.2530405&lon=-48.8550115&zoom=18&camera.theta=57.319&camera.phi=-2.005
>> no OSM:
>> http://www.openstreetmap.org/way/263290462#map=17/-26.25337/-48.85415
>>
>> E tem um outro usuário aqui em Joinville que, entre outras coisas, andou
>> detalhando um dos pontos turísticos da cidade:
>> No F4:
>> http://demo.f4map.com/#lat=-26.3217907&lon=-48.8462260&zoom=19&camera.theta=49.92&camera.phi=-165.194
>> No OSM:
>> http://www.openstreetmap.org/node/2619265385#map=18/-26.32202/-48.84655
>> E no mapa Humanitário:
>> http://www.openstreetmap.org/node/2619265385#map=19/-26.32179/-48.84667&layers=H
>>
>> Abs,
>> João
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] Mudança na URL da layer TMS do IBGE

[Lucas Ferreira Mation]

Muito bacana. Tem como deixar a layer dos blocos transparente e manter a
imagem de satélite por trás?
Em 09/04/2014 18:05, "Arlindo Pereira" 
escreveu:

> O pessoal do Mapbox propôs hospedar gratuitamente.
>
>
> []s
> Arlindo
>
>
> 2014-04-09 18:01 GMT-03:00 Alexandre Magno Brito de Medeiros <
> alexandre@gmail.com>:
>
>> Isso custará  quanto?
>>
>> Alexandre Magno
>>
>>
>> Em 9 de abril de 2014 17:23, Thiago Marcos P. Santos > > escreveu:
>>
>> Estou de férias esta semana, mas até o dia 19/abril espero fazer
>>> upload de todas as cidades do Brasil para o Mapbox.
>>>
>>> Aí vou ter o endereco definitivo da layer e posso mandar um patch para o
>>> JOSM.
>>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Lista de nomes de Ruas com erros e typos no OSM - Brasil

[Lucas Ferreira Mation]

Pessoal,

Fiz uns testes dos nomes de Ruas no OSM-Brasil. Objetivo era chegar
numa base "limpa" para cruzar com o CNEFE, mas acho que já é um
resutlado de interesse por sí só, então já adianto neste email

Basicamente eu fiz a comparação dos nomes de ruas no OSM dentro de
cada cidade, para tentar achar nomes duplicados e/ou com algum erro de
grafia. Para isso fiz um pareamento fuzzy/probabilistico entre os
nomes de ruas em cada cidade, usando o método de Levenshtein (
threshold = 0.1). Resultados:

Dos  1.392k ways (seguimentos de ruas) que o OSM tem, 964k  (69%)
destes estão sem nome. Portanto há 428 mil ruas com nome. Colapsando
por nome de rua e município (usando a divisão municipal de 2010 do
IBGE) ficamos com 297k ruas (na verdade são pares de nome de
rua-município).  Aí apliquei o método mesmo método de Levenshtein (
threshold = 0.1) e encontrei 10.2k ruas que potencialmente são
duplicadas, devido a typos no nome, etc.

Coloquei estes casos nestes arquivos (é o mesmo dado, só para
facilitar o acesso)

excel: 
https://www.dropbox.com/s/9akoujoaww4xqf1/Erros_Nomes_Ruas_Municipios_OSM.xls

csv:
https://www.dropbox.com/s/jjd67ayn22vgyqo/Erros_Nomes_Ruas_Municipios_OSM.csv

Alguém se anima a encarar estas correções? Como encaminhar isso?
abs
Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] gráfico de evolução do número de pontos e vias no Brasil ao longo do tempo. Alguém já fez?

[Lucas Ferreira Mation]

ops, repetindo:

transcrevo mais dicas do Piter:

> Then I intend to use: OSMIUM or Osmconvert
I don't think osmconvert can process history files. osmosis can't
either. osmium is a library that can do this but you'll have to write a
program agains this lib which does what ever you want.

> now in need to do some homework to find out what do do after that.
> What format to convert the data into? and how that would work?
> I'm thinking I'll need to create a CSV with all the points that
> existed in a given period. And repeat the processo for every 6months
> or so. And take note of the number of lines in each CSV. Or maybe
> query the history file directly for the number of nodes in each
> period.
You may take a look at
<https://github.com/MaZderMind/osm-history-renderer/blob/master/TUTORIAL.md>

Its one of the tools I use to process history files. I't'll give you a
postgres -database which you can query to give you numbers for a given
point in time.

> I suppose a more interesting ,but also more complicated thing, would
> be to calculate the ways lenght of all ways in a given period
the above importer creates PostGIS-Geometries for ways, nodes and
polygons, so you can use PostGIS-Functions to get way-lenghtes,
polygon-areas for each given point in time.

> In the end what I want is a graph in with Y=number of nodes, or lenght
> for ways and X=time
There should be tons of fools go generate charts and graphs from
postgresql queries.


2014-04-09 13:58 GMT-03:00 Lucas Ferreira Mation :

> Transcrevo mais dicas do Peter:
>
>
>
>
> 2014-04-09 13:54 GMT-03:00 Alexandre Magno Brito de Medeiros <
> alexandre@gmail.com>:
>
>> [image: Imagem inline 1]
>> Se encontrem erro nos UML que desenho, por favor, avisem-me (por e-mail),
>> mas com calma. Poderá atá ser o caso de uma modificação intencional, com o
>> objetivo de transmitir a mensagem com mais "coloquialidade".
>>
>> Essa aí é a ideal original. Considera apenas o MongoDB. Não pretendo
>> redesenhar. Toma tempo. Mas considerem também o que tenho escrito.
>>
>> Alexandre Magno
>>
>>
>> Em 9 de abril de 2014 13:32, Alexandre Magno Brito de Medeiros <
>> alexandre@gmail.com> escreveu:
>>
>> Em e-mails passados, tenho usado a palavra "extract" para me referir a
>>> "visualizações" simplificadas dos conjuntos de dados do OpenStreetMap.
>>> Especialmente pensando naqueles arquivos CSV gerados por "osmjs -j
>>> OSMQualityMetrics/UserStats.js brazil.osm.pbf". Eu sei que o uso corrente
>>> não é esse. Atualmente, o que o pessoal chama extract ainda é coisa como o
>>> brazil.osm.pbf. Penso que podemos considerar um extract de outro extract.
>>> Estou explicitando essa diferenciação para não fazermos confusão.
>>>
>>> Sim, eu penso que o caminho é usar Osmconvert, OSMIUM, osmjs, ou algo
>>> como o new-osm-stats / 
>>> fast_stats.py<https://github.com/dpaleino/new-osm-stats/blob/master/fast_stats.py>(o
>>>  projeto do David Paleino), e até mesmo o
>>> overpass-turbo.eu, aprendermo-los, para gerarmos as tais
>>> "visualizações", sejam em CSV, JSON, ou já diretamente dentro de um SGBD. O
>>> unipt-stats entrará como um utilitário de linha de comando ou lib de
>>> domínio comum para a lida com SGBD nessas intenções; apenas o projeto
>>> deverá estar preparado para receber novos plugues (implementações de
>>> consultas, e "conectores" de resultados de extracts → pegar um extract e
>>> auxiliar sua importação útil no SGDB escolhido para implementação das
>>> consultas correlatas).
>>>
>>> No meio de tempo, a pessoa pode apenas resolver o problema da
>>> importação, sem criar as consultas como caso de uso dentro do unipt-stats.
>>> Daí ela simplesmente usa um Robomongo ou Microsoft SQL Server e consulta
>>> "manualmente" o dados que quiser. O Robomongo, por exemplo, possibilita
>>> salvarmos e carregarmos código de consulta Javascript. Escolhendo um nome
>>> significativo para o arquivo e comentando-o para explicar algo, já temos
>>> uma possibilidade: ir colecionando essas consultas .js que depois poderão
>>> ser reescritas com mínimo esforço dentro de um projeto como o unip-stats.
>>>
>>> Alexandre Magno
>>>
>>>
>>> Em 9 de abril de 2014 10:10, Lucas Ferreira Mation <
>>> lucasmat...@gmail.com> escreveu:
>>>
>>> Só para atualizar,
>>>>
>>>> Um problema a menos. O Peter Körner, que é o desenvolvedor do extrator
>>>> do history file, fez um

Re: [Talk-br] gráfico de evolução do número de pontos e vias no Brasil ao longo do tempo. Alguém já fez?

[Lucas Ferreira Mation]

Transcrevo mais dicas do Peter:




2014-04-09 13:54 GMT-03:00 Alexandre Magno Brito de Medeiros <
alexandre@gmail.com>:

> [image: Imagem inline 1]
> Se encontrem erro nos UML que desenho, por favor, avisem-me (por e-mail),
> mas com calma. Poderá atá ser o caso de uma modificação intencional, com o
> objetivo de transmitir a mensagem com mais "coloquialidade".
>
> Essa aí é a ideal original. Considera apenas o MongoDB. Não pretendo
> redesenhar. Toma tempo. Mas considerem também o que tenho escrito.
>
> Alexandre Magno
>
>
> Em 9 de abril de 2014 13:32, Alexandre Magno Brito de Medeiros <
> alexandre@gmail.com> escreveu:
>
> Em e-mails passados, tenho usado a palavra "extract" para me referir a
>> "visualizações" simplificadas dos conjuntos de dados do OpenStreetMap.
>> Especialmente pensando naqueles arquivos CSV gerados por "osmjs -j
>> OSMQualityMetrics/UserStats.js brazil.osm.pbf". Eu sei que o uso corrente
>> não é esse. Atualmente, o que o pessoal chama extract ainda é coisa como o
>> brazil.osm.pbf. Penso que podemos considerar um extract de outro extract.
>> Estou explicitando essa diferenciação para não fazermos confusão.
>>
>> Sim, eu penso que o caminho é usar Osmconvert, OSMIUM, osmjs, ou algo
>> como o new-osm-stats / 
>> fast_stats.py<https://github.com/dpaleino/new-osm-stats/blob/master/fast_stats.py>(o
>>  projeto do David Paleino), e até mesmo o
>> overpass-turbo.eu, aprendermo-los, para gerarmos as tais
>> "visualizações", sejam em CSV, JSON, ou já diretamente dentro de um SGBD. O
>> unipt-stats entrará como um utilitário de linha de comando ou lib de
>> domínio comum para a lida com SGBD nessas intenções; apenas o projeto
>> deverá estar preparado para receber novos plugues (implementações de
>> consultas, e "conectores" de resultados de extracts → pegar um extract e
>> auxiliar sua importação útil no SGDB escolhido para implementação das
>> consultas correlatas).
>>
>> No meio de tempo, a pessoa pode apenas resolver o problema da importação,
>> sem criar as consultas como caso de uso dentro do unipt-stats. Daí ela
>> simplesmente usa um Robomongo ou Microsoft SQL Server e consulta
>> "manualmente" o dados que quiser. O Robomongo, por exemplo, possibilita
>> salvarmos e carregarmos código de consulta Javascript. Escolhendo um nome
>> significativo para o arquivo e comentando-o para explicar algo, já temos
>> uma possibilidade: ir colecionando essas consultas .js que depois poderão
>> ser reescritas com mínimo esforço dentro de um projeto como o unip-stats.
>>
>> Alexandre Magno
>>
>>
>> Em 9 de abril de 2014 10:10, Lucas Ferreira Mation > > escreveu:
>>
>> Só para atualizar,
>>>
>>> Um problema a menos. O Peter Körner, que é o desenvolvedor do extrator
>>> do history file, fez um uma extração para o Brasil.
>>> Se alguém mais quiser usar está em:
>>>
>>> http://osm.personalwerk.de/full-history-extracts/latest/south-america/brazil.osh.pbf
>>>
>>> acho que o diretório "latest" são os arquivos históricos mais
>>> recentemente criados, mas cada um deles cobre os dados desde o início.
>>> Pelo que entendi, para acessar este arquivo preciso usar o OSMIUM ou o
>>>  Osmconvert
>>>
>>> Enfim, agora preciso pensar sobre como fazer as "queries" sobre
>>> quantos notes havia em cada período, ou qual era o comprimento total
>>> dos ways em cada período. Não tenho idéia como proceder...
>>> Ou se tem que primeiro exportar os dados válidos em cada período para
>>> algum arquivo mais fácil de trahalhar (CSV)  e depois calcular estas
>>> estatísticas.
>>>
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
<>___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] gráfico de evolução do número de pontos e vias no Brasil ao longo do tempo. Alguém já fez?

[Lucas Ferreira Mation]

Só para atualizar,

Um problema a menos. O Peter Körner, que é o desenvolvedor do extrator
do history file, fez um uma extração para o Brasil.
Se alguém mais quiser usar está em:
http://osm.personalwerk.de/full-history-extracts/latest/south-america/brazil.osh.pbf

acho que o diretório "latest" são os arquivos históricos mais
recentemente criados, mas cada um deles cobre os dados desde o início.
Pelo que entendi, para acessar este arquivo preciso usar o OSMIUM ou o
 Osmconvert

Enfim, agora preciso pensar sobre como fazer as "queries" sobre
quantos notes havia em cada período, ou qual era o comprimento total
dos ways em cada período. Não tenho idéia como proceder...
Ou se tem que primeiro exportar os dados válidos em cada período para
algum arquivo mais fácil de trahalhar (CSV)  e depois calcular estas
estatísticas.







2014-04-08 23:27 GMT-03:00 Alexandre Magno Brito de Medeiros
:
> Lucas,
>
> Só depois eu notei que o full-history-extracts tem dados atuais, no
> diretório latest. É possível que sejam os mesmos do site geofabrik. Ainda
> não tenho familiaridade com esses arquivos grandes.
>
> Não sei quais  ferramentas você acha que eu propus a você. Eu estava
> comentando a aplicação que eu pretendo fazer delas.
>
> Se você quiser conhecer rapidamente alguns XML menores (ou outros formatos,
> geojson etc), pode fazer extracts com o overpass-turbo.eu. Eu também não
> tenho familiaridade com este mas pelo menos já pude experimentá-lo e
> imaginar possibilidades.
>
> Quanto ao PostGis, eu não faço ideia, apesar de saber que é "a ferramenta
> especialista" para geoprocessamento. Não tenho contato com ele. Você me
> pergunta sobre como poderia ter dados OSM em uma base relacional (por
> exemplo, no Microsoft SQL Server). Por favor, siga "Pesquisando forma de
> conhecer todos que mapearam em um país".
>
> Um CSV pode ser importado em PostgreSQL ou MySQL, por exemplo. Não deve ser
> diferente com Microsoft SQL Server. Antes ou depois dos dados estarem no
> banco, dá-se algum tratamento a eles, para que se tornem úteis e a consulta.
>
> Mudando um pouco o assunto. Para NoSQL. Eu importei em MongoDB e tenho
> consultado com sucesso aqueles dois pequenos CSV do naoliv (stats-pt). Tenho
> usado o Robomongo. Mas é algo completamente diferente de usar SQL, e tem
> suas limitações. Vai resolver os requisitos do unipt-stats...
>
> Quero esclarecer uma coisa. O que eu pretendo fazer não é geoprocessamento.
> Apenas obter algumas informações úteis de redução de escopo que já fora
> obtida por geoprocessamento. Consultar os tais CSV -- isso do unipt-stats --
> será muitas e muitas vezes algo trivial. Não se compara ao que um extract
> faz. Só que querer fazer extract para minúcias não dá. Já é muito difícil e
> custoso tratar todos os dados errônios do Planet. Eu acho que é viável
> buscarmos extracts que ofereçam "visualizações intermediárias" dos dados,
> que possam ser consultadas.
>
> Alexandre Magno
>
>
> Em 8 de abril de 2014 22:49, Lucas Ferreira Mation 
> escreveu:
>
>> Valeu Alerxandre,
>>
>> O link pro geofabrik que você coloca é para um dump dos dados autais
>> do OSM. Eu inclusive já baixei e estou usando o shape de ruas para
>> fazer as comparações com o CNEFE e as possibilidades de importação
>> deste (vou mandar um email sobre isso na outra tread em breve). Neste
>> arquivo shape eu sei como trabalhar. Minha dificuldade é com estes
>> dumps do OSM, lí que são XML, mas não faço idéia como transformar isso
>> numa base de dados manipulável na minha máquna.
>>
>> Não sei se fui claro. Só queria fazer um gráfico em que Y = número de
>> ruas , ou pontos do OSM no Brasil, e X= tempo. Não estou querendo
>> fazer coisas mais complexas como vizualização da rede crescendo, etc.
>>
>> Pelo que entendi, o procedimento no link que mandei no email original
>> é para baixar um arquivo que tem toda a história de alterações da
>> base, mas filtrando apenas a área do Brasil. Aí teriamos que agregar
>> esta base por pontos ou ruas em cada período.
>>
>> Não tenho familiaridade com estas ferramentas todas que você listou.
>> No IRC me disseram que para abrir o history file eu teria que ter uma
>> máquina Linux e alguma forma de baixar e tratar os dados. Mas isso
>> para mim seria bem difícil de implementar, não manjo de linux,
>> programação, etc. Eu tenho acesso a um SQL Server e posso talvez
>> conseguir um PostGis. Dá para baixar os dados direto para para estes
>> bancos de dados e manipulá-los neles?
>
>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] gráfico de evolução do número de pontos e vias no Brasil ao longo do tempo. Alguém já fez?

[Lucas Ferreira Mation]

Valeu Alerxandre,



O link pro geofabrik que você coloca é para um dump dos dados autais
do OSM. Eu inclusive já baixei e estou usando o shape de ruas para
fazer as comparações com o CNEFE e as possibilidades de importação
deste (vou mandar um email sobre isso na outra tread em breve). Neste
arquivo shape eu sei como trabalhar. Minha dificuldade é com estes
dumps do OSM, lí que são XML, mas não faço idéia como transformar isso
numa base de dados manipulável na minha máquna.

Não sei se fui claro. Só queria fazer um gráfico em que Y = número de
ruas , ou pontos do OSM no Brasil, e X= tempo. Não estou querendo
fazer coisas mais complexas como vizualização da rede crescendo, etc.

Pelo que entendi, o procedimento no link que mandei no email original
é para baixar um arquivo que tem toda a história de alterações da
base, mas filtrando apenas a área do Brasil. Aí teriamos que agregar
esta base por pontos ou ruas em cada período.

Não tenho familiaridade com estas ferramentas todas que você listou.
No IRC me disseram que para abrir o history file eu teria que ter uma
máquina Linux e alguma forma de baixar e tratar os dados. Mas isso
para mim seria bem difícil de implementar, não manjo de linux,
programação, etc. Eu tenho acesso a um SQL Server e posso talvez
conseguir um PostGis. Dá para baixar os dados direto para para estes
bancos de dados e manipulá-los neles?




2014-04-08 21:55 GMT-03:00 Alexandre Magno :
> Lucas,
>
> http://download.geofabrik.de/south-america/brazil.html
>
> Isso serve? Parece mais atual do que o apontado por você.
>
> Quanto aos gráficos, não tenho buscado sobre isso. Mas ontem eu vi
> que, se os dados de interesse estão num SGBD (ainda que seja NoSQL),
> pode ser muito fácil e rápido obter relatórios com o iReport. Mas
> não sei quanto à licença de uso e, com certeza, por ser um produto
> complexo, criaria dependências tecnológicas talvez indesejadas.
>
> A comunidade já conhece e usa coisa mais "simples". Provavelmente.
>
> Ainda a questão. Veja isso:
>
> http://osmstats.hanskalabs.net/graphs
>
> Ontem eu recebi e-mail do David Paleino, o autor. Ele me disse que o
> projeto está inativo por carência de espaço em disco. O XML do Planet
> só cresce! E isso também afeta o tempo de processamento dos scripts.
>
> David disse-me que sempre quis usar protobuf, mas que isso exigiria
> uma CPU mais poderosa.
>
> Esse tipo de problema é facilmente previsto. Eu tive uma surpresa
> quando soube que o OpenStreetMap está em XML até o dedo da unha. É
> por essas coisas que estou investindo no projeto do unipt-stats,
> aproveitando a necessidade momentânea de conhecermos mais sobre os
> usuários lusófonos. Na minha ideia, o unipt-stats trabalhará sempre
> com uma base dados que já é redução (extracts) do Planet. A ideia é
> possibilitar que seja fácil "plugar" um extract, constituindo uma
> base para consulta seja com esquema relacional ou NoSQL.
>
> Comecei com o MongoDB. Não pretendo grandes testes em outros, para
> não investir tanto o meu esforço particular, mas pretendo deixar tudo
> pronto para os novos "plugs", inclusive com documentação, é claro. Eu
> realmente estou achando que isso estará assim em poucos dias. É
> possível que eu faça ao menos um teste com outro caso de extract
> diferente desse -- "unipt" -- que está motivando a pequena criação.
>
> Alexandre Magno
>
> Lucas Ferreira Mation Tue, 08 Apr 2014 09:46:42 -0700:
>>
>> Ola pessoal.
>>
>> Estava procurando gráficos similares ao que você encontra aqui,
>> http://wiki.openstreetmap.org/wiki/Stats, principalmente em relação
>> ao número de pontos e vias ao longo do tempo, só que para o Brasil.
>>
>> Alguém já fez?
>>
>> Perguntei no IRC, e me disseram que seria necessário baixar um
>> extrato só com o Brasil do full-history file, que tem as várias
>> versões da base em cada período. Para extrair isso teria que rodar
>> este algoritmo:
>>
>>  https://github.com/MaZderMind/osm-history-renderer/blob/master/TUTORIAL.md
>>
>> Alguns extracts pré-prontos para outras regiões estão em:
>>
>>  http://osm.personalwerk.de/full-history-extracts/
>>
>> Veja também:
>>
>>  http://wiki.openstreetmap.org/wiki/History_API_and_Database
>>
>>  http://wiki.openstreetmap.org/wiki/User:MaZderMind/Reading_OSM_History_dumps
>>
>>
>> alguém com mais familiaridade conseguiria fazer isso (sem grande esforço)?
>>
>> Lucas
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] gráfico de evolução do número de pontos e vias no Brasil ao longo do tempo. Alguém já fez?

[Lucas Ferreira Mation]

Ola pessoal.

Estava procurando gráficos similares ao que você encontra aqui,
http://wiki.openstreetmap.org/wiki/Stats, principalmente em relação ao
número de pontos e vias ao longo do tempo, só que para o Brasil.

Alguém já fez?

Perguntei no IRC, e me disseram que seria necessário baixar um extrato
só com o Brasil do full-history file, que tem as várias versões da
base em cada período. Para extrair isso teria que rodar este
algoritmo:

Alguns extracts pré-prontos para outras regiões estão em:
http://osm.personalwerk.de/full-history-extracts/
Veja também:
http://wiki.openstreetmap.org/wiki/History_API_and_Database
http://wiki.openstreetmap.org/wiki/User:MaZderMind/Reading_OSM_History_dumps


alguém com mais familiaridade conseguiria fazer isso (sem grande esforço)?

Lucas

___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

[Lucas Ferreira Mation]

Opa, não sabia qu eo Hermann já tava com a comparação em andamento.
Em que pé está isso? Digo isso porque finalmente consegui fazer o spatial
join do shape de ruas do OSM com o shape de municípios do IBGE. Ia agora
cruzar com os dados do CNEFE. Acho que dá até para fazer uns refinamentos
como corrigir para typos no CNEFE e no OSM, fazer matching
probabilistico/fuzzy (reclink).  É o que ia fazer agora, mas não vamos
duplicar esforços, vocês já tem isso pronto?

Para o Heat map, vocês precisam os dados em que nível de detalhe? Agora que
já desenvolvi a capacidade de cruzamento dos dados, seria fácil produzir  a
mesma estatística por Bairro também. E eventualmente por setor. O que eu
não sei fazer é o heatmap em sí, e colocar na web.









2014-04-03 16:05 GMT-03:00 Thiago Marcos P. Santos :

> 2014-04-03 15:31 GMT+03:00 Lucas Ferreira Mation :
> > Thiago, vamos estreitar mais a conversa e iniciativas.
> >
> > Uma vez estive no IBGE a trabalho e eles comentaram que o shape de
> > quarteirões só poderá ser liberado em 2015, se não me engano, pois os
> mapas
> > foram comprados de empresas de mapeamento comercial, então não poderiam
> > liberar antes de 2015. Parece que este foi um grande desapontamento por
> lá,
> > pois achavam que a qualidade destes mapas seria muito melhor do que era e
> > fato. Antes do Censo as equipes do IBGE foram a campo fazer o
> "arrolamento"
> > dos setores censitários, isto é, verificar as ruas, corrigindo
> diretamente
> > no PDA, e estimando o número de casas por setor. Acho que existiria
> grande
> > potencial para o IBGE usar o OSM como base para o próximo censo, e usar a
> > enorme equipe deles para corrigir/complementar o OSM. Operacionalmente
> isso
> > é muito mais fácil do que ficar fazendo licitações, para comprar bases,
> etc.
> > Além disso já viria com uma série de aplicativos para fazer estas
> correções
> > no campo pela equipe deles.
> >
> > Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma
> idéia
> > do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%,
>  10% ou
> > 50% das ruas estão erradas?
>
> Não tenho idéia, mas acho que é bom o suficiente na maioria dos casos.
>
> > Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace
> é
> > baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que
> > manualmente segmentar em ruas ou isso é feito de alguma forma
> automatizada?
>
> É um XML com vários meta dados.
> http://wiki.openstreetmap.org/wiki/OSM_XML
>
> Tem várias bibliotecas já prontas para fazer o processamento deste XML:
> http://wiki.openstreetmap.org/wiki/Frameworks
>
> Mas sinceramente minha prioridade seria ajudar o Hermann a concluir o
> heat map de ruas sem nome ou não traçadas de todo o Brasil, baseado no
> dados CNEFE. A partir deste trabalho, podemos aprimorar as ferramentas
> para incluir esta otimização de ruas que passam por múltiplas regiões
> censitárias.
>
> Conversando com um amigo alemão hoje, ele estava me falando como a
> "gamification" do OSM ajudou a melhor a situação dos mapas na
> Alemanha, já que todo mundo queria ver sua cidade "verde" no head map.
> :)
>
> > Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome,
> > poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do
> > CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores
> A,B,C e
> > D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e
> D ,
> > e não pela lista completa de ruas que passam por qualquer um deles.
> >
> >
> >
> > 4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import
> dos
> > números de casa, deixe-me explicar melhor a idéia. Para isso vai ser
> > necessário parear as quadras e faces de quadras das com ruas já mapeadas
> e
> > nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"?
> > Imagino algo assim:
> > Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de
> quadras do
> > OSM, onde cada quadra i é indexada pela lista de quarteirões que a
> compõem.
> > E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma sequencia de
> ruas
> > do seu contorno, R1, R2, R3, R4, ... (em geral seria 4, mas podem ser
> mais).
> > Similarmente teríamos o conjunto de quadras do CNEFE:  Qcnefe={Qcnefe_1,
> > Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por j
> e é
> > descrita polas ruas que a cercam: Qcnefe_i{R1,R2,R3,R4,...}
> > Contanto que as ruas nas duas bases estejam com nomes similares, estejam
> > pareadas, podemos formular um

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

[Lucas Ferreira Mation]

Thiago, vamos estreitar mais a conversa e iniciativas.

Uma vez estive no IBGE a trabalho e eles comentaram que o shape de
quarteirões só poderá ser liberado em 2015, se não me engano, pois os mapas
foram comprados de empresas de mapeamento comercial, então não poderiam
liberar antes de 2015. Parece que este foi um grande desapontamento por lá,
pois achavam que a qualidade destes mapas seria muito melhor do que era e
fato. Antes do Censo as equipes do IBGE foram a campo fazer o "arrolamento"
dos setores censitários, isto é, verificar as ruas, corrigindo diretamente
no PDA, e estimando o número de casas por setor. Acho que existiria grande
potencial para o IBGE usar o OSM como base para o próximo censo, e usar a
enorme equipe deles para corrigir/complementar o OSM. Operacionalmente isso
é muito mais fácil do que ficar fazendo licitações, para comprar bases,
etc. Além disso já viria com uma série de aplicativos para fazer estas
correções no campo pela equipe deles.

Todo mundo comenta que o CNEFE não é muito bom. Mas vocês tem alguma idéia
do grau de erro do CNEFE? Pelo menos uma ordem de magnitude, 1%, 5%,  10%
ou 50% das ruas estão erradas?


Realmente dá para fazer isso que você falou. Uma dúvida: quando um trace é
baixado ele é apenas uma sequencia ordenada de pontos que alguém tem que
manualmente segmentar em ruas ou isso é feito de alguma forma automatizada?
Digo isso pois para as ruas já "segmentadas/demarcadas" mas sem nome,
poderíamos usar um algoritmo para filtrar ainda mais as possíveis ruas do
CNEFE. Algo do tipo, se a rua sem nome do CNEFE passa pelos setores A,B,C e
D, de ao usuário a opção apenas das ruas do CNEFE que passam por A,B,C e D
, e não pela lista completa de ruas que passam por qualquer um deles.



4) Voltando a esta sugestão é usar o CNEFE para fazer um grande import dos
números de casa, deixe-me explicar melhor a idéia. Para isso vai ser
necessário parear as quadras e faces de quadras das com ruas já mapeadas e
nomeadas no OSM. É possível gerar a partir do OSM uma base de "quadras"?
Imagino algo assim:
Seja Qosm={Qosm_1, Qosm_2, ... Qosm_i, ..., Qosm_I} o conjunto de quadras
do OSM, onde cada quadra i é indexada pela lista de quarteirões que a
compõem.   E cada quadra Qosm_i{R1,R2,R3,R4,...} é definida por uma
sequencia de ruas do seu contorno, R1, R2, R3, R4, ... (em geral seria 4,
mas podem ser mais).
Similarmente teríamos o conjunto de quadras do CNEFE:  Qcnefe={Qcnefe_1,
Qcnefe_2, ... Qosm_j, ..., Qcnefe_I} , onde cada quadra é indexada por j e
é descrita polas ruas que a cercam: Qcnefe_i{R1,R2,R3,R4,...}
Contanto que as ruas nas duas bases estejam com nomes similares, estejam
pareadas, podemos formular um problema matemático, um sistema de equações
para determinar os pareamentos entre as quadras i e j (OSM e CNEFE). Claro,
isso não precisa ser feito com todas as quadras contra todas, basta cruzar
os subconjuntos de quadras em cada setor nas duas bases. Tendo feito este
pareamento, seria possível saber para cada face de quarteirão do CNEFE a
face de rua correspondente no OSM. Aí bastaria importar todos os endereços
daquela face, talvez validando primeiro para ver se a informação é
compatível com os endereços já incluidos no OSM daquela face.









2014-04-02 20:38 GMT-03:00 Thiago Marcos P. Santos :

> 2014-03-31 12:32 GMT+03:00 Lucas Ferreira Mation :
> >
> > Prezados,
> >
> > Sou economista e trabalho no IPEA, entre outras coisas, com questões de
> > economia urbana e favelas. Sempre sentimos falta de uma base de dados
> > completa, precisa e gratuita de ruas, e outros atributos. Apenas
> > recentemente tive contato com o OSM e estou impressionado com a riqueza
> de
> > informações disponíveis. O projeto e o trabalho de vocês é fantástico.
> >
> > Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
> > 2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer
> as
> > informações destas bases para dentro do OSM, ou como um rascunho-guia
> para
> > pessoas validarem. Sugeri esta idéia no forum
> > e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads com
> > idéias similares. Listo abaixo as informações que sei destas bases do
> Censo
> > 2010, e depois minhas idéias sobre como poderiam ser
> exploradas/mireradas:
> >
> > A) Setor censitário: são uma divisão do território para operacionalizar a
> > coleta de informação no censo, tal que um setor seja  área de
> > responsabilidade de um único recenseador, com 250 a 350 domicílios em
> áreas
> > urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns
> poucos
> > quarteirões, mas podem ser apenas um quarteirão, ou até meio quarteirão
> em
> > áreas muito densas. São 316,5 mil setores em 2010.
> > O IBGE fornece um shapefile para cada uf com os polígonos dos set

Re: [Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

[Lucas Ferreira Mation]

 contorno e o resultado da comparação
>
> Mas o pessoal que está acostumado com o JOSM não precisaria muito
> disso. Poderíamos colocar (no próprio artigo do projeto) como usar o
> JOSM para fazer a revisão; isso seria mais fácil do que desenvolver
> uma interface só pra mostrar as diferenças graficamente com algum grau
> de aproximação.
>
> O mesmo processo poderia ser aplicado pra todas as demais comparações
> que pensarmos em fazer no futuro.
>
> Acho que, pras cidades menores, seria mais rápido/eficiente fazer a
> revisão por cidade ao invés de por setor.
>
> Que tal?
>
> 2014-03-31 6:32 GMT-03:00 Lucas Ferreira Mation :
> >
> > Prezados,
> >
> > Sou economista e trabalho no IPEA, entre outras coisas, com questões de
> > economia urbana e favelas. Sempre sentimos falta de uma base de dados
> > completa, precisa e gratuita de ruas, e outros atributos. Apenas
> > recentemente tive contato com o OSM e estou impressionado com a riqueza
> de
> > informações disponíveis. O projeto e o trabalho de vocês é fantástico.
> >
> > Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
> > 2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer
> as
> > informações destas bases para dentro do OSM, ou como um rascunho-guia
> para
> > pessoas validarem. Sugeri esta idéia no forum
> > e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads com
> > idéias similares. Listo abaixo as informações que sei destas bases do
> Censo
> > 2010, e depois minhas idéias sobre como poderiam ser
> exploradas/mireradas:
> >
> > A) Setor censitário: são uma divisão do território para operacionalizar a
> > coleta de informação no censo, tal que um setor seja  área de
> > responsabilidade de um único recenseador, com 250 a 350 domicílios em
> áreas
> > urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns
> poucos
> > quarteirões, mas podem ser apenas um quarteirão, ou até meio quarteirão
> em
> > áreas muito densas. São 316,5 mil setores em 2010.
> > O IBGE fornece um shapefile para cada uf com os polígonos dos setores.
> Além
> > disso o IBGE fornece uma base de dados com informações
> > demográficas e econômicas agregadas para os moradores de cada setor
> > censitário. O grau de precisão destes shapes varia de cidade para cidade.
> >
> > B) Base de quarteirões/quadras: o IBGE também dispõem internamente de uma
> > base de dados de quarteirões, entretanto esta base, em formato digital
> não é
> > divulgada. Aprendi com o projeto IBGEtools (muito bacana por sinal), que
> > imagens dos quarteirões de cada setor estão dispníveis em PDF no site do
> > IBGE.
> >
> > C) CNEFE  : lista os endereços de todos os domicílios recenseados = 81
> > milhões de observações. Para os domicílios rurais são incluídas as
> > coordenadas do domicílio. Para os urbanos é indicado o setor censitário
> > (localização conhecida pelo item A).  Também são indicados o quarteirão e
> > face de quarteirão, cujo shape eles não divulgam mas que cuja numeração
> > segue uma contagem seguencial dentro do setor (acho que no sentido
> horário).
> >
> > Dado isso, listo as coisas dúvidas  que penso que podem ser feitas e as
> > dúvidas associadas:
> >
> > 0) medir imprecisão dos shapes de setor censitário: acho que este
> > diagnóstico seria a primeira coisa a ser feita seria, para ter uma idéia
> do
> > grau de erro deste dado em cada cidade.  Já foi feito alguma estimativa
> do
> > tipo ? Alguma tentativa de corrigir os shapes de setor censitário? Digo
> isso
> > porque as idéias subsequentes, na maioria usam o shape de setores para
> > juntar espacialmente os dados.
> >
> > 1) Comparar listas de ruas CNEFE vs. OSM para ver o grau de coberturado
> OSM:
> > , conforme proposto/implementado para o Brasil (aqui1 e aqui2) e Alemanha
> > (aqui). Esta comparação pode ser feita em diversas escalas (município,
> > distrito, subdistrito e até setor (supoondo mapas compatíveis) na forma
> de
> > tabela ou de um heatmap. Aliás, baixei o shape de ruas do Brasil do OSM
> mas
> > não vem com informação de município ou nenhuma indicação geográfica.Como
> > obtenho isso nos shapes do OSM? ou preciso eu mesmo cruzar com um shape
> de
> > municípios no qgis?
> >
> >  2) Dado este paramento,  o CNEFE poderia ser usado para corrigir typos
> dos
> > nomes de ruas no OSM, ou pelo menos sugerir correções. (neste caso seria
> bom
> > fazer um matching probalistico/fuzzy dos nomes).
> >
> > 3) Criar traçados de ruas a partir de CNEFE+shape-setores. Co

Re: [Talk-br] Ferrovias e trens urbandos no OSM

[Lucas Ferreira Mation]

Obrigado pessoal. E como eu faço para criar explortar um  shapefile apenas
com os trajetos dos trilhos de trem no OSM do Brasil todo? É possível
filtrar as partes subterrâneas das partes a céu aberto?

Estou fazendo um estudo sobre favelas, e preciso identificar quais se
encontra na "calha" das ferrovias (normalmente nas urbanas)


2014-04-01 17:31 GMT-03:00 Arlindo Pereira :

> Acredito que os trens urbanos/metropolitanos estejam praticamente todos
> mapeados, embora ainda falte bastante coisa dos trens de carga.
>
>
> []s
> Arlindo
>
>
> 2014-04-01 10:02 GMT-03:00 Lucas Ferreira Mation :
>
>> Ola,
>>
>> alguém sabe se já foram mapeadas as ferrovias do Brasil no OSM? e os
>> trilhos de trens urbanos/metropolitanos?
>>
>> obrigado
>>
>>
>>
>>
>> ___
>> Talk-br mailing list
>> Talk-br@openstreetmap.org
>> https://lists.openstreetmap.org/listinfo/talk-br
>>
>>
>
> ___
> Talk-br mailing list
> Talk-br@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-br
>
>
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Ajuda para obter lista com todas as Ruas do Brasil e município, distrito, subdistrito

[Lucas Ferreira Mation]

Além poderia me ajudar e  extrair uma listagem (em .txt, .csv, ou similar)
com o nome de todas as ruas do Brasil (ou seguimentos de ruas) incluindo o
máximo de subdivisões adiminisitrativas possível (município, distrito,
subdistrito) ?

eu tentei uma alternativa relativamente simples que seria baixar a base de
ruas do Shapefile do Brasil (disponível
aqui)
e fazer um join com o shape de municípios 2010 do IBGE (compartilhei
aqui).
Mas o computador aqui (que não é lá muito bom) não aguenta fazer o spatial
join das duas bases, nem no Arcgis nem no Qgis.

Vou usar isso para fazer o cruzamento entre o OSM e o CNEFE, que era uma
das idéias descritas neste meu email
anterior.
Assim vai dar para ver o grau de cobertura/completurde do OSM do Brasil
todo, por estado, por município, etc. Acho que vai ser algo útil para ajuda
os mapeadores. Eu tenho acesso a um servidor bom aqui para fazer o
cruzamento com o CNEFE, inclusive pareamento probabilistico/fuzzy, mas
preciso que alguém me ajude a gerar a base de ruas do Brasil.

obrigado
Lucas
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] Ferrovias e trens urbandos no OSM

[Lucas Ferreira Mation]

Ola,

alguém sabe se já foram mapeadas as ferrovias do Brasil no OSM? e os
trilhos de trens urbanos/metropolitanos?

obrigado
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br

[Talk-br] idéias dados IBGE >> OSM: CNEFE, setores censitários, quarteirões.

[Lucas Ferreira Mation]

Prezados,

Sou economista e trabalho no IPEA, entre outras coisas, com questões de
economia urbana e favelas. Sempre sentimos falta de uma base de dados
completa, precisa e gratuita de ruas, e outros atributos. Apenas
recentemente tive contato com o OSM e estou impressionado com a riqueza de
informações disponíveis. O projeto e o trabalho de vocês é fantástico.

Como tenho trabalhado com as bases de setor censitário e CNEFE do censo
2010, minha primeira idéia ao entrar em contato com o OSM foi de trazer as
informações destas bases para dentro do OSM, ou como um rascunho-guia para
pessoas validarem. Sugeri esta idéia no
forum

e o Alexandreme sugeriu a lista talk-br, onde encontrei outras treads com
idéias similares. Listo abaixo as informações que sei destas bases do Censo
2010, e depois minhas idéias sobre como poderiam ser exploradas/mireradas:

A) Setor censitário: são uma divisão do território para operacionalizar a
 coleta de informação no censo, tal que um setor seja  área de
responsabilidade de um único recenseador, com 250 a 350 domicílios em áreas
urbanas, um pouco menos em áreas rurais. Costumam corresponder a uns poucos
quarteirões, mas podem ser apenas um quarteirão, ou até meio quarteirão em
áreas muito densas. São 316,5 mil setores em 2010.
O IBGE fornece um shapefile para cada uf com os polígonos dos setores. Além
disso o IBGE fornece uma base de dados com informações
demográficas e econômicas agregadas para os moradores de cada setor
censitário. O grau de precisão destes shapes varia de cidade para cidade.

B) Base de quarteirões/quadras: o IBGE também dispõem internamente de uma
base de dados de quarteirões, entretanto esta base, em formato digital não
é divulgada. Aprendi com o projeto
IBGEtools(muito bacana por sinal),
que imagens dos quarteirões de cada setor estão dispníveis em PDF no site
do IBGE.

C) 
CNEFE
: lista os endereços de todos os domicílios recenseados = 81 milhões de
observações. Para os domicílios rurais são incluídas as coordenadas do
domicílio. Para os urbanos é indicado o setor censitário (localização
conhecida pelo item A).  Também são indicados o quarteirão e face de
quarteirão, cujo shape eles não divulgam mas que cuja numeração segue uma
contagem seguencial dentro do setor (acho que no sentido horário).

Dado isso, listo as coisas dúvidas  que penso que podem ser feitas e as
dúvidas associadas:

0) medir imprecisão dos shapes de setor censitário: acho que este
diagnóstico seria a primeira coisa a ser feita seria, para ter uma idéia do
grau de erro deste dado em cada cidade.  Já foi feito alguma estimativa do
tipo ? Alguma tentativa de corrigir os shapes de setor censitário? Digo
isso porque as idéias subsequentes, na maioria usam o shape de setores para
juntar espacialmente os dados.

1) Comparar listas de ruas CNEFE vs. OSM para ver o grau de coberturado
OSM: , conforme proposto/implementado para o Brasil
(aqui1
e
aqui2 ) e Alemanha (
aqui ). Esta comparação pode
ser feita em diversas escalas (município, distrito, subdistrito e até setor
(supoondo mapas compatíveis) na forma de tabela ou de um heatmap. Aliás,
baixei o shape de ruas do Brasil do OSM mas não vem com informação de
município ou nenhuma indicação geográfica.Como obtenho isso nos shapes do
OSM? ou preciso eu mesmo cruzar com um shape de municípios no qgis?

 2) Dado este paramento,  o CNEFE poderia ser usado para corrigir typos dos
nomes de ruas no OSM, ou pelo menos sugerir correções. (neste caso seria
bom fazer um matching probalistico/fuzzy dos nomes).

3) Criar traçados de ruas a partir de CNEFE+shape-setores. Conforme
descrito no post no forum, sabendo que a rua passa dentro de um conjunto de
setores seria possível esboçar o trajeto da rua, ou uma área no meio da
qual sabemos que ela passa, o que poderia servir de guia para os
mapeadores.

4) Pareamento de quarteirões e faces de quarteirão do CNEFE e do OSM em
áreas já mapeadas. Supondo que o perímetro do setor seja conhecido
(shape-setor seja preciso) deve ser possível identificar qual quarteirão do
CNEFE corresponde a qual quarteirão do OSMs. Sendo assim seria possível
adicionar toda a estrutura de números de rua do CNEFE ao OSM.

Enfim, estas são a idéias mais preliminares, espero que o email não tenha
ficado longo demais. Queria ver o que o pessoal acha delas e se alguém se
anima a ajudar. Tenho algumas idéias sobre algoritmos, etc para fazer estes
cruzamentos, mas não sei python, detalhes do OSM , etc para implementa tudo
num código na web.

abraço
Lucas
___
Talk-br mailing list
Talk-br@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-br