Re: [Talk-br] RES: RES: RES: OSM - CNEFE

2015-09-30 Por tôpico Lucas Ferreira Mation
Reinaldo,
obrigado,

Poderia explicar melhor, o dar exemplo, do que você quis dizer com a frase
abaixo?

"Uma problema que encontrei fora das capitais e que deve receber uma
atenção são os eixos de rua que estão contínuos no OSM e podem gerar
problema ao transferir os nomes do CNEFE."

2015-09-30 10:22 GMT-03:00 Reinaldo Neves :

> Lucas eu tenho feito diversas edições no OSM com base no cnefe para
> incluir a nomenclatura das ruas e comparando com a camada do bing também.
>
>
>
> Posso confirmar que o deslocamento esta no cnefe mesmo, provável que por
> conta das imagens que eles utilizaram na geração do setor censitário.
>
>
>
> Setores com um único quarteirão ocorrem em quantidade nos centros urbanos
> com maior densidade populacional.   Mas você pode aplicar o algoritmo aos
> setores que abrangem mais de um bairro, que vai obter o mesmo nível de
> sucesso.
>
>
>
> Uma problema que encontrei fora das capitais e que deve receber uma
> atenção são os eixos de rua que estão contínuos no OSM e podem gerar
> problema ao transferir os nomes do CNEFE.  Não é o caso que vou usar como
> exemplo, mas este acho mais simples verificar
>
>
>
> Abraços
>
>
>
>
>
> ___
>
> Reinaldo Neves
>
> Equação Informática
>
> (11) 3221-3722
>
>
>
>
>
> *De:* Lucas Ferreira Mation [mailto:lucasmat...@gmail.com]
> *Enviada em:* quarta-feira, 30 de setembro de 2015 09:54
> *Para:* OpenStreetMap no Brasil
> *Assunto:* Re: [Talk-br] RES: RES: OSM - CNEFE
>
>
>
> fantástico Marcos,
>
>
>
> eu já "ataquei" várias linhas das que você sugeriu, mas ainda não
> completei. Tenho trocado algumas idéias a respeito, off-line do grupo para
> não tumultuar muito por aqui, com o  Peter Krauss. Podemos te incluir na
> conversa.
>
>
>
> Vamos por partes:
>
>
>
> A) A primeira grande dúvida que eu tenho é quanto podemos confiar no
> posicoinamento das ruas do OSM? Por exemplo, quando o shape de setor
> censitário e o OSM não batem, como eu posse ter certeza que o certo é o
> OSM? Será que o mapeador não se baseou numa imagem de satélite que também
> estava deslocada? Enfim, no meu código estou de certa forma tomando o
> posicionamento de ruas do OSM como "verdade", mas seria bom pensar um pouco
> melhor nisso. Eu vi nos vídeos do SotM-Latin-America-2015 um cara da Mapbox
> apresentando como eles tem umas técnicas para corrigir o posicionamento de
> ruas do OSM, que aplicaram no Japao e em Lima.
>
>
>
>
>
> B) Agora de manhã estou trabalhando nesta idéia de usar os quarteiroes que
> parearem e que sejam setores de um só quarteirão como pontos de controle
> para corrigir a malha de setores censitarios.
>
>
>
> Dos 95mil  quarteiroes que eu consegui parear, 952 são setores com um
> único quarteirão (que são os que de fato podemos parear no momento). Estes
> 952 setores são de 81 municípios (eu estava com esperança de que seriam
> mais). Para estes eu vou calcular a distancia (ST_distance) e o angulo
> (ST_Azimuth) entre os centroides das quadras pareadas do OSM e do CNEFE.
> Como você falou isso vai nos dar uma lista de pontos de controle.
>
>
>
>  Com isso podemos:
>
> b1) ter uma lista de "margens de erro" do shape de setor censitário para
> cada municipio (ou melhor pros 81 muncípios em que há estes casos). Isso
> serve para definir o buffer (max(ST_distance) para usar quando parear o
> shape de setores censitarios com os ruas do OSM (como você sugere).
>
> b2) Usar os pontos de controle para corrigir o shape de setor censitario.
> Isto é, fazer uma transformação afim (que estica partes do mapa e contrai
> outras partes) com base nestes pontos.
>
>
>
> C) De fato a podemos usar o shape de setores para aproximar mais o
> pareamento espacial (atualmente eu só usei os municípios) antes de parear
> as quadras pelo nome. E com isso podemos aumentar ao grau de tolerancia nos
> pareamentos fuzzy. Este pareamento OSM - poligonos de setor censitario
> também é útil para a outra grande metade do projeto (na qual ainda não
> avancei muito) que é sugerir nomes para ruas sem nome no OSM a partir do
> CNEFE.
>
> Eu já tentei rodar uma query para fazer isso
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 2015-09-30 9:14 GMT-03:00 Marcos Fedato :
>
> Caros,
>
>
>
> Eu trabalhei alguns anos com essa parte de endereçamento e tenho muito a
> ajudar nesse processo do CNEFE.
>
>
>
> Além dos acentos e da lógica fuzzy (que pode adicionar erros), podemos
> usar alguma coisa de fonética brasileira(que pode adicionar erros) e
> tabelas auxiliares(que pode adicionar erros) com nomes padrão, dando
> replace em erros conhecidos de grafia (AKA: juscelino kubitschek é difícil
> de escrever).
>
>
>
> Tem esse algoritimo em Delphi que eu achei uma vez, que faz um trabalho
> fantastico de fonética BR (tecnicamente não é BR é do Portugês) (AKA:
> soundex não é bom para matches exatos) http://pastebin.com/KpYxxw5e.
>
>
>
> Vamos supor que o "quarteirão" tenha 4 ruas e 3 delas tem nome no OSM e
> estes nomes batem, a gente pode supor que a rua que falto

[Talk-br] RES: RES: RES: OSM - CNEFE

2015-09-30 Por tôpico Reinaldo Neves
Lucas eu tenho feito diversas edições no OSM com base no cnefe para incluir a 
nomenclatura das ruas e comparando com a camada do bing também.

 

Posso confirmar que o deslocamento esta no cnefe mesmo, provável que por conta 
das imagens que eles utilizaram na geração do setor censitário.  

 

Setores com um único quarteirão ocorrem em quantidade nos centros urbanos com 
maior densidade populacional.   Mas você pode aplicar o algoritmo aos setores 
que abrangem mais de um bairro, que vai obter o mesmo nível de sucesso.

 

Uma problema que encontrei fora das capitais e que deve receber uma atenção são 
os eixos de rua que estão contínuos no OSM e podem gerar problema ao transferir 
os nomes do CNEFE.  Não é o caso que vou usar como exemplo, mas este acho mais 
simples verificar

 

Abraços

 

 

___

Reinaldo Neves

Equação Informática

(11) 3221-3722

 

 

De: Lucas Ferreira Mation [mailto:lucasmat...@gmail.com] 
Enviada em: quarta-feira, 30 de setembro de 2015 09:54
Para: OpenStreetMap no Brasil
Assunto: Re: [Talk-br] RES: RES: OSM - CNEFE

 

fantástico Marcos, 

 

eu já "ataquei" várias linhas das que você sugeriu, mas ainda não completei. 
Tenho trocado algumas idéias a respeito, off-line do grupo para não tumultuar 
muito por aqui, com o  Peter Krauss. Podemos te incluir na conversa.  

 

Vamos por partes:

 

A) A primeira grande dúvida que eu tenho é quanto podemos confiar no 
posicoinamento das ruas do OSM? Por exemplo, quando o shape de setor censitário 
e o OSM não batem, como eu posse ter certeza que o certo é o OSM? Será que o 
mapeador não se baseou numa imagem de satélite que também estava deslocada? 
Enfim, no meu código estou de certa forma tomando o posicionamento de ruas do 
OSM como "verdade", mas seria bom pensar um pouco melhor nisso. Eu vi nos 
vídeos do SotM-Latin-America-2015 um cara da Mapbox apresentando como eles tem 
umas técnicas para corrigir o posicionamento de ruas do OSM, que aplicaram no 
Japao e em Lima. 

 

 

B) Agora de manhã estou trabalhando nesta idéia de usar os quarteiroes que 
parearem e que sejam setores de um só quarteirão como pontos de controle para 
corrigir a malha de setores censitarios. 

 

Dos 95mil  quarteiroes que eu consegui parear, 952 são setores com um único 
quarteirão (que são os que de fato podemos parear no momento). Estes 952 
setores são de 81 municípios (eu estava com esperança de que seriam mais). Para 
estes eu vou calcular a distancia (ST_distance) e o angulo (ST_Azimuth) entre 
os centroides das quadras pareadas do OSM e do CNEFE. Como você falou isso vai 
nos dar uma lista de pontos de controle. 

 

 Com isso podemos:

b1) ter uma lista de "margens de erro" do shape de setor censitário para cada 
municipio (ou melhor pros 81 muncípios em que há estes casos). Isso serve para 
definir o buffer (max(ST_distance) para usar quando parear o shape de setores 
censitarios com os ruas do OSM (como você sugere). 

b2) Usar os pontos de controle para corrigir o shape de setor censitario. Isto 
é, fazer uma transformação afim (que estica partes do mapa e contrai outras 
partes) com base nestes pontos. 

 

C) De fato a podemos usar o shape de setores para aproximar mais o pareamento 
espacial (atualmente eu só usei os municípios) antes de parear as quadras pelo 
nome. E com isso podemos aumentar ao grau de tolerancia nos pareamentos fuzzy. 
Este pareamento OSM - poligonos de setor censitario também é útil para a outra 
grande metade do projeto (na qual ainda não avancei muito) que é sugerir nomes 
para ruas sem nome no OSM a partir do CNEFE. 

Eu já tentei rodar uma query para fazer isso

 

 

 

 

 

 

 

 

 

 

 

 

 

2015-09-30 9:14 GMT-03:00 Marcos Fedato :

Caros,

 

Eu trabalhei alguns anos com essa parte de endereçamento e tenho muito a ajudar 
nesse processo do CNEFE.

 

Além dos acentos e da lógica fuzzy (que pode adicionar erros), podemos usar 
alguma coisa de fonética brasileira(que pode adicionar erros) e tabelas 
auxiliares(que pode adicionar erros) com nomes padrão, dando replace em erros 
conhecidos de grafia (AKA: juscelino kubitschek é difícil de escrever).

 

Tem esse algoritimo em Delphi que eu achei uma vez, que faz um trabalho 
fantastico de fonética BR (tecnicamente não é BR é do Portugês) (AKA: soundex 
não é bom para matches exatos) http://pastebin.com/KpYxxw5e.

 

Vamos supor que o "quarteirão" tenha 4 ruas e 3 delas tem nome no OSM e estes 
nomes batem, a gente pode supor que a rua que faltou no OSM tem o nome da rua 
que sobrou no CNEFE.

 

A gente pode usar não só os municipios, mas também os setores censitários para 
achar exatamente onde estão os nomes faltantes.

 

Os setores censitários tem uma tabela de descrição do entorno. É um campo de 
texto livre para cada setor falando as ruas por onde ele é delimitado. Com 
alguma inteligência a gente pode quebrar esse campo em ruas e cruzar com o OSM 
também.

 

O problema conhecido de cruzar diferentes bases de dados espaciais