Esse tipo de discussão mais técnica podemos levar no Github/issues do projeto, https://github.com/lucasmation/osm_cnefe_import/issues/4 mais tarde podemos organizar.
PS: postei <http://stackoverflow.com/questions/32907481/optimize-large-st-intersect-query-match-1-8m-osm-streets-to-317k-polygons#comment53661447_32907481> uma sugestão de "pre-check, ... AND (way && setor_censitarioL.geom) AND ST_Intersects(...) " pois voce está fazendo um scan de pares, são N*M verificações, o operador && descarta os casos onde nem sequer o BBOX coincide... Na pratica acho que até pode trocar tudo por *ST_DWithin*. Em 2 de outubro de 2015 21:39, Lucas Ferreira Mation <lucasmat...@gmail.com> escreveu: > Ok para reuniao 20h40 hoje. > > Ainda nao consegui matar o problema do do cruzamento do OSM com os setores > censitarios. > Eu peguei as sugestoes do stack overflow > <http://stackoverflow.com/questions/32907481/optimize-large-st-intersect-query-match-1-8m-osm-streets-to-317k-polygons>e > juntei em varias possiveis queries e coloquei tudo em > > > https://github.com/lucasmation/osm_cnefe_import/blob/master/OSM_Streets_SetorCensitario_spatial_match.sql > > Mas nao sei interpretar muito bem o output do EXPLAIN. Peter da uma olhada > para mim por favor (interrogacao) > > > > > > > > 2015-10-02 18:10 GMT-03:00 Peter Krauss <ppkra...@gmail.com>: > >> Ola! >> >> Respondendo por alto a todos os tópicos, >> >> *== reuniao hoje 20h40 ==* >> Acho que estamos de acordo com isso, falta conferir o canal de voz a ser >> usado (Hangouts ou Zoom)... Eu acabo de descobrir que não estarei em casa, >> não sei se conseguirei participar hoje. Caso alguem use cel. da Claro eu >> passo por email e falamos antes, no celular ou em fixo. >> >> >> *== PROJETOS OSM ==* >> O Marcos indicou o norte, >> >> http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos >> >> acho que podemos começar por "dar um tapa" nisso, já fiz coisa parecida >> lá na OKBR <http://wiki.okfn.org/Category:Projetos_OKBR>, onde >> classificamos com 2 ou 3 tags, e categorizamos os projetos, amarrando de >> forma mais sólida as páginas... >> >> No caso da descrição de quadras, etc. como se trata de Wikimedia, o mesmo >> software que usado na Wikipedia (!), posso até copiar/colar o que comecei >> na Wikipedia ( >> https://en.wikipedia.org/wiki/Postal_code#Codes_defined_indirectly_to_administrative_borders >> ) >> e tentar por fim uma abordagem didática para todos entendermos exatamente >> como se relacionam as quadras com o CEP e com o CNEFE... Ou seja, texto >> mais ilustrativo e didático, e conforme formos obtendo resultados concretos. >> >> Eu talvez migre uma parte (a mais técnica) da OKFN para a wiki da OSM, >> onde haverão mais colaboradores, >> http://wiki.okfn.org/Open_Knowledge_Brasil/Mapa-do-CEP >> >> O Alexandre comentou de um nome melhor no Github, concordo... e, pensando >> bem, acho que nem precisamos de Github para essa organização geral de >> projetos, pode ficar tudo na WikiProject_Brazil/Projetos >> <http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos> por >> hora. >> . ... acho que "CNEFE data, IBGE, Brasil import" e "Mapa-do-CEP" tendem >> a convergir para algo como "city block generation" e "segmentation by >> faces, of city block", ou seja, faces de quadra serão nosso foco. >> >> >> *=== PROJETO CNEFE===* >> @Marcos, sim, o Lucas é o trator e o coordenador do projeto (!), nós >> vamos atrás a reboque, com umas pás de jardim e boa vontade esporádica ;-) >> A discussão sobre onde colocar esse projeto do Lucas de CNEFE, qual Wiki >> usar (Github ou wiki.openstreetmap), etc. podemos tentar fechar em >> https://github.com/lucasmation/osm_cnefe_import/issues/1 >> aguardo você por lá ok? >> Como já somos 1 coordenador ("trator") e 2 colaboradres ("reboques"), já >> podemos estimar metas e seguir as dicas do Alexandre, "(...) um projeto >> coletivo e grande talvez deva necessariamente começar pelos planos, pela >> engenharia, pela definição de arquitetura". Os colaboradores (eu e Marcos) >> podemos iniciar por isso que não exige muita expertize nem estar com a mão >> na massa, o Lucas já "prototipou e ensaiou" o principal, o que faltar vai >> saindo no feedback de comunidade. >> >> *===PROJETO MAPA DO CEP===* >> Acho que estamos convergindo para a fusão do CNEFE com o MAPA DO CEP: o >> fundamento de ambos são as faces de quadra e, posteriormente, o valor de >> logística agreado. >> >> >> *== Metaphone, Lucas ==* >> A análise de duplicações de nomes de rua é complexa, tem mil meandros e >> em geral cada cidade uma peculiaridade (as respectivas Câmaras Municipais >> são as responsáveis)... As duplicações seriam talvez um projetinho a parte, >> acho que podemos até tratar em outro *git* e fazer centenas de >> experimentos e demonstrações com planilhas CSV. >> - - - >> PS: Olhei por alto o seu link >> <http://pt.slideshare.net/DiogoLVGRubert/palestra-diogo-rubert-pgday-campinas-2015> >> , parece que estamos em consenso. A ultima vez que discuti o assunto foi >> em http://pt.stackoverflow.com/a/10202/4186 >> RESUMO: basta instalar o Metaphone no PostgreSQL: precisa indexar com >> metaphone poque é exponencialmente mais rápido do que comparar par-a-par >> com semelhança. O indexador sugerido (as ruas do Brasil exigem 90% fonética >> do portugues) já faz também uma espécie de *stemming >> <https://en.wikipedia.org/wiki/Stemming> *grosseiro por ficar só com >> prefixos. Aí, como diz também seu link, com grupos de similares em mãos, >> aplica-se a semelhança par-a-par. >> >> >> >> >> Em 2 de outubro de 2015 02:13, Marcos Fedato <heroij...@hotmail.com> >> escreveu: >> >>> Peter, >>> >>> Agora que eu vi, o Lucas já tem muita coisa como o Objetivo e a pagina >>> do Wiki kkkkk. >>> >>> http://wiki.openstreetmap.org/wiki/CNEFE_data,_IBGE,_Brasil_import >>> >>> Acho que podemos seguir o que ele fez e crescer com isso. >>> >>> Então já temos o repo, o wiki e o objetivo claro que podemos revalidar. >>> >>> O Lucas ta ralando a tempo nisso essa pagina da wiki começou em Abril de >>> 2014! >>> >>> Att >>> Marcos Fedato >>> >>> >>> ------------------------------ >>> From: heroij...@hotmail.com >>> To: talk-br@openstreetmap.org >>> Date: Thu, 1 Oct 2015 22:40:53 -0300 >>> >>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE >>> >>> Olá Peter, >>> >>> 1) Eu acho legal, acho que ficaria melhor criar um repo ja com o nome de >>> "importacao_cnefe" e dentro dele criar uma pasta tipo "documentação" caso >>> precisemos guardar algo lá. >>> >>> Na verdade o lucas já tem um projeto criado >>> https://github.com/lucasmation/osm_cnefe_import, mas talvez criar um >>> pelo OSM fique mais formal, chame mais atenção, sei lá. >>> >>> Nesse repo poderiamos dividir em pastas as diferentes ferramentas que >>> possamos ter de desenvolver, e fica focado no tema. >>> >>> Acho também que poderiamos usar o Wiki do OSM para documentar em alto >>> nível assim mesmo quem não é programador fica a vontade para entender o que >>> fizemos. >>> >>> 2) Só dando crédito a pessoa correta kkkk, o Lucas que "numerou com >>> letras" de A a G. >>> >>> Sobre o primeiro tópico, acho que deveria ser dar um passo técnico para >>> trás e definir bem o objetivo deste projeto (se é nomear automaticamente, >>> apontar áreas de correção, apontar possíveis nomes para o ID, criar uma >>> camada de setor censitário alinhada ao OSM para futuras análises espaciais, >>> tudo isso, tudo isso e mais um pouco...). >>> >>> 3) Consolidação: Pode ser no Wiki do GITHub ou no Wiki do OSM, eu tendo >>> mais ao Wiki do OSM pois ficaria concentrado onde outros projetos já >>> existem. http://wiki.openstreetmap.org/wiki/WikiProject_Brazil/Projetos. >>> >>> Mas se for no Wiki do GITHub, a gente cria uma pagina no Wiki do OSM >>> redirecionando para lá e ta massa também, acho que não devemos gastar muita >>> energia criativa com ferramental pq gosto é como... nariz, cada um tem uma >>> ferramenta especial kkkkk. >>> >>> Então assim, como vc teve a iniciativa, acho que vc pode escolher (só >>> veria como lucas a questão de usar o repo dele ou criar pelo OSM, de qual >>> Wiki, o que importa é gerarmos conteúdo de qualidade), decisões concensuais >>> por listas de email são demoradas, desgastantes e normalmente... não são >>> concensuais no fim kkkk. >>> >>> Atenciosamente, >>> Marcos Fedato >>> >>> >>> ------------------------------ >>> Date: Thu, 1 Oct 2015 22:01:57 +0000 >>> From: ppkra...@gmail.com >>> To: talk-br@openstreetmap.org >>> Subject: Re: [Talk-br] RES: RES: OSM - CNEFE >>> >>> Oi Alexandre, não se preocupe, e creio que aqui a maioria é >>> intermitente, com seus altos e baixos de participação. >>> >>> Uma coisa onde *todos podem ajudar para já adiantar o processo* é o >>> seguinte: >>> >>> *1) *o nome do projeto Github, que tal "Organizando"? ficaria >>> https://github.com/OSMBrasil/organizando >>> >>> *2)* O Marcos já lançou tópicos de A a G (!), que fal votarmos aqui, >>> antes de começar no git, qual será o primeiro tópico a ser abordado? >>> >>> *3) *consolidação de textos aqui dos emails: uma série de dicas, >>> questionamentos, e consensos foram expressos neste theread, quem ajudaria a >>> resumir/consolidar esse blabla rico todo para servir de referência mais >>> organizada e centralizada? (preparo la no Git como Wiki ou README) >>> >>> Peter >>> >>> >>> Em 1 de outubro de 2015 21:21, Alexandre Magno Brito de Medeiros < >>> alexandre....@gmail.com> escreveu: >>> >>> Peter Krauss e Marcos Fedato, >>> >>> Infelizmente eu preciso declarar que *eu apenas trouxe a ideia*, para >>> quem está com gás, vocês. Não posso me envolver. Tenho um bocado de >>> pendências por aqui, pela comunidade mesmo, coisa que eu devia ter feito e >>> não fiz. E coisa que preciso fazer, como simples traduções. Mesmo que eu >>> não as tivesse, minha cabeça está cada vez mais distante dos conhecimentos >>> técnicos que o projeto de vocês requer. Eu preciso resolver várias coisas >>> no âmbito pessoal (particular), às quais dou mesmo mais prioridade. Por >>> exemplo, meu pai tornou-se deficiente físico e... bem, estou com ele. >>> >>> Alexandre Magno >>> >>> Em 1 de outubro de 2015 17:16, Peter Krauss <ppkra...@gmail.com> >>> escreveu: >>> >>> Alexandre, acho uma boa ideia, e se houver maior concentração de adeptos >>> numa cidade, como São Paulo, podemos até fazer presencial+web ... Quanto >>> aos slides tambem boa ideia, já fiz algo parecido para palestras do LexML, >>> https://github.com/ppKrauss/lexml-slides >>> >>> >>> Em 30 de setembro de 2015 15:58, Alexandre Magno Brito de Medeiros < >>> alexandre....@gmail.com> escreveu: >>> >>> Outra opção mais custosa é agendarem uma apresentação de slides para >>> cada pessoa/ideia. Pode ser num dia só; um evento remoto de múltiplos >>> apresentadores. Com o objetivo de definir os rumos de um projeto de >>> software. A reunião final consolidaria os ânimos do time e decidiria o que >>> aproveitar de cada ideia. Cada apresentação teria explicado coisas com >>> imagens, áudio e texto. Os slides e documentos de definição seriam >>> versionados, guardados e publicados em GitHub. >>> >>> Alexandre >>> >>> Em 30 de setembro de 2015 12:43, Alexandre Magno Brito de Medeiros < >>> alexandre....@gmail.com> escreveu: >>> >>> Eu não vou participar, mas sugiro que vocês procurem uma ferramenta que >>> lhes permita desenhar em quadro branco remotamente, com áudio. Existe. É >>> como um pad com capacidade de desenho à mão livre e áudio. >>> >>> Alexandre >>> >>> Em 30 de setembro de 2015 09:14, Marcos Fedato <heroij...@hotmail.com> >>> escreveu: >>> >>> >>> Eu quero muito de ajudar nisso, estudei isso do OSM e do CNEFE bastante >>> tempo e por isso tenho bastante conhecimento para tal, se tiverem interesse >>> em expandir essa conversa além da lista (dá uma preguiça de escrever e a >>> discussão demora, principalmente para brain storming) estou disposto a >>> participar de discussões via áudio sobre o tema em horário não comercial e >>> depois a gente pode colocar na lista um resumo para não perder o histórico. >>> >>> >>> >>> _______________________________________________ >>> Talk-br mailing list >>> Talk-br@openstreetmap.org >>> https://lists.openstreetmap.org/listinfo/talk-br >>> >>> >>> >>> _______________________________________________ Talk-br mailing list >>> Talk-br@openstreetmap.org >>> https://lists.openstreetmap.org/listinfo/talk-br >>> >>> _______________________________________________ Talk-br mailing list >>> Talk-br@openstreetmap.org >>> https://lists.openstreetmap.org/listinfo/talk-br >>> >>> _______________________________________________ >>> Talk-br mailing list >>> Talk-br@openstreetmap.org >>> https://lists.openstreetmap.org/listinfo/talk-br >>> >>> >> >> _______________________________________________ >> Talk-br mailing list >> Talk-br@openstreetmap.org >> https://lists.openstreetmap.org/listinfo/talk-br >> >> > > _______________________________________________ > Talk-br mailing list > Talk-br@openstreetmap.org > https://lists.openstreetmap.org/listinfo/talk-br > >
_______________________________________________ Talk-br mailing list Talk-br@openstreetmap.org https://lists.openstreetmap.org/listinfo/talk-br
