Re: [SP-pm] analise de texto

2013-05-12 Por tôpico Stanislaw Pusep
Boa noite Alceu, desculpe pela demora. Todas as implementações de classificador bayesiano que encontrei no CPAN trabalham com as estruturas de dados nativas do Perl, ou seja, na RAM. Quando a persistência é implementada, é através da serialização por Storable. Bom, no meu caso, a interface com o ca

Re: [SP-pm] analise de texto

2013-05-07 Por tôpico Alceu Rodrigues de Freitas Junior
Olá Stanislaw, Eu li seu artigo em https://gist.github.com/creaktive/1924499 e achei bastante didático, principalmente sobre a parte estatística. No entanto, eu devo dizer que é possível sim utilizar persistência com o AI::Categorizer: if ( -e $store_file ) { $know_set = AI::Categorize

Re: [SP-pm] analise de texto

2013-04-18 Por tôpico Ricardo Stock
t: Thursday, April 18, 2013 10:03 AM Subject: Re: [SP-pm] analise de texto Não dá: ele é high-level demais. O que pode ser feito é uma gambiarra: pre-processar o documento e representá-lo com hashes de seus tokens customizados. Uma excelente referencia: http://hunch.net/~jl/projects

Re: [SP-pm] analise de texto

2013-04-18 Por tôpico Stanislaw Pusep
Não dá: ele é high-level demais. O que pode ser feito é uma gambiarra: pre-processar o documento e representá-lo com hashes de seus tokens customizados. Uma excelente referencia: http://hunch.net/~jl/projects/hash_reps/index.html ABS() 2013/4/18 Alceu Rodrigues de Freitas Junior > De fato for

Re: [SP-pm] analise de texto

2013-04-18 Por tôpico Alceu Rodrigues de Freitas Junior
De fato foram ótimas dicas. Só fiquei com uma dúvida: como controlar o AI::Categorizer para utilizar como tokens mais de uma palavra? []'s Alceu Em 17-04-2013 12:22, Marcio Ferreira escreveu: Falando ainda de matrix e comparações, 2 módulos que me ajudam muito e poupam tempo https://metacpan

Re: [SP-pm] analise de texto

2013-04-17 Por tôpico Marcio Ferreira
Falando ainda de matrix e comparações, 2 módulos que me ajudam muito e poupam tempo https://metacpan.org/module/List::Compare https://metacpan.org/module/Algorithm::Combinatorics Esse tipo de trabalho você precisa saber o que quer e ir construindo aos poucos. E vai pegando essas manhas que o Stan

Re: [SP-pm] analise de texto

2013-04-16 Por tôpico Stanislaw Pusep
Quanto ao módulo de stopwords em português, existe um, sim: https://metacpan.org/module/Lingua::StopWords Outra coisa interessante é aplicar um stemmer: https://metacpan.org/module/Lingua::Stem::Snowball Também vale notar uma técnica "ninja": quem disse que token precisa corresponder a UMA palavra?

Re: [SP-pm] analise de texto

2013-04-16 Por tôpico Alceu Rodrigues de Freitas Junior
Tiago, Um passo à passo vou ficar devendo até porque o assunto é um tanto complexo e vai depender fortemente do tipo que dados que você vai analisar. Vale a pena ler um pouco de teoria sobre Naive Bayes (existe muito material disponível na internet) para que você entenda melhor como trabalha

Re: [SP-pm] analise de texto

2013-04-15 Por tôpico Ricardo Stock
Obrigado stan, esta sendo de muita ajuda seu artigo Ricardo Stock www.stocksistemas.com.br - Original Message - From: Stanislaw Pusep To: saopaulo...@mail.pm.org Sent: Sunday, April 14, 2013 2:06 PM Subject: Re: [SP-pm] analise de texto Ricardo, se interessar, coloquei um

Re: [SP-pm] analise de texto

2013-04-14 Por tôpico Stanislaw Pusep
> Ricardo Stock > www.stocksistemas.com.br > > - Original Message - > *From:* Stanislaw Pusep > *To:* saopaulo...@mail.pm.org > *Sent:* Sunday, April 14, 2013 9:38 AM > *Subject:* Re: [SP-pm] analise de texto > > Tinha um artigo sobre categorização usando Naïve Bayes

Re: [SP-pm] analise de texto

2013-04-14 Por tôpico Ricardo Stock
Salbe Stanislaw. Obrigdo, Vou replicar o mesmo Ricardo Stock www.stocksistemas.com.br - Original Message - From: Stanislaw Pusep To: saopaulo...@mail.pm.org Sent: Sunday, April 14, 2013 9:38 AM Subject: Re: [SP-pm] analise de texto Tinha um artigo sobre categorização

Re: [SP-pm] analise de texto

2013-04-14 Por tôpico Ricardo Stock
es de Freitas Junior" To: Sent: Sunday, April 14, 2013 9:15 AM Subject: Re: [SP-pm] analise de texto Olá Ricardo, Eu usei a distro AI::Categorizer (http://search.cpan.org/~kwilliams/AI-Categorizer-0.09/lib/AI/Categorizer.pm) para categorizar centenas de mensagens de erros diários do mid

Re: [SP-pm] analise de texto

2013-04-14 Por tôpico Stanislaw Pusep
Tinha um artigo sobre categorização usando Naïve Bayes no site da SPPM, referente ao Equinócio de Outono de 2012, mas sumiu :P Tenho um backup aqui: https://gist.github.com/creaktive/1924499 ABS() 2013/4/14 Alceu Rodrigues de Freitas Junior > Olá Ricardo, > > Eu usei a distro AI::Categorizer

Re: [SP-pm] analise de texto

2013-04-14 Por tôpico Tiago Peczenyj
Alceu Vc podia dar mais detalhes do seu trabalho? Como vc categorizava as mensagens, de repente mostrando um passo a passo a partir de algum exemplo mais simples... achei isso bem legal! 2013/4/14 Alceu Rodrigues de Freitas Junior > Olá Ricardo, > > Eu usei a distro AI::Categorizer (http://sea

Re: [SP-pm] analise de texto

2013-04-14 Por tôpico Alceu Rodrigues de Freitas Junior
Olá Ricardo, Eu usei a distro AI::Categorizer (http://search.cpan.org/~kwilliams/AI-Categorizer-0.09/lib/AI/Categorizer.pm) para categorizar centenas de mensagens de erros diários do middleware de integração aonde trabalho atualmente. O AI::Categorizer tem a interface meio confusa, o POD não

[SP-pm] analise de texto

2013-04-13 Por tôpico Ricardo Stock
Ola para todos. gostaria da ajuda da galera para a descoberta de algum módulo ou caso alguem já tenha trabalhado com analise de texto. Alguem poderia me dar alguma dica ou caminho das pedras para trabalhar com analise de texto, para dependendo da frase tomar determinada ação. N