[SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Marcio - Google
Mestres, Estou procurando uma forma de fazer um aplicativo que navegue em um determinado site, capture algumas informações e grave em BD. Pra ficar mais fácil de entender, vai um exemplo. Entrar no site telelistas.net, preencher uma determinada palavra-chave para busca, acionar o botão buscar e

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Blabos de Blebe
WWW::Mechanize e seus parentes 2013/5/9 Marcio - Google marci...@gmail.com Mestres, Estou procurando uma forma de fazer um aplicativo que navegue em um determinado site, capture algumas informações e grave em BD. Pra ficar mais fácil de entender, vai um exemplo. Entrar no site

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico firebits
Tive um experiência muito boa com mechanize com python em um Pentest web. Acredito com Perl ser melhor ainda pois import do python foi portado do cpan do Perl. Cheguei ate fazer um exploit para fazer reverso de cookie de um Big-IP vulnerável entre Internet/LAN. Ta ai um linguagem que quero

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Stanislaw Pusep
Depende! Você precisa fazer isso on-fly? Ou em lote? Se for em lote, você quer percorrer o site todo? Ou tem uma lista de palavras-chaves? ABS() 2013/5/9 Marcio - Google marci...@gmail.com Mestres, Estou procurando uma forma de fazer um aplicativo que navegue em um determinado site,

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Marcio - Google
Stan, Em lote. A sequencia é assim: 1. Entrar usuário e senha e conferir se autenticou; 2. Entrar com uma palavra chave em um campo especifico, pois o site só aceita o método post; 3. Submeter o form; 4. Capturar vários dados; 5. Acionar o botão próximo; 6. Capturar mais dados até não ter mais o

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Eduardo Almeida
Esqueceram de mencionar o curl On 09/05/2013 13:04, Marcio - Google wrote: Stan, Em lote. A sequencia é assim: 1. Entrar usuário e senha e conferir se autenticou; 2. Entrar com uma palavra chave em um campo especifico, pois o site só aceita o método post; 3. Submeter o form; 4. Capturar

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Stanislaw Pusep
Então, WWW::Mechanize to the rescue :) Uma página para servir de inspiração: http://perlbuzz.com/2011/11/finding-a-lost-dogs-owner-with-perl-and-wwwmechanize.html ABS() 2013/5/9 Marcio - Google marci...@gmail.com Stan, Em lote. A sequencia é assim: 1. Entrar usuário e senha e conferir se

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Stanislaw Pusep
jabá use LWP::Protocol::Net::Curl; use WWW::Mechanize; # pronto: WWW::Mechanize usará libcurl por baixo dos panos :) /jabá ABS() 2013/5/9 Eduardo Almeida edua...@web2solutions.com.br Esqueceram de mencionar o curl On 09/05/2013 13:04, Marcio - Google wrote: Stan, Em lote. A

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Marcio - Google
Marcio, O telelist foi apenas exemplo. É que não tenho como fornecer acesso ao site para vocês verem, roda apenas na intranet. É provável que não precise revisitar. Estou ajudando um amigo apenas. Nem ele sabe direito o que ele quer, como estou parado e preciso ocupar a cabeça resolvi ajudar, sem

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Marcio - Google
Daniel, Sim. Qual a vantagem/diferença entre as opções expostas? Abs, Marcio ### Campanha Ajude o Marcio! ### http://sosmarcio.blogspot.com.br/ http://www.vakinha.com.br/VaquinhaP.aspx?e=195793

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Eduardo Almeida
On 09/05/2013 13:44, Marcio - Google wrote: Marcio, O telelist foi apenas exemplo. É que não tenho como fornecer acesso ao site para vocês verem, roda apenas na intranet. É provável que não precise revisitar. Estou ajudando um amigo apenas. Nem ele sabe direito o que ele quer, como estou

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Andre Carneiro
Se o site tá em ASP.NET não esqueça de incluir o token gigantesco na requisição, que os sites feitos em ASP.NET normalmente geram automaticamente através de componentes .NET. Para facilitar utilize algum sniffer de http como Burp, wireshark ou mesmo o bom e velho Data Tamper(nem sei se existe isso

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Andre Carneiro
corrigi o meu texto 'bem pra caramba' ... mals! 2013/5/9 Andre Carneiro andregarciacarne...@gmail.com Se o site tá em ASP.NET não esqueça de incluir o token gigantesco na requisição, que os sites feitos em ASP.NET normalmente geram automaticamente através de componentes .NET. Para

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Alvaro Luiz
Com o WWW::Mechanize é possível sim, depois de muito quebrar a cabeça consegui solucionar da seguinte forma: my $name = 'ctl00$ctl00$MasterConteudo$Conteudo$LoginSistema$UserName'; my $pass = 'ctl00$ctl00$MasterConteudo$Conteudo$LoginSistema$Password'; my $button =

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Marcio Ferreira
Hmm, se a coisa estiver tensa com o javascript, tente usar o https://github.com/n1k0/casperjs CasperJS++ []s, Marcio Ferreira skype: marcio.ferreir4 (21) 8365-7768 2013/5/9 Alvaro Luiz alvaro.brasi...@gmail.com Com o WWW::Mechanize é possível sim, depois de muito quebrar a cabeça consegui

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Andre Carneiro
Pode crer Álvaro! Valeu! 2013/5/9 Marcio Ferreira marciodesouzaferre...@gmail.com Hmm, se a coisa estiver tensa com o javascript, tente usar o https://github.com/n1k0/casperjs CasperJS++ []s, Marcio Ferreira skype: marcio.ferreir4 (21) 8365-7768 2013/5/9 Alvaro Luiz

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Eduardo Almeida
On 09/05/2013 16:05, Andre Carneiro wrote: Pode crer Álvaro! Valeu! 2013/5/9 Marcio Ferreira marciodesouzaferre...@gmail.com mailto:marciodesouzaferre...@gmail.com Hmm, se a coisa estiver tensa com o javascript, tente usar o https://github.com/n1k0/casperjs CasperJS++

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Eduardo Almeida
On 09/05/2013 16:32, Eduardo Almeida wrote: Provavelmente a url final nao aceitou POST porque exige algum tipo de validação de session que deve ocorrer ná página onde se encontra o tal botão que vc acionou via mech Solução possivel: pagina que contem o botao e o form:

Re: [SP-pm] Capturar dados de sites

2013-05-09 Por tôpico Eduardo Verissimo
Alguém aí tá usando WWW::Scripter no lugar do WWW::Mechanize? https://metacpan.org/module/WWW::Scripter Eu não sei direito o que está acontecendo que há vários plugins de Mechanize que estão obsoletos em favor dos do Scripter. Abraços! 2013/5/9 Eduardo Almeida edua...@web2solutions.com.br

Re: [SP-pm] Boas Vindas ao Frankisko

2013-05-09 Por tôpico Frank Einstein
Obrigado pelas boas vindas. No momento me apaixonei pelo Perl e estudo e uso em casa. Estou tentando influênciar a galera do meu trabalho para pelo menos conhecerem o Perl e tudo o que ele tem a oferecer. O pessoal lá só pensa em PHP. Eu gosto mais do modo Perl de fazer as coisas. Mas, na

Re: [SP-pm] Boas Vindas ao Frankisko

2013-05-09 Por tôpico Frank Einstein
Obrigado pelas boas vindas pessoal. Meu nome é Francisco. Frankisko é só login e email. grande abraço, From: Lucas Moraes Sent: Monday, May 06, 2013 12:20 PM To: saopaulo...@mail.pm.org Subject: Re: [SP-pm] Boas Vindas ao Frankisko seja bem vindo Frankisko Em 6 de maio de 2013 12:11,