Re: [DEBIAN] script para baixar dados
Ei mano, tem como me explicar que essa extensão do firefox faz ? nunca baixei ela Vlw Em 14 de outubro de 2010 21:06, Rodolfo rof20...@gmail.com escreveu: Ae, faz um script pra sacar dinheiro da minha conta sem sair de casa ? =D hehehehebrincando.ficou muito show esse teu script...vo te chama de henry The script man flw Em 14 de outubro de 2010 20:45, Henry jmhenri...@yahoo.com.br escreveu: Em Quinta-feira 14 Outubro 2010, às 19:45:54, você escreveu: salve Henry, Olha matou a pau total... nossa valeu mesmo!! Agora vou estudar muito esse script!!! era justamente isso que eu procurava! só já tinha isso ai ou teve que fazer? Mais uma vez obrigado a todos da lista pelos toques e dicas! []s Sena De nada. Isso eu fiz rapidinho depois do serviço, vai me servir também. Para entender o funcionamento do in.gov.br eu tive a ajuda de uma extensão do firefox, live http headers. O resto foi apenas perfumaria de bash. [ ]'s, e divirta-se. Henry -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/201010142145.44341.jmhenri...@yahoo.com.br
Res: Re: [DEBIAN] script para baixar dados
Ola. Ela mostra para voce tudo o que entra e sai do navegador a cada requisicao, valores de headers e inclusive permite que voce injete valores para testes e analise o comportamento do procedimento que voce esta realizando. []'s, Henry Enviado pelo meu aparelho BlackBerry® -Original Message- From: Rodolfo rof20...@gmail.com Date: Fri, 15 Oct 2010 18:06:44 To: Henryjmhenri...@yahoo.com.br Cc: debian-user-portuguesedebian-user-portuguese@lists.debian.org Subject: Re: [DEBIAN] script para baixar dados Ei mano, tem como me explicar que essa extensão do firefox faz ? nunca baixei ela Vlw Em 14 de outubro de 2010 21:06, Rodolfo rof20...@gmail.com escreveu: Ae, faz um script pra sacar dinheiro da minha conta sem sair de casa ? =D hehehehebrincando.ficou muito show esse teu script...vo te chama de henry The script man flw Em 14 de outubro de 2010 20:45, Henry jmhenri...@yahoo.com.br escreveu: Em Quinta-feira 14 Outubro 2010, às 19:45:54, você escreveu: salve Henry, Olha matou a pau total... nossa valeu mesmo!! Agora vou estudar muito esse script!!! era justamente isso que eu procurava! só já tinha isso ai ou teve que fazer? Mais uma vez obrigado a todos da lista pelos toques e dicas! []s Sena De nada. Isso eu fiz rapidinho depois do serviço, vai me servir também. Para entender o funcionamento do in.gov.br eu tive a ajuda de uma extensão do firefox, live http headers. O resto foi apenas perfumaria de bash. [ ]'s, e divirta-se. Henry -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/201010142145.44341.jmhenri...@yahoo.com.br
Re: Re: [DEBIAN] script para baixar dados
Poshow de bola então, valeu pela informação. T+ Em 15 de outubro de 2010 18:11, jmhenri...@yahoo.com.br escreveu: Ola. Ela mostra para voce tudo o que entra e sai do navegador a cada requisicao, valores de headers e inclusive permite que voce injete valores para testes e analise o comportamento do procedimento que voce esta realizando. []'s, Henry Enviado pelo meu aparelho BlackBerry® -- *From: *Rodolfo rof20...@gmail.com *Date: *Fri, 15 Oct 2010 18:06:44 -0400 *To: *Henryjmhenri...@yahoo.com.br *Cc: *debian-user-portuguesedebian-user-portuguese@lists.debian.org *Subject: *Re: [DEBIAN] script para baixar dados Ei mano, tem como me explicar que essa extensão do firefox faz ? nunca baixei ela Vlw Em 14 de outubro de 2010 21:06, Rodolfo rof20...@gmail.com escreveu: Ae, faz um script pra sacar dinheiro da minha conta sem sair de casa ? =D hehehehebrincando.ficou muito show esse teu script...vo te chama de henry The script man flw Em 14 de outubro de 2010 20:45, Henry jmhenri...@yahoo.com.br escreveu: Em Quinta-feira 14 Outubro 2010, às 19:45:54, você escreveu: salve Henry, Olha matou a pau total... nossa valeu mesmo!! Agora vou estudar muito esse script!!! era justamente isso que eu procurava! só já tinha isso ai ou teve que fazer? Mais uma vez obrigado a todos da lista pelos toques e dicas! []s Sena De nada. Isso eu fiz rapidinho depois do serviço, vai me servir também. Para entender o funcionamento do in.gov.br eu tive a ajuda de uma extensão do firefox, live http headers. O resto foi apenas perfumaria de bash. [ ]'s, e divirta-se. Henry -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/201010142145.44341.jmhenri...@yahoo.com.br
Re: [DEBIAN] script para baixar dados
De nada. Isso eu fiz rapidinho depois do serviço, vai me servir também. Para entender o funcionamento do in.gov.br eu tive a ajuda de uma extensão do firefox, live http headers. O resto foi apenas perfumaria de bash. Não conhecia. Já baixei aqui e dei uma testada. Mto bom mesmo. Valeu pela dica. []´s Helio Loureiro http://helio.loureiro.eng.br http://hloureiro.multiply.com http://twitter.com/helioloureiro -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/aanlktikkmmopng5+vjaabmjamkm2nrw-=ktanb7_7...@mail.gmail.com
Re: [DEBIAN] script para baixar dados
Em Quarta-feira 13 Outubro 2010, às 22:27:18, roberval.s...@gmail.com escreveu: galera, eu to me batendo para criar um script que baixe 'uma tonelada' de arquivos PDF de um site, mas to apanhando horrores... acontece que pelo site já abaixa automaticamente, quando se acessa a página... eu não consigo chegar lá exemplo: estrando no navegador, se acesso a página: http://www.in.gov.br/imprensa/visualiza/index.jsp?jornal=20pagina=1data=1 3/10/2010 ele automaticamente já baixa o arquivo.. da página 1 é preciso fazer isso várias vezes, (as vezes mais de 2000), mudando a página para ter o arquivo completo... ai no bash fiz vários testes... mas nenhum deles abre a página 'seguinte', que é o download 'automático'.. se alguém tiver uma dica de como fazer os downloads de uma 'tacada' só, agradeço!! DETALHE: ele sempre baixa o arquivo com o mesmo nome... teria que renomear na hora de gravar... []s Sena Veja se te ajuda... = #!/bin/bash if [ $# != 2 ] then echo -e \n\nUso: $0 dd/mm/ NumeroJornal\n\n exit 0 fi DATA=$1 JORNAL=$2 TEMPO_MENOR=2 TEMPO_MAIOR=8 DATA_DIR=`echo $DATA | sed 's/\//_/g'` ANO=`echo $DATA_DIR|cut -d_ -f3` MES=`echo $DATA_DIR|cut -d_ -f2` DIA=`echo $DATA_DIR|cut -d_ -f1` DATA_DIR=$ANO_$MES_$DIA mkdir -p $DATA_DIR/$JORNAL touch $$cookie$$ trap rm -f $$cookie$$; exit INT TERM EXIT USER=Mozilla/5.0 (X11; U; Linux i686; pt-BR; rv:1.9.1.9) Gecko/20100501 Iceweasel/3.5.9 (like Firefox/3.5.9) OPTS=--save-cookies=$$cookie$$ --load-cookies=$$cookie$$ --keep-session-cookies -c -q URLS=`wget $OPTS -U=$USER http://www.in.gov.br/visualiza/index.jsp?data=$DATAjornal=$JORNALpagina=1; -o /dev/null -O - | grep src ` CONTROLADOR=`echo $URLS | grep -i controlador| cut -d\ -f4` ARQUIVOS=`echo $CONTROLADOR|sed 's/\/\n/g' | grep totalArquivos|cut -d= -f2` if [ -z $ARQUIVOS ] then echo Link inválido ou jornal inexistente ou data sem publicação. revise os links ou suas opções exit 1 fi PAGINA=0 for PAGINA in `seq 1 $ARQUIVOS` do segundos=0 while [ $segundos -le $TEMPO_MENOR ] do segundos=$RANDOM let segundos %=$TEMPO_MAIOR done URLS=`wget $OPTS -U=USER http://www.in.gov.br/visualiza/index.jsp?data=$DATAjornal=$JORNALpagina=$PAGINA; -o /dev/null -O - | grep src` CONTROLADOR=`echo $URLS | grep -i controlador| cut -d\ -f4` VISUALIZADOR=`echo $URLS | grep -i visualizador| cut -d\ -f4` ARQUIVOS=`echo $CONTROLADOR|sed 's/\/\n/g' | grep totalArquivos|cut -d= -f2` if [ -z $ARQUIVOS ] then echo Link inválido ou jornal inexistente ou data sem publicação. revise os links ou suas opções exit 1 fi REFERER=http://www.in.gov.br/visualiza/navegaJornalSumario.jsp?jornal=$JORNALpagina=$PAGINAdata=$DATAtotalArquivos=$ARQUIVOS; wget $OPTS -U=USER --referer=$REFERER $VISUALIZADOR -O $DATA_DIR/$JORNAL/$PAGINA.pdf echo $DATA_DIR/$JORNAL/$PAGINA.pdf pronto, aguardando $segundos segundos para a próxima página sleep $segundos done = [ ]'s, e divirta-se Henry -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/201010141804.39188.jmhenri...@yahoo.com.br
Re: [DEBIAN] script para baixar dados
eu uso a extensão do firefox DownThemAll 2010/10/14 Henry jmhenri...@yahoo.com.br Em Quarta-feira 13 Outubro 2010, às 22:27:18, roberval.s...@gmail.comescreveu: galera, eu to me batendo para criar um script que baixe 'uma tonelada' de arquivos PDF de um site, mas to apanhando horrores... acontece que pelo site já abaixa automaticamente, quando se acessa a página... eu não consigo chegar lá exemplo: estrando no navegador, se acesso a página: http://www.in.gov.br/imprensa/visualiza/index.jsp?jornal=20pagina=1data=1 3/10/2010 ele automaticamente já baixa o arquivo.. da página 1 é preciso fazer isso várias vezes, (as vezes mais de 2000), mudando a página para ter o arquivo completo... ai no bash fiz vários testes... mas nenhum deles abre a página 'seguinte', que é o download 'automático'.. se alguém tiver uma dica de como fazer os downloads de uma 'tacada' só, agradeço!! DETALHE: ele sempre baixa o arquivo com o mesmo nome... teria que renomear na hora de gravar... []s Sena Veja se te ajuda... = #!/bin/bash if [ $# != 2 ] then echo -e \n\nUso: $0 dd/mm/ NumeroJornal\n\n exit 0 fi DATA=$1 JORNAL=$2 TEMPO_MENOR=2 TEMPO_MAIOR=8 DATA_DIR=`echo $DATA | sed 's/\//_/g'` ANO=`echo $DATA_DIR|cut -d_ -f3` MES=`echo $DATA_DIR|cut -d_ -f2` DIA=`echo $DATA_DIR|cut -d_ -f1` DATA_DIR=$ANO_$MES_$DIA mkdir -p $DATA_DIR/$JORNAL touch $$cookie$$ trap rm -f $$cookie$$; exit INT TERM EXIT USER=Mozilla/5.0 (X11; U; Linux i686; pt-BR; rv:1.9.1.9) Gecko/20100501 Iceweasel/3.5.9 (like Firefox/3.5.9) OPTS=--save-cookies=$$cookie$$ --load-cookies=$$cookie$$ --keep-session-cookies -c -q URLS=`wget $OPTS -U=$USER http://www.in.gov.br/visualiza/index.jsp?data=$DATAjornal=$JORNALpagina=1; -o /dev/null -O - | grep src ` CONTROLADOR=`echo $URLS | grep -i controlador| cut -d\ -f4` ARQUIVOS=`echo $CONTROLADOR|sed 's/\/\n/g' | grep totalArquivos|cut -d= -f2` if [ -z $ARQUIVOS ] then echo Link inválido ou jornal inexistente ou data sem publicação. revise os links ou suas opções exit 1 fi PAGINA=0 for PAGINA in `seq 1 $ARQUIVOS` do segundos=0 while [ $segundos -le $TEMPO_MENOR ] do segundos=$RANDOM let segundos %=$TEMPO_MAIOR done URLS=`wget $OPTS -U=USER http://www.in.gov.br/visualiza/index.jsp?data=$DATAjornal=$JORNALpagina=$PAGINA; -o /dev/null -O - | grep src` CONTROLADOR=`echo $URLS | grep -i controlador| cut -d\ -f4` VISUALIZADOR=`echo $URLS | grep -i visualizador| cut -d\ -f4` ARQUIVOS=`echo $CONTROLADOR|sed 's/\/\n/g' | grep totalArquivos|cut -d= -f2` if [ -z $ARQUIVOS ] then echo Link inválido ou jornal inexistente ou data sem publicação. revise os links ou suas opções exit 1 fi REFERER= http://www.in.gov.br/visualiza/navegaJornalSumario.jsp?jornal=$JORNALpagina=$PAGINAdata=$DATAtotalArquivos=$ARQUIVOS wget $OPTS -U=USER --referer=$REFERER $VISUALIZADOR -O $DATA_DIR/$JORNAL/$PAGINA.pdf echo $DATA_DIR/$JORNAL/$PAGINA.pdf pronto, aguardando $segundos segundos para a próxima página sleep $segundos done = [ ]'s, e divirta-se Henry -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/201010141804.39188.jmhenri...@yahoo.com.br
Re: [DEBIAN] script para baixar dados
Em Quinta-feira 14 Outubro 2010, às 19:45:54, você escreveu: salve Henry, Olha matou a pau total... nossa valeu mesmo!! Agora vou estudar muito esse script!!! era justamente isso que eu procurava! só já tinha isso ai ou teve que fazer? Mais uma vez obrigado a todos da lista pelos toques e dicas! []s Sena De nada. Isso eu fiz rapidinho depois do serviço, vai me servir também. Para entender o funcionamento do in.gov.br eu tive a ajuda de uma extensão do firefox, live http headers. O resto foi apenas perfumaria de bash. [ ]'s, e divirta-se. Henry -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/201010142145.44341.jmhenri...@yahoo.com.br
Re: [DEBIAN] script para baixar dados
Ae, faz um script pra sacar dinheiro da minha conta sem sair de casa ? =D hehehehebrincando.ficou muito show esse teu script...vo te chama de henry The script man flw Em 14 de outubro de 2010 20:45, Henry jmhenri...@yahoo.com.br escreveu: Em Quinta-feira 14 Outubro 2010, às 19:45:54, você escreveu: salve Henry, Olha matou a pau total... nossa valeu mesmo!! Agora vou estudar muito esse script!!! era justamente isso que eu procurava! só já tinha isso ai ou teve que fazer? Mais uma vez obrigado a todos da lista pelos toques e dicas! []s Sena De nada. Isso eu fiz rapidinho depois do serviço, vai me servir também. Para entender o funcionamento do in.gov.br eu tive a ajuda de uma extensão do firefox, live http headers. O resto foi apenas perfumaria de bash. [ ]'s, e divirta-se. Henry -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/201010142145.44341.jmhenri...@yahoo.com.br
[DEBIAN] script para baixar dados
galera, eu to me batendo para criar um script que baixe 'uma tonelada' de arquivos PDF de um site, mas to apanhando horrores... acontece que pelo site já abaixa automaticamente, quando se acessa a página... eu não consigo chegar lá exemplo: estrando no navegador, se acesso a página: http://www.in.gov.br/imprensa/visualiza/index.jsp?jornal=20pagina=1data=13/10/2010 ele automaticamente já baixa o arquivo.. da página 1 é preciso fazer isso várias vezes, (as vezes mais de 2000), mudando a página para ter o arquivo completo... ai no bash fiz vários testes... mas nenhum deles abre a página 'seguinte', que é o download 'automático'.. se alguém tiver uma dica de como fazer os downloads de uma 'tacada' só, agradeço!! DETALHE: ele sempre baixa o arquivo com o mesmo nome... teria que renomear na hora de gravar... []s Sena -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4cb65c76.50...@gmail.com
[DEBIAN] script para baixar dados
galera, eu to me batendo para criar um script que baixe 'uma tonelada' de arquivos PDF de um site, mas to apanhando horrores... acontece que pelo site já abaixa automaticamente, quando se acessa a página... eu não consigo chegar lá exemplo: estrando no navegador, se acesso a página: http://www.in.gov.br/imprensa/visualiza/index.jsp?jornal=20pagina=1data=13/10/2010 ele automaticamente já baixa o arquivo.. da página 1 é preciso fazer isso várias vezes, (as vezes mais de 2000), mudando a página para ter o arquivo completo... ai no bash fiz vários testes... mas nenhum deles abre a página 'seguinte', que é o download 'automático'.. se alguém tiver uma dica de como fazer os downloads de uma 'tacada' só, agradeço!! DETALHE: ele sempre baixa o arquivo com o mesmo nome... teria que renomear na hora de gravar... []s Sena -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4cb65c1f.6060...@gmail.com
Re: [DEBIAN] script para baixar dados
Não seria mais fácil fazer um robozinho no PHP ou no Java para baixar esses arquivos para você ? Saudações, Humberto Araujo de Sousa humbe...@dontec.com.br (62) 3223-0652 (62) 9299-7771 Em 13/10/2010 22:27, roberval.s...@gmail.com escreveu: galera, eu to me batendo para criar um script que baixe 'uma tonelada' de arquivos PDF de um site, mas to apanhando horrores... acontece que pelo site já abaixa automaticamente, quando se acessa a página... eu não consigo chegar lá exemplo: estrando no navegador, se acesso a página: http://www.in.gov.br/imprensa/visualiza/index.jsp?jornal=20pagina=1data=13/10/2010 ele automaticamente já baixa o arquivo.. da página 1 é preciso fazer isso várias vezes, (as vezes mais de 2000), mudando a página para ter o arquivo completo... ai no bash fiz vários testes... mas nenhum deles abre a página 'seguinte', que é o download 'automático'.. se alguém tiver uma dica de como fazer os downloads de uma 'tacada' só, agradeço!! DETALHE: ele sempre baixa o arquivo com o mesmo nome... teria que renomear na hora de gravar... []s Sena -- To UNSUBSCRIBE, email to debian-user-portuguese-requ...@lists.debian.org with a subject of unsubscribe. Trouble? Contact listmas...@lists.debian.org Archive: http://lists.debian.org/4cb660bb.6020...@dontec.com.br
