Re: [Python] Strumenti per automatizzare operazioni su pagine web
2011/4/18 Riccardo Lemmi > > Spesso basta un set_trace() nel codice per dare uno sguardo all'oggetto > Browser > e capire come è fatta la pagina o come recuperare la form che si vuole > gestire. > condivido ti segnalo anche questo http://wwwsearch.sourceforge.net/mechanize/hints.html#logging se vuoi dare un occhiata un po' "sotto il cofano" Marco ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Strumenti per automatizzare operazioni su pagine web
Marco De Paoli wrote: > la documentazione non è propriamente ordinata > ad ogni modo se sei interessato a > >> Un esempio più concreto di quello che voglio fare è questo: >> -vai su www.google.it >> -cerca l'elemento che si chiama q >> -inserisci in q "python" >> -cerca l'elemento che si chiama btnG >> -simula un click sull'elemento btnG > > puoi provare qui > http://wwwsearch.sourceforge.net/mechanize/forms.html > > c'è anche una ML in inglese abbastanza attiva > > Uso mechanize da un po di tempo e non ho avuto particolari problemi > > Marco > ... Spesso basta un set_trace() nel codice per dare uno sguardo all'oggetto Browser e capire come è fatta la pagina o come recuperare la form che si vuole gestire. -- Riccardo Lemmi ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Strumenti per automatizzare operazioni su pagine web
la documentazione non è propriamente ordinata ad ogni modo se sei interessato a > Un esempio più concreto di quello che voglio fare è questo: > -vai su www.google.it > -cerca l'elemento che si chiama q > -inserisci in q "python" > -cerca l'elemento che si chiama btnG > -simula un click sull'elemento btnG puoi provare qui http://wwwsearch.sourceforge.net/mechanize/forms.html c'è anche una ML in inglese abbastanza attiva Uso mechanize da un po di tempo e non ho avuto particolari problemi Marco 2011/4/17 Balan Victor > ho installato mechanize. Sto cercando di capire qualcosa ma la > documentazione ufficiale non mi è molto chiara, inoltre cercando un po su > google non ho trovato molti rifermenti a questa libreria. Qualcuno conosce > qualche tutorial/guida? > > Il giorno 15 aprile 2011 10:27, Riccardo Lemmi ha > scritto: > > Balan Victor wrote: >> >> > salve, >> > ho la necessità di automatizzare alcune operazioni su pagine web come >> login >> > automatici, ricerca di testo, verifica presenza immagini. Probabilmente >> > qualcuno mi suggerirà urllib2, tuttavia urllib prevede anche la >> conoscenza >> > dei protocolli http, https, gestione cache e cookie ecc. protocolli e >> > operazioni che non conosco abbastanza bene per usare urllib. Io ero in >> cerca >> > di qualche strumento, libreria o qualunque cosa che mette a disposizione >> > "funzioni" già pronte e/o da integrare con codice python. >> > >> > Un esempio più concreto di quello che voglio fare è questo: >> > -vai su www.google.it >> > -cerca l'elemento che si chiama q >> > -inserisci in q "python" >> > -cerca l'elemento che si chiama btnG >> > -simula un click sull'elemento btnG >> > >> > grazie >> >> Se devi interagire con la pagina ti serve mechanize oppure selenium: >> http://pypi.python.org/pypi/mechanize >> http://pypi.python.org/pypi/selenium >> >> selenium lo consiglio se devi testare il sito nel browser, cioè guardare >> anche >> come viene renderizzato (o se stai usando il javascript per alcune >> funzionalità). >> -- >>Riccardo Lemmi >> >> ___ >> Python mailing list >> Python@lists.python.it >> http://lists.python.it/mailman/listinfo/python >> > > > ___ > Python mailing list > Python@lists.python.it > http://lists.python.it/mailman/listinfo/python > > ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Strumenti per automatizzare operazioni su pagine web
ho installato mechanize. Sto cercando di capire qualcosa ma la documentazione ufficiale non mi è molto chiara, inoltre cercando un po su google non ho trovato molti rifermenti a questa libreria. Qualcuno conosce qualche tutorial/guida? Il giorno 15 aprile 2011 10:27, Riccardo Lemmi ha scritto: > Balan Victor wrote: > > > salve, > > ho la necessità di automatizzare alcune operazioni su pagine web come > login > > automatici, ricerca di testo, verifica presenza immagini. Probabilmente > > qualcuno mi suggerirà urllib2, tuttavia urllib prevede anche la > conoscenza > > dei protocolli http, https, gestione cache e cookie ecc. protocolli e > > operazioni che non conosco abbastanza bene per usare urllib. Io ero in > cerca > > di qualche strumento, libreria o qualunque cosa che mette a disposizione > > "funzioni" già pronte e/o da integrare con codice python. > > > > Un esempio più concreto di quello che voglio fare è questo: > > -vai su www.google.it > > -cerca l'elemento che si chiama q > > -inserisci in q "python" > > -cerca l'elemento che si chiama btnG > > -simula un click sull'elemento btnG > > > > grazie > > Se devi interagire con la pagina ti serve mechanize oppure selenium: > http://pypi.python.org/pypi/mechanize > http://pypi.python.org/pypi/selenium > > selenium lo consiglio se devi testare il sito nel browser, cioè guardare > anche > come viene renderizzato (o se stai usando il javascript per alcune > funzionalità). > -- >Riccardo Lemmi > > ___ > Python mailing list > Python@lists.python.it > http://lists.python.it/mailman/listinfo/python > ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Strumenti per automatizzare operazioni su pagine web
Balan Victor wrote: > salve, > ho la necessità di automatizzare alcune operazioni su pagine web come login > automatici, ricerca di testo, verifica presenza immagini. Probabilmente > qualcuno mi suggerirà urllib2, tuttavia urllib prevede anche la conoscenza > dei protocolli http, https, gestione cache e cookie ecc. protocolli e > operazioni che non conosco abbastanza bene per usare urllib. Io ero in cerca > di qualche strumento, libreria o qualunque cosa che mette a disposizione > "funzioni" già pronte e/o da integrare con codice python. > > Un esempio più concreto di quello che voglio fare è questo: > -vai su www.google.it > -cerca l'elemento che si chiama q > -inserisci in q "python" > -cerca l'elemento che si chiama btnG > -simula un click sull'elemento btnG > > grazie Se devi interagire con la pagina ti serve mechanize oppure selenium: http://pypi.python.org/pypi/mechanize http://pypi.python.org/pypi/selenium selenium lo consiglio se devi testare il sito nel browser, cioè guardare anche come viene renderizzato (o se stai usando il javascript per alcune funzionalità). -- Riccardo Lemmi ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Strumenti per automatizzare operazioni su pagine web
2011/4/15 Balan Victor > Beautifulsoup è solo un parser html o sbaglio?? è un parser, se non sbaglio, invece, twill usa macanize (un po' vecchiotto) per navigare nella pagine, compilare i campi dei form, submit, follow link, etc... e ha un plugin per beautufup soup per parsarsi le pagine ciao S ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Strumenti per automatizzare operazioni su pagine web
adesso provo a fare delle cose semplici con alcuni degli strumenti che mi avete sugerito. Beautifulsoup è solo un parser html o sbaglio?? Il giorno 15 aprile 2011 09:19, Michele Gatti ha scritto: > Il giorno 15 aprile 2011 09:04, Antonio ha > scritto: > > Sono un novello del python ma da qualche settimana sto usando scrapy e de >> vo dire che e' veramente fatto bene,sempkice da usare ed ha doc fatta bene. >> Il giorno 15/apr/2011 00.03, "Simone Federici" ha >> scritto: >> >> > Windmill, Selenium, e twill >> > sono testing tools che ti permettono di descrivere una navigazione e >> pescare >> > dati, >> > >> > ma forse quello che ti serve veramente è Beautifulsoup >> > >> > ciao >> > S >> > >> > >> > 2011/4/14 Balan Victor >> > >> >> salve, >> >> ho la necessità di automatizzare alcune operazioni su pagine web come >> login >> >> automatici, ricerca di testo, verifica presenza immagini. Probabilmente >> >> qualcuno mi suggerirà urllib2, tuttavia urllib prevede anche la >> conoscenza >> >> dei protocolli http, https, gestione cache e cookie ecc. protocolli e >> >> operazioni che non conosco abbastanza bene per usare urllib. Io ero in >> cerca >> >> di qualche strumento, libreria o qualunque cosa che mette a >> disposizione >> >> "funzioni" già pronte e/o da integrare con codice python. >> >> >> >> Un esempio più concreto di quello che voglio fare è questo: >> >> -vai su www.google.it >> >> -cerca l'elemento che si chiama q >> >> -inserisci in q "python" >> >> -cerca l'elemento che si chiama btnG >> >> -simula un click sull'elemento btnG >> >> >> >> grazie >> >> >> >> ___ >> >> Python mailing list >> >> Python@lists.python.it >> >> http://lists.python.it/mailman/listinfo/python >> >> >> >> >> >> ___ >> Python mailing list >> Python@lists.python.it >> http://lists.python.it/mailman/listinfo/python >> >> > > Come Simone ti ha già suggerito Beautifulsoup è la soluzione giusta!! > > > -- > > Michele Gatti > > MG Soluzioni Informatiche > > > ___ > Python mailing list > Python@lists.python.it > http://lists.python.it/mailman/listinfo/python > > ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Strumenti per automatizzare operazioni su pagine web
Il giorno 15 aprile 2011 09:04, Antonio ha scritto: > Sono un novello del python ma da qualche settimana sto usando scrapy e de > vo dire che e' veramente fatto bene,sempkice da usare ed ha doc fatta bene. > Il giorno 15/apr/2011 00.03, "Simone Federici" ha > scritto: > > > Windmill, Selenium, e twill > > sono testing tools che ti permettono di descrivere una navigazione e > pescare > > dati, > > > > ma forse quello che ti serve veramente è Beautifulsoup > > > > ciao > > S > > > > > > 2011/4/14 Balan Victor > > > >> salve, > >> ho la necessità di automatizzare alcune operazioni su pagine web come > login > >> automatici, ricerca di testo, verifica presenza immagini. Probabilmente > >> qualcuno mi suggerirà urllib2, tuttavia urllib prevede anche la > conoscenza > >> dei protocolli http, https, gestione cache e cookie ecc. protocolli e > >> operazioni che non conosco abbastanza bene per usare urllib. Io ero in > cerca > >> di qualche strumento, libreria o qualunque cosa che mette a disposizione > >> "funzioni" già pronte e/o da integrare con codice python. > >> > >> Un esempio più concreto di quello che voglio fare è questo: > >> -vai su www.google.it > >> -cerca l'elemento che si chiama q > >> -inserisci in q "python" > >> -cerca l'elemento che si chiama btnG > >> -simula un click sull'elemento btnG > >> > >> grazie > >> > >> ___ > >> Python mailing list > >> Python@lists.python.it > >> http://lists.python.it/mailman/listinfo/python > >> > >> > > ___ > Python mailing list > Python@lists.python.it > http://lists.python.it/mailman/listinfo/python > > Come Simone ti ha già suggerito Beautifulsoup è la soluzione giusta!! -- Michele Gatti MG Soluzioni Informatiche ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Strumenti per automatizzare operazioni su pagine web
Sono un novello del python ma da qualche settimana sto usando scrapy e de vo dire che e' veramente fatto bene,sempkice da usare ed ha doc fatta bene. Il giorno 15/apr/2011 00.03, "Simone Federici" ha scritto: > Windmill, Selenium, e twill > sono testing tools che ti permettono di descrivere una navigazione e pescare > dati, > > ma forse quello che ti serve veramente è Beautifulsoup > > ciao > S > > > 2011/4/14 Balan Victor > >> salve, >> ho la necessità di automatizzare alcune operazioni su pagine web come login >> automatici, ricerca di testo, verifica presenza immagini. Probabilmente >> qualcuno mi suggerirà urllib2, tuttavia urllib prevede anche la conoscenza >> dei protocolli http, https, gestione cache e cookie ecc. protocolli e >> operazioni che non conosco abbastanza bene per usare urllib. Io ero in cerca >> di qualche strumento, libreria o qualunque cosa che mette a disposizione >> "funzioni" già pronte e/o da integrare con codice python. >> >> Un esempio più concreto di quello che voglio fare è questo: >> -vai su www.google.it >> -cerca l'elemento che si chiama q >> -inserisci in q "python" >> -cerca l'elemento che si chiama btnG >> -simula un click sull'elemento btnG >> >> grazie >> >> ___ >> Python mailing list >> Python@lists.python.it >> http://lists.python.it/mailman/listinfo/python >> >> ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Strumenti per automatizzare operazioni su pagine web
Windmill, Selenium, e twill sono testing tools che ti permettono di descrivere una navigazione e pescare dati, ma forse quello che ti serve veramente è Beautifulsoup ciao S 2011/4/14 Balan Victor > salve, > ho la necessità di automatizzare alcune operazioni su pagine web come login > automatici, ricerca di testo, verifica presenza immagini. Probabilmente > qualcuno mi suggerirà urllib2, tuttavia urllib prevede anche la conoscenza > dei protocolli http, https, gestione cache e cookie ecc. protocolli e > operazioni che non conosco abbastanza bene per usare urllib. Io ero in cerca > di qualche strumento, libreria o qualunque cosa che mette a disposizione > "funzioni" già pronte e/o da integrare con codice python. > > Un esempio più concreto di quello che voglio fare è questo: > -vai su www.google.it > -cerca l'elemento che si chiama q > -inserisci in q "python" > -cerca l'elemento che si chiama btnG > -simula un click sull'elemento btnG > > grazie > > ___ > Python mailing list > Python@lists.python.it > http://lists.python.it/mailman/listinfo/python > > ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
[Python] Strumenti per automatizzare operazioni su pagine web
salve, ho la necessità di automatizzare alcune operazioni su pagine web come login automatici, ricerca di testo, verifica presenza immagini. Probabilmente qualcuno mi suggerirà urllib2, tuttavia urllib prevede anche la conoscenza dei protocolli http, https, gestione cache e cookie ecc. protocolli e operazioni che non conosco abbastanza bene per usare urllib. Io ero in cerca di qualche strumento, libreria o qualunque cosa che mette a disposizione "funzioni" già pronte e/o da integrare con codice python. Un esempio più concreto di quello che voglio fare è questo: -vai su www.google.it -cerca l'elemento che si chiama q -inserisci in q "python" -cerca l'elemento che si chiama btnG -simula un click sull'elemento btnG grazie ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
