Re: [newbie-it] wget nuova domanda
* Andrea Celli ha scritto: Come si fa a recuperare solo l'elenco dei file di una directory? Con pavuk ci riesco usando l'opzione -ftpdir. Con wget ho provato a maneggiare l'opzione --spider, ma non ci ho cavato molto :-( Al contrario di ftp con http le cose sono più complicate con wget. Per quanto riguarda --spider a me funziona con ftp, scarico il solo elenco dei file di una directory, ma il file che mi ritrovo è nel formato html, per questo a wget preferisco curl con l'opzione --list-only perchè scarico un listato nel suo aspetto tipico direttamente nella shell. Con http invece sono entrambi inefficaci. Tuttavia con wget dopo alcune prove sono riuscito a scaricare dal sito dell'amico di Chiara un file index.html che altri non è che l'elenco dei soli file jpg contenuti nella directory della URL specificata, questo comando forse potrebbe fare al caso tuo, prevede l'utilizzo dell'opzione -E e dell'opzione -R con la quale ho effettuato un reject del file robots.txt. $ wget -E -R 'robots.txt,+img+' http://metaldave.altervista.org/Mimmata/ per questioni di tempo ho provato solo con la URL suddetta, con altre URL ci sarebbe da rivedere l'opzione -R, ma si potrebbe utilizzare solo l'opzione -E perchè con la URL suddetta se ne ottiene sempre il file index.html col solo elenco dei file della directory specificata. Mi sembra di essere riuscito a scaricare l'elenco che tu chiedi anche se in formato html e senza nessuna indicazione aggiuntiva riguardo la dimensione dei file ecc. Il difficile con http sembra ora effettuare una copia ricorsiva dei file dell'intera directory con wget. Ciao, Giuseppe. -- GNU/Linux Powered Red Hat 9.A (Shrike) Kernel 2.4.20
Re: [newbie-it] wget - BUGscript
Il corriere di Linux
Scoperto il primo bug nel programma Iget (Ikki wget)
Cominciamo bene ;-D
#!/bin/sh
a = 1
if [ $a 59 ]
then
if [ $a 10 ]
then
wget -x http://metaldave.altervista.org/Mimmata/Mim0${a}_.jpg
else
wget -x http://metaldave.altervista.org/Mimmata/Mim${a}_.jpg
fi
a=`expr $a + 1`
fi
versione senza bug
#!/bin/sh
a = 1
while [ $a 59 ]
do
if [ $a 10 ]
then
wget -x http://metaldave.altervista.org/Mimmata/Mim0${a}_.jpg
else
wget -x http://metaldave.altervista.org/Mimmata/Mim${a}_.jpg
fi
a=`expr $a + 1`
done
Sono un fenomeno para...
... plegico!!!
Naturalmente non metto in dubbio la presenza di altri bug.
Mandi
Ikki
Re: [newbie-it] wget
Alle 21:27, lunedì 29 settembre 2003, Eraser Head ha scritto:
On Mon, 29 Sep 2003, Ikki The Porcupine wrote:
[...]
Ma wget scarica partendo dalla pagina index che trova? Io credevo che non
dandogli il nome di un file html e mettendogli -r tra le opzioni avrebbe
scaricato tutto il contenuto della directory... Ma a quanto pare non è
così... =/
scarica dalla pagina che gli fornisce il server, ke può essere index.html (o
qualsiasi altra sia la pagina di default) e se non c'è il server può agire in
due modi:
1 - creare una index.html fittizia ke contiene l'elenco di file e directory
presenti nella directory specificata nell'indirizzo (scusa il gioco di
parole);
2 - negare l'accesso, dicendo che non ha trovato la pagina o cose simili.
nel primo caso wget scarica, nel secondo non può fare assolutamente niente,
neanche coi caratteri jolly, xchè non può sapere cosa contiene la directory.
[...]
prova col seguente script:
[...]
Sì, può essere un'idea... a condizione che riesca a trovare il modo di
dire alla shell di passarsi da sola tutti i numeri...
#!/bin/sh
a = 1
if [ $a 59 ]
then
if [ $a 10 ]
then
wget -x http://metaldave.altervista.org/Mimmata/Mim0${a}_.jpg
else
wget -x http://metaldave.altervista.org/Mimmata/Mim${a}_.jpg
fi
a=`expr $a + 1`
fi
Non ho avuto modo di provarlo ma...
Perchè sennò faccio prima a dire al mio amico di mettermi il link ad un
bello zippone... =P
Bella idea.
Ma prova anche con lo script, magari migliorandolo; impara la shell...
... e usala
Grazie mille per le delucidazioni! =)
Chiara
==
Molti si suicidano perchè sono già stati uccisi da altri.
(Goethe)
Prego 0.50 c
Elia
Perché usare le Finestre quando c'è la Porta?
Re: [newbie-it] wget
* Eraser Head ha scritto: Ciao a tutti. Ho provato a consultare il man di wget, ma ci ho capito ben poco... Quello che devo fare è scaricare una serie di immagini che si trovano all'url: http://metaldave.altervista.org/Mimmata/ e che sono nominate tutte tipo: Mim02_.jpg, cambia solo il numero. Ho provato con: wget -c -r -np http://metaldave.altervista.org/Mimmata/ ma mi ha scaricato solo l'index. Ho provato con un po' di altre combinazioni, ma sempre con lo stesso risultato. Quello che voglio io è riuscire a scaricare tutto il contenuto di quella directory. Dov'è che sbaglio? Prova così e se necessario aggiusta: $ wget -m -t3 -I /Mimmata http://metaldave.altervista.org/Mimmata/ -o Mimmata.log oppure $ wget -m -r -I1 -np -A.jpg http://metaldave.altervista.org/Mimmata/ Ciao, Giuseppe -- GNU/Linux Powered Red Hat 9.A (Shrike) Kernel 2.4.20
Re: [newbie-it] wget
* Giuseppe Ferruzzi ha scritto: $ wget -m -r -I1 -np -A.jpg http://metaldave.altervista.org/Mimmata/ mi sono accorto di un errore sostituisci -I1 con -l1 Ciao, Giuseppe -- GNU/Linux Powered Red Hat 9.A (Shrike) Kernel 2.4.20
Re: [newbie-it] wget nuova domanda
Alle 09:28, lunedì 29 settembre 2003, Eraser Head ha scritto: Ciao a tutti. Ho provato a consultare il man di wget, ma ci ho capito ben poco... Scusami se mi infilo nel tuo thread, ma visto che scomodiamo gli esperti di wget ... Come si fa a recuperare solo l'elenco dei file di una directory? Con pavuk ci riesco usando l'opzione -ftpdir. Con wget ho provato a maneggiare l'opzione --spider, ma non ci ho cavato molto :-( ciao, Andrea
Re: [newbie-it] wget
Alle 09:28, lunedì 29 settembre 2003, Eraser Head ha scritto:
Ciao a tutti.
Ho provato a consultare il man di wget, ma ci ho capito ben poco...
Quello che devo fare è scaricare una serie di immagini che si trovano
all'url:
http://metaldave.altervista.org/Mimmata/
e che sono nominate tutte tipo: Mim02_.jpg, cambia solo il numero.
[...]
Dov'è che sbaglio?
Grazie mille!
Chiara
non sbagli,
wget -np -r ...
è giusto (-c non serve la prima volta che lo fai, poi se non erro è attivo di
default)
non so se hai notato (e se li conosci) ma sul sito incriminato esiste un file
chiamato robots.txt (oltretutto non scaricabile, quindi posso solo immaginare
cosa ci sta scritto) che blocca lo scaricamento indiscriminato.
tieni conto che i link alle immagini sono dei javascript (non so se wget li
gestisce)
ho scaricato un'immagine per curiosità:
300 e rotti kB
che moltiplicati per il numero delle immagini
300 x 54 = 16.2 MB
credo sia per quello che c'è il robots.txt, pensa se 20 persone si mettono a
scaricare in contemporanea...
prova col seguente script:
-
#!/bin/sh
for num in 01 02 03 04 ... 54 #continua tu a inserire i numeri (mi son
dimenticato come si dice alla sh da x a y)
do
wget -x http://metaldave.altervista.org/Mimmata/Mim${num}_.jpg
done
-
-x dice a wget di ricreare le directory remote anche in locale. nella tua home
troverai una dir di nome:
metaldave.altervista.org
ricordati di rendere eseguibile lo script:
chmod 744 NOMEDELLOSCRIPT
e di eseguirlo indicando il percorso completo. es:
./NOMEDELLOSCRIPT
Mandi
Ikki
Re: [newbie-it] wget
On Mon, 29 Sep 2003, Ikki The Porcupine wrote:
non so se hai notato (e se li conosci) ma sul sito incriminato esiste un file
chiamato robots.txt (oltretutto non scaricabile, quindi posso solo immaginare
cosa ci sta scritto) che blocca lo scaricamento indiscriminato.
Uhm... Effettivamente avevo notato la presenza di questo file, e avevo
giustamente immaginato che fosse non accessibile, ma non pensavo che
questo avrebbe bloccato del tutto wget, pensavo che l'avrebbe saltato e
sarebbe andato avanti... Per questo pensavo che fossi io a sbagliare
comando...
tieni conto che i link alle immagini sono dei javascript (non so se wget li
gestisce)
Ma wget scarica partendo dalla pagina index che trova? Io credevo che non
dandogli il nome di un file html e mettendogli -r tra le opzioni avrebbe
scaricato tutto il contenuto della directory... Ma a quanto pare non è
così... =/
ho scaricato un'immagine per curiosità:
300 e rotti kB
che moltiplicati per il numero delle immagini
300 x 54 = 16.2 MB
credo sia per quello che c'è il robots.txt, pensa se 20 persone si mettono a
scaricare in contemporanea...
Uhm... No, non credo che sia per quello... Il sito è di un mio amico di
università, che attualmente si sta interessando molto di intelligenza
artificiale e robotica, quindi a giudicare dal nome suppongo siano suoi
appunti di qualche tipo...
prova col seguente script:
-
#!/bin/sh
for num in 01 02 03 04 ... 54 #continua tu a inserire i numeri (mi son
dimenticato come si dice alla sh da x a y)
do
wget -x http://metaldave.altervista.org/Mimmata/Mim${num}_.jpg
done
-
Sì, può essere un'idea... a condizione che riesca a trovare il modo di
dire alla shell di passarsi da sola tutti i numeri...
Perchè sennò faccio prima a dire al mio amico di mettermi il link ad un
bello zippone... =P
Grazie mille per le delucidazioni! =)
Chiara
--
==
Molti si suicidano perchè sono già stati uccisi da altri.
(Goethe)
Re: [newbie-it] wget e problemino della settimana - file .swf
Arwan wrote: Aggiungo un quesito (sono ferma al passaggio precedente): ma se wget non scarica tutto? Ho provato, e sono certa che si e' dimenticato di scaricare di file. Che se fa? Strano: prima di postare avevo provato, e mi con wget -r [url] avevo scaricato bene tutto un sito. Non so cosa dirti. Prova magari con l'opzione -cr (con la c riprendi il download da dove lo avevi lasciato, e se manca qualcosa dobrebbe accorgersi). Se continuasse a darti problemi, guarda sul man (lungo) di wget: ora non ho un Linux a disposizione, ma è probabile che ci sia un'opzione per scaricare il database dei files del sito che ti interessa. Così ti scarichi solo quelli che ti servono, e risparmi i soldini per Appignà ;-)) Per la stampa, poi, ho provato mentre ero online: al primo giro col terzo tasto del mouse e' comparsa anche l'ozione stampa, ma poi non mi da' la possibilita' di scegliere alcuna stampante, e nemmeno stampa su pdf (uso Mozilla). Al secondo giro per sbolccare il cp ho dovuto staccare la spina del telefono, aprire un'altro terminale (era tutto inchiodato, anche la console di kdee il mouse) loggarmi come root e fare reboot. Eviterei altre esperienze del genere... Boh ?!? Ogni tanto Mozilla si blocca anche a me, ma non in modo così tristo.. Prova Konqueror. Burp! ;-) Arwan Ciao -- Email.it, the professional e-mail, gratis per te: http://www.email.it/f Sponsor: Digitalpix: Stampe digitali su vera carta fotografica direttamente a casa tua a partire da 0,18. Clicca qui: http://adv.email.it/cgi-bin/foclick.cgi?mid=1535d=2-7
Re: [newbie-it] wget e problemino della settimana - file .swf
Deve aver avuto molto sonno, perche' il martedì 01 luglio 2003, alle 10:23, bombadur ha scritto: Rilancio: supponi che abbia scaricato con wget le pagine del sito, e Aggiungo un quesito (sono ferma al passaggio precedente): ma se wget non scarica tutto? Ho provato, e sono certa che si e' dimenticato di scaricare di file. Che se fa? Per la stampa, poi, ho provato mentre ero online: al primo giro col terzo tasto del mouse e' comparsa anche l'ozione stampa, ma poi non mi da' la possibilita' di scegliere alcuna stampante, e nemmeno stampa su pdf (uso Mozilla). Al secondo giro per sbolccare il cp ho dovuto staccare la spina del telefono, aprire un'altro terminale (era tutto inchiodato, anche la console di kdee il mouse) loggarmi come root e fare reboot. Eviterei altre esperienze del genere... Arwan -- There's so many different worlds So many different suns And we have just one world But we live in different ones.
Re: [newbie-it] wget e urpmi
Il dom, 2003-03-02 alle 21:00, Luigi Pinna ha scritto: Dato che e` un argomento di questo periodo... Io vorrei settare urpmi perche' mi aggiorni i programmi passando solo da fonte locale e allo stesso tempo avere in pratica tutto il mirror aggiornato sulla fonte locale. Ora come settare urpmi e` stato detto in questi giorni, ma non so come fare in modo che wget scarichi solo i nuovi files da un mirror ufficiale. Inutile dire che e` stata vana la ricerca nel man di wget... Grazie a chiunque possa illuminarmi la strada! In effetti una volta usai tale opzione, ma poi la smania di aggiornare mi è un po' passat :) Hai guardato man urpmi? Perchè mi pare di aver trovato li le info del caso... Corrado
Re: [newbie-it] WGET
On Mon, 9 Dec 2002 00:20:02 +0100 francesco manini [EMAIL PROTECTED] wrote: Sto cercando da diversi giorni di scaricare la seguente directory www.osce.org/kosovo/documents/reports/hr Tale directory contiene due sotto directory con vari files al loro interno. Purtroppo nonstante i vari tentativi che ho effettuato non riesco a imbroccare il sistema giusto. I tentativi da me fatti sono i seguenti : wget -k -K -E -nH -nd -P prova /indirizzo da scaricare di solito faccio qualcosa del tipo wget -np -r http://www.osce.org/kosovo/documents/reports/hr -np per evitare che mi scarichi anche tutto quello che sta sopra -r per scaricare ricorsivamente tutte le sotto-directory ciao, Andrea
