[Confirme] wget
Bonjour tout le monde,
J'ai créé un petit script bash, sans grande prétention, destiné à télécharger
en local des pages statiques. Pour ne pas charger le serveur, j'ai mis des
temps d'attente entre chaque d/l . Accessoirement, ces temps sont variables.
Ce qui me gène sont les options de wget. Comme vous le voyez, le range d'id
est asser important, et le télépchargement de tout cela se fait sur plusieurs
semaines.
Je passe par un netcahe, et j'ai mis les login et pass en variables d'env,
cela fonctionne bien.
Par contre, le netcache, comme la connection internet sont susceptible de
tomber, c'est pour cela que je donne ces options à wget, de réessayer à
l'infinie. Mais même avec ces options, il arrive souvent que le script
s'arrête avec un timeout dépassé.
J'aimerai bien ne pas avoir à aller vérifier tous les jours que le script
continue de tourner, et éviter ces timeout.
Quelqu'un aurait-il des informations pour m'aider à fiabiliser la persistence
de wget?
Merci de votre aide.
--
Vincent
[SCRIPT]
#!/bin/sh
# url.sh get all files id
# Vincent Badier [EMAIL PROTECTED]
# May 2003
# Predefined range
START_ID=0
END_ID=100
ATTENTE=100
# We construct all variables
id=${2:-END_ID}
I=${1:-START_ID}
HIBOUND=${3:-ATTENTE}
URL=http://toto.com?Id=;
echo $id
echo $I
LOBOUND=1
RANDMAX=32767
while [ $I -lt $id ]; do
URLM=${URL}$I
echo Downloading ${URLM}...
wget -c --waitretry=15 --tries=inf $URLM || exit 1
I=$(($I + 1))
BINUMBER=$(( $LOBOUND + ($HIBOUND * $RANDOM) / ($RANDMAX + 1) ))
echo sleeping $BINUMBER
sleep $BINUMBER
done
Vous souhaitez acquerir votre Pack ou des Services MandrakeSoft?
Rendez-vous sur http://www.mandrakestore.com;
[Confirme] wget et proxy
Quelqu'un sait-il comment utiliser wget avec un proxy ? Vous souhaitez acquerir votre Pack ou des Services MandrakeSoft? Rendez-vous sur http://www.mandrakestore.com;
Re: [Confirme] wget -np : j'ai oublié qqchose ?
Hmmm ... pardon : fausse manip : j'ai renvoyé le post d'André tel que :( sinon ... wget -r -b -c -p -np -nH -cut -dirs=4 -P ./1 je pense qu'une notation type -rbc devrai fonctionner ... par contre il me semblerait logique que -p et -r ne soient pas présents simultanément : a bien y réfléchir : -p = -rl2 , non ? Marc Vous souhaitez acquerir votre Pack ou des Services MandrakeSoft? Rendez-vous sur http://www.mandrakestore.com;
Re: [Confirme] wget -np : j'ai oublié qqchose ?
André Laumaillier wrote: wget -r -b -c -p -np -nH -cut -dirs=4 -P ./1 http://linuxgraphic.org/section3d/blender/pages/didacticiels/blender_material/index.html b : wget travaille en arrière plan et crée un fichier wget.log dans le répertoire courant (à moins d'indiquer un chemin avec l'option o- ) c : continue le téléchargement d'un fichier existant en cas d'interruption p : télécharge les dépendances (photos et autres pages) nH : ne copie pas le nom du site cut et dirs=nb : coupe les sous répertoires des nb premiers niveaux, dans mon cas cela a créé sur mon disque dur un répertoire blender_material avec un sous répertoire image et toutes les pages du didacticiel. Avant que je mette les deux options j'avais sur mon disque une arbo linuxgraphic.org/section3d/... -P rép : télécharge dans le répertoire 'rép' Voilà l'état d'avancement de mes travaux, j'espère que ça pourra t'aider. Mais si qqun connait de la doc en français sur wget, je suis preneur. Vous souhaitez acquerir votre Pack ou des Services MandrakeSoft? Rendez-vous sur http://www.mandrakestore.com; Vous souhaitez acquerir votre Pack ou des Services MandrakeSoft? Rendez-vous sur http://www.mandrakestore.com;
[Confirme] wget -np : j'ai oublié qqchose ?
Salut a tous , Je veux renter la traduction de la reco. html 4. Mon essai est le suivant : wget -rl -D www.la-grange.net -np http://www.la-grange.net/w3c/html4.01/cover.htm j'ai rajouté -np pour ne pas me retrouver avec tout le site ... visiblement il me manque une option : wget telecharge tout le site :( any idea ? Marc Vous souhaitez acquerir votre Pack ou des Services MandrakeSoft? Rendez-vous sur http://www.mandrakestore.com;
[Confirme] wget
Bonjour J'ai un problème avec wget, Je demande une URL qui s'affiche correctement dans mon navigateur et wget me renvoi un index.html du genre : IMG SRC="icons/back.gif" ALT="[DIR]" A HREF="index.html"Parent Directory/A22-Sep-2000 12:25 - IMG SRC="icons/image2.gif" ALT="[IMG]" A HREF="apache_pb.gif"apache_pb.gif/A 03-Jul-1996 08:18 2k IMG SRC="icons/text.gif" ALT="[TXT]" A HREF="index.html.ca"index.html.ca/A 02-Sep-1999 13:03 2k IMG SRC="icons/text.gif" ALT="[TXT]" A HREF="index.html.cz"index.html.cz/A 09-Dec-1999 16:56 2k IMG SRC="icons/text.gif" ALT="[TXT]" A HREF="index.html.de"index.html.de/A 18-Aug-1999 14:00 2k IMG SRC="icons/text.gif" ALT="[TXT]" A HREF="index.html.dk"index.html.dk/A 19-Aug-1999 11:19 2k et tout les fichiers index.html.qque chose associé Mais comment faire pour passer outre ? Car sous netscape, le index.html me renvoi une page avec des données ?
[Confirme] Wget , kget etc...
J'essaie de trouver sous Linux l'équivalent de Getright. Bien sûr, il y a wget en ligne de commande, très pratique...comme vi . Tkwget, en définitive, guère plus simple J'ai essayé kget : un peu buggé et ne garde pas les fichiers en cours de chargement quand on le ferme, pas pratique.. J'essaie Webdownloader1.12, interface en français, possibilité de drop and drag de l'url, ca a l'air bien. Le probléme : une configuration par défaut qui ne marche même pas! . Pour le moment, j'utilise getright, parfait sous Windows, mais sur ma salle serveur, comme j'ai apache en proxy, il me faut son équivalent aussi simple sous Linux. Un conseil ? Ou une config de Webdownloader qui marche ? A moins que sous la MK 7.1 il y ait l'outil impeccable ? A défaut, ca serait pas mal d'en prévoir un. François Marzat Ile de Mayotte (Ocean Indien) Formation Continue [EMAIL PROTECTED] http://perso.wanadoo.fr/francois.marzat
Re: [Confirme] Wget , kget etc...
Il y'a un utilitaire qui s'appelle nt cherche sur http://rufus.w3.org a la lettre n c'est un getright like :-) Francois Marzat wrote: J'essaie de trouver sous Linux l'équivalent de Getright. Bien sûr, il y a wget en ligne de commande, très pratique...comme vi . Tkwget, en définitive, guère plus simple J'ai essayé kget : un peu buggé et ne garde pas les fichiers en cours de chargement quand on le ferme, pas pratique.. J'essaie Webdownloader1.12, interface en français, possibilité de drop and drag de l'url, ca a l'air bien. Le probléme : une configuration par défaut qui ne marche même pas! . Pour le moment, j'utilise getright, parfait sous Windows, mais sur ma salle serveur, comme j'ai apache en proxy, il me faut son équivalent aussi simple sous Linux. Un conseil ? Ou une config de Webdownloader qui marche ? A moins que sous la MK 7.1 il y ait l'outil impeccable ? A défaut, ca serait pas mal d'en prévoir un. François Marzat Ile de Mayotte (Ocean Indien) Formation Continue [EMAIL PROTECTED] http://perso.wanadoo.fr/francois.marzat __ message envoye depuis http://www.ifrance.com emails (pop)-sites persos (espace illimite)-agenda-favoris (bookmarks)-forums Ecoutez ce message par tel ! : 08 92 68 92 15 (france uniquement)
Re: [Confirme] Wget , kget etc...
Je ne l'ai jamais essaye (j'aime wget...) mais je sais qu'il existe un utilitaire appele kwebget. C'est, d'apres ce que j'ai compris, une interface graphique a wget. Ca fera peut-etre ton bonheur... HTH Flupke On Tue, 20 Jun 2000, Francois Marzat wrote: J'essaie de trouver sous Linux l'équivalent de Getright. Bien sûr, il y a wget en ligne de commande, très pratique...comme vi . Tkwget, en définitive, guère plus simple J'ai essayé kget : un peu buggé et ne garde pas les fichiers en cours de chargement quand on le ferme, pas pratique.. J'essaie Webdownloader1.12, interface en français, possibilité de drop and drag de l'url, ca a l'air bien. Le probléme : une configuration par défaut qui ne marche même pas! . Pour le moment, j'utilise getright, parfait sous Windows, mais sur ma salle serveur, comme j'ai apache en proxy, il me faut son équivalent aussi simple sous Linux. Un conseil ? Ou une config de Webdownloader qui marche ? A moins que sous la MK 7.1 il y ait l'outil impeccable ? A défaut, ca serait pas mal d'en prévoir un. François Marzat Ile de Mayotte (Ocean Indien) Formation Continue [EMAIL PROTECTED] http://perso.wanadoo.fr/francois.marzat -- There's no place like ~ !
