Re: [HS] recherche script batch pour doublons !
Le lundi 10 février 2020 21:20:02 UTC+1, Marc Chantreux a écrit :
> salut,
>
> j'ai nettoyé un répertoire de photos en utilisant ça:
>
> that_duplicates () {
> local ZERO="\x00"
> xargs -0 sha1sum |
> sed -r "s/ +/$ZERO/" |
> awk -F$ZERO -vORS=$ZERO '!sum[$1]++ {print $2}'
> }
>
> c'est à utiliser avec un find devant et un xargs -0 rm derrière.
>
> vu les volumes, la stratégie va compter: si tu as beaucoup de gros fichiers,
> il serait peut-être intéressant de faire le sum seulement sur les
> premiers ce qui permetterait un premier dédoublonage à l'arache.
>
> cordialement,
> marc
Merci, je l'ai pas essayé ! je comprend pas bien , mais enfin à l’occasion je
demanderai à quelqu'un qui m'a dit qu'il enseigné !
(l'hexa, et le sum 1, la comparaison semble aléatoire, tu facture combien ton
travail ? !)
Par contre y avait un DVD, d'un magazine d’administration de Linux anglophone,
au Fosdem, personne ne l'a récupéré, y a 6000 scrript, doit y avoir bonheur ...
--
ptilou
Re: [HS] recherche script batch pour doublons !
Merci pour cette réponse (fslint). Mais quelle serait en ligne de commande l'équivalent pour rechercher , rélectionner puis effacer les doublons? Merci. TS Le 10/02/2020 à 07:59, Contact a écrit : Bonjour fslint (dans les dépôts) vient avec un utilitaire nommé findup je n'ai jamais utilisé findup (mais j'ai utilisé fslint : ça marche bien) Fslint est une boîte à outils pour nettoyer la charpie du système de fichiers. Il comprend une interface graphique GTK+ ainsi qu'une interface en ligne de commande et peut être utilisé pour récupérer l'espace disque. Il possède une interface pour la désinstallation des paquets, et il peut trouver des choses comme : - les fichiers en double - les noms de fichiers problématiques - les fichiers temporaires - les mauvais liens symboliques - les répertoires vides - les binaires non dénudés si ça peut aider Le 10/02/2020 à 06:52, ptilou a écrit : Bonjour, J'ai plus de deux terra de données, du à une administration à la "légere" je me retrouve avec des doubles voir plus, ne portant pas les même: nom, date, etc ... J'ai fait des sauvegardes, et je cherche un script batch libre, mais je peut utiliser perl, aussi, pour avoir un disque de travail plus petit ! Quelqu'un peut me donner le script ? Merci
Re: [HS] recherche script batch pour doublons !
salut,
j'ai nettoyé un répertoire de photos en utilisant ça:
that_duplicates () {
local ZERO="\x00"
xargs -0 sha1sum |
sed -r "s/ +/$ZERO/" |
awk -F$ZERO -vORS=$ZERO '!sum[$1]++ {print $2}'
}
c'est à utiliser avec un find devant et un xargs -0 rm derrière.
vu les volumes, la stratégie va compter: si tu as beaucoup de gros fichiers,
il serait peut-être intéressant de faire le sum seulement sur les
premiers ce qui permetterait un premier dédoublonage à l'arache.
cordialement,
marc
Re: [HS] recherche script batch pour doublons !
Le 10/02/2020 à 06:52, ptilou a écrit : > je me retrouve avec des doubles voir plus, ne portant pas les même: nom, > date, etc ... > > J'ai fait des sauvegardes, et je cherche un script batch libre Un ami me souffle rdfind dans l'oreillette, mais j'ai pas testé.
Re: [HS] recherche script batch pour doublons !
Bonjour. Je me suis servi de jdupes sur un nextcloud hébergeant des archives de 15 ans. J'ai gagné ~20 Go de doublons accumulés et jamais triés ;) 10 février 2020 07:59 "Contact" a écrit: > Bonjour > > fslint (dans les dépôts) vient avec un utilitaire nommé findup > > je n'ai jamais utilisé findup (mais j'ai utilisé fslint : ça marche bien) > > > > Fslint est une boîte à outils pour nettoyer la charpie du système de > fichiers. Il comprend une interface graphique GTK+ ainsi qu'une interface > en ligne de commande et peut être utilisé pour récupérer l'espace disque. > Il possède une interface pour la désinstallation des paquets, et il peut > trouver des choses comme : > > - les fichiers en double > - les noms de fichiers problématiques > - les fichiers temporaires > - les mauvais liens symboliques > - les répertoires vides > - les binaires non dénudés > > > > si ça peut aider > > Le 10/02/2020 à 06:52, ptilou a écrit : > >> Bonjour, >> >> J'ai plus de deux terra de données, du à une administration à la "légere" je >> me retrouve avec des >> doubles voir plus, ne portant pas les même: nom, date, etc ... >> >> J'ai fait des sauvegardes, et je cherche un script batch libre, mais je peut >> utiliser perl, aussi, >> pour avoir un disque de travail plus petit ! >> >> Quelqu'un peut me donner le script ? >> >> Merci
Re: [HS] recherche script batch pour doublons !
Bonjour fslint (dans les dépôts) vient avec un utilitaire nommé findup je n'ai jamais utilisé findup (mais j'ai utilisé fslint : ça marche bien) Fslint est une boîte à outils pour nettoyer la charpie du système de fichiers. Il comprend une interface graphique GTK+ ainsi qu'une interface en ligne de commande et peut être utilisé pour récupérer l'espace disque. Il possède une interface pour la désinstallation des paquets, et il peut trouver des choses comme : - les fichiers en double - les noms de fichiers problématiques - les fichiers temporaires - les mauvais liens symboliques - les répertoires vides - les binaires non dénudés si ça peut aider Le 10/02/2020 à 06:52, ptilou a écrit : Bonjour, J'ai plus de deux terra de données, du à une administration à la "légere" je me retrouve avec des doubles voir plus, ne portant pas les même: nom, date, etc ... J'ai fait des sauvegardes, et je cherche un script batch libre, mais je peut utiliser perl, aussi, pour avoir un disque de travail plus petit ! Quelqu'un peut me donner le script ? Merci
Re: [HS] recherche script batch pour doublons !
Bonjour, fdupes ? On 09/02/2020 19:52, ptilou wrote: Bonjour, J'ai plus de deux terra de données, du à une administration à la "légere" je me retrouve avec des doubles voir plus, ne portant pas les même: nom, date, etc ... J'ai fait des sauvegardes, et je cherche un script batch libre, mais je peut utiliser perl, aussi, pour avoir un disque de travail plus petit ! Quelqu'un peut me donner le script ? Merci
[HS] recherche script batch pour doublons !
Bonjour, J'ai plus de deux terra de données, du à une administration à la "légere" je me retrouve avec des doubles voir plus, ne portant pas les même: nom, date, etc ... J'ai fait des sauvegardes, et je cherche un script batch libre, mais je peut utiliser perl, aussi, pour avoir un disque de travail plus petit ! Quelqu'un peut me donner le script ? Merci -- ptilou
