J’ai une grande collection de musique et il y a quelques copies. Est-il possible de trouver des fichiers en double? Au minimum, faites un hachage et vérifiez si deux fichiers ont le même hachage.
Des points bonus pour la recherche de fichiers portant le même nom en plus de l’extension – je pense que j’ai quelques chansons avec les versions au format mp3 et ogg.
Je suis heureux d’utiliser la ligne de commande si c’est le moyen le plus simple.
J’utilise fdupes
pour cela. C’est un programme en ligne de commande qui peut être installé à partir des référentiels avec sudo apt install fdupes
. Vous pouvez l’appeler comme fdupes -r /dir/ect/ory
et il affichera une liste de dupes. fdupes a aussi une simple page d’accueil et un article Wikipedia , qui énumère quelques programmes supplémentaires.
FSlint a une interface graphique et quelques autres fonctionnalités. L’explication de l’algorithme de vérification des doublons de leur FAQ:
1. exclude files with unique lengths 2. handle files that are hardlinked to each other 3. exclude files with unique md5(first_4k(file)) 4. exclude files with unique md5(whole file) 5. exclude files with unique sha1(whole file) (in case of md5 collisions).
Liste des programs/scripts/bash-solutions
pouvant rechercher des doublons et s’exécuter sous nix
:
Si votre tâche de déduplication est liée à la musique, lancez d’abord l’application Picard pour identifier et marquer correctement votre musique (afin de trouver les fichiers .mp3 / .ogg en double, même si leur nom est incorrect). Notez que picard est également disponible sous forme de paquet Ubuntu.
Ceci fait, en vous basant sur la balise musicip_puid
vous pourrez facilement retrouver toutes vos chansons dupliquées.
Un autre script qui fait ce travail est rmdupe . De la page de l’auteur:
rmdupe utilise les commandes linux standard pour rechercher des fichiers en double dans les dossiers spécifiés, quel que soit le nom de fichier ou son extension. Avant que les candidats en double ne soient supprimés, ils sont comparés octet par octet. rmdupe peut également vérifier les doublons par rapport à un ou plusieurs dossiers de référence, peut supprimer des fichiers au lieu de les supprimer, permet une commande de suppression personnalisée et peut limiter sa recherche aux fichiers de la taille spécifiée. rmdupe inclut un mode de simulation qui indique ce qui sera fait pour une commande donnée sans supprimer aucun fichier.
As-tu essayé
finddup
ou
finddup -l
Je suppose que cela fonctionne bien.
Pour les doublons liés à la musique, l’identification et la suppression de Picard et Jaikoz par http://musicbrainz.org/ est la meilleure solution. Je crois que Jaikoz marque automatiquement votre musique en fonction des données du fichier de la chanson. Vous n’avez même pas besoin du nom de la chanson pour l’identifier et lui atsortingbuer toutes les métadonnées. Bien que la version gratuite ne puisse étiqueter qu’un nombre limité de chansons en une fois, vous pouvez l’exécuter autant de fois que vous le souhaitez.
J’utilise komparator – sudo apt-get install komparator
( Ubuntu 10.04+ ) – en tant qu’outil graphique pour rechercher des doublons en mode manuel.