hack のためのネタ帳, etc,,,

重複ファイルの発見と解消ツール

公式ページ等

Tips

速度

  • CPU: AMD Athlon II X4 615e
  • RAM: 8GB
  • HDD: Hitachi Ultrastar HUA721050KLA330 (500GB, SATA2)
の構成で 464GB の XFS が残り数 216MB の状態で
12GB 程度フォルダを 1GB まで削るのに 10分くらいかかった
$ # before
$ df -h /
ファイルシス   サイズ  使用  残り 使用% マウント位置
/dev/sda1        464G  464G  216M  100% /
$ du -sh ./backup.d
12G	./backup.d
$ # dedup
$ time sudo jdupes -r -L .
Scanning: 22226 files, 1907 items (in 1 specified)
...
real	11m44.819s
user	0m14.263s
sys	0m49.126s
$ # after
$ df -h /
ファイルシス   サイズ  使用  残り 使用% マウント位置
/dev/sda1        464G  454G   11G   98% /
$ du -sh ./backup.d
982M	./backup.d

重複ファイルの発見

適当なパスを与えて -r で再帰検索させれば OK
jdupes -r $TARGETDIR

hardlink にして dedup

とりあえず、-L オプションつけとけば重複ファイルを hardlink 化してくれる
jdupes -L -r $TARGETDIR

コメントをかく


「http://」を含む投稿は禁止されています。

利用規約をご確認のうえご記入下さい

Wiki内検索

フリーエリア

管理人/副管理人のみ編集できます