Итак, у меня есть пара файлов образа резервной копии системы размером около 1 терабайта, и я хочу быстро вычислить хэш каждого из них (предпочтительно SHA-1).
Сначала я пытался вычислить хэш md5, прошло 2 часа, а хэш так и не был посчитан (что очевидно для больших файлов до 1 ТБ).
Итак, есть ли какая-либо программа/реализация, которая может быстро хешировать файл размером 1 ТБ?
Я слышал о Tree-Hashing, который одновременно хеширует части файла, но пока не нашел никакой реализации.
Если у вас есть файл размером 1 миллион МБ, и ваша система может прочитать этот файл со скоростью 100 МБ/с, то
Ваши ожидания, вероятно, нереалистичны — не пытайтесь вычислить более быстрый хэш, пока не сможете выполнить более быстрое чтение файла.
Старый и уже отвеченный, но вы можете попробовать выбрать определенные фрагменты файла.
Где-то я нашел решение Perl, и оно кажется эффективным, код не мой:
#!/usr/bin/perl
use strict;
use Time::HiRes qw[ time ];
use Digest::MD5;
sub quickMD5 {
my $fh = shift;
my $md5 = new Digest::MD5->new;
$md5->add( -s $fh );
my $pos = 0;
until( eof $fh ) {
seek $fh, $pos, 0;
read( $fh, my $block, 4096 ) or last;
$md5->add( $block );
$pos += 2048**2;
}
return $md5;
}
open FH, '<', $ARGV[0] or die $!;
printf "Processing $ARGV[0] : %u bytes\n", -s FH;
my $start = time;
my $qmd5 = quickMD5( *FH );
printf "Partial MD5 took %.6f seconds\n", time() - $start;
print "Partial MD5: ", $qmd5->hexdigest, "\n";
По сути, скрипт выполняет MD5 для первых 4 КБ для каждого 4-мегабайтного блока в файле (фактически исходный делал каждый 1 МБ).
