จะคำนวณแฮชของไฟล์ที่มีขนาด 1 เทราไบต์ขึ้นไปได้อย่างไร

หากคุณมีไฟล์ขนาด 1 ล้าน MB และระบบของคุณสามารถอ่านไฟล์นี้ได้ที่ความเร็ว 100MB/s

• 1TB * 1000(TB/GB) = 1000 GB
• 1,000GB * 1,000(MB/GB) = 1 ล้าน MB
• 1 ล้าน MB/100(MB/s) = 10,000 วินาที
• 10000s/3600(s/hr) = 2.77... hr
• ดังนั้น ระบบ 100MB/s จึงมีพื้นแข็งที่ 2.77... ชม. ในการอ่านไฟล์ตั้งแต่แรก แม้กระทั่งก่อนที่จะต้องใช้เวลาทั้งหมดเพิ่มเติมในการคำนวณแฮชก็ตาม

ความคาดหวังของคุณอาจไม่สมจริง - อย่าพยายามคำนวณแฮชที่เร็วขึ้นจนกว่าคุณจะสามารถอ่านไฟล์ได้เร็วขึ้น

เก่าและตอบแล้ว แต่คุณอาจลองเลือกไฟล์เฉพาะเจาะจง

มีวิธีแก้ไขปัญหา Perl ที่ฉันพบที่ไหนสักแห่งและดูเหมือนว่าจะมีประสิทธิภาพ ไม่ใช่รหัสของฉัน:

#!/usr/bin/perl

use strict;
use Time::HiRes qw[ time ];
use Digest::MD5;

sub quickMD5 {
    my $fh = shift;
    my $md5 = new Digest::MD5->new;

    $md5->add( -s $fh );

    my $pos = 0;
    until( eof $fh ) {
        seek $fh, $pos, 0;
        read( $fh, my $block, 4096 ) or last;
        $md5->add( $block );
        $pos += 2048**2;
    }
    return $md5;
}

open FH, '<', $ARGV[0] or die $!;
printf "Processing $ARGV[0] : %u bytes\n", -s FH;

my $start = time;
my $qmd5 = quickMD5( *FH );
printf "Partial MD5 took %.6f seconds\n", time() - $start;
print "Partial MD5: ", $qmd5->hexdigest, "\n";

โดยพื้นฐานแล้วสคริปต์จะดำเนินการ MD5 บน 4KB แรกสำหรับทุก ๆ บล็อก 4MB ในไฟล์ (อันที่จริงสคริปต์ต้นฉบับทำทุก ๆ 1MB)

ฉันขอแนะนำให้คุณดูแฮชที่ไม่ใช่การเข้ารหัส (เช่น: xxhash และ murmur3) พวกมันเร็วกว่า md5 มาก จนกระทั่งถึงความเร็วการอ่านสูงสุดอย่างแน่นอน