วิธีที่มีประสิทธิภาพในการขอขดนับพันครั้ง

สิ่งที่คุณมีนี่คือปัญหาคู่ขนานที่น่าอับอาย สิ่งเหล่านี้เหมาะอย่างยิ่งสำหรับการขนาน เนื่องจากไม่จำเป็นต้องมีการพึ่งพาระหว่างเธรดหรือการสื่อสาร

มีสองวิธีหลักในการดำเนินการนี้ใน Perl - การทำเกลียวหรือการฟอร์ก ฉัน โดยทั่วไป ฉันจะแนะนำการประมวลผลแบบขนานที่ใช้เธรดสำหรับสิ่งที่คุณกำลังทำอยู่ นี่เป็นเรื่องของการเลือก แต่ฉันคิดว่ามันเหมาะสำหรับการเปรียบเทียบข้อมูลมากกว่า

#!/usr/bin/perl

use strict;
use warnings;

use threads;
use Thread::Queue;

my $numthreads = 20;

my $site        = "http://SITENAME/?id=";
my $cookie_name = "cookienum123";

my $fetch_q   = Thread::Queue->new();
my $collate_q = Thread::Queue->new();


#fetch sub sits in a loop, takes items off 'fetch_q' and runs curl. 
sub fetch {
    while ( my $target = $fetch_q->dequeue() ) {
        my $output =
            `curl -s -H "Cookie: $cookie_name=$target" -L $site$target | grep -Eo "[0-9]+"`;
        $collate_q->enqueue($output);
    }
}

#one instance of collate, which exists to serialise the output from fetch. 
#writing files concurrently can get very messy and build in race conditions. 
sub collate {
    open( my $output_fh, ">", "results.txt" ) or die $!;
    print {$output_fh} "#\t\tValue\n";

    while ( my $result = $collate_q->dequeue() ) {
        print {$output_fh} $result;
    }
    close($output_fh);
}


## main bit:

#start worker threads
my @workers = map { threads->create( \&fetch ) } 1 .. $numthreads;

#collates results. 
my $collater = threads->create( \&collate );

$fetch_q->enqueue( '1' .. '10000' );
$fetch_q->end();

foreach my $thr (@workers) {
    $thr->join();
}

#end collate_q here, because we know all the fetchers are 
#joined - so no more results will be generated. 
#queue will then generate 'undef' when it's empty, and the thread will exit. 
$collate_q->end;

#join will block until thread has exited, e.g. all results in the queue
#have been 'processed'. 
$collater->join;

สิ่งนี้จะสร้างเธรดผู้ปฏิบัติงาน 20 เธรด ซึ่งจะทำงานแบบขนาน และรวบรวมผลลัพธ์เมื่อออกจากไฟล์ อีกทางเลือกหนึ่ง คุณสามารถทำสิ่งที่คล้ายกับ Parallel::ForkManager ได้ แต่สำหรับงานที่เน้นข้อมูล โดยส่วนตัวแล้วฉันชอบทำเธรดมากกว่า

คุณสามารถใช้ส่วนย่อย 'เปรียบเทียบ' เพื่อประมวลผลข้อมูลภายหลัง เช่น การเรียงลำดับ การนับ อะไรก็ตาม

ฉันจะชี้ให้เห็นด้วย - การใช้ curl และ grep เนื่องจากการเรียกของระบบไม่เหมาะ - ฉันทิ้งมันไว้ตามที่เป็นอยู่ แต่จะแนะนำให้ดูที่ LWP และอนุญาตให้ Perl จัดการการประมวลผลข้อความเพราะมันค่อนข้างดี

ฉันค่อนข้างแน่ใจว่าสิ่งต่อไปนี้จะทำสิ่งที่คุณต้องการ แต่การกระแทกเซิร์ฟเวอร์ด้วยคำขอพร้อมกัน 10,000 รายการนั้นไม่สุภาพมากนัก ในความเป็นจริง การรวบรวมข้อมูลของไซต์โดยการเดิน ID ของ URL ที่ระบุนั้นฟังดูไม่เป็นมิตรนักเช่นกัน ฉันยังไม่ได้ทดสอบสิ่งต่อไปนี้ แต่ควรช่วยให้คุณได้ผล 99% (อาจมีข้อผิดพลาดทางไวยากรณ์ / การใช้งานบางแห่ง)

ดูข้อมูลเพิ่มเติม:

• https://metacpan.org/pod/distribution/Mojolicious/lib/Mojolicious/Guides/Cookbook.pod#Non-blocking
• https://metacpan.org/pod/Mojo::UserAgent#build_tx
• https://metacpan.org/pod/Mojo::DOM

ขอให้โชคดี!

#!/usr/bin/perl

use warnings;
use strict;

use Mojo::UserAgent;
use Mojo::IOLoop;

my $site = 'http://SITENAME/?id=';
my $cookie_name = 'cookienum123';

#open filehandle and write file header
open my $output_fh, q{>}, 'results.txt'
    or die $!;
print {$output_fh} "#\t\tValue\n";


# Use Mojo::UserAgent for concurrent non-blocking requests
my $ua = Mojo::UserAgent->new;


#create your requests
for my $i (1..10000) {

    #build transaction
    my $tx = $ua->build_tx(GET => "$site$i");

    #add cookie header
    $tx->req->cookies({name => $cookie_name, value => $i});

    #start "GET" with callback to write to file
    $tx = $ua->start( $tx => sub {
      my ($ua, $mojo) = @_;
      print {$output_fh} $i . "\t\t" . $mojo->res->dom->to_string;
    });
}

# Start event loop if necessary
Mojo::IOLoop->start unless Mojo::IOLoop->is_running;


#close filehandle
close $output_fh;