คำถามในหัวข้อ 'large-data'

เมทริกซ์ HDF5 ผนวกใน python
ตัวอย่างเช่น เรามีเมทริกซ์ (เช่น เราต้องการเก็บอาร์เรย์ numpy) และเราเก็บไว้ในไฟล์ HDF5 แต่จากนั้นเราต้องการขยายเมทริกซ์โดยการต่อท้ายแถวบางแถวที่ส่วนท้ายของเมทริกซ์ดั้งเดิม (คำนึงว่าเมทริกซ์ดั้งเดิมสามารถมีได้มาก ใหญ่ประมาณสิบ Gb และไม่สามารถโหลดลงใน...
2149 มุมมอง
schedule 28.11.2023

จะคำนวณแฮชของไฟล์ที่มีขนาด 1 เทราไบต์ขึ้นไปได้อย่างไร
ฉันมีไฟล์อิมเมจสำรองระบบสองสามไฟล์ที่มีขนาดประมาณ 1 เทราไบต์ และฉันต้องการคำนวณแฮชของแต่ละไฟล์อย่างรวดเร็ว (ควรเป็น SHA-1) ตอนแรกฉันพยายามคำนวณแฮช md5 ผ่านไป 2 ชั่วโมงแล้วและยังไม่ได้คำนวณแฮช (สิ่งที่ชัดเจนสำหรับไฟล์ขนาดใหญ่ถึง 1TB)...
8017 มุมมอง
schedule 18.11.2023

อ่านและเขียนรูปภาพ (วัตถุขนาดใหญ่) จาก postgres ด้วย qt
ฉันต้องการอ่านและเขียนวัตถุขนาดใหญ่ เช่น รูปภาพหรือวิดีโอใน postgres ด้วยประเภท oid พร้อมเฟรมเวิร์ก qt ในแบบสอบถาม ฉันสามารถใช้ lo_import และ lo_export เพื่ออ่านและเขียน largeobject พร้อมที่อยู่ในเครื่องเฉพาะสำหรับการนำเข้าและส่งออก...
957 มุมมอง
schedule 28.10.2023