วิธีแก้ปัญหา MemoryError โดยใช้ไลบรารี Python 3.7 pdf2image

แปลง PDF เป็นบล็อกละ 10 หน้าในแต่ละครั้ง ( 1-10,11-20 เป็นต้น ... )

from pdf2image import pdfinfo_from_path,convert_from_path
info = pdfinfo_from_path(pdf_file, userpw=None, poppler_path=None)

maxPages = info["Pages"]
for page in range(1, maxPages+1, 10) : 
   convert_from_path(pdf_file, dpi=200, first_page=page, last_page = min(page+10-1,maxPages))

ฉันมาช้าไปหน่อย แต่ปัญหาเกี่ยวข้องกับ 136 หน้าที่เข้าสู่หน่วยความจำ คุณสามารถทำสามสิ่ง

1. ระบุรูปแบบสำหรับภาพที่แปลงแล้ว

ตามค่าเริ่มต้น pdf2image จะใช้ PPM เป็นรูปแบบรูปภาพ ซึ่งเร็วกว่า แต่ยังใช้หน่วยความจำมากกว่ามาก (มากกว่า 30MB ต่อภาพ!) สิ่งที่คุณสามารถทำได้เพื่อแก้ไขปัญหานี้คือการใช้รูปแบบที่เหมาะกับหน่วยความจำมากขึ้น เช่น jpeg หรือ png

convert_from_path('C:\path\to\your\pdf', fmt='jpeg')

นั่นอาจจะช่วยแก้ปัญหาได้ แต่ส่วนใหญ่เป็นเพราะการบีบอัด และเมื่อถึงจุดหนึ่ง (เช่น +500 หน้า PDF) ปัญหาก็จะปรากฏขึ้นอีกครั้ง

2. ใช้ไดเรกทอรีผลลัพธ์

นี่คือสิ่งที่ฉันอยากจะแนะนำเพราะมันช่วยให้คุณสามารถประมวลผล PDF ใดก็ได้ ตัวอย่างในหน้า README อธิบายได้ดี:

import tempfile

with tempfile.TemporaryDirectory() as path:
    images_from_path = convert_from_path('C:\path\to\your\pdf', output_folder=path)

การดำเนินการนี้จะเขียนรูปภาพลงที่จัดเก็บข้อมูลในคอมพิวเตอร์ของคุณชั่วคราว เพื่อที่คุณจะได้ไม่ต้องลบออกด้วยตนเอง อย่าลืมดำเนินการใดๆ ที่คุณต้องทำก่อนที่จะออกจากบริบท with!

3. ประมวลผลไฟล์ PDF เป็นกลุ่ม

pdf2image ช่วยให้คุณกำหนดหน้าแรกและหน้าสุดท้ายที่คุณต้องการประมวลผล นั่นหมายความว่าในกรณีของคุณ ด้วย PDF จำนวน 136 หน้า คุณสามารถทำสิ่งต่อไปนี้ได้

for i in range(0, 136 // 10 + 1):
    convert_from_path('C:\path\to\your\pdf', first_page=i*10, last_page=(i+1)*10)

คำตอบที่ยอมรับมีปัญหาเล็กน้อย

maxPages = pdf2image._page_count(pdf_file)

ไม่สามารถใช้งานได้อีกต่อไป เนื่องจาก _page_count เลิกใช้แล้ว ฉันพบวิธีแก้ปัญหาการทำงานเช่นเดียวกัน

from PyPDF2 import PdfFileWriter, PdfFileReader    
inputpdf = PdfFileReader(open(pdf, "rb"))
maxPages = inputpdf.numPages
for page in range(1, maxPages, 100):
    pil_images = pdf2image.convert_from_path(pdf, dpi=200, first_page=page,
                                                     last_page=min(page + 100 - 1, maxPages), fmt= 'jpg',
                                                     thread_count=1, userpw=None,
                                                     use_cropbox=False, strict=False)

ด้วยวิธีนี้ ไม่ว่าไฟล์จะมีขนาดใหญ่เพียงใด ระบบจะประมวลผล 100 ไฟล์ในคราวเดียว และการใช้ RAM จะน้อยที่สุดเสมอ

PDF ที่ค่อนข้างใหญ่จะใช้หน่วยความจำทั้งหมดของคุณและทำให้กระบวนการถูกฆ่า (เว้นแต่คุณจะใช้โฟลเดอร์เอาท์พุต) https://github.com/Belval/pdf2image ฉันเดาว่าจะช่วยให้คุณเข้าใจ

วิธีแก้ไข: แบ่งไฟล์ PDF ออกเป็นส่วนเล็กๆ แล้วแปลงเป็นรูปภาพ สามารถรวมภาพได้...

 from PyPDF2 import PdfFileWriter, PdfFileReader

 inputpdf = PdfFileReader(open("document.pdf", "rb"))

 for i in range(inputpdf.numPages):
     output = PdfFileWriter()
     output.addPage(inputpdf.getPage(i))
     with open("document-page%s.pdf" % i, "wb") as outputStream:
         output.write(outputStream)

แยกไฟล์ PDF หลายหน้าออกเป็น มีไฟล์ PDF หลายไฟล์ด้วย python หรือไม่

 import numpy as np
 import PIL

 list_im = ['Test1.jpg', 'Test2.jpg', 'Test3.jpg']
 imgs    = [ PIL.Image.open(i) for i in list_im ]
 # pick the image which is the smallest, and resize the others to match it (can be   arbitrary image shape here)
 min_shape = sorted( [(np.sum(i.size), i.size ) for i in imgs])[0][1]
 imgs_comb = np.hstack( (np.asarray( i.resize(min_shape) ) for i in imgs ) )

 # save that beautiful picture
 imgs_comb = PIL.Image.fromarray( imgs_comb)
 imgs_comb.save( 'Trifecta.jpg' )    

 # for a vertical stacking it is simple: use vstack
 imgs_comb = np.vstack( (np.asarray( i.resize(min_shape) ) for i in imgs ) )
 imgs_comb = PIL.Image.fromarray( imgs_comb)
 imgs_comb.save( 'Trifecta_vertical.jpg' )

อ้างอิง:รวมหลายภาพในแนวนอนด้วย Python

ในที่สุด เมื่อรวมเทคนิคเหล่านี้เข้าด้วยกัน ฉันก็ลงเอยด้วยการเขียนโค้ดดังนี้ โดยมีเป้าหมายในการแปลงไฟล์ PDF เป็น PPTX โดยหลีกเลี่ยงหน่วยความจำล้นและคำนึงถึงความเร็วที่ดี:

import os, sys, tempfile, pprint
from PIL import Image
from pdf2image import pdfinfo_from_path,convert_from_path
from pptx import Presentation
from pptx.util import Inches
from io import BytesIO

pdf_file = sys.argv[1]
print("Converting file: " + pdf_file)

# Prep presentation
prs = Presentation()
blank_slide_layout = prs.slide_layouts[6]

# Create working folder
base_name = pdf_file.split(".pdf")[0]

# Convert PDF to list of images
print("Starting conversion...")
print()
path: str = "C:/ppttemp"  #temp dir (use cron to delete files older than 1h hourly)
slideimgs = []
info = pdfinfo_from_path(pdf_file, userpw=None, poppler_path='C:/Program Files/poppler-0.90.1/bin/')
maxPages = info["Pages"]
for page in range(1, maxPages+1, 5) : 
   slideimgs.extend( convert_from_path(pdf_file, dpi=250, output_folder=path, first_page=page, last_page = min(page+5-1,maxPages), fmt='jpeg', thread_count=4, poppler_path='C:/Program Files/poppler-0.90.1/bin/', use_pdftocairo=True)   )

print("...complete.")
print()

# Loop over slides
for i, slideimg in enumerate(slideimgs):
    if i % 5 == 0:
        print("Saving slide: " + str(i))

    imagefile = BytesIO()
    slideimg.save(imagefile, format='jpeg')
    imagedata = imagefile.getvalue()
    imagefile.seek(0)
    width, height = slideimg.size

    # Set slide dimensions
    prs.slide_height = height * 9525
    prs.slide_width = width * 9525

    # Add slide
    slide = prs.slides.add_slide(blank_slide_layout)
    pic = slide.shapes.add_picture(imagefile, 0, 0, width=width * 9525, height=height * 9525)
    

# Save Powerpoint
print("Saving file: " + base_name + ".pptx")
prs.save(base_name + '.pptx')
print("Conversion complete. :)")
print()