Python: วิธีที่รวดเร็วในการอ่านและแยกไฟล์คืออะไร?

ฉันคิดว่ารายการความเข้าใจจะเร็วกว่าการโทร .append สำหรับแต่ละบรรทัด

from itertools import chain
with open('file.txt') as f:
    lines = chain.from_iterable([l.replace(r'"','').rstrip('\n').split('\t',1) for l in f])

แก้ไข: ดังนั้นจึงสร้างรายการที่ราบเรียบ

>>> 
['CARMILLA', '35', 'JONATHAN R', 'AA2', 'M', '3', 'EMMA', '350', 'OLD', 'AA']

เวอร์ชันที่ไม่ราบเรียบ:

with open('file.txt') as f:
    lines = [l.replace(r'"','').rstrip('\n').split('\t',1) for l in f]

และบางจังหวะ ปรากฎว่า OP นั้นเร็วที่สุดใช่ไหม

import timeit
print("chain, list",timeit.timeit(r"""
with open('file.txt') as f:
    lines = chain.from_iterable([l.replace(r'"','').rstrip('\n').split('\t',1) for l in f])""",setup="from itertools import chain",number=1000))
print("flat       ",timeit.timeit(r"""
with open('file.txt') as f:
    lines = [l.replace(r'"','').rstrip('\n').split('\t',1) for l in f]""",setup="from itertools import chain",number=1000))
print("op's       ",timeit.timeit(r"""temp = []
fp = open('file.txt', "r")
for line in fp:
    temp.append(line.replace("\"","").rstrip("\n").split("\t"))
""",number=1000))
print("jamlyks    ",timeit.timeit(r"""
with open('file.txt', 'rb') as f:
    r = csv.reader(f, delimiter=' ', skipinitialspace=True)
    list(chain.from_iterable(r))""",setup="from itertools import chain; import csv",number=1000))
print("lennart    ",timeit.timeit(r"""
    list(csv.reader(open('file.txt'), delimiter='\t', quotechar='"'))""",setup="from itertools import chain; import csv",number=1000))

อัตราผลตอบแทน

C:\Users\Henry\Desktop>k.py
('chain, list', 0.04725674146159321)
('my flat    ', 0.04629905135295972)
("op's       ", 0.04391255644624917)
('jamlyks    ', 0.048360870934994915)
('lennart    ', 0.04569112379085424)

เมื่อแทนที่ temp.append ด้วย temp.extend คุณจะได้รับรายการเลเยอร์เดียวแทนที่จะเป็นรายการ

หากคุณทราบว่าแต่ละบรรทัดมี \t เพียงอันเดียว คุณสามารถใช้ split("\t",1) หรือ rsplit("\t",1) เพื่อหลีกเลี่ยงการสแกนทั้งบรรทัดเพื่อหาแท็บ

strip('"') หลัง split เป็นทางเลือกที่เป็นไปได้แทน replace("\"","") ก่อน split ลองดูถ้ามันเร็วกว่านี้

แต่คุณจับเวลาแล้วหรือยังว่าต้องใช้เวลานานเท่าใดในการอ่านไฟล์โดยใช้ file.read()? เวลาที่ใช้ในการแยกทางมีความสำคัญจริง ๆ เมื่อเทียบกับสิ่งนั้นหรือไม่?

คุณควรคิดให้ออกก่อนว่าอะไรคือปัญหาคอขวดที่แท้จริงของคุณ เพียงอ่านไฟล์โดยไม่ต้องสร้างรายการผลลัพธ์ เพียงพิมพ์แต่ละบรรทัดเมื่อแยกออก แต่ไม่ต้องพิมพ์ไปที่คอนโซล (โดยช้า) แต่เป็นไฟล์ใหม่ ฉันจะเดิมพันมากว่ามันเร็วกว่านี้แล้ว ดังนั้นในความคิดของฉัน (ไม่สามารถทดสอบได้หากไม่มีวันจริง) ปัญหาของคุณไม่ใช่การอ่านและการแยกส่วน นั่นคือสิ่งที่คุณกำลังทำหลังจากนั้น ให้มันลอง. วิธีเพิ่มประสิทธิภาพเพิ่มเติมนั้นขึ้นอยู่กับกรณีการใช้งานของคุณ

อัปเดต:

จากข้อมูลตัวอย่างของคุณ คุณอาจลองสิ่งนี้:

import itertools
print list(itertools.chain(
    *( line.strip().split('\t') for line in file('sample.txt') )
))

กำลังสร้างเครื่องกำเนิดไฟฟ้าสำหรับข้อมูลของคุณ print list(...) มีไว้เพื่อการพิมพ์และเพื่อให้สอดคล้องกับตัวอย่างของคุณเท่านั้น ในแอปโลกแห่งความเป็นจริง คุณอาจจะไม่ได้สร้างรายการขึ้นมา แทนที่จะเขียนข้อมูลไปยังตำแหน่งที่ควรไปหรือประมวลผลต่อไป

อัปเดต 2:

หากคุณต้องการกำจัดเครื่องหมายคำพูดและคุณแน่ใจว่าแต่ละส่วนมีเครื่องหมายคำพูด คุณสามารถใช้ x[1:-1] ได้ หรือคุณสามารถใช้ x.strip('"') หากคุณต้องการความมั่นใจ แต่ไม่จำเป็นต้องใช้ regex

เช่นนี้:

>>> import csv
>>> reader = csv.reader(open('testfile'), delimiter='\t', quotechar='"')
>>> list(reader)
[['CARMILLA', '35'], ['JONATHAN R', 'AA2'], ['M', '3'], ['EMMA', '350'], ['OLD', 'AA']]

การใช้ regex และรายการความเข้าใจ:

import re
with open("abc") as f:
    lis = [x.group(1) for line in f for x in \
                             re.finditer(r'"([a-zA-Z0-9\s]+)"', line) ]
    print lis

เอาท์พุท:

['CARMILLA', '35', 'JONATHAN R', 'AA2', 'M', '3', 'EMMA', '350', 'OLD', 'AA']

หากจำนวนค่าที่คั่นแท็บไม่มาก ให้ใช้ re.findall():

lis =  [y for line in f for y in re.findall(r'"([a-zA-Z0-9\s]+)"', line)]

หรือใช้ itertools.chain:

lis =  list(chain(*(re.findall(r'"([a-zA-Z0-9\s]+)"', line) for line in f)))