Python: Apa cara cepat untuk membaca dan membagi file?

Menurut saya pemahaman daftar akan lebih cepat daripada memanggil .append untuk setiap baris

from itertools import chain
with open('file.txt') as f:
    lines = chain.from_iterable([l.replace(r'"','').rstrip('\n').split('\t',1) for l in f])

EDIT: sehingga menghasilkan daftar yang rata

>>> 
['CARMILLA', '35', 'JONATHAN R', 'AA2', 'M', '3', 'EMMA', '350', 'OLD', 'AA']

Versi yang tidak merata:

with open('file.txt') as f:
    lines = [l.replace(r'"','').rstrip('\n').split('\t',1) for l in f]

Dan beberapa waktu, ternyata OP yang tercepat?

import timeit
print("chain, list",timeit.timeit(r"""
with open('file.txt') as f:
    lines = chain.from_iterable([l.replace(r'"','').rstrip('\n').split('\t',1) for l in f])""",setup="from itertools import chain",number=1000))
print("flat       ",timeit.timeit(r"""
with open('file.txt') as f:
    lines = [l.replace(r'"','').rstrip('\n').split('\t',1) for l in f]""",setup="from itertools import chain",number=1000))
print("op's       ",timeit.timeit(r"""temp = []
fp = open('file.txt', "r")
for line in fp:
    temp.append(line.replace("\"","").rstrip("\n").split("\t"))
""",number=1000))
print("jamlyks    ",timeit.timeit(r"""
with open('file.txt', 'rb') as f:
    r = csv.reader(f, delimiter=' ', skipinitialspace=True)
    list(chain.from_iterable(r))""",setup="from itertools import chain; import csv",number=1000))
print("lennart    ",timeit.timeit(r"""
    list(csv.reader(open('file.txt'), delimiter='\t', quotechar='"'))""",setup="from itertools import chain; import csv",number=1000))

Hasil

C:\Users\Henry\Desktop>k.py
('chain, list', 0.04725674146159321)
('my flat    ', 0.04629905135295972)
("op's       ", 0.04391255644624917)
('jamlyks    ', 0.048360870934994915)
('lennart    ', 0.04569112379085424)

Dengan mengganti temp.append dengan temp.extend, Anda mendapatkan daftar lapisan tunggal, bukan daftar daftar.

Jika Anda tahu hanya ada satu \t di setiap baris, Anda dapat menggunakan split("\t",1) atau rsplit("\t",1) untuk menghindari pemindaian seluruh baris untuk mencari tab.

strip('"') setelah split merupakan alternatif yang memungkinkan untuk replace("\"","") sebelum split. Coba jika lebih cepat.

Namun apakah Anda sudah menghitung berapa lama waktu yang dibutuhkan untuk membaca file hanya menggunakan file.read()? Apakah waktu yang dihabiskan untuk pemisahan sangat signifikan dibandingkan dengan itu?

Anda harus terlebih dahulu mencari tahu apa hambatan Anda yang sebenarnya. Cukup baca file tanpa membuat daftar hasil. Cetak saja setiap baris ketika dipisah, tetapi tidak ke konsol (dengan lambat) tetapi ke dalam file baru. Saya berani bertaruh bahwa ini sudah JAUH lebih cepat. Jadi menurut saya (tidak dapat menguji tanpa hari nyata) masalah Anda bukan pada bagian membaca dan memisahkan. Itulah yang Anda lakukan setelahnya. Cobalah. Cara mengoptimalkan lebih lanjut bergantung pada kasus penggunaan Anda.

Memperbarui:

Berdasarkan contoh data Anda, Anda dapat mencoba yang ini:

import itertools
print list(itertools.chain(
    *( line.strip().split('\t') for line in file('sample.txt') )
))

Ini menghasilkan generator untuk data Anda. print list(...) hanya untuk dicetak dan konsisten dengan contoh Anda. Di aplikasi dunia nyata Anda mungkin tidak akan membuat daftarnya. Alih-alih, tulis data ke tempat yang seharusnya atau proses lebih jauh.

Pembaruan2:

Jika Anda ingin menghilangkan tanda kutip dan YAKIN setiap bagian memiliki tanda kutip, Anda cukup menggunakan x[1:-1]. Atau Anda bisa menggunakan x.strip('"'), jika ingin yakin. Tapi tidak perlu menggunakan regex.

Seperti ini misalnya:

>>> import csv
>>> reader = csv.reader(open('testfile'), delimiter='\t', quotechar='"')
>>> list(reader)
[['CARMILLA', '35'], ['JONATHAN R', 'AA2'], ['M', '3'], ['EMMA', '350'], ['OLD', 'AA']]

Menggunakan regex dan pemahaman daftar:

import re
with open("abc") as f:
    lis = [x.group(1) for line in f for x in \
                             re.finditer(r'"([a-zA-Z0-9\s]+)"', line) ]
    print lis

keluaran:

['CARMILLA', '35', 'JONATHAN R', 'AA2', 'M', '3', 'EMMA', '350', 'OLD', 'AA']

Jika jumlah nilai yang dipisahkan tab tidak banyak, gunakan re.findall():

lis =  [y for line in f for y in re.findall(r'"([a-zA-Z0-9\s]+)"', line)]

atau menggunakan itertools.chain:

lis =  list(chain(*(re.findall(r'"([a-zA-Z0-9\s]+)"', line) for line in f)))