Bagaimana cara Torch 7 memuat kumpulan data yang sangat besar yang tidak muat di memori?

Saya memiliki beberapa kumpulan data yang sangat besar yang ingin saya muat ke Torch. Tapi saya tidak bisa memuatnya sepenuhnya ke memori sebelum saya menjalankan algoritma pembelajaran saya.

Apa yang harus saya lakukan untuk memaksimalkan kinerja?


machine-learning deep-learning torch
person user2173168    schedule 05.10.2015    source sumber
comment
Mungkinkah Anda bekerja dengan sebagian kumpulan data asli Anda?   -  person Tim Biegeleisen    schedule 05.10.2015
comment
Ya, tapi apakah itu terlalu lambat? Setiap kali untuk batch mini, ia harus menunggu I/O yang lambat. Akankah buffer membantu?   -  person user2173168    schedule 05.10.2015
comment
Saya tidak terlalu akrab dengan Torch. Alat seperti R dan MATLAB beroperasi di memori. Jadi ada penalti untuk membaca kumpulan data, tapi setelah ini lancar.   -  person Tim Biegeleisen    schedule 05.10.2015
comment
Apa yang akhirnya kamu lakukan?   -  person Morteza Shahriari Nia    schedule 13.05.2017

Jawaban (1)


arrow_upward
6
arrow_downward

Lihat kode contoh tumpukan lengkap imagenet-multiGPU.torch. Ini berisi pemuat data (dataset.lua) yang dapat mengambil sampel sekumpulan gambar sekaligus yang mencegah pemuatan awal semua yang ada di memori:

local inputs, labels = trainLoader:sample(opt.batchSize)

(lihat train.lua untuk detail selengkapnya)

person deltheil    schedule 05.10.2015