การฝึกอบรมชุดย่อยของตัวแยกประเภท scikit-learn โดยที่ฉันจัดเตรียมชุดย่อยไว้

ฉันเชื่อว่าตัวแยกประเภทบางตัวใน sklearn มีเมธอด partial_fit วิธีการนี้ช่วยให้คุณสามารถส่งผ่านมินิแบทช์ของข้อมูลไปยังตัวแยกประเภท เพื่อให้ขั้นตอนการไล่ระดับลงสำหรับมินิแบทช์แต่ละอัน คุณเพียงแค่โหลดมินิแบทช์จากดิสก์ ส่งต่อไปที่ partial_fit ปล่อยมินิแบทช์ออกจากหน่วยความจำ แล้วทำซ้ำ

หากคุณสนใจที่จะทำสิ่งนี้เป็นพิเศษสำหรับการถดถอยลอจิสติก คุณจะต้องใช้ SGDClassifier ซึ่งสามารถตั้งค่าให้ใช้การถดถอยโลจิสติกเมื่อ loss = 'log'

คุณเพียงแค่ส่งคุณสมบัติและป้ายกำกับสำหรับมินิแบทช์ของคุณไปที่ partial_fit ในลักษณะเดียวกับที่คุณใช้ fit:

clf.partial_fit(X_minibatch, y_minibatch)

อัปเดต:

ฉันเพิ่งเจอ dask-ml ไลบรารี่ ซึ่งจะทำให้งานนี้ง่ายมากโดยการรวมอาร์เรย์ dask เข้ากับ partial_fit มีตัวอย่างอยู่ในหน้าเว็บที่เชื่อมโยง

ดูกลยุทธ์การปรับขนาดที่รวมอยู่ในเอกสารประกอบ sklearn: http://scikit-learn.org/stable/modules/scaling_strategies.html

ตัวอย่างที่ดีมีอยู่ที่นี่: http://scikit-learn.org/stable/auto_examples/applications/plot_out_of_core_classification.html