การลดขนาดอินพุตสำหรับโมเดลการเรียนรู้เชิงลึก

เมื่อจำนวนหมวดหมู่มีขนาดใหญ่ การเข้ารหัสแบบ one-hot จึงไม่มีประสิทธิภาพมากเกินไป ตัวอย่างที่ชัดเจนที่สุดคือการประมวลผลประโยคในภาษาธรรมชาติ ในงานนี้ คำศัพท์มักจะมีคำมากกว่า 100,000 คำหรือมากกว่านั้นด้วยซ้ำ แน่นอนว่าการแปลประโยค 10 คำเป็นเมทริกซ์ [10, 100000] ซึ่งเกือบทั้งหมดเป็นศูนย์จะทำให้เสียความทรงจำ

สิ่งที่งานวิจัยใช้แทนคือ เลเยอร์การฝัง ซึ่งเรียนรู้การนำเสนอคุณลักษณะที่มีหมวดหมู่อย่าง หนาแน่น ในกรณีของคำจะเรียกว่า การฝังคำ เช่น word2vec การแสดงนี้มีขนาดเล็กกว่ามาก เช่น 100 มิติ และทำให้ส่วนที่เหลือของเครือข่ายทำงานอย่างมีประสิทธิภาพด้วยเวกเตอร์อินพุต 100-d แทนที่จะเป็นเวกเตอร์ 100,000-d

ใน keras มันถูกนำไปใช้โดยเลเยอร์ Embedding ซึ่งฉันคิดว่าจะทำงานได้อย่างสมบูรณ์แบบสำหรับ geo และ time ของคุณ ในขณะที่คุณสมบัติอื่นๆ อาจทำงานได้ดีกับการเข้ารหัสแบบร้อนแรงเดียว ซึ่งหมายความว่าโมเดลของคุณไม่ใช่ Sequential อีกต่อไป แต่มีหลายอินพุต ซึ่งบางส่วนต้องผ่านเลเยอร์การฝัง โมเดลหลักจะใช้การเชื่อมโยงการเป็นตัวแทนที่เรียนรู้เข้าด้วยกันและทำการอนุมานการถดถอย

คุณสามารถใช้ PCA เพื่อลดขนาดได้ โดยจะลบตัวแปรที่เกี่ยวข้องกับร่วมและตรวจสอบให้แน่ใจว่าความแปรปรวนสูงออกจากข้อมูล

วิกิพีเดีย PCA

Vidya PCA เชิงวิเคราะห์