- การเลือกโทเค็นมาร์จิ้นสูงสุดในกลไกความสนใจ (arXiv)
ผู้แต่ง : Davoud Ataee Tarzanagh, Yingcong Li, Xuechen Zhang, Samet Oymak
บทคัดย่อ : กลไกความสนใจเป็นองค์ประกอบหลักของสถาปัตยกรรมหม้อแปลงไฟฟ้า ซึ่งนำไปสู่ความสำเร็จอย่างน่าอัศจรรย์ของแบบจำลองภาษาขนาดใหญ่ อย่างไรก็ตาม หลักการทางทฤษฎีที่เป็นรากฐานของกลไกความสนใจนั้นยังไม่เป็นที่เข้าใจ โดยเฉพาะไดนามิกการหาค่าเหมาะที่สุดแบบไม่นูน ในงานนี้ เราสำรวจโมเดลความสนใจ softmax น้ำเชื้อ f(X)=⟨Xv,softmax(XWp)⟩ โดยที่ X คือลำดับโทเค็น และ (v,W,p) เป็นพารามิเตอร์ที่สามารถฝึกได้ เราพิสูจน์ว่าการไล่ระดับการไล่ระดับบน p หรือ W ที่เทียบเท่ากัน มาบรรจบกันในทิศทางกับโซลูชันระยะขอบสูงสุดที่แยกโทเค็นที่เหมาะสมที่สุดเฉพาะที่ออกจากโทเค็นที่ไม่เหมาะสมที่สุด สิ่งนี้ทำให้ความสนใจเป็นทางการอย่างชัดเจนว่าเป็นกลไกการเลือกโทเค็นที่เหมาะสมที่สุด ผลลัพธ์ของเราใช้ได้กับข้อมูลทั่วไปและระบุลักษณะที่เหมาะสมของโทเค็นอย่างแม่นยำในแง่ของค่าที่ฝัง Xv และเรขาคณิตของปัญหา นอกจากนี้เรายังมีการวิเคราะห์เส้นทางการทำให้เป็นมาตรฐานที่กว้างขึ้น ซึ่งสร้างระยะขอบที่ธรรมชาติของความสนใจสูงสุด แม้แต่ส่วนหัวการทำนายที่ไม่เชิงเส้นก็ตาม เมื่อปรับ v และ p ให้เหมาะสมพร้อมกับการสูญเสียลอจิสติก เราจะระบุเงื่อนไขภายใต้เส้นทางการทำให้เป็นมาตรฐานมาบรรจบกันในทิศทางกับโซลูชัน SVM แบบ hard-margin ตามลำดับ โดยที่ v แยกคุณลักษณะอินพุตตามป้ายกำกับ สิ่งที่น่าสนใจคือสูตร SVM ของ p ได้รับอิทธิพลจากเรขาคณิตเวกเตอร์รองรับของ v ในที่สุด เราตรวจสอบการค้นพบทางทฤษฎีของเราผ่านการทดลองเชิงตัวเลขและให้ข้อมูลเชิงลึก
2.วิธีการตรวจจับข้อบกพร่องของแผงไม้น้ำหนักเบาที่ผสมผสานกลไกความสนใจและเครือข่ายฟิวชั่นคุณลักษณะ (arXiv)
ผู้แต่ง: Yongxin Cao, "Fanghua Liu", "Lai Jiang", "Cheng Bao", "You Miao", "Yang Chen"
บทคัดย่อ : ในช่วงไม่กี่ปีที่ผ่านมา การเรียนรู้เชิงลึกได้ทำให้เกิดความก้าวหน้าอย่างมากในการตรวจจับข้อบกพร่องของแผงไม้ อย่างไรก็ตาม ยังมีความท้าทาย เช่น การตรวจจับต่ำ ความเร็วในการตรวจจับช้า และความยากลำบากในการปรับใช้อุปกรณ์ฝังตัวบนพื้นผิวแผงไม้ เพื่อแก้ไขปัญหาเหล่านี้ เราขอเสนอวิธีการตรวจจับข้อบกพร่องแผงไม้น้ำหนักเบาที่เรียกว่า YOLOv5-LW ซึ่งประกอบด้วยกลไกความสนใจและเครือข่ายฟิวชั่นคุณลักษณะ ประการแรก เพื่อเพิ่มความสามารถในการตรวจจับข้อบกพร่องที่ยอมรับได้ เราขอแนะนำคุณสมบัติสองทิศทางแบบหลายสเกล Pyramid Network (MBiFPN) เป็นเครือข่ายฟิวชั่นคุณลักษณะ MBiFPN ช่วยลดการสูญเสียคุณสมบัติ เพิ่มคุณสมบัติเฉพาะและในรายละเอียด และปรับปรุงความสามารถในการตรวจจับของโมเดลสำหรับข้อบกพร่องที่ยอมรับได้ ประการที่สอง เพื่อให้ได้การออกแบบที่มีน้ำหนักเบา เราจึงสร้างโมเดลเครือข่าย ShuffleNetv2 ขึ้นใหม่เป็นเครือข่ายแกนหลัก การสร้างใหม่นี้จะช่วยลดจำนวนพารามิเตอร์และข้อกำหนดในการคำนวณในขณะที่ยังคงประสิทธิภาพไว้ นอกจากนี้เรายังแนะนำรุ่น Stem Block และ Spatial Pyramid Pooling Fast (SPPF) เพื่อชดเชยการสูญเสียความแม่นยำใดๆ อันเป็นผลมาจากการออกแบบที่มีน้ำหนักเบา ทำให้มั่นใจได้ว่าความสามารถในการตรวจจับของโมเดลจะยังคงเดิมในขณะที่ยังคงมีประสิทธิภาพในการคำนวณ ประการที่สาม เราปรับปรุงเครือข่ายแกนหลักโดยผสมผสาน Efficient Channel Attention (ECA) ซึ่งปรับปรุงการมุ่งเน้นของเครือข่ายไปที่ข้อมูลสำคัญที่เกี่ยวข้องกับการตรวจจับข้อบกพร่อง ด้วยการเข้าร่วมคุณลักษณะที่สำคัญ โมเดลจะมีความเชี่ยวชาญมากขึ้นในการระบุและระบุข้อบกพร่องอย่างแม่นยำ เราตรวจสอบวิธีการที่นำเสนอโดยใช้ชุดข้อมูลข้อบกพร่องของแผงไม้ที่พัฒนาตนเอง ผลการทดลองแสดงให้เห็นถึงประสิทธิผลของวิธี YOLOv5-LW ที่ปรับปรุงใหม่ เมื่อเปรียบเทียบกับรุ่นดั้งเดิม วิธีการของเราได้รับอัตราความแม่นยำ 92.8\% ลดจำนวนพารามิเตอร์ลง 27.78\% บีบอัดปริมาตรการคำนวณ 41.25\% ปรับปรุงความเร็วในการอนุมานการตรวจจับได้ 10.16\%
