- Pemilihan Token Max-Margin dalam Mekanisme Perhatian (arXiv)
Penulis : Davoud Ataee Tarzanagh, Yingcong Li, Xuechen Zhang, Samet Oymak
Abstrak : Mekanisme perhatian adalah komponen utama arsitektur transformator yang membawa kesuksesan fenomenal pada model bahasa besar. Namun, prinsip teoritis yang mendasari mekanisme perhatian masih kurang dipahami, terutama dinamika optimasi nonkonveksnya. Dalam karya ini, kita mengeksplorasi model perhatian softmax seminalis f(X)=⟨Xv,softmax(XWp)⟩, di mana X adalah urutan token dan (v,W,p) adalah parameter yang dapat dilatih. Kami membuktikan bahwa menjalankan penurunan gradien pada p, atau setara dengan W, menyatu ke arah solusi margin maksimal yang memisahkan token yang optimal secara lokal dari token yang tidak optimal. Ini jelas memformalkan perhatian sebagai mekanisme pemilihan token yang optimal. Hebatnya, hasil kami dapat diterapkan pada data umum dan secara tepat mengkarakterisasi optimalitas token dalam hal nilai penyematan Xv dan geometri masalah. Kami juga menyediakan analisis jalur regularisasi yang lebih luas yang menetapkan sifat perhatian yang memaksimalkan margin bahkan untuk kepala prediksi nonlinier. Saat mengoptimalkan v dan p secara bersamaan dengan kerugian logistik, kami mengidentifikasi kondisi di mana jalur regularisasi bertemu secara terarah ke solusi SVM margin keras masing-masing di mana v memisahkan fitur masukan berdasarkan labelnya. Menariknya, formulasi SVM dari p dipengaruhi oleh geometri vektor pendukung dari v. Terakhir, kami memverifikasi temuan teoretis kami melalui eksperimen numerik dan memberikan wawasan.
2.Metode deteksi cacat panel kayu ringan yang menggabungkan mekanisme perhatian dan jaringan fusi fitur (arXiv)
Pengarang : Yongxin Cao, Fanghua Liu, Lai Jiang, Cheng Bao, You Miao, Yang Chen
Abstrak : Dalam beberapa tahun terakhir, pembelajaran mendalam telah mencapai kemajuan yang signifikan dalam deteksi cacat panel kayu. Namun, masih terdapat tantangan seperti deteksi yang rendah, kecepatan deteksi yang lambat, dan kesulitan dalam memasang perangkat tertanam pada permukaan panel kayu. Untuk mengatasi masalah ini, kami mengusulkan metode deteksi cacat panel kayu ringan yang disebut YOLOv5-LW, yang menggabungkan mekanisme perhatian dan jaringan fusi fitur. Pertama, untuk meningkatkan kemampuan deteksi cacat yang dapat diterima, kami memperkenalkan Fitur Multi-skala Dua Arah Pyramid Network (MBiFPN) sebagai jaringan fusi fitur. MBiFPN mengurangi kehilangan fitur, memperkaya fitur lokal dan detail, serta meningkatkan kemampuan deteksi model untuk cacat yang dapat diterima. Kedua, untuk mencapai desain yang ringan, kami merekonstruksi model jaringan ShuffleNetv2 sebagai jaringan tulang punggung. Rekonstruksi ini mengurangi jumlah parameter dan persyaratan komputasi sekaligus mempertahankan kinerja. Kami juga memperkenalkan model Stem Block dan Spatial Pyramid Pooling Fast (SPPF) untuk mengkompensasi hilangnya akurasi akibat desain yang ringan, memastikan kemampuan deteksi model tetap utuh sekaligus efisien secara komputasi. Ketiga, kami meningkatkan jaringan tulang punggung dengan menggabungkan Saluran Efisien Attention (ECA), yang meningkatkan fokus jaringan pada informasi penting yang relevan dengan deteksi cacat. Dengan memperhatikan fitur-fitur penting, model menjadi lebih mahir dalam mengidentifikasi dan melokalisasi cacat secara akurat. Kami memvalidasi metode yang diusulkan menggunakan kumpulan data cacat panel kayu yang dikembangkan sendiri. Hasil eksperimen menunjukkan efektivitas metode YOLOv5-LW yang ditingkatkan. Dibandingkan dengan model asli, pendekatan kami mencapai tingkat akurasi 92,8\%, mengurangi jumlah parameter sebesar 27,78\%, mengompresi volume komputasi sebesar 41,25\%, meningkatkan kecepatan inferensi deteksi sebesar 10,16\%
