- LLaMA: โมเดลภาษาพื้นฐานแบบเปิดและมีประสิทธิภาพ (arXiv)
ผู้แต่ง : “Hugo Touvron”, “Thibaut Lavril”, “Gautier Izacard”, “Xavier Martinet”, “Marie-Anne Lachaux”, “Timothée Lacroix”, “Baptiste Rozière”, “Naman Goyal”, “Eric Hambro”, Faisal Azhar, "Aurelien Rodriguez", "Armand Joulin", "Edouard Grave", "Guillaume Lample"
บทคัดย่อ : เราขอแนะนำ LLaMA ซึ่งเป็นคอลเลกชันของโมเดลภาษาพื้นฐานตั้งแต่พารามิเตอร์ 7B ถึง 65B เราฝึกโมเดลของเราด้วยโทเค็นนับล้านล้าน และแสดงให้เห็นว่าเป็นไปได้ที่จะฝึกโมเดลที่ล้ำสมัยโดยใช้ชุดข้อมูลที่เปิดเผยต่อสาธารณะโดยเฉพาะ โดยไม่ต้องใช้ชุดข้อมูลที่เป็นกรรมสิทธิ์และไม่สามารถเข้าถึงได้ โดยเฉพาะอย่างยิ่ง LLaMA-13B มีประสิทธิภาพเหนือกว่า GPT-3 (175B) ในการวัดประสิทธิภาพส่วนใหญ่ และ LLaMA-65B สามารถแข่งขันกับรุ่นที่ดีที่สุด Chinchilla-70B และ PaLM-540B เราเผยแพร่แบบจำลองทั้งหมดของเราสู่ชุมชนการวิจัย
2. ความท้าทายและโอกาสในการบูรณาการ LLAMA เข้ากับ AdePT(arXiv)
ผู้แต่ง : แบร์นฮาร์ด มานเฟรด กรูเบอร์, กิลแอร์เม อมาดิโอ, สเตฟาน ฮาเกบก
บทคัดย่อ : การจำลองการขนส่งอนุภาคเป็นรากฐานสำคัญของฟิสิกส์พลังงานสูง (HEP) ซึ่งถือเป็นส่วนสำคัญของปริมาณงานคอมพิวเตอร์ที่ดำเนินการใน HEP เพื่อเพิ่มปริมาณงานการจำลองและประสิทธิภาพการใช้พลังงาน GPU เป็นตัวเร่งความเร็วได้รับการสำรวจในช่วงไม่กี่ปีที่ผ่านมา โดยได้รับแรงหนุนเพิ่มเติมจากการใช้ GPU บน HPC ที่เพิ่มขึ้น เครื่องสาธิตการเร่งความเร็วของการขนส่งอนุภาคแม่เหล็กไฟฟ้า (AdePT) เป็นต้นแบบขั้นสูงสำหรับการถ่ายโอนการจำลองฝักบัวแม่เหล็กไฟฟ้าใน Geant4 ไปยัง GPU และยังคงอยู่ระหว่างการพัฒนาและการเพิ่มประสิทธิภาพอย่างต่อเนื่อง การปรับปรุงเค้าโครงหน่วยความจำและการเข้าถึงข้อมูลเป็นสิ่งสำคัญต่อการใช้ฮาร์ดแวร์ GPU แบบขนานขนาดใหญ่ที่ทันสมัยอย่างมีประสิทธิภาพ ซึ่งก่อให้เกิดความท้าทายในการโยกย้ายโครงสร้างข้อมูลที่ใช้ CPU แบบเดิมไปยัง GPU ใน AdePT Low-Level Abstraction of Memory Access (LLAMA) คือไลบรารี C++ ที่ให้เลเยอร์นามธรรมของโครงสร้างข้อมูลโอเวอร์เฮดเป็นศูนย์ โดยเน้นไปที่อาร์เรย์หลายมิติของข้อมูลที่มีโครงสร้างซ้อนกัน โดยจัดเตรียมกรอบงานสำหรับการกำหนดและการสลับการแมปหน่วยความจำแบบกำหนดเอง ณ เวลาคอมไพล์เพื่อกำหนดเค้าโครงข้อมูลและการเข้าถึงข้อมูลเครื่องมือ ทำให้ LLAMA เป็นเครื่องมือในอุดมคติในการจัดการกับความท้าทายในการเพิ่มประสิทธิภาพที่เกี่ยวข้องกับหน่วยความจำใน AdePT การมีส่วนร่วมของเราแบ่งปันข้อมูลเชิงลึกที่ได้รับจาก LLAMA เมื่อติดตั้งเครื่องมือในการเข้าถึงข้อมูลภายใน AdePT ซึ่งเสริมกับเอาท์พุตตัวสร้างโปรไฟล์ GPU แบบดั้งเดิม เราสาธิตการติดตามจำนวนการอ่าน/เขียนขององค์ประกอบโครงสร้างข้อมูล รวมถึงแผนที่ความร้อนของหน่วยความจำ ความรู้ที่ได้รับทำให้สามารถเพิ่มประสิทธิภาพเค้าโครงข้อมูลในภายหลังได้
