- ChatGPT สนุกแต่ไม่ตลก! อารมณ์ขันยังคงท้าทายโมเดลภาษาขนาดใหญ่ (arXiv)
ผู้แต่ง : Sophie Jentzsch, Kristian Kersting
บทคัดย่อ : อารมณ์ขันเป็นส่วนสำคัญของการสื่อสารของมนุษย์ที่ยังไม่ได้รับการแก้ไขสำหรับตัวแทนเทียมจนถึงขณะนี้ โมเดลภาษาขนาดใหญ่ (LLM) สามารถรวบรวมข้อมูลโดยปริยายและตามบริบทได้มากขึ้น โดยเฉพาะอย่างยิ่ง ChatGPT ของ OpenAI ได้รับความสนใจจากสาธารณชนเป็นอย่างมาก โมเดลที่ใช้ GPT3 ดูเหมือนว่าจะสื่อสารในระดับมนุษย์และยังสามารถเล่าเรื่องตลกได้อีกด้วย อารมณ์ขันเป็นองค์ประกอบสำคัญของการสื่อสารของมนุษย์ แต่ ChatGPT ตลกจริงหรือ? เรานำอารมณ์ขันของ ChatGPT มาทดสอบ ในชุดการทดลองเชิงสำรวจเกี่ยวกับเรื่องตลก เช่น การสร้าง คำอธิบาย และการตรวจจับ เราพยายามที่จะเข้าใจความสามารถของ ChatGPT ในการเข้าใจและสร้างอารมณ์ขันของมนุษย์ เนื่องจากตัวโมเดลไม่สามารถเข้าถึงได้ เราจึงใช้การทดลองแบบทันที หลักฐานเชิงประจักษ์ของเราระบุว่าเรื่องตลกไม่ได้ถูกฮาร์ดโค้ด แต่ส่วนใหญ่ก็ไม่ได้สร้างขึ้นใหม่โดยแบบจำลอง กว่า 90% ของ 1,008 เรื่องตลกที่สร้างขึ้นนั้นเป็นเรื่องตลก 25 เรื่องเหมือนกัน ระบบอธิบายเรื่องตลกที่ถูกต้องได้อย่างถูกต้อง แต่ยังมาพร้อมกับคำอธิบายที่สมมติขึ้นมาสำหรับเรื่องตลกที่ไม่ถูกต้องอีกด้วย ลักษณะทั่วไปของเรื่องตลกอาจทำให้ ChatGPT เข้าใจผิดในการจำแนกเรื่องตลกได้ ChatGPT ยังไม่ได้แก้ปัญหาอารมณ์ขันในการคำนวณ แต่อาจเป็นก้าวกระโดดครั้งใหญ่ไปสู่เครื่องจักรที่ "ตลก"
2. การประเมิน ChatGPT ในงานชีวการแพทย์: การเปรียบเทียบแบบ Zero-Shot กับหม้อแปลงไฟฟ้าที่ปรับแต่งอย่างละเอียด (arXiv)
ผู้แต่ง : การประเมิน ChatGPT ในงานชีวการแพทย์: การเปรียบเทียบแบบ Zero-Shot กับหม้อแปลงไฟฟ้าแบบปรับละเอียด
บทคัดย่อ : ChatGPT เป็นโมเดลภาษาขนาดใหญ่ที่พัฒนาโดย OpenAI แม้จะมีประสิทธิภาพที่น่าประทับใจในงานต่างๆ มากมาย แต่ยังไม่มีงานใดก่อนหน้านี้ที่ตรวจสอบความสามารถในด้านชีวการแพทย์ ด้วยเหตุนี้ บทความนี้จึงมีจุดมุ่งหมายเพื่อประเมินประสิทธิภาพของ ChatGPT ในงานชีวการแพทย์เกณฑ์มาตรฐานต่างๆ เช่น การดึงข้อมูลความสัมพันธ์ การจำแนกเอกสาร การตอบคำถาม และการสรุป เท่าที่เราทราบ นี่เป็นงานแรกที่ดำเนินการประเมิน ChatGPT อย่างกว้างขวางในขอบเขตชีวการแพทย์ สิ่งที่น่าสนใจคือ จากการประเมินของเราพบว่าในชุดข้อมูลชีวการแพทย์ที่มีชุดการฝึกอบรมขนาดเล็ก ChatGPT แบบ Zero-shot ยังมีประสิทธิภาพเหนือกว่าโมเดลหม้อแปลงไฟฟ้าที่ปรับแต่งอย่างประณีตล้ำสมัย เช่น BioGPT และ BioBART สิ่งนี้ชี้ให้เห็นว่าการฝึกอบรมล่วงหน้าเกี่ยวกับคลังข้อความขนาดใหญ่ของ ChatGPT ทำให้มีความเชี่ยวชาญเฉพาะด้านแม้ในขอบเขตชีวการแพทย์ การค้นพบของเราแสดงให้เห็นว่า ChatGPT มีศักยภาพที่จะเป็นเครื่องมือที่มีคุณค่าสำหรับงานต่างๆ ในขอบเขตชีวการแพทย์ที่ขาดข้อมูลที่มีคำอธิบายประกอบขนาดใหญ่
