Pelatihan model NLP telah mencapai tingkat generalisasi tertentu; namun, sejumlah nilai tersembunyi dalam penyesuaian yang sederhana dan terjangkau untuk tugas-tugas tertentu. Contoh konkritnya berikut ini.

NLP berbasis transformator memang transformasional! Ada banyak kegembiraan mengenai model NLP yang tersedia secara terbuka dan dilatih dalam skala besar pada data teks yang luas. Apa yang lebih menarik? Realitas transferabilitas lebih lanjut (penyempurnaan) ke berbagai tugas hilir.

Tugas Penghakiman

Pertimbangkan tugas untuk mempertimbangkan penilaian orang-orang dalam berbagai situasi yang masuk akal dan sehari-hari. Delphi, sebuah model penalaran moral yang masuk akal berbasis bahasa telah menunjukkan bahwa model ini dapat menyelesaikan tugas dengan akurasi 92,1%.

Pada saat yang sama, untuk tugas jawaban pertanyaan penilaian bentuk bebas, performa zero-shot GPT-3 sedikit lebih baik daripada peluang hanya 52,3% dan performa terbaik yang dapat dicapai oleh GPT-3 setelah rekayasa cepat yang ekstensif adalah 83,9%, beberapa tingkat lebih rendah dari versi Delphi yang telah disempurnakan.

Berikut adalah tiga tugas “menghakimi” yang dilakukan oleh Delphi.

  1. Tanya-Jawaban (QA) dalam bentuk bebas untuk membuat penilaian singkat dan berdasarkan situasi etis. Contoh di bawah ini dengan pertanyaan dan tanggapan Delphi.

2. Ya/tidak QA untuk menyetujui atau tidak menyetujui pernyataan moral.

3. QA Relatif untuk membandingkan dua situasi etis (contoh unik dari makalah ini, namun efektif).

Uji penilaian Anda sendiri terhadap model. Anda akan terhibur!

Jalan Delphi Menuju Akurasi yang Menakjubkan

Jawabannya terletak pada penyempurnaan model secara progresif. Pertama, “UNICORN” (model penalaran akal sehat universal) berasal dari penyempurnaan T5–11B, model “T5” terbesar (Transformator Transfer Teks-Ke-Teks) pada tolok ukur terpadu “RAINBOW”. Selanjutnya, Delphi disempurnakan dari UNICORN untuk memanfaatkan gudang implisit pengetahuan akal sehatnya.

Menggambar Wawasan

Delphi menunjukkan bahwa model bahasa saraf yang telah dilatih sebelumnya, meskipun skalanya ekstrim dan kinerjanya mengagumkan, tidak mampu menyimpulkan norma etika yang benar hanya dari teks yang sangat besar melalui pengawasan diri. Delphi berpendapat bahwa memungkinkan tugas tertentu seperti etika pembelajaran mesin memerlukan gudang pengetahuan deklaratif yang komprehensif tentang apa yang benar dan salah (dengan kata lain, pengawasan tingkat tugas).