Oleh: Jody S. Johnson, JD

Dalam bab pertama karya klasik Lewis Carroll tahun 1865, “Petualangan Alice di Negeri Ajaib,” Alice mengikuti Kelinci Putih ke dalam liangnya, yang membawanya ke dunia Negeri Ajaib yang aneh, nyata, dan tidak masuk akal. Dalam hal manajemen risiko dan pencarian tanggung jawab, lubang kelinci bisa tampak “aneh, tidak nyata, dan tidak masuk akal.” Hal ini dapat terjadi baik ketika seseorang sedang berusaha menghindari tanggung jawab atau sedang mencari tahu siapa yang harus dituntut. Dalam artikel singkat ini, saya akan menganalisis studi kasus dunia nyata yang berkaitan dengan manajemen risiko etis dan memperkenalkan metodologi etis yang saya ciptakan dengan Pendekatan 1+1=4. Meskipun kerangka etika ini memiliki penerapan multidisiplin, yang akan dibahas dalam publikasi mendatang, artikel ini akan berfokus terutama pada penerapannya dalam bidang pembelajaran mesin dan perlombaan untuk menemukan vaksin COVID-19.

Dalam artikel terbaru yang diterbitkan oleh “The Washington Post”, urgensi dan kekacauan dalam perlombaan untuk mendapatkan vaksin dianalisis dan disorot. Artikel tersebut melaporkan bahwa urgensi untuk menemukan sesuatu – apa pun – bagi pasien yang tidak memiliki apa-apa selain perawatan suportif telah mendorong para peneliti untuk melakukan segalanya: campuran obat-obatan yang sudah ada dan menjanjikan, “perawatan sel induk” dan senyawa baru yang dirancang. khususnya melawan COVID-19. Keadaan saat ini menghadirkan serangkaian dilema etika yang unik, dan memaksa kita untuk mempertimbangkan apakah kita lebih memprioritaskan penemuan vaksin COVID-19 daripada keselamatan orang-orang yang mengandalkan para peneliti untuk mengutamakan kepentingan terbaiknya?

Studi kasus berikut menunjukkan munculnya penggunaan kecerdasan buatan dan pembelajaran mesin untuk mengatasi pandemi medis.

Ikhtisar Studi Kasus

Dalam wawancara dengan Bloomberg baru-baru ini, Dave Turek, Wakil Presiden Komputasi Teknis IBM Cognitive Systems, diminta untuk memberikan wawasan tentang peran yang dimainkan IBM dalam perlombaan menemukan obat untuk COVID-19. (Tautan ke wawancara) Turek merujuk pada pembangunan superkomputer terbesar IBM di dunia yang bertempat di Laboratorium Nasional Oakridge. Turek menjelaskan bagaimana komputer ini memiliki kemampuan menggabungkan konsep kecerdasan buatan dengan representasi masalah matematis standar, sehingga memberikan komputer kemampuan untuk memeriksa validitas kombinasi senyawa dan memprediksi kombinasi senyawa yang memerlukan eksperimen di laboratorium basah. Turek menjelaskan, komputer telah menjalankan 8.000 kemungkinan dan mampu mempersempit kombinasi validitas pengujian menjadi 77 dalam waktu dua hari.

Banyak yang terkagum-kagum dengan penerapan teknologi superkomputer. Seperti yang dikatakan Turek, komputer dapat melakukan hal tersebut dalam hitungan hari, yang mungkin akan memakan waktu bertahun-tahun jika tidak tersedianya teknologi modern. Namun apa yang dia katakan selanjutnya membuat saya menilai kembali keheranan saya yang berumur pendek dan mempertimbangkan implikasi tanggung jawab di dunia nyata jika superkomputer melakukan kesalahan.

Turek ditanya tentang struktur organisasi inisiatif tersebut, apakah inisiatif tersebut merupakan inisiatif IBM yang bekerja sama dengan pemerintah. Ia menanggapinya dengan menyatakan pembangunan superkomputer di fasilitas Oakridge merupakan hasil kemitraan IBM dengan Departemen Energi, namun IBM hanya memberikan dukungan standar untuk pengoperasian komputer tersebut. Turek lebih lanjut menghindari bahwa masalah ini sedang ditangani oleh ilmuwan dari Universitas Tennessee dan peneliti data di fasilitas Oakridge. Dan dengan pernyataan tersebut, Turek secara efektif telah membebaskan IBM dari segala tanggung jawab yang terkait dengan hasil eksperimen tersebut. Jadi, siapa yang bertanggung jawab jika komputernya salah? Bagaimana jika komputer mengabaikan kombinasi yang berpotensi menghasilkan vaksin?

Jadi siapa yang bertanggung jawab: Universitas Tennessee? Ilmuwan Data? Insinyur Data? Fasilitas Oakridge? Bisakah kita mengesampingkan potensi tanggung jawab yang terkait dengan entitas yang kemungkinan besar memiliki hak kekayaan intelektual setelah kombinasi bahan kimia yang sah diperoleh? Baik IBM maupun Oakridge Research Facility berpotensi dibebaskan dari tanggung jawab karena mereka beroperasi sebagai agen Departemen Energi.

Hal ini membuat para ilmuwan, Universitas Tennessee, dan para insinyur data ditugaskan untuk mengoptimalkan algoritme prediktif, dan mengambil risiko jika terjadi kesalahan. Ini adalah kenyataan yang tidak dipertimbangkan oleh sebagian besar kelompok penelitian kecil dan perusahaan rintisan ketika membuat kontrak dengan entitas yang lebih besar yang memiliki sumber daya finansial dan otoritatif yang besar. Jika segala sesuatunya berjalan baik, entitas yang lebih besarlah yang memiliki hak kekayaan intelektual, dan jika segala sesuatunya berjalan salah, semua orang akan tahu siapa yang harus disalahkan. Ini semua adalah pertimbangan yang memerlukan pemikiran yang matang selama fase manajemen risiko dalam usaha Anda. Siapa yang secara etis bertanggung jawab atas akibat buruk yang ditimbulkan dan di manakah akhir dari lubang tanggung jawab yang semakin besar?

1+1=4 Metodologi Etis

Metodologi 1+1=4 yang saya miliki adalah pendekatan etis terhadap manajemen risiko yang menyelaraskan risiko dan manfaat lembaga tersebut, dengan dampak dan potensi hasil yang relevan bagi populasi yang terpinggirkan. Dengan kata lain, kerangka etika ini adalah analisis biaya-manfaat yang memprediksi dan memperhitungkan potensi tanggung jawab terkait konsekuensi optimasi yang tidak diinginkan. Gambar di bawah memberikan ilustrasi dasar konsep ini.

Masukan tersebut mewakili data yang tersedia atau kumpulan data yang dipilih, yang membentuk model pembelajaran mesin Anda dan memungkinkan algoritme prediktif Anda diuji dan divalidasi. Outputnya adalah apa yang diperlukan untuk mengembangkan dan mengimplementasikan pembelajaran mesin dan sistem AI Anda, yaitu apa yang diperlukan untuk menciptakan situasi optimal di mana model prediktif Anda dapat diterapkan. Ini adalah komponen 1+1 Anda dalam manajemen risiko etis, ini adalah hal-hal nyata yang harus tersedia untuk dievaluasi, dan tidak menimbulkan kesulitan dalam penilaian. Komponen persamaan lainnya sedikit lebih subyektif dan memerlukan pendekatan meta karena hasilnya memerlukan tingkat analisis prediktif yang kurang dapat diakses. Komponen-komponen ini paling baik diartikulasikan melalui penerapan pada studi kasus yang disebutkan di atas.

Hasil yang Diharapkan (EC)

Misalkan Anda memiliki lampu ajaib dengan jin di dalamnya untuk mengabulkan tiga permintaan, permintaan apa yang Anda inginkan? Ini analog dengan fase ini, tanpa lampu dan jin tentunya. Pengembangan hasil yang diharapkan berasal dari upaya kami untuk menghasilkan hasil yang kami inginkan dari model prediktif kami, yang akibatnya menjadikan komponen ini sebagai komponen penilaian manajemen risiko etis Anda yang paling berisiko. Hasil yang diharapkan sangat bergantung pada hasil pengujian model mesin Anda, yang pada gilirannya sangat bergantung pada kumpulan data yang dipilih sebagai masukan untuk model mesin Anda. Benar sekali, hasil yang Anda harapkan berasal dari hasil model mesin Anda, yang berasal dari kumpulan data yang Anda masukkan ke dalam model Anda. Masukan yang dikembangkan dari interpretasi dan manipulasi Anda terhadap data mentah yang tersedia. Jadi mengapa ini merupakan proses yang berisiko, Anda mungkin bertanya. Hal ini karena sifat bawaan manusia adalah ingin “melakukannya dengan benar” dan menerima ketenaran dan penghargaan yang terkait dengan penyelesaian masalah yang kompleks. Jadi, sebagai peneliti, insinyur data, atau analis data, dari manakah Anda mendapatkan insentif terbesar: dari ketenaran dan kejayaan dalam menghasilkan model prediktif yang memberikan hasil yang diinginkan, atau dari publikasi model mesin gagal yang secara etis masuk akal?

Sebagaimana diterapkan pada studi kasus, siapa yang paling diuntungkan dari manipulasi data seleksi eksklusif untuk menghasilkan masukan yang layak? Para ilmuwan? Insinyur data Oak Ridge? IBM? Kenyataannya adalah setiap orang yang terkait dengan proyek ini memiliki insentif untuk mencapai hasil dan hasil yang diinginkan. Kenyataan pahitnya adalah sebagian besar pelaku yang berpartisipasi dalam proyek ini mendapat manfaat dari kurangnya pengawasan peraturan, tentu saja tidak termasuk ilmuwan, yang berarti semua keputusan etis dinilai secara internal dan dibandingkan dengan kepentingan organisasi. Jadi, bagaimana dengan tanggung jawab kita? Dalam penelitian tersebut, hasil yang diharapkan adalah produksi senyawa kimia dan virus yang menghasilkan vaksin untuk COVID-19. Dapat disimpulkan bahwa sebagian besar keputusan etis dan manajemen risiko akan diperiksa oleh Departemen Energi, entitas pemerintah yang terkait dengan Fasilitas Oak Ridge. Namun apakah kepentingan entitas pemerintah sejajar dengan kepentingan ilmuwan yang menghasilkan kumpulan data untuk dimasukkan ke dalam model mesin? Apakah Departemen Energi mempunyai pengawasan peraturan dan wewenang atas kumpulan data yang dikembangkan dan dioptimalkan untuk model prediktif? Apakah penilaian manajemen risiko etis yang diterapkan oleh Universitas Tennessee mengenai tindakan karyawannya, ilmuwan, mencakup tindakan pemodelan dan optimalisasi mesin yang diterapkan oleh para insinyur di Fasilitas Oak Ridge?

Pertanyaan-pertanyaan kompleks ini memerlukan penilaian yang tepat dalam kolaborasi multilateral. Siapa badan berwenang yang bertanggung jawab untuk memastikan penerapan etis dan analisis data? Harapan, keinginan, dan keinginan kita tidak boleh mengalahkan etika kita, namun siapa yang harus ditugaskan untuk memastikan hal tersebut tidak terjadi. Setelah kita berhasil mengatasi ambisi dan keinginan yang berlumpur, kita beralih ke penilaian yang tepat terhadap hasil aktual dari model prediktif kita.

Hasil Aktual (AC)

Di dunia yang ideal, semua hal akan berjalan sesuai rencana, dan hasil aktual Anda akan sesuai dengan harapan. Di dunia ini tidak perlu manajemen risiko lebih lanjut, tidak perlu kalibrasi ulang, tugas Anda sudah selesai… Seandainya semudah itu. Baik, buruk, atau acuh tak acuh, kita terikat pada hasil keputusan kita dan harus menerima hasilnya apa adanya. Ini adalah kenyataan dari setiap profesi yang memanfaatkan aplikasi prediktif untuk mempengaruhi hasil di masa depan. Fase penilaian risiko ini pasti akan menghasilkan kecemasan dan kekacauan paling besar dalam diri pengembang model Anda. Segala sesuatunya tidak selalu berjalan sesuai rencana dan persepsi Anda terhadap hasil sangat penting untuk kalibrasi ulang model prediktif Anda.

Faktanya adalah sebagian besar model prediktif sering kali menghasilkan hasil yang tidak diinginkan. Ada pepatah yang selalu saya sampaikan kepada putri saya tentang fenomena ini; Saya berbagi dengannya bahwa dari seratus percobaan, Anda bisa dan kadang-kadang akan melakukan kesalahan sebanyak 99 kali, tetapi Anda hanya akan melakukannya dengan benar sekali. Hal ini tidak hanya berlaku dalam proses pemodelan mesin, namun juga merupakan faktor penting untuk diingat ketika menerapkan manajemen risiko etis. Anda akan mendapatkan hasil yang jauh di luar daftar hasil yang Anda inginkan atau harapkan. Hasil-hasil ini, terlepas dari apa yang kita rasakan terhadapnya, adalah nyata dan berdampak. Namun setelah diuji dan diverifikasi, apa tujuan dari hasil yang tidak diinginkan? Ketika diterapkan pada studi kasus, khususnya, segmen di mana superkomputer mampu menilai dan mengevaluasi 8.000 kemungkinan kombinasi dan memasukkan kemungkinan-kemungkinan yang ada menjadi 77, kita harus bertanya pada diri sendiri apa yang dapat kita pelajari dari 7.923 kemungkinan kombinasi lain yang ada. Apa tujuan hasil nyata ini, meskipun tidak diinginkan? Mereka menyediakan titik data variabel independen atau opsi yang dapat digunakan selama pengoptimalan.

Meskipun masing-masing kombinasi memberikan hasil yang kurang dari yang diharapkan dibandingkan dengan model prediktif yang mencari vaksin, masing-masing variabel independen, dan kombinasi yang diuji, memberikan data tolok ukur yang dapat menghasilkan hasil alternatif selama optimalisasi. Hal ini membawa kita ke poin penting lainnya dalam proses manajemen risiko etis Anda yang memerlukan penyelidikan garis keras untuk menilai hubungan sebab akibat dengan potensi liabilitas di masa depan. Apakah model prediktif Anda mampu menilai variabel independen tersebut; dan jika tidak, siapa yang bertanggung jawab atas optimasi yang tidak memadai?

Ketika diterapkan pada studi kasus, siapa yang bertanggung jawab jika komputer menghilangkan variabel independen tertentu, yang mengakibatkan pengembangan vaksin yang menyebabkan kematian pasien? Siapa yang bertanggung jawab atas penilaian hasil aktual yang dihasilkan oleh pemodelan mesin dan optimasi yang dihasilkan? Ketika mendesak untuk menghasilkan optimasi yang efisien dan efektif, kita harus mempertimbangkan kewajiban dan biaya input yang dipilih untuk digunakan dalam optimasi. Penilaian ini harus dilakukan dari sudut pandang kelompok paling rentan dan terpinggirkan yang mungkin terkena dampak. Saya akan membahas lebih detail mengenai pengelolaan risiko selama proses optimasi di bagian selanjutnya. Pada titik ini, ingatlah bahwa 1+1= EC+AC Anda menghasilkan kebutuhan Anda akan pengoptimalan dan memperluas potensi tanggung jawab Anda.

Biaya Pengoptimalan (CO)

Sebelum kita memulai penerapan optimasi pada studi kasus, penting untuk memiliki pemahaman umum tentang apa itu optimasi. Untuk tujuan ini, pengoptimalan dapat didefinisikan sebagai proses kalibrasi ulang masukan dan keluaran untuk mencapai hasil yang diharapkan dengan lebih baik. Dengan mengingat hal ini, proses optimalisasi penilaian manajemen risiko etis Anda harus mencakup potensi dampak konsekuensial terhadap kelompok rentan sebagai bagian dari analisis biaya-manfaat Anda. Hanya dari lensa inilah Anda dapat benar-benar menilai biaya pengoptimalan model dan algoritme prediktif Anda, untuk menentukan biaya kalibrasi ulang. Ini adalah bagian analitis kompleks dari proses Anda yang dapat menentukan penilaian Anda terhadap tanggung jawab di masa depan.

Sekarang kita memiliki titik awal yang seragam, kita dapat menerapkan komponen pengoptimalan penilaian kita. Saat kami mempertimbangkan hasil aktual dari model kami dibandingkan dengan hasil yang diharapkan, penting untuk menganalisis penyesuaian yang diperlukan melalui kacamata potensi dampak konsekuensial pada kelompok paling terpinggirkan dan rentan yang mungkin terkena dampak. Ini adalah satu-satunya cara untuk menilai secara akurat biaya sebenarnya dari kalibrasi ulang model prediktif Anda untuk mencapai hasil yang Anda inginkan. Meskipun hal ini tampak seperti proses yang cukup sederhana, kenyataannya di sinilah timbul tanggung jawab besar dan analisis biaya-manfaat Anda harus sangat bergantung pada landasan etika lembaga Anda. Dalam kuliahnya baru-baru ini di Universitas Stanford, Thomas Dimson, mantan Direktur Teknik di Instagram, berbagi wawasannya tentang volatilitas pengoptimalan, dan berbagi bahwa pengoptimalan satu hasil dan masukan mempunyai konsekuensi yang tidak diinginkan pada hasil dan masukan lainnya. Dengan kata lain, semakin Anda melakukan kalibrasi ulang dan beralih untuk mencapai satu hasil, Anda pasti akan berdampak pada hasil lainnya.

Menerapkan komponen ini pada studi kasus dapat memberikan contoh proses yang lebih baik. Bagi para peneliti dan insinyur yang mengembangkan model prediksi berdasarkan data yang tersedia, yang awalnya berisi 8.000 kemungkinan. Kemungkinan-kemungkinan ini mencakup kombinasi virus yang dapat mengatasi penyakit lain yang memiliki patogen serupa dengan COVID-19. Setiap kombinasi variabel menghasilkan hasil yang mendorong analisis dan penyempitan yang pada akhirnya mengarah pada produksi 77 kombinasi tersisa yang dianggap layak. Untuk setiap kombinasi yang menghasilkan hasil yang mendorong respons biologis tertentu namun tidak menghasilkan respons biologis lainnya, kombinasi tersebut ditolak, dan model dikalibrasi ulang untuk mengecualikan serangkaian variabel tersebut.

Jadi, Anda mungkin masih ragu mengenai implikasi etis dari pengoptimalan dan dampak sosial yang ditimbulkannya, namun mari kita lihat skenario yang mungkin terjadi terkait dengan studi kasus ini. (Skenario berikut sepenuhnya fiktif dan dimaksudkan semata-mata untuk penggunaan penerapan pada studi kasus)Secara hipotesis, katakanlah kalibrasi ulang dan optimalisasi menghasilkan senyawa biologis tertentu yang mampu menekan virus, COVID-19. 19, untuk 60% populasi California. Artinya, vaksin yang dihasilkan dapat melindungi 60 dari setiap 100 orang yang tertular atau berisiko tertular virus tersebut. Hal ini merupakan pencapaian yang signifikan mengingat kondisi pandemi global saat ini. Sekarang bayangkan, dalam skenario yang sama, produksi vaksin memerlukan senyawa kimia yang ditemukan dalam insulin yang digunakan untuk mengobati diabetes; dan tanpa senyawa ini, mustahil memproduksi insulin. Mari kita asumsikan bahwa informasi ini diketahui oleh peneliti dan insinyur pada saat analisis, sebelum optimasi. Mari kita bayangkan lebih lanjut bahwa senyawa khusus ini tidak mampu diproduksi dalam skala yang cukup besar untuk vaksin dan insulin pada saat yang bersamaan. Artinya hanya vaksin atau insulin yang boleh diproduksi. Optimasi menghasilkan hasil yang layak yang mencakup senyawa kimia khusus ini.

Dilengkapi dengan pengetahuan ini, apa yang harus dilakukan peneliti dan insinyur? Berapa biaya optimasi sebenarnya? Apakah kita akan memproduksi vaksin dengan mengorbankan kemampuan menyediakan insulin bagi pasien diabetes? Ini adalah lensa kompleks yang harus digunakan saat menilai biaya pengoptimalan. Siapa saja yang paling terkena dampak akibat optimalisasi, dan apa tanggung jawab kepedulian yang harus diberikan kepada kelompok marginal ini? Kini setelah komponen CO dalam penghitungan kita selesai, 1+1=EC+AC+CO, kini kita beralih ke fase akhir dan paling abstrak dari penilaian manajemen risiko etis, yang menentukan tanggung jawab atas hasil yang tidak diinginkan.

Kewajiban atas Hasil yang Tidak Diinginkan

Setelah kita mengeksplorasi dilema etika dalam pengoptimalan, kini kita beralih ke penilaian tanggung jawab atas konsekuensi yang tidak diinginkan. Selama pandemi saat ini, seperti dilaporkan dalam Washington Post, Dalam upaya putus asa untuk menemukan pengobatan bagi orang-orang yang sakit akibat virus corona, dokter dan perusahaan obat telah meluncurkan lebih dari 100 percobaan pada manusia di Amerika Serikat, menyelidiki obat-obatan eksperimental . Jadi bagaimana jika temuan model prediktif Anda digunakan untuk membenarkan pemberian obat atau pengobatan eksperimental? Apa tanggung jawab Anda atas dampak negatif apa pun dan apakah persetujuan yang diberikan oleh pasien yang berada dalam kesusahan dan keputusasaan membebaskan tanggung jawab Anda atas kerugian yang mereka alami? Ini adalah perhitungan etis yang harus dinilai selama proses manajemen risiko Anda. Apakah Anda bertanggung jawab atas keputusan yang dibuat oleh pejabat terpilih dan ahli medis, yang menikmati kekebalan istimewa karena profesi mereka, atas keputusan yang dibuat berdasarkan data yang disediakan oleh model mesin Anda? Dalam kebanyakan kasus, pejabat terpilih dan profesional medis dikecualikan atau dilindungi dari tanggung jawab karena hak istimewa profesional ini, namun apakah hak istimewa ini juga mencakup perlindungan Anda dan lembaga Anda?

Dengan menerapkan konsep ini pada studi kasus, apakah ilmuwan data, analisis data, dan insinyur data akan terlindung dari tanggung jawab jika 1 dari 77 kombinasi yang layak menghasilkan vaksin yang mungkin, dan dengan adanya pelonggaran peraturan pengujian klinis federal, dapat dilacak dengan cepat ke dalam studi kasus? percobaan pada manusia dan memiliki efek buruk? Bagaimana jika vaksin diuji pada 100 pasien dan 50% pasien mengalami reaksi merugikan dan meninggal. Apakah mereka yang bertanggung jawab untuk memvalidasi kombinasi tersebut akan bertanggung jawab atas kematian mereka? Tanggung jawab dinilai melalui hubungan nyata antara sebab akibat dan kerugian. Oleh karena itu, sangat penting bahwa penilaian manajemen risiko etis Anda mencakup analisis potensi penggunaan data prediktif Anda yang tidak etis oleh pihak-pihak yang memiliki motivator dan pengaruh alternatif. Ketika analis data dan insinyur data kehilangan kendali atas data dan penerapannya, setelah data tersebut diberikan kepada lembaga mitra, pengalihan ini mungkin tidak membebaskan mereka dari tanggung jawab terhadap pihak yang dirugikan akibat penerapan data dan model prediktif mereka yang tidak etis.

Sirip

Sebagai kesimpulan, penerapan kerangka manajemen risiko etis sangat penting untuk penilaian akurat atas tanggung jawab yang kita hadapi dan lembaga ketika beroperasi dalam upaya kolaboratif. Metodologi Etis 1+1=4 tidak hanya memungkinkan dilakukannya penilaian risiko, namun juga menempatkan penilaian ini dalam lensa yang mengkaji dampak terhadap kelompok paling marginal yang mungkin terkena dampaknya. Mengingat penggunaan dan penyalahgunaan data saat ini untuk mendukung pengambilan keputusan dalam memerangi pandemi Covid-19, penerapan alat manajemen risiko yang efektif dan etis sangatlah penting untuk memitigasi risiko tanggung jawab di masa depan. Seiring dengan semakin banyaknya lembaga yang mencari vaksin ajaib, maka semakin besar pula tanggung jawab pihak yang mengembangkan model prediktif yang mengarahkan upaya tersebut. Metodologi 1+1=4 memberikan titik awal etis untuk mengakses tanggung jawab atas konsekuensi yang tidak diinginkan pada model Anda. Pengembangan kerangka kerja dan bidang penelitian ini sedang berlangsung dan saya mengundang masukan kritis untuk publikasi dan penerapan di masa depan.