MLOps untuk IoT dan Edge

Ada gelombang otomatisasi baru yang dimungkinkan oleh kombinasi pembelajaran mesin dan perangkat pintar. Perangkat yang mendukung ML akan memberikan dampak besar pada kehidupan kita sehari-hari mulai dari lemari es pintar hingga pembayaran tanpa kasir dan mobil tanpa pengemudi. Dengan meningkatnya kompleksitas kasus penggunaan dan jumlah perangkat, kita harus mengadopsi strategi baru untuk menerapkan kemampuan ML tersebut kepada pengguna dan mengelolanya.

Dalam artikel ini, kita akan membahas manfaat menjalankan inferensi pada perangkat edge, tantangan utama, dan bagaimana praktik MLOps dapat memitigasinya.

Memahami konsep-konsep kunci

Sebelum kita membahas manfaat MLOps untuk IoT dan edge, kita perlu memastikan bahwa kita memiliki pemikiran yang sama dengan mempelajari beberapa konsep dasar. Hanya ada empat, jadi jangan takut.

IoT, atau Internet of Things, adalah jaringan perangkat dengan sensor yang dapat mengumpulkan, memproses, dan bertukar data dengan perangkat lain melalui Internet atau jenis koneksi apa pun di antara perangkat tersebut.

AIoT, atau Artificial Intelligence of Things, adalah kombinasi teknologi kecerdasan buatan dengan infrastruktur IoT. Hal ini memungkinkan operasi IoT yang lebih efisien, analisis data tingkat lanjut, dan peningkatan interaksi manusia-mesin.

Edge Computing adalah “kerangka kerja komputasi terdistribusi yang mendekatkan aplikasi perusahaan ke sumber data seperti perangkat IoT atau server edge lokal. Hal ini menghasilkan wawasan yang lebih cepat, waktu respons yang lebih baik, dan ketersediaan bandwidth yang lebih baik.” ( IBM) Hal ini juga memungkinkan penerapan algoritme pembelajaran mesin.

MLOps adalah praktik yang bertujuan untuk membuat pengembangan dan pemeliharaan pembelajaran mesin produksi menjadi lancar dan efisien. Jika Anda belum familiar dengan istilah ini, Anda dapat membaca lebih lanjut di panduan MLOps kami.

Ikhtisar latar belakang

Semakin banyak organisasi yang mengadopsi ML, kebutuhan akan manajemen model dan operasi meningkat secara drastis dan melahirkan MLOps. Di sisi lain adalah lonjakan internet of things. Menurut Statista, pengeluaran global untuk internet of things diproyeksikan mencapai 1,1 triliun dolar AS pada tahun 2023. Selain itu, jumlah perangkat aktif yang terhubung dengan IoT diproyeksikan mencapai 30,9 miliar pada tahun 2025.

Komputasi awan selalu membantu memfasilitasi komunikasi yang lancar antar perangkat IoT karena memungkinkan API berinteraksi antara perangkat yang terhubung dan perangkat pintar. Namun, salah satu kelemahan utama komputasi awan adalah latensinya karena tidak dapat memproses data secara real-time. Oleh karena itu, seiring dengan peningkatan drastis jumlah perangkat aktif yang terhubung dengan IoT di dunia, maka diperlukan teknologi yang lebih baik.

Hal ini melahirkan komputasi tepi yang dapat digunakan untuk memproses data sensitif terhadap waktu. Ini juga merupakan alternatif yang lebih baik untuk lokasi terpencil yang konektivitasnya terbatas atau tidak ada sama sekali. Namun, seperti yang ditunjukkan dalam “tesis Emmanuel Raj dari tahun 2020”, dengan meningkatnya potensi IoT dan edge, kita menghadapi tantangan komputasi yang besar.

Misalnya, bagaimana Anda melakukan ML pada perangkat edge dalam skala besar untuk mengelola dan memantau model ML? Bagaimana cara mengaktifkan CI/CD? Bagaimana Anda mengamankan perangkat dan komunikasi di antara perangkat tersebut? Bagaimana cara menjamin efisiensi sistem?

MLOps untuk IoT dan Edge akan berbeda secara signifikan dari kasus penggunaan tradisional karena pola yang ada tidak banyak.

Manfaat pembelajaran mesin yang unggul

Sebagian besar literatur dan solusi MLOps berfokus pada inferensi online. Dengan kata lain, menjalankan model di cloud dan membuat aplikasi pengguna akhir berkomunikasi dengan model melalui API. Namun dalam banyak kasus penggunaan, mendekatkan algoritme ke pengguna akhir sebenarnya sangat bermanfaat dan oleh karena itu inferensi tepi tidak boleh diabaikan.

Memindahkan model ke perangkat, baik itu ponsel atau perangkat seperti NVIDIA Jetson, akan membuka skalabilitas, privasi, keberlanjutan, keterjangkauan, dan kemampuan beradaptasi yang tinggi. Ini semua adalah aspek yang sangat sulit diatasi melalui inferensi online. Langkah ini juga menjadikan perangkat IoT itu sendiri lebih andal karena perangkat tersebut dapat berfungsi bahkan dalam konektivitas terbatas, yang dapat menjadi sangat penting untuk kasus penggunaan seperti perangkat medis atau keamanan.

Dengan inferensi tepi, model berjalan pada perangkat di lokasi dan dengan demikian skala ditangani oleh perangkat itu sendiri.

Sistem ML yang menjalankan inferensi pada perangkat itu sendiri akan memiliki manfaat unik:

• Sistem akan melakukan penskalaan secara otomatis karena setiap perangkat baru akan menangani beban kerjanya sendiri. Hal ini juga dapat membantu menjadi lebih mudah beradaptasi terhadap perubahan keadaan dan lebih hemat biaya.
• Sistem akan lebih mudah mengatasi masalah privasi karena data tidak harus keluar dari perangkat pengguna akhir.
• Setiap perangkat edge dapat membuat keputusan secara real-time tanpa latensi tambahan.
• Setiap perangkat edge dapat mengambil keputusan bahkan tanpa koneksi ke server pusat.
• Setiap perangkat edge bahkan dapat menjalankan model terlatih versinya sendiri untuk memenuhi kebutuhan spesifik lingkungan.

Solusi ML yang mengandalkan perangkat edge dapat memiliki banyak bentuk. Misalnya, ponsel Anda menjalankan model pengenalan wajah yang dilatih khusus untuk mengenali Anda. Alternatifnya, bisa berupa komputer lokal yang terhubung ke semua kamera pengintai di lokasi dan memberi peringatan jika ada aktivitas mencurigakan. Keduanya akan memperoleh manfaat dari poin-poin di atas, namun pemeliharaan dan pengelolaannya akan sangat berbeda sehingga membawa kita pada poin logis berikutnya: tantangannya.

Tantangan pembelajaran mesin edge dan bagaimana MLOps dapat membantu

Ada alasan logis mengapa sebagian besar literatur MLOps berfokus pada inferensi online. Sederhana saja — dari sudut pandang manajemen. Anda mempertahankan model yang diterjemahkan menjadi satu titik akhir API yang dapat diperbarui dan dipantau.

Di edge ML, sebagian besar kasus penggunaan adalah kepingan salju yang unik dan prosesnya bisa menjadi cukup rumit. Namun penerapan MLOps yang tepat tentu dapat mempermudah segalanya. Mari kita lihat beberapa tantangannya:

• Pengujian itu sulit. Perangkat Edge hadir dalam berbagai bentuk dan ukuran. Misalnya ekosistem Android, terdapat perbedaan besar dalam daya komputasi yang dimiliki perangkat-perangkat ini dan akan sulit untuk menguji apakah model Anda cukup efisien untuk semua perangkat. Namun, pipeline pembelajaran mesin yang kuat dapat mencakup berbagai pengujian untuk mengatasi performa model.
• Penerapan itu sulit. Memperbarui satu titik akhir adalah hal yang sepele. Memperbarui 1.000 perangkat jauh lebih rumit. Dalam kebanyakan kasus, Anda sebaiknya mengintegrasikan pipeline ML dan penyimpanan model Anda dengan alat lain yang menangani pembaruan perangkat edge. Misalnya, CI/CD aplikasi Anda akan mengambil model terbaru dari penyimpanan model Anda.
• Pemantauan itu sulit. Dengan inferensi online, Anda mengumpulkan metrik dari satu titik akhir tersebut, namun dengan edge ML, Anda harus meminta setiap perangkat melaporkan kembali dan Anda mungkin masih belum memiliki visibilitas penuh untuk lingkungan model sedang beroperasi. Anda sebaiknya merancang sistem pemantauan sedemikian rupa sehingga dapat menerima data dari banyak sumber dan mungkin sumber-sumber ini hanya melaporkan kembali sesekali.
• Pengumpulan data itu sulit. Privasi harus dibayar mahal karena tidak seperti inferensi online, Anda sebenarnya tidak memiliki akses langsung ke data “dunia nyata”. Membangun loop berkelanjutan untuk mengumpulkan data dari perangkat edge dapat menjadi tantangan desain yang kompleks. Anda sebaiknya mempertimbangkan mekanisme yang memungkinkan Anda mengumpulkan data ketika model Anda gagal (misalnya, pengguna dapat memilih untuk mengirim gambar ketika model pengenalan objek tidak berfungsi). Ini kemudian dapat diberi label dan ditambahkan ke set data pelatihan di pipeline ML Anda.

Tujuan utama MLOps untuk IoT dan edge adalah untuk mengatasi tantangan ini. Perulangan kontinu lebih sulit diatur dalam bidang inferensi tepi. Dalam pengaturan biasa, model Anda dilatih di cloud, kemudian diambil oleh sistem CI/CD dan diterapkan ke perangkat sebagai bagian dari aplikasi. Aplikasi akan menjalankan inferensi pada perangkat dan melaporkan kembali metrik dan data secara batch kembali ke cloud tempat Anda dapat menutup loop, melatih ulang, dan meningkatkan model Anda.

Solusi Anda

Seperti disebutkan sebelumnya, setiap kasus edge ML masih cukup unik dan tidak ada satu pola pun yang cocok untuk semua kasus. Kemungkinan solusi akhir Anda akan berisi kode khusus Anda sendiri dan produk siap pakai. Prioritasnya harus pada pemetaan semua komponen berbeda yang diperlukan untuk membentuk perulangan berkelanjutan dan mencari tahu bagaimana semua komponen berbeda tersebut berkomunikasi satu sama lain. Kami adalah pendukung besar API terbuka dan platform Valohai MLOps dibangun dengan mengutamakan API sehingga semua fungsi dapat diakses melalui kode dan alat dapat diintegrasikan dengan lancar.

Bagi kami, MLOps bukan hanya sesuatu untuk kasus penggunaan online. Kami pikir praktik terbaik yang sama dalam membangun loop berkelanjutan dan mengotomatiskannya sebanyak mungkin juga harus diterapkan secara de facto untuk edge.

Awalnya diterbitkan di https://valohai.com.