Perkenalan

Permintaan pembelajaran mesin (ML) untuk komputasi yang lebih banyak telah meningkat secara drastis. Lebih banyak komputasi berarti lebih banyak konsumsi energi dan lebih banyak emisi gas rumah kaca ke atmosfer. Memperkirakan konsumsi energi model ML dapat membantu mengukur dampak lingkungan dan mencoba strategi yang lebih ramah lingkungan. David Patterson dkk. di [1] menghitung penggunaan energi dan jejak karbon dari beberapa model besar terbaru untuk Pemrosesan Bahasa Alami (NLP) dan menyempurnakan estimasi yang dipublikasikan sebelumnya untuk penelusuran arsitektur saraf yang menemukan Evolved Transformator. Berdasarkan apa yang mereka temukan selama eksperimen, mereka menyoroti tiga peluang (menggunakan Jaringan Neural Dalam (DNN) yang jarang diaktifkan, perhitungan berdasarkan lokasi geografis, dan menggunakan tujuan khusus prosesor (akselerator)) untuk meningkatkan efisiensi energi dan emisi setara CO2 (karbon dioksida dan semua gas rumah kaca lainnya seperti metana, dinitrogen oksida…). Peluang tersebut mengurangi jejak karbon sebesar ~100–1000X. Selain itu, mereka setuju dengan beberapa makalah yang diterbitkan sebelumnya tentang beberapa norma penerbitan makalah ML, yang dapat Anda temukan di bagian akhir ringkasan ini.

Catatan: Fokus makalah ini adalah pada pelatihan.

Peluang untuk Meningkatkan Efisiensi Energi dan Emisi Rumah Kaca

Peluang yang disorot oleh [1] untuk komputasi ML yang lebih efisien tercantum di bawah.

Peningkatan Algoritma/Program

Algoritme yang lebih baik dapat menghemat banyak waktu, dan lebih sedikit waktu berarti lebih sedikit penggunaan energi dan akibatnya lebih sedikit emisi gas rumah kaca. Selain itu, program yang mengimplementasikan suatu algoritma merupakan faktor penting dalam seberapa cepat algoritma tersebut akan dieksekusi. Model Evolved Transformer (Medium) menggunakan FLOPS 1,6Xlebih sedikit dan waktu 1,1–1,3X lebih sedikit dibandingkan Transformer (Besar) dengan akurasi yang sedikit lebih tinggi.

Peningkatan Prosesor

Prosesor Tensor Processing Unit (TPU) versi 2 (v2) Google menjalankan Transformer (Besar)/Evolved Transformer 4,3X/5.2X lebih cepat dibandingkan NVIDIA GPU P100. TPU v2 menggunakan lebih sedikit daya: 1,3X lebih sedikit untuk Transformer dan 1,2X lebih sedikit untuk Evolved Transformer. Peningkatanbersih dalam Kinerja/Watt masing-masing adalah 5,6X dan 6,2X.

Peningkatan Pusat Data

Metrik kuantitatif yang berguna untuk efisiensi pusat data adalah overhead energi yang melebihi yang menggerakkan peralatan komputasi di dalam pusat data. Misalnya, jika overhead pusat data adalah 50%, Efektivitas Penggunaan Daya (PUE) adalah 1,5. Pusat data cloud kira-kira 2X lebih hemat energi dibandingkan pusat data perusahaan pada umumnya karena faktor lain seperti pemanfaatan pusat data. Masanet dkk. di [3] menemukan bahwa konsumsi energi pusat data global hanya meningkat sebesar 6% dibandingkan tahun 2010, meskipun kapasitas komputasi meningkat sebesar 550% dalam periode waktu yang sama [4]. Jadi, komputasi awan adalah pilihan yang lebih baik karena manajemen yang lebih baik terjadi di bidang ini.

PUE = (Total Daya Fasilitas) / (Daya Peralatan TI)

Peningkatan Bauran Energi atau Komputasi Sadar Geografis

Transmisi listrik jarak jauh lebih mahal dan kurang efisien dibandingkan mengirimkan informasi sebagai foton melalui serat optik [5]. Komputasi awan memungkinkan perusahaan seperti Google untuk memiliki portofolio pusat data global, yang banyak di antaranya ditempatkan di tempat yang jaringan listriknya lebih bersih seperti “Finlandia” (pendinginan yang mencakup ~70% konsumsi energi infrastruktur dapat dilakukan dengan cara yang lebih efisien dengan menggunakan lingkungan), atau di mana perusahaan dapat membeli energi ramah lingkungan secara langsung seperti Iowa. Pada tahun 2021, Google mengumumkan tujuan baru dalam strategi energinya: pada tahun 2030, Google bertujuan untuk menjalankan semua pusat data dan kantornya dengan energi bebas karbon 24 jam/7 hari.

Gambar berikut [1] menunjukkan peluang yang disorot oleh David Patterson dkk.

Pengesahan Seruan Sebelumnya untuk Norma Publikasi ML Baru

Daftar periksa berikut mencantumkan norma-norma yang jika diikuti dalam publikasi ML dapat membantu komunitas ML memahami efek rumah kaca yang sebenarnya dari pelatihan dan cara menguranginya.

1- Lebih banyak peneliti didorong untuk mengukur penggunaan energi dan emisi setara CO2 (atau mendapatkan perkiraan perkiraan menggunakan alat seperti Kalkulator Emisi ML [2]) dan mempublikasikan datanya. Hal ini karena saat ini sulit untuk menilai emisi setara CO2 secara tepat karena semua informasi yang diperlukan jarang dilaporkan atau tersedia untuk umum (misalnya, pusat data, perangkat keras, bauran energi). Penulis percaya bahwa kekuatan akan dimasukkan dalam “tolok ukur MLPerf” yang akan datang, yang merupakan langkah penting ke arah yang benar.

2- efisiensiharus menyertai akurasidan langkah-langkah lain untuk memublikasikan penelitian ML pada model intensif komputasi.

3- Lebih banyak peneliti harus mempublikasikan jumlah akselerator dan waktu yang dibutuhkan untuk melatih model komputasi intensif guna menginspirasi kemajuan dalam mengurangi biaya pelatihan. Hal ini karena pengurangan waktu pelatihan merupakan hal yang penting, baik karena “waktu adalah uang” dan karena pelatihan yang lebih murah memungkinkan lebih banyak orang berpartisipasi.

Kesimpulan

Perubahan iklim global merupakan ancaman terhadap perekonomian, kesehatan manusia, dan lingkungan, dan komunitas ML perlu melakukan bagiannya untuk membatasi emisi karbon karena ML semakin banyak digunakan dan semakin haus akan energi dan komputasi. Untuk tujuan ini, norma penerbitan baru harus diambil, dan peluang seperti perangkat lunak (algoritma/program) yang lebih baik, perangkat keras yang lebih baik (akselerator seperti TPU untuk jaringan saraf), manajemen pusat data yang lebih baik (komputasi awan), dan komputasi sadar geografis (Iowa di mana energi diproduksi dengan bersih) harus dipertimbangkan.

Referensi

[1] Patterson, David, dkk. “Emisi karbon dan pelatihan jaringan neural besar.” arXiv pracetak arXiv:2104.10350 (2021).

[2]Lacoste, Alexandre, dkk. “Mengukur emisi karbon dari pembelajaran mesin.” arXiv preprint arXiv:1910.09700 (2019).

[3] Masanet, Eric & Shehabi, Arman & Lei, Nuoa & Smith, Sarah & Koomey, Jonathan. “Mengkalibrasi ulang perkiraan penggunaan energi pusat data global.” Sains. 367. 984–986. 10.1126/science.aba3758 (2020).

[4] Masanet E., 24 Maret 2021, “Analisis Energi Pusat Data: Masa Lalu, Sekarang, dan Masa Depan»”, ceramah di Universitas California Santa Barbara (UCSB)

[5] Armbrust, Michael dkk. “Pandangan tentang Cloud Computing. Komunitas.” ACM. 53.50–58. 10.1145/1721654.1721672 (2010).