Menggunakan algoritme pembelajaran yang diawasi untuk memprediksi keputusan kecepatan bit adaptif secara lebih akurat

Dengan peningkatan besar-besaran lalu lintas video melalui internet, streaming adaptif HTTP kini menjadi cara utama untuk menyampaikan infotainment. Mencapai kualitas pengalaman pengguna (QoE) yang baik kini menjadi lebih penting dari sebelumnya, dan meskipun banyak solusi telah diusulkan, streaming bitrate adaptif (ABR) telah terbukti menjadi teknik terbaik untuk pengiriman video melalui Internet.

Dalam konteks ini, banyak algoritma adaptasi bandwidth telah muncul, masing-masing bertujuan untuk meningkatkan QoE pengguna menggunakan informasi sesi yang berbeda, misalnya. Throughput TCP, penggunaan buffer, waktu pengunduhan… Meskipun ada perbedaan dalam implementasinya, mereka sebagian besar menggunakan input yang sama untuk beradaptasi dengan berbagai kondisi sesi media.

Dalam artikel ini, kami membagikan hasil kandidat PhD kami baru-baru ini Hiba Yousef, bagian dari penelitian doktoralnya untuk École doctorale de l'Institut polytechnique de Paris (Jean-Claude Dufourd dan Jean Le Feuvre) dan Lumen, pertahanan diterbitkan pada tahun 2021.

Pada awalnya, Hiba Yousef membahas dan menganalisis masalah utama yang timbul dari penggunaan algoritma streaming adaptif HTTP yang ada dalam konteks jaringan peer-to-peer. Selama penelitian fase pertama, kami mengusulkan dua metodologi untuk membuat ABR lebih efisien dalam jaringan P2P terlepas dari algoritma yang digunakan (diterbitkan di sini). Kami kemudian memperluas penelitian ke prediksi menggunakan algoritma pembelajaran terawasi (publikasi pertama dari September 2020 di sini).

Dalam artikel ini, Hiba Yousef menunjukkan bahwa teknik pembelajaran mesin, dan khususnya klasifikasi yang diawasi, dapat memprediksi kelas algoritme ABR dengan memprediksi fitur yang paling relevan (kepentingan fitur berdasarkan rata-rata penurunan pengotor). Selain itu, mereka mampu memprediksi keputusan bitrate dari algoritma ABR mana pun, memberikan serangkaian fitur masukan yang dapat dilihat di tingkat aplikasi.

Pendekatan ini mempunyai keuntungan karena bersifat generik, sehingga tidak memerlukan pengetahuan apa pun tentang algoritme itu sendiri, namun mengasumsikan bahwa apa pun logika di baliknya, pendekatan ini akan menggunakan serangkaian fitur masukan yang umum.

Kami menguji pendekatan kami menggunakan simulasi pada algoritma ABR yang terkenal; lalu kami memverifikasi hasilnya pada pemutar sumber tertutup komersial, menggunakan VoD realistis dan kumpulan data langsung.

Hasilnya menunjukkan bahwa Random Forest dan Gradient Boosting mencapai akurasi prediksi yang sangat tinggi di antara pengklasifikasi ML.

Pengantar ABR

Dalam ABR, media (video, audio) dibagi menjadi bagian-bagian kecil dengan durasi yang kira-kira konstan, yang disebut segmen, dan setiap segmen dikodekan ke dalam kualitas yang berbeda. Algoritme bitrate adaptif sisi klien kemudian digunakan untuk menentukan kualitas yang paling sesuai dengan kondisi jaringan.

Banyak algoritma ABR telah diusulkan dalam literatur dan penerapan pemutar video terbuka atau tertutup. Meskipun logika keputusannya berbeda, sebagian besar algoritme ABR yang canggih mengandalkan pengamatan heuristik sebagai masukan untuk mengoptimalkan pemilihan kecepatan bit pada segmen berikutnya. Input ini biasanya berupa pengukuran bandwidth dan ukuran buffer maksimum, karakteristik segmen (misalnya ukuran, durasi, dan kecepatan bit pengkodean) dan dalam beberapa kasus kemampuan perangkat (misalnya penggunaan CPU, memori, kecepatan pemutaran).

Pembelajaran mesin (ML) dan teknik kontrol lainnya telah menunjukkan hasil yang menjanjikan di banyak bidang penelitian, dan streaming video tidak terkecuali. Pembelajaran yang diawasi (SL) terdiri dari mempelajari hubungan antara input dan output berdasarkan contoh pasangan input-output sebelumnya. SL memungkinkan pembelajaran dari observasi masa lalu untuk memprediksi kejadian di masa depan, yang merupakan tugas utama ABR. Oleh karena itu, menggabungkan kedua pendekatan ini adalah pilihan yang logis.

Memprediksi perilaku ABR penting untuk sistem berbasis pengambilan awal dan cache. Dalam arah ini, ada beberapa upaya untuk meningkatkan pengambilan awal CDN dengan memberi tahu CDN tentang segmen berikutnya yang akan diminta, seperti yang dijelaskan dalam spesifikasi yang muncul Data Klien Media Umum (CMCD). Namun, dalam implementasi ABR saat ini, pemutar video meminta segmen secara berurutan, dan CMCD tidak menyatakan apakah pengambilan awal segmen berikutnya mengikuti keputusan ABR terakhir, atau apakah ABR akan dimodifikasi untuk memilih kecepatan bit untuk segmen berikutnya yang akan diambil sebelumnya. dari CDN.

Selain itu, dalam kasus penggunaan khusus Lumen — streaming video HTTP/Peer-to-Peer (P2P) hybrid — pre-fetcher biasanya mengunduh segmen video sebelum permintaan pemutar. Teknik pengambilan awal saat ini mengandalkan kualitas yang terakhir diminta untuk mengambil segmen berikutnya; oleh karena itu, dalam kasus peralihan kualitas, segmen yang diambil sebelumnya pada kualitas sebelumnya diabaikan dan segmen baru diminta.

Mengetahui keputusan ABR sebelumnya akan membantu mengantisipasi peralihan jalur dan memungkinkan kami mengambil segmen berikutnya berdasarkan kualitas yang diprediksi. Dalam implementasi streaming P2P saat ini, pemutar video terintegrasi di atas tumpukan P2P yang menggantikan tumpukan HTTP untuk P2P sebagai lapisan transport. ABR di pemain web dan asli sama sekali tidak diketahui oleh tumpukan P2P, sehingga membuat integrasi P2P-ABR lebih bermasalah.

Oleh karena itu, pada blog kali ini kami sengaja mencoba memprediksi algoritma ABR apa saja mengingat fitur input yang paling sering digunakan saja, dan terlepas dari ABR yang digunakan. Untuk tujuan ini, kami memilih beberapa pengklasifikasi terawasi yang terkenal untuk memprediksi keputusan bitrate algoritma ABR. Untuk membenarkan bahwa pekerjaan kami bersifat agnostik ABR, pertama-tama kami menguji model pada enam algoritma ABR canggih yang terkenal. Kemudian, kami memperkirakan keputusan bitrate dari tiga algoritma komersial, yang sepenuhnya tidak diketahui dan bersumber tertutup.

Klasifikasi berbasis ML dalam streaming adaptif

Seperti disebutkan, penelitian dalam streaming adaptif beralih ke pembelajaran mesin dan kontrol pengoptimalan. ML dan ABR berpotongan pada titik pembelajaran dari pengamatan heuristik dan memprediksi keputusan di masa depan.

Algoritma bitrate adaptif umumnya diklasifikasikan berdasarkan input yang diperlukan ke dalam tiga kelas utama: berbasis buffer (BBA dan BOLA), berbasis throughput (PANDA dan KONVENSIONAL), dan berbasis hybrid-buffer-throughput. Baru-baru ini, pembelajaran mesin dan teknik kontrol telah banyak digunakan di ABR, yang mengarah pada munculnya kelas berbasis ML dan berbasis kontrol (RobustMPC).

Model di SL dilatih pada kumpulan data berlabel dengan perspektif penggunaan model pada data yang belum diketahui. SL melibatkan klasifikasi, regresi dan juga struktur prediksi keluaran. Dalam penelitian ini, kami fokus pada masalah klasifikasi dan menggunakan pengklasifikasi terkenal seperti Naive Bayes, Decision Trees, Random Forest, Adaboost dan Gradient Boost, K-Nearest Neighbors dan Support Vector Machine (SVM).

Masalah klasifikasi pemilihan bitrate

Prediksi bitrate ABR dirumuskan sebagai masalah klasifikasi multikelas dalam artikel ini. Langkah pertama dalam menyelesaikan masalah ML ini adalah menentukan fitur yang diperlukan untuk memprediksi bitrate ABR. Seperti yang dinyatakan dalam pendahuluan, sebagian besar algoritma ABR menggunakan satu set atau subset variabel jaringan, buffer, atau segmen. Dalam studi ini, untuk menjaga agar model tetap generik, kami menggunakan fitur-fitur berikut:

1) Tingkat buffer: okupansi buffer saat meminta segmen, yang tersedia melalui sebagian besar API publik pemutar video.

2) Bandwidth (bps): throughput TCP yang dilihat oleh lapisan aplikasi setelah pengunduhan segmen, yang diukur dengan menghitung data yang diunduh (ukuran segmen di sini) selama waktu pengunduhan.

3) Bandwidth sebelumnya (bps): throughput yang diukur saat mendownload segmen sebelumnya; informasi ini digunakan untuk memperlancar estimasi bandwidth, atau ketika estimasi saat ini tidak tersedia, seperti pada beberapa algoritma berbasis buffer.

4) Waktu pengunduhan: waktu pengunduhan segmen.

5) Bitrate sebelumnya (bps): bitrate dari segmen yang dipilih sebelumnya, seperti yang digunakan oleh sebagian besar algoritma ABR untuk memperhitungkan kelancaran bitrate.

Karena mereka memiliki rentang nilai yang luas, kami menskalakan ulang fitur-fitur ini menggunakan skalar Min-Max di mana semua fitur akan diubah menjadi rentang [0,1]. Kemudian, kami membuat matriks kumpulan data yang terdiri dari pasangan M masukan (fitur) dan keluaran (label) pada N instance (segmen video dalam masalah kita). Untuk pelatihan dan pengujian, kami melakukan Validasi Silang K-Folds bertingkat dengan K = 10, di mana data dibagi lagi menjadi K subset (atau lipatan) yang berbeda. Lipatan tersebut dilakukan dengan mempertahankan persentase sampel untuk setiap kelas. Kemudian, k − 1 lipatan digunakan untuk melatih model sedangkan subset k dibiarkan sebagai data uji. Hasil model kemudian dirata-ratakan terhadap masing-masing lipatan dan diuji setelahnya terhadap set pengujian.

hasil dan Diskusi

Untuk masalah ML apa pun, penting untuk mengevaluasi kegunaan fitur, yaitu Pentingnya Fitur. Dalam masalah prediksi ABR, Pentingnya Fitur menjadi lebih penting karena membawa informasi tentang sifat atau kelas ABR yang digunakan.

Melihat Gambar 1, kita melihat bahwa bitrate sebelumnya sangat mendominasi keputusan algoritma ABR yang dipilih, mengingat pentingnya kelancaran dalam algoritma ini. Selain itu, algoritma berbasis buffer (BBA dan BOLA) menunjukkan pentingnya tingkat buffer pada jaringan, sedangkan algoritma berbasis throughput (CONVENTIONAL, PANDA, dan FESTIVE) memberikan kepentingan yang lebih tinggi pada fitur bandwidth dan waktu pengunduhan. Terakhir, kita dapat melihat bahwa R-MPC - algoritme berbasis kontrol hibrid - bergantung pada semua fitur yang dipilih (buffer dan jaringan) dengan persentase yang berbeda namun mendekati.

Sekarang mari beralih ke beberapa metrik numerik.

Dalam masalah klasifikasi, metrik yang diketahui (misalnya akurasi, presisi, perolehan) biasanya digunakan untuk mengevaluasi model.

Akurasi: Akurasi prediksi melaporkan berapa banyak kelas yang diprediksi dengan benar dari total sampel prediksi.

Presisi: Metrik ini, untuk setiap kelas, melihat proporsi sampel yang benar-benar termasuk dalam kelas ini dari total sampel yang diprediksi termasuk dalam kelas ini.

Recall: Recall menjelaskan, untuk setiap kelas, proporsi sampel yang ditugaskan dengan benar ke suatu kelas dari semua sampel yang sebenarnya termasuk dalam kelas ini.

Akurasi prediksi berbagai pengklasifikasi pembelajaran mesin ditunjukkan pada Tabel I. Di antara pengklasifikasi ML yang dipilih, Random Forest (RF) dan Gradient Boost (GrdBst) mencapai akurasi prediksi tertinggi untuk semua algoritme ABR yang dipilih dengan akurasi keseluruhan lebih dari 96 %.

Banyak karya menyarankan bahwa menggunakan akurasi saja tidak cukup; bergantung pada aplikasinya, satu metrik mungkin lebih disukai dibandingkan metrik lainnya. Dengan mempertimbangkan masalah pemilihan bitrate, jika tujuannya adalah untuk memeriksa, untuk bitrate tertentu, seberapa sering bitrate tersebut benar-benar diprediksi dari seluruh total prediksi kelas ini, maka presisi adalah metrik yang harus diperhitungkan.

Di sisi lain, jika tujuannya adalah untuk memastikan bahwa kelas sebenarnya benar-benar diprediksi, maka recall adalah metrik yang lebih disukai. Tabel II di bawah menunjukkan bahwa RF dan GrdBst mencapai presisi dan perolehan tinggi, lebih dari 96%.

Analisis ABR komersial kotak hitam

Tiga penyedia layanan komersial, yang disebut S1, S2, S3, dipilih secara acak, dan untuk masing-masing penyedia layanan, data dikumpulkan dari rentang keseluruhan 5 ribu hingga 10 ribu rekan secara bersamaan. Penyedia layanan menggunakan streaming langsung dan VoD yang berbeda, jadi kami membuat dua kumpulan data, satu untuk VoD dan satu lagi untuk

Sesi langsung, masing-masing hingga 40.000 instans. Kami melakukan eksperimen pada algoritma ML yang disajikan di atas.

Pentingnya fitur terlihat pada gambar di atas bahwa algoritma ABR ini lebih sensitif terhadap bitrate sebelumnya, yang menunjukkan preferensi kehalusannya. Selain itu, selain skenario VOD untuk S1, semua algoritme ABR mengandalkan pengukuran throughput untuk segmen saat ini dan segmen yang terakhir diunduh. Menariknya, ABR dari S1 tampaknya lebih mementingkan fitur level buffer dalam skenario VOD.

Tabel di atas menunjukkan bahwa RF, DT, dan GrdBst memiliki performa terbaik di antara algoritma ML yang diuji. Untuk S1 (Live dan VOD), ketiga algoritma ini mencapai akurasi yang sangat tinggi, sedikit lebih tinggi dari 99%. Untuk S2, RF dan GrdBst berkinerja lebih baik daripada DT dengan akurasi masing-masing sekitar 98% dan 99% untuk Live dan VOD. Terakhir, S3, yang memiliki jumlah tingkat kualitas tertinggi (tujuh kualitas), untuk Live kami melihat bahwa RF dan GrdBst kembali mencapai akurasi tinggi, dengan GrdBst mencapai akurasi sedikit lebih tinggi. Namun demikian, dengan VoD, RF memiliki performa terbaik dengan akurasi 98,5%, hampir 1% lebih baik dibandingkan DT dan GrdBst.

Tabel di bawah menunjukkan bahwa setiap RF, DT, dan GrdBst mencapai presisi dan perolehan tinggi, dengan RF dan GrdBst sedikit lebih baik daripada DT dalam beberapa skenario.

Lebih jauh lagi

Dalam artikel ini, kami menunjukkan kemungkinan mempelajari perilaku logika ABR berkat pembelajaran yang diawasi.

Kami melakukan penelitian terhadap algoritme ABR klasik dan penerapan sumber tertutup di dunia nyata. Dari hasil yang diperoleh, kami menemukan bahwa algoritma Random Forest dan Gradient Boost mampu mencapai akurasi prediksi yang sangat tinggi, hanya dengan menggunakan informasi dasar yang diberikan sebagai masukan ke lapisan aplikasi.

Pekerjaan ini melayani kasus penggunaan streaming P2P berbasis prefetching, dan kompatibel dengan salah satu persyaratan fungsional sehingga lapisan peer-to-peer dan ABR tetap terisolasi. Namun, hal ini juga dapat diperluas ke aplikasi CDN tradisional, yang juga dapat memanfaatkan prefetching untuk meningkatkan QoE. Pengoptimalan ini hanya mungkin dilakukan jika pengambilan awal memperhitungkan peralihan jalur dan meminimalkan pengunduhan yang sia-sia, sehingga keuntungannya adalah dapat memprediksi keputusan ABR sebelumnya.

Model ini portabel untuk kasus penggunaan dunia nyata karena lebih dari sekadar alasan akurasi prediksi. Di satu sisi, untuk fase pelatihan, banyak pengguna dapat berpartisipasi dengan mengirimkan pengukuran buffer dan bandwidth yang diukur ke server pusat, sehingga mengurangi waktu yang diperlukan untuk pengumpulan data. Di sisi lain, untuk tahap prediksi, fitur masukan untuk segmen yang akan datang sudah diketahui sebelumnya (misalnya ukuran segmen, waktu pengunduhan, dan bandwidth yang diukur) atau mudah diprediksi (misalnya tingkat buffer yang memberikan waktu pengunduhan dan tingkat buffer sebelumnya ). Perlu diperhatikan juga bahwa latensi prediksi dapat diabaikan dibandingkan dengan durasi segmen.

Alasan-alasan ini menjadikan pendekatan kami cukup efisien untuk memajukan teknik pengambilan awal yang lebih cerdas menggunakan pembelajaran mesin.

Jika Anda tertarik untuk mengerjakan tantangan seperti ini, lihat posisi terbuka kami!

Konten ini disediakan untuk tujuan informasi saja dan mungkin memerlukan penelitian dan pembuktian tambahan oleh pengguna akhir. Selain itu, informasi diberikan “sebagaimana adanya” tanpa jaminan atau ketentuan apa pun, baik tersurat maupun tersirat. Penggunaan informasi ini merupakan risiko pengguna akhir sendiri. Lumen tidak menjamin bahwa informasi tersebut akan memenuhi persyaratan pengguna akhir atau bahwa penerapan atau penggunaan informasi ini akan memberikan hasil yang diinginkan pengguna akhir. Dokumen ini mewakili produk dan penawaran Lumen pada tanggal penerbitan. Layanan tidak tersedia di semua tempat. Hanya pelanggan bisnis. Lumen dapat mengubah atau membatalkan produk dan layanan atau mengganti produk dan layanan serupa atas kebijakannya sendiri tanpa pemberitahuan. ©2021 Teknologi Lumen. Semua Hak Dilindungi Undang-undang.