Hai semuanya, jadi bagi kalian yang belum tahu bahwa saya mengidap Penyakit Huntington (penyakit ini diturunkan dari ibu saya kepada saya dan saya memiliki CAG 43 dan saya berada di tahap akhir tahap 1). Oleh karena itu, saya menderita gangguan bicara ataksia, dan mengalami beberapa masalah dalam berjalan karena masalah koordinasi/keterampilan motorik yang menurun.

Saya telah “merencanakan” sebuah proyek selama sekitar 2 tahun untuk mengidentifikasi gangguan bicara (terutama yang berhubungan dengan penyakit/tidak berhubungan dengan pendengaran) dan memproses data untuk memvisualisasikannya atau membantu orang lain seperti saya (entah bagaimana).

Saya akhirnya mendapatkan motivasi dan sekarang memiliki pengetahuan untuk melakukannya, jadi saya ingin berbagi rencana proyek sejauh ini.

Langkah Pertama: Mengikis Data

  1. Dapatkan API Youtube dari Akun Google (lagi).
  2. Kirim permintaan Youtube untuk masing-masing topik video gangguan bicara untuk dikikis (batas maksimal) pada setiap gangguan bicara ke dalam folder berlabel berbeda.
  3. Unduh juga orang-orang yang tidak memiliki gangguan bicara untuk set tes ke dalam folder masing-masing untuk data tes.

Langkah ke-2: Memproses Data

  1. Gunakan NumPy dan beberapa perpustakaan pemrosesan audio untuk membagi video menjadi klip berdurasi 15 detik.
  2. Konversi klip video menjadi audio.
  3. Simpan ke dalam folder berlabel masing-masing.

Langkah ke-3: Programkan Jaringan Syaraf Tiruan

  1. Gunakan Google Colabs untuk membuat jaringan saraf (lihat jaringan saraf mana yang terbaik untuk ini.. mungkin ada hubungannya dengan NLP).
  2. Latih Neural Net pada folder berlabel.
  3. Uji Neural Net pada folder dengan gangguan bicara berbeda + klip ucapan biasa.
  4. Tolok Ukur & Optimalkan lebih lanjut…

Ini hanyalah “ide”

Saya tidak berencana menggunakan nama/info video apa pun yang saya ambil klip pendeknya selain menggunakan judul untuk memberi label pada data dalam kumpulan data sebagai masalah ucapan terkait. Saya tidak melanggar hak siapa pun. Saya akan memberikan bukti kepada POC untuk membantu meringankan beberapa “ketidakpercayaan” pada teknik scraping untuk kumpulan data ML.

Jika ini berhasil, saya dapat melanjutkannya dengan analisis menggunakan Libarosa danmatplotlibyang baru-baru ini saya gunakan untuk proyek lain guna membantu penelitian lebih lanjut tentang identifikasi dan mungkin membuat aplikasi (GUI atau telepon aplikasi tergantung..)

Beri tahu saya pendapat Anda tentang proyek ini di komentar!