สวัสดีทุกคน ดังนั้นสำหรับใครที่ไม่รู้ว่าฉันเป็นโรคฮันติงตัน (โรคนี้ส่งต่อจากแม่ถึงฉัน และฉันมี CAG เท่ากับ 43 และกำลังอยู่ในช่วงปลายระยะที่ 1) ด้วยเหตุนี้ ฉันจึงมีความผิดปกติในการพูดแบบ ataxic และมีปัญหาบางอย่างกับการเดินเนื่องจากปัญหาเรื่องการประสานงาน/ทักษะการเคลื่อนไหวลดลง
ฉัน “วางแผน” โครงการมาประมาณ 2 ปีแล้วในการระบุความผิดปกติของคำพูด (โดยเฉพาะโรคที่เกี่ยวข้องกับ/ไม่เกี่ยวข้องกับการได้ยิน) และประมวลผลข้อมูลเพื่อให้เห็นภาพหรือช่วยเหลือผู้อื่นเช่นฉัน (อย่างใด)
ในที่สุดฉันก็มีแรงจูงใจและตอนนี้ก็มีความรู้ที่จะทำเช่นนั้นแล้ว ฉันจึงอยากแบ่งปันแผนสำหรับโครงการนี้จนถึงตอนนี้
ขั้นตอนที่ 1: การขูดข้อมูล
- รับ Youtube API จากบัญชี Google (อีกครั้ง)
- ส่งคำขอ YouTube สำหรับหัวข้อแต่ละหัวข้อของวิดีโอเกี่ยวกับความผิดปกติในการพูดเพื่อขูด (ค่าเผื่อสูงสุด) ในเวลาที่มีความผิดปกติในการพูดแต่ละครั้งลงในโฟลเดอร์ที่มีป้ายกำกับต่างๆ
- ดาวน์โหลดบุคคลที่ไม่มีความผิดปกติในการพูดสำหรับชุดทดสอบลงในโฟลเดอร์ที่เกี่ยวข้องสำหรับข้อมูลการทดสอบ
ขั้นตอนที่ 2: การประมวลผลข้อมูล
- ใช้ NumPy และไลบรารีการประมวลผลเสียงเพื่อแบ่งวิดีโอออกเป็นคลิปความยาว 15 วินาที
- แปลงคลิปวิดีโอเป็นเสียง
- บันทึกลงในโฟลเดอร์ที่มีป้ายกำกับตามลำดับ
ขั้นตอนที่ 3: ตั้งโปรแกรมโครงข่ายประสาทเทียม
- ใช้ Google Colabs เพื่อสร้างโครงข่ายประสาทเทียม (ดูว่าโครงข่ายประสาทเทียมใดดีที่สุดสำหรับสิ่งนี้.. อาจเกี่ยวข้องกับ NLP)
- ฝึก Neural Net บนโฟลเดอร์ที่มีป้ายกำกับ
- ทดสอบ Neural Net ในโฟลเดอร์ที่มีความผิดปกติของคำพูดต่างกัน + คลิปคำพูดปกติ
- เกณฑ์มาตรฐานและเพิ่มประสิทธิภาพ เพิ่มเติม...
นี่เป็นเพียง "แนวคิด"
ฉันไม่ได้วางแผนที่จะใช้ชื่อ / ข้อมูลของวิดีโอใด ๆ ที่ฉันกำลังถ่ายคลิปสั้น ๆ จากที่นอกเหนือจากการใช้ชื่อเพื่อติดป้ายกำกับข้อมูลในชุดข้อมูลเป็นปัญหาคำพูดที่เกี่ยวข้อง ฉันไม่ได้ละเมิดสิทธิของใคร ฉันจะจัดเตรียมหลักฐานให้กับ POC เพื่อช่วยลด “ความไม่ไว้วางใจ” บางประการเกี่ยวกับเทคนิคการคัดลอกสำหรับชุดข้อมูล ML
หากวิธีนี้ใช้ได้ผล ฉันสามารถทำได้เพิ่มเติมโดยการวิเคราะห์ด้วย Libarosa และ matplotlib ซึ่งฉันใช้เมื่อเร็ว ๆ นี้สำหรับโครงการอื่นเพื่อช่วยค้นคว้าเพิ่มเติมเกี่ยวกับการระบุตัวตน และอาจสร้างแอปพลิเคชัน (GUI หรือโทรศัพท์ ขึ้นอยู่กับแอป...)
แจ้งให้เราทราบว่าคุณคิดอย่างไรเกี่ยวกับโครงการนี้ในความคิดเห็น!
