Antara Muka Otak-Komputer Boleh Memahami Kepada Ucapan

Neuroengineers telah mencipta sistem baru yang boleh menterjemahkan pemikiran mudah ke dalam ucapan yang dikenali, menggunakan kecerdasan buatan dan pensintesis pidato, menurut satu kajian yang diterbitkan Selasa.

Satu pasukan penyelidik yang berpangkalan di New York dapat membina semula kata-kata yang menggunakan hanya aktiviti otak, satu inovasi yang boleh membuka jalan untuk teknologi yang dikuasai otak seperti, katakan, telefon pintar yang boleh menterjemahkan pemikiran anda ke dalam mesej teks.

Dr. Nima Mesgarani, seorang profesor di Universiti Columbia, mengetuai kajian dan memberitahu Songsang bahawa dia melihat potensi yang besar untuk membantu memulihkan ucapan kepada orang yang pulih dari strok atau hidup dengan sklerosis lateral amyotrophic (ALS). Selanjutnya, jenis teknologi ini juga boleh membuka pintu ke telefon pintar yang berkaitan dengan otak yang membolehkan pengguna teks menggunakan minda mereka, walaupun itu masih jauh. Karyanya telah diterbitkan dalam jurnal Laporan Saintifik.

"Salah satu motivasi kerja ini … adalah untuk kaedah interaksi manusia-komputer alternatif, seperti antara muka yang mungkin antara pengguna dan telefon pintar," katanya. "Bagaimanapun, itu masih jauh dari realiti, dan pada masa ini, maklumat yang boleh diekstrak dengan menggunakan kaedah tidak invasif tidak cukup baik untuk aplikasi antara muka otak-pertuturan."

Dengar ucapan yang dihasilkan oleh antara muka otak-komputer.

Untuk membangunkan teknik baru, Mesgarani dan rakannya, Dr. Ashesh Dinesh Mehta dari Institut Neurosains Institut Kesihatan Pakar Kesihatan Northwell, bermula dengan memeriksa aktiviti otak pesakit epilepsi untuk kajian mereka. Pesakit-pesakit ini sudah mempunyai implan elektrod dalam otak mereka untuk mengawasi kejang, yang Mesgarani dan Mehta dapat digunakan untuk mengumpul data untuk penyelidikan mereka.

Kedua-duanya meminta para peserta bersedia untuk mendengar pembicara membaca nombor antara sifar dan sembilan, dan kemudian merekodkan isyarat otak dari interaksi itu. Seterusnya, mereka melatih rangkaian saraf - sebuah program yang meniru struktur neuron dalam otak manusia - untuk mengenal pasti corak isyarat dan menterjemahkannya ke dalam perkataan robotic-sounding menggunakan synthesizer pertuturan, yang dikenali sebagai vocoder.

Hasilnya adalah klip suara pendek dari apa yang terdengar seperti Microsoft Sam menghitung dari sifar hingga sembilan. Bahagian yang mengagumkan adalah betapa jelas ucapannya dibandingkan dengan kaedah lain yang diteliti penyelidik. Masih ada banyak kerja yang perlu dilakukan, walaupun.

"Mungkin memerlukan satu dekad sebelum teknologi ini tersedia," kata Mesgarani. "Kami memerlukan lebih banyak kemajuan baik dalam jangka panjang, elektrod implantable bio-serasi dan / atau teknologi terobosan dalam kaedah rakaman neural yang tidak invasif. Kami juga memerlukan pemahaman yang lebih baik tentang bagaimana otak mewakili ucapan, supaya kita boleh memperbaiki kaedah penyahkodan kita."

Pesakit yang merupakan sebahagian daripada kajian ini, misalnya, semuanya mempunyai pembedahan otak untuk memasang pemantau electrocorticography. Ini adalah proses yang sangat invasif yang memerlukan pembedahan otak terbuka, sesuatu yang kebanyakan orang mungkin tidak bersedia untuk menjalani, walaupun ada kemungkinan untuk memulihkan beberapa kemampuan ucapan mereka.

Buat masa ini, kajian ini memperkenalkan kaedah untuk menyahkodkan isyarat otak ke dalam ucapan. Sekiranya kita mengetahui bagaimana untuk mengesan aktiviti otak dengan tepat tanpa pembedahan, kita akan menjadi satu langkah yang lebih dekat untuk bukan sahaja merevolusi terapi pertuturan, tetapi berpotensi untuk membawa telefon pintar yang berkaitan dengan otak.

Kajian antara muka otak-komputer telah menerima minat baru dalam beberapa tahun kebelakangan ini. Pada April 2017, Facebook mengumumkan bahawa ia sedang menjalankan BCI semasa persidangan tahunan F8. Dan Elon Musk mengumumkan pada November 2018 bahawa Neuralink, permulaan BCInya sendiri, sedang menyewa.

Abstrak

Rekonstruksi rangsangan auditori adalah teknik yang menemui ramalan terbaik rangsangan akustik dari populasi aktiviti neural yang ditimbulkan. Menambah semula ucapan dari korteks pendengaran manusia mencipta kemungkinan neuroprostetik pertuturan untuk mewujudkan komunikasi langsung dengan otak dan telah terbukti dapat dilakukan dalam kedua-dua keadaan yang terang-terangan dan rahsia. Walau bagaimanapun, kualiti rendah ucapan yang dibina semula telah mengurangkan penggunaan kaedah ini untuk aplikasi antara muka otak-komputer (BCI). Untuk memajukan canggih dalam neuroprosthesis pertuturan, kami menggabungkan kemajuan baru-baru ini dalam pembelajaran mendalam dengan inovasi terbaharu dalam teknologi sintesis ucapan untuk membina semula cerapan tertutup yang ditetapkan dari korteks pendengaran manusia. Kami menyiasat kebergantungan ketepatan rekonstruksikan pada kaedah regresi linier dan tak linear (rangkaian neural mendalam) dan perwakilan akustik yang digunakan sebagai sasaran pembinaan semula, termasuk spektrum auditori dan parameter sintesis ucapan. Di samping itu, kami membandingkan ketepatan pembinaan semula dari julat frekuensi neural rendah dan rendah. Keputusan kami menunjukkan bahawa model rangkaian neural yang mendalam yang menganggarkan parameter pensintesis pidato dari semua frekuensi saraf mencapai skor subjektif dan objektif tertinggi pada tugas pengiktirafan angka, meningkatkan kecerdasan sebanyak 65% berbanding kaedah garis dasar yang menggunakan regresi linear untuk membina semula spektrogram pendengaran. Hasil ini menunjukkan keberkesanan pembelajaran mendalam dan algoritma sintesis ucapan untuk mereka bentuk sistem BCI generasi akan datang, yang bukan sahaja dapat memulihkan komunikasi untuk pesakit lumpuh tetapi juga berpotensi untuk mengubah teknologi interaksi manusia-komputer.

Video yang Berkaitan: Robot Sensing Wave Otak Boleh Berkhidmat sebagai Sambungan Tubuh Manusia