Beyin-Bilgisayar Arayüzü, Düşünceleri Konuşmaya Çevirebilir

Neuroengineers, Salı günü yayınlanan bir araştırmaya göre, basit düşünceleri, yapay zeka ve bir konuşma sentezleyici kullanarak tanınabilir konuşmaya çevirebilecek yeni bir sistem yarattı.

New York merkezli bir araştırmacı ekibi, düşüncelerinizi metin mesajlarına dönüştürebilen bir akıllı telefon gibi beyin kontrollü teknolojilerin önünü açabilecek bir inovasyon olan sadece beyin aktivitesini kullanarak kelimeleri yeniden oluşturabildi.

Columbia Üniversitesi’nde doçent olan Dr. Nima Mesgarani, araştırmaya liderlik etti Ters Bir inmeden iyileşen ya da amyotrofik lateral skleroz (ALS) ile yaşayan insanlarla konuşmayı yeniden kurma konusunda büyük potansiyel görüyor. Çizginin ilerisinde, bu tür bir teknoloji, yine de uzak bir yol olsa da, kullanıcıların zihinlerini kullanarak mesajlaşmasına izin verebilecek beyine bağlı akıllı telefonlara kapılar açabilir. Çalışmaları dergide yayınlandı Bilimsel Raporlar.

“Bu çalışmanın motivasyonlarından biri… bir kullanıcı ile bir akıllı telefon arasındaki olası bir arayüz gibi alternatif insan-bilgisayar etkileşimi yöntemleri için” diyor. “Ancak, bu hala gerçeklikten uzak ve şu anda, invazif olmayan yöntemler kullanarak elde edilebilecek bilgiler bir konuşma beyin-bilgisayar arayüzü uygulaması için yeterince iyi değil.”

Beyin-bilgisayar arayüzü tarafından üretilen konuşmayı dinleyin.

Yeni tekniği geliştirmek için, Mesgarani ve meslektaşı, Northwell Sağlık Doktoru Ortakları Sinirbilim Enstitüsü'nden Dr. Ashesh Dinesh Mehta, epilepsi hastalarının çalışmaları için beyin aktivitesini inceleyerek başladı. Bu hastalarda zaten Mesgarani ve Mehta'nın araştırmaları için veri toplamak için kullanabilecekleri nöbetleri izlemek için beyinlerinde elektrot implantları vardı.

İkili, katılımcılardan konuşmacıları dinlemelerini isteyerek, sıfır ile dokuz arasındaki sayıları okudu ve ardından bu etkileşimin beyin sinyallerini kaydetti. Daha sonra, sinirlerdeki bir ağı - insan beynindeki nöron yapısını taklit eden bir program - sinyallerdeki kalıpları tanıma ve onları ses kodlayıcı olarak bilinen bir konuşma sentezleyici kullanarak robotik-sesli kelimelere çevirmeye yarayan bir program geliştirdiler.

Sonuç, Microsoft Sam gibi seslerin sıfırdan dokuza kadar saydığı kısa bir ses klibidir. Etkileyici kısım, konuşmanın araştırmacıların test ettiği diğer yöntemlerle karşılaştırıldığında ne kadar net olduğu. Yine de yapılacak çok iş var.

Mesgarani, “Bu teknolojinin sunulması on yıl alabilir” diyor. “İnvaziv olmayan nöral kayıt yöntemlerinde hem uzun vadeli, biyo-uyumlu implante edilebilir elektrotlarda hem de / veya çığır açan teknolojilerde daha fazla ilerlemeye ihtiyacımız var. Ayrıca beynin konuşmayı nasıl temsil ettiğini daha iyi anlamamız gerekir, böylece kod çözme yöntemlerimizi geliştirebiliriz. ”

Bu çalışmanın bir parçası olan hastalar, örneğin, elektrokortikografi monitörlerini implante etmek için beyin ameliyatı geçirdiler. Bu, açık konuşma ameliyatı gerektiren, çoğu insanın konuşma kabiliyetlerini eski haline getirme olasılığı olsa bile, çoğu insanın istemediği bir işlemdir.

Şimdilik bu çalışma, beyin sinyallerini konuşmaya kodlamak için bir yöntem ortaya koydu. Beyin aktivitesini ameliyat olmadan nasıl doğru bir şekilde tespit edeceğimizi bulursak, sadece konuşma terapisinde devrim yapmanın yanı sıra beynin bağlı olduğu akıllı telefonları ortaya çıkarmak için potansiyel olarak bir adım daha yaklaşacağız.

Beyin-bilgisayar arayüzü araştırması son birkaç yılda yeni bir ilgi görüyor. Nisan 2017'de, Facebook yıllık F8 konferansında bir BCI üzerinde çalıştığını açıkladı. Ve Elon Musk, 2018 yılının Kasım ayında, kendi BCI başlangıcı olan Neuralink'in işe alındığını duyurdu.

soyut

İşitsel uyaran rekonstrüksiyonu, akustik uyaran ile uyarılmış sinirsel aktivite popülasyonundan en iyi yaklaşımı bulan bir tekniktir. İnsanın işitsel korteksinden yapılan konuşmanın yeniden yapılandırılması, bir nöroprostetik konuşmanın beyiyle doğrudan bir iletişim kurma olasılığını yaratır ve hem açık hem de gizli koşullarda mümkün olabileceği gösterilmiştir. Bununla birlikte, yeniden yapılandırılmış konuşmanın kalitesinin düşük olması, beyin-bilgisayar arayüzü (BCI) uygulamaları için bu yöntemin faydasını ciddi şekilde sınırlamıştır. Konuşma nöroprotezindeki en son teknolojiyi geliştirmek için, derin öğrenmedeki son gelişmeleri konuşma sentezi teknolojilerindeki en son yeniliklerle birleştirdik ve insan işitsel korteksinden kapalı set anlaşılır konuşmasını yeniden oluşturduk. Yeniden yapılanma doğruluğunun doğrusal ve doğrusal olmayan (derin sinir ağı) regresyon yöntemlerine bağımlılığını ve işitsel spektrogram ve konuşma sentezi parametreleri de dahil olmak üzere yeniden yapılanmanın hedefi olarak kullanılan akustik gösterimi araştırdık. Ek olarak, rekonstrüksiyon doğruluğunu düşük ve yüksek sinir frekans aralıklarından karşılaştırdık. Sonuçlarımız, bir konuşma sentezleyicisinin parametrelerini tüm sinir frekanslarından doğrudan tahmin eden derin bir sinir ağı modelinin, bir rakam tanıma görevinde en yüksek subjektif ve objektif puanları elde ederek, doğrusal regresyonu kullanılan temel yönteme göre anlaşılırlığı% 65 artırarak geliştirdiğini göstermektedir. işitsel spektrogramı yeniden yapılandırın. Bu sonuçlar, derinlemesine öğrenme ve konuşma sentezi algoritmalarının, yalnızca felçli hastalar için iletişimi eski haline getirecek aynı zamanda insan-bilgisayar etkileşimi teknolojilerini dönüştürme potansiyeline sahip gelecek nesil BCI sistemlerinin tasarlanmasında da etkililiğini göstermektedir.

Related Video: Beyin Dalgası Algılama Robotları, İnsan Vücudunun Bir Uzantısı Olarak Hizmet Verebilir