Pomáháme neslyšícím slyšet hudbu

John Redden je neslyšící profesionální hudebník. Dokáže zpívat na tóninu, harmonizovat na tóninu a slyšet hudební intervaly dostatečně dobře, aby je reprodukoval. Dělá to pomocí kochleárního implantátu, což je počítačový čip chirurgicky zabudovaný do jeho lebky. Čip pohání 16 drobných elektrod navlečených do jeho vnitřního ucha, které stimulují jeho sluchové nervy. Získává sluchová data z externího počítače umístěného na jeho uchu, který vypadá jako naslouchátko. Místo zesilování zvuku jej však digitalizuje a posílá do implantátu rádiem přes kůži.

Hudební test: Výzkumníci z University of Washington vyvinuli počítačový test, který má posoudit, jak dobře mohou uživatelé kochleárních implantátů slyšet hudbu. Chad Ruffin, kódový vývojář testu a uživatel kochleárního implantátu, ukazuje, jak probíhá jedna část testu. Uživatel slyší konkrétní notu hranou kterýmkoli z osmi nástrojů a musí se rozhodnout, který z nich. Tato část testu měří schopnost slyšet zabarvení, jemný, ale zásadní rozdíl mezi nástroji hrajícími stejnou notu.

Technologie je zázrak, ale lidé jako Redden jsou záhadou. Software je navržen pro řeč, takže poslouchá pouze frekvence řeči, nikoli mnohem širší rozsah obsazený hudbou. Zařízení poskytuje celkový tvar zvuku spíše než podrobné informace o frekvenci, které jsou zásadní pro rozlišení jedné výšky tónu od druhé.

Většina lidí s normálním sluchem rozezná rozdíl mezi výškami, které jsou od sebe vzdáleny 1,1 půltónu. (Půltón je nejmenší interval výšky tónu v západní hudbě.) Ale studie z roku 2002 na University of Iowa zjistila, že většina uživatelů implantátů dokáže rozlišit výšky tónů pouze tehdy, když jsou od sebe vzdáleni alespoň 7,6 půltónu.

Určitého pokroku bylo dosaženo při psaní lepšího softwaru pro hudbu. Sám jsem uživatel kochleárního implantátu. V roce 2005 jsem vyzkoušel nový software, tzv Věrnost 120 , který simuloval sedm virtuálních elektrod mezi každou fyzickou elektrodou, což není nepodobné způsobu, jakým může zvukový inženýr vytvořit zvuk, který se zdá vycházet mezi dvěma reproduktory. Zaměřením na nervové populace mezi každou elektrodou mi software poskytl lepší frekvenční rozlišení. Pro mě to znamenalo velký rozdíl. Když to hraju simulace klavíru s mým starým softwarem s názvem Hi-Res nedokážu od sebe rozlišit žádné tři sousední klávesy. Ale s Fidelity 120 můžu. Hudba zní plnější, bohatší a detailnější.

Multimédia

• Viz části testu CAMP.

Ale ne každý dostane stejný výsledek. Redden, který je na tom hudebně mnohem lépe než já, zkusil Fidelity 120, ale stále preferuje Hi-Res. Takové rozdíly mezi uživatelskými zkušenostmi představují skutečné problémy pro výzkumníky, kteří chtějí vyvinout lepší software. Zážitek z hudby je nevyhnutelně subjektivní. Fanoušek Sex Pistols vám může říct, že daný kus softwaru jí umožní lépe slyšet Anarchy ve Spojeném království, zatímco fanoušek Mozarta vám může říct, že software nedělá nic pro Malá noční hudba . Subjektivní zprávy neposkytují vývojářům dostatek informací, aby věděli, zda dělají pokrok.

zeptal jsem se Jay Rubinstein , otolaryngolog a výzkumník kochleárních implantátů na University of Washington, aby vysvětlil problém. Hudba není jen jedna entita, řekl mi. Skládá se z kombinací rytmu, melodie, harmonie, disonance a textu. Je třeba jej rozdělit na jednotlivé části, aby bylo možné určit, jak dobře nebo jak špatně to někdo slyší.

Rubinstein a jeho tým výzkumníků z University of Iowa a University of Washington právě to dělají. Na výročním zasedání Asociace pro výzkum otolaryngologie ve Phoenixu dne 17. února představili počítačový test nazvaný Klinické hodnocení vnímání hudby (TÁBOR). Právě vyšel článek popisující jejich práci Otologie a neurotologie únorové číslo.

CAMP se vyhýbá rozdílům ve vkusu tím, že hudbu omezuje na tři základní složky – výšku, zabarvení a melodii – a systematicky hodnotí, jak dobře je uživatelé vnímají.

Vnímání výšky se měří, když program přehraje dva tóny v krátkém intervalu od sebe a požádá uživatele, aby rozhodl, který je vyšší. Když má uživatel pravdu, program jí dává tóny, které jsou blíže u sebe. Když nemá pravdu, dává jí tóny, které jsou od sebe dále. Během řady pokusů program vypracuje nejbližší interval, který dokáže spolehlivě rozlišit. Je to relativně snadný test, protože vše, co posluchač musí udělat, je určit, který ze dvou tónů je vyšší.

Vnímání zabarvení se měří hraním stejné noty na osm různých nástrojů. Uživatel je požádán, aby identifikoval, který nástroj slyší. Subjekt může být například dotázán, zda byl konkrétní tón zahrán na klavír, flétnu nebo saxofon. Timbre je možná nejobtížněji definovatelný aspekt hudby, ale poskytuje citlivou míru schopnosti uživatele slyšet zřetelné, ale jemné rozdíly.

Vnímání melodie se měří velmi neobvyklým způsobem. Test využívá známé melodie jako Frère Jacques a Three Blind Mice. Ale Frère Jacques by podle textu poznal kdokoli, takže text je vyjmutý. Stejně tak rytmus – tedy načasování a trvání tónů. Co zbylo, je řetězec stejně rozmístěných tónů stejné délky: melodie a nic ale melodie.

Byl jsem jedním z testovacích subjektů v prvních zkouškách CAMP. Při prvním testu jsem použil svůj starý software Hi-Res. Testování výšky bylo poměrně snadné: většinu frekvencí jsem v 75 procentech času identifikoval správně. V testu zabarvení jsem nedopadl tak dobře, dostal jsem asi 40 procent správně.

Ale test melodie mě zmátl. Úplně první melodie zněla píp píp píp píp píp píp bip píp píp. Zíral jsem na počítač. Co to sakra bylo?

Identifikoval jsem to náhodným výběrem názvu písně, protože jsem neměl ponětí, co to je, a čekal na další melodii. píp píp píp píp píp píp bip píp píp.

A další. píp píp píp píp píp píp bip píp píp.

Byli dokonce jiní?

Moje skóre bylo méně než 10 procent. Mluvil jsem s Chadem Ruffinem, jedním z konstruktérů testu, který sám měl kochleární implantát. Jak dobře, chtěl jsem vědět, by člověk, který normálně slyší, obstál v testu melodie? Asi na 100 procent, řekl mi.

Test jsme provedli znovu s Fidelity 120. Tentokrát jsem v testu melodie dopadl lépe, dosáhl jsem asi 20 procent. To bylo blíže průměrnému skóre, které, jak mi řekl Rubinstein, bylo 25 procent.

Ale John Redden si vedl mnohem lépe. Redden mi dal své skóre v testu melodie: 100 procent. Pro uživatele kochleárního implantátu to bylo mimořádné skóre. Mít profesionálně trénovaný mozek na hudbu asi pomohlo. Richard Reed, hudebník, který ve 37 letech ztratil sluch a ve 46 dostal implantát, dosáhl 86 procent. Pouze hrstka subjektů dosáhla skóre v tomto rozmezí.

Rubinstein říká, že lidé jako Redden a Reed jsou důkazem toho, co je možné. Řekl mi, že nechci lidi vést k nerealistickým očekáváním schopnosti slyšet hudbu s kochleárním implantátem, ale ve skutečnosti jsou výsledky lepší, než očekáváme. Samozřejmě existovali lidé s vysokým skóre, ale i mnozí z těch, kteří měli nízké skóre v testu melodie, si stále vedli dobře v testu vnímání výšky jako já.

Skóre naznačovalo, že rodící se schopnost vnímat výšku tónu existuje a čeká na využití s ​​lepším softwarem a lepším školením. Například Rubinsteinova laboratoř experimentovala s algoritmem využívajícím jev zvaný stochastická rezonance ke zlepšení vnímání hudby.

Uvědomil jsem si, že existuje dobrý důvod pro to, aby byl test melodie těžký. Pro uživatele implantátů to nebyl nemožný test, ale pouze velmi obtížný test. Byl to jednoduchý, snadno použitelný a spolehlivý test, který výzkumníkům umožnil objektivně měřit výkon nových algoritmů. (Příspěvek poskytující údaje o větší skupině subjektů a prokazující spolehlivost testů a opakovaných testů je v současné době přezkoumáván, říká Rubinstein.)

Test také umožňuje subjektům měřit pokrok v průběhu času. Pokud se za 10 let skóre zdvojnásobí, bude to znamenat, že uživatelé implantátů opravdu budou jsou lépe slyšet základní prvky hudby.

Test by také usnadnil výzkumníkům analyzovat výkon superposluchačů, jako je John Redden, aby nakonec mohli vyvinout nový software, který umožní ostatním neslyšícím slyšet hudbu lépe.

Michael Chorost zastřešuje implantované technologie pro Recenze technologie . Jeho kniha, Přestavěno: Jak ze mě počítač udělal více člověka , vyšel v roce 2005.

skrýt