Etter 18 år uten stemme har en kvinne fra Canada fått tilbake evnen til å snakke ved hjelp av et KI-drevet hjerneimplantat. Ann Johnson, som ble lammet etter et hjerneinfarkt i 2005, deltok i et banebrytende klinisk forsøk der forskere har klart å oversette hjerneaktivitet direkte til tale, tekst og ansiktsuttrykk.
Da hun var 30 år gammel, levde Ann Johnson i Saskatchewan et fullt liv. Hun underviste i matematikk og kroppsøving på en videregående skole, var volleyball- og basketballtrener, og hadde nylig giftet seg og fått sitt første barn. I sitt eget bryllup holdt hun en 15 minutters tale fylt med glede.
Alt forandret seg i 2005 da hun fikk et hjerneinfarkt mens hun spilte volleyball med venner. Slaget etterlot henne med locked-in-syndrom, nesten total lammelse og manglende evne til å snakke. «Hun forsøkte å snakke, men munnen beveget seg ikke og ingen lyd kom ut,» fortalte forskerne. I nesten tjue år kommuniserte hun langsomt gjennom et øyestyringssystem, der hun stavet ord én bokstav om gangen.
I 2022 ble Johnson den tredje deltakeren i et klinisk forsøk ledet av forskere ved University of California, San Francisco, og University of California, Berkeley. Prosjektet hadde som mål å gjenopprette tale ved hjelp av en hjerne-datamaskin-grensesnitt, en nevroprotese, som omgår kroppens skadede forbindelser.
«Vi klarte å få en god forståelse av den delen av hjernen som faktisk er ansvarlig for taleproduksjon,» sa Gopala Anumanchipalli, førsteamanuensis ved UC Berkeley, som startet arbeidet i 2015 som postdoktor sammen med Edward Chang, en nevrokirurg ved UCSF. «Derfra fant de ut hvordan de kunne modellere prosessen beregningsmessig slik at de kunne syntetisere fra hjerneaktiviteten hva noen forsøker å si.»
Apparatet registrerer signaler fra hjernens talesentre og sender dem til en KI-modell trent til å oversette aktiviteten til tekst, lyd eller til og med ansiktsanimasjon. «Akkurat som Siri oversetter stemmen din til tekst, oversetter denne KI-modellen hjerneaktiviteten til tekst, lyd eller ansiktsanimasjon,» sa Kaylo Littlejohn, doktorgradsstudent og medleder for studien.
For å gi Johnson en kroppslig opplevelse, fikk hun velge blant ulike avatarer, og forskerne brukte et opptak fra hennes bryllupstale for å gjenskape stemmen hennes. Et implantat koblet til en nærliggende datamaskin ble plassert over området i hjernen som bearbeider tale og fungerte som en slags tankeleser. Deretter viste forskerne henne setninger og ba henne forsøke å si dem.
«Hun kan ikke, fordi hun er lammet, men signalene blir fremdeles utløst fra hjernen hennes, og den nevrologiske opptaksenheten registrerer disse signalene,» sa Littlejohn. Den nevrologiske dekoderen sender dem så til datamaskinen der KI-modellen befinner seg, og der blir de oversatt. «Akkurat som Siri oversetter stemmen din til tekst, oversetter denne AI-modellen hjerneaktiviteten til tekst, lyd eller ansiktsanimasjon,» sa han. – Berkeley.edu
For Johnson var forsøket følelsesladet. «Hva synes du om stemmen min? Fortell meg om deg selv. Jeg har det bra i dag,» spurte hun mannen sin under en av øktene. Forskerne hadde brukt opptaket fra bryllupstalen hennes til å gjenskape stemmen hennes og kombinert det med en digital avatar hun hadde valgt selv.
«Vi ønsket ikke å lese tankene hennes,» understreket Anumanchipalli. «Vi ville virkelig gi henne selvstendighet til å gjøre dette. I noen økter der hun ikke gjør noe, har vi dekoderen gående, og den gjør ingenting fordi hun ikke prøver å si noe. Bare når hun forsøker å si noe, hører vi en lyd eller en kommando.»
Den tidlige versjonen av systemet hadde en forsinkelse på åtte sekunder mellom når Johnson ble bedt om å si noe og når talen ble produsert. Men en studie publisert i tidsskriftet Nature Neuroscience i mars beskrev en strømme-arkitektur som reduserte forsinkelsen til omtrent ett sekund, noe som gjorde nesten sanntidsoversettelse mulig. Mens avataren i de tidlige testene bare hadde en svak likhet med henne, sier forskerne at mer livaktige, fotorealistiske 3D-versjoner er mulig. «Vi kan forestille oss at vi kan skape en digital klone som er tett integrert, med alle preferansene, på samme måte som Zoom lar oss ha alle disse effektene,» sa Anumanchipalli.
Johnsons implantat ble fjernet i februar 2024 av grunner som ikke hadde med forsøket å gjøre, men hun fortsetter å være rådgiver for forskerteamet. Hun har oppfordret dem til å utvikle trådløse implantater og fortalte dem at strømmesyntesen «fikk henne til å føle seg i kontroll.»
Med blikket rettet fremover sa Anumanchipalli at målet er at nevroproteser skal være «plug-and-play» og bli en del av standard medisinsk behandling. «Hvis det betyr at de har en digital versjon av seg selv som kommuniserer for dem, så er det det de må kunne gjøre,» sa han.
Johnson håper å kunne jobbe som rådgiver på et fysisk rehabiliteringssenter, helst med en slik enhet. «Jeg vil at pasientene der skal se meg og vite at livene deres ikke er over nå,» skrev hun til en UCSF-reporter. «Jeg vil vise dem at funksjonsnedsettelser ikke trenger å stoppe oss eller bremse oss.»
