Scientists at the Catholic University of Leuven (KUL) have developed an apparatus that reads the thoughts of patients who are unable to speak or to type on a conventional keyboard.
The scientific facts, of course, don't quite live up to the promise of that headline. The so-called Mind Speller, developed by a team of researchers under Professor Marc Van Hulle of the university's neurophysiology department, is essentially a swim-cap with electrodes attached to an electro-encephalograph (EEG) machine. The patient looks at a set of signs - letters, numbers and punctuation marks - and the machine "reads" whichever sign has been selected.
The patient is then able to build up words and sentences, one letter at a time, which can be read from a screen or transformed into speech. At a later stage, the team wants to integrate word-completion and the sort of predictive text function already common on mobile phones.
The device was developed for Professor Van Hulle by IMEC in Leuven, the country's largest research centre for nanotechnology. The apparatus has been tested on 12 patients with encouraging results.
It was also tested last week by a volunteer, Het Nieuwsblad reporter Inge Bosschaerts, who described the experiment as a success, albeit one that requires concentration and takes a long time to produce results.
Van Hulle promised to introduce improvements and replace the swim-cap with a sort of diadem containing the essential components. "We hope to have the set on the market within two years," he said. The price will be around 200 euros.
The Mind Speller was last week awarded the annual Swift Prize, which recognises organisations using communication and information technologies, worth 50,000 euros.
Ce n'est pas de la science-fiction: ça se passe près de chez nous, à Louvain. Il y a quelques jours, le Laboratoire de Neuro-psycho-physiologie de l'université catholique de Louvain (KUL) annonçait la mise au point d'un logiciel très particulier: un programme d'intelligence artificielle capable de lire les lettres dans notre cerveau, puis de les restituer sur écran afin de former des phrases. Magique? Non, un pur produit d'ingénierie informatique, qui n'a même pas besoin de médecin pour fonctionner.
Comment est-ce possible? Nous avons testé l'engin pour le reprendre un peu moins "Star Trek". Et c'est bluffant.
Concrètement, la machine qui "lit dans les pensées" fonctionne via un genre de bonnet de bain (très peu sexy) orné de dix électrodes. Celles-ci viennent capter les ondes électriques du cerveau au niveau des zones occipitale (derrière les yeux) et pariétale (sommet du crâne).
Pour améliorer le contact entre ces capteurs et le cuir chevelu, Adrien Combaz, l'un des trois doctorants à l'origine de l'engin, injecte un gel glacial dans les trous du bonnet... Gla-gla
Ce "casque" est relié par Bluetooth à un PC portable, via un électro-encéphalogramme. Celui-ci capte un signal électrique cérébral précis - appelé "oddball P300" -, dans la fréquence d'ondes dite "alpha" (qui correspondent à la concentration).
Sur l'écran apparaissent des lettres (dans l'ordre alphabétique), suivies de chiffres et de trois fonctions: espace (entre les mots), backspace (pour revenir en arrière) et stop. Un premier test permet au logiciel de mémoriser la façon dont "P300" s'exprime dans mon cerveau. Résultat: parfait.
Le principe consiste à fixer successivement les lettres du mot qu'on veut exprimer. Celles-ci s'affichent au fur et à mesure en haut de l'écran. Pour sélectionner une lettre, on se concentre dessus pendant que toutes les rangées se mettent à clignoter, jusqu'à ce que la lettre désirée ait scintillé 20 fois. Est-ce que ça va marcher?
De gedachtenlezer werkt écht
Een computer die gedachten kan lezen: het heeft een hoog sciencefictiongehalte, maar aan de Katholieke Universiteit van Leuven is het nu ook realiteit. Wij namen de proef op de som en gooiden onze gedachten te grabbel. Mét succes. Inge Bosschaerts
"We hopen het toestel binnen twee jaar op de markt te brengen voor de prijs van 200 euro" Marc Van Hulle (KU Leuven)
Professor Marc Van Hulle (KULeuven) heeft samen met zijn team de Mind Speller ontwikkeld, een apparaat dat gedachten kan omzetten in woorden (Het Nieuwsblad van 25 februari, nvdr.). Dat wilden wij weleens uittesten. Denken mannen echt om de zeven seconden aan seks? En wat vindt die knappe collega eigenlijk van mij? Of om het over een ernstiger boeg te gooien: waaraan denkt Europees president Herman Van Rompuy tijdens lange vergaderingen?
Wie een antwoord op dat soort vragen verwacht, kan zich de reis naar Leuven besparen. Onze diepste gedachten zitten - gelukkig maar - nog steeds veilig in onze hersenpan, al slaagt professor Van Hulle er wel in om ons zonder woorden met elkaar te laten communiceren.
Weinig modieuze muts
Je moet er wel flink wat geduld voor oefenen. Als het computerprogramma eindelijk klaar is, zijn we al snel een uurtje later. Dan wordt een flinke portie kleverige gel op ons hoofd gesmeerd, krijgen we een weinig modieuze muts over de oren en worden er een heleboel kabels ingeplugd. Klaar? Absoluut!
Hoewel, willen we onze diepste gedachten zomaar te grabbel gooien? Helaas, terugkrabbelen kan niet meer en dus beginnen we met een klein hartje 'te denken'. Al blijkt dat gelukkig nogal mee te vallen. De gedachten die op het scherm verschijnen, kan je zelf sturen. Op het scherm verschijnt het alfabet. De letters lichten één na één geel op. Als je lang genoeg geconcentreerd naar jouw letter kijkt, begrijpt de computer dat. Op die manier kan je woorden vormen zonder een spier te verroeren, en dat werkt nog ook. Dankzij de gel, de muts en de kabels lijkt die computer te weten dat we aan een 'e' denken. Sciencefiction? Niet meer, zo blijkt.
Al gaat het toch niet zonder moeite. Concentreren is de boodschap. We zijn nog maar net 'aan het denken', als de gedachten afdwalen. 'Is dat mijn gsm die ik hoor rinkelen?' Genoeg om het hele systeem te ontregelen: een 'b' in plaats van een 't'. Opnieuw! Mensen met een handicap - waarvoor het systeem eigenlijk bedoeld is - zitten zo al gauw een kwartiertje te 'denken' voor ze hun gesprekspartner duidelijk kunnen maken dat ze trek hebben in een pizza bolognese.
Prototype
'
Daar wordt aan gewerkt', stelt professor Van Hulle ons gerust. '
Dit is nog maar een prototype. Bedoeling is om die tijd fors naar beneden te halen en ook wat te doen aan het uitzicht van het ding. Want dat die muts weinig flatterend is, dat weten wij ook wel. Als de Mind Speller in de winkelrekken ligt, zal dat niet met een muts, maar met een veel bescheidener diadeem zijn. We hopen het toestel binnen twee jaar op de markt te brengen. Daar zal een prijskaartje van zo'n 200 euro aan vasthangen.'
En hoe zit dat met onze gedachten? We hielden het kuis en professioneel: Het Nieuwsblad, stond er na een flinke portie denkwerk op het scherm.
ibo
© 2010 Corelio
[
pdf-version]
'Mind speller', de hersenspeller, heet het toestel dat professor Marc Van Hulle van het Laboratorium voor Neuro- en Psychofysiologie (K.U.Leuven) in samenwerking met technologieproducent IMEC ontwikkelde. De hersenspeller werkt via een draagbaar EEG-toestel, een meetinstrument voor hersengolven. Een testpersoon krijgt een 'badmuts' met elektroden op het hoofd, die de hersengolven doorstuurt naar het EEG-apparaat. "
We tonen op een computerscherm series van letters", verduidelijkt professor Van Hulle. "
Herkent de testpersoon op het scherm de letter die hij wil spellen, dan zet de computer die hersengolf om naar die letter. Zo kan je hele woorden spellen."
Al hoeft dat niet letter per letter.
"Er zit een woordherkenningssysteem bij, zoals bij sms. Zo kan de testpersoon het juiste woord selecteren uit een aantal voorstellen die de computer maakt."
Van Hulle testte het apparaat in Wit-Rusland op 12 patiënten die verlamd werden na een hersenbloeding. De resultaten waren wisselend, "
afhankelijk van de aantasting van de patiënt en zijn motivatie. Sommigen slaagden erin om hele woorden zelf te spellen."
Het systeem zou ook met pictogrammen kunnen werken. "
Denk maar aan domotica: je zou met je gedachten het licht kunnen uitdoen door naar het juiste pictogram te kijken."
Maar in de eerste plaats is het toestel interessant voor mensen die niet kunnen spreken of bewegen. Zoals comapatiënt Rom Houben. "
Ik las dat de testen met zijn huidige communicatiemiddel negatief uitdraaiden", vertelt Van Hulle. "
Dus contacteerde ik zijn neuroloog Steven Laureys. Die was heel enthousiast om dit toestel te proberen, na alle kritiek die hij over zich heen kreeg."
Van Hulle is heel voorzichtig met het voorspellen van resultaten. "
Rom kan zelfs geen oogbewegingen maken. We moeten het computerscherm dus in zijn gezichtsveld plaatsen. Al weten we niet eens of hij wel kan zien. Dit project is ook voor ons een hele uitdaging."
SofVa
© 2010 Concentra
[
pdf-version]
2010-02-25
Dit toestel weet wat u denkt
Een apparaat dat in staat is om gedachten te lezen endie gedachten omzet naar woorden. Hoe futuristischen angstaanjagend het ook klinkt, het is een feit. Professor Marc Van Hulle van de KU Leuven is degeestelijke vader van de mind speller. Het toestelheeft net de SWIFT-prijs ter waarde van 50.000 euro opgestreken.
Amper twee jaar werkte hetteam van Van Hulle, die deel uitmaakt van het laboratorium voor neuro- en psychofysiologieaan de KU Leuven, in samenwerking met onder meer IMEC aande mind speller: een apparaatje,iets groter dan een luciferdoosjemet een antenne en een badmuts met elektroden. Maar dat is enkelde eerste, ruwe versie. "
Ik hoop op termijn te komen tot een diadeem die alle nodige technologiebevat", zegt Van Hulle. Plus een usb-stick, want die isonontbeerlijk. "
Je plugt de usb-stick in en zet de technologieaan", legt Van Hulle uit. "
Op het computerscherm verschijnt vervolgens een soort van toetsenbord met letters, cijfers en symbolen. De patiënt concentreert zich op één vakje en wanneer de hersengolven worden opgevangen, licht de letter of het symbool in kwestie op. Op die manierkunnen woorden en zinnengevormd worden." Op dit moment gaat het nog behoorlijktraag. "
Tien symbolen per minuut", zegt Van Hulle, "
maarwe werken er aan om de snelheidop te drijven. We hopen uit tekomen op één symbool per seconde." Via muziek zoudenzelfs emoties van patiënten kunnen waargenomen worden. In de literatuur - ook de wetenschappelijke - bestond het ideevan een apparaat dat gedachtenkan lezen al langer. "
Maar tot nutoe waren er praktische problemen. De snelheid, onder meer, maar ook de foutenmarge en deomvang", legt Van Hulle uit. "
Wijzijn er als eerste in geslaagd omeen draagbare toepassing te ontwikkelen."
In het geniep getest
De mind speller werd inmiddels bij twaalf patiënten getest."
Een beetje in het geniep want wehadden op dat moment de medische toestemming nog niet", zegt Van Hulle, "
maar ze stondenallemaal versteld. Soms wildenze de mind speller al niet meerafgeven. Je kunt er nog een heleboel toepassingen op enten die veel mensen een stuk zelfstandiger kunnen maken. Zo zouden zezelf bankverrichtingen kunnendoen waarbij het EEG-diagram, dat uniek is, kan dienen als identificatie. Je kunt het ook inwerken in domotica zodat mensen enkel door te kijken een deur kunnen openen of een taxi kunnen bestellen." Van Hulle heeft contact opgenomen met Steven Laureys, de dokter die wereldnieuws werd toenhij bekendmaakte dat comapatiënt Ron Houben na jaren in isolement blijkbaar toch kon communiceren. Dat bleek achteraf tesnel victorie gekraaid, maar Van Hulle hoopt dat hij nu soelaaskan bieden. "
Al moeten we bekijken wat we kunnen doen. Bij Ron Houben is ook het visueel systeem aangetast en dat maakte dezaak moeilijker dan bij patiëntendie wel gerichte oogbewegingen kunnen maken." Maar het nut blijft niet beperkttot de medische sector. Ookgamewereld is enthousiast. "
Zeker als het apparaat op snelheid is, kan het interessant worden. Vaak is een blik sneller danhet indrukken van een knop." En Van Hulle ziet nog veel meermogelijkheden. "
Ik denk aan het bedrijfsleven", zegt hij. "
Ik heb als jobstudent wel eens in een fabriek gewerkt waarbij je je tweehanden op een knop moest plaatsen voordat de machine in werking trad. Als een soort veiligheid, zeg maar. Alleen verlies je op zo'n moment wel alle controle. Geef de werknemer eenmind speller en hij kan bijvoorbeeld louter door te kijken naarhet woordje 'go' de machine in gang zetten."
Aanvaardbare prijs
De SWIFT-prijs, die jaarlijks een Belgisch of Nederlands projectdat dankzij een vernieuwendgebruik van technologie mensendichter bij elkaar brengt, helpthet onderzoek weer een stapvooruit. Op middellange termijn hoopt Marc Van Hulle dat demind speller gewoon in de handel te verkrijgen zal zijn. "
En dan liefst nog voor een prijs waarbij het toestel voor zoveelmogelijk mensen toegankelijk is. Maar ja, ik ben dan ook een wetenschapper en die moetengeen winst maken."
©2010 De Morgen
[
pdf-version]
2010-02-25 VRT
LEUVEN (BELGA) - Onderzoekers van de KU Leuven hebben een prototype van een draagbaar toestel ontwikkeld dat hersensignalen omzet in woorden en zinnen. Het apparaat heeft gisteren de Swift-prijs gewonnen, goed voor een beurs van vijftigduizend euro. Dat meldt de Leuvense Campuskrant.
Het toestel, de Mind Speller, zou bruikbaar moeten zijn om zwaar verlamde patiënten te helpen met communiceren.
Het apparaat heeft de grootte van een luciferdoosje en is verbonden met een soort badmuts waarin elektroden verwerkt zijn waarmee de elektrische activiteit van de hersenen geregistreerd wordt.
De 'gedachtespeller' is ontwikkeld door een team van het laboratorium voor neuro- en psychofysiologie, onder leiding van Marc Van Hulle. De elektronica van het toestelletje werd gebouwd door het micro-elektronicalab Imec in Leuven.
De signalen die door het apparaat worden opgevangen kunnen via een usb-stick worden overgebracht op een pc, waar ze met een speciaal ontwikkeld programma worden gedecodeerd.
Volgens professor Marc Van Hulle is het apparaat al met succes uitgetest op twaalf patiënten die door een hersenbloeding getroffen werden. "We kunnen tot zo'n tien karakters per minuut vormen. Voor mensen die niet via spraak of bewegingen kunnen communiceren, betekent dit een cruciale doorbraak in hun streven naar onafhankelijkheid en sociale contacten", zegt Van Hulle in de Campuskrant.
Van Hulle en zijn team werken nu aan een verbeterde versie van het apparaat, waarbij de volledige elektronica ingewerkt is in een 'diadeem'. Dat moet er aantrekkelijker uitzien dat een badmuts-met-luciferdoosje. De Swift-prijs moet volgens Van Hulle helpen om het experiment binnen de twee jaar om te zetten in een marktrijp product.
Behalve de onderzoeksgroep van Van Hulle en Imec werkten ook het Lemmensinstituut, Groep T en de neurologische onderzoeksgroepen van Vincent Thijs en Wim Robberecht en de Afdeling Experimentele Oto-rino-laryngologie van Ann Goeleven mee aan het onderzoek.
Sinds 1997 bekroont het Swift-fonds ieder jaar een vernieuwend technologisch project uit België of Nederland, dat mensen dichter bij elkaar brengt.
Professor Marc Van Hulle en zijn team zijn erin geslaagd een compact draagbaar toestel te ontwikkelen dat hersensignalen omzet in woorden en zinnen: de mind speller. Vandaag krijgt het project de SWIFT Prijs 2009, goed voor een beurs van 50.000 euro.
Een intelligent tekstueel en verbaal communicatieapparaat voor personen met een motorische beperking, zo luidt de Nederlandse omschrijving van de mind speller die op het Laboratorium voor Neuro- en Psychofysiologie ontwikkeld werd. '
Het gaat om een EEG-apparaatje waarvan de elektronica door IMEC werd gemaakt, dat erin slaagt via hersengolven de gedachten te lezen en karakters te spellen van personen die lijden aan verlamming', verduidelijkt professor Van Hulle. '
Ook personen die onderhevig zijn aan spraak- of taalstoornissen kunnen op die manier in communicatie treden met de buitenwereld.'
'
Het apparaat slaagt erin karakters te spellen, en kan in een geavanceerde vorm voorzien zijn van automatische woordvervollediging of zinsconstructie. Bij personen die niet in staat zijn om woorden te herkennen of te vormen, zou men met dit apparaat ook emoties kunnen lezen, bijvoorbeeld via muziek. De toepassing zal in eerste instantie medisch zijn. Maar ook de game-wereld ziet er toekomstmuziek in.'
Diadeem
De mind speller is een draagbaar apparaat ter grootte van een luciferdoosje dat een batterij bevat en verbonden is met een soort badmuts die de elektroden op de hoofdhuid aanbrengt. De signalen die door het apparaat worden opgevangen kunnen via een USB-stick worden overgebracht op de pc waar ze met een speciaal ontwikkeld programma worden gedecodeerd.
'
We hebben het systeem getest op een twaalftal patiënten die door een hersenbloeding getroffen waren en we zijn erin geslaagd woorden te construeren die hun gedachten weergeven. We kunnen tot zo'n tien karakters per minuut vormen. Voor mensen die niet via spraak of bewegingen kunnen communiceren, betekent dit een cruciale doorbraak in hun streven naar onafhankelijkheid en sociale contacten. Dankzij dit compacte communicatieapparaat kunnen ze in contact treden met anderen, zodat ze opnieuw kunnen integreren in de sociale gemeenschap.'
Professor Van Hulle en zijn team werken nu aan de ontwikkeling van een diadeem die de volledige elektronica bevat die nodig is voor de mind speller. De toekenning van de SWIFT Prijs maakt het mogelijk het experiment binnen de twee jaar om te zetten in een marktrijp product. De mind speller kwam tot stand door samenwerking met IMEC, het Lemmensinstituut, Groep T en de neurologische onderzoeksgroepen van de professoren Vincent Thijs en Wim Robberecht en van de Afdeling Experimentele Oto-rino-laryngologie van professor Ann Goeleven. Sinds 1997 bekroont het SWIFT Fonds ieder jaar een Belgisch of Nederlands project dat dankzij een vernieuwend gebruik van technologie mensen dichter bij elkaar brengt.
[
pdf-version]
The Catholic University of Leuven (K.U. Leuven) has been awarded the SWIFT Prize, that helps build bridges between people and technology, for its project concerning an intelligent verbal and textual communication device (mind speller) for people with motor disabilities.
The prize-giving took place on Wednesday 24th February 2010, at SWIFT in La Hulpe.
For its 12th call for projects, the SWIFT Fund has decided to award the SWIFT Prize of 50,000 euros to the Katholieke Universiteit Leuven to develop a new generation of communication tool (mind speller) in its Computational Neuroscience Research Group of the Laboratory for Neuro- & Psychophysiology (Medical School) for people with serious motor disabilities.
Professor Van Hulle and his team of researchers have modified the paradigm of the current mind speller model as well as the software that decodes a patient's brain responses and this has led to improvements in both speed and reliability. The device will record patients brain activity thanks to a portable and non-invasive device (fewer electrodes, a pocket computer etc.).
Users, who will be mainly people who have suffered a stroke and those with other neurological conditions, will thus be better able to communicate with those around them and improve their social relationships. Furthermore, the digital format of the text produced will enable users to write letters and e-mails for example.
The SWIFT Fund, managed by the King Baudouin Foundation, was established in 1997 by SWIFT with the aim of awarding a 50,000 euro prize to a high-quality Belgian or Dutch project that helps build bridges between people through innovative applications of technology. The Fund will launch its next call for projects in June 2010.
SWIFT is a member-owned cooperative that provides the communications platform, products and services to connect over 8,900 banking organisations, securities institutions and corporate customers in more than 200 countries.
Other (web) resources
- 2010-02-25 Niewsblad.be
- 2010-02-25 ALS Liga Belgie
- 2010-02-25 www.zita.be
- The complete press overview as gathered by IMEC. Covered countries/regions: Asia, Australia, Belgium, China, Eastern Europe, France, India, Nordic Countries, Spain, Taiwan, The Netherlands, UK, & US.
