Er is een computerprogramma ontwikkeld dat kleurenpixels van digitale beelden in muzieknoten omzet. De software stelt een blinde wetenschapper in staat driedimensionale kaarten te lezen. In de toekomst geeft het idee mensen met een visuele handicap misschien toegang tot afbeeldingen in het algemeen.
Victor Kai-Chiu Wong uit Hong Kong werd op zijn zevende blind. Hij doet onderzoek voor zijn doctoraal aan de faculteit informatica en elektrotechniek van de Cornell Universiteit in de Amerikaanse staat New York. Zijn vakgebied is "space weather", het voorspellen van het weer in de bovenste regionen van de dampkring. Wong stuitte op problemen toen hij gekleurde weerkaarten moest lezen om wiskundige modellen te kunnen maken. Eerst is getracht de kaarten te beschrijven en vervolgens om ze in braille te printen. Kleur geeft de kaarten echter een derde dimensie. En als wetenschapper moet Wong zeer kleine schommelingen kunnen onderscheiden. Samen met een grafisch onderzoeker en een technische student zocht Wong naar een andere manier.
Geluid leek de meest logische oplossing, aangezien kleur en geluid direct aan elkaar kunnen worden gerelateerd. Uiteindelijk leidde dat tot de ontwikkeling van software die kleurenpixels omzet naar muzieknoten. De volledige schaal van 88 pianotoetsen werd toegekend aan individuele kleurenresoluties. Blauw zit aan de laagste en rood aan de hoogste kant van het register. Het programma werkt met behulp van een Wacom tablet met pen, die de posities op een computerscherm associeert met punten op het tablet. Als de pen over het tablet beweegt en dus de afbeelding aftast, klinken de pianotonen. Verder heeft het programma een beeld-naar-spraak functie die de coördinaten en de kleurwaarde van elk gegeven punt opleest.
De toepassing staat volgens de bedenkers nog in kinderschoenen. Het team hoopt op geld voor de verdere ontwikkeling. "Complexe kleurenbeelden vormen slechts een klein deel van de problemen waar blinde wetenschappers tegenaan lopen. Toch denk ik dat dit best een belangrijk idee is", aldus Wong.
De wetenschappers werken momenteel aan herkenning van grotere patronen. Wong moet een plaatje punt voor punt onderzoeken om de grote lijnen ervan te kunnen begrijpen. Dit kan erg tijdrovend zijn. Met patroonherkenning kunnen grote vlakken van één kleur worden geïdentificeerd, zodat hij sneller een overzicht krijgt.
Bronnen:
www.news.cornell.edu
www.cornellsun.com