"Twee tellers - één oplossing": hoe de hersenen geluid en beeld combineren om sneller op een knop te drukken

Bij een ritselend geluid in het gras en een flikkerende schaduw reageren we sneller dan bij een enkel geluid of een flits. Klassiek. Maar wat gebeurt er precies in de hersenen in die fracties van een seconde? Een nieuw artikel in Nature Human Behaviour toont aan dat zicht en gehoor afzonderlijk bewijs verzamelen, en op het moment van de beslissing activeert hun 'samenvoeging' één enkele motorische trigger. Met andere woorden, er zijn twee sensorische accumulatoren in het hoofd die samen één enkel motorisch mechanisme activeren.

Achtergrond

Hoe de hersenen snelle beslissingen nemen in een "lawaaierige wereld" van geluiden en beelden is een eeuwenoude vraag, maar zonder eenduidig antwoord. Sinds de late 19e en 20e eeuw is het "redundante signalen effect" (RSE) bekend in de psychofysica: als een doelwit gelijktijdig in twee modaliteiten wordt gepresenteerd (bijvoorbeeld een flits en een toon), is de reactie sneller dan bij één signaal. De discussie ging over het mechanisme: een "race" van onafhankelijke kanalen (racemodel), waarbij het snelste sensorische proces wint, of coactivatie, waarbij bewijs uit verschillende modaliteiten daadwerkelijk optelt voordat een reactie wordt getriggerd. Formele tests (zoals Millers ongelijkheid) hielpen op gedragsniveau, maar lieten niet zien waar de "vouw" precies ontstaat: aan de kant van sensorische accumulatoren of al bij de motorische trigger.

De afgelopen 10-15 jaar heeft de neurofysiologie betrouwbare markers opgeleverd voor deze latente stadia. Met name de centro-pariëtale positiviteit (CPP), een supramodaal EEG-signaal dat "accumulatie tot drempelwaarde" genereert en goed aansluit bij drift-diffusiemodellen van besluitvorming, en de bètareductie (~20 Hz) in de linker motorische cortex als indicator voor bewegingsvoorbereiding. Deze signalen hebben het mogelijk gemaakt om computationele modellen te koppelen aan echte hersencircuits. Maar er blijven belangrijke hiaten bestaan: worden audiovisueel en audiovisueel bewijs verzameld in één of twee afzonderlijke accumulatoren? En is er één motorische drempelwaarde voor multimodale besluitvorming, of wordt elke modaliteit "beoordeeld" aan de hand van aparte criteria?

Een extra complicatie is timing. In reële omstandigheden vertonen zicht en gehoor een desynchronisatie van microseconden tot milliseconden: een kleine tijdsverschuiving kan de ware architectuur van het proces verhullen. Daarom zijn paradigma's nodig die gelijktijdig de responsregel bepalen (om te reageren op elke modaliteit of slechts op beide tegelijk), asynchronie variëren en het mogelijk maken om gedragsverdelingen van reactietijden te combineren met de dynamiek van EEG-markers in één model. Het is deze aanpak die ons in staat stelt om "sommatie van sensorische accumulatoren met daaropvolgende start van één enkele motor" te onderscheiden van de scenario's van "kanaalrace" of "vroegtijdige samensmelting tot één sensorische stroom".

Ten slotte zijn er praktische motivaties die verder gaan dan de basistheorie. Als de sensorische accumulatoren inderdaad gescheiden zijn en de motorische trigger gedeeld wordt, dan kan het knelpunt in klinische groepen (bijv. parkinsonisme, ADHD, spectrumstoornissen) op verschillende niveaus liggen: in accumulatie, in convergentie of in motorische voorbereiding. Voor mens-machine-interfaces en waarschuwingssystemen zijn de fase en timing van signalen cruciaal: de juiste fasering van geluid en beeld moet de gezamenlijke bijdrage aan de motorische drempel maximaliseren, en niet simpelweg "het volume/de helderheid verhogen". Deze vragen vormen de context van een nieuw artikel in Nature Human Behaviour, waarin multimodale detectie gelijktijdig wordt onderzocht op het niveau van gedrag, EEG-dynamiek (CPP en bèta) en computationele modellering.

Wat hebben ze precies ontdekt?

• Bij twee EEG-experimenten (n=22 en n=21) detecteerden deelnemers veranderingen in een puntanimatie (zicht) en een reeks tonen (auditief) door op een knop te drukken, óf wanneer een van beide veranderde (redundante detectie) óf alleen wanneer beide veranderden (conjunctieve detectie).
• De onderzoekers monitorden een neuronale 'tegenfactor' - centro-pariëtale positiviteit (CPP) - en de dynamiek van de bèta-activiteit in de linkerhersenhelft (~20 Hz) als marker voor bewegingsvoorbereiding. Deze signalen werden vergeleken met reactietijdverdelingen en computermodellen.
• Kortom: auditief en visueel bewijsmateriaal stapelen zich op in afzonderlijke processen. Wanneer deze redundant worden gedetecteerd, zorgt hun cumulatieve bijdrage op subadditieve wijze (minder dan een simpele som) voor de co-activering van één drempelmotorisch proces: de 'trigger' van de handeling.

Een belangrijk detail is de "out-of-sync"-controle. Toen de onderzoekers een kleine asynchronie tussen de audio- en visuele signalen introduceerden, verklaarde een model waarin de sensorische accumulatoren eerst integreren en vervolgens het motorische systeem informeren, de data beter dan wanneer de accumulatoren tegen elkaar "racen". Dit versterkt het idee dat de sensorische stromen parallel lopen, maar samenkomen op één motorisch beslissingsknooppunt.

Waarom u dit moet weten (voorbeelden)

• Kliniek en diagnostiek. Als de sensorische accumulatoren gescheiden zijn en de motorische drempelwaarde gemeenschappelijk is, kunnen verschillende groepen patiënten (met ASS, ADHD, parkinsonisme) verschillende "afbraakknooppunten" verwachten - in accumulatie, in convergentie of in motorische triggering. Dit helpt om biomarkers en aandacht-/reactietraining nauwkeuriger te ontwerpen.
• Mens-machine-interfaces: Het ontwerp van waarschuwingssignalen en multimodale interfaces kan profiteren van een optimale fasering van geluids- en visuele signalen, waardoor de co-activering van motoren sneller en stabieler verloopt.
• Neurale modellen van besluitvorming. De resultaten koppelen langdurige gedragscontroverses (ras versus co-activatie) aan specifieke EEG-markers (CPP en bètaritme van de motorische cortex), waardoor computationele modellen dichter bij de echte fysiologie komen.

Hoe het gedaan werd (methodologie, maar in het kort)

• Paradigma's: redundant (reageren op elke modaliteit) en conjunctief (reageren slechts op beide tegelijk) - een klassieke techniek waarmee je de bijdrage van elke sensorische tak kunt "wegen". Plus een apart experiment met een gegeven asynchroniteit tussen audio en video.
• Neurosignalen:
  • CPP - "supramodale" index van accumulatie van sensorisch bewijs tot aan de drempelwaarde;
  • Een afname van de bèta in de linker motorische cortex is een indicator van bewegingsvoorbereiding. Vergelijking van hun tijdsprofielen toonde verschillende CPP-amplitudes voor auditieve versus visuele doelen (een teken van afzonderlijke accumulatoren) en een gezamenlijke aansturing van het bètamechanisme (een teken van een gemeenschappelijke motorische drempel).
• Simulatie: gezamenlijke aanpassing van RT-gedragsverdelingen en EEG-dynamiek. Het model met integratie van sensorische accumulatoren vóór het motorische knooppunt won de vergelijking, vooral in de aanwezigheid van asynchronie.

Wat betekent deze verandering in het hersenbeeld?

• Multimodaliteit ≠ "mixen en vergeten". Het brein gooit niet al het bewijsmateriaal in één pot; het houdt parallelle registraties bij over verschillende kanalen, en de integratie vindt dichter bij de actie plaats. Dit verklaart waarom multimodale signalen de reactietijd versnellen - ze roepen tegelijkertijd dezelfde motorische vlag op.
• Subadditiviteit is de norm. De "som" van sensorische input is minder dan simpele rekenkunde, maar het is voldoende om de motorische drempel sneller te bereiken. Het doel van de interface is dus niet om "volume en helderheid toe te voegen", maar om convergentie te synchroniseren.
• Een brug tussen psychofysica en neurofysiologie: oude gedragsmatige 'redundante signalen' krijgen een mechanistische verklaring via CPP- en bètamarkers.

Beperkingen en de volgende stap

• De steekproef bestaat uit gezonde volwassenen die laboratoriumtests uitvoeren; klinische conclusies vormen de volgende stap. Tests zijn nodig bij patiënten en in natuurlijke multimodale omgevingen.
• EEG geeft een uitstekend temporeel, maar beperkt ruimtelijk beeld. Het is logisch om dit aan te vullen met MEG/invasieve registratie en effectieve connectiviteitsmodellen.
• De theorie voorspelt dat training in de timing van audiovisuele signalen selectief de motorische fase zou moeten verbeteren zonder de sensorische accumulatoren te veranderen. Deze hypothese kan worden getoetst bij toegepaste taken (sport, luchtvaart, revalidatie).

Samenvatting

De hersenen houden aparte 'tellers' aan voor zicht en gehoor, maar beslissen met één knop. Door te begrijpen waar precies de 'omzetting' van sensorische informatie in actie plaatsvindt, kunnen we diagnostiek, interfaces en revalidatie nauwkeuriger afstemmen – van pilotenhelmen tot telegeneeskunde en neuro-educatie van aandacht.

Bron: Egan, JM, Gomez-Ramirez, M., Foxe, JJ et al. Verschillende audio- en visuele accumulatoren co-activeren motorische voorbereiding op multisensorische detectie. Nat Hum Behav (2025). https://doi.org/10.1038/s41562-025-02280-9