L'effetto McGurk

Fonte: Laboratorio di Jonathan Flombaum—Johns Hopkins University

La lingua parlata, una singolare conquista umana, si basa fortemente su meccanismi percettivi specializzati. Una caratteristica importante dei meccanismi di percezione del linguaggio è che si basano contemporaneamente su informazioni uditive e visive. Questo ha senso, perché fino ai tempi moderni, una persona poteva aspettarsi che la maggior parte della lingua sarebbe stata ascoltata nelle interazioni faccia a faccia. E poiché la produzione di suoni vocali specifici richiede un'articolazione precisa, la bocca può fornire buone informazioni visive su ciò che qualcuno sta dicendo. Infatti, con una visione ravvicinata e senza ostacoli del viso di qualcuno, la bocca può spesso fornire segnali visivi migliori rispetto ai segnali uditivi che forniscono segnali uditivi. Il risultato è che il cervello umano favorisce l'input visivo e lo usa per disambiguare l'ambiguità intrinseca nel linguaggio parlato.

Questa dipendenza dall'input visivo per interpretare il suono è stata descritta da Harry McGurk e John Macdonald in un articolo del 1976 intitolato Hearing lips and seeing voices. ¹ In quel documento, essi descrivevano un'illusione che sorge a seguito di una mancata corrispondenza tra una registrazione sonora e una registrazione video. Questa illusione è diventata nota come effetto McGurk. Questo video dimostrerà come produrre e interpretare l'effetto McGurk.

1. Stimoli

1. Per rendere gli stimoli dell'effetto McGurk avrai bisogno di una videocamera, del tipo su uno smartphone va bene.
2. Avrai anche bisogno di un computer per controllare la presentazione dei video a un soggetto ingenuo.
3. Punta la fotocamera verso te stesso, in modo che la testa riempia il display.
4. Fai quattro registrazioni. Ognuno dovrebbe essere lungo 10 s. In ciascuna delle quattro registrazioni, ripeterai una parola 10 volte, circa 1/s. Ecco le parole: bane, gain, pan, can. Prova a pronunciare le parole in ogni video a un ritmo simile.

2. Indurre l'illusione

1. Per indurre l'illusione, potresti unire insieme il suono di un video e l'immagine di un altro. Ma non è davvero necessario. È più facile farlo semplicemente usando il telefono e un computer contemporaneamente. Ecco come.
2. Sul desktop del tuo computer apri il video in cui stai dicendo guadagno. Disattiva l'audio e riproduci il video.
3. Sul tuo telefono apri il video in cui stai dicendo bane. Metti il telefono dietro lo schermo del computer in modo che il suono possa essere ascoltato, ma il video non può essere visto. Riproduci il video.
4. Chiedi a un osservatore di guardare lo schermo del computer durante l'ascolto e, quando il video ha finito di riprodurlo, chiedi loro cosa hanno sentito.
5. Fai lo stesso per i video pan/can: riproduci il flusso di immagini di te che dici di puoi mentre il tuo telefono riproduce il flusso audio dal video pan. Chiedi al partecipante cosa ha sentito.

Ricorda, i suoni riprodotti al tuo osservatore sono le parole bane o pan. Ma nei video di accompagnamento, le parole articolate sono rispettivamente guadagno e possono. Quindi quali parole sentiranno effettivamente le persone? La risposta è il più delle volte nessuna di queste quattro. Invece, il risultato tipico è che gli osservatori nella condizione di bane / guadagno sentiranno la parola danese. E gli osservatori nella condizione pan/can sentiranno la parola abbronzatura.

Per capire perché abbiamo bisogno di capire un po 'su come vengono prodotti i fonemi. Un fonema è un'unità minima di suono vocale. Le parole bane e gain hanno gli stessi fonemi in tutte le posizioni tranne la prima. Nella parola bane il primo fonema è un suono b, indicato con /b/. Nella parola guadagno è il suono /g/. I suoni rimanenti sono gli stessi, motivo per cui le parole fanno rima. La Figura 1 suddivide l'effetto McGurk in termini di fonemi iniziali in questi esempi. Quando viene mostrato /b/ e viene riprodotto /g/, le persone sentono /d/. La parola danese in altre parole fa anche rima con bane e gain, con una differenza di un fonema proprio all'inizio.

Figura 1: L'effetto McGurk si verifica quando c'è una mancata corrispondenza tra un fonema articolato in una presentazione visiva e un fonema diverso viene riprodotto contemporaneamente attraverso gli altoparlanti. Con i fonemi che condividono determinate proprietà di articolazione, il risultato udito potrebbe non corrispondere a nessuno degli stimoli non corrispondenti. Nella mancata corrispondenza si sente un terzo suono. In particolare, una /g/ visiva con una /b/ uditiva fa sì che il fonema /d/ venga ascoltato. Questo è il motivo per cui un guadagno visivo con un bane uditivo fa sentire Dane. Allo stesso modo, una /k/ visiva con una /p/ uditiva porta il suono /t/ ad essere ascoltato. Ecco perché can/pan produce abbronzatura nell'effetto McGurk.

Perché i conflitti /b/ e /g/ producono una /d/ in particolare? Beh, /b/, /g/, e /d/ non sono poi così diversi l'uno dall'altro, specialmente in termini di come vengono prodotti. I tre fondamentalmente comportano lo spostamento della stessa quantità di aria dalla laringe di una persona attraverso la bocca, con solo una differenza in cui l'altoparlante posiziona una piccola ostruzione. Quando qualcuno emette un suono /b/, usa le labbra per ostruire l'aria; questo è noto come punto labiale di articolazione. Per un suono /g/, il punto di articolazione è palatale: è lontano nella parte posteriore della bocca. E per un suono /d/, il punto di articolazione è noto come dentale perché le persone ostruiscono il flusso d'aria attraverso la bocca toccando la lingua ai denti superiori. La Figura 2 mostra i punti relativi di articolazione per i sei fonemi nell'effetto McGurk.

Figura 2: Gli esseri umani producono suoni muovendo l'aria attraverso la gola e la bocca. Ciò comporta vibrazioni nella laringe. Un dato insieme di vibrazioni prodotte nella laringe può produrre più fonemi diversi ostruendo il flusso d'aria. Il luogo in cui viene posizionata un'ostruzione per creare un suono specifico è chiamato punto di articolazione. Tre importanti punti di articolazione sono noti come labiale, riferendosi alle labbra; dentale, riferendosi ai denti; e palatale, riferendosi al palato, o al tetto posteriore della bocca. La figura mostra come i fonemi prodotti e ascoltati nell'effetto McGurk differiscono in termini di punti di articolazione.

Ora che sai un po 'di come vengono prodotti questi suoni, la logica dell'effetto McGurk dovrebbe essere più evidente. Funziona così: il tuo cervello sa che alcuni fonemi sono in realtà abbastanza simili tra loro. Nell'effetto McGurk la parola bane viene suonata all'osservatore, guidata da un suono /b/. Ma la faccia nel video sta muovendo la bocca come farebbero per fare un suono /g/, e la parola guadagno. Il cervello riceve quindi input contrastanti dagli occhi e dalle orecchie. Per risolvere il conflitto, il cervello giunge alla conclusione che la verità è probabilmente da qualche parte nel mezzo. Poiché /d/ è il suono tra /b/ e /g/-in termini di produzione, questo è ciò che la gente sente. La stessa spiegazione vale per trasformare il conflitto tra padella e lattina in abbronzatura. /p/ è un suono labiale e /k/ è un suono palatale. Quello dentale in mezzo è /t/.

Un posto in cui l'effetto McGurk è stato importante è capire come i bambini molto piccoli imparano la lingua parlata. Uno studio del 1997 è stato in grado di dimostrare che anche i bambini di 5 mesi percepiscono l'effetto McGurk. ² Questo è importante perché suggerisce che le informazioni visive possono essere utilizzate dai neonati per risolvere una grande sfida all'apprendimento della lingua: analizzare un flusso audio continuo nelle sue unità. Pensa a come una lingua straniera parlata alla sua velocità normale possa sembrare un tale guazzabuglio che potresti non sapere nemmeno dove sono i confini della parola. Bene, se tutte le lingue sono estranee ai bambini, allora come fanno a capire dove sono le parole? L'effetto McGurk suggerisce che possono fare affidamento su modelli di articolazione facciale.

1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.
2. Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357.