JoVE Logo

로그인

맥거크 효과

Overview

출처: 조나단 플롬바움 연구소 -존스 홉킨스 대학

인간의 단수 적인 성취인 말하는 언어는 전문적인 지각 메커니즘에 크게 의존합니다. 언어 지각 메커니즘의 한 가지 중요한 특징은 청각 및 시각적 정보에 동시에 의존한다는 것입니다. 현대까지, 사람이 대부분의 언어가 대면 상호 작용에서 들릴 것이라고 기대할 수 있기 때문에 이것은 의미가 있습니다. 그리고 특정 음성 소리를 생성하려면 정확한 관절이 필요하기 때문에 입은 누군가가 말하는 것에 대한 좋은 시각적 정보를 제공 할 수 있습니다. 사실, 누군가의 얼굴을 가까이서 방해받지 않는 시야를 가진 입은 종종 음성공급보다 더 나은 시각적 신호를 제공 할 수 있습니다 청각 신호. 그 결과 인간의 뇌는 시각적 입력을 선호하고, 음성 언어로 내재된 모호성을 모호하게 하는 데 사용합니다.

사운드를 해석하기 위한 시각적 입력에 대한 이러한 의존은 해리 맥거크와 존 맥도널드가 1976년 입술을 듣고 목소리를 보는논문에서 설명되었습니다. 1 이 논문에서 그들은 음원과 비디오 녹화 사이의 불일치를 통해 발생하는 환상을 설명했다. 그 환상은 맥거크 효과로 알려지게되었다. 이 비디오는 McGurk 효과를 제작하고 해석하는 방법을 보여줍니다.

Procedure

1화 자극

  1. McGurk 효과 자극을 만들기 위해 당신은 비디오 카메라가 필요합니다 - 스마트 폰에 종류는 괜찮습니다.
  2. 또한 순진한 주제에 대한 비디오 프레젠테이션을 제어하려면 컴퓨터가 필요합니다.
  3. 머리가 디스플레이를 채울 수 있도록 카메라를 직접 가리킵니다.
  4. 네 개의 녹음을 합니다. 각각 10s 길이여야 합니다. 네 개의 레코딩 각각에서 1/s 정도의 단어를 10번 반복합니다. 베인, 게인, 팬, 캔 : 여기에 단어가 있습니다. 각 동영상의 단어를 비슷한 속도로 말하려고 합니다.

2. 환상을 유도

  1. 환상을 유도하기 위해, 당신은 한 비디오에서 소리와 다른 사진에서 함께 스플라이스 수 있습니다. 그러나 그것은 정말로 필요하지 않습니다. 휴대 전화와 컴퓨터를 동시에 사용하여 수행하는 것이 더 쉽습니다. 방법은 다음과 같습니다.
  2. 컴퓨터 데스크톱에서 게인을 말하는 비디오를 엽니다. 사운드를 끄고 비디오를 재생합니다.
  3. 휴대 전화에 당신이 베인을 말하는 비디오를 엽니 다. 소리가 들릴 수 있도록 컴퓨터 화면 뒤에 전화를 넣어,하지만 비디오를 볼 수 없습니다. 비디오를 재생합니다.
  4. 관찰자에게 청취 하는 동안 컴퓨터 화면을 보고, 비디오 재생이 완료되면, 그들이 들었던 것을 물어보십시오.
  5. 팬 / 캔 비디오에 대해 동일한 작업을 수행 : 휴대 전화가 팬 비디오에서 오디오 스트림을 재생하는 동안 할 수 말하는 당신의 사진 스트림을 재생합니다. 참가자에게 그녀가 들은 것을 물어본다.

Results

관찰자에게 재생된 소리는 베인이나 팬이라는 단어입니다. 그러나 첨부 된 비디오에서, 관절되는 단어는 이득과 각각 할 수 있습니다. 그렇다면 사람들은 실제로 어떤 단어를 들을 수 있을까요? 대답은 가장 자주 그 네 가지 중 하나입니다. 대신, 일반적인 결과는 베인 / 게인 조건의 관찰자가 데인이라는 단어를들을 수 있다는 것입니다. 그리고 팬 /캔 조건의 관찰자는 황갈색이라는 단어를 들을 수 있습니다.

우리가 전화 음이 생성되는 방법에 대해 조금 이해해야하는 이유를 이해하기 위해. 전화음은 최소한의 음성 사운드 단위입니다. 베인과 게인이라는 단어는 첫 번째 를 제외한 모든 위치에서 동일한 전화음이 있습니다. 단어 베인에서 첫 번째 전화는 b 소리, 표시 / b /입니다. 단어 게인에서 그것은 소리 / g /입니다. 나머지 소리는 같은 소리입니다 -이 단어 운율 이유입니다. 그림 1은 이러한 예제의 초기 음무면에서 McGurk 효과를 분해합니다. /b/가 표시되고 /g/가 재생되면 사람들은 /d/를 듣습니다. 다른 말로데인이라는 단어는 처음부터 한 개의 음로메 차이로 베인과 게인으로 운율을 내린다.

Figure 1
그림 1: McGurk 효과는 시각적 프레젠테이션에서 표현되고 다른 전화음이 스피커를 통해 동시에 재생되는 전화음 사이에 불일치가 있을 때 발생합니다. 특정 관절 특성을 공유하는 음극을 사용하면 결과와 일치하지 않는 자극과 일치하지 않을 수 있습니다. 불일치로 인해 세 번째 소리가 들립니다. 특히 청각 /b /가있는 시각적 / g /는 전화 /d / 듣기를 유발합니다. 이것이 청각 베인으로 시각적으로 이득을 얻는 것이 데인의 말을 듣는 이유입니다. 마찬가지로 청각 /p /가있는 시각적 / k /는 소리가 /t / 들리도록 이끕다. 그렇기 때문에 McGurk 효과에서 캔/팬이 황갈색을 생성합니다.

충돌 /b / 및 /g / 특별히 / d / 생성합니까? 음, /b/, /g/, 및/d/는 특히 생산 방식면에서 서로 다르지 않습니다. 세 가지는 기본적으로 사람의 후두에서 입을 통해 공기의 동일한 금액을 이동 포함, 스피커가 작은 장애물을 배치하는 곳의 단지 차이와 함께. 누군가가 /b / 소리를 만들 때, 그들은 공기를 방해하기 위해 자신의 입술을 사용합니다. 이것은 관절의 labial 점으로 알려져 있습니다. /g/sound의 경우, 관절의 포인트는 목-그것은 입의 뒤쪽에 멀리 있다. 그리고 /d/ 사운드의 경우, 사람들이 혀를 위니에 만져 입을 통해 공기 흐름을 방해하기 때문에 관절의 지점은 치과로 알려져 있습니다. 도 2는 McGurk 효과의 6개의 음에 대한 관절의 상대적인 점을 나타낸다.

Figure 2
그림 2: 인간은 목과 입을 통해 공기를 이동하여 소리를 냅니다. 이것은 후두에 있는 진동을 관련시킵니다. 후두에서 발생하는 특정 진동 세트는 공기의 흐름을 방해하여 여러 개의 다른 전화미를 생성할 수 있습니다. 특정 사운드를 만들기 위해 방해가 배치되는 장소를 관절의 지점이라고 합니다. 관절의 세 가지 중요한 점은 입술을 참조, labial로 알려져있다; 치과, 치아를 참조; 그리고 구태, 또는 입의 뒤쪽 지붕을 참조. 이 그림은 맥거크 효과에서 생성되고 들었던 전화음이 관절의 포인트면에서 어떻게 다른지 보여줍니다.

이제 이러한 소리가 어떻게 생성되는지에 대해 조금 알고 있으므로 McGurk 효과의 논리가 더 분명해져야합니다. 그것은 이처럼 작동 : 당신의 두뇌는 일부 전화는 실제로 서로 매우 유사하다는 것을 알고있다. McGurk 효과에서 베인이라는 단어는 관찰자에게 재생되며 / b / 사운드로 이끈다. 그러나 비디오의 얼굴은 /g / 사운드를 만들기 위해 입을 움직이고 있으며 단어 게인입니다. 따라서 뇌는 눈과 귀에서 상충되는 입력을 받습니다. 갈등을 해결하기 위해 뇌는 진실이 아마도 그 사이에 있을 것이라는 결론에 도달합니다. /d/는 /b/와/g/-in 생산 의 관점에서 소리가 기 때문에 사람들이 듣는 것입니다. 팬과 캔 사이의 충돌을 황갈색으로 바꾸는 것과 동일한 설명이 적용됩니다. /p/는 음순 소리이고/k/는 성악소리입니다. 그 사이에 치과 는 /t/입니다.

Application and Summary

McGurk 효과가 중요한 한 곳은 아주 어린 유아가 말하는 언어를 배우는 방법을 이해하는 것입니다. 1997년의 한 연구에서는 5개월 된 유아조차도 맥거크 효과를 인식하는 것을 보여줄 수 있었습니다. 2 이는 영유아가 언어 구문 분석에 대한 주요 과제를 해결하기 위해 시각적 정보를 사용할 수 있음을 시사하기 때문에 중요하다. 외국어가 정상 속도로 사용되는 것은 경계라는 단어가 어디에 있는지조차 알지 못하는 그런 뒤섞여 있는 것처럼 보일 수 있는 방법에 대해 생각해 보십시오. 모든 언어가 유아에게 외국인 경우 단어가 어디에 있는지 어떻게 알아내는가? McGurk 효과는 안면 관절 패턴에 의존 할 수 있음을 시사합니다.

References

  1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264, 746-748.
  2. Rosenblum, L. D., Schmuckler, M. A., & Johnson, J. A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357.

Tags

McGurk EffectLanguage PerceptionFace to face InteractionsVisual InformationArticulating SoundsVisual InputLips And Tongue MovementComprehending SpeechObstructed VoiceMessage InterpretationPerceptual IllusionSound And Visual CuesAudiovisual StimuliLanguage LearningPhonemes

건너뛰기...

0:00

Overview

1:29

Experimental Design

3:22

Running the Experiment

4:51

Representative Results

5:53

Applications

7:45

Summary

이 컬렉션의 비디오:

article

Now Playing

맥거크 효과

Sensation and Perception

16.0K Views

article

색상 애프터이미지

Sensation and Perception

11.1K Views

article

사각지대 및 지각 채우기 찾기

Sensation and Perception

17.3K Views

article

감각과 지각에 대한 관점

Sensation and Perception

11.8K Views

article

운동 으로 인한 실명

Sensation and Perception

6.9K Views

article

고무 손 환상

Sensation and Perception

18.3K Views

article

더 에임스 룸

Sensation and Perception

17.4K Views

article

부주의한 실명

Sensation and Perception

13.2K Views

article

공간 큐잉

Sensation and Perception

14.9K Views

article

주의적 깜박임

Sensation and Perception

15.8K Views

article

크롤 링

Sensation and Perception

5.7K Views

article

반전 된 얼굴 효과

Sensation and Perception

15.5K Views

article

눈에 띄는 차이점

Sensation and Perception

15.3K Views

article

지각 임계값을 찾기 위한 계단 절차

Sensation and Perception

24.3K Views

article

개체 대체 마스킹

Sensation and Perception

6.4K Views

JoVE Logo

개인 정보 보호

이용 약관

정책

연구

교육

JoVE 소개

Copyright © 2025 MyJoVE Corporation. 판권 소유