로그인

다용적 패턴 분석으로 청각 이미지 디코딩

Overview

출처: 조나스 T. 카플란과 사라 I. 짐벨의 연구소 - 서던 캘리포니아 대학

벨이 울리는 소리를 상상해 보십시오. 우리가 "마음의 귀"에서 이런 소리를 떠올립니다. 뇌가 지각에 사용하는 상상력에 동일한 메커니즘을 사용 한다는 증거가 증가하고 있습니다. 1 예를 들어, 시각적 이미지를 상상할 때, 시각 피질이 활성화되고, 상상할 때, 청각 피질이 종사한다. 그러나, 우리의 상상력의 내용에 특정 감각 코르티스의 이러한 활성화는 어느 정도?

이 질문에 대답하는 데 도움이 될 수있는 한 가지 기술은 기능성 뇌 이미지를 기계 학습 기술을 사용하여 분석되는 멀티 복셀 패턴 분석 (MPVA)입니다. 2-3 MPVA 실험에서, 우리는 다른 자극에 의해 연상 활동의 다양한 패턴을 구별하는 기계 학습 알고리즘을 훈련. 예를 들어, 종의 소리를 상상하는 것이 전기톱의 소리나 바이올린의 소리를 상상하는 것과 비교하여 청각 피질에서 다양한 활동 패턴을 생성하는지 물어볼 수 있습니다. 우리의 분류자가 이 세 자극에 의해 생성된 두뇌 활동 패턴을 구별하는 것을 배우는 경우에, 우리는 청각 피질이 각 자극에 의해 명백한 방법으로 활성화된다는 것을 결론을 내릴 수 있습니다. 이런 종류의 실험을 생각하는 한 가지 방법은 단순히 뇌 영역의 활동에 대한 질문을 하는 대신 해당 지역의 정보 내용에 대한 질문을 한다는 것입니다.

이 실험에서는 Meyer 외,2010,4를 기반으로 참가자들에게 청각 이미지를 불러 일으킬 가능성이 있는 조용한 비디오를 제시하여 여러 가지 사운드를 상상할 수 있도록 할 것입니다. 청각 피질의 상상력에 의해 유발되는 미묘한 패턴을 측정하는 데 관심이 있기 때문에 fMRI 스캐너가 만든 시끄러운 소음으로부터 간섭없이 자극이 완전한 침묵으로 제시되는 것이 바람직합니다. 이를 위해 스파스 측두시 샘플링이라고 하는 특수 한 종류의 기능MRI 시퀀스를 사용합니다. 이러한 접근법에서, 단일 fMRI 부피는 각 자극 후 4-5초씩 획득되며, 혈역학 반응의 피크를 포착하는 데 시간이 정해지한다.

Procedure

1. 참가자 모집

  1. 20명의 참가자를 모집합니다.
    1. 참가자는 오른손잡이여야 하며 신경학적 또는 심리적 장애의 병력이 없어야 합니다.
    2. 참가자는 시각적 신호를 제대로 볼 수 있도록 정상 또는 수정된 투 정상 시야를 가져야 합니다.
    3. 참가자는 몸에 금속이 없어야 합니다. 이것은 fMRI에 관련된 높은 자기장 때문에 중요한 안전 요구 사항입니다.
    4. fMRI는 스캐너 보어의 작은 공간에 누워 필요하기 때문에 참가자는 밀실 공포증때문에 손해를 입어서는 안됩니다.

2. 사전 스캔 절차

  1. 사전 스캔 서류를 작성합니다.
  2. 참가자가 fMRI 스캔을 위해 들어올 때, 먼저 MRI에 대한 반대 표시가 없는지 확인하기 위해 금속 스크린 양식을 작성하도록 지시하고, 방사선 전문의가 스캔을 검토하는 데 동의하는 부수적 인 연구 결과 양식및 연구의 위험과 이점을 자세히 설명하는 동의서를 작성하도록 지시하십시오.
  3. 벨트, 지갑, 휴대폰, 헤어 클립, 동전 및 모든 보석을 포함하여 몸에서 모든 금속을 제거하여 참가자가 스캐너에 들어갈 준비를하십시오.

3. 참가자에 대한 지침을 제공합니다.

  1. 참가자들에게 스캐너 내부에 여러 개의 짧은 비디오가 연이어 표시됩니다. 이 동영상은 조용할 것이지만, 그들은 그들의 "마음의 귀"에 소리를 불러 일으킬 수 있습니다. 참가자에게 이 청각 이미지에 집중하고 격려하고 가능한 한 최선을 다해 사운드를 "듣기"를 시도하도록 요청하십시오.
  2. 참가자에게 스캔 을 통해 머리를 가만히 유지하는 것이 중요하다고 강조합니다.

4. 참가자를 스캐너에 넣습니다.

  1. 참가자에게 스캐너와 이어폰의 소음으로부터 귀를 보호하여 스캔 중에 실험자의 소리를 들을 수 있도록 하고 코일에 머리를 대고 침대에 눕히도록 하십시오.
  2. 참가자에게 비상 압착 공을 주고 스캔 중에 비상 시 압박하도록 지시하십시오.
  3. 폼 패드를 사용하여 코일에 참가자가 머리를 고정하여 스캔 중에 과도한 움직임을 피하고, 가장 작은 움직임조차도 이미지를 흐리게하기 때문에 스캔 중에 가능한 한 가만히 있는 것이 매우 중요하다는 것을 참가자에게 상기시킵니다.

5. 데이터 수집

  1. 고해상도 해부학 검사를 수집합니다.
  2. 기능 적 스캐닝을 시작합니다.
    1. 자극 프레젠테이션의 시작을 스캐너의 시작과 동기화합니다.
    2. 희소한 시간적 샘플링을 달성하기 위해 볼륨 수집 사이에 9-s 지연으로 MRI 볼륨의 획득 시간을 2로 설정합니다.
    3. 프로젝터에 연결된 랩톱을 통해 무음 비디오를 제시합니다. 참가자는 스캐너 보어 의 뒷면에 화면을 반사, 자신의 눈 위에 거울이있다.
    4. 이전 MRI 수집이 시작된 후 각 5s 비디오 클립의 시작을 동기화하여 4초부터 시작합니다. 이렇게 하면 비디오 클립이 시작된 후 다음 MRI 볼륨이 7s를 획득하여 동영상 중간에 해당하는 혈역학 적 활동을 캡처할 수 있습니다.
    5. 생생한 청각 이미지를 연상시키는 세 가지 조용한 비디오를 제시: 앞뒤로 스윙 종, 나무를 통해 절단 전기 톱, 바이올린을 연주하는 사람.
    6. 각 기능 검사에서 각 비디오를 무작위로 10회 제시합니다. 각 시험이 11초동안 지속되면 스캔 330초(5.5분)가 길어집니다.
    7. 4개의 기능 검사를 수행합니다.

6. 데이터 분석

  1. 관심 영역(ROI)을 정의합니다.
    1. 각 참가자의 고해상도 해부학 검사를 사용하여 초기 청각 피질에 해당하는 복셀을 추적합니다(그림1). 이것은 평면 측두엽이라고 불리는 측두엽의 표면에 해당합니다. 각 사람의 뇌의 해부학적 특징을 사용하여 청각 피질에 특색있는 마스크를 만듭니다.

Figure 1
그림 1: 관심 영역 추적. 평면 측두색의 표면은이 참가자의 고해상도 해부학 적 이미지에 추적되었으며 여기에 파란색으로 표시됩니다. 녹색은 정면 극의 제어 마스크입니다. 이 복셀은 MVPA 분석에 사용됩니다.

  1. 데이터를 사전 처리합니다.
    1. 모션 보정을 수행하여 모션 아티팩트를 줄입니다.
    2. 시간적 필터링을 수행하여 신호 드리프트를 제거합니다.
  2. 분류자 알고리즘을 학습하고 테스트합니다.
    1. 데이터를 교육 및 테스트 집합으로 나눕니다. 교육 데이터는 분류기를 훈련하는 데 사용되며, 제외된 테스트 데이터를 사용하여 학습된 내용을 평가합니다. 교육 및 테스트 데이터의 독립성 극대화를 위해 테스트 세트로 하나의 기능 검사에서 데이터를 제외합니다.
    2. 각 피사체의 청각 피질에서 레이블이 표시된 교육 데이터에 대한 지원 벡터 기계 알고리즘을 학습합니다. 분류자의 레이블이 지정되지 않은 테스트 세트의 ID를 올바르게 추측하고 분류자의 정확도를 기록하는 기능을 테스트합니다.
    3. 이 절차를 4회 반복하여 각 스캔을 매번 테스트 데이터로 제외합니다. 데이터의 각 섹션이 한 번 제외되는 이 유형의 프로시저를 교차 유효성 검사라고 합니다.
    4. 평균화하여 4개의 교차 유효성 검사 접기에 분류기 정확도를 결합합니다.
  3. 통계 테스트
    1. 분류자가 확률(33%)보다 더 나은 성능을 발휘하는지 확인하려면 그룹 수준에서 결과를 우연히 비교할 수 있습니다. 이렇게 하려면 각 주제에 대한 정확도를 수집하고 배포가 비 파라메트릭 Wilcoxon 서명 순위 테스트를 사용하여 기회와 다르다는 것을 테스트합니다.
    2. 우리는 또한 분류자가 각 개인에 대한 기회보다 더 나은 수행 여부를 물어 볼 수 있습니다. 기회 데이터에서 지정된 정확도 레벨의 확률을 확인하려면 레이블이 무작위로 섞인 데이터에 대한 MVPA 알고리즘을 교육하고 테스트하여 null 배포를 만듭니다. 레이블을 10,000회 왜곡하여 정확도 값의 null 분포를 만든 다음 실제 정확도 값을 이 분포와 비교합니다.
    3. 청각 피질 내 정보의 특이성을 입증하기 위해, 우리는 훈련하고 뇌의 다른 위치에서 복셀에 분류자를 테스트 할 수 있습니다. 여기에서, 우리는 확률적 아틀라스에서 가져온 정면 극의 마스크를 사용하고 각 피사체의 개별 뇌에 맞게 뒤틀린다.

Results

20명의 참가자 모두에게 걸쳐 플래텀 측두식의 평균 분류자 정확도는 59%였습니다. 윌콕슨 사인랭크 테스트에 따르면, 이것은 33%의 확률 수준과 크게 다릅니다. 전두엽 극 마스크의 평균 성능은 32.5%로 우연(그림 2)보다크지 않다.

Figure 2
그림 2. 각 참가자의 분류 성과입니다. 3방향 분류의 경우 확률 성능은 33%입니다. 순열 테스트에 따르면, p < 0.05의 알파 수준은 42%에 해당한다.

순열 테스트는 순열의 5%만이 42%보다 더 큰 정확도를 달성했다는 것을 발견했습니다. 따라서 개별 과목에 대한 통계 적 임계값은 42 %입니다. 20명의 과목 중 19개 피험자는 플라텀 측두엽의 복셀을 사용하여 확률보다 훨씬 큰 성능을 보였으며, 정면 극에서 복셀을 사용할 확률보다 성능이 크지 않았습니다.

따라서, 우리는 성공적으로 참가자가 상상했다 소리 세 소리 청각 피질의 활동 패턴에서 예측 할 수 있습니다. 우리는 전두엽 극에서 활동 패턴에 근거를 둔 이 예측을 할 수 없었습니다, 정보가 두뇌를 통해 글로벌하지 않다는 것을 건의합니다.

Application and Summary

MVPA는 뇌가 정보를 나타내는 방법을 이해하는 데 유용한 도구입니다. 기존의 활성화 분석과 같이 각 복셀의 시간 과정을 별도로 고려하는 대신, 이 기술은 한 번에 많은 복셀에 걸쳐 패턴을 고려하여 단변기 기술에 비해 감도가 증가합니다. 종종 다변량 분석은 단변기 기술이 할 수없는 차이를 발견합니다. 이 경우, 우리는 뇌의 특정 영역, 청각 피질의 정보 내용을 조사하여 정신 이미지의 메커니즘에 대해 뭔가를 배웠습니다. 이러한 활성화 패턴의 콘텐츠 별 특성은 단변적 접근으로 테스트하기가 어려울 것입니다.

이러한 종류의 분석에서 추론의 방향에서 오는 추가 이점이 있습니다. MVPA에서 우리는 뇌 활동의 패턴으로 시작하고 참가자의 정신 상태에 대해 뭔가를 추론하려고합니다. 이러한 종류의 "뇌 읽기" 접근법은 뇌-컴퓨터 인터페이스의 개발로 이어질 수 있으며, 음성이나 움직임이 손상된 사람들과 의소통할 수 있는 새로운 기회를 허용할 수 있습니다.

References

  1. Kosslyn, S.M., Ganis, G. & Thompson, W.L. Neural foundations of imagery. Nat Rev Neurosci 2, 635-642 (2001).
  2. Haynes, J.D. & Rees, G. Decoding mental states from brain activity in humans. Nat Rev Neurosci 7, 523-534 (2006).
  3. Norman, K.A., Polyn, S.M., Detre, G.J. & Haxby, J.V. Beyond mind-reading: multi-voxel pattern analysis of fMRI data. Trends Cogn Sci 10, 424-430 (2006).
  4. Meyer, K., et al. Predicting visual stimuli on the basis of activity in auditory cortices. Nat Neurosci 13, 667-668 (2010).

Tags

Auditory ImageryMultivoxel Pattern AnalysisPerceptionBrain ActivationFunctional Magnetic Resonance Imaging fMRISilent VideosAcoustic StimuliDistinguishing SoundsAuditory CortexImaginationMemoryDetailed ProcessingFMRI SessionsNeural Patterns

건너뛰기...

0:00

Overview

1:30

Experimental Design

4:40

Running the Experiment

6:37

Data Analysis

7:54

Representative Results

9:50

Applications

11:14

Summary

이 컬렉션의 비디오:

article

Now Playing

다용적 패턴 분석으로 청각 이미지 디코딩

Neuropsychology

6.4K Views

article

분할 뇌

Neuropsychology

68.2K Views

article

운동 지도

Neuropsychology

27.5K Views

article

신경 심리학에 대한 관점

Neuropsychology

12.0K Views

article

의사 결정 및 아이오와 도박 과제

Neuropsychology

32.4K Views

article

자폐 스펙트럼 장애의 실행 기능

Neuropsychology

17.7K Views

article

사건후기억상실

Neuropsychology

30.3K Views

article

감정 인식의 생리학적 상관 관계

Neuropsychology

16.2K Views

article

사건 관련 잠재력과 오드볼 과제

Neuropsychology

27.4K Views

article

언어: 의미 부조화의 N400

Neuropsychology

19.6K Views

article

학습과 기억: 기억-알기 과제

Neuropsychology

17.1K Views

article

화소 기반 형태법으로 회백질 차이 측정: 음악 두뇌

Neuropsychology

17.3K Views

article

시각 주의: 사물을 활용한 집중력 제어의 fMRI 조사

Neuropsychology

41.6K Views

article

외상성 뇌 손상에서의 확산 텐서 이미징 사용

Neuropsychology

16.7K Views

article

TMS를 사용한 동작 관찰 중 운동 흥분성 측정

Neuropsychology

10.1K Views

JoVE Logo

개인 정보 보호

이용 약관

정책

연구

교육

JoVE 소개

Copyright © 2025 MyJoVE Corporation. 판권 소유