眼球運動の視覚世界のパラダイムに記録を使用して話されていた言語のオンライン処理を探索するには

視覚世界のパラダイムは、聴いても話されていた言語を話すビジュアル ワークスペースで参加者の目の動きを監視します。このパラダイムは、心理言語学的質問、選言文などの意味的複合ステートメントを含む広い範囲のオンライン処理を調査する使用できます。

追跡研究視覚世界のパラダイムを使用して典型的な目、参加者の目のオブジェクトに動きや参加者を生成または同時視覚を記述する音声言語を理解しない視覚ワークスペースで写真は目トラッカー経由で記録されます。世界。このパラダイムは、それらの人が読み取ることができませんまたはあからさま偏向子供、高齢者、患者などの行動応答を与えることができない者を含む集団の広い範囲で使用できます、汎用性の高いです。もっと重要なは、パラダイムは、音声信号の細かい操作に非常に敏感と、細粒音響/音声など、複数のレベルで言語理解におけるほとんどのトピックのオンライン処理の研究に使えます機能、単語のプロパティおよび言語構造。この資料で説明されているプロトコルは、視覚世界のパラダイムを意味複雑なステートメントのオンライン処理を探索できる方法を示す例を典型的な視覚世界の視線に関する研究を実施する方法を示しています。

話されていた言語は、すぐに消えて高速、継続的な情報の流れです。この一時的な実験的研究、急速に変化する音声信号への挑戦です。眼球運動の視覚世界のパラダイムに記録は、このような課題を克服するために使用できます。聴く、または生成、話されていた言語、視覚的な世界^{1 の内容を描いた典型的な目追跡研究視覚世界のパラダイムを使用して、参加者の眼球運動表示で写真または視覚ワークスペースで実際のオブジェクトを監視します。 ,2,3,4}。基本的なロジック、またはリンクの仮説は、このパラダイムの背後には、理解や発話を計画 (公然またはひそか) シフトする視覚的世界の特定のオブジェクトを参加者の視覚的注意。この注意のシフトでお越しの際にも高い確率で衝動性眼球運動、視に出席した領域をもたらすことを開始します。このパラダイムを研究者がオブジェクトまたは視覚的画像に衝動性眼球運動によって測定される音声信号のいくつかの音響ランドマークに関してどのような時間の時点で参加者の視覚的注意のシフトが発生しますを決定しよう世界。オンライン言語処理を推論するは、音声信号に関連して眼球運動を開始時と場所が使用されます。視覚世界のパラダイムを使用して、音声言語理解^1,2と生産^5,6の両方を勉強できます。この方法論的記事の理解に関する研究に焦点を当てます。理解における視覚的世界のパラダイムは、ビジュアル表示の動きが監視彼らは発話の視覚的な表示の話に耳を傾ける参加者の目を使用します。

別の目追跡システムは、歴史で設計されています。最も簡単な少なくとも高価で、ほとんどのポータブル システムは、ちょうど通常のビデオカメラ、参加者の目の画像を記録します。眼球運動がビデオ録画のフレームによる審査を経て、手動でコード化されました。しかし、このような視線トラッカーのサンプリング レートは比較的低い、コーディング プロシージャは時間がかかる。したがって、現代商業目の追跡システムを通常はその軌道^7,8,9の目の方向を測定する光センサーを使用します。現代商業目の追跡システムのしくみを理解するため、次の点を検討してください。まず、正しく視、赤外線照明の方向を測定する (周りの波長と通常 780-880 nm) に沿ってまたはハッキリ明るい、または暗い瞳のイメージを作る、カメラの光軸を通常配置周囲のアイリス。生徒や生徒角膜反射 (通常最初のプルキンエ イメージ) の画像がその軌道の目の向きを計算する生成されます。第二に、ビジュアルの世界の視線の場所は、頭に対して眼の方向性だけでなくビジュアルの世界に関して頭の方向にも実際に偶発的です。点目方向からの視線を正確に推論、光源と目トラッカーのカメラに関して参加者の頭 (ヘッド マウント目トラッカー) 固定されてまたはビジュアルの世界に関して固定されて (テーブル マウントまたはリモート目-トラッカー)。第三に、参加者の頭の方向はビジュアルの世界に関しても修正しなければならないまたは参加者の頭は自由に移動する場合に補償される計算。移動無料頭モードでリモートの目トラッカーを使用すると、参加者の頭の位置は通常参加者の額に小さなステッカーを配置することによって記録されます。頭の方向計算引かれる視覚世界の視線位置を取得するために目の方向から。第四に、校正と検証のプロセス、ビジュアルの世界で点の視線に目の方向をマップする必要があります。校正プロセス視覚世界の位置を視線に生目データにマップする既知のターゲット ポイントから参加者の固定サンプルが記録されます。検証プロセスの参加者が校正プロセスと同じターゲット ポイントに表示されます。既存の校正結果から計算された固定位置と視覚世界の執着の対象の実際の位置との間の違いは、キャリブレーションの精度を判断する使用されます。さらにマッピング プロセスの精度を再確認、ドリフト チェックは通常が単一の固定ターゲット計算固定位置と実際の位置の違いを測定するための参加者に紹介されて、各試験に適用される、現在のターゲット。

視覚的な世界研究の主なデータは、試用期間の一部または全体に及ぶ視線トラッカーのサンプリング レートで記録された視覚的世界の視線位置のストリームです。視覚的な世界の研究で使用される従属変数は通常参加者の注視が特定のタイム ウィンドウ間でビジュアルの世界で特定の空間領域に位置していることのサンプルの割合です。データを分析するには、時間ウィンドウがまず選択する興味の期間と呼ばれます。タイム ウィンドウは、通常聴覚入力のいくつかの言語のイベントのプレゼンテーションに時間ロックです。さらに、視覚的な世界も関心 (ROIs)、それぞれが 1 つまたは複数のオブジェクトと関連付けられているいくつかの領域に分割する必要です。1 つのような地域は話されている言語の正しい理解に対応するオブジェクトが含まれています、こうしてターゲット領域と呼ばれます。データを視覚化するための一般的な方法は、場所、タイム ・ ウィンドウの各箱で興味の各地域のサンプルの割合が全体の平均参加者とアイテムの割合の固定プロットです。

視覚世界の研究から得られたデータを使用して、さまざまな研究の質問が回答できます。) 粗粒度のレベルが異なる聴覚言語入力によって影響を受けるビジュアルの世界で参加者の視線?b) 場合は裁判の経過、効果の軌道は、効果があるか。それは線形効果や高次効果?c) 細粒度レベルにし、効果があるときに最古の一時的なポイントそのような効果が出てくるし、この効果はどのくらい最後ですか?

結果を統計的に分析するには、次の点を検討してください。まず、応答変数、すなわち凝視の割合の下と上の両方制限されます (0 と 1) の間、正規分布ではなく、多項の配分を行います。今後、t 検定、分散分析、線形 (混合効果) モデル¹⁰など正規分布に基づく伝統的な統計的方法は、縦横比はで無制限変数に変換されているまで直接利用することはできません。経験的ロジット式¹¹またはユークリッド距離¹²などの無制限の従属変数に置き換えられています。このような正規分布の仮定は一般化線形 (混合効果) モデル¹³を必要としない統計的手法を使用もできます。第二に、観測された効果の変化の軌道を探索する時系列を示す変数はモデルに追加しなければなりません。この時系列変数はもともと視線トラッカーのサンプリング ポイント入力言語の発症に再編します。通常変化の軌道は線形ではない、ので時系列データの高次多項式関数は通常 (一般化) 線形 (混合効果) モデル、すなわち、成長曲線解析¹⁴に追加されます。さらに、現在のサンプル ポイントで参加者の目の位置は以前のサンプリング ポイントに大きく依存して記録周波数が高い場合は特に自己相関の問題の結果します。隣接するサンプリング ポイントの自己相関を減らすためには、多くの場合元のデータがダウン サンプリングまたはビン分割です。近年、一般化加法混合効果モデル (GAMM) はまた、autocorrelated エラー^12,15,16に取り組むために使用されています。箱の幅は、数ミリ秒から数百ミリ秒に至るまで、さまざまな研究によって異なります。研究を選択することができます狭いビンは、特定の研究で使用される目トラッカーのサンプリング レートによって制限されます。たとえば、アイト ラッカーの 500 Hz のサンプリング レートの場合はタイム ウィンドウの幅が小さくてより 2 ms = 1000/500 とはなりません。第三に、興味の期間の各時間箱に統計分析を繰り返し適用すると、これらの複数比較が取り組まれる必要がありますから familywise エラーが誘発されます。前述したように、軌道分析通知研究者粗粒度レベルで観察された効果が比例する時間を変更するかどうか観察された効果が出現し始めるときに表示されませんが、どのように長い観測効果は持続します。発散と観測の効果は持続する一時的な期間の期間を把握する観測された差の起動時の一時的な位置を決定する、統計解析は各時間箱に繰り返し適用しています。これら複数の比較は、どのような統計的手法の使用に関係なく、いわゆる familywise エラーになります。Familywise エラー伝統的ボンフェローニ調整¹⁷修正します。最近、familywise エラー コントロールに視覚単語パラダイム¹⁹に提出¹⁸ニューロ イメージングではもともとノンパラ メトリック順列テストと呼ばれるメソッドを適用されています。

視覚世界のパラダイムを使用して研究者は、ビジュアルの世界で参加者の視線からいくつかの話されていた言語の理解を推測するつもりです。この控除の有効性の確認、眼球運動に影響を与えるその他の要因が排除または制御します。次の 2 つの要因が考慮する必要がある一般的なものの間で。最初の要因は、参加者の説明注視の中でより簡単に水平方向の視覚世界と動いて目の方形を左上に固執する傾向など、入力言語に依存しないいくつかの体系的なパターン垂直方向、等^12,20 , 固定パターンのオブジェクトに関連オブジェクトがある空間的な位置のオブジェクトの空間位置を相殺する必要がありますいないことを確認する複数の異なる試験または異なる参加者間で。参加者の目の動きに影響を与える可能性があります 2 番目の要因は、他の間で、輝度コントラスト、色とエッジの向きなど、視覚的な世界内のオブジェクトの基本的な画像特徴²¹。この潜在的な交絡の診断、視覚的な表示は通常提示話されていた言語の発症前や発症から時間の期間中に約 1000 ミリ秒の話されていた言語の重要な音響のマーカーの発症する前に、オーディオのテスト、入力言語や入力言語の曖昧さ回避ポイントの発症するテスト画像がまだ聞かれていません。入力言語というより任意の違いは、異なる条件の間観察表示など他の交絡要因に自体、推測する必要があります。今後は、このプレビュー期間にみられる眼球運動は言語入力の効果を決定するためのベースラインを提供します。このプレビュー期間参加者視覚表示に精通を取得し、話されていた言語が提示される説明の注視の組織的バイアスを減らすこともできます。

典型的な視線視覚世界のパラダイムを用いた研究の実施方法を説明するために次のプロトコルは、すなわち、意味的複雑なステートメントのオンライン処理を探索する L. 占¹⁷から適応実験を説明します。選言文 (S1 または S2)、連文 (S1 と S2)が、-ステートメント (S1、S2 はない)。普通の保全にいくつかの発言によって表現される情報は実際に文字通りの意味より強いです。選言文暁明のボックスには、牛や鶏が含まれているようなそのような発話。選言文が真暁明のボックスを含む牛と鶏が暁明のボックスに含まれている2 つの選言はどちらでされていない限り、論理的に、false。したがって、選言のステートメントは、2 つの選言が両方 true暁明のボックスに牛と鶏が含まれている対応する連言ステートメントが真も真です。普通の会話で、しかし、選言声明は頻繁接続助詞の対応するステートメントが間違っていることを示唆しているを聞いて (スカラーの含意);2 つの選言の真理値がスピーカー (無知の推論) で知られていないことを示唆しています。文献のアカウントかどうか 2 つの推論が文法的または実用的なプロセス^{22,23,24,25,26}とは異なります。実験は、視覚世界のパラダイムを使用して、3 つの複雑なステートメントのオンライン処理を探索することで、これらのアカウントの間で審議する方法を示しています。

すべての科目では、実験的プロトコルの管理の前に書面による同意通知を与える必要があります。すべてのプロシージャ、同意フォーム、および実験のプロトコルは、北京言語および文化大学の研究倫理委員会で承認されました。

注: 通常視覚世界のパラダイムを使用して読解研究の次の手順で構成されています:; 探検するために理論的な問題を紹介形成、実験的なデザイン。視覚・聴覚刺激を準備します。実験デザインに関する理論上の問題をフレームします。参加者の目の動きを追跡する視線トラッカーを選択します。ソフトウェアを選択し、刺激を提示するソフトウェアとスクリプトを構築コードおよび記録された眼球運動データを分析します。特定の実験から説明されている手順のいずれかで異なります。たとえば、プロトコルを導入して、実験を行い、研究者が構築し、視覚的な世界のパラダイムを使用して、独自の実験を行う際に覚えておく必要がありますいくつかの点を議論します。

1. テスト刺激を準備します。

1. 視覚刺激
   1. インターネットから著作権フリーの動物の 60 のクリップアートをダウンロードします。開いているイメージ エディター (例えば、Pixelmator) で、各画像一つずつクリックしてツール |クイック選択ツールを選択し、背景レイヤーを削除します。画像をクリックして |画像サイズ120 × 120 ピクセルにサイズを変更します。
   2. 図 1に示すように 4 つの光の緑色のボックスを描画する絵画を専攻している学生を招待します。イメージ エディターを使用して、320 x 240 ピクセル、160 x 160 ピクセルのサイズで小さな閉じた箱、160 x 240 ピクセル、2 つの小さなオープン ボックスに大きなオープン ボックスにそれぞれ変更します。
   3. Pixelmator をクリックして |ファイル |新しいサイズ 1024 768 のテスト画像のテンプレートを作成するピクセル単位。図 1に図示される補正場所に動物と、ボックスをドラッグします。
      注: テスト イメージのレイアウトは学部によって異なりますが、最適な方法は、4 つのオブジェクトを使用して、テスト イメージの 4 つの象限に配置。この方法では、オブジェクトの空間的な位置を相殺する簡単です。
   4. 2 回使用されている各動物のイメージと図 1のように 60 のテスト画像を作成します。画像の中の 4 つのボックスの空間位置を相殺します。
      注: 画像の数がない正確な 60 になるその効果は実験操作の分離可能な限り。
2. 音声言語刺激
   1. 各テスト画像と記録するために合計で 240 テスト文に対応する 4 つのテスト文章をデザインします。図 2のフォームが 3 つ 4 つの文章のことを確認します。フィラーの文、暁明のボックスを含まないオンドリが牛の形に。
      注: テスト文章は参加者を話すネイティブ言語で表示する必要があります。この実験の参加者、北京、中国本土から中国人で、テスト言語は中国語です。
   2. 実験で使用されているすべての動物のオーディオと同様に、図 2のような 4 つの例ステートメントを記録する女性のネイティブ スピーカー (この実験では中国語のネイティブ スピーカー) を採用します。孤立した動物の名前を記録するとき、動物の名前は _ _ _ の暁明のボックスが含まれているかなどの簡単な文章のままのコンポーネントであることを想像するスピーカーを求めるが、彼女だけのあからさまに動物の名前を発音する必要があります。
   3. テスト オーディオの完全なリストを作成する各試行で使用される 2 つの動物のオーディオとオーディオ セグメントの例ステートメントで 2 つの動物を交換してください。最初に、(他のオーディオ編集ソフトウェアは対象の代替) Praat を開きオープンをクリックして |ファイルからの読み取り |ファイルに移動 |編集を開き、,が置き換えられる要素に移動し、をクリックを表示および編集 |編集 |サウンドのクリップボードに選択範囲をコピー.第二に、例ステートメントを開く、選択後貼り付け] クリックして同じ手順を使用します。第三をクリックしてを保存 | wav ファイルとして保存.の編集済みのステートメントを保存するには変更するすべての要素のプロセスとテストのすべての文を繰り返します。
   4. オーディオの構築されたテストがわかりやすく、自然かどうかを判断するテスト言語ここ (北京語) の約 10 のネイティブ スピーカーを募集してください。
      注: オーディオのテストは、別々 の単語としてではなく、全体として伝統的に記録されます。この伝統的な記録方式が合理的な場合はオーディオのテスト自体は分けます。音声言語刺激は別々 の単語ではなく文章、しかし、この従来の方法は、いくつかの欠点: まず、連続音声のユビキタス プロパティは、2 つまたはより多くの音声音空間が重複する傾向にあります。重要な単語の発症を決定するは難しいとなります。第二に、異なる試験の長さ間の差異も困難になります一緒に統計解析のためのすべての試験を結合します。第三に、オーディオのテストの数字がプロトコルに報告した実験など、比較的大規模な場合は特に、伝統的な記録法は時間がかかる多くの場合。伝統的な記録方式の欠点を克服するために音声テスト オーディオを構築する別の方法を提案する.最初に、すべてのテストのオーディオの間で共通の単語を含む例文の一覧が記録されました。第二に、すべての単語試験間の変化は、単独でも記録されました。最後に、サンプル文はテスト オーディオの完全なリストを構築する記録された言葉に置き換えられました。従来の方法と比較して、新しいメソッドは、いくつかの利点です。まず、オーディオのテストがまさに重要な言葉を除いて同じすべてとオーディオのテストにすべての潜在的な交絡因子が制御されます今後。全体としてテスト オーディオを記録するときよりも容易になりますテスト オーディオの分割第二に、また長さが同じであります。このメソッドの 1 つの潜在的な欠点は、構築されたオーディオが自然なないことです。今後、テスト音声の自然性は、実際のテストのために資格がある前に評価、.
3. 240 テスト文章を 15 連文、15 の選言文、15が、ステートメント、および 15 フィラー文を含む各グループの 4 つのグループに分割します。各参加者が 240 の試験の 1 つだけのグループで出現することを確認: 彼/彼女はすべてのテスト画像が、聞くテスト オーディオの 1 つだけのグループを見ています。
   注: これは同じ刺激が繰り返されると、参加者がかもしれないという懸念に対処する戦略についてどのように彼らは刺激に対応してこれらの刺激にも慣れてとなります。
4. 各行に 240 の試験のそれぞれに対応するタブ区切り txt ファイルにテスト刺激に関するすべての重要な情報を保存します。ファイル、少なくとも次の列が含まれるように: experiment_group、 sentential_connective、trial_number、test_image、test_audio、test_audio_length、ia_top_left、ia_top_right、ia_bottom_left、ia_bottom_right、animal_1_画像、 animal_1_audio、 animal_1_audio_length、 animal_2_image、 animal_2_audio、 animal_2_audio_length。
   メモ: experiment_groupは、4 グループに 240 の試験を分割する使用されます。sentential_connectiveは、異なる実験条件に対応します。animal_1_imageは、テスト画像で使用されている動物と参加者を理解するまず提示される動物の画像に対応します。test_image、 test_audio、およびtest_audio_length現在の裁判で使用される長さをテスト イメージとオーディオのテスト同様に参照してください。ia_top_left、 ia_top_right、 ia_bottom_left、 ia_bottom_rightは、現在試用版、すなわち4 つの関心領域の名前を参照してくださいそれは"大きな開く"ボックス、"小さな閉鎖"ボックス、小さな開くかどうか、。オーディオのテストで"最初の述べられた「動物を含むボックスまたはオーディオ テストに"2 番目の述べられた「動物を含む小さなファイルを開くボックス。animal_1_audioとanimal_1_audio_lengthは、オーディオとanimal_1_imageに対応するオーディオの長さを参照してください。animal_2_image、 animal_2_audio、およびanimal_2_audio_lengthが表示されます 2 番目の動物に対応しています。強調する 1 つの事は、最初のテスト オーディオの 2 番目の半分に動物を言及するかどうかに関して 2 つの動物を提示するシーケンスを相殺したことです。

2. フレームの実験的なデザインに関する理論的予測。

1. 参加者の行動反応と実験的なデザインで眼球運動テスト文の内包表記を区別するために使用することができ、テストする異なるアカウント間で審議する使用ことができますを確保します。
   メモ: は、実験的なデザインを与えられた、連文に対して正しい応答は図1 ボックスなどの大きなオープン ボックスです。が、正しいレスポンス-ステートメントは図 1のボックス D などのテスト オーディオの前半に記載されている動物を含む小さなファイルを開くボックス。選言文参加者のレスポンスはただし、2 議論推論が処理されるかどうかおよび/またはどのように異なります。参加者は、スカラーの含意も無知の推論を計算する場合は、対象となるオプションが、4 つすべてのボックス。参加者は、スカラーの含意がない無知推論し、大きなを開くと、図 1、ボックスなどを計算除外でしょうし、残りの 3 つのボックスを B、C、および D はすべて対象となるオプション。参加者計算無知推論がないスカラーの含意場合開いた小箱は、アウト、すなわち支配します。、ボックス C と D は排除されます。要約すると、閉じた小箱ボックス B図 1などない選ばれるスカラーの含意と無知推論まで選言文の最後のオプションとして両方を計算しました。

3. 実験スクリプトをビルドします。

1. 実験ビルダー,クリックしてファイルを開く |新しい実験プロジェクトを作成します。Vwp_disjunctionなどのプロジェクト名を入力します。プロジェクトの場所を選択します。EyeLink 実験をチェックし、ドロップダウン リストからEyelink 1000plusを選択します。これらの操作では、フォルダーに"graph.ebd"という名前のファイルにvwp_disjunctionをという名前のサブディレクトリが作成されます実験に関連するすべてのファイルを含むサブディレクトリを作成します。
   メモ: 実験ビルダーはテスト刺激を提示して彼らの行動反応と同様に、被験者の眼球運動を記録する実験スクリプトの作成に使用されます。実験 Builder 実験スクリプトを構築する取得ツールです。それは使いやすいが、他の刺激プレゼンテーション ソフトウェアは対象の代替。
2. 図 3に見られるように視覚的世界のパラダイムを使用して典型的なアイトラッ キング実験の階層構造を視覚化します。図のそれぞれのピンクの四角形は実験ビルダーによってシーケンス オブジェクトとして実装します。灰色の背景の各オブジェクトがノード オブジェクトとして実装されます。
   注: 実験ビルダー内のシーケンスは、複雑なノードとして別のオブジェクトを連結するために使用実験ループコント ローラーです。シーケンスは常に開始ノードで始まります。データ ソースはトライアルごとに異なるパラメーターを指定するシーケンス ノードにアタッチすることができます。
3. 実験シーケンスを構築します。
   1. ファイルをクリックして |開く、実験のディレクトリを参照して、保存した実験プロジェクトを開くにはプロジェクト ディレクトリにgraph.ebdファイルをダブルクリックします。
   2. [編集] |ライブラリ マネージャー |画像 |追加実験プロジェクトに画像を読み込む。同様に、編集をクリックして |ライブラリ マネージャー |サウンド |追加実験プロジェクトにオーディオを読み込む。
   3. 作業スペースにDISPLAY_SCREENオブジェクトをドラッグし、命令として名前を変更する [プロパティ] パネルでそのラベルの値を変更します。命令のノードを開くにはダブルクリックし、実験的命令を入力する複数行テキスト リソースの挿入] ボタンをクリックします。命令には次の情報が含まれているを確認します。
      各試行で最初表示されます 2 つの動物の画像 1 つの動物が順番に、画面上に印刷画面の両側にある 2 つのスピーカーで再生動物の音声と共に。黒い点が画面の中央に表示されます。スペース キーを押しますドットを注視している必要があります。次に、画面に印刷された 4 つのボックスから成るテスト画像を参照してください、2 つのスピーカーで再生されているテスト文を聞きます。あなたの仕事は聞いたし、できるだけ早く対応するボタンを押してテスト文によると暁のボックスを検索します。
      左ボックス---左矢印
      トップ右のボックス---上向き矢印
      左ボックス---左矢印下
      下右ボックス---右矢印
      各テスト画像の 4 つの象限とボックスを含む 2 つの動物である 4 つのボックスが表示されます。4 つのボックスが異なる 2 つの次元: 近さとそのサイズ。そのボックスが含まれている動物ではない私たちの認識の知識に影響を与えるボックスが閉じているかどうか。ボックスが開いている場合、ボックスに含まれる動物が知られています。ボックスが閉じている場合、ボックスに含まれる動物には、知られています。ボックスのサイズは、そのボックスにいない我々 の認識知識なく、ボックスに含まれている動物の数を影響します。問題箱は閉鎖しているないかどうか、小さな箱だけ、常に 1 つの動物が含まれている、大きな箱に常に 2 つの異なる動物が含まれています。
      実験の目的と手順に慣れている場合は場合と標準的な視線校正と検証ルーチンを実行するお手伝いを知っている実験者を聞かせてください。ご質問がある場合は、遠慮なくお願いします。
      注: これは (指示はマンダリン中国語ここなど、参加者が話すネイティブ言語で記述する必要があります) 実験の前に、画面上で印刷される命令です。
   4. キーボードオブジェクトを作業領域にドラッグします。
      注: この手順は、指示画面を終了する使用されます。
   5. 作業スペースにシーケンスオブジェクトをドラッグし、ブロックとしてそれの名前を変更します。
   6. データ ソース エディターを動作させるデータ ソースプロパティの値フィールドをクリックして、ブロックのシーケンスを選択します。データ ソース エディター画面で、データ ソースをインポートするには 1.4 の手順で作成した .txt ファイルを額データのインポートボタンをクリックします。
   7. データ ソース エディターでランダム設定ボタンをクリックして、トライアルのランダム化を有効にするをチェック、列フィールドから選択experimental_groupの値フィールドからtrial_numberを選択分割列] フィールドのドロップダウン リスト。
   8. 2 番目のDISPLAY_SCREENをドラッグ作業スペースにオブジェクトし、として名前を変更別れ.さようならノードをダブルクリックし、次の情報を挿入: 参加者の母国語 (マンダリン中国語でこのプロトコル):実験が終了、ご参加どうもありがとうございました。
   9. 開始ノードをクリックして命令のノードに矢印をドラッグし、命令のノードにスタートノードを接続するマウス ボタンを離します。同じマウスのキーボードノード、キーボードノードをブロックノード、さよならノードに、ブロックノードに命令ノードを接続する移動を繰り返します。ビューをクリックして |レイアウトを調整ワークスペースにノードを配置します。
4. ブロックのシーケンスを構築します。
   1. ブロックのシーケンスを開くにダブルクリックします。カメラのセットアップ、校正、および検証を実行する実験者の EyeLink ホスト PC のカメラのセットアップ画面を表示するブロックのシーケンスにEl_CAMERA_SETUPノードをドラッグします。[プロパティ] パネルの校正の種類] フィールドをクリックし、ドロップダウン リストから HV5 を選択します。
      注意: マッピング プロセス内の場所の数は、さまざまな実験的デザインによって異なります。サンプリングより多くの場所およびより多くのスペースをカバーより精度が期待できます。しかしより多くのサンプルを意味するプロセスを完了するより多くの時間。ので、実質的に、特定研究の場所の数を非常に大きな参加者が偏向子供または臨床場合は特にすることはできません。視覚世界のパラダイムで関心領域の数が比較的小さいと関心のある分野は通常比較的大きい。マッピング プロセスは、場所の比較的小さい数で満足のいくレベルに達することができます。私が説明されたプロトコル、5 つのポイントの校正と検証を使用しました。
   2. ブロックのシーケンスにシーケンスノードをドラッグし、試用版としてそれを変更します。SEQUENCE ノードでは、 CAMERA_SETUPノードを開始ノードに接続します。
5. 試験シーケンスを構築します。
   1. ダブルクリックして試験シーケンスを開き、試験シーケンスにDISPLAY_SCREENノードをドラッグしてanimal_1_imageとして名前を変更します。ダブルクリックして画面ビルダーノードを開き、アップロードされたイメージ ソースから動物のイメージを挿入する画面ビルダーのツールバーのイメージ リソースの挿入ボタンをクリックします。ソース ファイル名] プロパティの値フィールドをクリックし、ブロックのシーケンスに接続されているデータ ソースに移動データ ソースの適切な列を持つDISPLAY_SCREENを接続するAnimal_1_Image列をダブルクリックします。
   2. 試験シーケンスにPLAY_SOUNDノードをドラッグし、 animal_1_audioとしてそれの名前を変更します。Animal_1_audioノードのサウンド ファイルのプロパティをクリックし、(ステップ 3.5.1 で説明されている) と、データ ソースの適切な列に接続します。
   3. 試験シーケンスにタイマーノードをドラッグし、として名前を変更 animal_1_audio_length。Durationプロパティをクリックして、 タイマー ノード、3.4.1 で作成されたデータ ソースの適切な列に移動します。
   4. 試験シーケンスに別のDISPLAY_SCREENノード、別のPLAY_SOUNDノード、およびタイマーの別のノードをドラッグして、 animal_2_image、animal_2_audio、と動物としてそれらの名前を変更_2_audio_duration, 3.5.3 3.5.1 - の手順で説明されている手順を繰り返します。 
      注: これらの手順は、別の参加者が同じイメージの名前が異なりますが、潜在的な交絡のためのコントロールに含まれています。テスト オーディオの最初または 2 番目の半分に記載されているかどうかに関して 2 つの動物の提示順序を相殺します。
   5. 試験シーケンスに準備のシーケンスオブジェクトをドラッグし、 Eyelink ホストに描画イメージのプロパティを変更します。
      メモ: このノードは、リアルタイム画像の描画やサウンド再生のためのメモリに画像と音声ファイルをプリロードする使用されます。参加者の視線精度を監視することができますので、ホスト PC 上のフィードバックのグラフィックスを描画する使用もします。
   6. ドリフト補正を導入する試みシーケンスにDRIFT_CORRECTノードをドラッグします。
   7. 新しいシーケンスノードをドラッグし、記録としてそれの名前を変更します。1 つの後のこれらのノードの 1 つに、開始接続します。
6. 記録シーケンスを構築します。
   1. 記録シーケンスのプロパティ パネルでレコード フィールドを確認し、記録シーケンスを開くをダブルクリックします。
      注: チェックレコードプロパティとシーケンスは、この期間中に参加者の目の動きが記録されますを意味します。
   2. Test_imageとして名前を変更、レコードシーケンスに新しいDISPLAY_SCREENをドラッグします。Test_imageノードのMessageプロパティに、メッセージtest_image_onsetを追加します。
      注: データの分析の段階でtest_imageノードにメッセージとtest_audioノード (セクション 3.6.6) のメッセージ、各試行のテスト画像の発症とテスト オーディオの発症を見つけることが重要。
   3. ダブルクリックして画面ビルダーノードを開き、アップロードしたイメージのソースから任意の動物の画像を挿入する画面ビルダーのツールバーのイメージ リソースの挿入ボタンをクリックします。ソース ファイルの名前の値フィールドをクリックしてプロパティ、ブロックのシーケンスに接続されているデータ ソースに移動データ ソースの適切な列を持つDISPLAY_SCREENを接続するtest_image列をダブルクリックします。
   4. 画面ビルダーを開き、挿入四角形の関心領域のボタンをクリックして、名所図 1の青色のボックスに示すように 4 つの長方形の領域を描画するには、 DISPLAY_SCREENノードをダブルクリックします。Top_Left、 Top_Right、 Bottom_Left、 Bottom_Rightに関心の 4 つの領域のラベルを変更する、データ ソースの適切なカラムに提出したDataViewer 名を接続します。
      注: これらの区域は参加者に表示されません。関心のある分野をわかりやすくするための例で「箱 (大きなオープン)」、左上の名前をラベルには、"ボックス B (小さな閉鎖)"としてトップ右エリア下「ボックス (次に述べられる) C」として左と下右エリアとして「ボックス D (最初に述べられる)」、2 つの小さなオープン ボックスにそれぞれテスト オーディオの最初と 2 番目の半分に記載されて 2 つの動物が含まれているため。
   5. タイマーノードをワークスペースにドラッグ、一時停止、として名前を変更、 Durationプロパティを 500 ミリ秒に変更します。
      注: このタイマーのノードは、テスト画像の発症とオーディオのテストの発症との間に多少のタイムラグを追加します。遅れ時間は、参加者にテスト画像を理解するチャンスを与えます。このプレビュー期間中に参加者の目の動きも重要な単語テスト オーディオの先頭に位置している場合は特に話されていた言語入力の効果を判断するベースラインを提供します。
   6. 作業スペースにPLAY_SOUNDノードをドラッグし、 test_audioとして名前を変更します。サウンド ファイルのプロパティ] をクリックし、(ステップ 3.5.1 で説明されて) としてデータ ソースの適切な列に接続し、メッセージを追加 メッセージプロパティにtest_audio_onset 。
   7. 作業スペースにタイマーノードをドラッグ、それの名前を変更 test_audio_length。10500 ms にDurationプロパティを変更します。
   8. 新しいタイマーノードを追加、 record_extension、として名前を変更し、4000 ms にDurationプロパティを変更します。
   9. 作業スペースに新しいキーボード] ノードを追加、行動反応、それの名前を変更し、"[、下、右、左」「許容のKeysプロパティを変更します。
      注意: 参加者の行動の選択肢は、参加者の眼球運動からみた結論の妥当性チェックを 2 倍に使用できます。
   10. 一時停止、 test_audio、 test_audio_length、 Record_extensionノードに、開始ノードに接続します。Test_audio_lengthからbehavioral_responsesノードに別の接続を追加します。
       注: これらの接続を追加すると、現在トライアルは終了し、参加者がオーディオ テストのオフセット後の暁明のボックス、または 4000 ms を選択するキーを押すを行った後、新たな試みが開始されます。
   11. 変数ノードを作業領域にドラッグ、 key_pressed、として名前を変更およびbehavioral_Responses キーボードに、value プロパティを接続 |データをトリガー |キー。
   12. RESULT_FILEノードを作業領域にドラッグ、 ADD_TO_RESULT_FILEノード、作業スペースにドラッグし、 record_extensionノードとbehavioral_responsesノードの両方ADD_TO_RESULT_FILE に接続ノード。
7. 実験をクリックして |ビルド実験スクリプトを作成するには、実験をクリックして |テスト実験の実行をテストします。すべてが終わったらをクリックして実験 |展開の実験プロジェクトの実行可能バージョンを作成します。
   注: 実験ビルダーの使用方法の詳細については、²⁷のソフトウェアのマニュアルを参照してください。

4. 参加者を募集します。

1. 通常または修正された正常な視力を持っている参加者を確保します。レンズが汚れていない限り、コンタクト レンズ、眼鏡を着用する近視眼的参加者が有効でもあることをお勧めします。すべての参加者がマンダリン中国語ここなど、テストの言語のネイティブ スピーカーであることを確認します。
   注意: 参加者が約 60 センチの距離でのテスト画像を見ることができる限りでは、一般的なガイドラインとして、参加者は対象とみなされます。親指のいくつかのルールによると、参加者の数の面で回帰分析の参加者数は 50 未満をする必要があります。ここでは、推奨量よりも少なめですが実験で 30-7 北京言語および文化大学から大学院生が参加しました。

5. 実験します。

注: 参加者は通常の発達した大人である場合は、1 つ実験者は行動実験を行うのに十分です。しかし、参加者が、子供などの特別な集団場合 2 つ以上の実験者が必要。

1. 参加者の眼球運動を記録するアイト ラッカーを選択します。
   注: この実験で使用される目の追跡者は Eyelink 1000plus 無料に移動ヘッド モードで実行されています。これは、追跡システム、角膜反射 (CR) と生の原理を使用して目の回転を追跡するビデオをベースとしたデスクトップ マウントされた目です。自由に移動ヘッド モードで実行するとき、目トラッカーの 0.01 ° の分解能と 0.5 ° 以下の平均誤差 500 Hz の単眼のサンプリング レートです。システムのより詳細な情報は、その技術仕様^28,29を参照してください。代替トラッカーを使用することができます、しかし、参加者偏向の子である場合は特に、リモート追跡モードを持つものが優れています。
2. カメラのホスト アプリケーションを起動するホストの PC でシステムを起動します。
3. システムをリモート デスクトップのモードを構成するのには[設定] オプションボタンをクリックして、構成オプションを設定デスクトップ - ターゲット ステッカー - 単眼 - 16/25 mm - RTARBLER.
4. ディスプレイ PC 上の実験プロジェクトの実行可能バージョンをクリックして、参加者の名前を入力、プロンプト ウィンドウからグループを選択 、 .を実行する条件の値を選択
   メモ: 各テスト セッション [実験プロジェクトのサブディレクトリ結果入力した名前のフォルダーが作成されます。EDF ファイル フォルダーの下には、関連する眼球運動データが含まれています。
5. 27 ピクセルが角度の 1 度に等しい 21 インチ、解像度が 1024 px x 769px 4:3 カラー モニターから約 60 cm を座っている参加者に依頼します。
6. 参加者が装着され、まっすぐ先を見て、彼らを見て縦モニターの 75% をトップに中間時に確実に、表示 PC モニターの高さを調整します。
   高さ調節可能な場合は、PC のモニターや机、椅子が好ましいです。椅子、キャスター付きデスクは避けてください、彼らは意図しない動きとロールを起こす傾向があります。
7. 瞳孔イメージが点滅または突然の動きの間に失われたなどのときにも、頭の位置を追跡するための参加者のおでこに小さなターゲット ステッカーを配置します。
   注: 各種アイ トラッカーがさまざまな方法を使用して参加者の頭を追跡可能性があります。被写体の横方向の動きの範囲を最大にするには、追跡の目は照明器具と同じ側にする必要があります。
8. デスク マウント フォーカスに目の画像をもたらすに焦点のアームを回転させます。
9. 点の視線に参加者の目の動きをマップするホストないのあからさまな行動応答を持つランダム連続 5 の固定ターゲットのグリッドを固執する確認者校正プロセスを実行する PC のキャリブレーションボタンをクリックします。ビジュアルの世界では。
10. ホスト PC 固定ターゲットの同じグリッドを固執する確認者の校正結果を検証するための検証] ボタンをクリックします。エラーが 1 ° より大きい場合は、校正と検証ルーチンを繰り返します。
11. 初めの実験と測定精度が悪いときに 2 つのルーチンを行う (e.g。、強力な頭の動きまたは参加者の姿勢変更の後)。
12. ホストの実験を開始する PC に録音ボタンをクリックします。
13. 黒ドット画面のセンターでの発表に注視しているキーボードのSPACEキーを押すに参加者を尋ねることによって各試行のドリフト チェックを実行します。
    注意: 参加者が偏向子供または明示的に黒い点を注視しているキーボードを押すの指示をする臨床の患者は通常実用的です。彼らの関心と目注視が自動的に表示されている黒い点に惹かれる傾向しますが、あります。この場合、実験者にキーボードを押しながら参加者は黒ドットに固着している人であるべきです。
14. ディスプレイ PC モニターで視覚刺激を提示し、外部スピーカーの左側に位置しています, 右 (イヤホンも許容です) モニターのペアを介して聴覚刺激を再生します。
    注意: 録音 24 kHz モノラル サウンド クリップとしてハード ディスクから再生されます。特別な理由がない場合モノラル サウンド クリップはステレオ サウンド クリップを優先しています。ステレオ サウンド クリップ 2 つのサウンド トラックとして 2 つのスピーカーの違い違いは参加者の目の動きに影響を受ける可能性があります。目の追跡者を使用する方法の詳細については、ユーザー マニュアル³⁰を参照してください。

6. データの符号化と解析

1. データ ビューアーを開き、ファイルをクリックして |ファイルをインポートする |複数 Eyelink データ ファイルをインポート(EDF の拡張子) を持つすべての記録された目トラッカー ファイルをインポートし、単一のに保存されます。EVSファイル。
2. 保存された EVS ファイルを開き、分析をクリックして |レポート |レポートのサンプル集計なしで生のサンプル データをエクスポートします。
   注: 目トラッカーに 500 Hz のサンプリング レートがある場合エクスポートしたデータだろう 500 データ ポイント、今後 500 行あたり 2 番目トライアル 1参加者の左目を監視している場合は、次の列としてデータ ソースで作成された変数をエクスポートを確認: RECORDING_SESSION_LABEL、LEFT_GAZE_X、LEFT_GAZE_Y、LEFT_INTEREST_AREA_LABEL、LEFT_IN_BLINK、LEFT_IN_SACCADE、LEFT_PUPIL_サイズ、SAMPLE_INDEX、SAMPLE_MESSAGE。データ ビューアーを使用する方法の詳細については、³¹のソフトウェアのマニュアルを参照してください。
3. テストのオーディオ、すなわちのオフセット テスト イメージの発症から時間ウィンドウに統計分析を制限する。、11 の期間と時間窓 s。
4. 参加者は約記録データの 10% に影響を与える彼らの目を点滅などが参加者の目の動きは記録されていない、サンプルを削除します。
   注: これは、結果が通常これらのサンプルが削除されたかどうかに関係なく同じで、オプションの手順は。
5. データをコードします。特定のサンプリング ポイントのコード 1 参加者の注視はサンプリング ポイントで分析するための関心のある分野にある場合としてデータに関心の特定の領域のデータを構築します。注視はサンプリング ポイントで関心のある分野に位置していない場合は、0 としてデータをコードします。
6. 得られたデータを可視化する - 固定の割合を描画します。平均の関心の特定の領域に注視の割合を計算するには、すべての試験のため、各サンプルのすべての参加者にコードデータは、各条件下でポイントします。関心の領域を示す別のパネルとは異なる実験条件を示すプロットの色、軸上のサンプリング点に対して y 軸に注視の計算の割合をプロットします。
   注: 4 つのパネル実験では興味の 4 つの領域を参加者の固定パターンを描かれています。テスト ステートメントが接続詞 (S1 と S2)、しかしステートメント (S1、S2 ではない)、および乩 (S1 または S2)、それぞれ、赤、緑、および青の線は参加者の固定パターンを示します。わかりやすいプロットを描画するために使用するソフトウェアは、R 環境から ggplot2 パッケージです。その他のソフトウェアも可能です。図 5は、このようなプロットの例です。
7. またはサンプリング ポイントで関心のある領域からの参加者の固定の位置かどうかに応じて、0 または 1 としてコード化されたデータとして二項分布一般化線形混合モデル (ササ) を各サンプリング ポイントで関心の各領域に適合します。
   注: データがビン分割しないと、1 または 0 にだけ、コード化されたデータをできますのでコード化されたデータの配布はバイナリではなく、通常。今後は、二項分布の家族とササのモデルが使用されます。ササのモデルには、固定した用語、実験的条件、および 2 つのランダムな用語、参加者とアイテムが含まれます。2 つのランダムな条件に数式には、傍受と実験条件の斜面の両方が含まれています。モデルのフィッティングを行うために使用するソフトウェアは、R 環境からlme4パッケージです。その他のソフトウェアも可能です。1 つの事は、固定項目のベースラインは、述べられるべきときに異なる分析の関心領域、すなわち。、分析ボックスが異なる。具体的には、(S1 と S2) と共に選ばれたベースラインとして大きなオープン ボックス (ボックス A) を解析するとき小型密閉箱 (ボックス B) を分析する際にベースラインとして選ばれた (A と B) の和とがステートメントに選ばれました。最初に言及したボックス (ボックス D) を分析する際の基準。
8. ボンフェローニの多重比較による familywise のエラーを減らすための Wald z検定で得られたp値を調整します。
   メモ: ボンフェローニ調整は、複数の比較による familywise エラーに取り組むために伝統的な方法です。他の方法もあり、概要のセクションで前述の我々。

参加者の行動応答を図 4にまとめます。前述したように、結合ステートメント (S1 と S2) に対して正しい応答は図 1のボックスなどの大きなオープン ボックスです。が、正しいレスポンス-ステートメント (S1、S2 ではない) は図 1のボックス D など、最初の上記動物を含む小さなファイルを開くボックス。批判的に、選言ステートメントを処理する方法に依存どのボックスが選言文 (S1 または S2) を選択: 閉じた小箱ボックス B図 1など選択場合にのみスカラーの含意と無知の推論選言文に関して両方は計算されます。図 4は、選言文 (S1 または S2) を理解するとき参加者は 2 つの両方の推論を計算することを示しています。

さらに、閉じた小箱に参加者の注視これらの注視は、そのボックスに行動応答が続いている場合は特にまた提案するスカラーの含意と無知の推論の計算。2 つの推論する必要がありますが処理された最古の一時的なポイントよりも後参加者は、彼らの視覚的注意と閉じた小箱に注視をシフト。図 5は、参加者の目の動きをまとめたものです。我々 は、パネル B に見ることができる、文の結合、分離結合、または限り、小型密閉箱 (ボックス B) に参加者の注視が増加しません。さらに、この増加は選言的結合のオフセットよりも後で no を開始します。これは、スカラーの含意と無知推論計算文結合のオフセットの前にすなわち、すぐに分離結合を発生時に示唆しています。

図 1.実験で使用するテスト画像の例です。灰色の領域は、実際に参加者に提示されているテスト イメージです。ブルース ボックス、点線、および要素の幅を示すピクセルは、図の目的のためにのみあり、参加者には表示されません。(L. 占¹⁷アクセス許可を持つ 1 つの実験から適応)。この図の拡大版を表示するのにはここをクリックしてください。

図 2.実験に用いるテスト文の例(L. 占¹⁷許可を得て転載)。この図の拡大版を表示するのにはここをクリックしてください。

図 3.視覚世界のパラダイムを使用して典型的なアイトラッ キング実験の階層構造。図に示すオーディオは、実験で使用されるマンダリン中国語の英訳です。この図の拡大版を表示するのにはここをクリックしてください。

図 4.参加者の行動反応を実験で記録した(L. 占¹⁷アクセス許可を持つ 1 つの実験から適応)。この図の拡大版を表示するのにはここをクリックしてください。

図 5.参加者の目の実験で観測された変動。発症と文の接続詞のオフセットは 2 つの破線の垂直線によって示されます。選言と特定のサンプリング時点で基準条件の間に有意差 (p <.05、ボンフェローニの調整) の灰色の領域によって示されます (l. 占¹⁷許可を得てから適応)。この図の拡大版を表示するのにはここをクリックしてください。

視覚世界の研究を行うにいくつかの重要な手順があります。最初に、研究者は、参加者の眼球運動、視覚的な世界を介して聴覚提示の言語の解釈を推測するつもりです。今後は、視覚刺激のレイアウトを設計するときに参加者の眼球運動に影響を与える可能性のある自然な仕事における眼球運動の特性を制御する必要があります。話されていた言語の参加者の眼球運動に及ぼす影響を認識しことができます。話されていた言語の 2 番目、音響手掛かりは一時的なものと、言語の特定のカテゴリにのみ対応する音響の署名がないです。いくつかの言語マーカーの発症と眼球運動を正しくタイムロック参加者の研究者は目的といくつかの言語構造の境界を定義する一貫した方法を見つける必要があります。第三に、参加者の目回りの回転頭視線と視覚世界の点を正しくマップするには、研究者は校正、検証、およびドリフト補正プロセスの 1 つまたはいくつかの実行を実行する必要があります。第四に、視覚的な世界の研究から得られたデータがある下限と上限境界などのいくつかの特徴的な性質と autocorrelated エラーなど。メソッドを選択するデータを統計的に分析するとき、これらの特徴的な性質を考慮必要があります。

視覚世界の研究は 3 つの重要なコンポーネントで構成されています: 視覚的な表示、音声言語、実験仕事。研究者の特定の目的を満たすために、任意のコンポーネントに変更が加えことができます。まず、視覚的な表示は通常写真の配列を描いたスクリーニング表示です。しかし、それは印刷された単語³²、スケマティック シーン^30,31, 実物体^1,32を含む実世界シーンの配列を描いたスクリーニング表示ことができます。第二に、音声の発話は単語³⁶、単文^30,31, 意味的複雑なステートメント^17,34,35、または対話³⁹をすることができます。第三に、実験作業の面で参加者か単に求められている視覚的な世界を見て、聴覚発話^30,31; に慎重に耳を傾ける聴覚発話¹によって記述された運動機能、聴覚の発話がビジュアル表示³⁸に適用されるかどうかを決定する正しいを選択するなど、いくつかの行動応答を要求されているか視覚的な表示、発言でイメージは、¹⁷話です。

他の心理言語学的手法と比較して視覚的世界のパラダイムには、いくつかユニークな利点があります。まず、視覚世界のパラダイムを人が読み取ることができないおよび/または人はあからさま偏向子供^37,38,39,などの行動応答を与えることができないものを含む集団の全体で使用できます。^40,41,患者、高齢者⁴⁶、 ⁴²(e.g。、失語)⁴⁷。これは、書かれたテキストの形式ではなく、聴覚言語刺激が表示されます。言語理解があからさまな反応ではなく参加者の暗黙の自動眼球運動から推論されます。第二に、視覚的な世界のパラダイムは、音声信号の細かい操作に非常に敏感です。このパラダイムは、物性微細粒音響音声機能^33,45,46などの複数のレベルで言語理解におけるほとんどのトピックのオンラインの処理を勉強する使用ことができます。concessives³⁷, biconditionals³⁷, ような意味的に複雑な文の論理構造、言語構造^1,47、単語^30,31条件³⁸とふたつ¹⁷。

他の心理言語学的手法と比較して視覚的世界のパラダイムは、いくつかの潜在的な制限もあります。視覚の世界を学ぶことができる言語のプロパティあたり se。 今後は、言語刺激の実際の解釈ではなく、視覚的な世界に目の動きからの話されていた言語の参加者の解釈のみたまず、パラダイム、すなわちものを視覚化することができますに限定。、彼らはどういうわけかエンティティまたは視覚的な世界内のイベントに関連する必要があります。第二に、使用される視覚世界のパラダイムは通常実際の視覚世界写真指示対象の限定セットと限られた一連の潜在的なアクションよりも制約。このいわゆる閉鎖セット問題⁴⁸ , 言語処理実験の内で作成された特定の状況を超えて一般化していませんタスク固有の戦略を作成します。今後は、パラダイムは試行に対して確立されている閉鎖セット外の経験や言語的知識の特性に敏感かもしれない。

視覚世界のパラダイムは、本質的に視覚による知覚と聴覚からの情報から情報の統合を探る。理論的には、2 つのセンセーショナルなドメインによって処理することができます任意の情報学ぶことができる可能性がありますこのパラダイムを使用しています。たとえば、視覚的世界は仮想現実や動的なビデオをすることができます。聴覚の入力言語は、必ずしも、自然界等から音楽と音など、他の形式でもかまいません。さらに、他のドメインではなくビジュアル ドメインと聴覚のドメインからの情報の統合を探索するこのパラダイムをさらに拡張できます。たとえば、研究者はこの手法を使用して、異なる匂い、別に触れるなどによって視覚的な世界で参加者の注視の影響を調べる。

著者は、競合する金銭的な利益が持たないを宣言します。

本研究は、科学財団の北京言語および文化大学中央大学 (承認番号 15YJ050003) の基礎的研究資金によって支えられました。