利用视觉世界范式中的眼球运动探索口语的在线处理

可视化世界范式监视参与者在视觉工作区中的眼球运动, 因为他们正在听或说口语。此范式可用于调查各种心理语言学问题的在线处理, 包括语义复杂的语句, 如析取语句。

在使用视觉世界范式的典型眼动追踪研究中, 参与者在视觉工作区中的物体或图片的眼球运动通过眼动仪记录, 因为参与者产生或理解一种描述并发视觉的口语语言。世界。这种范式具有很高的通用性, 因为它可以在广泛的人群中使用, 包括那些无法阅读和/或不能公然给予他们行为反应的人, 如 preliterate 儿童、老年人和病人。更重要的是, 该范式对语音信号的细粒度操作非常敏感, 它可用于研究多层次语言理解中大多数主题的在线处理, 如细粒度声学语音特征、词的属性和语言结构。本文中描述的协议阐释了如何进行典型的视觉世界眼动跟踪研究, 并举例说明如何利用可视化世界范式来探索一些语义复杂语句的在线处理。

口语是一种快速、持续的信息流, 它马上就会消失。这是一个挑战, 实验研究这个时间, 快速改变语音信号。视觉世界范式中记录的眼球运动可以用来克服这一挑战。在使用视觉世界范式的典型眼动追踪研究中, 参与者对显示的图片或视觉工作区中的真实对象的眼球移动会在他们收听或生成描述视觉世界内容的口头语言时受到监控^{1 ,2,3,4}。这一范式背后的基本逻辑或关联假说是, 理解或规划话语将 (公然或秘密地) 将参与者的视觉注意力转移到视觉世界中的某一特定对象上。这种注意力转移将有很高的可能性, 以启动一个眼跳眼球运动, 使参与的区域进入中心凹视觉。有了这个范式, 研究人员打算确定在什么时间点, 关于语音信号中的一些声学标志, 参与者的视觉注意力的转移发生, 由眼跳眼球运动到对象或视觉上的图片测量世界。然后, 在眼跳眼动与语音信号相关的时间和位置, 用于推断在线语言处理。视觉世界范式可以用来研究口语理解^1,2和生产^5,6。这篇方法论文章将侧重于理解研究。在使用视觉世界范式的理解研究中, 在视觉显示中, 参与者的眼球运动会受到监控, 因为他们听着关于视觉显示的说话话语。

在历史上设计了不同的眼动追踪系统。最简单、最便宜、最便携的系统只是普通的摄像机, 它记录了参与者眼睛的图像。然后通过视频录制的逐帧检查手动编码眼球运动。然而, 这种眼动仪的采样率相对较低, 编码过程耗时。因此, 现代商业眼动追踪系统通常使用光学传感器测量其轨道^7、8、9的方向。要了解现代商业眼动追踪系统的工作原理, 应考虑以下几点。首先, 要正确测量中心凹视觉的方向, 红外照明器 (通常与波长约为 780-880 nm) 通常沿或关闭相机的光轴, 使瞳孔的图像成绩亮或暗比周围的虹膜。瞳孔和/或瞳孔角膜反射 (通常是第一个浦肯野图像) 的图像, 然后用于计算在其轨道的眼睛的方向。其次, 视觉世界中的凝视位置实际上不仅取决于头部的眼睛方向, 还取决于视觉世界的头部方向。为了准确推断眼睛方向的视线, 眼睛追踪器的光源和相机都固定在参与者头部 (头部安装的眼动仪) 上, 或固定在视觉世界 (表安装或远程眼动追踪器)。第三, 参与者的头部方向必须固定在视觉世界上, 或者如果参与者的头部可以自由移动, 则计算得到补偿。当远程眼动仪在无头移动模式下使用时, 通常会通过在参与者前额放置一个小贴纸来记录参与者的头部位置。然后从眼睛方向减去头部方向, 以检索视觉世界中的凝视位置。第四, 然后需要校准和验证过程, 以将眼睛的方向映射到视觉世界中的视线。在校准过程中, 记录了来自已知目标点的参与者的固定样本, 以将原始眼数据映射到视觉世界中的凝视位置。在验证过程中, 参与者的目标点与校准过程相同。在视觉世界中, 通过标定结果与固定目标的实际位置之间存在的差异来判断标定的准确性。为了进一步确认测绘过程的准确性, 通常在每次试验中应用漂移检查, 其中单个固定目标被提交给参与者, 以测量计算的固定位置与实际位置之间的差异。当前目标。

视觉世界研究的主要数据是在视觉世界中以眼动仪的采样率记录的凝视位置的流, 范围在整个或部分的试验持续时间内。在视觉世界研究中使用的从属变量通常是参与者在特定时间窗的视觉世界中特定空间区域中的样本比例。要分析数据, 首先选择时间窗口, 通常称为感兴趣的期间。时间窗口通常在听觉输入中显示某些语言事件时被时间锁定。此外, 还需要将视觉世界分成几个感兴趣的区域 (ROIs), 其中每一个都与一个或多个对象相关联。其中一个区域包含对应于正确理解口语的对象, 因此通常被称为目标区域。可视化数据的一种典型方法是固定比例图, 其中在时间窗口的每个素材箱中, 每个感兴趣区域的样本的比例平均在参与者和项目之间。

使用从视觉世界中获得的数据, 可以回答不同的研究问题: a) 在粗粒度上, 是受不同听觉语言输入影响的视觉世界中的参与者眼球运动吗？b) 如果有效果, 在审判过程中, 效果的轨迹是什么？它是线性效应还是高阶效应？和 c) 如果有效果, 那么在细粒度水平, 什么时候是最早的时间点, 这样的效果出现, 这一效果持续多久？

要对结果进行统计分析, 应考虑以下几点。首先, 响应变量,即固定的比例, 是低于和高于有界 (介于0和1之间), 这将遵循多项式分布而不是正态分布。此后, 传统的基于正态分布的统计方法, 如 t-检验、方差分析和线性 (混合效应) 模型¹⁰, 不能直接利用, 直到比例转换为无界变量, 如使用经验 logit 公式¹¹或已替换为无界依赖变量, 如欧氏距离¹²。不需要假设正态分布的统计技术, 如广义线性 (混合效应) 模型¹³也可以使用。其次, 为了探索观察效果的变化轨迹, 需要将时间序列的变量添加到模型中。这个时间序列变量最初是眼睛跟踪器的采样点重新调整到语言输入的起始位置。由于变化的轨迹通常不是线性的, 所以时间序列的高阶多项式函数通常被添加到 (广义) 线性 (混合效应) 模型中,即增长曲线分析¹⁴。此外, 参与者在当前采样点的眼位置高度依赖于以前的采样点, 特别是当记录频率较高时, 导致自相关问题。为了减少相邻采样点之间的自相关, 原始数据通常是向下采样或装箱的。近年来, 广义加法混合效应模型 (大卫甘姆) 也被用于处理自相关误差^12、15、16。不同的研究中, 箱的宽度各不相同, 从几毫秒到几毫秒不等。研究可以选择的最窄的 bin 受特定研究中使用的眼动仪采样率的限制。例如, 如果眼动仪的采样速率为 500 Hz, 则时间窗口的宽度不能小于 2 ms = 1000/500。第三, 当对每一个感兴趣的时间段重复应用统计分析时, 应处理这些多重比较引起的 familywise 误差。正如我们前面所描述的, 轨迹分析告诉研究员, 在粗粒度上观察到的效果是否与时间的变化有关, 但不显示观察到的效果何时开始显现以及观察到的时间效果持续。为了确定观察到的差异开始偏离时的时间位置, 并计算观察到的效果持续的时间周期, 必须对每个时间段重复应用统计分析。无论使用何种统计方法, 这些多项比较都会引入所谓的 familywise 错误。familywise 错误传统上是通过 Bonferroni 调整¹⁷修正的。最近, 一种称为非参数置换试验的方法, 最初用于神经影像¹⁸ , 已应用于视觉词范式¹⁹控制 familywise 错误。

使用视觉世界范式的研究人员打算从视觉世界中的参与者的眼球运动中推断出某些口语的理解。为了确保这一推论的有效性, 其他可能影响眼球运动的因素应该排除在外或被控制。以下两个因素是需要考虑的常见问题之一。第一个因素涉及参与者的解释性固定的一些系统模式独立于语言输入, 如倾向于注视左上样方的视觉世界, 和移动的眼睛在水平方向比在更容易垂直方向等^12、20确保观察到的固定模式与对象相关, 而不是对象所在的空间位置, 应平衡对象的空间位置在不同的试验或不同的参与者之间。影响参与者眼球运动的第二个因素是视觉世界中对象的基本图像特征, 如亮度对比度、颜色和边缘方向等²¹。为了诊断这一潜在的混淆, 视觉显示通常在口语开始之前或在口头语言的关键声学标记开始之前呈现, 约1000毫秒. 在时间段内从起始测试图像到测试音频的起始, 语言输入或语言输入的消歧义点尚未听到。在不同条件之间观察到的任何差异都应推导为其他混杂因素, 如视觉显示本身, 而不是语言输入。从此预览期间观察到的眼球运动为确定语言输入的效果提供了一个基线。这一预览阶段还允许参与者熟悉视觉显示, 并在提出口语时减少解释性固定的系统偏差。

为了说明如何使用视觉世界范式进行典型的眼动追踪研究, 以下协议描述了从 l. 站¹⁷改编的实验, 探讨语义复杂语句的在线处理,即析取语句 (S1 或 S2)、合合语句 (S1 和 S2) 和但语句 (S1 但 not-S2)。在普通养护中, 某些话语表达的信息实际上比字面意义更强。如小明的盒子里有一只母牛或一只公鸡这样的言论。从逻辑上讲, 只要两个外加状语小明的盒子里有一头母牛,小明的盒子里装着一只公鸡, 这个分离语句是真的。因此, 当两个外加状语都为真时, 该分离语句是真的, 其中相应的连词语句小明的盒子里包含一头母牛和一只公鸡也是真的。然而, 在普通的谈话中, 听到 "分离语句" 往往表明相应的连词语句是假的 (标量含义);并表明, 这两个外加状语的真理值是由说话人 (无知推断) 所未知的。文献中的科目不同于两个推论是语法还是语用过程^{22、23、24、25、26}。通过探索三个复杂语句的在线处理, 该实验演示了如何利用可视化世界范式来评判这些帐户之间的关系。

所有科目必须在实验规程的管理前给予知情的书面同意。所有程序、同意书和实验协议均由北京语言文化大学研究伦理委员会批准。

注意: 使用视觉世界范式的理解研究通常包括以下步骤: 介绍要探讨的理论问题;形成实验设计;准备视觉和听觉刺激;对实验设计的理论问题进行了框架分析;选择一个眼动仪跟踪参与者的眼球运动;选择软件并使用软件构建脚本来呈现刺激;对记录的眼球运动数据进行编码和分析。在任何描述的步骤中, 特定的实验可以不同。作为一个例子, 我们引入了一个协议来进行实验, 并讨论了研究人员在使用可视化世界范式构建和进行自己的实验时需要牢记的一些要点。

1. 准备测试刺激

1. 视觉刺激
   1. 下载从互联网上免费的动物的60剪贴画。用图像编辑器 (例如 Pixelmator) 依次打开每个图像, 单击工具 |快速选择工具来选择和删除背景。点击图片 |图像大小调整为 120 x 120 像素。
   2. 邀请专业绘画的学生画四盏浅绿色的盒子, 如图 1所示。使用图像编辑器将大打开框重新缩放为 320 x 240 像素、大小为 160 x 160 像素的小闭合框和两个小的打开框分别为 160 x 240 像素。
   3. 单击Pixelmator |文件 |新建用于生成大小为 1024年768像素的测试映像的模板。拖动动物和方框来校正图 1中所示的位置。
      注意: 测试图像的布局因研究而异, 但最佳方法是使用四个对象并将它们放在测试图像的四象限中。通过这种方式, 可以更轻松地平衡对象的空间位置。
   4. 创建60个测试图像, 如图 1, 每个动物图像被使用两次。平衡图像中四个方框的空间位置。
      注意: 图像的数量不必精确到 60, 只要它们的效果与实验操作的可分离。
2. 口头语言刺激
   1. 设计每个测试图像对应的四个测试句子, 并记录总共240测试句子。确保四个句子中的三是图 2的形式;而填料句的形式是小明的盒子里不包含一只公鸡, 而是一头母牛。
      注: 测试句子应以参与者所说的母语显示。这个实验的参与者来自中国大陆北京, 所以测试语言是普通话。
   2. 在本实验中, 招募一位母语为中文的母语者 (汉语普通话), 记录四例如图 2所示的例子, 以及实验中使用的所有动物的音频。当记录查出的动物名字时, 请演讲者想象一下, 动物的名字是一个简单句子的完整组成部分, 如小明的盒子里有一个/a , 但她只需要公开地发音动物的名字。
   3. 在示例语句中将两个动物的音频片段替换为每个试验中使用的两个动物的音频, 以创建测试音频的完整列表。首先, 打开 Praat (任何其他音频编辑软件是符合条件的备选方案), 然后单击打开 |从文件中读取 |导航到文件 |打开和编辑,导航到要替换的元素, 然后单击查看和编辑 |编辑 |将所选内容复制到声音剪贴板.其次, 使用相同的步骤打开示例语句, 单击 "选择后粘贴"。第三, 单击保存 | 另存为 wav 文件保存已编辑的语句.重复所有要更改的元素和所有测试语句的过程。
   4. 招募大约10母语的测试语言 (普通话在这里), 以确定是否构建的测试音频是理解和自然。
      注意: 测试音频通常记录为一个整体, 而不是单独的单词。这种传统的录音方法是合理的, 如果测试音频本身是单独的单词。然而, 如果口语刺激是句子而不是单独的单词, 那么, 这种传统方法有几个缺点: 第一, 连续语音的无处不在的属性是两个或更多的语音倾向于时空重叠,这使得很难确定关键字的起始。其次, 不同试验的长度之间的差异也使得很难将所有试验结合在一起进行统计分析。第三, 传统的记录方法往往是耗时的, 特别是当测试音频的数量相对较大时, 如我们在协议中报告的实验。为了克服传统录音方法的不足, 提出了一种不同的方法来构建口语测试音频。首先, 记录了包含所有测试音频中常见单词的示例语句的列表。第二, 在审判之间改变的所有词语也被孤立地记录下来。最后, 用所记录的单词替换样本语句, 以构建测试音频的完整列表。与传统方法相比, 该方法具有多种优点。首先, 除关键字外, 所有测试音频都是完全相同的, 因此测试音频中的所有潜在混淆效果都将从此控制。其次, 相同的长度也使得测试音频的分割比测试音频记录为一个整体更容易。此方法的一个潜在缺点是构造的音频可能不自然。此后, 测试音频的自然性必须在符合实际测试条件之前进行评估。
3. 将240个测试句子分成四组, 每个组包含15个连词语句、15种分离语句、 15 个语句和15填充句。确保每个参与者只遇到一组240试验: 他/她看到所有的测试图像, 但只听到一组测试音频。
   注意: 这是要解决的担忧, 如果同样的刺激重复, 参与者可能会习惯于这些刺激, 甚至可能成为战略, 他们如何回应刺激。
4. 将有关测试刺激的所有重要信息保存到制表符分隔的 txt 文件中, 每行对应240个试验中的每一行。确保该文件至少包含以下列: experiment_group、 sentential_connective、trial_number、test_image、test_audio、test_audio_length、ia_top_left、ia_top_right、ia_bottom_left、ia_bottom_right、animal_1 _图像, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length。
   注: experiment_group用于将240试验分成4组。sentential_connective对应于不同的实验条件。animal_1_image对应于动物的图像, 将首先呈现给参与者熟悉测试图像中使用的动物。test_image、 test_audio和test_audio_length参考测试图像和测试音频以及其在当前试用中使用的长度。ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right参考当前试用中四个兴趣区的名称, 无论是 " 大开" 盒、"小封闭式" 盒、小开在测试音频中包含 "第一个提到的" 动物的框, 或在测试音频中包含 "第二个提到" 动物的小开箱。animal_1_audio和animal_1_audio_length是指对应于animal_1_image的音频和音频长度。animal_2_image、 animal_2_audio和animal_2_audio_length对应于将要呈现的第二个动物。要强调的一件事是, 呈现这两只动物的顺序是平衡的, 关于动物是否在第一次或在测试音频的下半年提到。

2. 对实验设计进行理论预测。

1. 确保参与者的行为反应和在实验设计中的眼球运动可以用来区分理解的测试句子, 并可用于在不同的科目之间进行判决测试。
   注意: 考虑到实验设计, 对合结语句的正确响应是大打开框, 如图 1中的方框 a。对一个但语句的正确响应是包含在测试音频的前半部分中提到的动物的小开箱, 如图 1中的方框 D。但是, 参与者对析取语句的反应取决于两个讨论的推断是否和/或如何处理。如果参与者不计算标量含义和无知推断, 那么所有四个框都是符合条件的选项。如果参与者计算标量含义而不是无知推断, 那么大的打开 (如图 1中的方框 A) 将被排除在外, 其余三个框 B、C 和 D 都是符合条件的选项。如果参与者计算的是无知推理, 而不是标量含义, 那么小的打开框将被排除在外,我. e. 方框 C 和 D 将被排除在外。总之, 在图 1中的方框 B 等小的封闭框将不会被选为一个分离语句的最终选项, 直到标量含义和无知推断都计算出来。

3. 构建实验脚本

1. 打开实验生成器,单击文件 |新建用于创建实验项目。输入项目名称, 如vwp_disjunction。选择项目位置。检查EyeLink 实验, 从下拉列表中选择EyeLink 1000plus 。这些操作将创建一个包含与实验相关的所有文件的子目录, 它将创建一个名为vwp_disjunction的子目录, 文件夹中名为 "图. ebd" 的文件。
   注: 实验生成器用于构建实验脚本, 以演示测试刺激并记录参与者的眼球运动以及它们的行为反应。实验生成器是一个可以让你看到的工具, 用来构建实验脚本。它是易于使用, 但任何其他刺激演示软件是一个合格的替代品。
2. 使用可视化世界范式可视化典型的眼动追踪实验的层次结构, 如图 3所示。图中的每个粉红色矩形都通过实验生成器实现为序列对象;每个具有灰色背景的对象都是作为节点对象实现的。
   注: 实验生成器中的序列是一个实验循环控制器, 用于将不同对象链在一起作为复杂节点。序列始终以起始节点开头。数据源可以附加到序列节点, 以便为每个试验提供不同的参数。
3. 构建实验序列
   1. 单击文件 |打开, 浏览到实验目录, 然后双击项目目录中的图表. ebd文件以打开保存的实验项目。
   2. 点击编辑 |图书馆经理 |图片 |添加将图像加载到实验项目中。同样, 单击编辑 |图书馆经理 |音响 |添加将音频加载到实验项目中。
   3. 将DISPLAY_SCREEN对象拖到工作空间中, 并在 "属性" 面板上更改其标签值, 以将其重命名为指令。双击打开 "指令" 节点, 然后单击 "插入多行文本资源" 按钮以输入实验指令。确保该指令包含以下信息:
      在每一次试验中, 首先你会看到两只动物的图像, 每一个动物在屏幕上依次打印, 以及在屏幕两侧的两个扬声器上播放的动物的声音。然后, 将在屏幕的中心显示一个黑色点。在点注视时, 应按空格键。接下来, 您将看到一个测试图像, 其中包含四个在屏幕上打印的框, 并听到通过这两个扬声器播放的测试句子。你的任务是根据你听到的测试句子找到小明的盒子, 并尽快按下相应的按钮:
      左上框---左箭头
      右上框---向上箭头
      左下角框---左箭头
      右下角框---右箭头
      在每个测试图像中, 您将看到位于四象限和两个包含在方框中的动物的四个方框。四盒可以在两个维度变化: 它的接近和大小。一个盒子是封闭的还是不影响我们对这个盒子的认知知识, 而不是它所包含的动物。如果一个盒子是打开的, 那么这个盒子里包含的动物是已知的。如果关闭一个框, 则该框中包含的动物是未知的。盒子的大小影响盒子里的动物数量, 而不是我们在那个盒子上的认知知识。无论盒子是封闭的, 还是一个小盒子, 总是包含一只动物, 一个大箱子总是包含两个不同的动物。
      如果您对实验目标和程序感到满意, 请让实验者知道, 我们将帮助您执行标准眼动追踪校准和验证例程。如果您有任何问题, 请不要犹豫, 询问。
      注意: 这是一个指令, 将在实验前在屏幕上打印 (说明应该用母语的人说, 如普通话中文)。
   4. 将键盘对象拖到工作空间中。
      注意: 此步骤用于结束指令屏幕
   5. 将序列对象拖到工作空间中, 并将其重命名为块。
   6. 选择块序列, 单击数据源属性的值字段以调出数据源编辑器。单击 "数据源编辑器" 屏幕上的 "导入数据" 按钮, 将眉指向在步骤1.4 中创建的 .txt 文件以导入数据源。
   7. 单击数据源编辑器中的随机设置按钮, 选中启用试用随机化, 从列字段的值字段中选择trial_number , 然后选择experimental_group从"拆分列" 字段的下拉列表。
   8. 将第二个DISPLAY_SCREEN 对象拖动到工作空间, 并将其重命名为 "再见".双击 "再见" 节点并插入以下信息: 在参与者的母语 (本协议中为普通话):实验结束了, 非常感谢您的参与.
   9. 左键单击 "开始" 节点, 将箭头拖动到 "指令" 节点, 然后松开鼠标按钮将 "开始" 节点连接到指令节点。重复相同的鼠标移动以将指令节点连接到键盘节点、键盘节点到块节点, 然后将节点阻止到 "再见" 节点。点击查看 |排列布局以排列工作区中的节点。
4. 生成块序列
   1. 双击以打开块序列。将El_CAMERA_SETUP节点拖到块序列中, 以在 EyeLink 主机 PC 上显示摄像机设置屏幕, 以便实验者执行相机设置、校准和验证。单击 "属性" 面板中的 "校准类型" 字段, 然后从下拉列表中选择 "HV5"。
      注: 映射过程中的位置数因不同的实验设计而异。取样的位置越多, 覆盖的空间越多, 预期的精确度就越高。但更多的样品意味着更多的时间来完成过程。所以实际上, 在一个特定的研究中, 位置的数量不能很大, 特别是当参与者是 preliterate 的儿童或临床患者。在视觉世界范式中, 利息区域的数量相对较小, 感兴趣的领域通常相对较大。映射过程可以达到一个令人满意的水平, 相对较少的位置数。在我描述的协议中, 我使用了五点的校准和验证。
   2. 将序列节点拖到块序列中, 并将其重命名为试用版。将 "开始" 节点连接到CAMERA_SETUP节点, 然后连接到核酸E 节点。
5. 构建试用序列
   1. 双击以打开试用序列, 将DISPLAY_SCREEN节点拖到试用序列中, 并将其重命名为animal_1_image。双击打开 "屏幕生成器" 节点, 然后单击 "屏幕生成器" 工具栏上的 "插入图像资源" 按钮, 从上传的图像源插入动物图像。单击 "源文件名称" 属性的 "值" 字段, 导航到附加到块序列的数据源;双击Animal_1_Image列, 将DISPLAY_SCREEN与数据源的正确列连接起来。
   2. 将PLAY_SOUND节点拖到试用序列中, 并将其重命名为animal_1_audio。单击animal_1_audio节点的声音文件属性, 并将其连接到数据源的正确列 (如步骤3.5.1 中所述)。
   3. 将计时器节点拖到试用序列中, 并将其重命名为animal_1_audio_length。单击 计时器 节点的工期属性, 并导航到在3.4.1 中创建的数据源的正确列。
   4. 将另一个DISPLAY_SCREEN节点、另一个PLAY_SOUND节点和另一个计时器节点拖到试用序列中, 将它们重命名为animal_2_image、animal_2_audio和动物_2_audio_duration,重复步骤 3.5.1-3.5.3 中描述的步骤。 
      注意: 这些步骤包括用于控制可能的混淆, 不同的参与者可能会以不同的方式命名相同的图像。平衡显示两个动物的顺序, 无论是在测试音频的第一或下半年提到。
   5. 将准备序列对象拖到试验序列中, 并将属性绘制更改为 Eyelink 主机到图像。
      注意: 此节点用于将图像和音频文件预加载到内存中, 以便实时绘制图像和播放声音。它还用于在主机 PC 上绘制反馈图形, 以便能够监视参与者的注视精度。
   6. 将DRIFT_CORRECT节点拖到试验序列中, 引入漂移校正。
   7. 拖动新的序列节点并将其重命名为录制。一次连接到这些节点的开始。
6. 生成录制序列
   1. 检查录制序列的 "属性" 面板中的 "记录" 字段, 然后双击以打开录制序列。
      注意: 检查记录属性的序列意味着参与者在这段时间内的眼球运动将被记录下来。
   2. 将新DISPLAY_SCREEN拖到记录序列中, 将其重命名为test_image。将消息test_image_onset添加到test_image节点的message属性中。
      注意: 在数据分析阶段, test_image节点中的消息和test_audio节点 (第3.6.6 节) 中的消息对于确定测试映像的起始位置和测试音频在每次试用中的起始位置非常重要。
   3. 双击打开 "屏幕生成器" 节点, 然后单击 "屏幕生成器" 工具栏上的 "插入图像资源" 按钮, 从上传的图像源插入任何动物图像。单击 "源文件名称 " 属性的 "值" 字段, 导航到附加到块序列的数据源;双击test_image列, 将DISPLAY_SCREEN与数据源的正确列连接起来。
   4. 双击DISPLAY_SCREEN节点打开屏幕生成器, 单击插入矩形感兴趣区域区域的按钮, 然后绘制四个矩形区域, 如图 1中的蓝色框所示。将感兴趣的四个区域的标签更改为Top_Left、 Top_Right、 Bottom_Left和Bottom_Right, 并将已提交的DataViewer 名称与数据源的正确列连接起来。
      注意: 这些区域对参与者来说是不可见的。为使感兴趣区域更有意义, 请将示例中左上角区域的名称标记为 "方框 A (大打开)", 区域右上角区域为 "方框 B (小闭合)", 左下角为 "方框 C (第二个提到)", 区域右下角区域为 "方框 D (第一次提到)", 因为两个小的开箱包含两个动物分别在测试音频的第一和第二半部分提到。
   5. 将计时器节点拖到工作区中, 将其重命名为暂停, 并将工期属性更改为500毫秒。
      注意: 此计时器节点在测试映像的开始和测试音频的开始之间添加一些时间滞后。时间滞后使参与者有机会熟悉测试图像。在此预览期间, 参与者的眼球运动还提供了确定口语输入效果的基线, 尤其是当关键字位于测试音频的开头时。
   6. 将PLAY_SOUND节点拖到工作空间中, 并将其重命名为test_audio。单击声音文件属性并将其连接到数据源的正确列 (如步骤3.5.1 中所述), 并将消息 test_audio_onset添加到message属性中。
   7. 将计时器节点拖到工作空间中, 将其重命名为test_audio_length。将工期属性更改为10500毫秒。
   8. 添加新的计时器节点, 将其重命名为record_extension, 并将工期属性更改为4000毫秒。
   9. 将新的键盘节点添加到工作空间中, 将其重命名为行为响应, 并将可接受的key属性更改为 "[向上、向下、向右、左]"。
      注意: 参与者的行为选择可用于双重检查从参与者的眼球运动推断得出的结论的有效性。
   10. 将 "开始" 节点连接到 "暂停"、" test_audio"、" test_audio_length" 和 " Record_extension节点"。从test_audio_length到behavioral_responses节点添加另一个连接。
       注: 通过添加这些连接, 当前试用版将结束, 并在参与者进行按键选择小明的方框后, 或在测试音频的偏移量后的 4000 ms 开始新的试验。
   11. 将变量节点拖到工作空间中, 将其重命名为key_pressed, 并将其 value 属性连接到behavioral_Responses 键盘 |触发数据 |键。
   12. 将RESULT_FILE节点拖到工作空间中, 将ADD_TO_RESULT_FILE节点拖到工作空间中, 并将record_extension节点和behavioral_responses节点连接到ADD_TO_RESULT_FILE节点。
7. 单击实验 |生成以生成实验脚本, 单击 "实验" | "测试运行以测试运行实验。完成所有操作后, 单击 "实验" | "部署以创建实验项目的可执行版本。
   注意: 有关如何使用实验生成器的详细信息, 请参阅软件手册²⁷。

4. 招募参与者

1. 确保参与者有正常或矫正正常视力。建议近视的参加者配戴隐形眼镜, 但眼镜也是可以接受的, 只要镜片是干净的。确保所有参与者都是测试语言的母语者, 如这里的普通话。
   注意: 作为一般准则, 参与者被视为符合资格, 只要参与者可以看到距离约60厘米的测试图像。就参与者人数而言, 根据一些经验法则, 回归分析的参与者人数应不少于50人。在这里, 来自北京语言文化大学的三十七名研究生参加了实验, 这比建议的数量小一些。

5. 进行实验

注意: 当参与者是正常发育的成年人时, 一个实验者就足以进行实验的进行。但是, 如果参与者是特殊群体, 如儿童, 则需要两个或更多的实验者。

1. 选择一个眼动仪来记录参与者的眼球运动。
   注意: 本实验中使用的眼动仪是 Eyelink 1000plus, 在自由移动头模式下运行。这是一个基于视频, 桌面安装的眼动追踪系统, 使用瞳孔的原理, 角膜反射 (CR) 跟踪眼睛的旋转。在自由移动头模式下运行时, 眼动仪具有 500 Hz 的单目采样率, 0.01°的空间分辨率和小于0.5°的平均误差。有关系统的详细信息, 请参阅技术规格^28,29。可以使用替代跟踪器, 但具有远程跟踪模式的则更好, 尤其是当参与者 preliterate 儿童时。
2. 在主机 PC 上启动系统以启动相机的主机应用。
3. 要将系统配置为桌面远程模式, 请单击设置选项按钮, 将配置选项设置为桌面-目标贴图-单眼-16/25 毫米长度--RTARBLER.
4. 单击显示 PC 上的实验项目的可执行版本, 输入参与者的名称, 然后从提示 窗口中选择一个 组以选择要运行的条件值.
   注意: 每个测试会话将在实验项目的子目录结果下创建一个具有输入名称的文件夹。该文件夹下的 EDF 文件包含相关的眼球移动数据。
5. 要求参与者坐约60厘米从21英寸, 4:3 彩色显示器与 1024px x 769px 分辨率, 其中27像素等于1度的角度。
6. 调整显示器 PC 显示器的高度, 以确保当参与者坐着并直视前方时, 他们正在垂直地看着显示器的中间75% 部。
   注意: 如果座椅、书桌和/或 PC 显示器的高度可调, 则首选。应避免使用脚轮的椅子和桌子, 因为它们往往会导致无意的移动和滚动。
7. 在参与者的前额放置一个小靶贴纸, 即使在瞳孔图像丢失时也要跟踪头部位置, 例如在眨眼或突然移动时。
   注意: 不同的眼球追踪器可能使用不同的方法来跟踪参与者的头部。为使主体的横向运动范围最大化, 跟踪的眼睛应与照明器位于同一一侧。
8. 旋转桌面支架上的对焦臂, 将眼睛图像聚焦。
9. 单击主机 PC 上的校准按钮进行校准过程, 方法是要求参与者在随机连续的情况下固定五个定位目标的网格, 而不采取明显的行为反应, 将参与者的眼球运动映射到视线在视觉世界中。
10. 单击主机 PC 上的 "验证" 按钮, 通过要求参与者注视固定目标的相同网格来验证校准结果。当误差大于1°时, 重复校准和验证例程。
11. 在实验开始时和测量精度差时进行两个例程 (例如, 在强烈的头部运动或参与者的姿势发生变化后)。
12. 单击主机 PC 上的 "录制" 按钮开始实验。
13. 通过要求参与者按键盘上的空格键, 同时在屏幕中央显示的黑点注视, 对每个试验执行漂移检查。
    注意: 当参与者 preliterate 儿童或临床患者时, 明确指示他们按键盘, 而注视黑点通常是不切实际的。但他们的注意力和眼睛注视往往会被显示的黑点自动吸引。在这种情况下, 实验者应该是按下键盘的人, 而参与者是在黑色点注视。
14. 通过显示屏 PC 显示器显示视觉刺激, 并通过位于显示器左侧和右侧的一对外部扬声器播放听觉刺激 (也可接受耳机)。
    注意: 录制从硬盘播放为 24 kHz 单声道声音剪辑。如果没有特殊的原因, 单声道声音剪辑首选立体声声音剪辑。在立体声音频剪辑中, 两个音轨之间的差异以及两个扬声器之间的差异可能会影响参与者的眼球运动。有关如何使用眼动仪的更多信息, 请参阅用户手册³⁰。

6. 数据编码和分析

1. 打开数据查看器, 单击文件 |导入文件 |导入多个 Eyelink 数据文件以导入所有记录的眼动仪文件 (与 EDF 的扩展), 并将其保存为单个。ev文件。
2. 打开保存的 EVS 文件, 然后单击分析 |报告 |示例报表导出未聚合的原始示例数据。
   注意: 如果眼动仪的采样率为 500 Hz, 则导出的数据将有500个数据点, 此后每秒500行。如果跟踪参与者的左眼, 请确保导出以下列以及在数据源中创建的变量: RECORDING_SESSION_LABEL、LEFT_GAZE_X、LEFT_GAZE_Y、LEFT_INTEREST_AREA_LABEL、LEFT_IN_BLINK、LEFT_IN_SACCADE、LEFT_PUPIL_大小, SAMPLE_INDEX, SAMPLE_MESSAGE。有关如何使用数据查看器的详细信息, 请参阅软件手册³¹。
3. 将统计分析从测试图像的起始到测试音频的偏移量 ( i. e.), 将时间窗限制为十一年代的时态窗口。
4. 删除参与者眼球移动不记录的样本, 例如参与者眨眼, 这大致影响10% 的记录数据。
   注意: 这是一个可选步骤, 因为无论是否删除这些示例, 结果通常都是相同的。
5. 对数据进行编码。要在某个采样点构造特定感兴趣区域的数据, 请将数据编码为 1, 如果参与者的眼动固定位于该取样点要分析的感兴趣区域中。如果眼睛固定不位于该取样点的感兴趣区域, 则将数据编码为0。
6. 绘制固定比例以可视化所获得的数据。要计算特定感兴趣区域的固定比例, 请在每个条件下为所有试验和每个采样点的所有参与者平均编码数据。在 y 轴上根据轴上的取样点绘制计算出的固定比例, 不同的面板表示感兴趣的区域和绘制颜色, 表示不同的实验条件。
   注: 在实验中, 四个面板描述了参与者在四个感兴趣区域的固定模式。当测试语句是连词 (S1 和 S2), 但语句 (S1 但不是 S2) 和析取 (S1 或 S2) 时, 红色、绿色和蓝色线说明了参与者的固定模式。用于绘制描述性图解的软件是来自 R 环境的 ggplot2 包。其他软件也可用。图 5是此类图解的一个示例。
7. 根据每个采样点的每个感兴趣区域拟合二项式广义线性混合模型 (GLMM), 因为数据被编码为1或 0, 具体取决于参与者的固定位于该取样点的感兴趣区域中还是之外。
   注意: 由于数据不是装箱的, 编码的数据只能是1或 0, 因此编码数据的分布是二进制而不是正常的。从此, 采用二项式分布族的 GLMM 模型。GLMM 模型包括固定期限、实验条件和两个随机术语、参与者和项目。对两个随机条件的计算公式包括截获和实验条件的斜率。用于执行模型拟合的软件是来自 R 环境的lme4包。其他软件也可用。应该提到的一件事是, 固定项目的基线不同, 当分析的兴趣区, i. e, 分析的框, 是不一样的。具体而言, 在分析大开箱 (box a) 时, 将连接 (S1 和 S2) 作为基线选择, 在分析小闭合框 (方框 B) 时选择了析取 (a 和 B) 作为基线, 而语句被选为分析第一个所述框 (方框 D) 时的基线。
8. Bonferroni 调整了通过 familywise z测试获得的p值, 以减少多次比较引起的误差。
   注意: Bonferroni 调整是解决多重比较引起的 familywise 误差的传统方法。其他方法也可用, 如我们在简介部分中所述。

图 4总结了参与者的行为反应。正如我们前面所述, 对合结语句 (S1 和 S2) 的正确响应是大打开框, 如图 1中的方框 a。对但语句 (S1 但不是 S2) 的正确响应是包含第一个提到的动物的小打开框, 如图 1中的方框 D。批判地说, 哪个框被选择到析取语句 (S1 或 S2) 取决于如何处理析取语句: 小的封闭框, 如图 1中的方框 B, 仅当标量含义和无知推断与析取语句有关的都是计算出来的。图 4说明了在理解一个析取语句 (S1 或 S2) 时, 参与者计算两个推断。

此外, 参与者的眼睛盯着小的封闭盒, 特别是当这些固定在该框的行为反应后, 也建议计算标量含义和无知推断。当参与者将视觉注意和固定放在小的封闭盒上时, 两个推论应该被处理得不晚于最早的时间点。图 5总结了参与者的眼球运动。正如我们在 B 小组中看到的, 参与者在小闭盒 (方框 B) 上的眼睛注视不会增加, 除非句子结缔组织是分离的结缔组织,或者。此外, 这种增加的开始不晚于分离连接的偏移量。这意味着标量含义和无知推断都是在句子连接的失调之前计算出来的, 即在遇到分离连接时立即。

图 1.实验中使用的测试图像的示例.灰色区域是实际呈现给参与者的测试图像。布鲁斯框、虚线和表示元素宽度的像素仅用于插图的目的, 对参与者来说是不可见的。(根据 l. 站¹⁷试验之一的许可)。请点击这里查看这个数字的更大版本.

图 2.实验中使用的测试句子的一个例子(通过许可, 从 l. 站¹⁷重印)。请点击这里查看这个数字的更大版本.

图 3.采用视觉世界范式的典型眼动追踪实验的层次结构.图像中所示的音频是在实验中使用的普通话的英文翻译。请点击这里查看这个数字的更大版本.

图 4.参与者在实验中记录的行为反应(根据 l. 站¹⁷实验之一的许可)。请点击这里查看这个数字的更大版本.

图 5.实验中观察到参与者的眼球运动.句子的起始和偏移由两条虚线垂直线所表示。在某些取样点的分离和基线条件之间存在显著的差异, 由灰色区域 (p <. 05, Bonferroni 调整) 表示 (根据 l......¹⁷ 。请点击这里查看这个数字的更大版本.

要进行视觉世界研究, 需要遵循几个关键步骤。首先, 研究人员打算通过视觉世界中的参与者的眼球运动推断出触觉所呈现的语言的解释。今后, 在设计视觉刺激的布局时, 应控制可能影响参与者眼球运动的自然任务中眼球运动的性质。然后可以识别口语对参与者眼球运动的影响。第二, 口语中的声学提示是瞬态的, 没有与特定语言类别完全对应的声学特征。为了正确地锁定参与者在某些语言标记开始时的眼球运动, 研究人员应该找到一种客观、一致的方法来界定某些语言结构的边界。第三, 要正确地将参与者的眼球旋转与视觉世界中的目光结合在一起, 研究人员需要执行一个或多个校准、验证和漂移校正过程的运行。第四, 从视觉世界中获得的数据具有一些特殊性质, 如低、上界、自相关错误等。当选择方法统计分析数据时, 应考虑这些特殊属性。

一个视觉世界的研究包括三基本组成部分: 视觉显示, 口语, 实验任务。可以对任何组件进行修改, 以满足研究人员的特定目的。首先, 视觉显示通常是描述图片数组的筛选显示。但它也可以是一个筛选显示, 描绘了一个数组的印刷字³², 示意图场景^30,31, 或真实世界场景包含真实的对象^1,32。第二, 口语话语可以是一个词³⁶, 一个简单的句子^30,31, 一个语义复杂的语句^17,34,35, 或对话³⁹。第三, 在实验任务方面, 参与者要么只是被要求看视觉世界, 仔细聆听听觉话语^30,31;或被要求作出一些行为反应, 如表演由听觉话语¹描述的动作, 确定听觉话语是否适用于视觉显示³⁸, 或选择正确的视觉显示中的图像说话的话语说的是¹⁷。

与其他心理语言学技术相比, 视觉世界范式具有几个独特的优势。首先, 视觉世界范式可以在广泛的人群中使用, 包括那些无法阅读和/或不能公然给予他们行为反应的人, 例如 preliterate 儿童^{37、38、39、40,41,42}、老年成人⁴⁶人, 患者 (失语)⁴⁷例。这是因为语言刺激是在听觉而不是书面文本的形式呈现;从参与者的隐性自动眼球运动而不是从他们的显性行为反应推断语言理解。第二, 视觉世界范式对语音信号的细粒度操作非常敏感。该范式可用于研究多层次语言理解中大多数主题的在线处理, 如细粒度声学语音特征^33、45、46、词语^30,31, 语言结构^1,47, 和语义复杂语句的逻辑结构, 如 concessives³⁷, biconditionals³⁷,条件³⁸和析取¹⁷。

与其他心理语言学技术相比, 视觉世界范式也有一些潜在的局限性。首先, 参与者对口语的解释是从他们在视觉世界上的眼球运动推断出来的, 而不是从语言刺激本身的实际诠释中推导出来的. 从今以后, 可以用视觉世界研究的语言属性范式只限于那些可以被可视化的,我. e., 它们应该以某种方式与视觉世界中的实体或事件相关。第二, 使用的视觉世界范式通常比实际的视觉世界更受限制, 有一组有限的图引用者和一组有限的潜在动作。这种所谓的闭集问题⁴⁸可能会创建特定于任务的策略, 观察到的语言处理不会超越实验中创建的特定情况。从今以后, 范式可能不敏感的语言知识和经验的特点, 在封闭集, 已经建立在一个特定的审判。

视觉世界范式从视觉领域和从听觉领域的信息的整合来探讨信息的集成。理论上, 任何可由两个耸人听闻的域处理的信息都可以使用此范式进行研究。例如, 可视化世界可以是虚拟现实或动态视频。听觉输入不一定是语言, 可以是任何其他格式, 如音乐和声音从自然世界,等等。此外, 还可以进一步扩展此范式, 以探索从其他域 (而不是视觉域和听觉域) 集成信息。例如, 研究人员可能会使用这种技术来了解参与者在视觉世界中的注视如何受到不同气味、不同接触等的影响。

撰文人宣称他没有竞争的经济利益。

这项研究是由北京语言文化大学科学基金会在中央大学基础研究基金 (批准编号 15YJ050003) 的支持下进行的。