在复杂的航空任务中进行眼动追踪，以深入了解信息处理

眼动追踪是一种探测信息处理的非侵入性方法。本文介绍了如何使用眼动追踪来研究低时飞行员在飞行模拟紧急任务期间（即 <350 飞行小时）的注视行为。

眼动追踪已被广泛用作一种代理，以深入了解构成技能表现基础的认知、知觉和感觉运动过程。以前的研究表明，传统和高级凝视指标可靠地展示了飞行员专业知识、认知负荷、疲劳甚至态势感知 （SA） 方面的巨大差异。

本研究描述了使用可穿戴眼动仪和凝视映射算法的方法，该算法在高保真飞行静止模拟器中捕捉自然的头部和眼球运动（即凝视）。本文概述的方法描述了基于感兴趣区域 （AOI） 的眼动分析，它提供了与参与者观看位置相关的更多上下文，以及停留持续时间，这表明他们处理固定信息的效率。该协议说明了可穿戴眼动仪和计算机视觉算法的效用，以评估眼动行为的变化以应对意外的飞行中紧急情况。

代表性结果表明，当引入紧急事件时，凝视受到了显着影响。具体来说，注意力分配、注视分散和注视序列复杂性显着降低，并在紧急情况下高度集中在看前窗外和空速计上（所有 p 值均< 0.05）。讨论了在高保真无动飞行模拟环境中使用可穿戴式眼动仪来理解注视行为的时空特征及其与航空领域信息处理的关系的效用和局限性。

人类主要通过首先移动眼睛和头部来将视线（即凝视）聚焦于感兴趣的特定物体或位置，从而与周围的世界互动。在复杂的环境中尤其如此，例如飞行员面临多种竞争性刺激的飞机驾驶舱。注视运动能够收集高分辨率的视觉信息，使人类能够以安全灵活的方式与环境互动¹，这在航空中至关重要。研究表明，眼球运动和注视行为可以深入了解各种任务中潜在的感知、认知和运动过程 ^1,2,3。此外，我们看的地方直接影响上肢运动的计划和执行³。因此，航空任务期间的注视行为分析提供了一种客观且非侵入性的方法，可以揭示眼球运动模式与信息处理和性能的各个方面之间的关系。

几项研究表明，在各种实验室范式以及复杂的实际任务（即作飞机）中，凝视和任务表现之间存在关联。例如，与任务相关的区域往往更频繁地被固定，总持续时间更长，这表明注视位置、频率和停留时间是神经认知和航空任务中注意力分配的代理 ^4,5,6。与不太成功的表演者或新手相比，高度成功的表演者和专家表现出对任务关键领域的明显固定偏见 ^4,7,8。注视的时空方面是通过各种感兴趣区域 （AOI） 的停留时间模式的变化或注视分布的测量（即静止凝视熵：SGE）来捕获的。在基于实验室的范式的背景下，平均注视持续时间、扫描路径长度和凝视序列复杂性（即凝视转换熵：GTE）往往会增加，因为解决问题和阐述更具挑战性的任务目标/解决方案所需的扫描和处理增加 ^4,7。

相反，航空研究表明，扫描路径长度和注视序列复杂性会随着任务复杂性和认知负荷的增加而降低。这种差异凸显了这样一个事实，即理解任务组件和所采用范式的需求对于准确解释眼动指标至关重要。总而言之，迄今为止的研究支持眼动测量为任务特定信息处理提供了有意义、客观的见解，这些信息处理是任务难度、认知负荷和任务表现差异的基础。随着眼动追踪技术（即便携性、校准和成本）的进步，研究“野外”的凝视行为是一个新兴的研究领域，在推进医学 ^9,10,11 和航空 12,13,14 领域的职业培训方面具有切实的应用。

目前的工作旨在通过在低时飞行员的紧急飞行模拟任务中专门使用可穿戴眼动仪来进一步研究使用基于凝视的指标来深入了解信息处理的效用。本研究扩展了之前使用头部稳定眼动仪（即 EyeLink II）来检查视线行为指标与飞行难度（即天气条件^{的变化）的}差异5。本手稿中介绍的工作还扩展了其他工作，这些工作描述了在虚拟现实系统中使用眼动追踪的方法和分析方法¹⁵。我们的研究使用了更高保真度的静止模拟器，并报告了对眼球运动数据（即熵）的额外分析。这种类型的分析在以前的论文中已经报道过;然而，当前文献中的一个局限性是报告分析步骤缺乏标准化。例如，报告感兴趣区域的定义方式至关重要，因为它直接影响生成的熵值¹⁶。

总而言之，目前的工作检查了传统的和动态的凝视行为指标，同时通过引入飞行中的紧急场景（即意外的发动机总故障）来纵任务难度。预计飞行中紧急场景的引入将提供对更具挑战性的任务条件下信息处理基础的注视行为变化的洞察。这里报道的这项研究是一项更大规模的研究的一部分，该研究考察了眼动追踪在飞行模拟器中的效用，为基于能力的飞行员培训提供信息。此处介绍的结果以前未发表过。

以下协议可应用于涉及可穿戴眼动仪和飞行模拟器的研究。目前的研究涉及在飞行模拟器中与复杂的航空相关任务一起记录的眼动追踪数据（参见 材料表）。该模拟器被配置为代表 Cessna 172，并与必要的仪表板（蒸汽表配置）、航空电子设备/GPS 系统、音频/灯光面板、断路器面板和飞行控制单元 （FCU） 一起使用（见 图 1）。本研究中使用的飞行模拟器设备可用于培训目的，并被当地飞行学校用于训练在低风险环境中应对各种紧急情况（例如发动机故障）所需的技能。这项研究的参与者都获得了许可;因此，他们之前在培训过程中体验过发动机故障模拟器场景。这项研究得到了滑铁卢大学研究伦理办公室 （43564;日期：2021 年 11 月 17 日）。所有参与者 （N = 24;14 名男性，10 名女性;平均年龄 = 22 岁;飞行小时范围：51-280 小时）都提供了书面知情同意书。

图 1：飞行模拟器环境。飞行模拟器环境的图示。参与者对驾驶舱的视角复制了飞行员驾驶 Cessna 172 的视角，该飞机预设为顺风到基地再到最终进近，飞往加利福尼亚州安大略省布雷斯劳的滑铁卢国际机场。橙色框代表眼动分析中使用的 10 个主要感兴趣区域。这些包括 （1） 空速、（2） 姿态、（3） 高度计、（4） 转弯协调器、（5） 航向、（6） 垂直速度和 （7） 电源指示器，以及 （8） 前窗、（9） 左窗和 （10） 右窗。该图是从 Ayala 等人 5 ^{修改而来的。}请单击此处查看此图的较大版本。

1. 参与者筛选和知情同意

1. 根据纳入/排除标准 ^2,5 通过自我报告问卷筛选参与者：至少拥有私人飞行员执照 （PPL），视力正常或矫正至正常，并且之前没有诊断出患有神经精神/神经疾病或学习障碍。
2. 通过由实验者和监督飞行教官/模拟器技术人员处理的详细简报，告知参与者研究目标和程序。查看机构的道德审查委员会批准的同意文件中概述的风险。回答有关潜在风险的任何问题。在开始任何研究程序之前获得书面知情同意书。

2. 硬件/软件要求和启动

1. 飞行模拟器（通常由模拟器技术人员完成）
   1. 打开模拟器和投影仪屏幕。如果其中一台投影仪没有与其他投影仪同时打开，请重新启动模拟器。
   2. 在 Instruction 屏幕上，按 Presets 选项卡并验证所需的 Position 和/或 Weather 预设是否可用。如果需要，请创建新的预设类型;请咨询技术人员寻求帮助。
2. Collection 笔记本电脑
   1. 打开笔记本电脑并使用凭据登录。
   2. 出现提示时，请选择预先存在的配置文件，或者在测试新参与者时创建一个配置文件。或者，选择 Guest 选项以覆盖其上次校准。
      1. 要创建新配置文件，请滚动到配置文件列表的末尾，然后单击 Add。
   3. 将 配置文件 ID 设置为 参与者 ID。此配置文件 ID 将用于标记文件夹，该文件夹在录制完成后保存眼动追踪数据。
3. 眼镜校准
   注意：眼镜必须与笔记本电脑保持连接才能进行录制。在数据收集开始时，只需完成一次盒式校准。
   1. 打开眼动仪盒并取出眼镜。
   2. 将 USB 转 micro-USB 电缆从笔记本电脑连接到眼镜。如果笔记本电脑上出现提示，请更新固件。
   3. 找到眼动仪盒内的黑色校准框。
   4. 在采集笔记本电脑的 眼动追踪中心内，选择 工具 |设备校准。
   5. 将眼镜放入盒子中，然后按弹出窗口上的 Start 开始 校准。
   6. 校准完成后，从包装盒中取出眼镜。
4. 物镜转盘适配
   1. 选择物镜转盘。
   2. 指示参与者坐在驾驶舱内并戴上眼镜。
   3. 在 Eye tracking Hub 中，导航到 File |设置 |鼻子巫师。
   4. 检查屏幕左侧的 adjust fit of your glasses 框。如果拟合为 “极好”，请继续执行下一步。否则，请单击该框。
   5. 告诉参与者遵循屏幕上显示的贴合建议说明：设置物镜转换器，调整眼镜使其坐得舒适，然后直视前方的笔记本电脑。
   6. 如果需要，请更换物镜转盘。捏住物镜转盘的中间，将其从眼镜中滑出，然后再滑入另一个。继续测试不同的物镜转盘，直到确定最适合参与者的物镜转盘。
5. 空中交通管制 （ATC） 呼叫
   注意：如果研究需要 ATC 呼叫，请让参与者自带耳机或使用实验室耳机。只有在参与者戴上耳机后才能完成眼球校准，因为耳机可以移动头上的眼镜，从而影响校准精度。
   1. 检查耳机是否连接到仪表板左下方的插孔。
   2. 指示参与者戴上耳机。要求他们在录制完成之前不要触摸或取下它。
      注意： 每次移动头戴式设备（以及眼镜）时，都需要重新校准。
   3. 进行无线电检查。
6. 眼球校准
   注意：每当参与者移动头上的眼镜时，他们必须重复眼球校准。要求参与者在试用结束之前不要触摸眼镜。
   1. 在 Eye tracking Hub 中，导航到屏幕左侧的 参数框 。
      1. 检查 校准模式 并相应地选择 fixed gaze 或 fixed head 。
      2. 检查校准点是否为 5 x 5 网格，总共 25 个点。
      3. 检查 验证模式 并确保它与 校准模式匹配。
      4. 检查眼动追踪输出，并验证是否使用复选框选中了研究需要记录的所有内容。
   2. 点击 File |设置 |高级 并检查 采样率 是否为 250 Hz。
   3. 选中屏幕上的 Calibrate your eye tracking （校准您的眼动追踪 ） 框。校准说明将根据模式而有所不同。要遵循当前研究，请使用 固定凝视 校准模式：指示参与者移动他们的头部，使框与黑色方块重叠并对齐。然后，让参与者将目光集中在黑色方块中的十字准星上，然后按空格键。
   4. 按 Validate your setup （验证您的设置 ） 框。说明与步骤 2.6.3 中的说明相同。检查 验证图 MAE （平均绝对误差） 是否 为 <1°。如果没有，请重复步骤 2.6.3 和 2.6.4。
   5. 按 Save Calibration 可在每次完成校准和验证时将校准保存到配置文件中。
7. iPad 使用情况
   注意： iPad 位于仪表板的左侧（参见 图 1）。它通常用于飞行后的问卷调查。
   1. 打开 iPad 并确保它已连接到 Internet。
   2. 在 Safari 中打开一个窗口，然后输入研究问卷的链接。

3. 数据收集

注意：对每个试用重复这些步骤。建议将笔记本电脑放在驾驶舱外的长凳上。

1. 在飞行模拟器计算机的 指令 屏幕中，按 预设，然后选择要模拟的所需 位置 预设。按 Apply 按钮并观察模拟器周围的屏幕，以验证更改是否发生。
2. 重复步骤 3.1 以应用 Weather 预设。
3. 向参与者提供有关试用或飞行路径的任何具体说明。这包括告诉他们在开始之前更改仪表板上的任何设置。
4. 在说明屏幕中，按橙色的 STOPPED 按钮开始数据收集。颜色将变为绿色，文本将显示 FLYING。请务必向参与者提供口头提示，以便他们知道他们可以开始驾驶飞机。推荐的提示是 “3， 2， 1， you have controls” ，因为按下橙色 的停止 按钮。
5. 在采集笔记本电脑中，点击 Start Recording （开始记录 ），以便眼动仪数据与飞行模拟器数据同步。
6. 当参与者完成他们的循环并降落后，等待飞机停止移动。
   注意：等待很重要，因为在后处理期间;当 GroundSpeed 稳定在 0 时，数据将被截断。这为所有试验的终点提供了一致性。
7. 在说明屏幕中，按下绿色的 FLYING 按钮。颜色将恢复为橙色，文本将显示 STOPPED。在此步骤中，当数据收集即将结束时，提供口头提示。推荐的提示点是 “3， 2， 1， stop”。
8. 指导参与者在 iPad 上完成试用后问卷。刷新下一次试用的页面。
   注：目前的研究使用态势感知评级技术 （SART） 自我评定问卷作为唯一的试验后问卷¹⁷。

4. 数据处理和分析

1. 飞行模拟器数据
   注意：从飞行模拟器复制的 .csv 文件包含 1,000 多个可在模拟器中控制的参数。 表 1 中列出并描述了感兴趣的主要性能指标。
   1. 对于每个参与者，使用方程 （1） 计算成功率，方法是在任务条件中取百分比。失败的试验由模拟器内编程的预定标准识别，由于平面方向和垂直速度，该标准在着陆时自动终止试验。进行试验后验证，以确保该标准与实际飞机限制一致（即，在着陆时垂直速度> 700 英尺/分钟 [fpm] 时，塞斯纳 172 起落架损坏/坠毁很明显）。
      成功率 = （1）
      注意：较低的成功率值表示较差的结果，因为它们与成功着陆尝试的减少有关。
   2. 对于每次试验，根据时间戳计算 完成时间 ，时间戳表示飞机停在跑道上（即 GroundSpeed = 0 节）。
      注意：较短的完成时间可能并不总是等同于更好的性能。必须谨慎了解任务条件（即额外的风、紧急情况等）预计会如何影响完成时间。
   3. 对于每个试验，根据飞机最初降落在跑道上的飞机垂直速度 （fpm） 确定 着陆硬度 。确保在与 AircraftOnGround 状态从 0 （空中）到 1 （地面）的第一次更改关联的同一时间戳获取此值。
      注意： -700 fpm 到 0 fpm 范围内的值被认为是 安全的，接近 0 的值表示着陆较软（即更好）。 负值 表示 向下的垂直速度; 正值 表示 向上的垂直速度。
   4. 对于每次试验，根据着陆坐标与跑道上的参考点（500 英尺标记的中心）之间的差异计算 着陆误差 （°）。 使用参考点，使用 Eq （2） 计算着陆误差。
      差值 = √（（δ 纬度）² + （δ 经度）²） （2）
      注意：低于 1° 的值显示为正常值 ^5,15。较大的值表示与距离着陆区较远的飞机着陆点相关的着陆误差较大。
   5. 计算每个任务条件的每个绩效结果变量的所有参与者的均值。报告这些值。
2. 态势感知数据
   1. 对于每个试验，根据 SA¹⁷ 的 10 个维度的自我报告的 SART 分数计算 SA 分数。
      1. 使用 SART 问卷¹⁷ 确定参与者对整体任务难度的主观回答，以及他们对在任务执行过程中可用和花费多少注意力资源的印象。
      2. 使用 7 点李克特量表，要求参与者对他们在探究问题上的感知体验进行评分，包括情况的复杂性、注意力的划分、空闲的心理能力以及信息的数量和质量。
      3. 将这些量表组合成更大的维度，即注意力需求 （Demand）、注意力供应 （Supply） 和情境理解 （Understanding）。
      4. 使用这些评级来计算基于方程 （3） 的 SA 度量：
         SA = 理解 - （需求-供应） （3）
         注意：量表上的较高分数相结合，可提供理解的衡量标准，表明参与者对手头的任务有很好的理解。同样，供应域中的高分表明参与者有大量的注意力资源可以投入到给定的任务中。相比之下，高需求分数表明任务需要大量的注意力资源才能完成。重要的是要澄清，这些分数在跨条件（即简单与困难条件）进行比较时得到最佳解释，而不是用作独立衡量标准。
   2. 数据收集完成后，计算每个任务条件（即基本、紧急）所有参与者的均值。报告这些值。
3. 眼动追踪数据
   1. 使用眼动追踪批处理脚本手动定义用于凝视映射的 AOI。该脚本将打开一个用于关键帧选择的新窗口，该窗口应清楚地显示将要分析的所有关键 AOI。滚动视频并选择清晰显示所有 AOI 的帧。
   2. 按照屏幕上的说明，在帧的某个区域上绘制一个矩形，该矩形将在整个视频中可见，唯一且保持稳定。
      注意：此步骤的目的是生成一个“屏幕内”坐标帧，该坐标帧可用于整个视频录制，因为头部运动会导致环境中对象的位置在视频录制过程中发生变化。
   3. 为图片中的每个 AOI 绘制一个矩形，一次绘制一个矩形。相应地命名它们。点击 添加更多 添加新的 AOI，然后按 完成 在最后一个上。如果在给定的注视点期间，视线坐标位于“屏幕内”坐标系中定义的对象空间内，则使用相应的 AOI 标签标记该注视点。
      注意：此步骤的目的是生成一个对象坐标库，然后在将凝视坐标与屏幕内坐标进行比较时，将其用作参考。
      通常有 10 个 AOI，但这取决于飞行模拟器的配置方式。仪表板可能有所不同。与之前的工作 ^5,18 一致，当前研究使用以下 AOI：空速、姿态、高度计、转弯协调器、航向、垂直速度、功率、前窗、左窗和右窗（见图 1）。
   4. 让脚本开始处理 AOI 并生成注视点数据。它生成一个图，显示视频上的扫视和注视。
   5. 将创建两个新文件：fixations.csv 和 aoi_parameters.yaml。批处理器将完成每个试验和每个参与者的眼动数据的后处理。
      注意：感兴趣的主要眼动追踪测量指标列于 表 2 中，并针对每次试验的每个 AOI 计算。
   6. 对于每个试验，根据 fixation.csv 文件中生成的数据计算每个 AOI 的传统凝视指标 ^4,5。
      注意：在这里，我们关注 停留时间 （%），它是通过将特定 AOI 的注视总和除以所有注视的总和，然后将商乘以 100 得到在特定 AOI 中花费的时间百分比来计算的。从计算出的停留时间中没有固有的否定/正解释。它们表明了注意力主要分配到哪里。较长的平均固定时间表明加工需求增加。
   7. 对于每个试验，使用方程 （4） 计算闪烁率：
      闪烁速率 = 总闪烁次数/完成时间 （4）
      注意：以前的研究表明，眨眼率与认知负荷 2,6,13,19,20 呈负相关。
   8. 对于每个试验，使用方程 （5）²¹ 计算 SGE：
      （5）
      其中 v 是查看^{第 i 个} AOI 的概率， V 是 AOI 的数量。
      注：较高的 SGE 值与较大的注视分散相关，而较低的值表示注视点的分配更加集中²²。
   9. 对于每个试验，使用 eq （6）²³ 计算 GTE：
      （6）
      其中 V 是查看^{第 i 个} AOI 的概率，M 是给定之前查看^{第 i 个} AOI 的概率。
      注意：较高的 GTE 值与更不可预测、更复杂的视觉扫描路径相关，而较低的 GTE 值表示更可预测的常规视觉扫描路径。
   10. 计算每个眼动追踪输出变量（以及指示时的 AOI）和每个任务条件的所有参与者的 平均值 。报告这些值。

表 1：模拟器性能结果变量。 飞机性能相关变量及其定义。

图 2：着陆场景飞行路径。 （A） 在所有试验中完成的着陆电路和 （B） 带有 500 英尺标记的跑道的示意图，这些标记被用作着陆区的参考点（即，中间的橙色圆圈）。 请单击此处查看此图的较大版本。

图 3：感兴趣区域映射。 批处理脚本的图示，演示了用于框架选择的窗口。选择最佳帧涉及选择包含要映射的大部分或所有感兴趣区域的视频帧。 请单击此处查看此图的较大版本。

图 4：生成感兴趣区域映射“屏幕内”坐标。 批处理脚本的图示，演示了用于 “屏幕内” 坐标选择的窗口。此步骤涉及选择一个方形/矩形区域，该区域在整个录制过程中保持可见，对图像是唯一的，并且保持静态。 请单击此处查看此图的较大版本。

图 5：确定要映射的感兴趣区域。 批处理脚本窗口的图示，允许选择和标记感兴趣的区域。缩写： AOIs = 感兴趣区域。 请单击此处查看此图的较大版本。

图 6：批处理脚本处理。批处理脚本的插图，用于处理视频和眼动，映射整个试验过程中所做的注视。 请单击此处查看此图的较大版本。

表 2：眼动追踪结果变量。 凝视行为相关变量及其定义。

任务需求对飞行性能的影响
根据在基本和紧急情况下的成功着陆试验对数据进行了分析。所有措施均采用配对样本 t 检验（主体内因素：任务条件（基本、紧急））。所有 t 检验均以设置为 0.05 的 alpha 水平进行。四名参与者在紧急情景试验期间崩溃，未被纳入主要分析，因为稀疏的数据无法得出有意义的结论。除 success rate 外，所有变量都专门检查成功的试验。

成功率 （%） 产生条件的主效应，t（23） = 2.145，p = 0.043。具体来说，紧急试验 （平均值 = 83%） 导致的着陆失败 （即坠毁） 明显多于基本试验 （平均值 = 100%） （图 7A）。完成时间 （s） 产生条件的主效应，t（19） = 8.420，p < 0.001。 紧急试验的完成速度明显快（平均值 = 121 秒，SD = 3.9）比基本试验（平均值 = 174 秒，SD = 5.6）（图 7B）。着陆误差产生条件的主效应，t（19） = -2.669，p = 0.015，η _p² = 0.242。具体来说，与紧急试验（平均值 = 0.216°，SD = 0.070）相比，基本试验与显着降低着陆误差（即更高的着陆精度）（平均值 = 0.046°，SD = 0.010）相关，紧急试验包括一名降落在跑道旁边的田野中的人。最后，着陆硬度在条件之间没有显着变化 （p = 0.062）（图 7D）。

图 7：飞行性能测量。 结果显示 （A） 成功率 （%），（B） 完成时间 （s），（C） 着陆误差 （°） 和 （D） 基本（控制）和紧急情况下的着陆硬度 （fpm）。紧急情况下的成功率和完成时间相对于基本情况有所下降。紧急情况下的着陆误差相对于基本条件增加。不同条件下的着陆硬度没有显著差异。使用的统计检验：配对样本 t 检验。误差线表示 SEM。*p≤0.05、**p≤0.01、***p≤0.001。缩写：fpm = feet/min。 请单击此处查看此图的较大版本。

随着任务难度的增加，性能受到负面影响。这通过减少增加的着陆误差以及减少主观 SA 来最明显。请注意，着陆完成时间的减少更多的是由于发动机故障对发动机的动力不足，导致飞行轨迹发生必要的变化，从而显着减少飞行路径，以便飞机能够安全降落在跑道上。

任务需求对态势感知的影响
SART 问卷的主观评分产生了一般 SA 评分，该评分显示了条件的主要影响，t（19） = 9.148，p < 0.001 。具体来说，与基础试验 （平均值 = 21.4，SD = 1.2） 相比，紧急试验的主观 SA 评分 （平均值 = 11.7，SD = 1.4） 较低（图 8A）。对 SART 问卷子成分的仔细检查表明，SA 供应、SA 需求和 SA 理解都产生了条件的主要影响（图 8B-D）。具体来说，SA 供应从基本条件 （平均值 = 18.7，SD = 0.8） 到紧急情况 （平均值 = 21.9，SD = 0.9），t（19） = -4.921，p < 0.001 显着增加。 同样，从基本条件 （平均值 = 8.1，SD = 1.5） 到紧急情况 （平均值 = 19.3，SD = 1.8），t（19） = -10.696，p < 0.001，SA 需求显着增加。 最后，从基本情况 （平均值 = 10.7，SD = 0.4） 到紧急情况 （平均值 = 9.0，SD = 0.6），t（19） = 3.187，p = 0.005，SA 理解 显着下降。

图 8：态势感知分数。 结果显示 （A） 态势感知，（B） SA 供应，（C） SA 需求，以及 （D） SA 对基本（控制）和紧急情况的理解。紧急情况下的态势感知和 SA 理解相对于基本情况下降。SA 在紧急情况下供需相对于基本情况增加。使用的统计检验：配对样本 t 检验。误差线表示 SEM。*p≤0.05、**p≤0.01、***p≤0.001。 请单击此处查看此图的较大版本。

任务需求对凝视行为的影响
传统眼动指标
几个 AOI 的停留时间 （%） 证明了条件的主要影响（图 9）。大多数 AOI 表现出从基本条件到紧急条件的停留时间减少，包括姿态，t（19） = 2.322，p = 0.031，高度计，t（19） = 2.822，p = 0.011 ，转弯协调器，t（19） = 2.698，p = 0.014，航向，t（19） = 2.175，p = 0.042，垂直速度，t（19） = 2.357，p = 0.029，功率计，t（19） = 3.036， p = 0.007。相比之下，空速指示器时间从基本条件增加到紧急状态，t（19） = -2.376，p = 0.029。 所有其他 AOI 均未受条件的显着调节 （所有 p 值均> 0.165）。表 3 显示了所有 AOI 的停留时间平均值和标准差。

图 9：停留时间。 显示所有 10 个感兴趣区域的停留时间百分比变化（紧急 - 基本）的组均值。相对于基本（控制）条件，紧急情况下姿态、高度计、转弯协调器、航向、垂直速度和功率计的停留时间减少。在紧急情况下，相对于基本条件，空速指示器上的停留时间增加。使用的统计检验：配对样本 t 检验。误差线代表 SEM。*p≤0.05、**p≤0.01、***p≤0.001。 请单击此处查看此图的较大版本。

表 3：按任务条件划分的停留时间 （%） 值。 描述性统计量（平均值、标准差），表示控制飞行和紧急飞行场景中所有感兴趣区域的停留时间 （%） 值。

眨眼率证明了条件的主要效应， t（19） = -2.713，p = 0.014（图 10）。具体来说，从基本条件（平均值 = 0.354 次闪烁/秒，SD = 0.192）到紧急情况（平均值 = 0.460 次闪烁/秒;SD = 0.285）。

图 10：基本和紧急情况下的闪烁率。在紧急情况下，相对于基本（控制）条件，闪烁频率增加。使用的统计检验：配对样本 t 检验。误差线代表 SEM。*p≤0.05、**p≤0.01、***p≤0.001。请单击此处查看此图的较大版本。

高级凝视指标
表 4 报告了不同条件下所有 AOI 的 SGE、GTE 以及归一化均值和标准差。SGE 和 GTE 表明基本和紧急任务条件之间显着减少（图 11），t（19） = 4.833 和 4.833，ps < 0.001。

图 11：熵指标。（A） 基本（控制）和紧急情况下的稳态凝视熵 （SGE） 和 （B） 凝视转换熵 （GTE）。在紧急情况下，SGE 和 GTE 相对于基础情况均有所下降。使用的统计检验：配对样本 t 检验。误差线代表 SEM。*p≤0.05、**p≤0.01、***p≤0.001。缩写：SGE = 静止凝视熵;GTE = 凝视转换熵。 请单击此处查看此图的较大版本。

表 4：按条件划分的熵值。 所有任务条件（即基本、紧急）中所有熵 （bits） 值的平均值（标准差）。

综上所述，还报告了眼动行为的显着变化，同时注意到性能和 SA 的下降。具体来说，响应紧急情况与对几个 AOI 的注意力分配的显着减少有关，这通过多个 AOI（即姿态、高度计、转弯协调器、航向、垂直速度和功率指标）中 SGE 的减少（即注视色散）和更短的停留时间来证明。另一方面，空速指示器受到了更多的关注，因为它成为管理紧急着陆条件的主要信息来源;一个必要的指示器，有助于建立最佳滑翔速度以防止飞机失速²⁴.注意力分配的这些变化也与扫描复杂性 （GTE） 的降低有关，这表明参与者采用了一种策略，以更常规/可预测的方式将注意力转移到更少的 AOI 上。在紧急情况下，这些注视行为的变化是意料之中的，因为管理此类事件的协议要求将注意力主要集中在空速计和跑道（即前/左窗）上。这些数据证实，任务作的难度足以影响任务性能和支持信息处理机制。更重要的是，凝视行为研究结果提供了额外的实证证据，表明在具有挑战性的任务条件下，跨驾驶舱 AOI 的信息扫描会减少，但代价是需要将更多时间花在与决策和解决问题相关性更高的 AOI^上 5,8,25,26 .这是一个关键的发现，可能表明紧急情况是一项学习良好的任务，因为当任务没有得到很好的实践或培训时，之前使用飞行过程中高度不确定事件的工作导致了更高的探索活动（即更高的 SGE/GTE）²⁷。然而，需要更多的研究来确定凝视行为，以及信息处理如何响应新手飞行员的这些任务作或在可能不存在观察到的凝视行为变化的着陆尝试失败期间发生变化。这样的发现可能表明，在不确定/意外事件中，缺乏选择性关注与较差的任务表现有关。

这里描述的眼动追踪方法可以通过可穿戴眼动仪在飞行模拟器环境中评估信息处理。评估凝视行为的空间和时间特征有助于深入了解人类信息处理，这已经使用高度受控的实验室范式进行了广泛研究 ^4,7,28。利用最新的技术进步，可以将眼动追踪研究推广到具有更高保真度的更逼真的范式，从而模拟更自然的设置。本研究的目的是描述任务难度对低时飞行员模拟着陆场景中注视行为、飞行性能和 SA 的影响。参与者被要求在高能见度的视觉飞行规则 （VFR） 条件下执行着陆任务，其中包括基本着陆场景和具有挑战性的作，这是意外引入的飞行中紧急情况（即发动机完全故障）。正如预期的那样，在着陆场景中引入紧急状态导致了显著的性能和 SA 下降，以及注视行为的重大变化。这些方法、结果以及通过眼动行为分析获得的关于信息处理、飞行性能和 SA 的见解将在下面进一步讨论。

关于方法，有几个关键点需要牢记，包括协议的修改和协议对文献的重要性。眼动追踪数据是在 ALSIM AL-250 飞行模拟器中与复杂的航空相关任务一起收集的，该模拟器被认为是高保真模拟器，但不是完整的飞行模拟器，因为它不模拟运动或振动。因此，该方法可能不直接适用于全飞行模拟器，因为运动和振动可能会影响眼动追踪的质量。ALSIM 模拟器被配置为代表 Cessna 172，并与必要的仪表板（蒸汽表配置）、航空电子设备/GPS 系统、音频/灯光面板、断路器面板和飞行控制单元 （FCU） 一起使用（见 图 1）。模拟飞机以 30 Hz 的采样频率运行，并通过轭、油门杆和方向舵踏板进行控制。在该协议中，可穿戴眼动仪用于评估基本着陆场景（高能见度 [>20 英里]、低风 [0 节]）和紧急着陆场景（高能见度 [>20 英里]、低风 [0 节]、意外的发动机完全故障）执行期间凝视行为（即信息处理的代理）的变化。

目前的实验要求参与者总共完成五次着陆试验：四次基本试验和一次紧急试验。这些试验的顺序在参与者中保持不变，以确保飞行中紧急情况的引入不会影响在其他试验中捕捉到的自然凝视行为，其中包括作为更大实验一部分的其他作²。除了会议开始时的飞行员简报外，参与者在实验试验之前还接受了两次驾驶舱熟悉的实践试验。AdHawk MindLink 眼动仪（250 Hz，<2° 空间分辨率，前置摄像头²⁹）用于当前研究，但可以被任何高质量的、市售的可穿戴式眼动仪取代。然而，可穿戴式眼动仪应具有 <2° 的空间分辨率、前置摄像头和 120 Hz 的采样率，以正确识别与扫视/注视事件检测相关的眼球运动特征³⁰。

根据 Ayala 及其同事² 之前的工作，前置摄像头需要提供任务环境的视频记录，然后通过叠加眼动追踪注视坐标将其用于注视映射。然后将这些坐标与凝视映射算法中手动定义的任务相关 AOI 的坐标进行比较。ALSIM 飞行模拟器也可以替换为其他形式的飞行模拟（即基于 PC 的飞行模拟器）⁵。然而，重要的是要注意，AOI 的映射在这些环境中应该是相似的，以防止不一致的 AOI 映射成为眼动结果中的混杂变量的风险。此外，当前工作中使用的地图绘制基于这些预定义空间与飞行员的上下文相关知识，飞行员必须将目光集中在这些关键信息来源上，以确保飞机安全和成功运行。所选的眼动仪和模拟环境是专门为这项工作选择的，因为它们可以在高保真生态环境中准确评估注视行为。

至于结果，目前的工作展示了使用可穿戴眼动仪对注视行为的表征，该眼动仪利用计算机视觉算法来帮助在高保真、身临其境的飞行模拟环境中进行注视映射。该方法的应用为自然环境中的凝视行为和一般信息处理变化的评估提供了几个优势，这些优势将在此处概述。首先，该协议通过在沉浸式 3D 空间中捕捉头部和眼球运动的组合，超越了基于实验室的 2D 屏幕环境中眼球运动的标准评估 ^2,4,5。其次，在 3D 空间中进行的大多数研究都缺乏根据定义的 AOI 进行有效注视分析的能力 10,31,32。这与日常生活中特定领域的任务高度相关，因为这里进行的基于 AOI 的分析提供了正确解释结果所必需的关键背景。目前的研究收集了行为表现数据、主观 SA 和眼动追踪数据，以全面评估每个数据流如何与潜在的认知功能（如注意力和决策）相关联。

使用这种类型的多模态分析框架，几项研究表明，将目光定向到特定 AOI 的时间量偏向于需要更多信息处理资源的任务关键区域，这反过来又与成功的任务执行相关 ^4,5,7,33,34.与当前工作中注意到的发现类似，与神经认知任务任务难度增加相关的性能下降（即完成时间增加、计划时间增加、任务准确性降低）都表明与注意力资源集中度的显着增加有关（即，停留时间和注视持续时间的特定增加， 和 SGE/GTE 降低）转向对成功完成任务很重要的信息密集型 AOI ^4,7。

用户还应该考虑所述眼动追踪协议的几个关键要素。首先，众所周知，眼动追踪是一种通过凝视行为指标捕捉到的注意力的明显转移来间接检查信息处理变化的方法。因此，目前的方法在识别和检查可能与明确的视线转移无关但可能与表演熟练度相关的隐蔽过程³⁴ 方面受到限制。其次，目前的研究表明，要了解某些指标（例如眨眼率）如何真正与人类认知和行动的各个方面相关联，还有很多工作要做。具体来说，以前的研究表明，眨眼率与任务难度 2,6,13,19,20 呈负相关。然而，目前的工作为此提供了相互矛盾的证据，因为在紧急情况下（即任务难度的增加）显示眨眼率会增加。鉴于对将眨眼解释为任务难度或认知负荷的代理测量缺乏共识，这是一个需要进一步调查的领域，以了解眨眼的潜在机制以及为什么当任务需求发生变化时它们会发生变化。探索眨眼频率很重要，因为这个信号相对容易用眼动追踪来测量;但是，需要进一步确定其对更复杂的实际任务的效用和应用。同样，瞳孔大小通常由眼动追踪设备记录，并且可以深入了解工作量。然而，分析和解释瞳孔动态可能具有挑战性，因为瞳孔大小受亮度和眼球运动的影响。因此，将需要额外的校准程序和分析工具来确定瞳孔测量在这种情况下的效用。第三，当前的范式使用固定条件时间表，导致紧急试验总是最后完成。这主要是由于数据收集是一项更大规模的研究的一部分，该研究检查了各种环境条件下信息处理的变化²。紧急着陆场景可能会改变这些替代飞行条件下的正常注视行为。因此，为了防止由于早期引入不确定事件而对凝视行为进行任何会话内更改，紧急场景在收集会话结束时完成。

尽管可以说试验序列中缺乏随机化可能会导致实践效果，但当前工作中概述的结果表明，这显然不是这种情况，因为性能和 SA 下降，而眼动的显着变化仅在最后一次紧急试验中变得明显，而不是在前四次基本试验中。最后，在收集设备（即眼动仪和飞行模拟器）之间缺乏精确的同步性，这是飞行性能和眼动追踪数据的数据流对齐方面一个挥之不去的问题。尽管当前的工作试图通过同时按下开始/记录按钮在两个设备之间实现同步，但始终存在人为错误和按钮按下中的正常电机控制变化可能成为应考虑的同步错误的来源。这限制了用当前方法可以检查特定眼球运动和动作之间的时间偶然性的程度，并且是一个需要进一步开发的技术缺陷。

眼动追踪方法的典型应用是将信息处理的变化与多种健康疾病（即创伤性脑损伤、精神分裂症、帕金森^{病）联系起来}7,32,35,36，并利用凝视行为来深入了解评估和训练方法的发展。后者旨在使用眼动追踪来增强多个领域（即医学和航空）的学员接收到的反馈类型^2,10。可穿戴式眼动仪和基于 AOI 的分析能力的改进增强了为研究人员和行业应用提供的上下文信息。例如，在高保真环境中，增强的分析可以准确识别个人公开关注的内容、时间以及信息处理的效率 ^2,15。然而，使用该方法作为确定自然环境中技能熟练程度或专业知识水平的手段的效用尚未得到广泛探索。因此，当前手稿中提出的注视行为方法可以用于未来的研究，评估在静止飞行模拟器中实现的其他场景中的性能，例如，管理与空中交通管制的通信、从断电失速中恢复、发动机起火、复飞情况）。在这些情况下表现良好的能力可能与有效的凝视行为有关，这可能提供信息处理的客观度量。

训练和评估应用的一个重大限制是需要对不同级别的飞行经验进行更大规模的研究，以确定可靠性和规范范围，就像在基本神经和认知功能的高度受控实验室实验中对更简单的眼球运动所做的那样^37,38.此外，行业培训和评估应用程序将受益于对凝视如何在任务环境中分布以及它在任务执行过程中如何变化的理解，尤其是在表现卓越的人中。一个令人兴奋的前景是将眼动追踪与动作捕捉系统相结合，这可用于量化在给定任务期间产生的运动动作。例如，运动变异性已被证明是技能发展的指标³⁹。将运动控制数据与眼动追踪数据进行对比，可以为整个训练过程中的技能熟练度评估提供更大的支持。因此，这提供了一个独特的机会来开发一种全面的分析方法，以评估和深入了解人类表现和学习背后的感知、认知和运动过程之间的动态相互作用。

总之，本研究调查了可穿戴式眼动仪和凝视映射算法在模拟飞行任务期间描述凝视行为的效用。四十多年来，航空业一直是使用模拟培训的领导者。模拟是航空培训的重要组成部分，因为它允许飞行员在安全、受控的环境中练习而不会危及自己。国际民用航空组织 （ICAO） 是协调国际空中航行和航空运输的联合国机构，它提供了使用模拟设备进行飞行员培训的指南，这些设备通常用于从零开始到商业飞行员的航空培训。随着研究证据的积累，眼动追踪和其他生物识别设备可能会被整合到飞行模拟环境中，以提高训练效果。具体来说，这里介绍的眼动追踪方法有助于量化眼动行为的变化，从而深入了解与响应和管理飞行中紧急情况相关的信息处理变化。凝视测量表明注意力分配发生了明显变化。具体来说，停留时间、 SGE 和 GTE 表明，人们将注意力集中在问题相关性较高的较少 AOI 上。值得注意的是，注视映射算法和可穿戴眼动仪是相对新兴的技术，因此，考虑到跨多个硬件收集设备同步的已知限制，应该在未来的工作中使用和进一步开发。

不存在相互竞争的经济利益。

这项工作部分得到了加拿大自然科学与工程研究委员会 （NSERC） 的加拿大研究生奖学金 （CGS） 和新前沿研究基金的勘探补助金 （00753） 的支持。本材料中表达的任何意见、发现、结论或建议均来自作者，并不一定反映赞助商的意见。