Eye tracking во время сложной авиационной задачи для понимания обработки информации

Айтрекинг — это неинвазивный метод зондирования обработки информации. В этой статье описывается, как отслеживание движения глаз может быть использовано для изучения поведения взгляда во время выполнения аварийной задачи по моделированию полета у пилотов с малым рабочим временем (т.е. <350 летных часов).

Отслеживание движения глаз широко используется в качестве прокси для получения представления о когнитивных, перцептивных и сенсомоторных процессах, лежащих в основе выполнения навыков. Предыдущая работа показала, что традиционные и продвинутые метрики взгляда надежно демонстрируют устойчивые различия в опыте пилота, когнитивной нагрузке, усталости и даже осведомленности о ситуации (SA).

В этом исследовании описывается методология использования носимого айтрекера и алгоритма картирования взгляда, который фиксирует естественные движения головы и глаз (т.е. взгляда) в высокоточном симуляторе полета без движения. Метод, описанный в этой статье, описывает анализ взгляда на основе области интереса (AOI), который предоставляет больше контекста, связанного с тем, куда смотрят участники, и продолжительность времени, которая показывает, насколько эффективно они обрабатывают зафиксированную информацию. Протокол иллюстрирует полезность носимого айтрекера и алгоритма компьютерного зрения для оценки изменений в поведении взгляда в ответ на неожиданную чрезвычайную ситуацию в полете.

Репрезентативные результаты показали, что взгляд значительно пострадал при возникновении экстренного события. В частности, распределение внимания, дисперсия взгляда и сложность последовательности взглядов значительно снизились и стали в значительной степени сконцентрированными на взгляде за переднее окно и на указатель воздушной скорости во время сценария чрезвычайной ситуации (все значения p < 0,05). Обсуждаются полезность и ограничения использования носимого айтрекера в высокоточной среде неподвижного моделирования полета для понимания пространственно-временных характеристик поведения взгляда и его связи с обработкой информации в авиационной сфере.

Люди преимущественно взаимодействуют с окружающим миром, сначала двигая глазами и головой, чтобы сфокусировать свою линию взгляда (т.е. взгляд) на определенном объекте или месте, представляющем интерес. Это особенно верно в сложных условиях, таких как кабины самолетов, где пилоты сталкиваются с несколькими конкурирующими стимулами. Движения взгляда позволяют собирать визуальную информацию с высоким разрешением, которая позволяет людям взаимодействовать с окружающей средой безопасным и^{гибким образом,} что имеет первостепенное значение в авиации. Исследования показали, что движения глаз и поведение взгляда позволяют получить представление о перцептивных, когнитивных и моторных процессах, лежащих в основе различных задач ^1,2,3. Более того, то, куда мы смотрим, оказывает непосредственное влияние на планирование и выполнение движений верхних конечностей³. Таким образом, анализ поведения взгляда во время выполнения авиационных задач является объективным и неинвазивным методом, который может выявить, как паттерны движения глаз связаны с различными аспектами обработки информации и производительности.

Несколько исследований продемонстрировали связь между взглядом и выполнением задач в различных лабораторных парадигмах, а также в сложных реальных задачах (например, управление самолетом). Например, области, относящиеся к задаче, имеют тенденцию фиксироваться чаще и в течение более длительной общей продолжительности, что позволяет предположить, что место фиксации, частота и время пребывания являются прокси для распределения внимания в нейрокогнитивных и авиационных задачах ^4,5,6. Высокоуспешные исполнители и эксперты демонстрируют значительные смещения фиксации в сторону критически важных областей по сравнению с менее успешными исполнителями или новичками ^4,7,8. Пространственно-временные аспекты взгляда фиксируются через изменения в моделях времени пребывания в различных областях интереса (AOI) или мерах распределения фиксации (т.е. энтропия стационарного взгляда: SGE). В контексте лабораторных парадигм средняя продолжительность фиксации, длина траектории сканирования и сложность последовательности взгляда (т.е. энтропия перехода взгляда: GTE) имеют тенденцию к увеличению из-за увеличения сканирования и обработки, необходимых для решения проблем и разработки более сложных задач.

И наоборот, авиационные исследования показали, что длина траектории сканирования и сложность последовательности взгляда уменьшаются с усложнением задачи и когнитивной нагрузкой. Это расхождение подчеркивает тот факт, что понимание компонентов задачи и требований используемой парадигмы имеет решающее значение для точной интерпретации метрик взгляда. В целом, проведенные на сегодняшний день исследования подтверждают, что измерения взгляда обеспечивают значимое, объективное понимание обработки информации, специфичной для конкретной задачи, которая лежит в основе различий в сложности задач, когнитивной нагрузке и выполнении задач. С развитием технологий отслеживания взгляда (т.е. портативностью, калибровкой и стоимостью), изучение поведения взгляда в «дикой природе» является новой областью исследований с ощутимым применением для продвижения профессиональной подготовки в области медицины ^9,10,11 и авиации 12,13,14.

Текущая работа направлена на дальнейшее изучение полезности использования метрик, основанных на взгляде, для получения представления об обработке информации путем использования носимого айтрекера во время задачи по моделированию аварийного полета у пилотов с малым рабочим временем. Это исследование является продолжением предыдущей работы, в которой использовался стабилизированный по голове айтрекер (т.е. EyeLink II) для изучения различий в показателях поведения взгляда в зависимости от сложности полета (т.е. изменений погодных условий)⁵. Работа, представленная в данной рукописи, также является продолжением другой работы, в которой описываются методологические и аналитические подходы к использованию отслеживания движения глаз в системе виртуальной реальности¹⁵. В нашем исследовании использовался неподвижный симулятор с более высокой точностью, и в нашем исследовании был проведен дополнительный анализ данных о движении глаз (т.е. энтропии). Об этом типе анализа сообщалось в предыдущих работах; Тем не менее, ограничением в текущей литературе является отсутствие стандартизации в отчетности по аналитическим шагам. Например, отчетность о том, как определяются области интереса, имеет решающее значение, поскольку она напрямую влияет на результирующие значения энтропии¹⁶.

Подводя итог, можно сказать, что в данной работе рассматривались традиционные и динамические метрики поведения взгляда, в то время как сложность задачи манипулировалась путем введения сценария чрезвычайной ситуации в полете (т.е. неожиданного полного отказа двигателя). Ожидалось, что введение сценария чрезвычайной ситуации в полете позволит получить представление об изменениях в поведении взгляда, лежащих в основе обработки информации в более сложных условиях задачи. Исследование, представленное здесь, является частью более крупного исследования, изучающего полезность отслеживания взгляда в авиасимуляторе для обучения пилотов на основе компетенций. Представленные здесь результаты ранее не публиковались.

Следующий протокол может быть применен к исследованиям с использованием носимого айтрекера и авиасимулятора. Настоящее исследование включает в себя данные отслеживания движения глаз, записанные вместе со сложными задачами, связанными с авиацией, в авиасимуляторе (см. Таблицу материалов). Тренажер был сконфигурирован так, чтобы быть типичным для Cessna 172, и использовался с необходимой приборной панелью (конфигурация пародатчика), системой авионики/GPS, панелью аудио/освещения, панелью выключателя и блоком управления полетом (FCU) (см. Рисунок 1). Устройство-симулятор полета, использованное в этом исследовании, сертифицировано для учебных целей и используется местной летной школой для отработки навыков, необходимых для реагирования на различные чрезвычайные ситуации, такие как отказ двигателя, в условиях низкого риска. Все участники этого исследования имели лицензию; Таким образом, они испытали сценарий симулятора отказа двигателя ранее в ходе обучения. Это исследование было одобрено Управлением исследовательской этики Университета Ватерлоо (43564; Дата: 17 ноября 2021 г.). Все участники (N = 24; 14 мужчин, 10 женщин; средний возраст = 22 года; диапазон летных часов: 51-280 часов) дали письменное информированное согласие.

Рисунок 1: Среда авиасимулятора. Иллюстрация среды авиасимулятора. Точка зрения участника на кабину пилота повторяла точку зрения пилота, управляющего самолетом Cessna 172, предварительно настроенным на заход на посадку по ветру до базы и до конечного захода на посадку в международный аэропорт Ватерлоо, Бреслау, Онтарио, Калифорния. Оранжевые прямоугольники представляют десять основных областей интереса, используемых в анализе взгляда. К ним относятся (1) воздушная скорость, (2) ориентация, (3) высотомер, (4) координатор поворота, (5) курс, (6) вертикальная скорость и (7) индикаторы мощности, а также (8) переднее, (9) левое и (10) правое окна. Эта цифра была изменена по Ayala et ^al.5. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

1. Отбор участников и информированное согласие

1. Проведите скрининг участника с помощью анкеты самоотчета на основе критериев включения/исключения ^2,5: наличие как минимум лицензии частного пилота (PPL), нормальное или скорректированное до нормального зрение и отсутствие ранее диагностированного нейропсихиатрического/неврологического расстройства или неспособности к обучению.
2. Проинформируйте участника о целях и процедурах исследования с помощью подробного инструктажа, проводимого экспериментатором и наблюдающим за полетом инструктором/техником тренажера. Ознакомьтесь с рисками, изложенными в документе о согласии, утвержденном Советом по этике учреждения. Ответьте на любые вопросы о потенциальных рисках. Получите письменное информированное согласие перед началом любых процедур исследования.

2. Требования к аппаратному/программному обеспечению и ввод в эксплуатацию

1. Авиационный симулятор (обычно выполняется техником тренажера)
   1. Включите экраны симулятора и проектора. Если один из проекторов не включается одновременно с другими, перезапустите симулятор.
   2. На экране инструкций нажмите вкладку « Пресеты » и убедитесь, что доступны необходимые предустановки «Положение » и/или «Погода ». При необходимости создайте новый тип пресета; Обратитесь за помощью к техническому специалисту.
2. Коллекция ноутбуков
   1. Поверните ноутбук и войдите в систему с учетными данными.
   2. При появлении запроса выберите уже существующий профиль или создайте его при тестировании нового участника. Вы также можете выбрать параметр «Гостевая », чтобы перезаписать его последнюю калибровку.
      1. Чтобы создать новый профиль, прокрутите список профилей до конца и нажмите кнопку Добавить.
   3. Установите идентификатор профиля на идентификатор участника. Этот идентификатор профиля будет использоваться для маркировки папки, в которой хранятся данные отслеживания движения глаз после завершения записи.
3. Калибровка очков
   ПРИМЕЧАНИЕ: Для записи очки должны оставаться подключенными к ноутбуку. Калибровка с помощью коробки должна быть завершена только один раз в начале сбора данных.
   1. Откройте чехол для айтрекера и достаньте очки.
   2. Подключите кабель USB-micro-USB от ноутбука к очкам. Если на ноутбуке появится запрос, обновите прошивку.
   3. Найдите черную калибровочную коробку внутри чехла для отслеживания взгляда.
   4. На ноутбуке для сбора данных в центре отслеживания движения глаз выберите Инструменты | Калибровка устройства.
   5. Поместите очки внутрь коробки и нажмите кнопку «Пуск » во всплывающем окне, чтобы начать калибровку.
   6. После завершения калибровки извлеките очки из коробки.
4. Посадка револьвера
   1. Выберите наконечник.
   2. Попросите участника сесть в кабину и наденьте очки.
   3. В центре отслеживания движения глаз перейдите в раздел Файл | Настройки | Мастер носа.
   4. Проверьте посадку очков в левой части экрана. Если посадка отличная, переходите к следующему шагу. В противном случае нажмите на поле.
   5. Скажите участнику, чтобы он следовал инструкциям с рекомендациями по посадке, показанным на экране: установите рекупер, отрегулируйте очки, чтобы удобно сидеть, и смотрите прямо перед собой на ноутбук.
   6. При необходимости замените револьвер. Зажмите наконечник посередине, выдвиньте его из очков, а затем вставьте еще один. Продолжайте тестировать различные наконечники до тех пор, пока не будет определен тот, который подходит участнику лучше всего.
5. Вызовы в авиадиспетчерскую службу (УВД)
   ПРИМЕЧАНИЕ: Если для исследования требуются звонки УВД, попросите участника принести свою собственную гарнитуру или использовать лабораторную гарнитуру. Завершайте калибровку глазного яблока только после того, как участник наденет гарнитуру, так как гарнитура может перемещать очки на голове, что влияет на точность калибровки.
   1. Убедитесь, что гарнитура подключена к разъему на левой нижней стороне панели приборов.
   2. Попросите участника надеть гарнитуру. Попросите их не прикасаться к нему и не снимать его до тех пор, пока запись не будет завершена.
      ПРИМЕЧАНИЕ: Повторная калибровка требуется каждый раз при перемещении гарнитуры (и, следовательно, очков).
   3. Проведите проверку по радиосвязи.
6. Калибровка глазного яблока
   ПРИМЕЧАНИЕ: Всякий раз, когда участник надевает очки на голову, он должен повторить калибровку глазного яблока. Попросите участника не прикасаться к очкам, пока не закончатся испытания.
   1. В Центре отслеживания движения глаз перейдите к полю параметров в левой части экрана.
      1. Проверьте режим калибровки и выберите неподвижный взгляд или неподвижную голову соответственно.
      2. Убедитесь, что точки калибровки представляют собой сетку 5 x 5, всего 25 точек.
      3. Проверьте режим валидации и убедитесь, что он совпадает с режимом калибровки.
      4. Изучите результаты отслеживания движения глаз и убедитесь, что все, что необходимо записать для исследования, отмечено с помощью галочек.
   2. Нажмите File | Настройки | Advanced и убедитесь, что частота дискретизации составляет 250 Гц.
   3. Установите флажок Калибровка отслеживания движения глаз на экране с помощью мыши. Инструкции по калибровке зависят от режима. Чтобы следить за текущим исследованием, используйте режим калибровки фиксированного взгляда : попросите участников повернуть голову так, чтобы коробка перекрывалась с черным квадратом и они выровнялись. Затем попросите участника сфокусировать свой взгляд на перекрестии в черном квадрате и нажмите пробел.
   4. Нажмите на поле Подтвердить настройку . Инструкция будет такой же, как и в шаге 2.6.3. Убедитесь, что проверочный показатель MAE (средняя абсолютная погрешность) составляет <1°. Если нет, то повторите шаги 2.6.3 и 2.6.4.
   5. Нажмите кнопку «Сохранить калибровку», чтобы сохранять калибровку в профиле каждый раз после завершения калибровки и проверки.
7. Использование iPad
   ПРИМЕЧАНИЕ: iPad расположен слева от панели приборов (см. Рисунок 1). Он используется для анкетирования, как правило, после полета.
   1. Включите iPad и убедитесь, что он подключен к Интернету.
   2. Откройте окно в Safari и введите ссылку на анкету для исследования.

3. Сбор данных

ПРИМЕЧАНИЕ: Повторяйте эти шаги для каждой пробной версии. Рекомендуется разместить ноутбук на скамейке за пределами кокпита.

1. На компьютере авиасимулятора на экране инструкций нажмите «Предустановки», а затем выберите нужную предустановку положения для моделирования. Нажмите кнопку «Применить » и понаблюдайте за экранами вокруг симулятора, чтобы убедиться, что изменение произошло.
2. Повторите шаг 3.1, чтобы применить пресет «Погода ».
3. Дайте участнику какие-либо конкретные инструкции относительно испытания или траектории полета. Это включает в себя указание им изменить любые настройки на приборной панели перед началом работы.
4. На экране инструкций нажмите оранжевую кнопку STOP, чтобы начать сбор данных. Цвет изменится на зеленый, а на тексте будет написано ЛЕТЯЩИЙ. Обязательно дайте устный сигнал участнику, чтобы он знал, что может начать управлять самолетом. Рекомендуемый сигнал - "3, 2, 1, у вас есть управление" при нажатии оранжевой кнопки стоп .
5. На ноутбуке для сбора данных нажмите «Начать запись », чтобы данные айтрекера синхронизировались с данными симулятора полета.
6. Когда участник завершит свой круг и приземлится, подождите, пока самолет прекратит движение.
   ПРИМЕЧАНИЕ: Важно подождать, потому что во время постобработки; Данные усекаются, когда скорость движения устанавливается на уровне 0. Это обеспечивает согласованность конечной точки всех испытаний.
7. На экране инструкции нажмите зеленую кнопку FLYING . Цвет вернется к оранжевому, а в тексте будет написано ОСТАНОВЛЕНО. Подайте словесный сигнал на этом этапе, когда сбор данных подходит к концу. Рекомендуемый кий – «3, 2, 1, стоп».
8. Проинструктируйте участника заполнить анкету (анкеты) после судебного разбирательства на iPad. Обновите страницу, чтобы получить следующую пробную версию.
   ПРИМЕЧАНИЕ: В настоящем исследовании в качестве единственного опросника после испытания использовался опросник для оценки ситуации Situation Awareness Rating Technique (SART).

4. Обработка и анализ данных

1. Данные авиасимулятора
   ПРИМЕЧАНИЕ: Файл .csv, скопированный с авиасимулятора, содержит более 1000 параметров, которыми можно управлять в симуляторе. Основные показатели эффективности, представляющие интерес, перечислены и описаны в таблице 1.
   1. Для каждого участника рассчитайте коэффициент успешности с помощью уравнения (1), взяв процент по условиям задачи. Неудачные испытания идентифицируются по заранее определенным критериям, запрограммированным в симуляторе, который автоматически прекращает испытание при приземлении из-за ориентации плоскости и вертикальной скорости. Проведите послеиспытательную проверку, чтобы убедиться, что этот критерий соответствует фактическим ограничениям самолета (т.е. повреждение/авария шасси Cessna 172 очевидна при вертикальных скоростях > 700 футов/мин [футов в минуту] при приземлении).
      Вероятность успеха = (1)
      ПРИМЕЧАНИЕ: Более низкие значения коэффициента успеха указывают на худшие результаты, поскольку они связаны с уменьшением числа успешных попыток приземления.
   2. Для каждого испытания рассчитывайте время завершения на основе временной метки, которая указывает на то, что самолет остановился на взлетно-посадочной полосе (т. е. GroundSpeed = 0 узлов).
      ПРИМЕЧАНИЕ: Более короткое время выполнения не всегда может означать более высокую производительность. Необходимо проявлять осторожность, чтобы понять, как условия задачи (т. е. дополнительные ветры, аварийные сценарии и т. д.) могут повлиять на время выполнения.
   3. Для каждого испытания определяйте посадочную жесткость на основе вертикальной скорости самолета (fpm) в момент первоначального приземления самолета на взлетно-посадочную полосу. Убедитесь, что это значение принимается в той же метке времени, связанной с первым изменением статуса AircraftOnGround с 0 (в воздухе) на 1 (на земле).
      ПРИМЕЧАНИЕ: Значения в диапазоне от -700 футов в минуту до 0 футов в минуту считаются безопасными, а значения ближе к 0 представляют более мягкие посадки (т.е. лучшие). Отрицательные значения представляют вертикальную скорость вниз; Положительные значения представляют вертикальную скорость вверх.
   4. Для каждого испытания рассчитайте ошибку приземления (°) на основе разницы между координатами приземления и опорной точкой на взлетно-посадочной полосе (центр отметки 500 футов). Используя точку отсчета, рассчитайте ошибку посадки с помощью уравнения (2).
      Разница = √((Δ Широта)² + (Δ Долгота)²) (2)
      ПРИМЕЧАНИЕ: Значения ниже 1° показаны как нормальные ^5,15. Большие значения указывают на большую ошибку посадки, связанную с точками приземления самолета, которые находятся дальше от зоны посадки.
   5. Рассчитайте средние значения по всем участникам для каждой переменной результата производительности для каждого условия задачи. Сообщите об этих значениях.
2. Данные о ситуационной осведомленности
   1. Для каждого испытания рассчитайте балл SA на основе баллов SART, о которых сообщили сами по 10 параметрам SA¹⁷.
      1. Используйте опросник SART¹⁷ для определения субъективных ответов участников относительно общей сложности задания, а также их впечатления о том, сколько ресурсов внимания они имели и тратили во время выполнения задания.
      2. Используя 7-балльную шкалу Лайкерта, попросите участников оценить свой воспринимаемый опыт по наводящим вопросам, включая сложность ситуации, распределение внимания, запасные умственные способности, а также количество и качество информации.
      3. Объедините эти шкалы в более крупные измерения потребности во внимании (Demand), предложения внимания (Supply) и понимания ситуации (Understanding).
      4. Используйте эти рейтинги для вычисления меры SA на основе уравнения (3):
         SA = Понимание - (Спрос-Предложение) (3)
         ПРИМЕЧАНИЕ: Более высокие баллы по шкалам в сочетании с мерой понимания предполагают, что участник хорошо понимает поставленную задачу. Аналогичным образом, высокие баллы в области предложения предполагают, что у участника есть значительное количество ресурсов внимания, которые он может посвятить данной задаче. Напротив, высокий показатель спроса предполагает, что для выполнения задачи требуется значительное количество ресурсов внимания. Важно уточнить, что эти оценки лучше всего интерпретировать при сравнении между различными условиями (т.е. легкими и сложными условиями), а не использовать их в качестве отдельных показателей.
   2. После завершения сбора данных рассчитайте средние значения по всем участникам для каждого условия задачи (т. е. базового, аварийного). Сообщите об этих значениях.
3. Данные отслеживания движения глаз
   1. Используйте пакетный скрипт отслеживания взгляда для ручного определения AOI для использования в картографировании взгляда. Скрипт откроет новое окно для выбора ключевого кадра, в котором должны быть четко отображены все ключевые АОИ, которые будут анализироваться. Прокрутите видео и выберите кадр, на котором четко видны все АОИ.
   2. Следуя инструкциям на экране, нарисуйте прямоугольник над областью кадра, которая будет видна на протяжении всего видео, уникальна и останется стабильной.
      ПРИМЕЧАНИЕ: Целью этого шага является создание «экранного» координатного кадра, который может быть использован во время видеозаписи, поскольку движения головы приводят к изменению местоположения объектов в окружающей среде в ходе видеозаписи.
   3. Нарисуйте прямоугольник для каждой АОИ на рисунке, по одному. Назовите их соответственно. Нажмите Добавить еще , чтобы добавить новую АОИ, и нажмите Готово на последнем из них. Если координаты взгляда во время данной фиксации попадают в пространство объекта, как определено в системе координат «на экране», пометьте эту фиксацию соответствующей меткой AOI.
      ПРИМЕЧАНИЕ: Целью этого шага является создание библиотеки координат объекта, которые затем используются в качестве ссылок при сравнении координат взгляда с координатами на экране.
      Обычно существует 10 АОИ, но это зависит от того, как настроен авиасимулятор. Панель приборов может отличаться. В соответствии с предыдущими работами ^5,18, в настоящем исследовании используются следующие АОИ: Воздушная скорость, Ориентация, Высотомер, Координатор поворота, Курс, Вертикальная скорость, Мощность, Переднее окно, Левое окно и Правое окно (см. Рисунок 1).
   4. Пусть скрипт начнет обработку АОИ и сгенерирует данные фиксации. Он генерирует сюжет, показывающий саккады и фиксации на видео.
   5. Будут созданы два новых файла: fixations.csv и aoi_parameters.yaml. Пакетный процессор завершит постобработку данных взгляда для каждого испытания и каждого участника.
      ПРИМЕЧАНИЕ: Основные интересующие нас меры отслеживания движения глаз перечислены в таблице 2 и рассчитаны для каждого АОИ для каждого исследования.
   6. Для каждого испытания рассчитайте традиционные метрики взгляда ^4,5 для каждого AOI на основе данных, сгенерированных в файле fixation.csv.
      ПРИМЕЧАНИЕ: Здесь мы сосредоточимся на времени задержки (%), которое рассчитывается путем деления суммы фиксаций для конкретной АОИ на сумму всех фиксаций и умножения частного на 100, чтобы получить процент времени, проведенного в конкретной АОИ. Не существует внутренней отрицательной/положительной интерпретации, вытекающей из рассчитанного времени задержки. Они дают представление о том, на что в первую очередь распределяется внимание. Более длительная средняя продолжительность фиксации свидетельствует о повышенных требованиях к обработке.
   7. Для каждой попытки рассчитайте частоту мигания с помощью уравнения (4):
      Частота мигания = Общее мигание/время завершения (4)
      ПРИМЕЧАНИЕ: Предыдущая работа показала, что частота моргания обратно пропорциональна когнитивной нагрузке 2,6,13,19,20.
   8. Для каждого испытания рассчитайте SGE с помощью уравнения (5)²¹:
      (5)
      Где v — вероятность просмотра^i-й АОИ, а V — количество АОИ.
      Примечание: Более высокие значения SGE связаны с большей дисперсией фиксации, в то время как более низкие значения указывают на более локализированное распределение фиксаций²².
   9. Для каждой попытки рассчитайте GTE с помощью уравнения (6)²³:
      (6)
      Где V — вероятность увидеть^i-ю АОИ, а M — вероятность увидеть^j-ю АОИ при предыдущем наблюдении^i-й АОИ.
      ПРИМЕЧАНИЕ: Более высокие значения GTE связаны с более непредсказуемыми, сложными траекториями визуального сканирования, в то время как более низкие значения GTE указывают на более предсказуемые, рутинные траектории визуального сканирования.
   10. Рассчитайте средние значения по всем участникам для каждой выходной переменной отслеживания движения глаз (и AOI, если указано) и каждого условия задачи. Сообщите об этих значениях.

Таблица 1: Переменные результатов работы симулятора. Переменные, зависящие от летно-технических характеристик самолета, и их определения.

Рисунок 2: Траектория полета по сценарию посадки. Схема (А) контура посадки, пройденного во всех испытаниях, и (В) взлетно-посадочной полосы с отметками 500 футов, которые использовались в качестве ориентира для зоны посадки (т.е. центральный оранжевый круг). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 3: Картографирование области интереса. Иллюстрация пакетного скрипта, демонстрирующая окно для выбора кадра. Выбор оптимального кадра включает в себя выбор видеокадра, который включает в себя большинство или все области интереса для картографирования. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 4: Генерация картографирования области интереса «на экране» координат. Иллюстрация пакетного скрипта, демонстрирующая окно для выбора координат «на экране». Этот шаг включает в себя выбор квадратной/прямоугольной области, которая остается видимой на протяжении всей записи, уникальна для изображения и остается статичной. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 5: Определение области интереса для картографирования. Иллюстрация окна пакетного скрипта, в котором можно выбрать и пометить области интереса. Аббревиатура: AOI = области интересов. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 6: Пакетная обработка скриптов. Иллюстрация пакетного сценария, обработка видео и карта взгляда, фиксации, сделанные на протяжении всего судебного разбирательства. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Таблица 2: Переменные результата отслеживания взгляда. Посмотрите на переменные, зависящие от поведения, и их определения.

Влияние требований к задачам на летно-технические характеристики
Данные были проанализированы на основе успешных посадочных испытаний в базовых и аварийных условиях. Все меры были подвергнуты t-критерию парных выборок (внутрисубъектный фактор: условие задачи (базовое, аварийное)). Все t-тесты проводились с альфа-уровнем, установленным на уровне 0,05. Четыре участника разбились во время испытания сценария чрезвычайной ситуации и не были включены в основной анализ, поскольку скудные данные не позволяют сделать значимые выводы. Все переменные, за исключением коэффициента успеха, относятся исключительно к успешным испытаниям.

Процент успеха (%) произвел основной эффект состояния, t(23) = 2,145, p = 0,043. В частности, аварийные испытания (среднее значение = 83%) привели к значительно большему количеству неудачных посадок (т.е. разбились), чем основные испытания (среднее значение = 100%) (рисунок 7A). Время завершения (с) произвело основной эффект условия, t(19) = 8,420, p < 0,001. Экстренные испытания были завершены значительно быстрее (среднее значение = 121 с, SD = 3,9), чем базовые испытания (среднее значение = 174 с, SD = 5,6) (рисунок 7B). Ошибка при посадке вызывала основной эффект условия, t(19) = -2.669, p = 0.015, η_p² = 0.242. В частности, базовые испытания были связаны со значительно более низкой ошибкой приземления (т.е. более высокой точностью посадки) (среднее значение = 0,046°, SD = 0,010) по сравнению с аварийными испытаниями (среднее значение = 0,216°, SD = 0,070) (рисунок 7C), в которых участвовал один человек, приземлившийся в поле рядом со взлетно-посадочной полосой. Наконец, твердость при посадке существенно не изменялась между условиями (p = 0,062) (рис. 7D).

Рисунок 7: Показатели летно-технических характеристик. Результаты, показывающие (A) вероятность успеха (%), (B) время завершения (s), (C) ошибку приземления (°) и (D) жесткость приземления (fpm) для основных (контрольных) и аварийных условий. Вероятность успеха и время выполнения уменьшились в аварийном состоянии по сравнению с базовым состоянием. Ошибка посадки увеличилась в аварийном состоянии относительно основного состояния. Твердость при посадке существенно не отличалась между условиями. Используемый статистический тест: t-критерий парных выборок. Полосы погрешностей представляют SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Сокращение: fpm = футы/мин. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

По мере увеличения сложности задач это негативно сказывалось на производительности. В основном это проявилось по уменьшению увеличенной ошибки посадки, а также снижению субъективного СА. Отметим, что сокращение времени завершения посадки было скорее следствием недостаточной мощности двигателя от отказа двигателя, в результате чего произошло необходимое изменение траектории полета, что значительно сократило траекторию полета, чтобы самолет мог безопасно приземлиться на взлетно-посадочную полосу.

Влияние требований к задаче на ситуационную осведомленность
Субъективные баллы опросника SART дали общий балл SA, который продемонстрировал основной эффект состояния, t(19) = 9,148, p < 0,001. В частности, субъективные баллы SA были ниже в экстренных испытаниях (среднее = 11,7, SD = 1,4) по сравнению с базовыми испытаниями (среднее = 21,4, SD = 1,2) (Рисунок 8A). Более тщательное изучение подкомпонентов опросника SART показало, что предложение SA, спрос на SA и понимание SA дают основной эффект состояния (рисунок 8B-D). В частности, предложение SA значительно возросло от основного состояния (среднее = 18,7, SD = 0,8) до аварийного состояния (среднее = 21,9, SD = 0,9), t(19) = -4,921, p < 0,001. Аналогичным образом, спрос на SA значительно увеличился с базового состояния (среднее = 8,1, SD = 1,5) до чрезвычайного состояния (среднее = 19,3, SD = 1,8), t(19) = -10,696, p < 0,001. Наконец, понимание СА значительно ухудшилось от основного условия (среднее = 10,7, SD = 0,4) до аварийного состояния (среднее = 9,0, SD = 0,6), t(19) = 3,187, p = 0,005.

Рисунок 8: Оценки осведомленности о ситуации. Результаты, показывающие (A) ситуационную осведомленность, (B) предложение SA, (C) спрос SA и (D) понимание SA для основных (контрольных) и чрезвычайных условий. Ситуационная осведомленность и понимание СА снижались в аварийном состоянии по сравнению с базовым. Спрос и предложение на СК увеличились в аварийном состоянии относительно основного состояния. Используемый статистический тест: t-критерий парных выборок. Полосы погрешностей представляют SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Влияние требований к задаче на поведение взгляда
Традиционные метрики взгляда
Время пребывания (%) в нескольких АОИ продемонстрировало основной эффект состояния (Рисунок 9). Большинство АОИ продемонстрировали уменьшение времени задержки от основного состояния до аварийного, в том числе: ориентация, t(19) = 2,322, p = 0,031, высотомер, t(19) = 2,822, p = 0,011, координатор поворота, t(19) = 2,698, p = 0,014, курс, t(19) = 2,175, p = 0,042, вертикальная скорость, t(19) = 2,357, p = 0,029, и указатели мощности, t(19) = 3,036, р = 0,007. В противоположность этому, время показа воздушной скорости увеличилось от основного состояния до аварийного, t(19) = -2,376, p = 0,029. Все остальные АОИ достоверно не модулировались по состоянию (все значения p > 0,165). Среднее значение времени задержки и стандартные отклонения для всех АОИ приведены в таблице 3.

Рисунок 9: Время задержки. Групповые средние значения процентных изменений времени задержки (аварийные - базовые) показаны для всех 10 областей интереса. Уменьшено время задержки указателей ориентации, высотомера, координатора поворота, курса, вертикальной скорости и мощности в аварийном состоянии относительно основного (управляющего) состояния. Время задержки на индикаторе воздушной скорости увеличено в аварийном состоянии относительно основного состояния. Используемый статистический тест: t-критерий парных выборок. Полосы погрешностей представляют SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Таблица 3: Значения времени задержки (%) по условиям задачи. Описательная статистика (среднее, стандартное отклонение) с указанием значений времени пребывания (%) для всех областей интереса в сценарии контрольного полета и аварийного полета.

Частота моргания продемонстрировала основной эффект условия, t(19) = -2,713, p = 0,014 (рис. 10). В частности, частота моргания значительно увеличилась от основного условия (среднее = 0,354 моргания/сек, SD = 0,192) до аварийного состояния (среднее = 0,460 моргания/сек; SD= 0,285).

Рисунок 10: Частота мигания в основных и аварийных условиях. Частота мигания увеличивается в аварийном состоянии относительно основного (контрольного) состояния. Используемый статистический тест: t-критерий парных выборок. Полосы погрешностей представляют SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Расширенные метрики взгляда
SGE, GTE, нормализованные средние и стандартные отклонения для всех AOI в разных условиях представлены в таблице 4. SGE и GTE продемонстрировали значительное снижение между базовыми и аварийными условиями задачи (рис. 11), t(19) = 4,833 и 4,833, ps < 0,001 соответственно.

Рисунок 11: Метрики энтропии. (А) энтропия стационарного взгляда (СГЭ) и (В) энтропия перехода взгляда (ГТД) в основных (контрольных) и аварийных условиях. И SGE, и GTE снизились в аварийном состоянии относительно базового. Используемый статистический тест: t-критерий парных выборок. Полосы погрешностей представляют SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Сокращения: SGE = энтропия неподвижного взгляда; GTE = энтропия перехода взгляда. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Таблица 4: Значения энтропии по условиям. Среднее значение (стандартное отклонение) для всех значений энтропии (битов) во всех условиях задачи (т. е. базовой, аварийной).

В совокупности также сообщалось о значительных изменениях в поведении взгляда параллельно с отмеченным снижением производительности и СА. В частности, реагирование на чрезвычайную ситуацию было связано со значительным снижением внимания к нескольким АОИ, что было очевидно по снижению SGE (т.е. дисперсии фиксации) и сокращению времени пребывания в ряде АОИ (т.е. ориентация, высотомер, координатор поворота, курс, вертикальная скорость и показатели мощности). С другой стороны, значительно больше внимания уделялось указателю воздушной скорости, поскольку он стал основным источником информации для управления состоянием аварийной посадки; необходимый индикатор, который помогает установить оптимальную скорость планирования, чтобы предотвратить сваливание самолета^{на 24} часа. Эти изменения в распределении внимания также были связаны со снижением сложности сканирования (GTE), что указывает на то, что участники приняли стратегию, переключая свое внимание на меньшее количество АОИ более рутинным/предсказуемым образом. Во время чрезвычайных ситуаций следует ожидать таких изменений в поведении взгляда, поскольку протокол управления таким событием требует направления внимания в основном на указатель воздушной скорости и взлетно-посадочную полосу (т.е. переднее/левое окно). Эти данные подтверждают, что манипуляции с задачами были достаточно сложными, чтобы повлиять на выполнение задач и вспомогательные механизмы обработки информации. Что еще более важно, результаты анализа поведения взгляда предоставляют дополнительные эмпирические доказательства того, что сканирование информации по АОК кабины сокращается в сложных условиях задачи за счет траты большего количества времени на АОИ, которые имеют большее значение для принятия решений и решения проблем 5,8,25,26 . Это критический вывод, который может свидетельствовать о том, что сценарий чрезвычайной ситуации является хорошо изученной задачей, поскольку предыдущая работа с использованием крайне неопределенных событий во время полета привела к более высокой исследовательской активности (т.е. более высокому SGE/GTE), когда задачи не были хорошо отработаны или обучены^. Тем не менее, необходимы дополнительные исследования, чтобы определить, как меняется поведение взгляда и, следовательно, обработка информации в ответ на эти манипуляции с заданием у начинающих пилотов или во время неудачных попыток посадки, где наблюдаемые изменения в поведении взгляда могут отсутствовать. Такой вывод может указывать на то, что недостаток избирательного внимания связан с более низкой производительностью задач во время неопределенных/неожиданных событий.

Описанный здесь метод отслеживания движения глаз позволяет оценивать обработку информации в среде симулятора полета с помощью носимого трекера для глаз. Оценка пространственных и временных характеристик поведения взгляда дает представление об обработке информации человеком, которая была широко изучена с использованием высококонтролируемых лабораторных парадигм ^4,7,28. Использование последних достижений в области технологий позволяет обобщить исследования по отслеживанию движения глаз до более реалистичных парадигм с более высокой точностью, тем самым имитируя более натуралистичные условия. Цель настоящего исследования состояла в том, чтобы охарактеризовать влияние сложности задачи на поведение взгляда, летные характеристики и SA во время моделируемого сценария посадки у пилотов с малым временем полета. Участникам было предложено выполнить задание на посадку в условиях высокой видимости, в соответствии с правилами визуального полета (VFR), которые включали в себя базовый сценарий посадки и сложную манипуляцию, которая заключалась в неожиданном возникновении аварийной ситуации в полете (т.е. полного отказа двигателя). Как и ожидалось, возникновение аварийной ситуации во время сценария посадки привело к заметному снижению производительности и SA, а также к значительным изменениям в поведении взгляда. Эти методы, результаты и понимание, полученное в результате анализа поведения взгляда в отношении обработки информации, летных характеристик и SA, более подробно обсуждаются ниже.

Что касается методологии, то следует иметь в виду несколько критических моментов, включая изменения в протоколе и значение протокола для литературы. Данные отслеживания движения глаз были собраны вместе со сложными задачами, связанными с авиацией, в авиасимуляторе ALSIM AL-250, который считается высокоточным симулятором, но не является полноценным симулятором полета, поскольку он не имитирует движение или вибрации. Таким образом, этот метод может быть неприменим непосредственно к полнопилотажным симуляторам, где движение и вибрация могут влиять на качество отслеживания глаз. Имитатор ALSIM был сконфигурирован так, чтобы быть типичным для Cessna 172, и использовался с необходимой приборной панелью (конфигурация пародатчика), системой авионики/GPS, панелью аудио/освещения, панелью выключателей и блоком управления полетом (FCU) (см. Рисунок 1). Моделируемый летательный аппарат функционировал с частотой дискретизации 30 Гц и управлялся с помощью штурвала, рычага газа и педалей руля направления. В этом протоколе для оценки изменений в поведении взгляда использовался носимый айтрекер (т.е. прокси для обработки информации) во время выполнения основного сценария посадки (высокая видимость [>20 миль], слабый ветер [0 узлов]) и сценария аварийной посадки (высокая видимость [>20 миль], слабый ветер [0 узлов], неожиданный полный отказ двигателя).

Текущий эксперимент требовал от участников в общей сложности выполнить пять посадочных испытаний: четыре основных испытания и одно экстренное испытание. Последовательность этих испытаний оставалась неизменной у всех участников, чтобы гарантировать, что введение экстренной ситуации во время полета не повлияло на естественное поведение взгляда, зафиксированное во время других испытаний, которые включали другие манипуляции, которые были частью более крупного эксперимента^. Помимо инструктажа пилотов в начале сессии, участникам были предоставлены два практических испытания перед экспериментальными испытаниями для ознакомления с кабиной пилотов. В данном исследовании использовался айтрекер AdHawk MindLink (250 Гц, пространственное разрешение <2°, фронтальная камера²⁹), но его можно заменить любым высококачественным, коммерчески доступным, носимым айтрекером. Тем не менее, носимый айтрекер должен иметь пространственное разрешение <2°, фронтальную камеру и частоту дискретизации 120 Гц для правильной идентификации характеристик движения глаз, связанных с обнаружением саккады/фиксации³⁰.

Основываясь на предыдущей работе Айалы и его коллег², фронтальная камера должна обеспечивать видеозапись рабочей среды, которая затем используется для картографирования взгляда путем наложения координат взгляда, отслеживающих взгляд. Затем эти координаты сравниваются с координатами, определенными вручную для релевантных для задачи областей в алгоритме картографирования взгляда. Авиасимулятор ALSIM также может быть заменен другими формами авиасимулятора (например, авиасимулятором на базе ПК)⁵. Тем не менее, важно отметить, что картирование АОИ должно быть одинаковым в этих средах, чтобы предотвратить риск того, что диссогласованное картирование АОИ станет искажающей переменной в результатах взгляда. Более того, картографирование, использованное в данной работе, было основано на знании того, что эти заранее определенные пространства имеют контекстуальное значение для пилота, который должен сосредоточить свой взгляд на этих критически важных источниках информации для безопасной и успешной эксплуатации самолета. Выбранные айтрекеры и симуляционные среды были специально выбраны для этой работы, потому что они обеспечивали точную оценку поведения взгляда в высокоточной экологической среде.

Что касается результатов, то текущая работа демонстрирует характеристику поведения взгляда с помощью носимого айтрекера, который использует алгоритм компьютерного зрения для помощи в картографировании взгляда в высокоточной среде иммерсивного моделирования полета. Применение этого метода дает ряд преимуществ для оценки поведения взгляда и общих изменений обработки информации в натуралистических условиях, которые описаны здесь. Во-первых, протокол выходит за рамки стандартной оценки движений глаз в лабораторной среде 2D-экрана, захватывая комбинированные движения головы и глаз в иммерсивном 3D-пространстве ^2,4,5. Во-вторых, в большинстве исследований, проведенных в трехмерном пространстве, не хватало возможности для проведения эффективного анализа взгляда на основе определенных АОИ 10,31,32. Это очень актуально для задач, специфичных для предметной области в повседневной жизни, поскольку проведенный здесь анализ на основе АОК обеспечивает критический контекст, необходимый для правильной интерпретации результатов. В текущем исследовании были собраны данные о поведенческой производительности, субъективном СА и отслеживании взгляда, чтобы обеспечить всестороннюю оценку того, как каждый поток данных связан с основными когнитивными функциями, такими как внимание и принятие решений.

Используя этот тип мультимодального анализа, несколько исследований показали, что количество времени, в течение которого взгляд направлен на конкретные АОИ, смещено в сторону критически важных областей, требующих больше ресурсов для обработки информации, что, в свою очередь, связано с успешным выполнением задачи 4,5,7,33,34 . Аналогично результатам, отмеченным в настоящей работе, снижение производительности, связанное с увеличением сложности задач в нейрокогнитивных задачах (т.е. увеличение времени выполнения, увеличение времени планирования, снижение точности задач), было показано, что все они связаны со значительным увеличением концентрации ресурсов внимания (т.е. специфическим увеличением времени пребывания и длительности фиксации, и снижение SGE/GTE) в сторону информационно насыщенных АОИ, которые были важны для успешного выполнения задач ^4,7.

Пользователи также должны учитывать несколько критических элементов описанного протокола отслеживания движения глаз. Во-первых, хорошо известно, что отслеживание взгляда — это метод, который косвенно исследует изменения в обработке информации через явные сдвиги во внимании, которые фиксируются метриками поведения взгляда. Таким образом, данный метод ограничен в той степени, в которой он может идентифицировать и исследовать скрытые процессы, которые могут не быть связаны с явными сдвигами взгляда, но могут иметь отношение к производительности^. Во-вторых, текущая работа показывает, что еще многое предстоит сделать, чтобы понять, как некоторые метрики, такие как частота моргания, действительно связаны с аспектами человеческого познания и действий. В частности, предыдущая работа показала, что частота моргания обратно пропорциональна сложности задачи 2,6,13,19,20. Тем не менее, текущая работа дает противоречивые доказательства этого, поскольку было показано, что скорость мигания увеличивается в сценарии чрезвычайной ситуации (т.е. увеличивается сложность задачи). Учитывая отсутствие консенсуса относительно интерпретации моргания как косвенного показателя сложности задачи или когнитивной нагрузки, эта область требует дальнейшего исследования, чтобы понять механизмы, лежащие в основе моргания, и почему они вообще меняются при изменении требований к задаче. Изучение скорости мигания важно, потому что этот сигнал относительно легко измерить с помощью отслеживания взгляда; Тем не менее, полезность и применение для более сложных задач реального мира нуждаются в дальнейшем установлении. Точно так же размер зрачка обычно регистрируется устройствами слежения за глазами и может дать представление о рабочей нагрузке. Тем не менее, анализ и интерпретация динамики зрачков может быть сложной задачей, поскольку на размер зрачка влияют яркость и движения глаз. Таким образом, потребуется дополнительная процедура калибровки и аналитические инструменты, чтобы установить полезность пупиллометрии в этом контексте. В-третьих, в текущей парадигме используется фиксированный график условий, в результате чего аварийное испытание всегда завершается последним. В основном это было следствием того, что сбор данных был частью более крупного исследования, в котором изучались изменения в обработке информации в различных условиях окружающей среды^. Сценарий аварийной посадки мог изменить нормальное поведение взгляда во время этих альтернативных условий полета. Таким образом, чтобы предотвратить любые изменения в поведении взгляда во время сеанса из-за раннего появления неопределенного события, сценарий чрезвычайной ситуации был завершен в конце сеанса сбора данных.

Хотя можно утверждать, что отсутствие рандомизации в последовательности испытаний может привести к практическому эффекту, результаты, изложенные в данной работе, показывают, что это явно не так, поскольку производительность и СА снизились, в то время как значительные изменения во взгляде стали очевидными только в последнем экстренном испытании, а не в предыдущих четырех основных испытаниях. Наконец, отсутствие точной синхронности между устройствами сбора данных (т.е. трекером движения глаз и симулятором полета) является затяжной проблемой в отношении выравнивания потоков данных для летных характеристик и данных отслеживания глаз. Несмотря на то, что в текущей работе была предпринята попытка синхронизации между двумя устройствами путем одновременного нажатия кнопок запуска/записи, всегда существовала вероятность того, что человеческая ошибка и нормальная изменчивость управления моторикой при нажатии кнопок станут источниками ошибок синхронизации, которые следует учитывать. Это ограничивает степень, в которой временные случайности между конкретными движениями глаз и действиями могут быть изучены с помощью текущего метода, и является технологическим недостатком, требующим дальнейшего развития.

Типичные применения методов отслеживания взгляда связывают изменения в обработке информации с несколькими расстройствами здоровья (например, черепно-мозговой травмой, шизофренией, болезнью Паркинсона)7,32,35,36 и используют поведение взгляда для того, чтобы пролить свет на разработку методов оценки и обучения. Последние приложения нацелены на использование отслеживания взгляда для улучшения типа обратной связи, получаемой обучаемыми в нескольких областях (например, в медицине и авиации)^2,10. Улучшенные возможности носимых айтрекеров и анализов на основе АОК улучшают контекстуальную информацию, предоставляемую как исследователям, так и промышленным приложениям. Например, в высокоточных средах расширенный анализ позволяет точно определить, на что люди явно обращают внимание, когда и насколько эффективно обрабатывается информация ^2,15. Тем не менее, полезность использования этого метода в качестве средства определения квалификации или уровня знаний в природной среде еще предстоит широко исследовать. Таким образом, методы поведения взгляда, представленные в настоящей рукописи, могут быть использованы в будущих исследованиях по оценке эффективности в других сценариях, реализованных в симуляторе неподвижного полета, например, управление связью с авиадиспетчерской службой, восстановление после сваливания при выключенном питании, возгорание двигателя, ситуация на второй круг). Способность хорошо работать в этих сценариях, вероятно, связана с эффективным поведением взгляда, которое может обеспечить объективную меру обработки информации.

Одним из существенных ограничений для обучения и оценки является необходимость проведения более масштабных исследований на различных уровнях летного опыта для установления надежности и нормативных диапазонов, как это было сделано с помощью более простых движений глаз в строго контролируемых лабораторных экспериментах для основных неврологических и когнитивных функций^.. Кроме того, отраслевые приложения для обучения и оценки выиграют от более глубокого понимания того, как взгляд распределяется в среде задач и как он меняется во время выполнения задачи, особенно у более эффективных сотрудников. Одной из захватывающих перспектив является объединение отслеживания движения глаз с системами захвата движения, которые могут быть использованы для количественной оценки двигательных действий, генерируемых во время выполнения данной задачи. Например, было показано, что вариативность движений является показателем развития навыков³⁹. Согласование данных о двигательном контроле с данными отслеживания взгляда может обеспечить большую поддержку для оценки уровня владения навыками на протяжении всего обучения. Таким образом, это дает уникальную возможность разработать всеобъемлющий аналитический метод для оценки и понимания динамических взаимодействий между перцептивными, когнитивными и моторными процессами, лежащими в основе человеческой деятельности и обучения.

В заключение, в этом исследовании изучалась полезность носимого айтрекера и алгоритма картографирования взгляда для характеристики поведения взгляда во время моделируемого полета. Авиационная отрасль уже более четырех десятилетий является лидером в использовании симуляционного обучения. Симуляция является обязательным компонентом авиационной подготовки, поскольку она позволяет пилотам практиковаться в безопасной, контролируемой среде, не подвергая себя опасности. Международная организация гражданской авиации (ИКАО), учреждение Организации Объединенных Наций, координирующее международную аэронавигацию и воздушный транспорт, предоставляет рекомендации по использованию симуляционных устройств для обучения пилотов, которые регулярно используются в авиационной подготовке от уровня ab initio до коммерческих пилотов. По мере накопления научных доказательств отслеживание глаз и другие биометрические устройства могут быть включены в среду моделирования полета для повышения эффективности обучения. В частности, представленный здесь метод отслеживания взгляда был полезен для количественной оценки изменений в поведении взгляда, что дало представление об изменениях в обработке информации, связанных с реагированием и управлением аварийными ситуациями во время полета. Измерения взгляда показали отчетливое изменение в распределении внимания. В частности, dlast time, SGE и GTE продемонстрировали фокусирование внимания на меньшем количестве AOI с более высокой актуальностью проблемы. Примечательно, что алгоритм картирования взгляда и носимый трекер глаз являются относительно зарождающейся технологией и, таким образом, должны использоваться и развиваться в будущей работе, учитывая известные ограничения в синхронизации между несколькими аппаратными устройствами сбора.

Никаких конкурирующих финансовых интересов не существует.

Эта работа частично поддерживается Канадской стипендией для выпускников (CGS) от Совета по естественным наукам и инженерным исследованиям (NSERC) Канады и грантом на исследования (00753) от Фонда «Новые рубежи в исследованиях». Любые мнения, выводы, выводы или рекомендации, выраженные в этом материале, принадлежат автору (авторам) и не обязательно отражают точку зрения спонсоров.