JoVE Logo

S'identifier

Dans cet article

  • Résumé
  • Résumé
  • Introduction
  • Protocole
  • Résultats
  • Discussion
  • Déclarations de divulgation
  • Remerciements
  • matériels
  • Références
  • Réimpressions et Autorisations

Résumé

L’oculométrie est une méthode non invasive pour sonder le traitement de l’information. Cet article décrit comment l’oculométrie peut être utilisée pour étudier le comportement du regard lors d’une tâche d’urgence de simulation de vol chez des pilotes à temps partiel (c’est-à-dire <350 heures de vol).

Résumé

L’oculométrie a été largement utilisée comme indicateur pour mieux comprendre les processus cognitifs, perceptuels et sensorimoteurs qui sous-tendent la performance des compétences. Des travaux antérieurs ont montré que les mesures du regard traditionnelles et avancées démontrent de manière fiable des différences robustes dans l’expertise du pilote, la charge cognitive, la fatigue et même la conscience de la situation (SA).

Cette étude décrit la méthodologie d’utilisation d’un système de suivi oculaire portable et d’un algorithme de cartographie du regard qui capture les mouvements naturels de la tête et des yeux (c’est-à-dire le regard) dans un simulateur de vol immobile haute fidélité. La méthode décrite dans cet article décrit les analyses du regard basées sur les zones d’intérêt (AOI), qui fournissent plus de contexte lié à l’endroit où les participants regardent, et la durée du temps de séjour, qui indique l’efficacité avec laquelle ils traitent les informations fixées. Le protocole illustre l’utilité d’un oculomètre portable et d’un algorithme de vision par ordinateur pour évaluer les changements de comportement du regard en réponse à une urgence inattendue en vol.

Les résultats représentatifs ont démontré que le regard était considérablement affecté lorsque l’événement d’urgence a été introduit. Plus précisément, l’allocation d’attention, la dispersion du regard et la complexité de la séquence du regard ont diminué de manière significative et sont devenues très concentrées sur le fait de regarder à l’extérieur de la fenêtre avant et de l’anémomètre pendant le scénario d’urgence (toutes les valeurs p < 0,05). L’utilité et les limites de l’utilisation d’un oculomètre portable dans un environnement de simulation de vol immobile haute fidélité pour comprendre les caractéristiques spatio-temporelles du comportement du regard et sa relation avec le traitement de l’information dans le domaine de l’aviation sont discutées.

Introduction

Les humains interagissent principalement avec le monde qui les entoure en bougeant d’abord leurs yeux et leur tête pour concentrer leur ligne de vue (c’est-à-dire leur regard) sur un objet ou un lieu d’intérêt spécifique. Cela est particulièrement vrai dans les environnements complexes tels que les cockpits d’avion où les pilotes sont confrontés à de multiples stimuli concurrents. Les mouvements du regard permettent de collecter des informations visuelles à haute résolution qui permettent aux humains d’interagir avec leur environnement de manière sûre et flexible1, ce qui est d’une importance primordiale dans l’aviation. Des études ont montré que les mouvements oculaires et le comportement du regard donnent un aperçu des processus perceptifs, cognitifs et moteurs sous-jacents à travers diverses tâches 1,2,3. De plus, l’endroit où nous regardons a une influence directe sur la planification et l’exécution des mouvements des membres supérieurs3. Par conséquent, l’analyse du comportement du regard pendant les tâches aéronautiques fournit une méthode objective et non invasive, qui pourrait révéler comment les modèles de mouvements oculaires sont liés à divers aspects du traitement de l’information et de la performance.

Plusieurs études ont démontré une association entre le regard et la performance des tâches dans divers paradigmes de laboratoire, ainsi que dans des tâches complexes du monde réel (c’est-à-dire l’exploitation d’un avion). Par exemple, les zones pertinentes pour la tâche ont tendance à être fixées plus fréquemment et pendant des durées totales plus longues, ce qui suggère que le lieu de fixation, la fréquence et le temps d’attente sont des indicateurs de l’attribution de l’attention dans les tâches neurocognitives et aéronautiques 4,5,6. Les personnes très performantes et les experts présentent des biais de fixation significatifs envers les domaines critiques par rapport aux moins performants ou aux novices 4,7,8. Les aspects spatio-temporels du regard sont capturés par des changements dans les modèles de temps de séjour dans diverses zones d’intérêt (AOI) ou des mesures de distribution de fixation (c’est-à-dire l’entropie du regard stationnaire : SGE). Dans le contexte des paradigmes basés sur le laboratoire, la durée moyenne de fixation, la longueur du chemin de balayage et la complexité de la séquence du regard (c’est-à-dire l’entropie de transition du regard : GTE) ont tendance à augmenter en raison de l’augmentation du balayage et du traitement nécessaires pour résoudre des problèmes et élaborer des objectifs/solutions de tâches plus difficiles 4,7.

À l’inverse, des études aéronautiques ont démontré que la longueur du chemin de balayage et la complexité de la séquence du regard diminuent avec la complexité de la tâche et la charge cognitive. Cette divergence met en évidence le fait que la compréhension des composantes de la tâche et des exigences du paradigme utilisé est essentielle à l’interprétation précise des mesures du regard. Dans l’ensemble, les recherches menées à ce jour soutiennent que les mesures du regard fournissent un aperçu significatif et objectif du traitement de l’information spécifique à la tâche qui sous-tend les différences de difficulté de tâche, de charge cognitive et de performance de la tâche. Avec les progrès de la technologie de suivi oculaire (c’est-à-dire la portabilité, l’étalonnage et le coût), l’examen du comportement du regard dans la nature est un domaine de recherche émergent avec des applications tangibles pour faire progresser la formation professionnelle dans les domaines de la médecine 9,10,11 et de l’aviation 12,13,14.

Les travaux actuels visent à examiner plus en détail l’utilité de l’utilisation de mesures basées sur le regard pour mieux comprendre le traitement de l’information en utilisant spécifiquement un oculomètre portable lors d’une tâche de simulation de vol d’urgence chez les pilotes à temps faible. Cette étude s’appuie sur des travaux antérieurs qui ont utilisé un oculomètre stabilisé (c’est-à-dire EyeLink II) pour examiner les différences dans les paramètres du comportement du regard en fonction de la difficulté de vol (c’est-à-dire les changements dans les conditions météorologiques)5. Les travaux présentés dans ce manuscrit s’inscrivent également dans le prolongement d’autres travaux qui ont décrit les approches méthodologiques et analytiques de l’utilisation de l’oculométrie dans un système de réalité virtuelle15. Notre étude a utilisé un simulateur immobile de plus grande fidélité et rapporte une analyse supplémentaire des données de mouvement oculaire (c’est-à-dire l’entropie). Ce type d’analyse a été rapporté dans des articles précédents ; Cependant, l’une des limites de la littérature actuelle est le manque de normalisation dans la déclaration des étapes analytiques. Par exemple, il est d’une importance cruciale de rendre compte de la définition des zones d’intérêt, car cela influence directement les valeurs d’entropie résultantes16.

En résumé, les travaux actuels ont examiné les mesures traditionnelles et dynamiques du comportement du regard pendant que la difficulté de la tâche était manipulée par l’introduction d’un scénario d’urgence en vol (c’est-à-dire une panne totale inattendue du moteur). On s’attendait à ce que l’introduction d’un scénario d’urgence en vol donne un aperçu des changements de comportement du regard sous-jacents au traitement de l’information dans des conditions de tâche plus difficiles. L’étude rapportée ici fait partie d’une étude plus vaste examinant l’utilité du suivi oculaire dans un simulateur de vol pour éclairer la formation des pilotes basée sur les compétences. Les résultats présentés ici n’ont pas été publiés auparavant.

Protocole

Le protocole suivant peut être appliqué à des études impliquant un oculomètre portable et un simulateur de vol. La présente étude porte sur des données de suivi oculaire enregistrées parallèlement à des tâches complexes liées à l’aviation dans un simulateur de vol (voir le tableau des matériaux). Le simulateur était configuré pour être représentatif d’un Cessna 172 et était équipé du tableau de bord nécessaire (configuration de l’indicateur de vapeur), d’un système avionique/GPS, d’un panneau audio/lumières, d’un panneau de disjoncteurs et d’une unité de commande de vol (FCU) (voir la figure 1). Le simulateur de vol utilisé dans cette étude peut être certifié à des fins de formation et utilisé par l’école de pilotage locale pour former les compétences requises pour intervenir dans divers scénarios d’urgence, comme une panne moteur, dans un environnement à faible risque. Les participants à cette étude étaient tous agréés ; Par conséquent, ils ont déjà fait l’expérience du scénario du simulateur de panne moteur au cours de leur formation. Cette étude a été approuvée par le Bureau d’éthique de la recherche de l’Université de Waterloo (43564 ; Date : 17 novembre 2021). Tous les participants (N = 24 ; 14 hommes, 10 femmes ; âge moyen = 22 ans ; plage d’heures de vol : 51-280 h) ont fourni un consentement éclairé écrit.

figure-protocol-1513
Figure 1 : Environnement du simulateur de vol. Une illustration de l’environnement du simulateur de vol. Le point de vue du participant sur le poste de pilotage reproduisait celui d’un pilote aux commandes d’un Cessna 172, préréglé pour une approche vent arrière à la base jusqu’à l’aéroport international de Waterloo, à Breslau, en Ontario, en Californie. Les cases orange représentent les dix principaux domaines d’intérêt utilisés dans les analyses du regard. Il s’agit notamment de (1) la vitesse, (2) l’assiette, (3) l’altimètre, (4) le coordinateur de virage, (5) le cap, (6) la vitesse verticale et (7) les indicateurs de puissance, ainsi que les (8) fenêtres avant, (9) gauche et (10) droite. Cette figure a été modifiée à partir d’Ayala et al.5. Veuillez cliquer ici pour voir une version agrandie de cette figure.

1. Sélection des participants et consentement éclairé

  1. Dépister le participant à l’aide d’un questionnaire d’auto-évaluation basé sur les critères d’inclusion/exclusion 2,5 : possession d’au moins une licence de pilote privé (PPL), vision normale ou corrigée à la normale, et aucun diagnostic antérieur de trouble neuropsychiatrique/neurologique ou de trouble d’apprentissage.
  2. Informer le participant des objectifs et des procédures de l’étude au moyen d’un exposé détaillé tenu par l’expérimentateur et l’instructeur de vol superviseur/technicien de simulateur. Examiner les risques décrits dans le document de consentement approuvé par le comité d’éthique de l’établissement. Répondez à toutes les questions sur les risques potentiels. Obtenez un consentement éclairé écrit avant de commencer toute procédure d’étude.

2. Configuration matérielle/logicielle requise et mise en service

  1. Simulateur de vol (généralement complété par le technicien du simulateur)
    1. Allumez le simulateur et les écrans du projecteur. Si l’un des projecteurs ne s’allume pas en même temps que les autres, redémarrez le simulateur.
    2. Sur l’écran d’instructions, appuyez sur l’onglet Préréglages et vérifiez que les préréglages de position et/ou de météo requis sont disponibles. Si nécessaire, créez un nouveau type de préréglage ; Consultez le technicien pour obtenir de l’aide.
  2. Ordinateur portable de collection
    1. Retournez l’ordinateur portable et connectez-vous avec vos informations d’identification.
    2. Lorsque vous y êtes invité, sélectionnez un profil préexistant ou créez-en un si vous testez un nouveau participant. Vous pouvez également sélectionner l’option Invité pour écraser son dernier étalonnage.
      1. Pour créer un profil, faites défiler jusqu’à la fin de la liste des profils et cliquez sur Ajouter.
    3. Définissez l’ID de profil sur l’ID du participant. Cet ID de profil sera utilisé pour baliser le dossier, qui contient les données de suivi oculaire une fois l’enregistrement terminé.
  3. Calibrage des lunettes
    REMARQUE : Les lunettes doivent rester connectées à l’ordinateur portable pour enregistrer. L’étalonnage avec la boîte ne doit être effectué qu’une seule fois au début de la collecte des données.
    1. Ouvrez l’étui de l’eye tracker et sortez les lunettes.
    2. Connectez le câble USB vers micro-USB de l’ordinateur portable aux lunettes. Si vous y êtes invité sur l’ordinateur portable, mettez à jour le micrologiciel.
    3. Localisez la boîte d’étalonnage noire à l’intérieur du boîtier de l’eye tracker.
    4. Sur l’ordinateur portable de collection, dans le hub de suivi oculaire, choisissez Outils | Étalonnage de l’appareil.
    5. Placez les lunettes à l’intérieur de la boîte et appuyez sur Démarrer dans la fenêtre contextuelle pour commencer l’étalonnage.
    6. Retirez les lunettes de la boîte une fois l’étalonnage terminé.
  4. Ajustement de l’embout nasal
    1. Sélectionnez l’embout porte-aux-nez.
    2. Demandez au participant de s’asseoir dans le cockpit et de mettre les lunettes.
    3. Dans le hub de suivi oculaire, accédez à Fichier | Paramètres | Sorcier du nez.
    4. Vérifiez l’ajustement de votre boîte à lunettes sur le côté gauche de l’écran. Si l’ajustement est excellent, passez à l’étape suivante. Sinon, cliquez sur la case.
    5. Dites au participant de suivre les instructions de recommandation d’ajustement affichées à l’écran : réglez l’embout nasal, ajustez les lunettes pour qu’elles s’assoient confortablement et regardez droit devant vous vers l’ordinateur portable.
    6. Si nécessaire, remplacez l’embout nasal. Pincez l’embout nasal en son milieu, faites-le glisser hors des verres, puis glissez-en un autre à l’intérieur. Continuez à tester les différents embouts jusqu’à ce que celui qui convient le mieux au participant soit identifié.
  5. Appels du contrôle de la circulation aérienne (ATC)
    REMARQUE : Si l’étude nécessite des appels ATC, demandez au participant d’apporter son propre casque d’écoute ou d’utiliser le casque de laboratoire. L’étalonnage du globe oculaire n’est effectué qu’après que le participant a mis le casque, car celui-ci peut déplacer les lunettes sur la tête, ce qui affecte la précision de l’étalonnage.
    1. Vérifiez que le casque est branché à la prise jack située sous le tableau de bord gauche.
    2. Demandez au participant de mettre le casque. Demandez-leur de ne pas y toucher ou de ne pas l’enlever jusqu’à ce que l’enregistrement soit terminé.
      REMARQUE : Un recalibrage est nécessaire chaque fois que le casque (et, par conséquent, les lunettes) est déplacé.
    3. Faites une vérification radio.
  6. Calibrage du globe oculaire
    REMARQUE : Chaque fois que le participant déplace les lunettes sur sa tête, il doit répéter l’étalonnage du globe oculaire. Demandez au participant de ne pas toucher les lunettes jusqu’à ce que leurs essais soient terminés.
    1. Dans le hub de suivi oculaire, accédez à la boîte de paramètres à gauche de l’écran.
      1. Vérifiez le mode d’étalonnage et choisissez le regard fixe ou la tête fixe en conséquence.
      2. Vérifiez que les points d’étalonnage sont une grille de 5 x 5 , pour un total de 25 points.
      3. Vérifiez le mode de validation et assurez-vous qu’il correspond au mode d’étalonnage.
      4. Examinez les résultats du suivi oculaire et vérifiez que tout ce qui doit être enregistré pour l’étude est vérifié à l’aide des cases à cocher.
    2. Cliquez sur File | Paramètres | Avancé et vérifiez que la fréquence d’échantillonnage est de 250 Hz.
    3. Cochez la case Calibrer votre suivi oculaire à l’écran à l’aide de la souris. Les instructions d’étalonnage varient en fonction du mode. Pour suivre l’étude en cours, utilisez le mode de calibrage du regard fixe : demandez aux participants de bouger la tête de manière à ce que la boîte se chevauche avec le carré noir et qu’ils s’alignent. Ensuite, demandez au participant de concentrer son regard sur le réticule dans le carré noir et d’appuyer sur la barre d’espace.
    4. Appuyez sur la case Valider votre configuration . Les instructions seront les mêmes qu’à l’étape 2.6.3. Vérifiez que le chiffre de validation MAE (Mean Absolute Error) est de <1°. Si ce n’est pas le cas, répétez les étapes 2.6.3 et 2.6.4.
    5. Appuyez sur Enregistrer l’étalonnage pour enregistrer l’étalonnage dans le profil chaque fois que l’étalonnage et la validation sont terminés.
  7. Utilisation de l’iPad
    REMARQUE : l’iPad est situé à gauche du tableau de bord (voir Figure 1). Il est utilisé pour les questionnaires, généralement après le vol.
    1. Allumez l’iPad et assurez-vous qu’il est connecté à Internet.
    2. Ouvrez une fenêtre dans Safari et entrez le lien du questionnaire de l’étude.

3. Collecte des données

REMARQUE : Répétez ces étapes pour chaque essai. Il est recommandé de placer l’ordinateur portable sur le banc à l’extérieur du cockpit.

  1. Sur l’ordinateur du simulateur de vol, dans l’écran d’instructions , appuyez sur Préréglages, puis choisissez le préréglage de position souhaité à simuler. Appuyez sur le bouton Appliquer et regardez les écrans entourant le simulateur pour vérifier que la modification a lieu.
  2. Répétez l’étape 3.1 pour appliquer le préréglage Météo .
  3. Donnez au participant des instructions spécifiques concernant l’essai ou sa trajectoire de vol. Cela inclut de leur dire de modifier tous les paramètres du tableau de bord avant de commencer.
  4. Dans l’écran d’instructions, appuyez sur le bouton orange STOPPED pour démarrer la collecte de données. La couleur passera au vert et le texte indiquera FLYING. Assurez-vous de donner un signal verbal au participant afin qu’il sache qu’il peut commencer à piloter l’avion. Le repère recommandé est « 3, 2, 1, vous avez des commandes » lorsque le bouton d’arrêt orange est enfoncé.
  5. Dans l’ordinateur portable de collection, appuyez sur Démarrer l’enregistrement afin que les données de l’oculomètre soient synchronisées avec les données du simulateur de vol.
  6. Lorsque le participant a terminé son circuit et atterri, attendez que l’avion s’arrête de bouger.
    REMARQUE : Il est important d’attendre car pendant le post-traitement ; Les données sont tronquées lorsque la vitesse sol s’établit à 0. Cela donne de la cohérence pour le critère final de tous les essais.
  7. Dans l’écran d’instructions, appuyez sur le bouton vert FLY . La couleur redeviendra orange et le texte indiquera STOPPED. Donnez un signal verbal au cours de cette étape lorsque la collecte de données est sur le point de se terminer. Le signal recommandé est « 3, 2, 1, stop ».
  8. Demandez au participant de remplir le(s) questionnaire(s) post-essai sur l’iPad. Actualisez la page pour la prochaine version d’essai.
    REMARQUE : La présente étude a utilisé le questionnaire d’auto-évaluation SART (Situation Awareness Rating Technique) comme seul questionnaire post-procès17.

4. Traitement et analyse des données

  1. Données du simulateur de vol
    REMARQUE : Le fichier .csv copié à partir du simulateur de vol contient plus de 1 000 paramètres qui peuvent être contrôlés dans le simulateur. Les principales mesures de rendement d’intérêt sont énumérées et décrites dans le tableau 1.
    1. Pour chaque participant, calculez le taux de réussite à l’aide de l’équation (1) en prenant le pourcentage dans toutes les conditions de la tâche. Les essais échoués sont identifiés par des critères prédéterminés programmés dans le simulateur qui mettent fin automatiquement à l’essai au toucher des roues en raison de l’orientation de l’avion et de la vitesse verticale. Effectuer une vérification après l’essai pour s’assurer que ce critère était conforme aux limites réelles de l’aéronef (c.-à-d. que les dommages au train d’atterrissage du Cessna 172 ou l’écrasement sont évidents à des vitesses verticales > 700 pieds/min [pi/min] au moment du toucher des roues).
      Taux de réussite = figure-protocol-14054 (1)
      REMARQUE : Des valeurs de taux de réussite plus faibles indiquent que les résultats sont moins bons, car elles sont associées à une réduction des tentatives d’atterrissage réussies.
    2. Pour chaque essai, calculez le temps d’achèvement en fonction de l’horodatage, qui indique que l’avion s’est arrêté sur la piste (c’est-à-dire GroundSpeed = 0 nœuds).
      REMARQUE : Un temps d’achèvement plus court n’est pas toujours synonyme de meilleures performances. Il faut faire preuve de prudence pour comprendre comment les conditions de la tâche (c.-à-d. vents supplémentaires, scénarios d’urgence, etc.) devraient avoir une incidence sur le temps d’achèvement.
    3. Pour chaque essai, déterminez la dureté d’atterrissage en fonction de la vitesse verticale de l’aéronef (pi/min) au moment où l’aéronef touche la piste. Assurez-vous que cette valeur est prise au même horodatage que celui associé au premier changement de statut AircraftOnGround de 0 (en vol) à 1 (au sol).
      REMARQUE : Les valeurs comprises entre -700 pi/min et 0 pi/min sont considérées comme sûres, les valeurs plus proches de 0 représentant des atterrissages plus doux (c.-à-d. meilleurs). Les valeurs négatives représentent la vitesse verticale vers le bas ; Les valeurs positives représentent la vitesse verticale ascendante.
    4. Pour chaque essai, calculez l’erreur d’atterrissage (°) en fonction de la différence entre les coordonnées de toucher des roues et le point de référence sur la piste (centre des repères de 500 pieds). À l’aide du point de référence, calculer l’erreur d’atterrissage à l’aide de l’équation (2).
      Différence = √((Δ Latitude)2 + (Δ Longitude)2) (2)
      REMARQUE : Les valeurs inférieures à 1° sont normales 5,15. Des valeurs élevées indiquent une erreur d’atterrissage plus importante associée à des points d’atterrissage de l’avion plus éloignés de la zone d’atterrissage.
    5. Calculez les moyennes de tous les participants pour chaque variable de résultat de performance pour chaque condition de tâche. Signalez ces valeurs.
  2. Données de connaissance de la situation
    1. Pour chaque essai, calculez le score SA en fonction des scores SART autodéclarés pour les 10 dimensions de SA17.
      1. Utilisez le questionnaire SART17 pour déterminer les réponses subjectives des participants concernant la difficulté globale de la tâche, ainsi que leur impression de la quantité de ressources attentionnelles dont ils disposaient et qu’ils ont dépensées pendant l’exécution de la tâche.
      2. À l’aide d’une échelle de Likert à 7 points, demandez aux participants d’évaluer leur expérience perçue sur des questions d’approfondissement, y compris la complexité de la situation, la division de l’attention, la capacité mentale de réserve et la quantité et la qualité de l’information.
      3. Combinez ces échelles dans des dimensions plus grandes de demandes attentionnelles (demande), d’offre attentionnelle (offre) et de compréhension de la situation (compréhension).
      4. Utilisez ces cotes pour calculer une mesure de l’AS basée sur l’équation (3) :
        SA = Comprendre - (Offre-Demande) (3)
        REMARQUE : Des scores plus élevés sur les échelles combinés pour fournir une mesure de la compréhension suggèrent que le participant a une bonne compréhension de la tâche à accomplir. De même, des scores élevés dans le domaine de l’approvisionnement suggèrent que le participant dispose d’une quantité importante de ressources attentionnelles à consacrer à une tâche donnée. En revanche, un score de demande élevé suggère que la tâche nécessite une quantité importante de ressources attentionnelles pour être accomplie. Il est important de préciser qu’il est préférable de comparer ces scores entre les conditions (c.-à-d. conditions faciles ou difficiles) au lieu d’être utilisés comme des mesures autonomes.
    2. Une fois la collecte de données terminée, calculez les moyennes pour tous les participants pour chaque condition de tâche (c.-à-d. de base, urgence). Signalez ces valeurs.
  3. Données de suivi oculaire
    1. Utilisez un script batch de suivi oculaire pour définir manuellement les zones d’intérêt à utiliser dans le mappage du regard. Le script ouvrira une nouvelle fenêtre pour la sélection d’images clés qui devrait afficher clairement toutes les AOI clés qui seront analysées. Faites défiler la vidéo et choisissez une image qui montre clairement toutes les AOI.
    2. En suivant les instructions à l’écran, tracez un rectangle sur une région de l’image qui sera visible tout au long de la vidéo, unique et stable.
      REMARQUE : Le but de cette étape est de générer une image de coordonnées « à l’écran » qui peut être utilisée tout au long de l’enregistrement vidéo, car les mouvements de la tête entraînent une modification de l’emplacement des objets dans l’environnement au cours de l’enregistrement vidéo.
    3. Dessinez un rectangle pour chaque zone d’intérêt de l’image, un à la fois. Nommez-les en conséquence. Cliquez sur Ajouter plus pour ajouter une nouvelle AOI et appuyez sur Terminé sur la dernière. Si les coordonnées du regard lors d’une fixation donnée atterrissent dans l’espace de l’objet tel que défini dans le cadre de coordonnées « à l’écran », étiquetez cette fixation avec l’étiquette AOI correspondante.
      REMARQUE : L’objectif de cette étape est de générer une bibliothèque de coordonnées d’objet qui sont ensuite utilisées comme références lors de la comparaison des coordonnées du regard aux coordonnées à l’écran.
      Il y a généralement 10 AOI, mais cela dépend de la façon dont le simulateur de vol est configuré. Le tableau de bord peut être différent. Conformément aux travaux précédents 5,18, la présente étude utilise les zones d’intérêt suivantes : vitesse, attitude, altimètre, coordinateur de virage, cap, vitesse verticale, puissance, fenêtre avant, fenêtre gauche et fenêtre droite (voir Figure 1).
    4. Laissez le script commencer à traiter les AOI et générer des données de fixation. Il génère un tracé montrant les saccades et les fixations au cours de la vidéo.
    5. Deux nouveaux fichiers seront créés : fixations.csv et aoi_parameters.yaml. Le processeur de lots effectuera le post-traitement des données de regard pour chaque essai et chaque participant.
      REMARQUE : Les principales mesures d’intérêt pour le suivi oculaire sont énumérées dans le tableau 2 et sont calculées pour chaque zone d’intérêt pour chaque essai.
    6. Pour chaque essai, calculez les métriques de regard traditionnelles 4,5 pour chaque AOI sur la base des données générées dans le fichier fixation.csv.
      REMARQUE : Ici, nous nous concentrons sur le temps de séjour ( %) ( %), qui est calculé en divisant la somme des fixations pour une AOI particulière par la somme de toutes les fixations et en multipliant le quotient par 100 pour obtenir le pourcentage de temps passé dans une AOI spécifique. Il n’y a pas d’interprétation négative/positive inhérente aux temps de séjour calculés. Ils donnent une indication de l’endroit où l’attention est principalement allouée. Des durées de fixation moyennes plus longues sont le signe d’une augmentation des demandes de traitement.
    7. Pour chaque essai, calculez le taux de clignotement à l’aide de l’équation (4) :
      Taux de clignements des yeux = Nombre total de clignements/temps d’achèvement (4)
      REMARQUE : Des travaux antérieurs ont montré que le taux de clignement des yeux est inversement lié à la charge cognitive 2,6,13,19,20.
    8. Pour chaque essai, calculer l’EGS à l’aide de l’équation (5)21 :
      figure-protocol-22842(5)
      v est la probabilité de voir laième zone d’intérêt et V est le nombre de zones d’intérêt.
      REMARQUE : Des valeurs SGE plus élevées sont associées à une plus grande dispersion de fixation, tandis que des valeurs plus faibles indiquent une répartition plus ciblée des fixations22.
    9. Pour chaque essai, calculer le GTE à l’aide de l’équation (6)23 :
      figure-protocol-23415(6)
      V est la probabilité de voir laième zone d’intérêt, et M est la probabilité de voir la jèmezone d’intérêt compte tenu de la visualisation précédente de laième zone d’intérêt.
      REMARQUE : Des valeurs GTE plus élevées sont associées à des chemins de balayage visuel plus imprévisibles et complexes, tandis que des valeurs GTE plus faibles indiquent des chemins de balayage visuel plus prévisibles et réguliers.
    10. Calculez les moyennes de tous les participants pour chaque variable de sortie de suivi oculaire (et AOI si indiqué) et chaque condition de tâche. Signalez ces valeurs.
TermeDéfinition
Succès ( %)Pourcentage d’essais à l’atterrissage réussis
Délai(s) de réalisationDurée entre le début du scénario d’atterrissage et l’arrêt complet de l’avion sur la piste
Dureté à l’atterrissage (fpm)Le taux de descente au point d’atterrissage
Erreur d’atterrissage (°)La différence entre le centre de l’avion et le centre de la marque de piste de 500 pieds au point d’atterrissage

Tableau 1 : Variables de résultat du rendement du simulateur. Variables dépendantes des performances de l’avion et leurs définitions.

figure-protocol-25210
Figure 2 : Trajectoire de vol du scénario d’atterrissage. Schéma (A) du circuit d’atterrissage effectué lors de tous les essais et (B) de la piste avec les balises de 500 pieds qui ont été utilisées comme point de référence pour la zone d’atterrissage (c.-à-d. cercle orange central). Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-25896
Figure 3 : Cartographie de la zone d’intérêt. Une illustration du script batch montrant une fenêtre pour la sélection de cadres. La sélection d’une image optimale implique le choix d’une image vidéo qui comprend la plupart ou toutes les zones d’intérêt à cartographier. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-26533
Figure 4 : Génération des coordonnées de cartographie de zone d’intérêt « à l’écran ». Une illustration du script batch montrant une fenêtre pour la sélection des coordonnées « à l’écran ». Cette étape implique la sélection d’une région carrée/rectangulaire qui reste visible tout au long de l’enregistrement, qui est unique à l’image et qui reste statique. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-27258
Figure 5 : Identification de la zone d’intérêt à cartographier. Une illustration de la fenêtre de script par lots qui permet de sélectionner et d’étiqueter les zones d’intérêt. Abréviation : ZI = zones d’intérêt. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-27838
Figure 6 : Traitement de scripts par lots. Une illustration du script batch de traitement de la vidéo et du mapping du regard des fixations réalisées tout au long de l’essai. Veuillez cliquer ici pour voir une version agrandie de cette figure.

TermeDéfinition
Temps de séjour ( %)Pourcentage de la somme de toutes les durées de fixation accumulées sur une zone d’intérêt par rapport à la somme des durées de fixation accumulées sur l’ensemble des zones d’intérêt
Durée moyenne de fixation (ms)Durée moyenne d’une fixation sur une zone d’intérêt, de l’entrée à la sortie
Taux de clignotement (clignotements/s)Nombre de clignotements par seconde
SGE (embouts)Dispersion de fixation
GTE (bits)Complexité de la séquence de balayage
Nombre de combatsNombre d’événements de tunnel cognitif (>10 s)
Durée totale du combat (s)Temps total des événements de tunneling cognitif

Tableau 2 : Variables de résultat du suivi oculaire. Variables dépendantes du comportement du regard et leurs définitions.

Résultats

L’impact des exigences de la tâche sur les performances de vol
Les données ont été analysées sur la base d’essais d’atterrissage réussis dans des conditions de base et d’urgence. Toutes les mesures ont été soumises à un test t sur échantillons appariés (facteur intra-sujet : condition de la tâche (de base, d’urgence)). Tous les tests t ont été effectués avec un niveau alpha fixé à 0,05. Quatre participants se sont écrasés pendant l’essai du scénario d’urgence et n’ont pas été inclus dans les analyses principales, car les données éparses ne permettent pas de tirer des conclusions significatives. Toutes les variables, à l’exception du taux de réussite, examinent exclusivement les essais réussis.

Le taux de réussite ( %) a produit un effet principal de la condition, t(23) = 2,145, p = 0,043. Plus précisément, les essais d’urgence (moyenne = 83 %) ont donné lieu à un nombre significativement plus élevé d’atterrissages ratés (c.-à-d. d’écrasements) que d’essais de base (moyenne = 100 %) (figure 7A). Le temps d’achèvement (s) a produit un effet principal de la condition, t(19) = 8,420, p < 0,001. Les essais d’urgence ont été réalisés beaucoup plus rapidement (moyenne = 121 s, écart-type = 3,9) que les essais de base (moyenne = 174 s, écart-type = 5,6) (figure 7B). L’erreur d’atterrissage a produit un effet principal de la condition, t(19) = -2,669, p = 0,015, ηp2 = 0,242. Plus précisément, les essais de base ont été associés à une erreur d’atterrissage significativement plus faible (c.-à-d. une précision d’atterrissage plus élevée) (moyenne = 0,046°, ET = 0,010) par rapport aux essais d’urgence (moyenne = 0,216°, ET = 0,070) (figure 7C), qui comprenaient une personne qui a atterri sur le terrain à côté de la piste. Enfin, la dureté à l’atterrissage n’a pas changé de manière significative entre les conditions (p = 0,062) (figure 7D).

figure-results-2269
Figure 7 : Mesures de la performance en vol. Résultats montrant (A) le taux de réussite ( %), (B) le temps d’achèvement (s), (C) l’erreur d’atterrissage (°) et (D) la dureté à l’atterrissage (fpm) pour les conditions de base (contrôle) et d’urgence. Le taux de réussite et le temps d’achèvement ont diminué dans la condition d’urgence par rapport à la condition de base. L’erreur d’atterrissage a augmenté dans la condition d’urgence par rapport à la condition de base. La dureté à l’atterrissage n’était pas significativement différente entre les conditions. Test statistique utilisé : test t à échantillons appariés. Les barres d’erreur représentent SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Abréviation : fpm = pieds/min. Veuillez cliquer ici pour voir une version agrandie de cette figure.

À mesure que la difficulté des tâches augmentait, les performances étaient affectées négativement. Cela s’est surtout manifesté par la réduction de l’augmentation de l’erreur d’atterrissage, ainsi que par la réduction de l’AS subjective. Il convient de noter que la réduction du temps d’atterrissage était davantage une conséquence d’une puissance insuffisante du moteur en raison de la panne moteur, ce qui a entraîné un changement nécessaire de la trajectoire de vol qui a réduit considérablement la trajectoire de vol afin que l’avion puisse atterrir sur la piste en toute sécurité.

L’impact des exigences de la tâche sur la conscience de la situation
Les scores subjectifs du questionnaire SART ont produit un score SA général, qui a démontré un effet principal de l’état, t(19) = 9,148, p < 0,001. Plus précisément, les scores subjectifs de l’AS étaient plus faibles pour les essais d’urgence (moyenne = 11,7, ET = 1,4) que pour les essais de base (moyenne = 21,4, ET = 1,2) (figure 8A). Un examen plus approfondi des sous-composantes du questionnaire SART a révélé que l’offre d’AS, la demande d’AS et la compréhension d’AS ont toutes produit un effet principal de l’affection (figure 8B-D). Plus précisément, l’approvisionnement en AS a augmenté de façon significative, passant de la condition de base (moyenne = 18,7, ET = 0,8) à la condition d’urgence (moyenne = 21,9, ET = 0,9), t(19) = -4,921, p < 0,001. De même, la demande d’AS a augmenté de façon significative, passant de la condition de base (moyenne = 8,1, ET = 1,5) à la condition d’urgence (moyenne = 19,3, ET = 1,8), t(19) = -10,696, p < 0,001. Enfin, la compréhension de l’AS a diminué de façon significative, passant de l’état de base (moyenne = 10,7, écart-type = 0,4) à l’état d’urgence (moyenne = 9,0, écart-type = 0,6), t(19) = 3,187, p = 0,005.

figure-results-5506
Figure 8 : Scores de conscience de la situation. Résultats montrant (A) la connaissance de la situation, (B) l’offre d’AS, (C) la demande d’AS et (D) la compréhension de l’AS pour les conditions de base (contrôle) et d’urgence. La conscience de la situation et la compréhension de l’AS ont diminué dans la situation d’urgence par rapport à la condition de base. L’offre et la demande d’Afrique du Sud ont augmenté dans la situation d’urgence par rapport à la condition de base. Test statistique utilisé : test t à échantillons appariés. Les barres d’erreur représentent SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Veuillez cliquer ici pour voir une version agrandie de cette figure.

L’impact des exigences de la tâche sur le comportement du regard
Métriques traditionnelles du regard
Le temps de séjour ( %) dans plusieurs zones d’intérêt a démontré un effet principal de l’état (figure 9). La majorité des zones d’intervention ont montré une diminution du temps d’arrêt de la condition de base à la condition d’urgence, y compris l’assiette, t(19) = 2,322, p = 0,031, l’altimètre, t(19) = 2,822, p = 0,011, le coordinateur de virage, t(19) = 2,698, p = 0,014, le cap, t(19) = 2,175, p = 0,042, la vitesse verticale, t(19) = 2,357, p = 0,029 et les jauges de puissance, t(19) = 3,036, p = 0,007. En revanche, le temps passé par l’anémomètre est passé de la condition de base à la condition d’urgence, t(19) = -2,376, p = 0,029. Tous les autres AOI n’ont pas été modulés de manière significative par la condition (toutes les valeurs p > 0,165). Les moyennes et les écarts-types du temps de séjour pour toutes les zones d’intérêt sont indiqués dans le tableau 3.

figure-results-7822
Figure 9 : Temps d’arrêt. Les moyennes de groupe pour les variations en pourcentage du temps d’arrêt (urgence - de base) sont affichées pour les 10 zones d’intérêt. Le temps d’arrêt a diminué pour l’assiette, l’altimètre, le coordinateur de virage, le cap, la vitesse verticale et les jauges de puissance en situation d’urgence par rapport à la condition de base (contrôle). Le temps d’arrêt sur l’anémomètre a augmenté dans la situation d’urgence par rapport à la condition de base. Test statistique utilisé : test t à échantillons appariés. Les barres d’erreur représentent le MEB. *p≤0.05, **p≤0.01, ***p≤0.001. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Champ d’intérêtBasiqueUrgence
Vitesse15.42 (5.05)18.27 (5.46)
Attitude5.85 (4.14)4.06 (2.79)
Altimètre4.82 (2.09)3.20 (1.59)
Coordinateur de tour1.55 (2.12)0.47 (0.53)
Rubrique2.15 (3.22)0.96 (1.24)
Vitesse verticale0.98 (1.03)0.45 (0.43)
Pouvoir4.14 (1.90)2.68 (1.72)
Vitre avant37.13 (7.32)38.61 (7.50)
Fenêtre gauche9.87 (3.90)11.57 (4.45)
Fenêtre de droite0.10 (0.34)0.07 (0.16)

Tableau 3 : Valeurs du temps d’arrêt ( %) par condition de tâche. Statistiques descriptives (moyenne, écart-type) indiquant les valeurs de temps d’arrêt ( %) pour toutes les zones d’intérêt dans le scénario de vol de contrôle et de vol d’urgence.

Le taux de clignement des yeux a démontré un effet principal de la condition, t(19) = -2,713, p = 0,014 (Figure 10). Plus précisément, le taux de clignements des yeux a augmenté de façon significative, passant de l’état de base (moyenne = 0,354 clignements/s, écart-type = 0,192) à l’état d’urgence (moyenne = 0,460 clignements/s ; ET = 0,285).

figure-results-10689
Figure 10 : Taux de clignement des yeux dans les conditions de base et d’urgence. Le taux de clignement des yeux a augmenté dans la condition d’urgence par rapport à la condition de base (contrôle). Test statistique utilisé : test t à échantillons appariés. Les barres d’erreur représentent le MEB. *p≤0.05, **p≤0.01, ***p≤0.001. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Métriques de regard avancées
Le tableau 4 présente les moyennes SGE, GTE et normalisées et les écarts-types pour toutes les zones d’intérêt dans toutes les conditions. SGE et GTE ont démontré une réduction significative entre les conditions de base et les conditions d’urgence (figure 11), t(19) = 4,833 et 4,833, ps < 0,001, respectivement.

figure-results-11887
Figure 11 : Métriques d’entropie. (A) Entropie du regard stationnaire (SGE) et (B) Entropie de transition du regard (GTE) dans les conditions de base (contrôle) et d’urgence. La SGE et la GTE ont toutes deux diminué dans la condition d’urgence par rapport à la condition de base. Test statistique utilisé : test t à échantillons appariés. Les barres d’erreur représentent SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Abréviations : SGE = entropie du regard stationnaire ; GTE = entropie de transition du regard. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Condition de la tâcheBasiqueUrgence
Entropie du regard stationnaire (SGE)2.73 (0.17)2.54 (0.19)
SGE normalisé0.82 (0.05)0.77 (0.06)
Entropie de transition du regard (GTE)2.08 (0.17)1.84 (0.22)
GTE normalisé0.63 (0.05)0.55 (0.07)

Tableau 4 : Valeurs d’entropie par condition. Moyenne (écart-type) de toutes les valeurs d’entropie (bits) dans toutes les conditions de tâche (c’est-à-dire de base, d’urgence).

Dans l’ensemble, des changements significatifs dans le comportement du regard ont également été signalés parallèlement aux diminutions notées de la performance et de l’AS. Plus précisément, l’intervention en cas d’urgence a été associée à une réduction importante de l’affectation de l’attention à plusieurs zones d’intérêt, ce qui était évident par la réduction de la SGE (c.-à-d. la dispersion de fixation) et la réduction du temps d’arrêt dans un certain nombre de zones d’intérêt (c.-à-d. l’attitude, l’altimètre, le coordonnateur de virage, le cap, la vitesse verticale et les indicateurs de puissance). D’autre part, l’anémomètre a fait l’objet de beaucoup plus d’attention, car il est devenu une source d’information importante pour la gestion des conditions d’atterrissage d’urgence. Un indicateur nécessaire qui aide à établir une vitesse de plané optimale pour éviter que l’avion ne décroche24. Ces changements dans l’allocation de l’attention étaient également associés à une réduction de la complexité du balayage (GTE), ce qui indique que les participants ont adopté une stratégie en déplaçant leur attention vers moins de zones d’intérêt de manière plus routinière et prévisible. Lors de scénarios d’urgence, il faut s’attendre à ces changements dans le comportement du regard, car le protocole de gestion d’un tel événement exige de porter principalement l’attention sur l’anémomètre et la piste (c.-à-d. la fenêtre avant/gauche). Ces données confirment que la manipulation de la tâche était suffisamment difficile pour avoir un impact sur l’exécution de la tâche et les mécanismes de traitement de l’information à l’appui. Plus important encore, les résultats du comportement du regard fournissent des preuves empiriques supplémentaires que le balayage de l’information dans les zones d’intérêt du poste de pilotage est réduit dans des conditions de tâche difficiles, au prix de passer plus de temps sur les zones d’intérêt qui sont plus pertinentes pour la prise de décision et la résolution de problèmes 5,8,25,26 . Il s’agit d’une constatation essentielle qui peut suggérer que le scénario d’urgence est une tâche bien apprise, car des travaux antérieurs utilisant des événements très incertains pendant le vol ont entraîné une activité d’exploration plus élevée (c.-à-d. une SGE/GTE plus élevée) lorsque les tâches n’étaient pas bien pratiquées ou entraînées27. Néanmoins, d’autres recherches sont nécessaires pour déterminer comment le comportement du regard et, par conséquent, le traitement de l’information changent en réponse à ces manipulations de tâches chez les pilotes novices ou lors de tentatives d’atterrissage ratées où les changements observés dans le comportement du regard peuvent ne pas être présents. Une telle constatation peut indiquer qu’un manque d’attention sélective est associé à une moins bonne performance des tâches lors d’événements incertains/inattendus.

Discussion

La méthode de suivi oculaire décrite ici permet d’évaluer le traitement de l’information dans un environnement de simulateur de vol au moyen d’un suivi oculaire portable. L’évaluation des caractéristiques spatiales et temporelles du comportement du regard donne un aperçu du traitement de l’information humaine, qui a été largement étudié à l’aide de paradigmes de laboratoire hautement contrôlés 4,7,28. L’exploitation des progrès récents de la technologie permet de généraliser la recherche sur le suivi oculaire à des paradigmes plus réalistes avec une plus grande fidélité, imitant ainsi des paramètres plus naturalistes. L’objectif de la présente étude était de caractériser les effets de la difficulté de la tâche sur le comportement du regard, les performances de vol et l’AS lors d’un scénario d’atterrissage simulé chez des pilotes à temps faible. On a demandé aux participants d’effectuer la tâche d’atterrissage dans des conditions de visibilité élevée, selon les règles de vol à vue (VFR), qui comprenaient un scénario d’atterrissage de base et une manœuvre difficile, c’est-à-dire l’introduction inattendue d’une urgence en vol (c.-à-d. une panne moteur totale). Comme prévu, l’introduction d’une situation d’urgence pendant le scénario d’atterrissage a entraîné une baisse notable des performances et de l’AS ainsi que des changements significatifs dans le comportement du regard. Ces méthodes, ces résultats et les connaissances obtenues grâce à l’analyse du comportement du regard sur le traitement de l’information, les performances de vol et l’AS sont discutés plus en détail ci-dessous.

En ce qui concerne la méthodologie, il y a plusieurs points critiques à garder à l’esprit, notamment les modifications apportées au protocole et l’importance du protocole par rapport à la littérature. Les données de suivi oculaire ont été collectées en même temps que des tâches complexes liées à l’aviation dans un simulateur de vol ALSIM AL-250, qui est considéré comme un simulateur haute fidélité, mais pas un simulateur de vol complet car il ne simule pas de mouvement ou de vibrations. Par conséquent, la méthode pourrait ne pas être directement applicable aux simulateurs de vol complets où le mouvement et les vibrations peuvent affecter la qualité du suivi oculaire. Le simulateur ALSIM a été configuré pour être représentatif d’un Cessna 172 et a été utilisé avec le tableau de bord nécessaire (configuration de l’indicateur de vapeur), un système avionique/GPS, un panneau audio/lumières, un panneau de disjoncteurs et une unité de commande de vol (FCU) (voir la figure 1). L’avion simulé fonctionnait à une fréquence d’échantillonnage de 30 Hz et était contrôlé à l’aide d’un manche, d’une manette des gaz et de pédales de direction. Dans ce protocole, un oculomètre portable a été utilisé pour évaluer les changements de comportement du regard (c.-à-d. un indicateur du traitement de l’information) pendant l’exécution du scénario d’atterrissage de base (haute visibilité [>20 milles], vents faibles [0 nœud]) et d’un scénario d’atterrissage d’urgence (haute visibilité [>20 milles], vents faibles [0 nœuds], panne totale inattendue du moteur).

L’expérience actuelle exigeait des participants qu’ils effectuent un total de cinq essais d’atterrissage : quatre essais de base et un essai d’urgence. La séquence de ces essais est restée la même pour tous les participants afin de s’assurer que l’introduction de l’urgence en vol n’ait pas d’impact sur les comportements naturels du regard capturés au cours des autres essais, qui comprenaient d’autres manipulations faisant partie d’une expérience plus vaste2. En plus de l’exposé du pilote au début de la séance, les participants ont eu droit à deux essais d’entraînement avant les essais expérimentaux pour se familiariser avec le poste de pilotage. L’oculomètre AdHawk MindLink (250 Hz, résolution spatiale de <2°, caméra frontale29) a été utilisé dans l’étude actuelle, mais peut être remplacé par n’importe quel oculomètre portable de haute qualité, disponible dans le commerce. Cependant, l’oculomètre portable doit avoir une résolution spatiale de <2°, une caméra frontale et une fréquence d’échantillonnage de 120 Hz pour identifier correctement les caractéristiques de mouvement oculaire liées à la détection d’événement de saccade/fixation30.

Sur la base de travaux antérieurs d’Ayala et de ses collègues2, la caméra frontale doit fournir des enregistrements vidéo de l’environnement de la tâche, qui sont ensuite utilisés pour la cartographie du regard en superposant les coordonnées du regard de suivi oculaire. Ces coordonnées sont ensuite comparées aux coordonnées définies manuellement pour les AOI pertinentes à la tâche dans l’algorithme de cartographie du regard. Le simulateur de vol ALSIM peut également être remplacé par d’autres formes de simulation de vol (c’est-à-dire un simulateur de vol sur PC)5. Il est toutefois important de noter que la cartographie des zones d’intérêt doit être similaire dans tous ces environnements afin d’éviter que la cartographie discordante des zones d’intérêt ne devienne une variable confondante dans les résultats du regard. De plus, la cartographie utilisée dans le présent travail était basée sur la connaissance que ces espaces prédéfinis sont contextuellement pertinents pour le pilote, qui doit concentrer son regard sur ces sources d’information essentielles à la sécurité et à la réussite de l’exploitation de l’avion. L’eye tracker et les environnements de simulation sélectionnés ont été spécifiquement choisis pour ce travail car ils fournissaient une évaluation précise du comportement du regard dans un environnement écologique de haute fidélité.

En ce qui concerne les résultats, les travaux actuels mettent en évidence la caractérisation du comportement du regard à l’aide d’un oculomètre portable qui exploite l’utilisation d’un algorithme de vision par ordinateur pour aider à la cartographie du regard dans un environnement de simulation de vol immersif de haute fidélité. L’application de cette méthode offre plusieurs avantages à l’évaluation du comportement du regard et des changements généraux de traitement de l’information dans des contextes naturalistes, qui sont décrits ici. Tout d’abord, le protocole va au-delà de l’évaluation standard des mouvements oculaires dans un environnement d’écran 2D en laboratoire en capturant les mouvements combinés de la tête et des yeux dans un espace 3D immersif 2,4,5. Deuxièmement, la plupart des études réalisées dans l’espace 3D n’ont pas eu la capacité de mener des analyses de regard efficaces basées sur des zones d’intérêt définies 10,31,32. Ceci est très pertinent pour les tâches spécifiques à un domaine de la vie quotidienne, car les analyses basées sur l’AOI menées ici fournissent un contexte critique nécessaire à l’interprétation correcte des résultats. L’étude actuelle a recueilli des données de performance comportementale, des SA subjectives et des données de suivi oculaire pour fournir une évaluation complète de la façon dont chaque flux de données est lié aux fonctions cognitives sous-jacentes telles que l’attention et la prise de décision.

À l’aide de ce type de cadre d’analyse multimodale, plusieurs études ont démontré que la durée pendant laquelle le regard est dirigé vers des zones d’intérêt particulières est biaisée en faveur des régions critiques qui nécessitent davantage de ressources de traitement de l’information, ce qui, à son tour, est associé à la réussite de l’exécution des tâches 4,5,7,33,34 . À l’instar des résultats observés dans les travaux actuels, il a été démontré que les diminutions de la performance associées à l’augmentation de la difficulté des tâches neurocognitives (c.-à-d. l’augmentation du temps d’achèvement, l’augmentation du temps de planification, la diminution de la précision des tâches) étaient toutes associées à une augmentation significative de la concentration des ressources attentionnelles (c.-à-d. des augmentations spécifiques du temps de séjour et des durées de fixation, et une diminution de la SGE/GTE) vers des zones d’intérêt denses en information qui étaient importantes pour la réussite de la tâche 4,7.

Les utilisateurs doivent également tenir compte de plusieurs éléments essentiels du protocole de suivi oculaire décrit. Tout d’abord, il est bien connu que l’oculométrie est une méthode qui examine indirectement les changements dans le traitement de l’information par le biais de changements manifestes d’attention qui sont capturés par les mesures du comportement du regard. La méthode actuelle est donc limitée dans la mesure où elle peut identifier et examiner les processus secrets qui peuvent ne pas être associés à des changements explicites de regard, mais qui peuvent être pertinents pour la compétence de performance34. Deuxièmement, les travaux actuels montrent qu’il reste encore beaucoup de travail à faire pour comprendre comment certaines mesures, telles que le taux de clignement des yeux, sont vraiment liées à des aspects de la cognition et de l’action humaines. Plus précisément, des travaux antérieurs ont suggéré que le taux de clignement des yeux est inversement corrélé à la difficulté de la tâche 2,6,13,19,20. Cependant, les travaux actuels fournissent des preuves contradictoires à cet égard, car il a été démontré que le taux de clignement des yeux augmente dans le scénario d’urgence (c’est-à-dire une augmentation de la difficulté de la tâche). Étant donné l’absence de consensus concernant l’interprétation des clignements comme mesure indirecte de la difficulté de la tâche ou de la charge cognitive, il s’agit d’un domaine qui nécessite une enquête plus approfondie pour comprendre les mécanismes sous-jacents aux clignements et pourquoi ils changent lorsque les exigences de la tâche sont modifiées. Il est important d’explorer le taux de clignement des yeux car ce signal est relativement facile à mesurer avec le suivi oculaire ; Cependant, l’utilité et l’application à des tâches plus complexes du monde réel doivent être davantage établies. De même, la taille de la pupille est généralement enregistrée par des appareils de suivi oculaire et peut donner un aperçu de la charge de travail. Cependant, l’analyse et l’interprétation de la dynamique de la pupille peuvent être difficiles car la taille de la pupille est affectée par la luminance et les mouvements oculaires. Par conséquent, une procédure d’étalonnage supplémentaire et des outils analytiques seront nécessaires pour établir l’utilité de la pupillométrie dans ce contexte. Troisièmement, le paradigme actuel utilisait un calendrier fixe qui faisait en sorte que l’essai d’urgence était toujours terminé en dernier. Cela était principalement dû au fait que la collecte de données faisait partie d’une étude plus vaste qui examinait les changements dans le traitement de l’information dans diverses conditions environnementales2. Le scénario d’atterrissage d’urgence aurait pu modifier le comportement normal du regard dans ces conditions de vol alternatives. Ainsi, afin d’éviter toute modification du comportement du regard en cours de session en raison de l’introduction précoce d’un événement incertain, le scénario d’urgence a été complété à la fin de la session de collecte.

Bien que l’on puisse soutenir qu’un manque de randomisation dans la séquence de l’essai pourrait entraîner un effet sur la pratique, les résultats décrits dans les travaux actuels montrent que ce n’est clairement pas le cas, car la performance et l’AS ont diminué, tandis que des changements significatifs du regard ne sont devenus évidents que dans le dernier essai d’urgence et non dans les quatre essais de base précédents. Enfin, le manque de synchronicité précise entre les dispositifs de collecte (c.-à-d. l’oculomètre et le simulateur de vol) est un problème persistant en ce qui concerne l’alignement des flux de données pour les performances de vol et les données de suivi oculaire. Bien que les travaux actuels aient tenté d’établir une synchronisation entre les deux appareils en appuyant simultanément sur les boutons de démarrage/enregistrement, il y avait toujours un risque que l’erreur humaine et la variabilité normale de la commande motrice lors des pressions sur les boutons deviennent des sources d’erreurs de synchronisation dont il fallait tenir compte. Cela a limité la mesure dans laquelle les contingences temporelles entre des mouvements oculaires et des actions spécifiques pouvaient être examinées avec la méthode actuelle et constitue une lacune technologique qui nécessite un développement supplémentaire.

Les applications typiques des méthodes de suivi oculaire ont lié les changements dans le traitement de l’information à plusieurs troubles de santé (c’est-à-dire les lésions cérébrales traumatiques, la schizophrénie, la maladie de Parkinson)7,32,35,36 et ont utilisé le comportement du regard pour mieux comprendre le développement de méthodes d’évaluation et de formation. Ces dernières applications visent à utiliser le suivi oculaire pour améliorer le type de rétroaction reçue par les stagiaires dans plusieurs domaines (c.-à-d. la médecine et l’aviation)2,10. L’amélioration de la capacité des oculomètres portables et des analyses basées sur l’AOI améliore les informations contextuelles fournies aux chercheurs et aux applications industrielles. Par exemple, dans les environnements haute fidélité, l’analyse améliorée permet d’identifier avec précision ce à quoi les personnes s’occupent ouvertement, quand et avec quelle efficacité l’information est traitée 2,15. Cependant, l’utilité de l’utilisation de la méthode comme moyen de déterminer les compétences ou le niveau d’expertise dans les environnements naturels n’a pas encore été explorée en profondeur. Par conséquent, les méthodes de comportement du regard présentées dans le présent manuscrit pourraient être adoptées dans de futures études évaluant les performances lors d’autres scénarios mis en œuvre dans un simulateur de vol immobile, par exemple, la gestion des communications avec le contrôle du trafic aérien, la sortie d’un décrochage sans moteur, d’un incendie moteur, d’une situation de remise des gaz. La capacité à bien performer dans ces scénarios est probablement associée à un comportement efficace du regard, qui peut fournir une mesure objective du traitement de l’information.

L’une des limites importantes des applications de formation et d’évaluation est la nécessité d’études à plus grande échelle à différents niveaux d’expérience de vol pour établir la fiabilité et les plages normatives, comme cela a été fait avec des mouvements oculaires plus simples dans des expériences de laboratoire hautement contrôlées pour les fonctions neurologiques et cognitives de base37,38. De plus, les applications de formation et d’évaluation de l’industrie bénéficieraient d’une meilleure compréhension de la façon dont le regard est distribué dans l’environnement de la tâche et de la façon dont il change pendant l’exécution de la tâche, en particulier chez les personnes plus performantes. Une perspective passionnante est de combiner le suivi oculaire avec des systèmes de capture de mouvement, qui peuvent être utilisés pour quantifier les actions motrices générées au cours d’une tâche donnée. Par exemple, il a été démontré que la variabilité des mouvements est un indicateur du développement des compétences39. L’alignement des données de contrôle moteur avec les données de suivi oculaire peut fournir un meilleur soutien pour l’évaluation de la compétence tout au long de la formation. En tant que tel, il s’agit d’une occasion unique de développer une méthode analytique complète pour évaluer et mieux comprendre les interactions dynamiques entre les processus perceptuels, cognitifs et moteurs sous-jacents à la performance humaine et à l’apprentissage.

En conclusion, cette étude a examiné l’utilité d’un oculomètre portable et d’un algorithme de cartographie du regard pour caractériser le comportement du regard lors d’une tâche de vol simulée. L’industrie aéronautique est un chef de file dans l’utilisation de la formation par simulation depuis plus de quatre décennies. La simulation est un élément impératif de la formation aéronautique, car elle permet aux pilotes de s’exercer dans un environnement sûr et contrôlé sans se mettre en danger. L’Organisation de l’aviation civile internationale (OACI), une agence des Nations Unies qui coordonne la navigation aérienne et le transport aérien internationaux, fournit des lignes directrices pour l’utilisation des appareils de simulation pour la formation des pilotes, qui sont couramment utilisés dans la formation aéronautique, du niveau ab initio aux pilotes commerciaux. Au fur et à mesure que les preuves de la recherche s’accumulent, le suivi oculaire et d’autres dispositifs biométriques pourraient être intégrés dans les environnements de simulation de vol pour améliorer l’efficacité de la formation. Plus précisément, la méthode de suivi oculaire présentée ici a été utile pour quantifier les changements dans le comportement du regard, ce qui a permis de mieux comprendre les changements dans le traitement de l’information associés à la réponse et à la gestion d’une urgence en vol. Les mesures du regard ont indiqué un changement distinct dans l’allocation de l’attention. Plus précisément, le temps d’arrêt, le SGE et le GTE ont démontré une concentration de l’attention vers moins de zones d’intérêt avec une pertinence plus élevée du problème. Notamment, l’algorithme de cartographie du regard et l’eye tracker portable sont une technologie relativement naissante et, par conséquent, devraient être utilisés et développés davantage dans les travaux futurs, compte tenu des limites connues de la synchronisation entre plusieurs dispositifs de collecte de matériel.

Déclarations de divulgation

Il n’existe pas d’intérêts financiers concurrents.

Remerciements

Ces travaux sont financés en partie par la Bourse d’études supérieures du Canada (BESC) du Conseil de recherches en sciences naturelles et en génie (CRSNG) du Canada et la Subvention d’exploration (00753) du Fonds Nouvelles frontières en recherche. Les opinions, constatations, conclusions ou recommandations exprimées dans ce document sont celles de l’auteur ou des auteurs et ne reflètent pas nécessairement celles des commanditaires.

matériels

NameCompanyCatalog NumberComments
flight simulatorALSIMAL-250fixed fully immersive flight simulation training device
laptopHpLenovoeye tracking data collection laptop; requirements: Windows 10 and python 3.0
portable eye-trackerAdHawk MindLink eye tracking glasses (250 Hz, <2° gaze error, front-facing camera); eye tracking batch script is made available with AdHawk device purchase

Références

  1. de Brouwer, A. J., Flanagan, J. R., Spering, M. Functional use of eye movements for an acting system. Trends Cogn Sci. 25 (3), 252-263 (2021).
  2. Ayala, N., Kearns, S., Cao, S., Irving, E., Niechwiej-Szwedo, E. Investigating the role of flight phase and task difficulty on low-time pilot performance, gaze dynamics and subjective situation awareness during simulated flight. J Eye Mov Res. 17 (1), (2024).
  3. Land, M. F., Hayhoe, M. In what ways do eye movements contribute to everyday activities. Vision Res. 41 (25-26), 3559-3565 (2001).
  4. Ayala, N., Zafar, A., Niechwiej-Szwedo, E. Gaze behavior: a window into distinct cognitive processes revealed by the Tower of London test. Vision Res. 199, 108072 (2022).
  5. Ayala, N. The effects of task difficulty on gaze behavior during landing with visual flight rules in low-time pilots. J Eye Mov Res. 16, 10 (2023).
  6. Glaholt, M. G. . Eye tracking in the cockpit: a review of the relationships between eye movements and the aviators cognitive state. , (2014).
  7. Hodgson, T. L., Bajwa, A., Owen, A. M., Kennard, C. The strategic control of gaze direction in the Tower-of-London task. J Cognitive Neurosci. 12 (5), 894-907 (2000).
  8. van De Merwe, K., Van Dijk, H., Zon, R. Eye movements as an indicator of situation awareness in a flight simulator experiment. Int J Aviat Psychol. 22 (1), 78-95 (2012).
  9. Kok, E. M., Jarodzka, H. Before your very eyes: The value and limitations of eye tracking in medical education. Med Educ. 51 (1), 114-122 (2017).
  10. Di Stasi, L. L., et al. Gaze entropy reflects surgical task load. Surg Endosc. 30, 5034-5043 (2016).
  11. Laubrock, J., Krutz, A., Nübel, J., Spethmann, S. Gaze patterns reflect and predict expertise in dynamic echocardiographic imaging. J Med Imag. 10 (S1), S11906-S11906 (2023).
  12. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PloS One. 13 (11), e0207439 (2018).
  13. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. Int J Aero Psych. 28 (3-4), 98-112 (2018).
  14. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. Int J Aviat Psychol. 26 (3-4), 75-104 (2016).
  15. Ke, L., et al. Evaluating flight performance and eye movement patterns using virtual reality flight simulator. J. Vis. Exp. (195), e65170 (2023).
  16. Krejtz, K., et al. Gaze transition entropy. ACM Transactions on Applied Perception. 13 (1), 1-20 (2015).
  17. Taylor, R. M., Selcon, S. J. Cognitive quality and situational awareness with advanced aircraft attitude displays. Proceedings of the Human Factors Society Annual Meeting. 34 (1), 26-30 (1990).
  18. Ayala, N., et al. Does fiducial marker visibility impact task performance and information processing in novice and low-time pilots. Computers & Graphics. 199, 103889 (2024).
  19. Recarte, M. &. #. 1. 9. 3. ;., Pérez, E., Conchillo, &. #. 1. 9. 3. ;., Nunes, L. M. Mental workload and visual impairment: Differences between pupil, blink, and subjective rating. Spanish J Psych. 11 (2), 374-385 (2008).
  20. Zheng, B., et al. Workload assessment of surgeons: correlation between NASA TLX and blinks. Surg Endosc. 26, 2746-2750 (2012).
  21. Shannon, C. E. A mathematical theory of communication. The Bell System Technical Journal. 27 (3), 379-423 (1948).
  22. Shiferaw, B., Downey, L., Crewther, D. A review of gaze entropy as a measure of visual scanning efficiency. Neurosci Biobehav R. 96, 353-366 (2019).
  23. Ciuperca, G., Girardin, V. Estimation of the entropy rate of a countable Markov chain. Commun Stat-Theory and Methods. 36 (14), 2543-2557 (2007).
  24. Federal aviation administration. . Airplane flying handbook. , (2021).
  25. Brown, D. L., Vitense, H. S., Wetzel, P. A., Anderson, G. M. Instrument scan strategies of F-117A Pilots. Aviat, Space, Envir Med. 73 (10), 1007-1013 (2002).
  26. Lu, T., Lou, Z., Shao, F., Li, Y., You, X. Attention and entropy in simulated flight with varying cognitive loads. Aerosp Medicine Hum Perf. 91 (6), 489-495 (2020).
  27. Dehais, F., Peysakhovich, V., Scannella, S., Fongue, J., Gateau, T. "Automation surprise" in aviation: Real-time solutions. , 2525-2534 (2015).
  28. Kowler, E. Eye movements: The past 25 years. J Vis Res. 51 (13), 1457-1483 (2011).
  29. Zafar, A., et al. Investigation of camera-free eye-tracking glasses compared to a video-based system. Sensors. 23 (18), 7753 (2023).
  30. Leube, A., Rifai, K. Sampling rate influences saccade detection in mobile eye tracking of a reading task. J Eye Mov Res. 10 (3), (2017).
  31. Diaz-Piedra, C., et al. The effects of flight complexity on gaze entropy: An experimental study with fighter pilots. Appl Ergon. 77, 92-99 (2019).
  32. Shiferaw, B. A., et al. Stationary gaze entropy predicts lane departure events in sleep-deprived drivers. Sci Rep. 8 (1), 1-10 (2018).
  33. Parker, A. J., Kirkby, J. A., Slattery, T. J. Undersweep fixations during reading in adults and children. J Exp Child Psychol. 192, 104788 (2020).
  34. Ayala, N., Kearns, S., Irving, E., Cao, S., Niechwiej-Szwedo, E. The effects of a dual task on gaze behavior examined during a simulated flight in low-time pilots. Front Psychol. 15, 1439401 (2024).
  35. Ayala, N., Heath, M. Executive dysfunction after a sport-related concussion is independent of task-based symptom burden. J Neurotraum. 37 (23), 2558-2568 (2020).
  36. Huddy, V. C., et al. Gaze strategies during planning in first-episode psychosis. J Abnorm Psychol. 116 (3), 589 (2007).
  37. Irving, E. L., Steinbach, M. J., Lillakas, L., Babu, R. J., Hutchings, N. Horizontal saccade dynamics across the human life span. Invest Opth Vis Sci. 47 (6), 2478-2484 (2006).
  38. Yep, R., et al. Interleaved pro/anti-saccade behavior across the lifespan. Front Aging Neurosci. 14, 842549 (2022).
  39. Manoel, E. D. J., Connolly, K. J. Variability and the development of skilled actions. Int J Psychophys. 19 (2), 129-147 (1995).

Réimpressions et Autorisations

Demande d’autorisation pour utiliser le texte ou les figures de cet article JoVE

Demande d’autorisation

Explorer plus d’articles

Ce mois ci dans JoVEnum ro 218

This article has been published

Video Coming Soon

JoVE Logo

Confidentialité

Conditions d'utilisation

Politiques

Recherche

Enseignement

À PROPOS DE JoVE

Copyright © 2025 MyJoVE Corporation. Tous droits réservés.