Tracciamento oculare durante un'attività aeronautica complessa per approfondimenti sull'elaborazione delle informazioni

L'eye tracking è un metodo non invasivo per sondare l'elaborazione delle informazioni. Questo articolo descrive come l'eye tracking può essere utilizzato per studiare il comportamento dello sguardo durante un'attività di emergenza di simulazione di volo nei piloti a basso tempo (ad esempio, <350 ore di volo).

L'eye tracking è stato ampiamente utilizzato come proxy per ottenere informazioni sui processi cognitivi, percettivi e sensomotori che sono alla base delle prestazioni delle abilità. Lavori precedenti hanno dimostrato che le metriche dello sguardo tradizionali e avanzate dimostrano in modo affidabile solide differenze nell'esperienza del pilota, nel carico cognitivo, nell'affaticamento e persino nella consapevolezza della situazione (SA).

Questo studio descrive la metodologia per l'utilizzo di un eye tracker indossabile e di un algoritmo di mappatura dello sguardo che cattura i movimenti naturali della testa e degli occhi (cioè lo sguardo) in un simulatore di volo immobile ad alta fedeltà. Il metodo descritto in questo articolo descrive l'analisi dello sguardo basata sull'area di interesse (AOI), che fornisce un contesto più ampio in relazione a dove i partecipanti stanno guardando, e la durata del tempo di permanenza, che indica l'efficienza con cui elaborano le informazioni fissate. Il protocollo illustra l'utilità di un eye tracker indossabile e di un algoritmo di visione artificiale per valutare i cambiamenti nel comportamento dello sguardo in risposta a un'emergenza imprevista in volo.

Risultati rappresentativi hanno dimostrato che lo sguardo è stato influenzato in modo significativo quando è stato introdotto l'evento di emergenza. In particolare, l'allocazione dell'attenzione, la dispersione dello sguardo e la complessità della sequenza degli sguardi sono diminuiti significativamente e si sono concentrati molto sul guardare fuori dal finestrino anteriore e sull'indicatore di velocità durante lo scenario di emergenza (tutti i valori p < 0,05). Vengono discussi l'utilità e i limiti dell'impiego di un eye tracker indossabile in un ambiente di simulazione di volo immobile ad alta fedeltà per comprendere le caratteristiche spazio-temporali del comportamento dello sguardo e la sua relazione con l'elaborazione delle informazioni nel dominio dell'aviazione.

Gli esseri umani interagiscono prevalentemente con il mondo che li circonda muovendo prima gli occhi e la testa per focalizzare la loro linea di vista (cioè lo sguardo) verso un oggetto specifico o un luogo di interesse. Ciò è particolarmente vero in ambienti complessi come le cabine di pilotaggio degli aerei, dove i piloti si trovano di fronte a molteplici stimoli concorrenti. I movimenti dello sguardo consentono la raccolta di informazioni visive ad alta risoluzione che consentono agli esseri umani di interagire con il loro ambiente in modo sicuro e flessibile¹, il che è di fondamentale importanza nell'aviazione. Gli studi hanno dimostrato che i movimenti oculari e il comportamento dello sguardo forniscono informazioni sui processi percettivi, cognitivi e motori sottostanti in vari compiti ^1,2,3. Inoltre, dove guardiamo ha un'influenza diretta sulla pianificazione e l'esecuzione dei movimenti degli arti superiori³. Pertanto, l'analisi del comportamento dello sguardo durante le attività di aviazione fornisce un metodo oggettivo e non invasivo, che potrebbe rivelare come i modelli di movimento degli occhi si riferiscono a vari aspetti dell'elaborazione delle informazioni e delle prestazioni.

Diversi studi hanno dimostrato un'associazione tra lo sguardo e le prestazioni del compito in vari paradigmi di laboratorio, nonché in compiti complessi del mondo reale (ad esempio, la gestione di un aereo). Ad esempio, le aree rilevanti per il compito tendono ad essere fissate più frequentemente e per durate totali più lunghe, suggerendo che la posizione di fissazione, la frequenza e il tempo di permanenza sono proxy per l'allocazione dell'attenzione nei compiti neurocognitivi e aeronautici ^4,5,6. I performer e gli esperti di grande successo mostrano significativi pregiudizi di fissazione verso le aree critiche per i compiti rispetto ai performer o ai principianti di minor successo ^4,7,8. Gli aspetti spazio-temporali dello sguardo sono catturati attraverso cambiamenti nei modelli di tempo di permanenza in varie aree di interesse (AOI) o misure di distribuzione della fissazione (ad esempio, Entropia dello sguardo stazionario: SGE). Nel contesto dei paradigmi di laboratorio, la durata media della fissazione, la lunghezza del percorso di scansione e la complessità della sequenza dello sguardo (ad esempio, Gaze Transition Entropy: GTE) tendono ad aumentare a causa dell'aumento della scansione e dell'elaborazione necessarie per risolvere i problemi ed elaborare obiettivi/soluzioni di compiti più impegnativi ^4,7.

Al contrario, gli studi sull'aviazione hanno dimostrato che la lunghezza del percorso di scansione e la complessità della sequenza di sguardi diminuiscono con la complessità del compito e il carico cognitivo. Questa discrepanza evidenzia il fatto che la comprensione delle componenti del compito e delle esigenze del paradigma impiegato è fondamentale per l'interpretazione accurata delle metriche dello sguardo. Nel complesso, la ricerca fino ad oggi supporta che le misure dello sguardo forniscono una visione significativa e obiettiva dell'elaborazione delle informazioni specifiche del compito che sono alla base delle differenze nella difficoltà del compito, nel carico cognitivo e nelle prestazioni del compito. Con i progressi nella tecnologia di tracciamento oculare (ad esempio, portabilità, calibrazione e costi), l'esame del comportamento dello sguardo in "natura" è un'area di ricerca emergente con applicazioni tangibili per far progredire la formazione professionale nei campi della medicina ^9,10,11 e dell'aviazione 12,13,14.

Il lavoro attuale mira a esaminare ulteriormente l'utilità dell'utilizzo di metriche basate sullo sguardo per ottenere informazioni sull'elaborazione delle informazioni, impiegando in modo specifico un eye tracker indossabile durante un'attività di simulazione di volo di emergenza nei piloti a basso tempo. Questo studio amplia il lavoro precedente che ha utilizzato un eye tracker stabilizzato della testa (ad esempio, EyeLink II) per esaminare le differenze nelle metriche di comportamento dello sguardo in funzione della difficoltà di volo (ad esempio, i cambiamenti nelle condizioni meteorologiche)⁵. Il lavoro presentato in questo manoscritto si estende anche ad altri lavori che descrivono gli approcci metodologici e analitici per l'utilizzo dell'eye tracking in un sistema di realtà virtuale¹⁵. Il nostro studio ha utilizzato un simulatore immobile ad alta fedeltà e riporta un'analisi aggiuntiva dei dati sui movimenti oculari (cioè l'entropia). Questo tipo di analisi è stato riportato in articoli precedenti; Tuttavia, un limite nella letteratura attuale è la mancanza di standardizzazione nella segnalazione delle fasi analitiche. Ad esempio, la segnalazione della definizione delle aree di interesse è di fondamentale importanza perché influenza direttamente i valori di entropia risultanti¹⁶.

Per riassumere, il lavoro attuale ha esaminato le metriche di comportamento dello sguardo tradizionali e dinamiche, mentre la difficoltà del compito è stata manipolata attraverso l'introduzione di uno scenario di emergenza in volo (ad esempio, guasto totale imprevisto del motore). Ci si aspettava che l'introduzione di uno scenario di emergenza in volo avrebbe fornito informazioni sui cambiamenti del comportamento dello sguardo alla base dell'elaborazione delle informazioni durante le condizioni di compito più difficili. Lo studio qui riportato fa parte di uno studio più ampio che esamina l'utilità dell'eye tracking in un simulatore di volo per informare l'addestramento dei piloti basato sulle competenze. I risultati qui presentati non sono stati pubblicati in precedenza.

Il seguente protocollo può essere applicato a studi che coinvolgono un eye tracker indossabile e un simulatore di volo. Il presente studio coinvolge dati di tracciamento oculare registrati insieme a complesse attività relative all'aviazione in un simulatore di volo (vedi Tabella dei materiali). Il simulatore è stato configurato per essere rappresentativo di un Cessna 172 ed è stato utilizzato con il necessario pannello strumenti (configurazione dell'indicatore di vapore), un sistema avionico/GPS, un pannello audio/luci, un pannello interruttori e un'unità di controllo di volo (FCU) (vedi Figura 1). Il dispositivo del simulatore di volo utilizzato in questo studio è certificabile per scopi di addestramento e utilizzato dalla scuola di volo locale per addestrare le competenze necessarie per rispondere a vari scenari di emergenza, come un guasto al motore, in un ambiente a basso rischio. I partecipanti a questo studio erano tutti autorizzati; Pertanto, hanno sperimentato lo scenario del simulatore di guasto al motore in precedenza nel corso della loro formazione. Questo studio è stato approvato dall'Ufficio di etica della ricerca dell'Università di Waterloo (43564; Data: 17 novembre 2021). Tutti i partecipanti (N = 24; 14 maschi, 10 femmine; età media = 22 anni; ore di volo: 51-280 ore) hanno fornito il consenso informato scritto.

Figura 1: Ambiente del simulatore di volo. Un'illustrazione dell'ambiente del simulatore di volo. Il punto di vista del partecipante sulla cabina di pilotaggio ha replicato quello di un pilota che vola su un Cessna 172, preimpostato per un avvicinamento sottovento alla base fino alla fine all'aeroporto internazionale di Waterloo, Breslau, Ontario, CA. I riquadri arancioni rappresentano le dieci principali aree di interesse utilizzate nelle analisi dello sguardo. Questi includono (1) la velocità, (2) l'assetto, (3) l'altimetro, (4) il coordinatore di virata, (5) la direzione, (6) la velocità verticale e (7) gli indicatori di potenza, nonché i (8) finestrini anteriori, (9) sinistro e (10) destro. Questa cifra è stata modificata da Ayala et ^al.5. Clicca qui per visualizzare una versione più grande di questa figura.

1. Screening dei partecipanti e consenso informato

1. Screening del partecipante tramite un questionario self-report basato sui criteri di inclusione/esclusione ^2,5: possesso di almeno una licenza di pilota privato (PPL), visione normale o corretta e nessuna precedente diagnosi di disturbo neuropsichiatrico/neurologico o disabilità dell'apprendimento.
2. Informare il partecipante sugli obiettivi e le procedure di studio attraverso un briefing dettagliato gestito dallo sperimentatore e dall'istruttore di volo/tecnico supervisore del simulatore. Esamina i rischi delineati nel documento di consenso approvato dal comitato di revisione etica dell'istituto. Rispondi a qualsiasi domanda sui potenziali rischi. Ottenere il consenso informato scritto prima di iniziare qualsiasi procedura di studio.

2. Requisiti hardware/software e avviamento

1. Simulatore di volo (tipicamente completato dal tecnico del simulatore)
   1. Accendi gli schermi del simulatore e del proiettore. Se uno dei proiettori non si accende contemporaneamente agli altri, riavviare il simulatore.
   2. Nella schermata delle istruzioni, premere la scheda Preimpostazioni e verificare che siano disponibili le preimpostazioni di posizione e/o meteo richieste. Se necessario, creare un nuovo tipo di preimpostazione; Consultare il tecnico per assistenza.
2. Collezione di computer portatili
   1. Gira il laptop e accedi con le credenziali.
   2. Quando richiesto, selezionare un profilo preesistente o crearne uno se si esegue il test di un nuovo partecipante. In alternativa, selezionare l'opzione Guest per sovrascrivere l'ultima calibrazione.
      1. Per creare un nuovo profilo, scorrere fino alla fine dell'elenco dei profili e fare clic su Aggiungi.
   3. Imposta l'ID del profilo sull'ID partecipante. Questo ID profilo verrà utilizzato per contrassegnare la cartella, che contiene i dati di tracciamento oculare al termine di una registrazione.
3. Calibrazione degli occhiali
   NOTA: Gli occhiali devono rimanere collegati al laptop per registrare. La calibrazione con la scatola deve essere completata una sola volta all'inizio della raccolta dei dati.
   1. Apri la custodia dell'eye tracker ed estrai gli occhiali.
   2. Collega il cavo da USB a micro-USB dal laptop agli occhiali. Se richiesto sul laptop, aggiornare il firmware.
   3. Individua la scatola di calibrazione nera all'interno della custodia dell'eye tracker.
   4. Sul portatile della raccolta, nell'hub di tracciamento oculare, scegli Strumenti | Calibrazione del dispositivo.
   5. Posiziona gli occhiali all'interno della scatola e premi Start nella finestra popup per iniziare la calibrazione.
   6. Rimuovere gli occhiali dalla scatola una volta completata la calibrazione.
4. Vestibilità del nasello
   1. Selezionare il portaobiettivi.
   2. Chiedi al partecipante di sedersi nella cabina di pilotaggio e di indossare gli occhiali.
   3. In Eye Tracking Hub, vai a File | Impostazioni | Mago del naso.
   4. Controlla la regolazione della vestibilità della scatola degli occhiali sul lato sinistro dello schermo. Se la vestibilità è eccellente, procedi al passaggio successivo. In caso contrario, fare clic sulla casella.
   5. Chiedi al partecipante di seguire le istruzioni per le raccomandazioni di vestibilità mostrate sullo schermo: imposta il nasello, regola gli occhiali per sederti comodamente e guarda dritto davanti a te il laptop.
   6. Se necessario, sostituire il nasello. Pizzica il nasello al centro, sfilalo fuori dagli occhiali e poi infilane un altro dentro. Continuare a testare i diversi portaobiettivi fino a identificare quello che si adatta meglio al partecipante.
5. Chiamate al controllo del traffico aereo (ATC)
   NOTA: Se lo studio richiede chiamate ATC, chiedere al partecipante di portare il proprio auricolare o di utilizzare l'auricolare da laboratorio. Completare la calibrazione del bulbo oculare solo dopo che il partecipante ha indossato l'auricolare, poiché l'auricolare può spostare gli occhiali sulla testa, il che influisce sulla precisione della calibrazione.
   1. Verificare che la serie sterzo sia agganciata alla presa sul lato inferiore sinistro del quadro strumenti.
   2. Chiedi al partecipante di indossare l'auricolare. Chiedi loro di non toccarlo o di toglierlo fino al termine della registrazione.
      NOTA: La ricalibrazione è necessaria ogni volta che si sposta l'auricolare (e, quindi, gli occhiali).
   3. Fai un controllo radio.
6. Calibrazione del bulbo oculare
   NOTA: Ogni volta che il partecipante sposta gli occhiali sulla testa, deve ripetere la calibrazione del bulbo oculare. Chiedi al partecipante di non toccare gli occhiali fino al termine delle prove.
   1. In Eye Tracking Hub, vai alla casella dei parametri a sinistra dello schermo.
      1. Controllare la modalità di calibrazione e scegliere lo sguardo fisso o la testa fissa di conseguenza.
      2. Verificare che i punti di calibrazione siano una griglia 5 x 5, per un totale di 25 punti.
      3. Controllare la modalità di convalida e assicurarsi che corrisponda alla modalità di calibrazione.
      4. Esamina i risultati dell'eye tracking e verifica che tutto ciò che deve essere registrato per lo studio sia selezionato utilizzando le caselle di spunta.
   2. Fare clic su File | Impostazioni | Avanzate e verificare che la frequenza di campionamento sia di 250 Hz.
   3. Seleziona la casella Calibra il tuo tracciamento oculare sullo schermo usando il mouse. Le istruzioni di calibrazione variano in base alla modalità. Per seguire lo studio in corso, utilizzare la modalità di calibrazione dello sguardo fisso : istruire i partecipanti a muovere la testa in modo che la casella si sovrapponga al quadrato nero e si allineino. Quindi, chiedi al partecipante di concentrare lo sguardo sul mirino nel quadrato nero e premi la barra spaziatrice.
   4. Premi la casella Convalida la configurazione . Le istruzioni saranno le stesse del passaggio 2.6.3. Verificare che il valore di validazione MAE (Mean Absolute Error) sia <1°. In caso contrario, ripetere i passaggi 2.6.3 e 2.6.4.
   5. Premere Salva calibrazione per salvare la calibrazione nel profilo ogni volta che la calibrazione e la convalida sono completate.
7. Utilizzo dell'iPad
   NOTA: L'iPad si trova a sinistra del quadro strumenti (vedere la Figura 1). Viene utilizzato per i questionari, in genere dopo il volo.
   1. Accendi l'iPad e assicurati che sia connesso a Internet.
   2. Apri una finestra in Safari e inserisci il link per il questionario dello studio.

3. Raccolta dei dati

NOTA: Ripetere questi passaggi per ogni prova. Si consiglia di posizionare il laptop sulla panca all'esterno della cabina di pilotaggio.

1. Sul computer del simulatore di volo, nella schermata delle istruzioni , premere Preset, quindi scegliere il preset di posizione desiderato da simulare. Premi il pulsante Applica e osserva le schermate che circondano il simulatore per verificare che la modifica avvenga.
2. Ripetere il passaggio 3.1 per applicare il preset Meteo .
3. Fornire al partecipante eventuali istruzioni specifiche sulla prova o sulla sua traiettoria di volo. Ciò include dire loro di modificare le impostazioni sul cruscotto prima di iniziare.
4. Nella schermata delle istruzioni, premere il pulsante arancione STOP per avviare la raccolta dei dati. Il colore cambierà in verde e il testo dirà FLYING. Assicurati di dare un segnale verbale al partecipante in modo che sappia che può iniziare a pilotare l'aereo. Il segnale consigliato è "3, 2, 1, hai i controlli" quando viene premuto il pulsante di arresto arancione.
5. Nel laptop di raccolta, premere Avvia registrazione in modo che i dati dell'eye tracker vengano sincronizzati con i dati del simulatore di volo.
6. Quando il partecipante ha completato il circuito ed è atterrato, attendere che l'aereo smetta di muoversi.
   NOTA: È importante attendere perché durante la post-elaborazione; I dati vengono troncati quando la velocità al suolo si stabilizza a 0. Ciò garantisce coerenza per l'endpoint di tutti gli studi.
7. Nella schermata delle istruzioni, premere il pulsante verde FLYING . Il colore tornerà arancione e il testo dirà STOPPED. Dai un segnale verbale durante questa fase, quando la raccolta dei dati sta per terminare. Il segnale consigliato è "3, 2, 1, stop".
8. Chiedi al partecipante di completare il/i questionario/i post-processuale sull'iPad. Aggiorna la pagina per la versione di prova successiva.
   NOTA: Il presente studio ha utilizzato il questionario di autovalutazione SART (Situation Awareness Rating Technique) come unico questionario post-processo¹⁷.

4. Elaborazione e analisi dei dati

1. Dati del simulatore di volo
   NOTA: Il file .csv copiato dal simulatore di volo contiene più di 1.000 parametri che possono essere controllati nel simulatore. Le principali misure di performance di interesse sono elencate e descritte nella Tabella 1.
   1. Per ogni partecipante, calcolare la percentuale di successo utilizzando l'Eq (1) prendendo la percentuale tra le condizioni dell'attività. Le prove fallite sono identificate da criteri predeterminati programmati all'interno del simulatore che termina automaticamente la prova all'atterraggio a causa dell'orientamento del piano e della velocità verticale. Effettuare la verifica post-processo per assicurarsi che questo criterio fosse allineato con le limitazioni effettive dell'aeromobile (ad esempio, il danno/incidente al carrello di atterraggio del Cessna 172 è evidente a velocità verticali > 700 piedi/min [fpm] al momento dell'atterraggio).
      Percentuale di successo = (1)
      NOTA: valori più bassi della percentuale di successo indicano risultati peggiori in quanto sono associati a una riduzione dei tentativi di atterraggio riusciti.
   2. Per ogni prova, calcolare il tempo di completamento in base al timestamp, che indica che l'aereo si è fermato sulla pista (ad esempio, velocità al suolo = 0 nodi).
      NOTA: un tempo di completamento più breve potrebbe non sempre equivalere a prestazioni migliori. È necessario prestare attenzione per capire in che modo si prevede che le condizioni dell'attività (ad esempio, venti aggiuntivi, scenari di emergenza, ecc.) influiscano sul tempo di completamento.
   3. Per ogni prova, determinare la durezza dell'atterraggio in base alla velocità verticale dell'aeromobile (fpm) nel momento in cui l'aeromobile tocca inizialmente la pista. Assicurarsi che questo valore venga preso allo stesso timestamp associato alla prima modifica dello stato di AircraftOnGround da 0 (in aria) a 1 (a terra).
      NOTA: I valori compresi tra -700 fpm e 0 fpm sono considerati sicuri, con valori più vicini a 0 che rappresentano atterraggi più morbidi (cioè migliori). I valori negativi rappresentano la velocità verticale verso il basso; I valori positivi rappresentano la velocità verticale verso l'alto.
   4. Per ogni prova, calcolare l'errore di atterraggio (°) in base alla differenza tra le coordinate di atterraggio e il punto di riferimento sulla pista (centro dei marcatori di 500 piedi). Utilizzando il punto di riferimento, calcolare l'errore di atterraggio utilizzando l'Eq (2).
      Differenza = √((Δ Latitudine)² + (Δ Longitudine)²) (2)
      NOTA: Valori inferiori a 1° sono indicati come normali ^5,15. Valori elevati indicano un errore di atterraggio maggiore associato ai punti di atterraggio dell'aeromobile più lontani dalla zona di atterraggio.
   5. Calcola le medie tra tutti i partecipanti per ogni variabile di risultato della performance per ogni condizione del compito. Riportare questi valori.
2. Dati sulla consapevolezza della situazione
   1. Per ogni prova, calcolare il punteggio SA in base ai punteggi SART auto-riportati nelle 10 dimensioni di SA¹⁷.
      1. Utilizzare il questionario SART¹⁷ per determinare le risposte soggettive dei partecipanti riguardo alla difficoltà complessiva del compito, nonché la loro impressione di quante risorse attentive avevano a disposizione e speso durante l'esecuzione del compito.
      2. Utilizzando una scala Likert a 7 punti, chiedi ai partecipanti di valutare la loro esperienza percepita su domande approfondite, tra cui la complessità della situazione, la divisione dell'attenzione, la capacità mentale di riserva e la quantità e la qualità delle informazioni.
      3. Combina queste scale in dimensioni più ampie di richieste attentive (Domanda), offerta attenzionale (Offerta) e comprensione della situazione (Comprensione).
      4. Utilizzare queste valutazioni per calcolare una misura di SA in base all'Eq (3):
         SA = Comprensione - (Domanda-Offerta) (3)
         NOTA: Punteggi più alti sulle scale combinati per fornire una misura di comprensione suggeriscono che il partecipante ha una buona comprensione del compito da svolgere. Allo stesso modo, punteggi elevati nel dominio dell'offerta suggeriscono che il partecipante ha una quantità significativa di risorse attentive da dedicare a un determinato compito. Al contrario, un punteggio di domanda elevato suggerisce che l'attività richiede una quantità significativa di risorse attentive per essere completata. È importante chiarire che questi punteggi vengono interpretati al meglio se confrontati tra condizioni (ad esempio, condizioni facili e difficili) invece di essere utilizzati come misure autonome.
   2. Una volta completata la raccolta dei dati, calcola le medie tra tutti i partecipanti per ogni condizione di attività (ad esempio, di base, di emergenza). Riportare questi valori.
3. Dati di tracciamento oculare
   1. Utilizza uno script batch di tracciamento oculare per definire manualmente le AOI da utilizzare nella mappatura dello sguardo. Lo script aprirà una nuova finestra per la selezione del fotogramma chiave che dovrebbe visualizzare chiaramente tutte le AOI chiave che verranno analizzate. Scorri il video e scegli un fotogramma che mostri chiaramente tutte le AOI.
   2. Seguendo le istruzioni sullo schermo, disegna un rettangolo su una regione del fotogramma che sarà visibile per tutto il video, unico, e rimarrà stabile.
      NOTA: Lo scopo di questo passaggio è generare un fotogramma di coordinate "sullo schermo" che può essere utilizzato in tutta la registrazione video poiché i movimenti della testa comportano la modifica della posizione degli oggetti nell'ambiente nel corso della registrazione video.
   3. Disegna un rettangolo per ogni AOI nell'immagine, uno alla volta. Nominali di conseguenza. Fare clic su Aggiungi altro per aggiungere un nuovo AOI e premere Fine sull'ultimo. Se le coordinate dello sguardo durante una data fissazione atterrano all'interno dello spazio dell'oggetto come definito nel riquadro delle coordinate "sullo schermo", etichettare tale fissazione con la rispettiva etichetta AOI.
      NOTA: lo scopo di questo passaggio è generare una libreria di coordinate dell'oggetto che vengono quindi utilizzate come riferimenti quando si confrontano le coordinate dello sguardo con le coordinate sullo schermo.
      In genere ci sono 10 AOI, ma questo dipende da come è configurato il simulatore di volo. Il quadro strumenti potrebbe essere diverso. In linea con il lavoro precedente ^5,18, il presente studio utilizza le seguenti AOI: Velocità dell'aria, Assetto, Altimetro, Coordinatore di virata, Direzione, Velocità verticale, Potenza, Finestra anteriore, Finestra sinistra e Finestra destra (vedi Figura 1).
   4. Lascia che lo script inizi a elaborare gli AOI e generi i dati di fissazione. Genera un grafico che mostra le saccadi e le fissazioni sul video.
   5. Verranno creati due nuovi file: fixations.csv e aoi_parameters.yaml. Il processore batch completerà la post-elaborazione dei dati dello sguardo per ogni prova e per ogni partecipante.
      NOTA: Le principali misure di eye tracking di interesse sono elencate nella Tabella 2 e sono calcolate per ogni AOI per ogni prova.
   6. Per ogni prova, calcola le metriche tradizionali dello sguardo ^4,5 per ogni AOI in base ai dati generati nel file fixation.csv.
      NOTA: Qui, ci concentriamo sul tempo di permanenza (%), che viene calcolato dividendo la somma delle fissazioni per una particolare AOI per la somma di tutte le fissazioni e moltiplicando il quoziente per 100 per ottenere la percentuale di tempo trascorso in una specifica AOI. Non esiste un'interpretazione negativa/positiva intrinseca dai tempi di permanenza calcolati. Forniscono un'indicazione di dove viene prevalentemente allocata l'attenzione. Una durata media di fissazione più lunga è indicativa di un aumento delle esigenze di lavorazione.
   7. Per ogni prova, calcolare la frequenza di lampeggio utilizzando l'Eq (4):
      Frequenza di lampeggio = Lampeggi totali/tempo di completamento (4)
      NOTA: Lavori precedenti hanno dimostrato che la frequenza delle palpebre è inversamente correlata al carico cognitivo 2,6,13,19,20.
   8. Per ogni prova, calcolare l'SGE utilizzando l'eq (5)²¹:
      (5)
      Dove v è la probabilità di visualizzare l'i-esimo AOI e V è il numero di AOI.
      NOTA: Valori SGE più elevati sono associati a una maggiore dispersione di fissazione, mentre valori più bassi sono indicativi di un'allocazione più focalizzata delle fissazioni²².
   9. Per ogni prova, calcolare il GTE utilizzando l'eq (6)²³:
      (6)
      Dove V è la probabilità di visualizzare l'i-esimo AOI e M è la probabilità di visualizzare il j^{° AOI} data la precedente visione dell'i-esimo AOI.
      NOTA: valori GTE più elevati sono associati a percorsi di scansione visiva più imprevedibili e complessi, mentre valori GTE più bassi sono indicativi di percorsi di scansione visiva più prevedibili e di routine.
   10. Calcola le medie tra tutti i partecipanti per ogni variabile di output dell'eye tracking (e AOI quando indicata) e ogni condizione del compito. Riportare questi valori.

Tabella 1: Variabili di risultato delle prestazioni del simulatore. Variabili dipendenti dalle prestazioni degli aeromobili e loro definizioni.

Figura 2: Percorso di volo dello scenario di atterraggio. Schema di (A) il circuito di atterraggio completato in tutte le prove e (B) la pista con i marcatori di 500 piedi che sono stati utilizzati come punto di riferimento per la zona di atterraggio (cioè, cerchio arancione centrale). Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Mappatura dell'area di interesse. Illustrazione dello script batch che illustra una finestra per la selezione dei fotogrammi. La selezione di un fotogramma ottimale comporta la scelta di un fotogramma video che includa la maggior parte o tutte le aree di interesse da mappare. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4: Generazione delle coordinate "sullo schermo" della mappatura dell'area di interesse. Un'illustrazione dello script batch che mostra una finestra per la selezione delle coordinate "sullo schermo". Questa fase prevede la selezione di una regione quadrata/rettangolare che rimane visibile per tutta la durata della registrazione, è unica per l'immagine e rimane statica. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: Identificazione dell'area di interesse da mappare. Un'illustrazione della finestra di script batch che consente la selezione e l'etichettatura delle aree di interesse. Abbreviazione: AOI = aree di interesse. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 6: Elaborazione di script batch. Un'illustrazione dello script batch che elabora il video e mappa lo sguardo delle fissazioni effettuate durante il processo. Clicca qui per visualizzare una versione più grande di questa figura.

Tabella 2: Variabili di esito dell'eye tracking. Variabili dipendenti dal comportamento dello sguardo e loro definizioni.

L'impatto delle richieste di attività sulle prestazioni di volo
I dati sono stati analizzati sulla base di prove di atterraggio riuscite in condizioni di base e di emergenza. Tutte le misure sono state sottoposte a un test t di campioni accoppiati (fattore all'interno del soggetto: condizione del compito (base, emergenza)). Tutti i test t sono stati eseguiti con un livello alfa impostato a 0,05. Quattro partecipanti si sono schiantati durante la prova dello scenario di emergenza e non sono stati inclusi nelle analisi principali perché i dati scarsi non consentono conclusioni significative. Tutte le variabili, ad eccezione del tasso di successo, esaminano esclusivamente le sperimentazioni di successo.

Il tasso di successo (%) ha prodotto un effetto principale della condizione, t(23) = 2,145, p = 0,043. In particolare, le prove di emergenza (media = 83%) hanno portato a un numero significativamente maggiore di atterraggi falliti (cioè schiantati) rispetto alle prove di base (media = 100%) (Figura 7A). Il tempo di completamento (s) ha prodotto un effetto principale della condizione, t(19) = 8,420, p < 0,001. Gli studi di emergenza sono stati completati significativamente più rapidamente (media = 121 s, SD = 3,9) rispetto agli studi di base (media = 174 s, SD = 5,6) (Figura 7B). L'errore di atterraggio ha prodotto un effetto principale della condizione, t(19) = -2,669, p = 0,015, η_p² = 0,242. In particolare, le prove di base sono state associate a un errore di atterraggio significativamente più basso (cioè una maggiore precisione di atterraggio) (media = 0,046°, SD = 0,010) rispetto alle prove di emergenza (media = 0,216°, SD = 0,070) (Figura 7C), che includevano una persona che è atterrata nel campo vicino alla pista. Infine, la durezza di atterraggio, non è cambiata significativamente tra le condizioni (p = 0,062) (Figura 7D).

Figura 7: Misure delle prestazioni di volo. Risultati che mostrano (A) tasso di successo (%), (B) tempo di completamento (s), (C) errore di atterraggio (°) e (D) durezza di atterraggio (fpm) per condizioni di base (controllo) e di emergenza. Il tasso di successo e il tempo di completamento sono diminuiti nella condizione di emergenza rispetto alla condizione di base. L'errore di atterraggio è aumentato nella condizione di emergenza rispetto alla condizione di base. La durezza dell'atterraggio non era significativamente diversa tra le condizioni. Test statistico utilizzato: t-test a campioni accoppiati. Le barre di errore rappresentano il SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Abbreviazione: fpm = piedi/min. Clicca qui per visualizzare una versione più grande di questa figura.

Con l'aumentare della difficoltà del compito, le prestazioni sono state influenzate negativamente. Ciò è stato evidente soprattutto attraverso la riduzione dell'aumento dell'errore di atterraggio, nonché la riduzione della SA soggettiva. Si noti che la riduzione del tempo di completamento dell'atterraggio era più una conseguenza della potenza insufficiente al motore dovuta al guasto del motore, con conseguente cambiamento necessario nella traiettoria di volo che riduceva significativamente la traiettoria di volo in modo che l'aereo potesse atterrare sulla pista in sicurezza.

L'impatto delle richieste di attività sulla consapevolezza della situazione
I punteggi soggettivi del questionario SART hanno prodotto un punteggio SA generale, che ha dimostrato un effetto principale della condizione, t(19) = 9,148, p < 0,001. In particolare, i punteggi SA soggettivi erano più bassi per gli studi di emergenza (media = 11,7, SD = 1,4) rispetto agli studi di base (media = 21,4, SD = 1,2) (Figura 8A). Un esame più attento delle sottocomponenti del questionario SART ha rivelato che l'offerta di SA, la domanda di SA e la comprensione di SA hanno prodotto un effetto principale della condizione (Figura 8B-D). In particolare, l'offerta di SA è aumentata significativamente dalla condizione di base (media = 18,7, SD = 0,8) alla condizione di emergenza (media = 21,9, SD = 0,9), t(19) = -4,921, p < 0,001. Allo stesso modo, la domanda di SA è aumentata significativamente dalla condizione di base (media = 8,1, SD = 1,5) alla condizione di emergenza (media = 19,3, SD = 1,8), t(19) = -10,696, p < 0,001. Infine, la comprensione di SA è diminuita significativamente dalla condizione di base (media = 10,7, SD = 0,4) alla condizione di emergenza (media = 9,0, SD = 0,6), t(19) = 3,187, p = 0,005.

Figura 8: Punteggi di consapevolezza della situazione. Risultati che mostrano (A) consapevolezza situazionale, (B) offerta SA, (C) domanda SA e (D) comprensione SA per condizioni di base (controllo) e di emergenza. La consapevolezza della situazione e la comprensione della SA sono diminuite nella condizione di emergenza rispetto alla condizione di base. L'offerta e la domanda di SA sono aumentate nella condizione di emergenza rispetto alla condizione di base. Test statistico utilizzato: t-test a campioni accoppiati. Le barre di errore rappresentano il SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Clicca qui per visualizzare una versione più grande di questa figura.

L'impatto delle richieste di attività sul comportamento dello sguardo
Metriche tradizionali dello sguardo
Il tempo di permanenza (%) in diverse AOI ha dimostrato un effetto principale della condizione (Figura 9). La maggior parte degli AOI ha dimostrato una diminuzione del tempo di permanenza dalla condizione di base alla condizione di emergenza, tra cui, atteggiamento, t(19) = 2,322, p = 0,031, altimetro, t(19) = 2,822, p = 0,011, coordinatore di virata, t(19) = 2,698, p = 0,014, direzione, t(19) = 2,175, p = 0,042, velocità verticale, t(19) = 2,357, p = 0,029 e indicatori di potenza, t(19) = 3,036, p = 0,007. Al contrario, il tempo dell'indicatore di velocità è aumentato dalla condizione di base alla condizione di emergenza, t(19) = -2,376, p = 0,029. Tutti gli altri AOI non sono stati modulati in modo significativo dalla condizione (tutti i valori p > 0,165). Le medie del tempo di permanenza e le deviazioni standard per tutte le AOI sono mostrate nella Tabella 3.

Figura 9: Tempo di permanenza. Per tutte le 10 aree di interesse sono mostrate le medie di gruppo per le variazioni percentuali del tempo di sosta (emergenza - base). Tempo di sosta diminuito per l'assetto, l'altimetro, il coordinatore di virata, la direzione, la velocità verticale e gli indicatori di potenza in condizioni di emergenza rispetto alla condizione di base (controllo). Il tempo di permanenza sull'indicatore della velocità dell'aria è aumentato nella condizione di emergenza rispetto alla condizione di base. Test statistico utilizzato: t-test a campioni accoppiati. Le barre di errore rappresentano SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Clicca qui per visualizzare una versione più grande di questa figura.

Tabella 3: Valori del tempo di permanenza (%) per condizione dell'attività. Statistiche descrittive (media, deviazione standard) che indicano i valori del tempo di sosta (%) per tutte le aree di interesse nello scenario di volo di controllo e di emergenza.

La velocità di lampeggio ha dimostrato un effetto principale della condizione, t(19) = -2,713, p = 0,014 (Figura 10). In particolare, la frequenza di battito delle palpebre è aumentata significativamente dalla condizione di base (media = 0,354 battiti di ciglia/sec, SD = 0,192) alla condizione di emergenza (media = 0,460 battiti di ciglia/sec; SD= 0,285).

Figura 10: Frequenza di lampeggio durante le condizioni di base e di emergenza. La frequenza di lampeggio è aumentata nella condizione di emergenza rispetto alla condizione di base (di controllo). Test statistico utilizzato: t-test a campioni accoppiati. Le barre di errore rappresentano SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Clicca qui per visualizzare una versione più grande di questa figura.

Metriche avanzate dello sguardo
SGE, GTE e medie normalizzate e deviazioni standard per tutte le AOI in tutte le condizioni sono riportate nella Tabella 4. SGE e GTE hanno dimostrato una riduzione significativa tra le condizioni di attività di base e di emergenza (Figura 11), t(19) = 4,833 e 4,833, ps < 0,001, rispettivamente.

Figura 11: Metriche di entropia. (A) Entropia dello sguardo stazionario (SGE) e (B) Entropia di transizione dello sguardo (GTE) nelle condizioni di base (controllo) e di emergenza. Sia l'SGE che il GTE sono diminuiti nella condizione di emergenza rispetto alla condizione di base. Test statistico utilizzato: t-test a campioni accoppiati. Le barre di errore rappresentano SEM. *p≤0.05, **p≤0.01, ***p≤0.001. Abbreviazioni: SGE = entropia dello sguardo stazionario; GTE = entropia di transizione dello sguardo. Clicca qui per visualizzare una versione più grande di questa figura.

Tabella 4: Valori di entropia per condizione. Media (deviazione standard) per tutti i valori di entropia (bit) in tutte le condizioni di attività (ad esempio, base, emergenza).

Nel complesso, sono stati riportati anche cambiamenti significativi nel comportamento dello sguardo in parallelo con i decrementi notati delle prestazioni e della SA. In particolare, la risposta all'emergenza è stata associata a una significativa riduzione dell'attenzione verso diverse AOI, che è stata evidente attraverso la riduzione dell'SGE (cioè la dispersione della fissazione) e il tempo di permanenza più breve in un certo numero di AOI (ad esempio, assetto, altimetro, coordinatore di virata, direzione, velocità verticale e indicatori di potenza). D'altra parte, l'indicatore di velocità ha ricevuto molta più attenzione in quanto è diventato una fonte primaria di informazioni per la gestione delle condizioni di atterraggio di emergenza; Un indicatore necessario che aiuta a stabilire la velocità di planata ottimale per evitare che l'aereo si fermi²⁴. Questi cambiamenti nell'allocazione dell'attenzione sono stati anche associati a una ridotta complessità di scansione (GTE), il che indica che i partecipanti hanno adottato una strategia spostando la loro attenzione verso un minor numero di AOI in modo più routinario/prevedibile. Durante gli scenari di emergenza, questi cambiamenti nel comportamento dello sguardo sono prevedibili poiché il protocollo per la gestione di un tale evento richiede di dirigere l'attenzione principalmente sull'indicatore di velocità e sulla pista (ad esempio, finestra anteriore/sinistra). Questi dati confermano che la manipolazione del compito era abbastanza difficile da influire sulle prestazioni del compito e sui meccanismi di elaborazione delle informazioni di supporto. Ancora più importante, i risultati del comportamento dello sguardo forniscono ulteriori prove empiriche che la scansione delle informazioni attraverso gli AOI della cabina di pilotaggio è ridotta durante le condizioni di attività difficili, al costo di dedicare più tempo agli AOI che hanno una maggiore rilevanza per il processo decisionale e la risoluzione dei problemi 5,8,25,26 . Questo è un risultato critico che può suggerire che lo scenario di emergenza è un compito ben appreso poiché il lavoro precedente che utilizzava eventi altamente incerti durante il volo ha portato a una maggiore attività esplorativa (cioè un SGE/GTE più elevato) quando i compiti non erano ben praticati o addestrati²⁷. Tuttavia, sono necessarie ulteriori ricerche per determinare come il comportamento dello sguardo e, quindi, l'elaborazione delle informazioni cambino in risposta a queste manipolazioni dei compiti nei piloti alle prime armi o durante i tentativi di atterraggio falliti in cui i cambiamenti osservati nel comportamento dello sguardo potrebbero non essere presenti. Tale risultato può indicare che una mancanza di attenzione selettiva è associata a prestazioni inferiori del compito durante eventi incerti/imprevisti.

Il metodo di tracciamento oculare qui descritto consente la valutazione dell'elaborazione delle informazioni in un ambiente di simulatore di volo tramite un eye tracker indossabile. La valutazione delle caratteristiche spaziali e temporali del comportamento dello sguardo fornisce informazioni sull'elaborazione delle informazioni umane, che è stata ampiamente studiata utilizzando paradigmi di laboratorio altamente controllati ^4,7,28. Sfruttare i recenti progressi della tecnologia consente di generalizzare la ricerca sull'eye tracking a paradigmi più realistici con una maggiore fedeltà, imitando così impostazioni più naturalistiche. Lo scopo del presente studio è stato quello di caratterizzare gli effetti della difficoltà del compito sul comportamento dello sguardo, sulle prestazioni di volo e sulla SA durante uno scenario di atterraggio simulato in piloti a basso tempo. Ai partecipanti è stato chiesto di eseguire il compito di atterraggio in condizioni di volo a vista (VFR) ad alta visibilità che includevano uno scenario di atterraggio di base e una manipolazione impegnativa, che era l'introduzione inaspettata di un'emergenza in volo (cioè un guasto totale al motore). Come previsto, l'introduzione di un'emergenza durante lo scenario di atterraggio ha comportato notevoli decrementi delle prestazioni e delle SA, insieme a cambiamenti significativi nel comportamento dello sguardo. Questi metodi, i risultati e le intuizioni ottenute attraverso l'analisi del comportamento dello sguardo sull'elaborazione delle informazioni, le prestazioni di volo e la SA sono ulteriormente discussi di seguito.

Per quanto riguarda la metodologia, ci sono diversi punti critici da tenere a mente, tra cui le modifiche del protocollo e l'importanza del protocollo rispetto alla letteratura. I dati di tracciamento oculare sono stati raccolti insieme a complesse attività legate all'aviazione in un simulatore di volo ALSIM AL-250, che è considerato un simulatore ad alta fedeltà ma non un simulatore di volo completo in quanto non simula il movimento o le vibrazioni. Pertanto, il metodo potrebbe non essere direttamente applicabile ai simulatori di volo completi in cui il movimento e la vibrazione potrebbero influire sulla qualità dell'eye tracking. Il simulatore ALSIM è stato configurato per essere rappresentativo di un Cessna 172 ed è stato utilizzato con il necessario pannello strumenti (configurazione dell'indicatore di vapore), un sistema avionico/GPS, un pannello audio/luci, un pannello interruttori e un'unità di controllo di volo (FCU) (vedi Figura 1). L'aereo simulato funzionava a una frequenza di campionamento di 30 Hz ed era controllato con una cloche, una leva dell'acceleratore e pedali del timone. In questo protocollo, è stato utilizzato un eye tracker indossabile per valutare i cambiamenti nel comportamento dello sguardo (cioè un proxy per l'elaborazione delle informazioni) durante l'esecuzione dello scenario di atterraggio di base (alta visibilità [>20 miglia], venti deboli [0 nodi]) e uno scenario di atterraggio di emergenza (alta visibilità [>20 miglia], venti deboli [0 nodi], guasto totale imprevisto al motore).

L'esperimento attuale richiedeva ai partecipanti di completare un totale di cinque prove di atterraggio: quattro prove di base e una prova di emergenza. La sequenza di queste prove è rimasta la stessa tra i partecipanti per garantire che l'introduzione dell'emergenza in volo non influisse sui comportamenti naturali dello sguardo catturati durante le altre prove, che includevano altre manipolazioni che facevano parte di un esperimento più ampio². Oltre al briefing del pilota all'inizio della sessione, ai partecipanti sono state fornite due prove pratiche prima delle prove sperimentali per la familiarizzazione con la cabina di pilotaggio. L'eye tracker AdHawk MindLink (250 Hz, risoluzione spaziale <2°, fotocamera frontale²⁹) è stato utilizzato nel presente studio, ma può essere sostituito da qualsiasi eye tracker indossabile di alta qualità, disponibile in commercio. Tuttavia, l'eye tracker indossabile dovrebbe avere una risoluzione spaziale di <2°, una fotocamera frontale e una frequenza di campionamento di 120 Hz per identificare correttamente le caratteristiche del movimento oculare relative al rilevamento di eventi saccadi/fissazione³⁰.

Sulla base del lavoro precedente di Ayala e colleghi², la fotocamera frontale è necessaria per fornire registrazioni video dell'ambiente di attività, che viene poi utilizzata per la mappatura dello sguardo sovrapponendo le coordinate dello sguardo che seguono gli occhi. Queste coordinate vengono quindi confrontate con le coordinate definite manualmente per le AOI rilevanti per l'attività all'interno dell'algoritmo di mappatura dello sguardo. Il simulatore di volo ALSIM può anche essere sostituito con altre forme di simulazione di volo (ad esempio, simulatore di volo basato su PC)⁵. Tuttavia, è importante notare che la mappatura delle AOI dovrebbe essere simile in questi ambienti per evitare il rischio che la mappatura AOI discordante diventi una variabile confondente nei risultati dello sguardo. Inoltre, la mappatura utilizzata nel presente lavoro si è basata sulla consapevolezza che questi spazi predefiniti sono contestualmente rilevanti per il pilota, che deve concentrare lo sguardo su queste fonti critiche di informazioni per un funzionamento sicuro e di successo dell'aeromobile. Gli ambienti di simulazione e eye tracker selezionati sono stati scelti specificamente per questo lavoro perché hanno fornito una valutazione accurata del comportamento dello sguardo in un ambiente ecologico ad alta fedeltà.

Per quanto riguarda i risultati, il lavoro attuale mostra la caratterizzazione del comportamento dello sguardo utilizzando un eye tracker indossabile che sfrutta l'uso di un algoritmo di visione artificiale per aiutare nella mappatura dello sguardo in un ambiente di simulazione di volo immersivo ad alta fedeltà. L'applicazione di questo metodo fornisce diversi vantaggi alla valutazione del comportamento dello sguardo e ai cambiamenti generali dell'elaborazione delle informazioni in contesti naturalistici, che sono descritti qui. In primo luogo, il protocollo va oltre la valutazione standard dei movimenti oculari in un ambiente di schermo 2D basato su laboratorio, catturando i movimenti combinati della testa e degli occhi in uno spazio 3D immersivo ^2,4,5. In secondo luogo, la maggior parte degli studi condotti nello spazio 3D non ha la capacità di condurre analisi efficienti dello sguardo basate su AOI definiti 10,31,32. Questo è molto pertinente per le attività specifiche del dominio nella vita di tutti i giorni, poiché le analisi basate sull'AOI condotte qui forniscono un contesto critico necessario per la corretta interpretazione dei risultati. L'attuale studio ha raccolto dati sulle prestazioni comportamentali, SA soggettivi e dati di tracciamento oculare per fornire una valutazione completa di come ogni flusso di dati si riferisce alle funzioni cognitive sottostanti come l'attenzione e il processo decisionale.

Utilizzando questo tipo di framework di analisi multimodale, diversi studi hanno dimostrato che la quantità di tempo per la quale lo sguardo è diretto verso particolari AOI è orientata verso regioni critiche per il compito che richiedono più risorse di elaborazione delle informazioni, il che, a sua volta, è associato a prestazioni di successo del compito 4,5,7,33,34 . Analogamente ai risultati osservati nel presente lavoro, è stato dimostrato che i decrementi delle prestazioni associati ad aumenti della difficoltà del compito nei compiti neurocognitivi (ad esempio, aumento del tempo di completamento, aumento del tempo di pianificazione, diminuzione dell'accuratezza del compito) sono tutti associati a un aumento significativo della focalizzazione delle risorse attentive (ad esempio, aumenti specifici del tempo di permanenza e della durata della fissazione, e diminuzione SGE/GTE) verso AOI densamente informativi che erano importanti per il completamento del compito ^4,7.

Gli utenti dovrebbero anche considerare diversi elementi critici del protocollo di tracciamento oculare descritto. In primo luogo, è noto che l'eye tracking è un metodo che esamina indirettamente i cambiamenti nell'elaborazione delle informazioni attraverso cambiamenti evidenti nell'attenzione che vengono catturati dalle metriche di comportamento dello sguardo. Il metodo attuale è, quindi, limitato nella misura in cui può identificare ed esaminare processi nascosti che potrebbero non essere associati a cambiamenti espliciti nello sguardo, ma potrebbero essere rilevanti per la competenza in termini di prestazioni³⁴. In secondo luogo, il lavoro attuale mostra che c'è ancora molto lavoro da fare per capire come alcune metriche, come il tasso di battito delle palpebre, si riferiscano veramente ad aspetti della cognizione e dell'azione umana. In particolare, lavori precedenti hanno suggerito che la frequenza di battito delle palpebre è inversamente correlata con la difficoltà del compito 2,6,13,19,20. Tuttavia, il lavoro attuale fornisce prove contraddittorie per questo, poiché è stato dimostrato che il tasso di battito delle palpebre aumenta nello scenario di emergenza (cioè un aumento della difficoltà del compito). Data la mancanza di consenso riguardo l'interpretazione dei battiti di ciglia come misura proxy della difficoltà del compito o del carico cognitivo, questa è un'area che richiede ulteriori indagini per comprendere i meccanismi alla base dei battiti di ciglia e perché cambiano quando le richieste del compito vengono modificate. Esplorare la frequenza delle palpebre è importante perché questo segnale è relativamente facile da misurare con l'eye tracking; Tuttavia, l'utilità e l'applicazione a compiti più complessi del mondo reale devono essere ulteriormente consolidate. Allo stesso modo, la dimensione della pupilla viene in genere registrata da dispositivi di tracciamento oculare e potrebbe fornire informazioni sul carico di lavoro. Tuttavia, l'analisi e l'interpretazione delle dinamiche della pupilla possono essere impegnative perché le dimensioni della pupilla sono influenzate dalla luminanza e dai movimenti oculari. Pertanto, saranno necessari un'ulteriore procedura di calibrazione e strumenti analitici per stabilire l'utilità della pupillometria in questo contesto. In terzo luogo, il paradigma attuale utilizzava un programma di condizioni fisse che portava a completare sempre la prova di emergenza per ultima. Ciò è dovuto principalmente al fatto che la raccolta dei dati faceva parte di uno studio più ampio che ha esaminato i cambiamenti nell'elaborazione delle informazioni in varie condizioni ambientali². Lo scenario di atterraggio di emergenza potrebbe aver alterato il normale comportamento dello sguardo durante queste condizioni di volo alternative. Pertanto, per evitare eventuali alterazioni del comportamento dello sguardo all'interno della sessione dovute all'introduzione precoce di un evento incerto, lo scenario di emergenza è stato completato al termine della sessione di raccolta.

Sebbene si possa sostenere che una mancanza di randomizzazione nella sequenza dello studio potrebbe comportare un effetto pratica, i risultati delineati nel presente lavoro mostrano che questo non è chiaramente il caso in quanto le prestazioni e l'SA sono diminuiti, mentre cambiamenti significativi nello sguardo sono diventati evidenti solo nell'ultimo studio di emergenza e non nei precedenti quattro studi di base. Infine, la mancanza di una sincronizzazione precisa tra i dispositivi di raccolta (ad esempio, eye tracker e simulatore di volo) è un problema persistente per quanto riguarda l'allineamento dei flussi di dati per le prestazioni di volo e i dati di tracciamento oculare. Sebbene il lavoro attuale abbia tentato di avere la sincronizzazione tra i due dispositivi premendo contemporaneamente i pulsanti di avvio/registrazione, c'era sempre la possibilità che l'errore umano e la normale variabilità del controllo motorio nella pressione dei pulsanti diventassero fonti di errori di sincronizzazione che dovrebbero essere considerati. Ciò ha limitato la misura in cui le contingenze temporali tra specifici movimenti oculari e azioni potrebbero essere esaminate con il metodo attuale ed è una carenza tecnologica che richiede un ulteriore sviluppo.

Le applicazioni tipiche dei metodi di tracciamento oculare hanno collegato i cambiamenti nell'elaborazione delle informazioni a diversi disturbi di salute (ad esempio, lesioni cerebrali traumatiche, schizofrenia, morbo di Parkinson)7,32,35,36 e hanno utilizzato il comportamento dello sguardo per fornire informazioni sullo sviluppo di metodi di valutazione e formazione. Queste ultime applicazioni mirano a utilizzare l'eye tracking per migliorare il tipo di feedback ricevuto dai tirocinanti in diversi settori (ad esempio, medicina e aviazione)^2,10. La maggiore capacità degli eye tracker indossabili e delle analisi basate sull'AOI migliora le informazioni contestuali fornite sia ai ricercatori che alle applicazioni industriali. Ad esempio, in ambienti ad alta fedeltà, l'analisi avanzata consente l'identificazione accurata di ciò a cui gli individui prestano apertamente attenzione, quando e con quale efficacia le informazioni vengono elaborate ^2,15. Tuttavia, l'utilità dell'utilizzo del metodo come mezzo per identificare la competenza o il livello di competenza negli ambienti naturali deve ancora essere ampiamente esplorata. Pertanto, i metodi di comportamento dello sguardo presentati nel presente manoscritto potrebbero essere adottati in studi futuri che valutano le prestazioni durante altri scenari implementati in un simulatore di volo immobile, ad esempio, la gestione delle comunicazioni con il controllo del traffico aereo, il recupero da stalli di spegnimento, l'incendio del motore, la situazione di riattaccata). La capacità di ottenere buoni risultati in questi scenari è probabilmente associata a un comportamento efficiente dello sguardo, che può fornire una misura oggettiva dell'elaborazione delle informazioni.

Una limitazione significativa alle applicazioni di addestramento e valutazione è la necessità di studi su larga scala su vari livelli di esperienza di volo per stabilire l'affidabilità e gli intervalli normativi, come è stato fatto con movimenti oculari più semplici in esperimenti di laboratorio altamente controllati per la funzione neurologica e cognitiva di base^37,38. Inoltre, le applicazioni di formazione e valutazione del settore trarrebbero vantaggio da una migliore comprensione di come lo sguardo è distribuito nell'ambiente del compito e di come cambia durante l'esecuzione del compito, in particolare nei risultati superiori. Una prospettiva interessante è quella di combinare l'eye tracking con i sistemi di motion capture, che possono essere utilizzati per quantificare le azioni motorie generate durante un determinato compito. Ad esempio, è stato dimostrato che la variabilità del movimento è un indicatore dello sviluppo delle abilità³⁹. L'allineamento dei dati di controllo motorio con i dati di tracciamento oculare può fornire un maggiore supporto per la valutazione della competenza durante l'allenamento. In quanto tale, ciò offre un'opportunità unica per sviluppare un metodo analitico completo per valutare e ottenere informazioni sulle interazioni dinamiche tra processi percettivi, cognitivi e motori alla base delle prestazioni umane e dell'apprendimento.

In conclusione, questo studio ha indagato l'utilità di un eye tracker indossabile e di un algoritmo di mappatura dello sguardo nella caratterizzazione del comportamento dello sguardo durante un'attività di volo simulato. L'industria aeronautica è leader nell'utilizzo dell'addestramento con simulazione da oltre quattro decenni. La simulazione è una componente fondamentale dell'addestramento aeronautico perché consente ai piloti di esercitarsi in un ambiente sicuro e controllato senza mettersi in pericolo. L'Organizzazione per l'aviazione civile internazionale (ICAO), un'agenzia delle Nazioni Unite che coordina la navigazione aerea internazionale e il trasporto aereo, fornisce linee guida per l'utilizzo di dispositivi di simulazione per l'addestramento dei piloti, che vengono utilizzati di routine nell'addestramento aeronautico dal livello ab initio ai piloti commerciali. Man mano che le prove della ricerca si accumulano, il tracciamento oculare e altri dispositivi biometrici potrebbero essere incorporati negli ambienti di simulazione di volo per migliorare l'efficacia dell'addestramento. In particolare, il metodo di tracciamento oculare qui presentato è stato utile per quantificare i cambiamenti nel comportamento dello sguardo, che ha fornito informazioni sui cambiamenti nell'elaborazione delle informazioni associati alla risposta e alla gestione di un'emergenza in volo. Le misure dello sguardo hanno indicato un netto cambiamento nell'allocazione dell'attenzione. In particolare, il tempo di permanenza, SGE e GTE hanno dimostrato una focalizzazione dell'attenzione verso un minor numero di AOI con maggiore rilevanza per il problema. In particolare, l'algoritmo di mappatura dello sguardo e l'eye tracker indossabile sono una tecnologia relativamente nascente e, quindi, dovrebbero essere utilizzati e ulteriormente sviluppati in lavori futuri, date le note limitazioni nella sincronizzazione tra più dispositivi di raccolta hardware.

Non esistono interessi finanziari concorrenti.

Questo lavoro è sostenuto in parte dalla Canadian Graduate Scholarship (CGS) del Natural Sciences and Engineering Research Council (NSERC) del Canada e dall'Exploration Grant (00753) del New Frontiers in Research Fund. Tutte le opinioni, i risultati, le conclusioni o le raccomandazioni espresse in questo materiale sono dell'autore o degli autori e non riflettono necessariamente quelle degli sponsor.