Prestazioni delle immagini motorie attraverso gemelli digitali incorporati in un ambiente di interfaccia cervello-computer abilitato alla realtà virtuale

L'immaginazione motoria in un ambiente di realtà virtuale ha ampie applicazioni nei sistemi di interfaccia cervello-computer. Questo manoscritto delinea l'uso di avatar digitali personalizzati che assomigliano ai partecipanti che eseguono movimenti immaginati dal partecipante in un ambiente di realtà virtuale per migliorare l'immersione e il senso di proprietà del corpo.

Questo studio introduce un framework innovativo per la riabilitazione neurologica integrando le tecnologie di interfacce cervello-computer (BCI) e realtà virtuale (VR) con la personalizzazione di avatar tridimensionali (3D). Gli approcci tradizionali alla riabilitazione spesso non riescono a coinvolgere pienamente i pazienti, principalmente a causa della loro incapacità di fornire un'esperienza profondamente immersiva e interattiva. Questa ricerca cerca di colmare questa lacuna utilizzando tecniche di imaging motorio (MI), in cui i partecipanti visualizzano movimenti fisici senza un'esecuzione effettiva. Questo metodo sfrutta i meccanismi neurali del cervello, attivando le aree coinvolte nell'esecuzione del movimento quando si immaginano i movimenti, facilitando così il processo di recupero. L'integrazione delle capacità immersive della realtà virtuale con la precisione dell'elettroencefalografia (EEG) per catturare e interpretare l'attività cerebrale associata ai movimenti immaginati costituisce il cuore di questo sistema. I Digital Twin sotto forma di avatar 3D personalizzati vengono utilizzati per migliorare significativamente il senso di immersione all'interno dell'ambiente virtuale. Questo accresciuto senso di incarnazione è fondamentale per una riabilitazione efficace, con l'obiettivo di rafforzare la connessione tra il paziente e la sua controparte virtuale. In questo modo, il sistema non solo mira a migliorare le prestazioni delle immagini motorie, ma cerca anche di fornire un'esperienza di riabilitazione più coinvolgente ed efficace. Attraverso l'applicazione in tempo reale di BCI, il sistema consente di tradurre direttamente i movimenti immaginati in azioni virtuali eseguite dall'avatar 3D, offrendo un feedback immediato all'utente. Questo ciclo di feedback è essenziale per rafforzare i percorsi neurali coinvolti nel controllo motorio e nel recupero. L'obiettivo finale del sistema sviluppato è quello di migliorare significativamente l'efficacia degli esercizi di imaging motorio rendendoli più interattivi e reattivi ai processi cognitivi dell'utente, aprendo così un nuovo percorso nel campo della riabilitazione neurologica.

I paradigmi riabilitativi per i pazienti con disabilità neurologiche stanno subendo un cambiamento trasformativo con l'integrazione di tecnologie avanzate come le interfacce cervello-computer (BCI) e la realtà virtuale immersiva (VR), offrendo un metodo più sfumato ed efficace per favorire il recupero. L'immaginazione motoria (MI), la tecnica al centro della riabilitazione basata sulla BCI, prevede la prova mentale di movimenti fisici senza un'effettiva esecuzione motoria¹. L'infarto miocardico sfrutta un meccanismo neurale in cui l'immaginazione di un movimento innesca un modello di attività cerebrale che rispecchia da vicino quello dell'esecuzione dell'azione fisica stessa ^2,3,4. In particolare, l'impegno nell'infarto miocardico porta a un fenomeno noto come desincronizzazione correlata agli eventi (ERD) nelle bande di frequenza alfa (8-13 Hz) e beta (13-25 Hz) dell'attività elettrica del cervello ^5,6,7. L'ERD è indicativo di una soppressione dei ritmi cerebrali di base, un modello osservato anche durante il movimento effettivo, fornendo così un substrato neurale per l'uso dell'infarto miocardico all'interno dei quadri di riabilitazione assistita da BCI⁷. Una tale somiglianza nell'attivazione corticale tra infarto miocardico e movimento fisico suggerisce che l'infarto miocardico può stimolare efficacemente le reti neurali coinvolte nel controllo motorio, rendendolo uno strumento prezioso per i pazienti con deficit motori⁸. Inoltre, la pratica dell'MI è stata estesa oltre la mera prova mentale per includere strategie di osservazione dell'azione⁹. Osservare il movimento di parti del corpo correlate al compito o le azioni in altri può attivare la rete di neuroni specchio (MNN), un gruppo di neuroni che rispondono sia all'osservazione dell'azione che all'esecuzione⁹. È stato dimostrato che l'attivazione della MNN attraverso l'osservazione induce plasticità corticale, come evidenziato da varie modalità di neuroimaging, tra cui la risonanza magnetica funzionale¹⁰, la tomografia a emissione di positroni¹¹ e la stimolazione magnetica transcranica¹². L'evidenza supporta l'idea che l'allenamento dell'infarto miocardico, potenziato dall'osservazione dell'azione, può portare a un significativo adattamento neurale e recupero negli individui affetti.

La tecnologia della realtà virtuale ha rivoluzionato il regno della riabilitazione basata sull'MI offrendo un ambiente immersivo che migliora il senso di proprietà del corpo e offusca le distinzioni tra il mondo reale e quello virtuale 13,14,15. La qualità immersiva della realtà virtuale la rende uno strumento efficace per l'osservazione dell'azione e la pratica delle immagini motorie, in quanto consente ai partecipanti di percepire l'ambiente virtuale^{come reale.} La ricerca ha dimostrato che i dispositivi VR hanno un effetto più pronunciato sull'allenamento MI rispetto ai tradizionali display 2D^15,16. Tali risultati sono evidenziati da una maggiore attività neurale, come l'aumento dei rapporti di ampiezza ERD nella corteccia sensomotoria, evidenziando i benefici di livelli di immersione più elevati nella stimolazione dell'attività cerebrale durante gli esercizi di infarto miocardico guidati visivamente¹⁶. Il sistema aiuta a migliorare le prestazioni dell'infarto miocardico per le attività che coinvolgono i movimenti delle braccia o degli arti fornendo un feedback diretto, migliorando così il processo di riabilitazione^16,17. La sinergia tra MI e VR enfatizza l'integrazione delle attività sensoriali, percettive, cognitive e motorie^18,19. La combinazione è stata particolarmente vantaggiosa per i sopravvissuti all'ictus^20,21 e per i veterani di guerra²², poiché gli studi hanno dimostrato che l'integrazione della realtà virtuale nei protocolli di riabilitazione basati sull'infarto miocardico può ridurre significativamente i tempi di riabilitazione e migliorare i risultati del recupero. La caratteristica unica della VR in riabilitazione risiede nella sua capacità di creare un senso di presenza all'interno di un ambiente virtuale appositamente progettato, migliorando l'esperienza di riabilitazione che è ulteriormente aumentata dall'inclusione di avatar virtuali che rappresentano il corpo dell'utente, che è stato sempre più utilizzato negli studi di riabilitazione motoria²³. Questi avatar offrono una rappresentazione tridimensionale realistica dei movimenti degli arti, aiutando l'infarto miocardico e influenzando in modo significativo l'attivazione della corteccia motoria. Consentendo ai partecipanti di visualizzare i loro sé virtuali mentre eseguono compiti specifici, la realtà virtuale non solo arricchisce l'esperienza MI, ma favorisce anche una riorganizzazione neurale più rapida ed efficace e un processo di recupero²⁴. L'implementazione di avatar virtuali e ambienti simulati nella formazione MI enfatizza l'uso naturale e integrato dei corpi virtuali all'interno di mondi virtuali immersivi.

Nonostante i notevoli vantaggi del controllo basato su BCI di avatar 3D nell'infarto miocardico per la riabilitazione, rimane una limitazione significativa nell'uso predominante di metodologie offline. Attualmente, la maggior parte delle applicazioni BCI prevede l'acquisizione di dati elettroencefalografici (EEG) preregistrati che vengono successivamente utilizzati per manipolare un avatar^24,25. Anche negli scenari in cui si ottiene il controllo dell'avatar in tempo reale, questi avatar sono spesso generici e non assomigliano ai partecipanti che rappresentano²³. Questo approccio generico perde un'opportunità fondamentale per approfondire l'immersione e il senso di proprietà del corpo, che è fondamentale per una riabilitazione efficace²⁴. La creazione di un avatar 3D che rispecchi l'esatta somiglianza del soggetto potrebbe migliorare significativamente l'esperienza immersiva dell'esperienza¹⁶. Visualizzando se stessi nel mondo virtuale, i partecipanti potrebbero favorire una connessione più forte tra i loro movimenti immaginati e reali, portando potenzialmente a modelli ERD più pronunciati e, quindi, a un adattamento e un recupero neurale più efficaci¹⁶. Avanzando verso il controllo in tempo reale di avatar 3D personalizzati, il campo della BCI e della VR può migliorare significativamente i paradigmi di riabilitazione, offrendo un metodo più sfumato, coinvolgente ed efficace per il recupero del paziente.

Il presente manoscritto presenta la creazione, la progettazione e gli aspetti tecnologici sia dell'hardware che del software del controllo BCI in tempo reale basato su VR di avatar 3D, evidenziando i suoi risultati innovativi che ne supportano l'integrazione in contesti di riabilitazione motoria. Il sistema proposto utilizzerà l'elettroencefalografia (EEG) per catturare i segnali di immagini motorie generati dal soggetto, che verranno poi utilizzati per controllare i movimenti e le azioni dell'avatar in tempo reale. L'approccio attuale combinerà le capacità avanzate della tecnologia VR con la precisione dell'EEG nel riconoscere e interpretare l'attività cerebrale correlata ai movimenti immaginati, con l'obiettivo di creare un'interfaccia più coinvolgente ed efficace per consentire agli utenti di interagire con gli ambienti digitali attraverso il potere dei loro pensieri.

Il presente studio mira a indagare la fattibilità del controllo di un avatar 3D in tempo reale all'interno di un ambiente VR utilizzando segnali MI registrati tramite EEG. Lo studio si concentra sul miglioramento dell'immersione e del senso di proprietà del corpo personalizzando l'avatar per assomigliare molto al soggetto. Il protocollo ha ricevuto l'approvazione dal Vellore Institute of Technology Review Board. I partecipanti hanno fornito il consenso informato scritto dopo aver esaminato lo scopo, le procedure e i potenziali rischi dello studio.

1. Configurazione sperimentale

NOTA: Assicurarsi che il sistema incorpori tutti i componenti come illustrato nello schema della configurazione sperimentale in Figura 1 (vedere la tabella dei materiali per l'apparecchiatura utilizzata).

1. Sviluppo avatar 3D
   1. Modellazione dell'avatar
      1. Il giorno prima della raccolta dei dati, raccogli più fotografie facciali da varie angolazioni e misurazioni precise del corpo da ciascun partecipante.
      2. Fare clic su Software di modellazione per aprirlo. Subito dopo l'apertura, trova il cursore per Genere. Regola questo cursore in modo che corrisponda al sesso del modello che si desidera creare.
      3. Vai alla scheda Modellazione nella parte superiore dello schermo e fai clic sulla scheda per accedere alle opzioni di personalizzazione del corpo.
      4. Usa i cursori sotto varie sezioni, come busto, braccia, gambe, ecc., per modellare il corpo. Concentrati sulle seguenti misure di base: altezza, petto/busto, vita, fianchi, lunghezza delle gambe e lunghezza delle braccia.
      5. Fai clic sulla scheda Pose/Animate e seleziona lo scheletro predefinito per le animazioni di base. Vai al menu File in alto, seleziona Esporta, quindi scegli il. Formato MHX2 per la compatibilità con il software di animazione. Assicurati di selezionare l'opzione Esporta con rig per includere lo scheletro. Scegli una cartella di destinazione, assegna un nome al file e fai clic su Esporta.
      6. Apri il software di animazione. Vai su File > Importa e seleziona .mhx2 o il formato previsto. Passare al file salvato, selezionarlo e importarlo nel software.
      7. Vai al menu Modifica, seleziona Preferenze > componenti aggiuntivi e assicurati che il plug-in appropriato per creare volti sia abilitato.
      8. Nella vista 3D, passa al layout preimpostato fornito dal plug-in o vai al pannello del plug-in, di solito situato sullo scaffale degli strumenti sul lato sinistro.
      9. Fare clic su Crea una nuova testa nel pannello del plugin per avviare il modello della testa. Utilizzare il pulsante Aggiungi foto per importare le foto del partecipante. Utilizza i profili anteriori e laterali per una modellazione accurata.
      10. Segui le istruzioni per allineare i punti sulle foto con i punti corrispondenti sul modello 3D. Il plug-in regolerà quindi il modello della testa in modo che corrisponda alle caratteristiche del partecipante. Una volta soddisfatto della somiglianza, finalizza il modello della testa.
      11. Posizionare manualmente il modello della testa in modo che si allinei con il collo del modello del corpo. Regola la scala e la rotazione della testa per una vestibilità perfetta.
      12. Usa lo strumento Aggancia (Maiusc+Tab) per allineare con precisione i vertici del collo sulla testa con quelli sul corpo.
      13. Una volta allineati, unisci la testa e il corpo selezionando entrambe le mesh, premendo Ctrl+J per unirle in un unico oggetto.
      14. Importa o modella un paio di bonghi e posizionali davanti al modello a un'altezza appropriata.
   2. Animazione dell'avatar
      1. Passa alla modalità Posa per il modello truccato. Al fotogramma 1, seleziona tutte le ossa e inserisci un fotogramma chiave (usa il tasto I) per consentire a LocRotScale di registrare le loro posizioni iniziali.
      2. Sposta la timeline in avanti fino al fotogramma 30 per posizionare la mano sinistra per colpire il bongo.
      3. Muovi e ruota l'armatura della mano sinistra per simulare il colpo del bongo. Inserisci un fotogramma chiave per queste ossa. Ripeti questo processo per riportare la mano alla posizione iniziale al fotogramma 60, inserendo un altro fotogramma chiave per completare l'azione.
      4. Sposta la timeline al fotogramma 90, dove la mano destra inizia la sua azione. Simile alla mano sinistra, regola la posizione e la rotazione della mano destra per simulare il colpo dell'altro bongo e inserisci un fotogramma chiave.
      5. Riporta la mano nella posizione iniziale e inserisci un fotogramma chiave per terminare il movimento al fotogramma 150.
      6. Scorri la timeline per rivedere l'animazione. Regolare secondo necessità per un movimento più fluido o un migliore tempismo tra i colpi di bongo. Salva il file.
2. Configurazione dell'attrezzatura
   1. Assemblare il sistema di acquisizione dati EEG a 16 canali collegando il modulo Daisy con 8 canali EEG sulla parte superiore della scheda con 8 canali EEG.
   2. Collegare l'elettrodo di riferimento tramite un cavo Y-Splitter al pin di riferimento inferiore sulla Daisy Board e al pin di riferimento inferiore della scheda nella parte inferiore, entrambi etichettati come SRB.
   3. Collegare l'elettrodo di terra al pin BIAS sulla scheda inferiore.
   4. Collegare i 16 elettrodi EEG ai pin della scheda inferiore etichettati N1P-N8P e ai pin inferiori a margherita etichettati N1P-N8P.
   5. Inserire gli elettrodi sul cappuccio privo di gel nelle posizioni etichettate aderendo al sistema internazionale 10-20 per il posizionamento degli elettrodi con elettrodi etichettati come FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 e T4.
   6. Immergere 18 spugne fornite per gli elettrodi EEG in una soluzione salina con 5 g di cloruro di sodio mescolato in 200 ml di acqua di rubinetto per 15 minuti.
   7. Inserire le spugne imbevute sul lato inferiore di ciascun elettrodo per stabilire il contatto tra il cuoio capelluto e l'elettrodo.
   8. Fai sedere comodamente i partecipanti in una stanza tranquilla. Posiziona la cuffia EEG senza gel sul cuoio capelluto del partecipante, assicurandoti che la cuffia sia allineata correttamente per adattarsi alle orecchie del partecipante.
   9. Collegare il dongle USB al laptop. Aprire la GUI EEG, fare clic sul sistema EEG, sotto l'opzione Origine dati selezionare Seriale (da Dongle), 16 canali e AUTO-CONNECT.
   10. All'interno della schermata Acquisizione dati, selezionare il widget del segnale per verificare la qualità del segnale degli elettrodi collegati verificando un livello di impedenza ottimale di <10 kΩ in ciascun sito^{dell'elettrodo 26}.
   11. Se l'impedenza è superiore a 10 kΩ, aggiungere alcune gocce di soluzione salina alla spugna sotto l'elettrodo. Dopo il controllo dell'impedenza, chiudere la GUI.
   12. Aprire il software del server di acquisizione, selezionare la scheda EEG appropriata in Driver e fare clic su Connect > Play per stabilire una connessione con il sistema EEG.
   13. Prepara il visore VR igienizzandolo con salviette e posizionandolo sulla testa del partecipante sopra la cuffia EEG per facilitare un'interazione coinvolgente durante l'acquisizione dei dati EEG.
3. Configurazione del gioco
   NOTA: le seguenti istruzioni descrivono la configurazione di due scenari del motore di gioco utilizzando Open Sound Control (OSC): uno per l'addestramento delle immagini motorie (feedforward) e un altro per il test delle immagini motorie (feedback). Lo scenario feedforward addestra gli utenti nelle immagini motorie attraverso animazioni osservate attivate da messaggi OSC. Lo scenario di feedback verifica l'efficacia delle immagini motorie animando i movimenti immaginati dall'utente in base agli input OSC.
   1. Apri il software del motore di gioco e seleziona Progetto di formazione sulle immagini motorie. Abilita il supporto VR: vai a Modifica impostazioni progetto > > Impostazioni > lettore XR, seleziona Realtà virtuale supportata e assicurati che il visore VR sia elencato in SDK per realtà virtuale.
   2. Elimina la fotocamera predefinita e trascina la fotocamera VR nella scena dal pacchetto di integrazione VR.
   3. Posizionate il file di animazione importato nella scena. Regolare la scala e l'orientamento secondo necessità. Assicurati che OSCListener GameObject con script pre-scritti sia impostato per attivare animazioni del modello per i movimenti della mano sinistra e destra in base ai messaggi OSC, simulando l'azione di colpire il bongo per l'addestramento delle immagini motorie.
   4. Apri File > Impostazioni build nel software del motore di gioco. Seleziona PC, Mac e Linux Standalone, scegli come destinazione Windows, quindi fai clic su Genera ed esegui.
   5. Per il progetto di test delle immagini motorie, eseguire passaggi simili a quelli del progetto di formazione sulle immagini motorie. Utilizzare l'oggetto GameObject OSCListener configurato con script progettati per ricevere segnali OSC indicativi dei movimenti della mano immaginati dal partecipante, attivando le animazioni corrispondenti per il progetto di test.

Figura 1: Configurazione VR-BCI. L'intera configurazione VR-BCI mostra il partecipante che indossa il visore VR e la cuffia EEG. I partecipanti hanno visualizzato l'avatar 3D personalizzato nell'ambiente virtuale e ne hanno controllato l'azione utilizzando i segnali cerebrali trasmessi al computer in modalità wireless. Clicca qui per visualizzare una versione più grande di questa figura.

2. Progettazione sperimentale

1. Fase di verifica del segnale
   1. Apri lo strumento software per progettare ed eseguire scenari di immagini motorie, vai su File e carica i sei scenari Motor-Imagery-BCI etichettati Verifica del segnale, Acquisizione, Addestramento CSP, Addestramento classificatore, Test e Matrice di confusione.
   2. Passare allo scenario di verifica del segnale. Applica un filtro passa-banda compreso tra 1 e 40 Hz con un ordine di filtro di 4 ai segnali grezzi utilizzando le scatole di progettazione per un'elaborazione del segnale ottimizzata.
2. Fase di formazione
   1. Guida e istruisci i partecipanti a sottoporsi a compiti di immaginazione motoria, immaginando i movimenti delle mani in risposta a segnali visivi.
   2. Apri il file per l'allenamento con le immagini motorie e visualizza l'avatar 3D preparato in piedi su una serie di bonghi attraverso il visore VR.
   3. Passare allo scenario di acquisizione e fare doppio clic sullo stimolatore di immagini del motore Graz per configurare la casella.
   4. Configura prove di 50, 5 s (cue-1.25 s e MI-3.75 s) sia per i movimenti della mano sinistra che per quelli destrorsi, incorporando un periodo di base di 20 s seguito da intervalli di 10 s di riposo dopo ogni 10 prove per evitare l'affaticamento mentale.
   5. Configura le prove con la mano sinistra e destra in modo che siano randomizzate e disponi di un segnale prima della prova che indichi la mano da immaginare.
   6. Collegare una scatola OSC con l'indirizzo IP e la porta per trasmettere il segnale per la mano da immaginare al programma del motore di gioco di formazione delle immagini motorie.
   7. Chiedi ai partecipanti di immaginare di eseguire il movimento della loro mano insieme all'avatar 3D seguendo lo stesso ritmo dell'avatar mentre colpisce il bongo con la mano corrispondente, seguendo un segnale di testo che mostra quale mano deve essere immaginata.
3. Formazione CSP e LDA
   1. Dopo l'acquisizione, eseguire lo scenario di addestramento CSP per analizzare i dati EEG della fase di acquisizione e calcolare i modelli spaziali comuni (CSP), creando filtri per distinguere tra immagini della mano sinistra e destra.
   2. Dopo l'addestramento CSP, passare allo scenario di addestramento del classificatore ed eseguirlo per utilizzare l'analisi discriminante lineare (LDA) utilizzando i filtri CSP per una classificazione efficiente delle attività, preparando il sistema per il controllo avatar in tempo reale.
4. Fase di collaudo
   1. Passa allo scenario di test per consentire ai partecipanti di controllare i propri avatar 3D in tempo reale utilizzando la tecnologia dell'interfaccia cervello-computer (BCI).
   2. Caricare nelle apposite caselle i classificatori addestrati durante lo scenario precedente sui dati EEG acquisiti mentre i partecipanti immaginavano i movimenti delle mani per interpretare queste azioni immaginate in tempo reale.
   3. Assicurarsi che il sistema EEG e la configurazione VR siano operativi e configurati correttamente secondo le impostazioni della fase di allenamento.
   4. Informare i partecipanti sulla procedura di test, sottolineando la necessità di immaginare chiaramente i movimenti della mano (bongo che colpisce con la mano sinistra o destra) come suggerito da segnali di testo.
   5. Simile alla fase di allenamento, condurre 20 prove per ogni partecipante, divise equamente tra l'immaginazione dei movimenti della mano sinistra e destra e randomizzate.
   6. Collega e configura una scatola OSC per trasmettere le informazioni cue da visualizzare come testo che indica quale mano deve essere visualizzata nel programma del motore di gioco.
   7. Connettiti a un'altra casella OSC per trasmettere il valore previsto per i movimenti della mano sinistra e destra per il programma del motore di gioco per riprodurre l'animazione corrispondente in base alla mano immaginata dal partecipante.
   8. Eseguire lo scenario di test. Esegui il programma del motore di gioco Motor Imagery Testing.

3. Raccolta e analisi dei dati

1. Registra continuamente i dati EEG e le uscite del classificatore durante le fasi di acquisizione e test dell'esperimento, con i dati campionati a 125 Hz.
2. Passare allo scenario Matrice di confusione e caricare il file EEG acquisito nella casella denominata Lettore di flusso generico per ciascun partecipante e per entrambe le fasi di acquisizione e formazione.
3. Esegui lo scenario per ottenere la matrice di confusione per valutare l'accuratezza con cui il sistema BCI interpreta i segnali delle immagini motorie.
4. Raccogli il feedback dei partecipanti in merito alla loro esperienza con la facilità d'uso, le capacità di controllo, il livello di immersione e il comfort dell'avatar mentre indossano la cuffia EEG e il visore VR.

I risultati mostrati provengono da 5 individui che hanno seguito il protocollo sopra descritto. Hanno partecipato allo studio un totale di 5 adulti sani (3 femmine) di età compresa tra 21 e 38 anni.

Le prestazioni di classificazione individuale per ciascun partecipante sia in condizioni di allenamento con immagini motorie che di test sono mostrate nella Figura 2. È stata calcolata una matrice di confusione media per tutti i soggetti per valutare l'accuratezza del classificatore nel distinguere tra segnali MI sinistro e destro durante le sessioni di formazione e test (vedi Figura 3).

I pesi CSP calcolati per le immagini motorie sinistra e destra durante la sessione di allenamento sono stati proiettati come modello topografico per un partecipante rappresentativo nella Figura 4A. Inoltre, è stata condotta un'analisi tempo-frequenza per lo stesso partecipante sui dati EEG raccolti dall'elettrodo C4, che era posizionato sopra l'area sensomotoria destra controlaterale corrispondente alla mano sinistra, e dall'elettrodo C3, situato sopra l'area sensomotoria sinistra per la mano destra. I grafici tempo-frequenza per identificare le perturbazioni spettrali correlate agli eventi (ERSP), che rivelano come l'ampiezza delle frequenze che vanno da 8 a 30 Hz cambia dinamicamente nel tempo durante un'epoca, sono mostrati nella Figura 4B sotto la sessione di addestramento con immagini motorie. Concentrandosi sulle bande alfa (8-12 Hz) e beta (13-30 Hz), gli ERSP per ogni epoca sono stati normalizzati dividendoli per i loro spettri di base e da questi valori normalizzati è stato calcolato un ERSP medio.

Inoltre, il feedback dei partecipanti è stato ampiamente positivo sul comfort e la facilità d'uso della cuffia EEG e del visore VR. I partecipanti sono stati particolarmente entusiasti del controllo in tempo reale dei loro avatar 3D. Tuttavia, i partecipanti hanno ritenuto che l'azione di colpire il bongo potesse essere accompagnata da un feedback sonoro per una migliore immersione.

Figura 2: Percentuali di precisione per ciascun partecipante durante le sessioni di allenamento e test con immagini motorie. Il tasso di vero positivo (TP) mostra la proporzione di segnali di immagini motorie (MI) che il modello di classificatore ha correttamente identificato come segnali MI. Il tasso di falsi positivi (FP) indica la frequenza con cui i segnali MI sinistro sono stati erroneamente classificati come segnali MI destro. Il tasso di falsi negativi (FN) rivela la proporzione di segnali MI sinistri effettivi che il modello non è riuscito a rilevare. Infine, il tasso di vero negativo (TN) indica la proporzione di segnali MI destro che il modello ha riconosciuto con precisione come tali. S1, S2, S3, S4 e S5 indicano i cinque partecipanti. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Matrici di confusione media delle prestazioni di classificazione durante l'addestramento e le sessioni di test con immagini motorie. L'accuratezza media complessiva riflette la capacità del modello di classificare correttamente i segnali MI sinistro e destro. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4: Filtro CSP, pattern e grafici tempo-frequenza per entrambe le mani durante una sessione di allenamento con immagini motorie per un partecipante rappresentativo. (A) La figura mostra i filtri CSP per S1 che differenziano al massimo tra le due classi (sinistra e destra) in base alla varianza. (B) Il grafico tempo-frequenza per S1. Le regioni blu mostrano la desincronizzazione correlata all'evento. A 0 ms il segnale per immaginare la mano sinistra o destra veniva visualizzato per una durata di 1250 ms. Dopo la denominazione, il partecipante ha immaginato il movimento del bongo con la mano corrispondente. Clicca qui per visualizzare una versione più grande di questa figura.

L'applicazione dell'infarto miocardico in combinazione con la tecnologia VR offre una strada promettente per la riabilitazione sfruttando i meccanismi naturali del cervello per la pianificazione e l'esecuzione motoria. La capacità dell'MI di indurre la desincronizzazione correlata agli eventi in specifiche bande di frequenza cerebrali, rispecchiando l'attività neurale del movimento fisico ^2,3,4, fornisce un quadro robusto per coinvolgere e rafforzare le reti neurali coinvolte nel controllo motorio⁸. Questo processo è ulteriormente potenziato dalla qualità immersiva della VR, che non solo amplifica il senso di presenza e di proprietà del corpo, ma facilita anche la visualizzazione dei movimenti, arricchendo così l'esperienza MI¹⁶.

Lo sviluppo di avatar 3D personalizzati che assomigliano molto ai soggetti che rappresentano segna una notevole innovazione in questo campo 13,14,15. L'approccio è concettualmente allineato con il lavoro di Skola et ^al.27 sull'allenamento MI-BCI co-adattivo utilizzando attività gamificate in un ambiente VR. Tuttavia, questo protocollo introduce una differenziazione significativa utilizzando un avatar 3D completo, che rispecchia fedelmente l'aspetto del partecipante, in contrasto con la prospettiva del punto di vista focalizzata sulle mani impiegata da Skola et al. Fornendo una rappresentazione visiva dei movimenti immaginati dall'utente in tempo reale, questi avatar approfondiscono l'immersione e rafforzano la connessione tra i movimenti immaginati e quelli reali¹⁸. Si prevede che l'approccio descritto in questo manoscritto favorisca modelli ERD più pronunciati, portando a un adattamento e un recupero neurale più efficaci.

Tuttavia, la transizione dalle metodologie BCI offline al controllo in tempo reale degli avatar presenta delle sfide, in particolare nel garantire l'accuratezza e la reattività del sistema ai movimenti immaginati dall'utente. Il sistema garantisce il calcolo in tempo reale attraverso una configurazione che coinvolge il sistema di acquisizione dati EEG collegato a un laptop, che poi si interfaccia con un visore Oculus Rift-S VR. Questa configurazione consente la perfetta integrazione dell'acquisizione dei dati EEG con l'immersione in realtà virtuale, facilitata dal server di acquisizione e dal motore di gioco per il feedback visivo e l'interazione attraverso un avatar 3D sviluppato su misura.

La latenza complessiva del sistema può essere ridotta al minimo in modo efficiente in uno scenario di integrazione BCI-VR sfruttando un laptop da gioco dotato di una scheda grafica di fascia alta e impiegando messaggi leggeri su OSC per i segnali e i valori di previsione della mano. L'uso di un laptop da gioco garantisce una rapida elaborazione dei dati EEG acquisiti attraverso la scheda EEG, con una latenza iniziale di digitalizzazione e trasmissione ben al di sotto di 5 ms. Ci si può aspettare che la successiva elaborazione e classificazione del segnale contribuisca a una latenza aggiuntiva di circa 20-40 ms, tenendo conto sia del filtraggio del segnale che dell'esecuzione di algoritmi come CSP per l'estrazione delle caratteristiche. La comunicazione tra lo scenario designer e il motore di gioco, facilitata dall'OSC, che trasmette semplici segnali numerici per i movimenti della mano sinistra e destra, è progettata per un sovraccarico minimo, probabilmente aggiungendo non più di 5-10 ms di latenza. L'elaborazione di questi comandi da parte del motore di gioco, grazie all'efficienza computazionale della scheda grafica, sarebbe rapida, contribuendo con un altro ritardo inferiore a 10 ms prima di eseguire il rendering del feedback visivo nell'ambiente VR fornito dal visore VR, che mira a mantenere la latenza al di sotto dei 20 ms. Collettivamente, questi componenti sinergizzano per mantenere la latenza totale del sistema entro un intervallo desiderabile di 45-75 ms, garantendo una reattività in tempo reale cruciale per esperienze VR immersive e applicazioni BCI efficaci.

Inoltre, ai partecipanti sono state fornite prove pratiche sufficienti come forma di modulo tutorial per familiarizzare con la configurazione VR e il ritmo dell'avatar durante la fase di formazione e utilizzare i loro pensieri per controllare l'avatar 3D nella fase di test. L'enfasi sulla verifica della qualità del segnale, l'uso di CSP e LDA per la classificazione delle attività e la fase di test dettagliata sono fondamentali per il successo del controllo avatar in tempo reale.

Si prevede che i risultati di questo studio contribuiranno al campo dimostrando la fattibilità e l'efficacia dell'utilizzo del controllo BCI in tempo reale di avatar 3D personalizzati per la riabilitazione. Confrontando l'accuratezza del rilevamento dell'intenzione motoria tra la fase di allenamento delle immagini motorie e i test in tempo reale, lo studio fornirà preziose informazioni sul potenziale di questa tecnologia per migliorare i risultati della riabilitazione. Inoltre, il feedback dei partecipanti sulla facilità di controllo e sul livello di immersione sperimentato informerà i futuri sviluppi delle tecnologie BCI e VR, con l'obiettivo di creare interfacce di riabilitazione più coinvolgenti ed efficaci.

I progressi nelle tecnologie BCI e VR aprono nuove possibilità per protocolli di riabilitazione più personalizzati, coinvolgenti ed efficaci. La ricerca futura dovrebbe concentrarsi sul perfezionamento della tecnologia per il controllo in tempo reale degli avatar, esplorando l'uso di algoritmi di apprendimento automatico più sofisticati per la classificazione dei segnali e ampliando l'applicazione di questo approccio a una gamma più ampia di condizioni neurologiche. Inoltre, sono necessari studi longitudinali per valutare l'impatto a lungo termine di questo metodo di riabilitazione sul recupero funzionale e sulla qualità della vita degli individui con disabilità neurologiche.

Sebbene l'integrazione dell'MI con la tecnologia VR nella riabilitazione sia molto promettente, diverse limitazioni meritano attenzione. Esiste una gamma significativa nella capacità degli individui di generare chiari segnali di infarto miocardico e le loro risposte neurali agli interventi di infarto miocardico e VR. Questa variabilità significa che l'efficacia del processo di riabilitazione può differire notevolmente tra i pazienti, rendendo la personalizzazione della terapia per adattarsi alle differenze individuali una sfida sostanziale. Inoltre, ottenere un'elevata precisione e reattività nel controllo in tempo reale degli avatar è un'impresa complessa. Ritardi o errori nell'interpretazione dei segnali MI possono interrompere l'esperienza immersiva, riducendo potenzialmente l'efficacia del processo di riabilitazione. Sebbene la tecnologia VR possa migliorare l'immersione e il coinvolgimento, può anche portare a disagio o cinetosi per alcuni utenti, compromettendo la loro capacità di impegnarsi in lunghe sessioni e, di conseguenza, il successo complessivo della terapia.

In conclusione, l'integrazione di BCI e VR, esemplificata dal controllo in tempo reale di avatar 3D personalizzati utilizzando segnali MI, rappresenta un approccio all'avanguardia alla riabilitazione neurologica. L'attuale protocollo non solo sottolinea la fattibilità tecnica di tale integrazione, ma pone anche le basi per una nuova era della riabilitazione in cui tecnologia e neuroscienze convergono per sbloccare il pieno potenziale della capacità di recupero e adattamento del cervello umano.

Gli autori non hanno alcun conflitto di interessi da rivelare.

Gli autori desiderano ringraziare tutti i partecipanti per il loro tempo e il loro coinvolgimento.