IntelliSleepScorer, un pacchetto software con un'interfaccia utente grafica per il punteggio automatizzato delle fasi del sonno dei mouse

Presentiamo un pacchetto software con un'interfaccia utente grafica per i ricercatori senza esperienza di codifica per valutare le fasi del sonno nei topi con un semplice download e funzionamento.

Il punteggio della fase del sonno nei roditori è il processo di identificazione delle tre fasi: sonno con movimenti oculari non rapidi (NREM), sonno con movimenti oculari rapidi (REM) e veglia. Il punteggio della fase del sonno è fondamentale per studiare le misure e gli effetti specifici della fase del sonno.

I modelli di sonno nei roditori differiscono da quelli negli esseri umani, caratterizzati da episodi più brevi di NREM e REM intervallati dalla veglia, e il tradizionale punteggio manuale della fase del sonno da parte di esperti umani richiede molto tempo. Per affrontare questo problema, studi precedenti hanno utilizzato approcci basati sull'apprendimento automatico per sviluppare algoritmi per classificare automaticamente le fasi del sonno, ma i modelli ad alte prestazioni con una grande generalizzabilità spesso non sono disponibili al pubblico/gratuiti né facili da usare per i ricercatori del sonno non addestrati.

Pertanto, abbiamo sviluppato un algoritmo LightGBM basato sull'apprendimento automatico addestrato con un set di dati di grandi dimensioni. Per rendere il modello disponibile ai ricercatori del sonno senza esperienza di codifica, è stato sviluppato uno strumento software chiamato IntelliSleepScorer (v1.2 - versione più recente) basato sul modello, che presenta un'interfaccia utente grafica facile da usare. In questo manoscritto, presentiamo istruzioni dettagliate per l'utilizzo del software per dimostrare uno strumento di punteggio automatico delle fasi del sonno comodo ed efficace nei topi per i ricercatori del sonno.

Il punteggio della fase del sonno nei roditori è la procedura per identificare le tre fasi: sonno con movimenti oculari non rapidi (NREM), sonno con movimenti oculari rapidi (REM) e veglia². Nei roditori, la NREM è caratterizzata da una ridotta attività muscolare, respirazione lenta e regolare, diminuzione della frequenza cardiaca e oscillazioni a bassa frequenza delle onde cerebrali. La fase REM nei roditori, simile a quella umana, mostra atonia muscolare, attivazione EEG e movimenti oculari rapidi, sebbene il verificarsi di sogni vividi sia meno chiaro nei roditori rispetto agli esseri umani ^2,3. Lo stato di "veglia" nei roditori è caratterizzato da un'attività cerebrale desincronizzata con onde ad alta frequenza e bassa ampiezza, aumento del tono muscolare e comportamento attivo, come la toelettatura e l'esplorazione⁴. Queste tre fasi possono essere identificate ispezionando i segnali dell'elettroencefalogramma (EEG) e dell'elettromiogramma (EMG)⁵.

I modelli di punteggio automatico della fase del sonno nei roditori sono molto necessari. Innanzitutto, il punteggio manuale delle fasi del sonno da parte di esperti umani è laborioso e richiede tempo. In secondo luogo, i modelli di sonno nei roditori differiscono da quelli negli esseri umani e hanno episodi più frammentati di NREM e REM intervallati dalla veglia, circa 10 minuti, rispetto ai 60-120 minuti negli esseri umani⁶. Pertanto, identificare questi brevi periodi durante l'assegnazione manuale dei punteggi è difficile. Ci sono stati molti tentativi dagli anni '60 di sviluppare un sistema di punteggio automatico dei dati sul sonno dei roditori⁷. Sebbene esistano molti metodi automatizzati di punteggio del sonno dei roditori, le loro prestazioni variano 8,9,10,11,12,13,14,15,16,17,18. È importante sottolineare che la maggior parte dei modelli ad alte prestazioni con un'elevata generalizzabilità non sono disponibili pubblicamente (alcuni richiedono richieste speciali da parte degli sviluppatori) o non sono gratuiti per i ricercatori del sonno.

Pertanto, per colmare l'attuale lacuna tecnologica, abbiamo sviluppato un modello basato sull'apprendimento automatico utilizzando un ampio set di dati di 5776 ore di segnali EEG ed EMG da 519 registrazioni su 124 topi con l'algoritmo LightGBM¹. lightGBM utilizza un approccio di potenziamento del gradiente per costruire alberi decisionali¹⁹. In Wang et al., 2023, il modello LightGBM (composto da oltre 8000 alberi decisionali) ha raggiunto un'accuratezza complessiva del 95,2% e un kappa di Cohen di 0,91, che ha superato due modelli di base ampiamente utilizzati come il modello di regressione logistica (accuratezza = 93,3%) e il modello della foresta casuale (accuratezza = 94,3%, kappa = 0,89). Anche le prestazioni complessive del modello hanno mostrato prestazioni simili a quelle degli esperti umani. Ancora più importante, è stato dimostrato che il modello ha generalizzabilità e non si adatta ai dati di addestramento originali¹: 1) Si è comportato bene (accuratezza > 89%) su altri due set di dati indipendenti disponibili pubblicamente, di Miladinovic e colleghi¹¹, con diverse frequenze di campionamento e lunghezze d'epoca; 2) Le prestazioni del modello non sono influenzate dal ciclo luce/buio dei topi; 3) Un modello LightGBM modificato ha ottenuto buoni risultati su dati contenenti solo un elettrodo EEG e un elettrodo EMG con kappa ≥ 0,89; 4) Per i test sono stati utilizzati sia topi wildtype che mutanti e le prestazioni del modello sono state accurate. Ciò suggerisce che il modello può valutare le fasi del sonno per i topi con diversi background genetici.

Al fine di rendere questo modello accessibile ai ricercatori del sonno che potrebbero non avere esperienza di codifica, abbiamo sviluppato IntelliSleepScorer, uno strumento software di facile utilizzo con un'interfaccia visivamente intuitiva. Il software può automatizzare completamente la procedura di punteggio del sonno nei topi. Produce visualizzazioni interattive dei segnali, dell'ipnogramma e dei valori SHAP (Shapley Additive Explanations) da un input di file EDF (European Data Format)/EDF+. L'approccio del valore SHAP, basato sulla teoria dei giochi cooperativi, migliora l'interpretabilità dei modelli di apprendimento automatico²⁰. Il modello offre valori SHAP sia globali che a livello di epoca, rivelando come i diversi valori delle caratteristiche contribuiscano alla decisione di punteggio del modello nel suo complesso e per ogni epoca. Questo programma avanzato riduce significativamente il tempo e lo sforzo necessari per il punteggio della fase del sonno nei topi, garantendo al contempo che l'analisi a valle possa fare affidamento su risultati altamente accurati. In questo manoscritto, presentiamo l'utilizzo passo dopo passo di IntelliSleepScorer (v1.2) con diversi aggiornamenti rispetto alla versione 1.0, tra cui un'opzione per eseguire l'analisi SHAP separatamente dalla previsione del modello di sonno, una lunghezza dell'epoca regolabile dall'utente per il punteggio della fase del sonno e una funzione di correzione manuale della fase del sonno integrata nella GUI.

Questo studio ha utilizzato i dati raccolti da esperimenti in vivo sui topi. Nello studio non sono stati coinvolti esperimenti sull'uomo. Tutti gli esperimenti con gli animali sono stati approvati dal Comitato Istituzionale per la Cura e l'Uso degli Animali presso il Broad Institute. Tutti gli esperimenti sono stati eseguiti in conformità con le linee guida e i regolamenti pertinenti. Le linee guida ARRIVE non sono applicabili a questo studio perché l'obiettivo di questo studio è sviluppare modelli di apprendimento automatico piuttosto che confrontare diversi gruppi di trattamento.

1. Preparazione dei dati

NOTA: Compatibilità dei dati: i dati registrati possono avere qualsiasi frequenza di campionamento superiore a 40 Hz. Non è necessario filtrare il segnale passa-banda perché il software filtra i segnali EEG ed EMG al primo passaggio. I modelli LightGBM sono stati sviluppati e testati utilizzando i dati dei topi. Non sono disponibili prove riguardanti le prestazioni dei modelli LightGBM in altri tipi di animali da laboratorio. Gli elettrodi di registrazione devono essere posizionati sulla corteccia frontale e parietale, o in entrambi i punti se viene registrato un solo canale EEG.

1. Disposizione e requisiti del formato EDF/EDF+
   NOTA: Il software utilizzato in questo studio legge solo i file EDF/EDF+ utilizzando il pacchetto MNE-Python. Per generare i file EDF/EDF+ è necessario applicare la specifica standard EDF/EDF+. Oltre alle specifiche standard, assicurarsi che le annotazioni EDF/EDF+ siano codificate in UTF-8. In caso contrario, l'applicazione software si arresterà in modo anomalo.
   1. Converti un altro formato di file (file non EDF/EDF+) in formato EDF/EDF+ con strumenti gratuiti online.
      NOTA: Non è necessario il filtro dell'apparecchio quando si ottengono segnali EEG ed EMG. Finché gli utenti campionano i dati EEG ed EMG a una frequenza di 40 Hz o superiore, il software funzionerà correttamente. Questo perché, nella fase iniziale di pre-elaborazione, i segnali vengono sottoposti a filtraggio passa-banda tra 1 Hz e 40 Hz. Questo filtro passa-banda è integrato nella pipeline di pre-elaborazione del software, eliminando la necessità per gli utenti di eseguire qualsiasi elaborazione aggiuntiva del segnale.
2. Ci sono due modelli all'interno del software per il punteggio. Uno è LightGBM-2EEG e l'altro è LightGBM-1EEG. Il modello LightGBM-2EEG è progettato per la registrazione di dati con 2 canali EEG e 1 canale EMG. Eseguire i seguenti passaggi a seconda del modello.
   1. Organizzare i file di dati per LightGBM-2EEG in modo specifico nel seguente ordine: 1) canale EEG registrato nell'area parietale; 2) canale EEG registrato nella zona frontale; 3) Canale EMG. Il LightGBM-1EEG è designato per i dati che contengono solo 1 canale EEG (posizionamento dell'elettrodo sull'area parietale o frontale) e 1 canale EMG.
   2. Organizzare i canali in file EDF/EDF+ per LightGBM-1EEG nel seguente ordine: 1) canale EEG; 2) Canale EMG.

2. Download di IntelliSleepScorer per utenti Windows, Mac e Linux

1. Per gli utenti Windows, è disponibile un eseguibile di Windows per il software utilizzando PyInstaller. Trova il link per il download sulla pagina di ricerca del gruppo Pan https://sites.broadinstitute.org/pan-lab/resources. Per gli utenti MacOS o Linux, utilizzare il codice sorgente sul repository GitHub https://github.com/broadinstitute/IntelliSleepScorer per avviare il software.
2. Accedi a due dati di esempio registrati per testare il programma salvato come file EDF scaricandoli tramite il repository GitHub.
3. Il repository del codice sorgente non include la cartella models a causa dei limiti di dimensione. Invece, scarica models.zip, decomprimilo e copia la cartella dei modelli all'interno del repository per l'esecuzione del programma. In caso contrario, il software si arresterà in modo anomalo a causa della mancanza di file del modello.

3. Avvio e funzionamento del flusso di lavoro e del programma

1. Avvia IntelliSleepScorer
   1. Per avviare il software in Windows, fare doppio clic su IntelliSleepScorer.exe che si trova nella cartella principale. Per avviare il software in MacOS o Linux, apri un emulatore di terminale, cambia la directory nella cartella principale del software, quindi avvia il software utilizzando il comando: python3 IntelliSleepScorer.py.
2. Una volta aperto il software, fare clic su Seleziona file EDF/EDF+ per selezionare i file desiderati per il punteggio. Se i file sono stati selezionati per errore, fare clic sul pulsante Cancella per cancellare l'elenco dei file selezionati.
   NOTA: Per impostazione predefinita, il software codifica le fasi di sospensione come Wake:1, NREM:2 e REM:3 nei file del punteggio di output. La lunghezza predefinita dell'epoca è impostata su 10 s. La versione corrente (v1.2) della GUI consente agli utenti di modificare le codifiche degli stadi o la lunghezza dell'epoca a 4 s, 10 s o 20 s con il menu a discesa.
3. Selezionare la lunghezza dell'epoca desiderata. Utilizzare il menu a discesa fornito per selezionare la lunghezza dell'epoca desiderata tra le opzioni di 4 s, 10 s e 20 s per il punteggio della fase del sonno.
4. Selezionare il modello da utilizzare per il punteggio del sonno. LightGBM-2EEG è destinato a file di dati con due canali EEG e un canale EMG, mentre LightGBM-1EEG è progettato per dati con un canale EEG e un canale EMG.
5. Prima di eseguire la previsione della fase del sonno, includere il calcolo SHAP aggiuntivo che consente di spiegare i risultati della previsione della fase del sonno. Per elaborare il calcolo SHAP, selezionare la casella di controllo Esegui/Stampa SHAP . L'elaborazione del calcolo SHAP richiede circa 5-10 minuti.
6. Fare clic su Assegna un punteggio a tutti i file. Il modello assegna automaticamente un punteggio a tutti i file EDF/EDF+ e calcola i valori SHAP globali ed epocali per interpretare le decisioni di punteggio nell'elenco, se si sceglie di farlo.
   NOTA: Durante il processo di assegnazione del punteggio, il modello genera i seguenti file e li salva nella stessa cartella in cui si trovano i file EDF/EDF+. Il modello utilizza questi file per tracciare i valori SHAP globali e i valori SHAP dell'epoca.
   
   "Nome file EDF/EDF+}_{model_name}_features.csv"; In questo file vengono memorizzati tutti i valori delle funzioni estratti.
   "Nome file EDF/EDF+}_{model_name}_scores.csv"; Questo file memorizza le fasi del sonno previste.
   "Nome file EDF/EDF+}_{model_name}_rs_100hz.npy"; Questo file memorizza una copia dei segnali ricampionati/sottocampionati (100Hz). Per migliorare la velocità di visualizzazione, il modello utilizza il segnale sottocampionato anziché il segnale originale durante la tracciatura del segnale.
   "EDF/EDF+ nome file}_{model_name}spiegazione. sottaceto"; "{Nome file EDF/EDF+}{model_name}shap_500samples.pickle"; "{Nome file EDF/EDF+}{model_name}_indicies_500samples.npy";
7. Dopo aver terminato il processo di punteggio del sonno, fare clic sull'opzione Visualizza il file selezionato per visualizzare i segnali EEG/EMG e un ipnogramma allineato nel tempo con i segnali.
   1. Assegna nuovamente un punteggio al file selezionato prima della visualizzazione se la lunghezza dell'epoca viene modificata.

4. Navigazione tra i risultati con punteggio

1. Fare clic sui pulsanti di navigazione forniti per spostarsi avanti e indietro per visualizzare i diversi dati dell'epoca.
2. Se si sceglie di eseguire il calcolo SHAP, visualizzare sia i valori SHAP globali che quelli a livello di epoca. Fare clic con il pulsante destro del mouse su un'epoca per tracciare i valori SHAP a livello di epoca.
   NOTA: Ci vorranno alcuni secondi per aggiornare il grafico SHAP a livello di epoca. La Figura 1 mostra la panoramica della pagina GUI dopo l'esecuzione della previsione per il file EDF/EDF+ Example-1 con il modello 1_LightBGM-2EEG.

5. Interpretazione dell'ipnogramma delle fasi del sonno segnate

NOTA: Ci sono 4 righe nell'ipnogramma (Figura 2). La riga superiore è rappresentata dai risultati previsti. Le 3 righe inferiori sono dati grezzi di 2 canali EEG e 1 EMG, rispettivamente. Nella riga superiore, l'arancione suggerisce la fase Wake , il blu suggerisce la fase NREM e il rosso suggerisce la fase REM in ogni epoca.

1. Per modificare il numero di epoche da visualizzare, fare clic sulla casella del menu a destra di Seleziona numero di epoche da visualizzare e scegliere il valore desiderato. Nella Figura 2, sono state scelte 100 epoche. Pertanto, nel grafico di previsione della fase del sonno vengono visualizzate solo 100 epoche. Seleziona un numero più piccolo nel menu a discesa per ingrandire il grafico.
2. La barra rosa trasparente a sinistra della Figura 2 indica la posizione corrente dell'epoca. Fare clic con il pulsante sinistro del mouse su qualsiasi punto dell'ipnogramma per passare a un'altra epoca, oppure semplicemente fare clic su Vai all'epoca e inserire un numero specifico di epoche da osservare. Fare clic con il pulsante destro del mouse sull'epoca selezionata per generare il grafico SHAP dell'epoca se l'utente ha abilitato la funzione SHAP.

6. Correzione manuale delle fasi di sonno previste sulla GUI (opzionale)

NOTA: se non viene osservata alcuna anomalia o non è richiesta un'accuratezza estremamente elevata per la previsione della fase REM, non è necessaria la verifica manuale.

1. Fare clic con il pulsante sinistro del mouse su un'epoca nel grafico di previsione della fase del sonno (grafico in alto) per selezionare un'epoca specifica. La fase prevista del modello dell'epoca selezionata è mostrata a destra del testo. Per modificare manualmente la fase prevista per quell'epoca, fare clic sul widget e selezionare una nuova fase dalle opzioni Wake, NREM e REM nel menu a discesa.
2. Le fasi corrette dall'utente sono contrassegnate con linee tratteggiate sopra il grafico originale (Figura 3). Chiudi la GUI e un nuovo file con i risultati di previsione corretti verrà generato automaticamente nella stessa cartella.
   1. Per aprire nuovamente un file segnato salvato sulla GUI, assicurarsi che l'impostazione della lunghezza dell'epoca e il modello selezionato corrispondano a quello utilizzato quando il file EDF è stato inizialmente elaborato per poterlo riaprire. Tutte le informazioni precedentemente modificate/valutate verranno caricate rapidamente.

Ci sono tre grafici (solo il grafico superiore se i valori SHAP non sono stati eseguiti) generati nella GUI dopo il punteggio della fase del sonno: il grafico superiore presenta i canali EEG ed EMG con un ipnogramma della previsione della fase del sonno. Il grafico centrale presenta i valori SHAP dell'epoca. Il grafico in basso presenta i valori SHAP globali (Figura 1).

Ci sono 4 tipi di dati presentati nel grafico dell'ipnogramma di previsione della fase del sonno (Figura 2). La riga superiore è rappresentata dai risultati previsti. Le 3 righe inferiori sono dati grezzi di 2 canali EEG e 1 EMG, rispettivamente. Nella riga superiore, l'arancione indica la fase "Wake", il blu la fase "NREM" e il rosso la fase "REM" in ogni epoca. L'epoca di esempio corrente è il 1305 ed è in una fase di "Veglia" perché la barra di localizzazione rosa si sovrappone a una linea di colore arancione.

Nella Figura 3, una fase corretta dall'utente è contrassegnata da linee tratteggiate sopra l'originale. La linea tratteggiata rossa indica che la fase del sonno è stata modificata da "Sveglia" a "REM".

Nella Figura 4 viene mostrato un esempio di risultato dell'epoca 1305 nel file di esempio 1. L'asse Y del grafico SHAP di Epoch mostra le prime 10 feature con i valori SHAP assoluti più alti per l'epoca selezionata. L'asse x mostra i valori SHAP, che indicano il contributo di ciascuna funzionalità alla stima rispetto alla previsione media. Il valore SHAP positivo indica un contributo positivo alla stima e viceversa. La funzione "emg_abs_max" ha un valore SHAP a livello di epoca molto positivo per la riattivazione, che indica che "emg_abs_max" dell'epoca selezionata aumenta la probabilità che l'epoca scelta venga valutata come "Risveglio" (Figura 4). Questo è fisiologicamente ragionevole perché una grande ampiezza EMG indica movimenti attivi, indicando così la fase di "Veglia".

Nell'esempio del grafico SHAP globale (Figura 5), ogni punto nel grafico p-swarm rappresenta un campione di dati. L'asse y dei grafici mostra le prime 10 caratteristiche con i valori SHAP globali assoluti più alti calcolati da 500 epoche campionate casualmente. L'asse x mostra i valori SHAP, che indicano il contributo di ciascuna funzionalità alla stima rispetto alla previsione media. A differenza del grafico SHAP dell'epoca, il grafico SHAP globale ha due dimensioni: il valore x di ciascun punto e l'intensità del colore del punto. Il valore SHAP positivo dell'asse x indica un contributo positivo alla previsione e viceversa. I campioni con un colore rosso più scuro hanno valori di funzione più elevati. Esaminando visivamente le correlazioni di posizione e il colore dei 500 punti per ogni caratteristica, è possibile interpretare come LightGBM prende decisioni in base ai valori di ciascuna caratteristica. Nel grafico SHAP globale "Wake", man mano che i valori SHAP per "emg_abs_max" aumentano da più negativi a più positivi, il colore dei punti diventa più scuro. Indica che l'aumento della probabilità di essere previsti come "Veglia" è correlato positivamente con l'aumento del valore di "emg_abs_max". Vale anche la pena notare che le funzionalità con distribuzioni più ampie di valori SHAP (valori assoluti più alti) contribuiscono maggiormente alla previsione da parte del modello. Ad esempio, il grafico SHAP NREM globale (Figura 5) ha un'ampia gamma di punti per la funzione "eeg2_gamma_delta_ratio". Il valore SHAP altamente negativo della funzionalità riduce la probabilità che il modello venga valutato come fase "NREM".

Figura 1: Panoramica della pagina GUI dopo l'esecuzione della previsione per il file EDF/EDF+ Example-1 con modello 1_LightBGM-2EEG. Vengono valutate sia la previsione della fase del sonno che il calcolo SHAP. Il grafico in alto mostra i canali EEG ed EMG con un ipnogramma della previsione della fase del sonno. Il grafico centrale mostra i valori SHAP dell'epoca. Il grafico inferiore mostra i valori SHAP globali. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: Ipnogramma di previsione della fase del sonno dal file EDF/EDF+ dell'Esempio-1. Ci sono 4 dati presentati nel grafico. La riga superiore è rappresentata dai risultati previsti. Le 3 righe inferiori sono dati grezzi di 2 canali EEG e 1 EMG, rispettivamente. Nella riga superiore, l'arancione indica la fase "Wake", il blu la fase "NREM" e il rosso la fase "REM" in ogni epoca. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Ipnogramma di previsione della fase del sonno dal file EDF/EDF+ dell'Esempio-1 con correzione manuale modificata dall'utente. L'epoca 1305 è stata modificata da fase "Wake" a fase "REM" come dimostrazione della correzione manuale della fase di sospensione all'interno della GUI. La linea rossa tratteggiata indica la fase del sonno "REM" modificata dall'utente. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4: Valori SHAP dell'epoca Wake, NREM e REM per il file EDF/EDF+ Example-1 all'epoca 1305. L'asse y del grafico SHAP Epoch mostra le prime 10 feature con i valori SHAP assoluti più alti per l'epoca selezionata. L'asse x mostra i valori SHAP, che indicano il contributo di ciascuna funzionalità alla stima rispetto alla previsione media. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: Valori SHAP globali di riattivazione, NREM e REM per il file EDF/EDF+ Example-1. Ogni punto nel grafico p-swarm rappresenta un campione di dati. L'asse y dei grafici mostra le prime 10 caratteristiche con i valori SHAP globali assoluti più alti calcolati da 500 epoche campionate casualmente. L'asse x mostra i valori SHAP, che indicano il contributo di ciascuna funzionalità alla stima rispetto alla previsione media. L'asse x del valore SHAP globale ha due dimensioni: il valore x di ciascun punto e l'intensità del colore del punto. Il valore SHAP positivo dell'asse x indica un contributo positivo alla previsione e viceversa. I campioni con un colore rosso più scuro hanno valori di funzione più elevati. Clicca qui per visualizzare una versione più grande di questa figura.

Questo documento illustra come utilizzare l'interfaccia utente grafica IntelliSleepScorer (v1.2) per assegnare automaticamente un punteggio alle fasi del sonno dei topi e come sfruttare i valori/grafici SHAP per comprendere meglio i punteggi delle fasi del sonno generati dal modello.

Una considerazione importante quando si utilizza il software è la compatibilità dei dati. I dati interni utilizzati in questo studio erano limitati agli elettrodi posizionati nelle regioni frontale e parietale. Nel set di dati indipendente di Miladinovic e colleghi¹¹, nonostante le diverse coordinate degli elettrodi per queste regioni, il software ha mantenuto prestazioni soddisfacenti. Sebbene il software possa essere applicabile ad altre regioni del cervello, non abbiamo condotto test per confermarlo. Pertanto, non possiamo affermare che non ci siano limitazioni per quanto riguarda il posizionamento degli elettrodi. Tuttavia, incoraggiamo gli utenti a testarlo se hanno registrazioni di altre regioni.

La durata delle sessioni di registrazione EEG/EMG per l'analisi della fase del sonno varia a seconda degli obiettivi specifici dello studio. In genere, le sessioni di registrazione durano 12 ore, coprendo la fase chiara o scura, o 24 ore, comprendendo entrambe le fasi in un solo giorno. Sia le registrazioni di 12 ore che quelle di 24 ore sono comunemente utilizzate per catturare schemi sonno-veglia distinti e ritmi circadiani. I test sul modello mostrano che il punteggio della fase del sonno è affidabile e accurato sia per le sessioni registrate di 12 ore che per quelle di 24 ore. Non esiste un limite massimo noto per la durata delle registrazioni.

Due passaggi degni di nota all'interno del protocollo software sono la pre-elaborazione dei dati e la verifica manuale. Per migliorare la generalizzabilità dei modelli addestrati, abbiamo tenuto conto del rumore e degli artefatti nei dati di input e abbiamo implementato misure minime di controllo della qualità. Il controllo di qualità che abbiamo eseguito ha lo scopo di escludere registrazioni scadenti dovute alla perdita di segnali. La perdita di segnali è solitamente causata da problemi di connessione, come elettrodi che si allentano o cadono. La perdita di segnali può causare errori nei punteggi del sonno generati dal software. Ad esempio, una linea piatta nel canale EMG di un topo sveglio a causa di un elettrodo EMG allentato può condividere la stessa caratteristica della fase immobile/sonno dei topi, il che può portare alla previsione "NREM" o "REM" da parte dei modelli LightGBM. Come riferimento, abbiamo utilizzato i seguenti criteri per escludere automaticamente le registrazioni che hanno avuto una quantità significativa di perdita di segnale: 1) l'ampiezza di qualsiasi segnale EEG è inferiore a 1 μV per almeno il 50% della durata della registrazione, o 2) l'ampiezza del segnale EMG è inferiore a 1 pV per almeno il 50% della durata della registrazione. Gli utenti devono implementare i propri criteri di controllo della qualità in base alla configurazione sperimentale e al sistema di registrazione. I disturbi di linea causati dalla corrente alternata si trovano solitamente a 50 Hz o 60 Hz. Questi disturbi di linea verranno rimossi durante la fase del filtro passa-banda (1-40 Hz) implementata nel software. Pertanto, non è necessario che gli utenti pre-elaborino i rumori di linea prima di inserire i dati nel software. Durante lo sviluppo del modello sono stati presi in considerazione rumori minori o fattori di interferenza, come i movimenti del corpo¹. L'approccio utilizzato in questo studio garantisce che la generalizzabilità del modello possa tollerare questi artefatti minori che non influenzano in modo significativo i risultati finali della stadiazione del sonno. Il formato, la qualità della registrazione e la sequenza organizzativa dei file di dati EDF sono tutti componenti critici per ottimizzare le prestazioni di questo modello pre-addestrato.

Per la verifica manuale, dato che il modello LightGBM ha ottenuto prestazioni scarse (punteggio REM F1 < 0,6) su alcune registrazioni, consigliamo agli utenti di verificare le fasi del sonno generate dal modello se il punteggio accurato delle fasi REM è fondamentale. Per gli studi incentrati sulla fisiologia della scia o dello stadio NREM, il modello LightGBM supporta ancora una pipeline analitica molto robusta e completamente automatizzata. L'interpretazione dei valori SHAP potrebbe diventare uno strumento eccellente in combinazione con la verifica manuale per confermare l'accuratezza dei risultati generati dal software. SHAP è un approccio che utilizza la teoria dei giochi per spiegare l'output dei modelli di apprendimento automatico. Collega l'allocazione ottimale del credito con le spiegazioni locali utilizzando i valori di Shapley classici e le relative estensioni²⁰. Ad esempio, nel grafico Valori SHAP NREM globali (Figura 4), se un punto rosso scuro appare improvvisamente sul lato destro della funzione "eeg2_gamma_delta_ratio", potrebbe indicare un'anomalia in quell'epoca. Ciò è dovuto al fatto che il punto campione dell'epoca isolato si discosta dall'intero set di dati. L'interpretazione dei grafici SHAP potrebbe anche fornire agli utenti una spiegazione chiara e di facile utilizzo del punteggio delle fasi del sonno. Ad esempio, i grafici SHAP dell'epoca forniscono informazioni su quali caratteristiche sono il fattore decisivo principale per il punteggio della fase del sonno. L'ipnogramma di previsione dei risultati (Figura 2) fornisce anche informazioni significative sui risultati della previsione. Nei casi in cui le fasi del sonno segnate nell'ipnogramma mostrano frequenti spostamenti tra le fasi di "veglia" e "REM", il che è fisiologicamente anormale, si raccomanda di condurre una valutazione completa del punteggio e dei corrispondenti valori SHAP per accertare la qualità dei risultati. Con i grafici SHAP e ipnografici, i ricercatori possono identificare rapidamente qualsiasi errore di previsione durante il punteggio delle fasi del sonno. Tuttavia, sebbene i valori SHAP spieghino il modo in cui il modello effettua le previsioni, non significano necessariamente che le previsioni o il modo in cui il modello esegue determinate previsioni siano corrette. L'obiettivo della presentazione dei valori SHAP è quello di aiutare gli utenti a comprendere il processo di assegnazione dei punteggi della fase del sonno e di consentire agli utenti di identificare rapidamente qualsiasi errore esaminando la logica del modello LightGBM.

Ci sono due caratteristiche eccezionali nella versione attuale (v1.2) del modello. Innanzitutto, dopo il paragrafo precedente, la verifica/correzione manuale potrebbe essere molto noiosa e scomoda se gli utenti devono tornare ai file CSV per apportare modifiche, soprattutto per registrazioni lunghe. Pertanto, offriamo una funzione di correzione manuale direttamente integrata nella GUI per consentire agli utenti di modificare la fase del sonno segnata in qualsiasi epoca. Dopo che l'utente ha fatto clic su un'epoca specifica, la fase di sospensione con punteggio di "Wake", "REM" o "NREM" verrà mostrata nel menu a discesa nella parte superiore della barra GUI. Se l'utente desidera cambiare la fase da una all'altra, può semplicemente selezionare un'altra fase dal menu a discesa e verrà generato un nuovo file con punteggio corretto manualmente dagli utenti. Inoltre, invece di una lunghezza d'epoca fissa standard di 10 secondi fornita per l'analisi, forniamo un'opzione per la regolazione della lunghezza dell'epoca sulla GUI per soddisfare le specifiche esigenze sperimentali di diversi ricercatori del sonno. Le opzioni ora sono le epoche 4-s, 10-s e 20-s, che sono tutte comunemente utilizzate tra i ricercatori del sonno. Anche se questo modello è stato addestrato con dati interni di epoche 10-s, le prestazioni del modello su test indipendenti di dati di epoche 4-s provenienti da diversi laboratori sono state paragonabili a quelle di esperti umani in tutte le fasi del sonno¹. Gli utenti devono prestare attenzione quando implementano epoche di 20 secondi perché 1) il punteggio dei topi di sonno/risveglio con epoche di 20 secondi può perdere eventi molto brevi come risvegli transitori; 2) È più probabile che le epoche di 20 anni comprendano stadi misti in ogni epoca⁸.

Sarà interessante confrontare questo modello con altri metodi di punteggio automatizzati delle fasi del sonno esistenti per gli utenti. Oltre a IntelliSleepScorer, ci sono alcuni altri modelli sviluppati per il punteggio automatico delle fasi del sonno con vari gradi di precisione, complessità ed efficacia 8,9,10,11,12,13,14,15,16,17,18 . Il modello utilizzato in questo studio utilizza l'algoritmo LightGBM per ottenere un'elevata precisione nel punteggio della fase del sonno, paragonabile ai modelli esistenti. Nella nostra valutazione, IntelliSleepScorer ha dimostrato un'accuratezza complessiva del 95,2%, che è alla pari con le metriche di prestazione riportate per modelli simili come MC-SleepNet⁸ e Sleep-Deep-Learner⁹. Tuttavia, la vera distinzione di IntelliSleepScorer non risiede solo nella sua precisione, ma anche nella sua accessibilità e facilità d'uso per i ricercatori non addestrati con un'esperienza di codifica limitata.

MC-SleepNet⁸, addestrato utilizzando reti neurali profonde su un ampio set di dati di 4200 topi, raggiunge un'elevata precisione di punteggio del 96,4% e una statistica kappa di 0,94, superando la maggior parte dei metodi esistenti. Tuttavia, per quanto ne sappiamo, ad oggi non esiste un software basato su MC-SleepNet che sia disponibile pubblicamente/gratuitamente.

Sleep-Deep-Learner⁹, automatizza il punteggio nei topi con un punteggio F1 di 0,86 per il sonno REM, 0,95 per il sonno NREM e 0,97 per la veglia. Tuttavia, gli autori hanno affrontato nell'articolo che lo Sleep-Deep-Learner non è adatto a individui che non sono esperti nel punteggio sonno-veglia, in quanto richiede un sottoinsieme di epoche valutate manualmente. IntelliSleepScorer, d'altra parte, non richiede ulteriori manipolazioni manuali durante il punteggio della fase del sonno e ha un'interfaccia grafica molto intuitiva per tutti i ricercatori.

Somnivore¹⁰ è un sistema versatile e multistrato progettato per il punteggio automatizzato della fase di veglia-sonno, abile nell'apprendere da set di allenamento limitati con input polisonnografici complessi. Opera con una rapida efficienza computazionale e dimostra una solida generalizzazione in diversi soggetti, tra cui esseri umani, roditori (wildtype e transgenici) e piccioni. Tuttavia, Somnivore non è gratuito.

SlumberNet¹¹ e AccuSleep¹² sono entrambi facilmente accessibili rispettivamente su Zenodo e GitHub e hanno una precisione di punteggio del 97% e del 96,8%. Tuttavia, entrambi i modelli hanno dimensioni relativamente piccole dei dati di addestramento di 9 o 10 topi e non includevano la convalida indipendente dei test. Pertanto, le loro prestazioni nel mondo reale rimangono sconosciute.

SPINDLE¹³ è un altro modello basato sul web addestrato con un set di dati più piccolo con 4-6 topi/ratti che sfruttano reti neurali convoluzionali. Convalidato attraverso i dati di tre laboratori del sonno indipendenti, SPINDLE ha raggiunto tassi di accordo medi del 93%-99% con il punteggio di esperti umani provenienti da diversi laboratori, rispecchiando le capacità umane.

Infine, il somnotato¹⁴ ha dimostrato un'accuratezza di 0,97 ± 0,01 e un punteggio F1 ponderato di 0,97 ± 0,01 quando valutato su set di dati interni che includevano sei registrazioni di 24 ore basate sul consenso di almeno tre annotazioni manuali. Quando è stato testato sul set di dati di Somnotate, le prestazioni di IntelliSleepScorer sono diminuite, con un'accuratezza di 0,75 ± 0,04 e un punteggio F1 ponderato di 0,73 ± 0,05¹⁴. Questa riduzione delle prestazioni può essere attribuita a differenze nelle configurazioni sperimentali o nelle condizioni di registrazione tra i set di dati. Data la varietà di casi d'uso nel mondo reale, incoraggiamo gli utenti a valutare le prestazioni di IntelliSleepScorer sui loro set di dati, soprattutto se le loro configurazioni sperimentali o le condizioni di registrazione differiscono in modo significativo dalle nostre. Se le prestazioni del software non soddisfano le aspettative, gli utenti hanno la possibilità di mettere a punto il modello pre-addestrato con i loro dati, poiché abbiamo reso open source i modelli e il codice utilizzati per lo sviluppo.

Oltre agli esempi di modelli esistenti discussi sopra, ci sono alcuni altri sistemi di stadiazione del sonno automatizzati sviluppati tra cui i ricercatori potrebbero scegliere a seconda delle esigenze specifiche e diverse per i loro studi 15,16,17,18.

Nel lavoro futuro, miriamo a sviluppare/addestrare un nuovo modello che ottimizzi il tempo di punteggio automatico delle fasi del sonno. Attualmente, l'interfaccia grafica elabora 12 ore di registrazioni campionate a 1000 Hz in circa 10 minuti su una CPU Intel Core i7-8550U @ 1.80 GHz. Tuttavia, il tempo di elaborazione aumenta di circa 2,5 volte quando si assegnano punteggi alle fasi di sospensione con epoche di 4 s rispetto alle epoche predefinite di 10 s. Questo nuovo modello potrebbe soddisfare le esigenze di alcuni utenti che desiderano un punteggio automatico più rapido della fase del sonno nei topi. Inoltre, siamo sempre in ascolto del feedback degli utenti e qualsiasi nuova funzionalità può essere aggiunta su richiesta.

In sintesi, forniamo un software GUI gratuito, disponibile al pubblico e di facile utilizzo, IntelliSleepScorer, per creare una comoda pipeline automatizzata per il punteggio delle fasi del sonno dei topi. Inoltre, abbiamo fatto un ulteriore passo avanti offrendo visualizzazioni del valore SHAP che spiegano la decisione di punteggio presa dal modello. Gli utenti esperti possono anche mettere a punto il nostro modello pre-addestrato con i loro dati, dato che i file del modello e gli script per l'estrazione delle funzionalità per l'addestramento/messa a punto sono tutti disponibili pubblicamente nel repository GitHub. Ci auguriamo che questo modello apertamente disponibile possa ridurre il divario tecnologico e facilitare la progressione dalla raccolta dei dati a nuove scoperte utilizzando modelli murini nella ricerca sul sonno, riducendo al contempo il lavoro ad alta intensità di lavoro.

Gli autori dichiarano di non avere conflitti di interesse.

Ringraziamo Kerena Yan e Jingwen Hu per aver valutato manualmente le fasi del sonno e Eunah e Soonwiik per le registrazioni.