IntelliSleepScorer, ein Softwarepaket mit grafischer Benutzeroberfläche für die automatisierte Bewertung des Schlafstadiums von Mäusen

Wir präsentieren ein Softwarepaket mit einer grafischen Benutzeroberfläche für Forscher ohne Programmiererfahrung, um Schlafstadien bei Mäusen mit einem einfachen Download und einer einfachen Bedienung zu bewerten.

Die Bewertung des Schlafstadiums bei Nagetieren ist der Prozess der Identifizierung der drei Stadien: Nonrapid Eye Movement Sleep (NREM), Rapid Eye Movement Sleep (REM) und Wake. Die Bewertung der Schlafphase ist entscheidend für die Untersuchung von schlafphasenspezifischen Maßnahmen und Effekten.

Die Schlafmuster bei Nagetieren unterscheiden sich von denen beim Menschen und sind durch kürzere Episoden von NREM und REM gekennzeichnet, die durch das Aufwachen unterbrochen werden, und die traditionelle manuelle Bewertung der Schlafstadien durch menschliche Experten ist zeitaufwändig. Um dieses Problem anzugehen, haben frühere Studien auf maschinellem Lernen basierende Ansätze verwendet, um Algorithmen zur automatischen Kategorisierung von Schlafstadien zu entwickeln, aber leistungsstarke Modelle mit großer Generalisierbarkeit sind oft weder öffentlich verfügbar/kostenlos noch benutzerfreundlich für nicht geschulte Schlafforscher.

Aus diesem Grund haben wir einen auf maschinellem Lernen basierenden LightGBM-Algorithmus entwickelt, der mit einem großen Datensatz trainiert wurde. Um das Modell Schlafforschern ohne Programmiererfahrung zur Verfügung zu stellen, wurde auf Basis des Modells ein Software-Tool namens IntelliSleepScorer (v1.2 - neueste Version) entwickelt, das über eine einfach zu bedienende grafische Benutzeroberfläche verfügt. In diesem Manuskript stellen wir eine Schritt-für-Schritt-Anleitung für die Verwendung der Software vor, um ein praktisches und effektives automatisches Tool zur Bewertung des Schlafstadiums bei Mäusen für Schlafforscher zu demonstrieren.

Die Bewertung des Schlafstadiums bei Nagetieren ist das Verfahren zur Identifizierung der drei Stadien: Non-Rapid Eye Movement Sleep (NREM), Rapid Eye Movement Sleep (REM) und Wake². Bei Nagetieren ist NREM durch verminderte Muskelaktivität, langsame und regelmäßige Atmung, verminderte Herzfrequenz und niederfrequente Schwingungen der Gehirnwellen gekennzeichnet. REM bei Nagetieren, ähnlich wie beim Menschen, zeigt Muskelatonie, EEG-Aktivierung und schnelle Augenbewegungen, obwohl das Auftreten von lebhaftem Träumen bei Nagetieren im Vergleich zum Menschen weniger klar ist ^2,3. Der "Wachzustand" bei Nagetieren ist gekennzeichnet durch desynchronisierte Gehirnaktivität mit hochfrequenten Wellen mit niedriger Amplitude, erhöhtem Muskeltonus und aktivem Verhalten, wie z. B. Fellpflege und Erkundung⁴. Diese drei Stadien können durch Untersuchung der Signale des Elektroenzephalogramms (EEG) und des Elektromyogramms (EMG) identifiziert werden⁵.

Die Modelle zur automatischen Bewertung des Schlafstadiums bei Nagetieren sind dringend erforderlich. Erstens ist die manuelle Bewertung des Schlafstadiums durch menschliche Experten arbeitsintensiv und zeitaufwändig. Zweitens unterscheiden sich die Schlafmuster von Nagetieren von denen beim Menschen und weisen fragmentiertere Episoden von NREM und REM auf, die durch das Aufwachen unterbrochen werden, etwa 10 Minuten, im Gegensatz zu 60-120 Minuten beim Menschen⁶. Daher ist es eine Herausforderung, diese kurzen Zeiträume während der manuellen Bewertung zu identifizieren. Seit den 60er Jahren gab es viele Versuche, ein automatisches Bewertungssystem für Schlafdaten von Nagetieren zu entwickeln⁷. Obwohl es viele automatisierte Methoden zur Bewertung des Schlafs von Nagetieren gibt, variieren ihre Leistungen 8,9,10,11,12,13,14,15,16,17,18. Wichtig ist, dass die meisten leistungsstarken Modelle mit hoher Generalisierbarkeit nicht öffentlich verfügbar sind (einige erfordern spezielle Wünsche von Entwicklern) oder für Schlafforscher nicht kostenlos sind.

Um die derzeitige Technologielücke zu schließen, haben wir daher ein auf maschinellem Lernen basierendes Modell entwickelt, das einen großen Datensatz von 5776 h EEG- und EMG-Signalen aus 519 Aufzeichnungen von 124 Mäusen mit dem LightGBM-Algorithmus¹ verwendet. Das lightGBM verwendet einen gradientenverstärkenden Ansatz, um Entscheidungsbäume^{zu konstruieren 19}. In Wang et al., 2023, erreichte das LightGBM-Modell (bestehend aus über 8000 Entscheidungsbäumen) eine Gesamtgenauigkeit von 95,2 % und einen Cohen-Kappa von 0,91, was zwei weit verbreitete Baseline-Modelle wie das logistische Regressionsmodell (Genauigkeit = 93,3 %) und das Random-Forest-Modell (Genauigkeit = 94,3 %, Kappa = 0,89) übertraf. Auch die Gesamtleistung des Modells zeigte eine ähnliche Leistung wie die von menschlichen Experten. Am wichtigsten ist, dass bewiesen wurde, dass das Modell verallgemeinerbar ist und nicht an die ursprünglichen Trainingsdaten angepasst ist¹: 1) Es schnitt bei zwei anderen öffentlich zugänglichen unabhängigen Datensätzen von Miladinovic und Kollegen¹¹ mit unterschiedlichen Abtasthäufigkeiten und Epochenlängen gut ab (Genauigkeit > 89 %). 2) Die Leistung des Modells wird nicht durch den Hell-Dunkel-Zyklus von Mäusen beeinflusst; 3) Ein modifiziertes LightGBM-Modell schnitt bei Daten mit nur einer EEG- und einer EMG-Elektrode mit Kappa-≥ 0,89 gut ab; 4) Für den Test wurden sowohl Wildtyp- als auch mutierte Mäuse verwendet, und die Leistungen des Modells waren genau. Dies deutet darauf hin, dass das Modell die Schlafstadien von Mäusen mit unterschiedlichem genetischen Hintergrund bewerten kann.

Um dieses Modell Schlafforschern zugänglich zu machen, die möglicherweise nicht über Programmierkenntnisse verfügen, haben wir IntelliSleepScorer entwickelt, ein benutzerfreundliches Software-Tool mit einer visuell intuitiven Benutzeroberfläche. Die Software kann das Verfahren zur Schlafbewertung bei Mäusen vollständig automatisieren. Es erstellt interaktive Visualisierungen der Signale, des Hypnogramms und der Shapley Additive Explanations (SHAP)-Werte aus einer Eingabe in einer Datei im europäischen Datenformat (EDF)/EDF+. Der SHAP-Wertansatz, der auf der kooperativen Spieltheorie basiert, verbessert die Interpretierbarkeit von Modellen des maschinellen Lernens²⁰. Das Modell bietet sowohl globale als auch epochale SHAP-Werte und zeigt, wie unterschiedliche Merkmalswerte zur Bewertungsentscheidung des Modells insgesamt und für jede Epoche beitragen. Dieses fortschrittliche Programm reduziert den Zeit- und Arbeitsaufwand für die Bewertung des Schlafstadiums bei Mäusen erheblich und stellt gleichzeitig sicher, dass sich die nachgelagerte Analyse auf hochpräzise Ergebnisse verlassen kann. In diesem Manuskript stellen wir eine schrittweise Verwendung von IntelliSleepScorer (v1.2) mit mehreren Updates gegenüber Version 1.0 vor, einschließlich einer Option zum Ausführen der SHAP-Analyse getrennt von der Vorhersage des Schlafmusters, einer vom Benutzer einstellbaren Epochenlänge für die Bewertung der Schlafphase und einer in die GUI integrierten manuellen Korrekturfunktion für die Schlafphase.

In dieser Studie wurden Daten aus In-vivo-Experimenten an Mäusen verwendet. In der Studie waren keine Versuche am Menschen beteiligt. Alle Tierversuche wurden vom Institutional Animal Care and Use Committee des Broad Institute genehmigt. Alle Experimente wurden in Übereinstimmung mit den einschlägigen Richtlinien und Vorschriften durchgeführt. Die ARRIVE-Richtlinien sind auf diese Studie nicht anwendbar, da der Schwerpunkt dieser Studie auf der Entwicklung von Modellen für maschinelles Lernen und nicht auf dem Vergleich verschiedener Behandlungsgruppen liegt.

1. Datenaufbereitung

HINWEIS: Datenkompatibilität: Die aufgezeichneten Daten können eine Abtastrate von mehr als 40 Hz haben. Es ist nicht notwendig, das Signal zu filtern, da die Software Bandpass die EEG- und EMG-Signale im ersten Schritt filtert. Die LightGBM-Modelle wurden anhand von Daten von Mäusen entwickelt und getestet. Es liegen keine Belege für die Leistungsfähigkeit der LightGBM-Modelle bei anderen Arten von Labortieren vor. Die Aufzeichnungselektroden müssen am frontalen und parietalen Kortex platziert werden, oder an beiden Stellen, wenn nur ein EEG-Kanal aufgezeichnet wird.

1. Anordnung und Anforderung des EDF/EDF+-Formats
   HINWEIS: Die in dieser Studie verwendete Software liest nur EDF/EDF+-Dateien mit dem MNE-Python-Paket. Für die Generierung der EDF/EDF+-Dateien muss die Standardspezifikation EDF/EDF+ angewendet werden. Stellen Sie zusätzlich zur Standardspezifikation sicher, dass die EDF/EDF+-Annotationen in UTF-8 codiert sind. Andernfalls stürzt die Softwareanwendung ab.
   1. Konvertieren Sie ein anderes Dateiformat (Nicht-EDF/EDF+-Datei) mit kostenlosen Online-Tools in das EDF/EDF+-Format.
      HINWEIS: Der Gerätefilter ist bei der Erfassung von EEG- und EMG-Signalen nicht erforderlich. Solange der Benutzer seine EEG- und EMG-Daten mit einer Frequenz von 40 Hz oder höher abtastet, funktioniert die Software ordnungsgemäß. Denn im ersten Vorverarbeitungsschritt werden die Signale einer Bandpassfilterung zwischen 1 Hz und 40 Hz unterzogen. Diese Bandpassfilterung ist in die Vorverarbeitungspipeline der Software integriert, sodass der Benutzer keine zusätzliche Signalverarbeitung durchführen muss.
2. In der Software gibt es zwei Modelle für die Wertung. Eines ist LightGBM-2EEG und das andere ist LightGBM-1EEG. Das Modell LightGBM-2EEG ist für die Aufzeichnung von Daten mit 2 EEG-Kanälen und 1 EMG-Kanal vorgesehen. Führen Sie je nach Modell die folgenden Schritte aus.
   1. Organisieren Sie die Datendateien für LightGBM-2EEG in der folgenden Reihenfolge: 1) EEG-Kanal, der im parietalen Bereich aufgezeichnet wurde; 2) EEG-Kanal, der im Frontalbereich aufgezeichnet wird; 3) EMG-Kanal. Das LightGBM-1EEG ist für Daten vorgesehen, die nur 1 EEG-Kanal (Elektrodenplatzierung entweder im parietalen oder frontalen Bereich) und 1 EMG-Kanal enthalten.
   2. Organisieren Sie die Kanäle in EDF/EDF+-Dateien für LightGBM-1EEG in der folgenden Reihenfolge: 1) EEG-Kanal; 2) EMG-Kanal.

2. Herunterladen von IntelliSleepScorer für Windows-, Mac- und Linux-Benutzer

1. Für Windows-Benutzer steht eine ausführbare Windows-Datei für die Software mit dem PyInstaller zur Verfügung. Den Download-Link finden Sie auf der Forschungsseite der Pan-Gruppe https://sites.broadinstitute.org/pan-lab/resources. Verwenden Sie für MacOS- oder Linux-Benutzer den Quellcode im GitHub-Repository https://github.com/broadinstitute/IntelliSleepScorer, um die Software zu starten.
2. Greifen Sie auf zwei aufgezeichnete Beispieldaten zu, um das Programm zu testen, das als EDF-Dateien gespeichert ist, indem Sie sie über das GitHub-Repository herunterladen.
3. Das Quellcode-Repository enthält den Ordner models aufgrund von Größenbeschränkungen nicht. Laden Sie stattdessen models.zip herunter, entpacken Sie es und kopieren Sie den Ordner models in das Repository, damit das Programm ausgeführt werden kann. Andernfalls stürzt die Software aufgrund fehlender Modelldateien ab.

3. Arbeitsablauf und Programmstart und -betrieb

1. Starten Sie IntelliSleepScorer
   1. Um die Software unter Windows zu starten, doppelklicken Sie auf IntelliSleepScorer.exe , die sich im Stammordner befindet. Um die Software unter MacOS oder Linux zu starten, öffnen Sie einen Terminalemulator, ändern Sie das Verzeichnis in den Stammordner der Software, und starten Sie die Software dann mit dem Befehl: python3 IntelliSleepScorer.py.
2. Sobald die Software geöffnet ist, klicken Sie auf EDF/EDF+-Datei(en) auswählen , um die gewünschte(n) Datei(en) für die Bewertung auszuwählen. Wenn Dateien versehentlich ausgewählt wurden, klicken Sie auf die Schaltfläche Löschen , um die Liste der ausgewählten Dateien zu löschen.
   HINWEIS: Standardmäßig kodiert die Software die Ruhephasen als Wake:1, NREM:2 und REM:3 in den Ausgabe-Score-Dateien. Die Standard-Epochenlänge ist auf 10 s festgelegt. Die aktuelle Version (v1.2) der GUI ermöglicht es Benutzern, Stage-Codierungen oder Epochenlängen über das Dropdown-Menü auf 4 s, 10 s oder 20 s zu ändern.
3. Wählen Sie die gewünschte Epochenlänge aus. Verwenden Sie das bereitgestellte Dropdown-Menü, um die gewünschte Epochenlänge unter den Optionen 4 s, 10 s und 20 s für die Bewertung der Schlafphase auszuwählen.
4. Wählen Sie das Modell aus, das für die Schlafbewertung verwendet werden soll. LightGBM-2EEG ist für Dateien mit zwei EEG-Kanälen und einem EMG-Kanal vorgesehen, während das LightGBM-1EEG für Daten mit einem EEG-Kanal und einem EMG-Kanal ausgelegt ist.
5. Bevor Sie die Vorhersage der Schlafphase ausführen, fügen Sie die zusätzliche SHAP-Berechnung hinzu, die hilft, die Ergebnisse der Vorhersage der Schlafphase zu erklären. Um die SHAP-Berechnung zu verarbeiten, aktivieren Sie das Kontrollkästchen SHAP ausführen/plotten . Die Verarbeitung der SHAP-Berechnung dauert etwa 5-10 Minuten.
6. Klicken Sie auf Alle Dateien bewerten. Das Modell bewertet automatisch alle EDF/EDF+-Dateien und berechnet die globalen und epochalen SHAP-Werte, um die Bewertungsentscheidungen in der Liste zu interpretieren, falls dies ausgewählt wurde.
   HINWEIS: Während des Bewertungsprozesses generiert das Modell die folgenden Dateien und speichert sie in demselben Ordner, in dem sich die EDF/EDF+-Dateien befinden. Das Modell verwendet diese Dateien, um die globalen SHAP-Werte und die SHAP-Werte der Epochen darzustellen.
   
   "EDF/EDF+ Dateiname}_{model_name}_features.csv"; In dieser Datei werden alle extrahierten Feature-Werte gespeichert.
   "EDF/EDF+ Dateiname}_{model_name}_scores.csv"; In dieser Datei werden die vorhergesagten Ruhephasen gespeichert.
   "EDF/EDF+ Dateiname}_{model_name}_rs_100hz.npy"; In dieser Datei wird eine Kopie der neu gesampelten/heruntergesampelten Signale (100 Hz) gespeichert. Um die Visualisierungsgeschwindigkeit zu verbessern, verwendet das Modell beim Plotten des Signals das heruntergesampelte Signal anstelle des ursprünglichen Signals.
   "EDF/EDF+ Dateiname}_{model_name}Erklärung. Gurke"; "{EDF/EDF+ Dateiname}{model_name}shap_500samples.pickle"; "{EDF/EDF+ Dateiname}{model_name}_indicies_500samples.npy";
7. Nachdem Sie den Schlafbewertungsprozess abgeschlossen haben, klicken Sie auf die Option Ausgewählte Datei visualisieren , um die EEG/EMG-Signale und ein zeitlich auf die Signale abgestimmtes Hypnogramm zu visualisieren.
   1. Bewertet die ausgewählte Datei erneut vor der Visualisierung, wenn die Epochenlänge geändert wird.

4. Navigieren in den erzielten Ergebnissen

1. Klicken Sie auf die bereitgestellten Navigationsschaltflächen , um vorwärts und rückwärts zu navigieren und verschiedene Epochendaten anzuzeigen.
2. Wenn die SHAP-Berechnung für die Durchführung ausgewählt ist, werden sowohl die globalen als auch die SHAP-Werte auf Epochenebene angezeigt. Klicken Sie mit der rechten Maustaste auf eine Epoche, um die SHAP-Werte auf Epochenebene darzustellen.
   HINWEIS: Es dauert einige Sekunden, bis das SHAP-Diagramm auf Epochenebene aktualisiert wird. Abbildung 1 zeigt die Übersicht der GUI-Seite nach dem Ausführen der Vorhersage für Example-1 EDF/EDF+-Datei mit 1_LightBGM-2EEG-Modell.

5. Interpretation des bewerteten Hypnogramms der Schlafstadien

HINWEIS: Das Hypnogramm enthält 4 Zeilen (Abbildung 2). Die oberste Zeile zeigt die vorhergesagten Ergebnisse. Die unteren 3 Zeilen sind Rohdaten von 2 EEG- bzw. 1 EMG-Kanälen. In der oberen Reihe steht Orange für die Wake-Phase , Blau für die NREM-Phase und Rot für die REM-Phase in jeder Epoche.

1. Um die Anzahl der anzuzeigenden Epochen zu ändern, klicken Sie auf das Menüfeld rechts neben Anzahl der anzuzeigenden Epochen auswählen und wählen Sie einen gewünschten Wert aus. In Abbildung 2 wurden 100 Epochen ausgewählt. Daher werden nur 100 Epochen im Vorhersagediagramm für die Schlafphase angezeigt. Wählen Sie eine kleinere Zahl im Dropdown-Menü aus, um in das Diagramm zu zoomen.
2. Der rosafarbene transparente Balken links in Abbildung 2 zeigt den aktuellen Standort der Epoche. Klicken Sie mit der linken Maustaste auf eine beliebige Stelle im Hypnogramm, um zu einer anderen Epoche zu wechseln, oder klicken Sie einfach auf Gehe zu Epoche und geben Sie eine bestimmte Anzahl von Epochen ein, die beobachtet werden sollen. Klicken Sie mit der rechten Maustaste auf die ausgewählte Epoche, um das SHAP-Diagramm der Epoche zu erstellen, wenn der Benutzer die SHAP-Funktion aktiviert hat.

6. Manuelle Korrektur der vorhergesagten Schlafphasen auf der GUI (optional)

HINWEIS: Wenn keine Anomalie beobachtet wird oder keine extrem hohe Genauigkeit für die Vorhersage des REM-Stadiums erforderlich ist, ist keine manuelle Überprüfung erforderlich.

1. Klicken Sie mit der linken Maustaste auf eine Epoche im Vorhersagediagramm der Schlafphase (oberes Diagramm), um eine bestimmte Epoche auszuwählen. Die vom Modell vorhergesagte Phase der ausgewählten Epoche wird auf der rechten Seite des Textes angezeigt. Um die vorhergesagte Phase für diese Epoche manuell zu ändern, klicken Sie auf das Widget und wählen Sie eine neue Phase aus den Optionen Wake, NREM und REM im Dropdown-Menü aus.
2. Die vom Benutzer korrigierten Stadien sind mit gestrichelten Linien über dem ursprünglichen Diagramm markiert (Abbildung 3). Schließen Sie die GUI, und eine neue Datei mit korrigierten Vorhersageergebnissen wird automatisch im selben Ordner generiert.
   1. Um eine gespeicherte Notationsdatei erneut in der GUI zu öffnen, stellen Sie sicher, dass die Einstellung für die Epochenlänge und das ausgewählte Modell mit der Einstellung übereinstimmen, die bei der ursprünglichen Verarbeitung der EDF-Datei verwendet wurde, um sie erneut öffnen zu können. Alle zuvor geänderten/bewerteten Informationen werden schnell geladen.

Es gibt drei Diagramme (nur das obere Diagramm, wenn die SHAP-Werte nicht ausgeführt wurden), die in der GUI nach der Bewertung der Schlafphase generiert werden: Das obere Diagramm zeigt EEG- und EMG-Kanäle mit einem Hypnogramm der Vorhersage der Schlafphase. Das mittlere Diagramm zeigt die SHAP-Werte der Epochen. Das untere Diagramm zeigt die globalen SHAP-Werte (Abbildung 1).

Es gibt 4 Arten von Daten, die im Hypnogramm zur Vorhersage des Schlafstadiums dargestellt werden (Abbildung 2). Die oberste Zeile zeigt die vorhergesagten Ergebnisse. Die unteren 3 Zeilen sind Rohdaten von 2 EEG- bzw. 1 EMG-Kanälen. In der oberen Reihe steht Orange für die "Wake"-Phase, Blau für die "NREM"-Phase und Rot für die "REM"-Phase in jeder Epoche. Die aktuelle Beispielepoche befindet sich auf 1305 und befindet sich in der Phase "Wake", da die rosa Positionsleiste mit einer orangefarbenen Linie überlappt.

In Abbildung 3 ist eine vom Benutzer korrigierte Bühne mit gestrichelten Linien über dem Original markiert. Die rote gestrichelte Linie zeigt an, dass die Schlafphase von "Wake" auf "REM" geändert wurde.

In Abbildung 4 ist ein Beispielergebnis der Epoche 1305 in der Beispieldatei 1 dargestellt. Die Y-Achse des SHAP-Diagramms der Epoche zeigt die Top 10 Features mit den höchsten absoluten SHAP-Werten für die ausgewählte Epoche. Die X-Achse zeigt die SHAP-Werte, die den Beitrag der einzelnen Features zur Vorhersage im Vergleich zur durchschnittlichen Vorhersage angeben. Der positive SHAP-Wert gibt einen positiven Beitrag zur Vorhersage an und umgekehrt. Das Merkmal "emg_abs_max" weist einen sehr positiven SHAP-Wert auf Epochenebene für Wake auf, was darauf hindeutet, dass "emg_abs_max" aus der ausgewählten Epoche die Wahrscheinlichkeit erhöht, dass die ausgewählte Epoche als "Wake" bewertet wird (Abbildung 4). Dies ist physiologisch sinnvoll, da eine große EMG-Amplitude aktive Bewegungen anzeigt und damit das "Wach"-Stadium anzeigt.

Im Beispiel für ein globales SHAP-Diagramm (Abbildung 5) stellt jeder Punkt im p-Schwarmdiagramm eine Datenstichprobe dar. Die y-Achse der Diagramme zeigt die Top 10 Features mit den höchsten absoluten globalen SHAP-Werten, die aus 500 zufällig ausgewählten Epochen berechnet wurden. Die X-Achse zeigt die SHAP-Werte, die den Beitrag der einzelnen Features zur Vorhersage im Vergleich zur durchschnittlichen Vorhersage angeben. Anders als das Epochen-SHAP-Diagramm hat das globale SHAP-Diagramm zwei Dimensionen: den x-Wert jedes Punktes und die Intensität der Punktfarbe. Der positive SHAP-Wert der x-Achse gibt einen positiven Beitrag zur Vorhersage an und umgekehrt. Beispiele mit einer dunkleren roten Farbe weisen höhere Merkmalswerte auf. Durch die visuelle Untersuchung der Korrelationen der Position und der Farbe der 500 Punkte für jedes Merkmal kann interpretiert werden, wie LightGBM Entscheidungen auf der Grundlage der Werte der einzelnen Merkmale trifft. Wenn im globalen SHAP-Diagramm "Wake" die SHAP-Werte für "emg_abs_max" von negativer zu positiver werden, wird die Farbe der Punkte dunkler. Es deutet darauf hin, dass die erhöhte Wahrscheinlichkeit, als "Wake" vorhergesagt zu werden, positiv mit dem erhöhten Wert von "emg_abs_max" korreliert. Es ist auch erwähnenswert, dass Features mit breiteren Verteilungen von SHAP-Werten (höhere absolute Werte) mehr zur Vorhersage durch das Modell beitragen. Das globale NREM-SHAP-Diagramm (Abbildung 5) weist beispielsweise eine große Streuung von Punkten für das Feature "eeg2_gamma_delta_ratio" auf. Der stark negative SHAP-Wert des Merkmals verringert die Wahrscheinlichkeit, dass das Modell als "NREM"-Stadium bewertet wird.

Abbildung 1: Übersicht der GUI-Seite nach dem Ausführen der Vorhersage für Example-1 EDF/EDF+-Datei mit 1_LightBGM-2EEG-Modell. Sowohl die Vorhersage des Schlafstadiums als auch die SHAP-Berechnung werden bewertet. Das obere Diagramm zeigt EEG- und EMG-Kanäle mit einem Hypnogramm zur Vorhersage des Schlafstadiums. Das mittlere Diagramm zeigt SHAP-Werte der Epoche. Das untere Diagramm zeigt globale SHAP-Werte. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 2: Hypnogramm zur Vorhersage des Schlafstadiums aus Beispiel-1 EDF/EDF+-Datei. Es gibt 4 Daten, die in der Grafik dargestellt sind. Die oberste Zeile zeigt die vorhergesagten Ergebnisse. Die unteren 3 Zeilen sind Rohdaten von 2 EEG- bzw. 1 EMG-Kanälen. In der oberen Reihe steht Orange für die "Wake"-Phase, Blau für die "NREM"-Phase und Rot für die "REM"-Phase in jeder Epoche. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 3: Hypnogramm zur Vorhersage des Schlafstadiums aus Beispiel-1 EDF/EDF+ Datei mit benutzerdefinierter manueller Korrektur. Epoche 1305 wurde von der Stufe "Wake" in die Stufe "REM" geändert, um die manuelle Korrektur der Schlafphase in der GUI zu demonstrieren. Die gestrichelte rote Linie zeigt die vom Benutzer geänderte Schlafstufe "REM" an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 4: SHAP-Werte für Wake-, NREM- und REM-Epoche für Example-1 EDF/EDF+-Datei bei Epoche 1305. Die y-Achse des SHAP-Diagramms für Epochen zeigt die Top 10 Features mit den höchsten absoluten SHAP-Werten für die ausgewählte Epoche. Die X-Achse zeigt die SHAP-Werte, die den Beitrag der einzelnen Features zur Vorhersage im Vergleich zur durchschnittlichen Vorhersage angeben. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 5: Wake-, NREM- und REM-Global-SHAP-Werte für Example-1 EDF/EDF+-Datei. Jeder Punkt im p-Schwarmdiagramm stellt eine Stichprobe von Daten dar. Die y-Achse der Diagramme zeigt die Top 10 Features mit den höchsten absoluten globalen SHAP-Werten, die aus 500 zufällig ausgewählten Epochen berechnet wurden. Die X-Achse zeigt die SHAP-Werte, die den Beitrag der einzelnen Features zur Vorhersage im Vergleich zur durchschnittlichen Vorhersage angeben. Die x-Achse des globalen SHAP-Werts hat zwei Dimensionen: den x-Wert jedes Punktes und die Intensität der Punktfarbe. Der positive SHAP-Wert der x-Achse gibt einen positiven Beitrag zur Vorhersage an und umgekehrt. Beispiele mit einer dunkleren roten Farbe weisen höhere Merkmalswerte auf. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

In diesem Dokument wird vorgestellt, wie die grafische Benutzeroberfläche von IntelliSleepScorer (v1.2) verwendet wird, um die Schlafphasen von Mäusen automatisch zu bewerten, und wie SHAP-Werte/Diagramme genutzt werden, um die vom Modell generierten Schlafphasenbewertungen besser zu verstehen.

Ein wichtiger Aspekt bei der Nutzung der Software ist die Datenkompatibilität. Die in dieser Studie verwendeten internen Daten beschränkten sich auf Elektroden, die im frontalen und parietalen Bereich platziert waren. In dem unabhängigen Datensatz von Miladinovic und Kollegen¹¹ behielt die Software trotz unterschiedlicher Elektrodenkoordinaten für diese Regionen eine zufriedenstellende Leistung bei. Obwohl die Software auf andere Gehirnregionen anwendbar sein kann, haben wir keine Tests durchgeführt, um dies zu bestätigen. Daher können wir nicht behaupten, dass es keine Einschränkungen hinsichtlich der Elektrodenplatzierung gibt. Wir empfehlen Benutzern jedoch, es zu testen, wenn sie Aufzeichnungen aus anderen Regionen haben.

Die Dauer der EEG/EMG-Aufzeichnungen zur Analyse des Schlafstadiums variiert je nach den spezifischen Zielen der Studie. In der Regel dauern die Aufzeichnungssitzungen entweder 12 Stunden, die entweder die helle oder die dunkle Phase abdecken, oder 24 Stunden, die beide Phasen an einem einzigen Tag umfassen. Sowohl 12-Stunden- als auch 24-Stunden-Aufzeichnungen werden häufig verwendet, um unterschiedliche Schlaf-Wach-Muster und zirkadiane Rhythmen zu erfassen. Die Tests mit dem Modell zeigen, dass die Bewertung der Schlafphase sowohl für 12-stündige als auch für 24-stündige aufgezeichnete Sitzungen zuverlässig und genau ist. Eine Obergrenze für die Dauer der Aufnahmen ist nicht bekannt.

Zwei bemerkenswerte Schritte innerhalb des Softwareprotokolls sind die Datenvorverarbeitung und die manuelle Verifizierung. Um die Generalisierbarkeit der trainierten Modelle zu verbessern, haben wir Rauschen und Artefakte in den Eingabedaten berücksichtigt und minimale Qualitätskontrollmaßnahmen implementiert. Die von uns durchgeführte Qualitätskontrolle zielt darauf ab, schlechte Aufnahmen aufgrund von Signalverlusten auszuschließen. Signalverluste werden in der Regel durch Verbindungsprobleme verursacht, z. B. wenn sich Elektroden lösen oder abfallen. Der Verlust von Signalen kann zu Fehlern in den von der Software generierten Schlafwerten führen. Zum Beispiel kann eine flache Linie im EMG-Kanal einer wachen Maus aufgrund einer losen EMG-Elektrode das gleiche Merkmal aufweisen wie die immobile / Schlafphase der Mäuse, was zu der "NREM"- oder "REM"-Vorhersage durch die LightGBM-Modelle führen kann. Als Referenz haben wir die folgenden Kriterien verwendet, um Aufzeichnungen mit einem signifikanten Signalverlust automatisch auszuschließen: 1) Die Amplitude eines EEG-Signals beträgt weniger als 1 μV für mindestens 50 % der Aufzeichnungsdauer, oder 2) die Amplitude des EMG-Signals beträgt weniger als 1 pV für mindestens 50 % der Aufzeichnungsdauer. Die Benutzer müssen ihre eigenen Kriterien für die Qualitätskontrolle auf der Grundlage ihres Versuchsaufbaus und ihres Aufzeichnungssystems implementieren. Leitungsgeräusche, die durch Wechselstrom verursacht werden, befinden sich in der Regel bei 50 Hz oder 60 Hz. Diese Leitungsgeräusche werden während des in der Software implementierten Bandpassfilter-Schritts (1-40 Hz) entfernt. Daher ist es für den Benutzer nicht erforderlich, die Leitungsgeräusche vorzuverarbeiten, bevor er die Daten in die Software eingibt. Kleinere Geräusche oder Störfaktoren, wie z.B. Körperbewegungen, wurden bei der Modellentwicklung^{berücksichtigt 1}. Der in dieser Studie verwendete Ansatz stellt sicher, dass die Generalisierbarkeit des Modells diese geringfügigen Artefakte tolerieren kann, die die endgültigen Ergebnisse des Schlaf-Stagings nicht signifikant beeinflussen. Das Format, die Qualität der Aufzeichnung und die Organisationsreihenfolge der EDF-Datendateien sind wichtige Komponenten, um die Leistung dieses vortrainierten Modells zu optimieren.

Da das LightGBM-Modell bei einigen Aufzeichnungen schlecht abgeschnitten hat (REM F1-Score < 0,6), empfehlen wir Benutzern, die vom Modell generierten Schlafphasen zu überprüfen, wenn eine genaue REM-Phasenbewertung entscheidend ist. Für Studien, die sich auf die Physiologie des Wake- oder NREM-Stadiums konzentrieren, unterstützt das LightGBM-Modell weiterhin eine sehr robuste und vollautomatische analytische Pipeline. Die Interpretation von SHAP-Werten könnte in Verbindung mit der manuellen Verifizierung zu einem hervorragenden Werkzeug werden, um die Genauigkeit der softwaregenerierten Ergebnisse zu bestätigen. SHAP ist ein Ansatz, der die Spieltheorie verwendet, um die Ausgabe von Modellen des maschinellen Lernens zu erklären. Es verbindet eine optimale Kreditallokation mit lokalen Erklärungen unter Verwendung klassischer Shapley-Werte und der damit verbundenen Erweiterungen²⁰. Wenn z. B. im Diagramm der globalen NREM-SHAP-Werte (Abbildung 4) plötzlich ein dunkelroter Punkt ganz rechts auf der eeg2_gamma_delta_ratio-Funktion erscheint, kann dies auf eine Anomalie in dieser Epoche hinweisen. Dies liegt daran, dass der isolierte Epochenstichprobenpunkt vom gesamten Datensatz abweicht. Die Interpretation von SHAP-Diagrammen könnte den Benutzern auch eine klare und benutzerfreundliche Erklärung für die Bewertung der Schlafphasen liefern. Die Epochen-SHAP-Diagramme geben beispielsweise Auskunft darüber, welche Merkmale der wichtigste Entscheidungsfaktor für die Bewertung der Schlafphase sind. Das Hypnogramm zur Ergebnisvorhersage (Abbildung 2) liefert ebenfalls wichtige Informationen über die Vorhersageergebnisse. In Fällen, in denen die bewerteten Schlafphasen im Hypnogramm häufige Wechsel zwischen den Stadien "Wach" und "REM" aufweisen, was physiologisch abnormal ist, wird empfohlen, eine umfassende Bewertung des Scores und der entsprechenden SHAP-Werte durchzuführen, um die Qualität der Ergebnisse zu ermitteln. Mit SHAP- und Hypnogramm-Diagrammen können Forscher schnell jeden Vorhersagefehler bei der Bewertung der Schlafphasen identifizieren. SHAP-Werte erklären zwar, wie das Modell die Vorhersagen trifft, aber sie bedeuten nicht unbedingt, dass die Vorhersagen oder die Art und Weise, wie das Modell bestimmte Vorhersagen trifft, korrekt sind. Das Ziel der Darstellung von SHAP-Werten besteht darin, den Benutzern das Verständnis des Bewertungsprozesses der Schlafphase zu erleichtern und es den Benutzern zu ermöglichen, Fehler schnell zu identifizieren, indem sie die Logik des LightGBM-Modells untersuchen.

In der aktuellen Version (v1.2) des Modells gibt es zwei herausragende Funktionen. Erstens, nach dem vorherigen Absatz, kann die manuelle Überprüfung/Korrektur sehr mühsam und unpraktisch sein, wenn Benutzer zu CSV-Dateien zurückkehren müssen, um Änderungen vorzunehmen, insbesondere bei langen Aufnahmen. Daher bieten wir eine manuelle Korrekturfunktion an, die direkt in die GUI integriert ist, damit Benutzer die bewertete Schlafphase in jeder Epoche ändern können. Nachdem der Benutzer auf eine bestimmte Epoche geklickt hat, wird die bewertete Schlafphase von "Wake", "REM" oder "NREM" im Dropdown-Menü oben in der GUI-Leiste angezeigt. Wenn der Benutzer die Phase von einer zur anderen wechseln möchte, kann er einfach eine andere Phase aus dem Dropdown-Menü auswählen, und es wird eine neue bewertete Datei generiert, die von den Benutzern manuell korrigiert wurde. Darüber hinaus bieten wir anstelle einer standardmäßigen festen Epochenlänge von 10 Sekunden, die für die Analyse zur Verfügung gestellt wird, eine Option zur Anpassung der Epochenlänge in der GUI, um den spezifischen experimentellen Bedürfnissen verschiedener Schlafforscher gerecht zu werden. Die Optionen sind jetzt 4-s-, 10-s- und 20-s-Epochen, die alle unter Schlafforschern häufig verwendet werden. Obwohl dieses Modell mit hauseigenen Daten von 10-s-Epochen trainiert wurde, war die Leistung des Modells bei unabhängigen Tests von Daten von 4-s-Epochen aus verschiedenen Labors vergleichbar mit der von menschlichen Experten über alle Schlafstadien^{hinweg 1}. Benutzer müssen bei der Implementierung von 20-s-Epochen vorsichtig sein, da 1) bei der Bewertung von Mäusen im Schlaf-/Wachzustand mit 20-s-Epochen sehr kurze Ereignisse wie vorübergehende Erregungen übersehen werden können; 2) Epochen der 20er Jahre umfassen eher gemischte Stadien in jeder Epoche⁸.

Es wird aufschlussreich sein, dieses Modell mit anderen bestehenden automatisierten Methoden zur Bewertung des Schlafstadiums für die Benutzer zu vergleichen. Neben IntelliSleepScorer gibt es einige andere entwickelte Modelle für die automatische Bewertung des Schlafstadiums mit unterschiedlichen Genauigkeitsgraden, Komplexitäten und Wirksamkeiten: 8,9,10,11,12,13,14,15,16,17,18 . Das in dieser Studie verwendete Modell verwendet den LightGBM-Algorithmus, um eine hohe Genauigkeit bei der Bewertung der Schlafphase zu erreichen, vergleichbar mit bestehenden Modellen. In unserer Bewertung zeigte IntelliSleepScorer eine Gesamtgenauigkeit von 95,2 %, was auf dem Niveau der Leistungsmetriken liegt, die für ähnliche Modelle wie MC-SleepNet⁸ und Sleep-Deep-Learner⁹ gemeldet wurden. Der wahre Unterschied von IntelliSleepScorer liegt jedoch nicht nur in seiner Genauigkeit, sondern auch in seiner Zugänglichkeit und Benutzerfreundlichkeit für nicht geschulte Forscher mit begrenzter Programmiererfahrung.

MC-SleepNet⁸, das mit tiefen neuronalen Netzen an einem großen Datensatz von 4200 Mäusen trainiert wurde, erreicht eine hohe Bewertungsgenauigkeit von 96,4 % und eine Kappa-Statistik von 0,94 und übertrifft damit die meisten bestehenden Methoden. Unseres Wissens nach gibt es jedoch bisher keine auf MC-SleepNet basierende Software, die öffentlich/frei verfügbar ist.

Sleep-Deep-Learner⁹ automatisiert die Bewertung bei Mäusen mit einem F1-Wert von 0,86 für den REM-Schlaf, 0,95 für den NREM-Schlaf und 0,97 für den Wachzustand. Die Autoren gingen jedoch in der Arbeit darauf ein, dass Sleep-Deep-Learner nicht für Personen geeignet ist, die sich mit dem Schlaf-Wach-Scoring nicht auskennen, da es eine Teilmenge von manuell bewerteten Epochen erfordert. IntelliSleepScorer hingegen erfordert keine weitere manuelle Manipulation während der Bewertung der Schlafphase und verfügt über eine sehr benutzerfreundliche GUI für alle Forscher.

Somnivore¹⁰ ist ein vielseitiges, mehrschichtiges System, das für die automatisierte Bewertung der Wach- und Schlafphasen entwickelt wurde und in der Lage ist, aus begrenzten Trainingssätzen mit komplexen Polysomnographie-Eingaben zu lernen. Es arbeitet mit schneller Recheneffizienz und zeigt eine robuste Verallgemeinerung über verschiedene Probanden hinweg, darunter Menschen, Nagetiere (Wildtyp und transgen) und Tauben. Somnivore ist jedoch nicht kostenlos.

SlumberNet¹¹ und AccuSleep¹² sind beide auf Zenodo bzw. GitHub leicht zugänglich und haben eine Bewertungsgenauigkeit von 97 % bzw. 96,8 %. Beide Modelle haben jedoch relativ kleine Trainingsdatengrößen von 9 oder 10 Mäusen und beinhalteten keine unabhängige Testvalidierung. Daher bleibt ihre Leistung in der Praxis unbekannt.

SPINDLE¹³ ist ein weiteres webbasiertes Modell, das mit einem kleineren Datensatz mit 4-6 Mäusen/Ratten trainiert wurde, die Convolutional Neural Networks nutzen. Validiert anhand von Daten aus drei unabhängigen Schlaflaboren, erreichte SPINDLE durchschnittliche Übereinstimmungsraten von 93 % bis 99 % mit der Bewertung von Experten aus verschiedenen Laboren, was die menschlichen Fähigkeiten widerspiegelt.

Schließlich zeigte Somnoteate¹⁴ eine Genauigkeit von 0,97 ± 0,01 und einen gewichteten F1-Score von 0,97 ± 0,01, wenn es an hauseigenen Datensätzen ausgewertet wurde, die sechs 24-Stunden-Aufzeichnungen enthielten, die auf dem Konsens von mindestens drei manuellen Annotationen basierten. Beim Test mit dem Datensatz von Somnotate nahm die Leistung von IntelliSleepScorer ab, mit einer Genauigkeit von 0,75 ± 0,04 und einem gewichteten F1-Score von 0,73 ± 0,05¹⁴. Diese verminderte Leistung kann auf Unterschiede in den Versuchsanordnungen oder Aufzeichnungsbedingungen zwischen den Datensätzen zurückgeführt werden. Angesichts der Vielzahl realer Anwendungsfälle ermutigen wir die Benutzer, die Leistung von IntelliSleepScorer auf ihren Datensätzen zu bewerten, insbesondere wenn sich ihre Versuchsanordnungen oder Aufzeichnungsbedingungen erheblich von unseren unterscheiden. Wenn die Leistung der Software nicht den Erwartungen entspricht, haben Benutzer die Möglichkeit, das vortrainierte Modell mit ihren Daten zu optimieren, da wir die Modelle und den Code, die für die Entwicklung verwendet werden, Open Source gemacht haben.

Neben den oben diskutierten Beispielen bestehender Modelle gibt es einige andere entwickelte automatisierte Schlaf-Staging-Systeme, aus denen die Forscher je nach spezifischem und unterschiedlichem Bedarf für ihre Studien wählen könnten 15,16,17,18.

In zukünftigen Arbeiten wollen wir ein neues Modell entwickeln/trainieren, das die automatische Bewertungszeit von Schlafstadien optimiert. Derzeit verarbeitet die GUI 12 h Aufnahmen, die mit 1000 Hz abgetastet wurden, in etwa 10 Minuten auf einer Intel Core i7-8550U CPU @ 1,80 GHz. Die Verarbeitungszeit erhöht sich jedoch um das 2,5-fache, wenn Ruhephasen mit 4-s-Epochen im Vergleich zu den standardmäßigen 10-s-Epochen bewertet werden. Dieses neue Modell könnte den Bedürfnissen einiger Benutzer gerecht werden, die eine schnellere automatische Bewertung des Schlafstadiums bei Mäusen wünschen. Wir haben auch immer ein offenes Ohr für das Feedback der Benutzer, und jede neue Funktion kann auf Anfrage hinzugefügt werden.

Zusammenfassend bieten wir eine kostenlose, öffentlich zugängliche und benutzerfreundliche GUI-Software, IntelliSleepScorer, an, um eine komfortable automatisierte Pipeline für die Bewertung des Schlafstadiums von Mäusen zu erstellen. Darüber hinaus sind wir noch einen Schritt weiter gegangen, indem wir SHAP-Wertvisualisierungen angeboten haben, die die Bewertungsentscheidung des Modells erklären. Erfahrene Benutzer können unser vortrainiertes Modell auch mit ihren Daten feinabstimmen, da die Modelldateien und Skripte zum Extrahieren der Funktionen für das Training/die Feinabstimmung alle im GitHub-Repository öffentlich verfügbar sind. Wir hoffen, dass dieses offen verfügbare Modell die technologische Lücke schließen und den Übergang von der Datenerhebung zu neuen Erkenntnissen mit Mausmodellen in der Schlafforschung erleichtern kann, während gleichzeitig arbeitsintensive Arbeit reduziert wird.

Die Autoren erklären, dass kein Interessenkonflikt besteht.

Wir danken Kerena Yan und Jingwen Hu für die manuelle Vertonung der Schlafphasen und Eunah und Soonwiik für die Aufnahmen.