IntelliSleepScorer, un progiciel doté d’une interface utilisateur graphique pour l’évaluation automatisée des phases de sommeil chez la souris

Nous présentons un progiciel avec une interface utilisateur graphique pour les chercheurs sans expérience de codage afin de noter les phases de sommeil chez les souris avec un téléchargement et une opération simples.

Le score des stades de sommeil chez les rongeurs est le processus d’identification des trois stades : le sommeil à mouvements oculaires non rapides (NREM), le sommeil à mouvements oculaires rapides (REM) et l’éveil. L’évaluation des phases de sommeil est cruciale pour étudier les mesures et les effets spécifiques aux phases de sommeil.

Les habitudes de sommeil des rongeurs diffèrent de celles des humains, caractérisées par des épisodes plus courts de NREM et de REM espacés par le réveil, et la notation manuelle traditionnelle des phases de sommeil par des experts humains prend beaucoup de temps. Pour résoudre ce problème, des études antérieures ont utilisé des approches basées sur l’apprentissage automatique pour développer des algorithmes permettant de catégoriser automatiquement les phases de sommeil, mais les modèles très performants avec une grande généralisabilité ne sont souvent pas accessibles au public, gratuits ou conviviaux pour les chercheurs du sommeil non formés.

Par conséquent, nous avons développé un algorithme LightGBM basé sur l’apprentissage automatique, entraîné avec un grand ensemble de données. Pour mettre le modèle à la disposition des chercheurs du sommeil sans expérience de codage, un outil logiciel nommé IntelliSleepScorer (v1.2 - dernière version) a été développé sur la base du modèle, qui dispose d’une interface utilisateur graphique facile à utiliser. Dans ce manuscrit, nous présentons des instructions étape par étape pour l’utilisation du logiciel afin de démontrer un outil pratique et efficace de notation automatique des phases de sommeil chez la souris pour les chercheurs sur le sommeil.

Le score des stades de sommeil chez les rongeurs est la procédure permettant d’identifier les trois stades : le sommeil à mouvements oculaires non rapides (NREM), le sommeil à mouvements oculaires rapides (REM) et le réveil². Chez les rongeurs, le NREM se caractérise par une activité musculaire réduite, une respiration lente et régulière, une diminution du rythme cardiaque et des oscillations à basse fréquence des ondes cérébrales. Le sommeil paradoxal chez les rongeurs, semblable à celui des humains, montre une atonie musculaire, une activation de l’EEG et des mouvements oculaires rapides, bien que l’apparition de rêves vifs soit moins claire chez les rongeurs que chez les humains ^2,3. L’état de « sillage » chez les rongeurs est marqué par une activité cérébrale désynchronisée avec des ondes de haute fréquence et de faible amplitude, une augmentation du tonus musculaire et un comportement actif, tel que le toilettage et l’exploration⁴. Ces trois étapes peuvent être identifiées en inspectant les signaux de l’électroencéphalogramme (EEG) et de l’électromyogramme (EMG)⁵.

Les modèles de notation automatique des phases de sommeil chez les rongeurs sont très nécessaires. Tout d’abord, la notation manuelle des phases de sommeil par des experts humains demande beaucoup de travail et de temps. Deuxièmement, les habitudes de sommeil chez les rongeurs diffèrent de celles des humains et présentent des épisodes plus fragmentés de NREM et de REM espacés par le réveil, environ 10 min, contre 60-120 min chez l’homme⁶. Par conséquent, il est difficile d’identifier ces brèves périodes lors de la notation manuelle. Il y a eu de nombreuses tentatives depuis les années 60 pour développer un système de notation automatique des données de sommeil des rongeurs⁷. Bien qu’il existe de nombreuses méthodes automatisées de notation du sommeil des rongeurs, leurs performances varient 8,9,10,11,12,13,14,15,16,17,18. Il est important de noter que la plupart des modèles très performants avec une généralisabilité élevée ne sont pas accessibles au public (certains nécessitent des demandes spéciales de la part des développeurs) ou ne sont pas gratuits pour les chercheurs sur le sommeil.

Par conséquent, pour combler le manque technologique actuel, nous avons développé un modèle basé sur l’apprentissage automatique en utilisant un grand ensemble de données de 5776 h de signaux EEG et EMG à partir de 519 enregistrements sur 124 souris avec l’algorithme LightGBM¹. Le lightGBM utilise une approche de renforcement du gradient pour construire des arbres de décision¹⁹. Dans Wang et al., 2023, le modèle LightGBM (composé de plus de 8000 arbres de décision) a atteint une précision globale de 95,2 % et un kappa de Cohen de 0,91, ce qui a surpassé deux modèles de référence largement utilisés tels que le modèle de régression logistique (précision = 93,3 %) et le modèle de forêt aléatoire (précision = 94,3 %, kappa = 0,89). Les performances globales du modèle ont également montré des performances similaires à celles des experts humains. Plus important encore, il a été prouvé que le modèle était généralisable et qu’il n’était pas surajusté aux données d’entraînement d’origine¹ : 1) Il a bien fonctionné (précision > 89 %) sur deux autres ensembles de données indépendants accessibles au public, de Miladinovic et de ses collègues¹¹, avec des fréquences d’échantillonnage et des durées d’époque différentes ; 2) Les performances du modèle ne sont pas affectées par le cycle lumière/obscurité des souris ; 3) Un modèle LightGBM modifié a donné de bons résultats sur des données contenant seulement une électrode EEG et une électrode EMG avec un kappa ≥ 0,89 ; 4) Des souris de type sauvage et mutantes ont été utilisées pour les tests et les performances du modèle étaient toutes deux précises. Cela suggère que le modèle peut noter les phases de sommeil pour des souris ayant des antécédents génétiques différents.

Afin de rendre ce modèle accessible aux chercheurs du sommeil qui n’ont peut-être pas d’expertise en codage, nous avons développé IntelliSleepScorer, un outil logiciel convivial avec une interface visuellement intuitive. Le logiciel peut entièrement automatiser la procédure de score du sommeil chez les souris. Il produit des visualisations interactives des signaux, de l’hypnogramme et des valeurs SHAP (Shapley Additive ExPlanations) à partir d’une entrée de fichier au format de données européen (EDF)/EDF+. L’approche de la valeur SHAP, basée sur la théorie des jeux coopératifs, améliore l’interprétabilité des modèles d’apprentissage automatique²⁰. Le modèle propose des valeurs SHAP globales et au niveau de l’époque, révélant comment différentes valeurs de caractéristiques contribuent à la décision de notation du modèle dans son ensemble et pour chaque époque. Ce programme avancé réduit considérablement le temps et les efforts nécessaires à l’évaluation des phases de sommeil chez les souris, tout en garantissant que l’analyse en aval peut s’appuyer sur des résultats très précis. Dans ce manuscrit, nous présentons l’utilisation étape par étape d’IntelliSleepScorer (v1.2) avec plusieurs mises à jour par rapport à la version 1.0, y compris une option permettant d’exécuter l’analyse SHAP séparément de la prédiction des habitudes de sommeil, une durée d’époque réglable par l’utilisateur pour l’évaluation des phases de sommeil et une fonction de correction manuelle des phases de sommeil intégrée à l’interface graphique.

Cette étude a utilisé des données recueillies lors d’expériences in vivo sur des souris. Aucune expérience humaine n’a été impliquée dans l’étude. Toutes les expériences sur des animaux ont été approuvées par le Comité institutionnel de soin et d’utilisation des animaux du Broad Institute. Toutes les expériences ont été réalisées conformément aux directives et réglementations en vigueur. Les lignes directrices d’ARRIVE ne s’appliquent pas à cette étude, car l’objectif de cette étude est de développer des modèles d’apprentissage automatique plutôt que de comparer différents groupes de traitement.

1. Préparation des données

REMARQUE : Compatibilité des données : les données enregistrées peuvent avoir n’importe quelle fréquence d’échantillonnage supérieure à 40 Hz. Il n’est pas nécessaire de filtrer le signal car le logiciel filtre les signaux EEG et EMG à la première étape. Les modèles LightGBM ont été développés et testés à l’aide de données provenant de souris. Aucune preuve concernant les performances des modèles LightGBM chez d’autres types d’animaux de laboratoire n’est disponible. Les électrodes d’enregistrement doivent être placées au niveau du cortex frontal et du cortex pariétal, ou à l’un ou l’autre endroit si un seul canal EEG est enregistré.

1. Agencement et exigences du format EDF/EDF+
   REMARQUE : Le logiciel utilisé dans cette étude ne lit que les fichiers EDF/EDF+ à l’aide du package MNE-Python. La spécification standard EDF/EDF+ doit être appliquée pour générer les fichiers EDF/EDF+. En plus de la spécification standard, assurez-vous que les annotations EDF/EDF+ sont encodées en UTF-8. Sinon, l’application logicielle se bloquera.
   1. Convertissez un autre format de fichier (fichier non EDF/EDF+) au format EDF/EDF+ avec des outils gratuits en ligne.
      REMARQUE : Il n’est pas nécessaire d’utiliser le filtre de l’appareil lors de l’obtention de signaux EEG et EMG. Tant que les utilisateurs échantillonnent leurs données EEG et EMG à une fréquence de 40 Hz ou plus, le logiciel fonctionnera correctement. En effet, dans l’étape initiale de prétraitement, les signaux subissent un filtrage passe-bande entre 1 Hz et 40 Hz. Ce filtrage passe-bande est intégré dans le pipeline de prétraitement du logiciel, ce qui évite aux utilisateurs d’avoir à effectuer un traitement supplémentaire du signal.
2. Il existe deux modèles de notation à l’intérieur du logiciel. L’un est LightGBM-2EEG et l’autre est LightGBM-1EEG. Le modèle LightGBM-2EEG est conçu pour l’enregistrement de données qui dispose de 2 canaux EEG et d’un canal EMG. Effectuez les étapes suivantes selon le modèle.
   1. Organisez les fichiers de données pour LightGBM-2EEG spécifiquement dans l’ordre suivant : 1) Canal EEG enregistré dans la zone pariétale ; 2) Canal EEG enregistré dans la zone frontale ; 3) Canal EMG. Le LightGBM-1EEG est conçu pour les données qui ne contiennent qu'1 canal EEG (placement de l’électrode sur la zone pariétale ou frontale) et 1 canal EMG.
   2. Organisez les canaux dans les fichiers EDF/EDF+ pour LightGBM-1EEG dans l’ordre suivant : 1) Canal EEG ; 2) Canal EMG.

2. Téléchargement d’IntelliSleepScorer pour les utilisateurs de Windows, Mac et Linux

1. Pour les utilisateurs de Windows, un exécutable Windows pour le logiciel est disponible à l’aide de PyInstaller. Vous trouverez le lien de téléchargement sur la page de recherche du groupe Pan https://sites.broadinstitute.org/pan-lab/resources. Pour les utilisateurs de MacOS ou Linux, utilisez le code source sur le référentiel GitHub https://github.com/broadinstitute/IntelliSleepScorer pour lancer le logiciel.
2. Accédez à deux exemples de données enregistrés pour tester le programme enregistré sous forme de fichiers EDF en les téléchargeant via le référentiel GitHub.
3. Le référentiel de code source n’inclut pas le dossier models en raison de limites de taille. Au lieu de cela, téléchargez-models.zip, décompressez-le et copiez le dossier models dans le référentiel pour que le programme s’exécute. Sinon, le logiciel se bloquera en raison de fichiers de modèle manquants.

3. Flux de travail et lancement et fonctionnement du programme

1. Lancer IntelliSleepScorer
   1. Pour lancer le logiciel sous Windows, double-cliquez sur IntelliSleepScorer.exe situé dans le dossier racine. Pour lancer le logiciel sous MacOS ou Linux, ouvrez un émulateur de terminal, remplacez le répertoire par le dossier racine du logiciel, puis lancez le logiciel à l’aide de la commande : python3 IntelliSleepScorer.py.
2. Une fois le logiciel ouvert, cliquez sur Sélectionner le(s) fichier(s) EDF/EDF+ pour sélectionner le(s) fichier(s) souhaité(s) à noter. Si des fichiers ont été sélectionnés par erreur, cliquez sur le bouton Effacer pour effacer la liste des fichiers sélectionnés.
   REMARQUE : par défaut, le logiciel encode les phases de veille sous la forme Wake :1, NREM :2 et REM :3 dans les fichiers de score de sortie. La durée d’époque par défaut est de 10 s. La version actuelle (v1.2) de l’interface graphique permet aux utilisateurs de modifier les encodages d’étape ou les longueurs d’époque en 4 s, 10 s ou 20 s à l’aide du menu déroulant.
3. Sélectionnez la durée d’époque souhaitée. Utilisez le menu déroulant fourni pour sélectionner la durée d’époque prévue parmi les options de 4 s, 10 s et 20 s pour l’évaluation de la phase de sommeil.
4. Sélectionnez le modèle à utiliser pour l’évaluation du sommeil. Le LightGBM-2EEG est destiné aux fichiers de données avec deux canaux EEG et un canal EMG, tandis que le LightGBM-1EEG est conçu pour les données avec un canal EEG et un canal EMG.
5. Avant d’exécuter la prédiction du stade de sommeil, incluez le calcul SHAP supplémentaire qui permet d’expliquer les résultats de la prédiction du stade de sommeil. Pour traiter le calcul SHAP, cochez la case Exécuter/Tracer SHAP . Le calcul SHAP nécessite environ 5 à 10 minutes de traitement.
6. Cliquez sur Noter tous les fichiers. Le modèle note automatiquement tous les fichiers EDF/EDF+ et calcule les valeurs SHAP globales et d’époque pour interpréter les décisions de notation de la liste si celle-ci est choisie pour le faire.
   REMARQUE : Au cours du processus de notation, le modèle génère les fichiers suivants et les enregistre dans le même dossier que celui où se trouvent les fichiers EDF/EDF+. Le modèle utilise ces fichiers pour tracer les valeurs SHAP globales et les valeurs SHAP d’époque.
   
   « Nom de fichier EDF/EDF+}_{model_name}_features.csv » ; Ce fichier stocke toutes les valeurs de fonction extraites.
   « Nom de fichier EDF/EDF+}_{model_name}_scores.csv » ; Ce fichier stocke les phases de sommeil prévues.
   « Nom de fichier EDF/EDF+}_{model_name}_rs_100hz.npy » ; Ce fichier stocke une copie des signaux rééchantillonnés/sous-échantillonnés (100 Hz). Pour améliorer la vitesse de visualisation, le modèle utilise le signal sous-échantillonné au lieu du signal d’origine lors du traçage du signal.
   "Nom de fichier EDF/EDF+}_{model_name}explainer. cornichon » ; « {Nom de fichier EDF/EDF+}{model_name}shap_500samples.pickle » ; « {Nom de fichier EDF/EDF+}{model_name}_indicies_500samples.npy » ;
7. Après avoir terminé le processus de notation du sommeil, cliquez sur l’option Visualiser le fichier sélectionné pour visualiser les signaux EEG/EMG et un hypnogramme aligné dans le temps avec les signaux.
   1. Évaluez à nouveau le fichier sélectionné avant la visualisation si la durée de l’époque est modifiée.

4. Naviguer dans les résultats notés

1. Cliquez sur les boutons de navigation fournis pour avancer ou reculer afin d’afficher différentes données d’époque.
2. Si le calcul SHAP est sélectionné, affichez les valeurs SHAP globales et au niveau de l’époque. Cliquez avec le bouton droit de la souris sur une époque pour tracer les valeurs SHAP au niveau de l’époque.
   REMARQUE : La mise à jour du tracé SHAP au niveau de l’époque prendra quelques secondes. La figure 1 montre la vue d’ensemble de la page de l’interface graphique après l’exécution de la prédiction pour le fichier EDF/EDF+ de l’exemple 1 avec le modèle 1_LightBGM-2EEG.

5. Interprétation de l’hypnogramme des stades de sommeil notés

REMARQUE : Il y a 4 rangées dans l’hypnogramme (Figure 2). La ligne supérieure est les résultats prévus. Les 3 rangées inférieures sont des données brutes de 2 canaux EEG et 1 canal EMG, respectivement. Sur la rangée du haut, l’orange suggère l’étape Wake , le bleu suggère l’étape NREM et le rouge suggère l’étape REM à chaque époque.

1. Pour modifier le nombre d’époques à afficher, cliquez sur la boîte de menu à droite de Sélectionner le nombre d’époques à afficher et choisissez la valeur souhaitée. Dans la figure 2, 100 époques ont été choisies. Par conséquent, seules 100 époques sont affichées dans le graphique de prédiction du stade de sommeil. Sélectionnez un nombre plus petit dans le menu déroulant pour zoomer sur le graphique.
2. La barre transparente rose à gauche de la figure 2 indique l’emplacement actuel de l’époque. Faites un clic gauche sur n’importe quel endroit de l’hypnogramme pour passer à une autre époque, ou cliquez simplement sur Aller à l’époque et entrez un nombre spécifique d’époques à observer. Cliquez avec le bouton droit de la souris sur l’époque sélectionnée pour générer son tracé SHAP d’époque si l’utilisateur a activé la fonction SHAP.

6. Correction manuelle des phases de sommeil prévues sur l’interface graphique (facultatif)

REMARQUE : si aucune anomalie n’est observée ou si une précision extrêmement élevée n’est pas requise pour la prédiction de l’étape REM, une vérification manuelle n’est pas nécessaire.

1. Cliquez avec le bouton gauche de la souris sur une époque dans le graphique de prédiction de la phase de sommeil (graphique du haut) pour sélectionner une époque spécifique. Le modèle prédit Étape de l’époque sélectionnée est illustré à droite du texte. Pour modifier manuellement l’étape prédite à cette époque, cliquez sur le widget et sélectionnez une nouvelle étape dans les options Wake, NREM et REM dans le menu déroulant.
2. Les étapes corrigées par l’utilisateur sont marquées par des lignes pointillées au-dessus du tracé d’origine (Figure 3). Fermez l’interface graphique et un nouveau fichier avec des résultats de prédiction corrigés sera automatiquement généré dans le même dossier.
   1. Pour ouvrir à nouveau un fichier partitionné enregistré sur l’interface graphique, assurez-vous que le paramètre de longueur d’époque et le modèle sélectionné correspondent à ceux utilisés lors du traitement initial du fichier EDF afin de pouvoir le rouvrir. Toutes les informations précédemment modifiées/notées seront rapidement chargées.

Il y a trois graphiques (seulement le graphique du haut si les valeurs SHAP n’ont pas été exécutées) générés dans l’interface graphique après le score de la phase de sommeil : le graphique du haut présente les canaux EEG et EMG avec un hypnogramme de la prédiction de la phase de sommeil. Le graphique du milieu présente les valeurs SHAP d’époque. Le graphique du bas présente les valeurs globales de SHAP (Figure 1).

Il y a 4 types de données présentées dans le graphique de l’hypnogramme de prédiction du stade de sommeil (Figure 2). La ligne supérieure est les résultats prévus. Les 3 rangées inférieures sont des données brutes de 2 canaux EEG et 1 canal EMG, respectivement. Sur la rangée du haut, l’orange suggère l’étape « Wake », le bleu suggère l’étape « NREM » et le rouge suggère l’étape « REM » à chaque époque. L’époque de l’exemple actuel est sur 1305 et se trouve dans une phase de « Wake » car la barre de localisation rose se chevauche avec une ligne de couleur orange.

Dans la figure 3, une étape corrigée par l’utilisateur est marquée de lignes pointillées au-dessus de l’original. La ligne pointillée rouge indique que la phase de sommeil est passée de « Veille » à « REM ».

La figure 4 montre un exemple de résultat de l’époque 1305 dans le fichier d’exemple 1. L’axe Y du graphique SHAP d’époque affiche les 10 principales entités avec les valeurs SHAP absolues les plus élevées pour l’époque sélectionnée. L’axe des x montre les valeurs SHAP, qui indiquent la contribution de chaque caractéristique à la prédiction par rapport à la prédiction moyenne. La valeur SHAP positive indique une contribution positive à la prédiction, et vice versa. La caractéristique « emg_abs_max » a une valeur SHAP très positive au niveau de l’époque pour Wake, ce qui indique que « emg_abs_max » de l’époque sélectionnée augmente la probabilité que l’époque choisie soit notée comme « Wake » (Figure 4). C’est physiologiquement raisonnable car une grande amplitude EMG signifie des mouvements actifs, indiquant ainsi l’étape « Wake ».

Dans l’exemple de graphique SHAP global (Figure 5), chaque point du graphique p-swarm représente un échantillon de données. L’axe des y des graphiques montre les 10 principales entités avec les valeurs SHAP globales absolues les plus élevées calculées à partir de 500 époques échantillonnées au hasard. L’axe des x montre les valeurs SHAP, qui indiquent la contribution de chaque caractéristique à la prédiction par rapport à la prédiction moyenne. Différent du graphique SHAP d’époque, le graphique SHAP global a deux dimensions : la valeur x de chaque point et l’intensité de la couleur du point. La valeur SHAP positive de l’axe des x indique une contribution positive à la prédiction, et vice versa. Les échantillons de couleur rouge plus foncé ont des valeurs de caractéristiques plus élevées. En examinant visuellement les corrélations de position et de couleur des 500 points pour chaque caractéristique, on peut interpréter comment LightGBM prend des décisions en fonction des valeurs de chaque caractéristique. Dans le graphique SHAP global « Wake », à mesure que les valeurs SHAP pour « emg_abs_max » passent de plus négatives à plus positives, la couleur des points devient plus foncée. Il indique que la probabilité accrue d’être prédit comme « Wake » est positivement corrélée avec la valeur accrue de « emg_abs_max ». Il convient également de noter que les caractéristiques avec des distributions plus larges de valeurs SHAP (valeurs absolues plus élevées) contribuent davantage à la prédiction du modèle. Par exemple, le graphique global NREM SHAP (Figure 5) présente une large gamme de points pour la caractéristique « eeg2_gamma_delta_ratio ». La valeur SHAP très négative de la caractéristique diminue la probabilité que le modèle soit noté en tant qu’étape « NREM ».

Figure 1 : Vue d’ensemble de la page de l’interface graphique après l’exécution de la prédiction pour le fichier EDF/EDF+ de l’exemple 1 avec le modèle 1_LightBGM-2EEG. La prédiction du stade de sommeil et le calcul SHAP sont notés. Le graphique du haut montre les canaux EEG et EMG avec un hypnogramme de la prédiction du stade de sommeil. Le graphique du milieu montre les valeurs SHAP d’époque. Le graphique du bas montre les valeurs SHAP globales. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 2 : Hypnogramme de prédiction du stade de sommeil à partir de l’exemple 1 du fichier EDF/EDF+. Il y a 4 données présentées dans le graphique. La ligne supérieure est les résultats prévus. Les 3 rangées inférieures sont des données brutes de 2 canaux EEG et 1 canal EMG, respectivement. Sur la rangée du haut, l’orange suggère l’étape « Wake », le bleu suggère l’étape « NREM » et le rouge suggère l’étape « REM » à chaque époque. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 3 : Hypnogramme de prédiction du stade de sommeil de l’exemple 1 Fichier EDF/EDF+ avec correction manuelle modifiée par l’utilisateur. L’époque 1305 a été remplacée par l’étape « Wake » par l’étape « REM » en tant que démonstration de la correction manuelle de l’étape de veille dans l’interface graphique. La ligne rouge pointillée indique la phase de sommeil « REM » modifiée par l’utilisateur. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 4 : Valeurs SHAP de sillage, NREM et REM pour le fichier EDF/EDF+ de l’exemple 1 à l’époque 1305. L’axe des y du graphique SHAP d’époque montre les 10 principales entités avec les valeurs SHAP absolues les plus élevées pour l’époque sélectionnée. L’axe des x montre les valeurs SHAP, qui indiquent la contribution de chaque caractéristique à la prédiction par rapport à la prédiction moyenne. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 5 : Valeurs SHAP globales de Wake, NREM et REM pour l’exemple 1 fichier EDF/EDF+. Chaque point du graphique p-swarm représente un échantillon de données. L’axe des y des graphiques montre les 10 principales entités avec les valeurs SHAP globales absolues les plus élevées calculées à partir de 500 époques échantillonnées au hasard. L’axe des x montre les valeurs SHAP, qui indiquent la contribution de chaque caractéristique à la prédiction par rapport à la prédiction moyenne. L’axe des x de la valeur SHAP globale a deux dimensions : la valeur x de chaque point et l’intensité de la couleur du point. La valeur SHAP positive de l’axe des x indique une contribution positive à la prédiction, et vice versa. Les échantillons de couleur rouge plus foncé ont des valeurs de caractéristiques plus élevées. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Cet article explique comment utiliser l’interface utilisateur graphique IntelliSleepScorer (v1.2) pour noter automatiquement les phases de sommeil des souris et comment exploiter les valeurs/tracés SHAP pour mieux comprendre les scores de phases de sommeil générés par le modèle.

La compatibilité des données est un élément important à prendre en compte lors de l’utilisation du logiciel. Les données internes utilisées dans cette étude se limitaient à des électrodes placées dans les régions frontale et pariétale. Dans l’ensemble de données indépendant de Miladinovic et de ses collègues¹¹, malgré des coordonnées d’électrodes différentes pour ces régions, le logiciel a maintenu des performances satisfaisantes. Bien que le logiciel puisse être applicable à d’autres régions du cerveau, nous n’avons pas effectué de tests pour le confirmer. Par conséquent, nous ne pouvons pas affirmer qu’il n’y a pas de limites concernant le placement des électrodes. Cependant, nous encourageons les utilisateurs à le tester s’ils ont des enregistrements d’autres régions.

La durée des séances d’enregistrement EEG/EMG pour l’analyse des stades de sommeil varie en fonction des objectifs spécifiques de l’étude. En règle générale, les sessions d’enregistrement durent soit 12 h, couvrant soit la phase claire ou sombre, soit 24 h, englobant les deux phases en une seule journée. Les enregistrements de 12 h et de 24 h sont couramment utilisés pour capturer des schémas de sommeil et d’éveil et des rythmes circadiens distincts. Les tests sur le modèle montrent que le score des phases de sommeil est fiable et précis pour les sessions enregistrées de 12 et 24 heures. Il n’y a pas de limite supérieure connue pour la durée des enregistrements.

Deux étapes notables du protocole logiciel sont le prétraitement des données et la vérification manuelle. Pour améliorer la généralisabilité des modèles entraînés, nous avons pris en compte le bruit et les artefacts dans les données d’entrée et mis en œuvre des mesures minimales de contrôle de la qualité. Le contrôle de qualité que nous avons effectué vise à exclure les enregistrements médiocres dus à la perte de signaux. La perte de signaux est généralement causée par des problèmes de connexion, tels que des électrodes qui se détachent ou qui tombent. La perte de signaux peut entraîner des erreurs dans les scores de sommeil générés par le logiciel. Par exemple, une ligne plate dans le canal EMG d’une souris éveillée due à une électrode EMG lâche peut partager la même caractéristique que la phase immobile/sommeil des souris, ce qui peut conduire à la prédiction « NREM » ou « REM » par les modèles LightGBM. À titre de référence, nous avons utilisé les critères suivants pour exclure automatiquement les enregistrements qui présentaient une perte de signal significative : 1) l’amplitude de tout signal EEG est inférieure à 1 μV pendant au moins 50 % de la durée d’enregistrement, ou 2) l’amplitude du signal EMG est inférieure à 1 pV pendant au moins 50 % de la durée d’enregistrement. Les utilisateurs doivent mettre en œuvre leurs propres critères de contrôle de la qualité en fonction de leur configuration expérimentale et de leur système d’enregistrement. Les bruits de ligne causés par le courant alternatif sont généralement situés à 50 Hz ou 60 Hz. Ces bruits de ligne seront supprimés lors de l’étape du filtre passe-bande (1-40 Hz) implémentée dans le logiciel. Par conséquent, il n’est pas nécessaire pour les utilisateurs de prétraiter les bruits de ligne avant de saisir les données dans le logiciel. Des bruits mineurs ou des facteurs perturbateurs, tels que les mouvements du corps, ont été pris en compte lors de l’élaboration du modèle¹. L’approche utilisée dans cette étude garantit que la généralisabilité du modèle peut tolérer ces artefacts mineurs qui n’influencent pas de manière significative les résultats finaux de la stadification du sommeil. Le format, la qualité de l’enregistrement et la séquence d’organisation des fichiers de données EDF sont autant d’éléments critiques pour optimiser les performances de ce modèle pré-entraîné.

Pour la vérification manuelle, étant donné que le modèle LightGBM a obtenu de mauvais résultats (score REM F1 < 0,6) sur quelques enregistrements, nous recommandons aux utilisateurs de vérifier les phases de sommeil générées par le modèle si un score précis des phases REM est essentiel. Pour les études axées sur la physiologie du sillage ou du stade NREM, le modèle LightGBM prend toujours en charge un pipeline analytique très robuste et entièrement automatisé. L’interprétation des valeurs SHAP pourrait devenir un excellent outil en conjonction avec une vérification manuelle pour confirmer l’exactitude des résultats générés par le logiciel. SHAP est une approche qui utilise la théorie des jeux pour expliquer le résultat des modèles d’apprentissage automatique. Il relie l’allocation optimale du crédit aux explications locales à l’aide des valeurs classiques de Shapley et de leurs extensions associées²⁰. Par exemple, dans le graphique des valeurs SHAP NREM globales (Figure 4), si un point rouge foncé apparaît soudainement à l’extrême droite de l’entité « eeg2_gamma_delta_ratio », cela peut indiquer une anomalie à cette époque. Cela est dû au fait que le point d’échantillonnage d’époque isolé s’écarte de l’ensemble des données. L’interprétation des diagrammes SHAP pourrait également fournir aux utilisateurs une explication claire et conviviale de l’évaluation des stades de sommeil. Par exemple, les graphiques SHAP d’époque fournissent des informations sur les caractéristiques qui sont le principal facteur décisif pour le score de la phase de sommeil. L’hypnogramme de prédiction des résultats (Figure 2) fournit également des informations importantes sur les résultats de la prédiction. Dans les cas où les stades de sommeil notés en hypnogramme présentent des décalages fréquents entre les stades « Wake » et « REM », ce qui est physiologiquement anormal, il est recommandé de procéder à une évaluation complète du score et des valeurs SHAP correspondantes pour déterminer la qualité des résultats. Avec SHAP et les graphiques d’hypnogramme, les chercheurs peuvent identifier rapidement toute erreur de prédiction lors de la notation des phases de sommeil. Cependant, si les valeurs SHAP expliquent comment le modèle effectue les prédictions, elles ne signifient pas nécessairement que les prédictions ou la manière dont le modèle fait certaines prédictions sont correctes. L’objectif de la présentation des valeurs SHAP est d’aider les utilisateurs à comprendre le processus de notation de la phase de sommeil et de permettre aux utilisateurs d’identifier rapidement toute erreur en examinant la logique du modèle LightGBM.

La version actuelle (v1.2) du modèle présente deux caractéristiques exceptionnelles. Tout d’abord, suite au paragraphe précédent, la vérification/correction manuelle peut être très fastidieuse et peu pratique si les utilisateurs doivent revenir aux fichiers CSV pour apporter des modifications, en particulier pour les enregistrements longs. Par conséquent, nous proposons une fonction de correction manuelle directement intégrée à l’interface graphique pour que les utilisateurs puissent modifier le niveau de sommeil noté à n’importe quelle époque. Une fois que l’utilisateur a cliqué sur une époque spécifique, le niveau de veille noté « Wake », « REM » ou « NREM » s’affichera dans le menu déroulant en haut de la barre de l’interface graphique. Si l’utilisateur souhaite changer l’étape de l’une à l’autre, il peut simplement sélectionner une autre étape dans le menu déroulant, et un nouveau fichier noté corrigé manuellement par les utilisateurs sera généré. De plus, au lieu d’une durée d’époque standard fixe de 10 secondes fournie pour l’analyse, nous proposons une option d’ajustement de la durée d’époque sur l’interface graphique pour répondre aux besoins expérimentaux spécifiques des différents chercheurs sur le sommeil. Les options sont maintenant les époques 4-s, 10-s et 20-s, qui sont toutes couramment utilisées par les chercheurs sur le sommeil. Même si ce modèle a été entraîné avec des données internes d’époques de 10 secondes, les performances du modèle sur des tests indépendants de données d’époques de 4 secondes provenant de différents laboratoires étaient comparables à celles d’experts humains à tous les stades de sommeil¹. Les utilisateurs doivent être prudents lors de la mise en œuvre d’époques de 20 secondes car, 1) l’évaluation du sommeil/éveil des souris avec des époques de 20 secondes peut manquer des événements très courts tels que des éveils transitoires ; 2) Les époques de 20 secondes sont plus susceptibles d’englober des étapes mixtes à chaque époque⁸.

Il sera intéressant de comparer ce modèle avec d’autres méthodes de notation automatisée des phases de sommeil existantes pour les utilisateurs. Outre IntelliSleepScorer, il existe d’autres modèles développés pour le score automatique des phases de sommeil avec différents degrés de précision, de complexité et d’efficacité 8,9,10,11,12,13,14,15,16,17,18 . Le modèle utilisé dans cette étude utilise l’algorithme LightGBM pour obtenir une grande précision dans l’évaluation des phases de sommeil, comparable aux modèles existants. Dans notre évaluation, IntelliSleepScorer a démontré une précision globale de 95,2 %, ce qui est comparable aux mesures de performance rapportées pour des modèles similaires tels que MC-SleepNet⁸ et Sleep-Deep-Learner⁹. Cependant, la véritable distinction d’IntelliSleepScorer ne réside pas seulement dans sa précision, mais aussi dans son accessibilité et sa facilité d’utilisation pour les chercheurs non formés ayant une expérience limitée du codage.

MC-SleepNet⁸, entraîné à l’aide de réseaux de neurones profonds sur un grand ensemble de données de 4200 souris, atteint une précision de score élevée de 96,4 % et une statistique kappa de 0,94, surpassant la plupart des méthodes existantes. Cependant, à notre connaissance, il n’existe à ce jour aucun logiciel basé sur MC-SleepNet qui soit accessible publiquement/gratuitement.

Sleep-Deep-Learner⁹ automatise le score chez les souris avec un score F1 de 0,86 pour le sommeil paradoxal, de 0,95 pour le sommeil NREM et de 0,97 pour l’éveil. Cependant, les auteurs ont indiqué dans l’article que Sleep-Deep-Learner ne convient pas aux personnes qui ne connaissent pas bien la notation veille-sommeil, car il nécessite un sous-ensemble d’époques notées manuellement. IntelliSleepScorer, en revanche, ne nécessite aucune manipulation manuelle supplémentaire lors de la notation des phases de sommeil et dispose d’une interface graphique très conviviale pour tous les chercheurs.

Somnivore¹⁰ est un système polyvalent et multicouche conçu pour la notation automatisée des phases d’éveil et de sommeil, apte à apprendre à partir d’ensembles d’entraînement limités avec des entrées de polysomnographie complexes. Il fonctionne avec une efficacité de calcul rapide et fait preuve d’une généralisation robuste sur divers sujets, y compris les humains, les rongeurs (sauvages et transgéniques) et les pigeons. Cependant, Somnivore n’est pas gratuit.

SlumberNet¹¹ et AccuSleep¹² sont tous deux facilement accessibles sur Zenodo et GitHub, respectivement, et ont une précision de score de 97 % et 96,8 %. Cependant, les deux modèles ont des données d’entraînement de taille relativement petite de 9 ou 10 souris et n’incluent pas de validation de test indépendante. Par conséquent, leurs performances dans le monde réel restent inconnues.

SPINDLE¹³ est un autre modèle basé sur le Web entraîné avec un ensemble de données plus petit avec 4 à 6 souris/rats exploitant des réseaux neuronaux convolutifs. Validé à partir de données provenant de trois laboratoires du sommeil indépendants, SPINDLE a atteint des taux de concordance moyens de 93 % à 99 % avec des scores d’experts humains de différents laboratoires, reflétant les capacités humaines.

Enfin, Somnotate¹⁴ a démontré une précision de 0,97 ± 0,01 et un score F1 pondéré de 0,97 ± 0,01 lorsqu’il a été évalué sur des ensembles de données internes comprenant six enregistrements de 24 heures sur la base du consensus d’au moins trois annotations manuelles. Lorsqu’elle a été testée sur l’ensemble de données de Somnotate, les performances d’IntelliSleepScorer ont diminué, avec une précision de 0,75 ± 0,04 et un score F1 pondéré de 0,73 ± 0,05¹⁴. Cette performance réduite peut être attribuée à des différences dans les configurations expérimentales ou les conditions d’enregistrement entre les ensembles de données. Compte tenu de la variété des cas d’utilisation dans le monde réel, nous encourageons les utilisateurs à évaluer les performances d’IntelliSleepScorer sur leurs ensembles de données, en particulier si leurs configurations expérimentales ou leurs conditions d’enregistrement diffèrent considérablement des nôtres. Si les performances du logiciel ne répondent pas aux attentes, les utilisateurs ont la possibilité d’affiner le modèle pré-entraîné avec leurs données, car nous avons rendu les modèles et le code utilisés pour le développement open source.

Outre les exemples de modèles existants discutés ci-dessus, il existe d’autres systèmes automatisés de stadification du sommeil développés parmi lesquels les chercheurs pourraient choisir en fonction des besoins spécifiques et différents de leurs études 15,16,17,18.

Dans le cadre de nos travaux futurs, nous visons à développer/entraîner un nouveau modèle qui optimise le temps de score automatique des phases de sommeil. Actuellement, l’interface graphique traite 12 h d’enregistrements échantillonnés à 1000 Hz en environ 10 min sur un processeur Intel Core i7-8550U @ 1,80 GHz. Cependant, le temps de traitement augmente d’environ 2,5 fois lorsque l’on évalue les phases de sommeil avec des époques de 4 secondes par rapport aux époques de 10 secondes par défaut. Ce nouveau modèle pourrait répondre aux besoins de certains utilisateurs qui souhaitent un score plus rapide et automatique des phases de sommeil chez la souris. Nous sommes également toujours à l’écoute des commentaires des utilisateurs, et toute nouvelle fonctionnalité peut être ajoutée sur demande.

En résumé, nous fournissons un logiciel d’interface graphique gratuit, accessible au public et convivial, IntelliSleepScorer, pour créer un pipeline automatisé pratique pour l’évaluation des phases de sommeil des souris. De plus, nous sommes allés plus loin en proposant des visualisations de valeurs SHAP qui expliquent la décision de notation prise par le modèle. Les utilisateurs expérimentés peuvent également affiner notre modèle pré-entraîné avec leurs données, étant donné que les fichiers de modèle et les scripts permettant d’extraire les fonctionnalités pour l’entraînement/le réglage fin sont tous disponibles publiquement dans le référentiel GitHub. Nous espérons que ce modèle librement disponible pourra réduire l’écart technologique et faciliter la progression de la collecte de données à de nouvelles découvertes utilisant des modèles de souris dans la recherche sur le sommeil, tout en réduisant le travail à forte intensité de main-d’œuvre.

Les auteurs ne déclarent aucun conflit d’intérêts.

Nous remercions Kerena Yan et Jingwen Hu pour la musique manuelle des phases de sommeil et Eunah et Soonwiik pour les enregistrements.