IntelliSleepScorer, un paquete de software con una interfaz gráfica de usuario para la puntuación automatizada de la etapa del sueño de ratones

Presentamos un paquete de software con una interfaz gráfica de usuario para investigadores sin experiencia en codificación para puntuar las etapas del sueño en ratones con una simple descarga y operación.

La puntuación de las etapas del sueño en roedores es el proceso de identificación de las tres etapas: sueño con movimientos oculares no rápidos (NREM), sueño con movimientos oculares rápidos (REM) y vigilia. La puntuación de la etapa del sueño es crucial para estudiar las medidas y los efectos específicos de la etapa del sueño.

Los patrones de sueño en los roedores difieren de los de los humanos, caracterizados por episodios más cortos de NREM y REM interespaciados por la vigilia, y la puntuación manual tradicional de las etapas del sueño por parte de expertos humanos requiere mucho tiempo. Para abordar este problema, estudios anteriores han utilizado enfoques basados en el aprendizaje automático para desarrollar algoritmos que categorizen automáticamente las etapas del sueño, pero los modelos de alto rendimiento con gran generalización a menudo no están disponibles públicamente, no son gratuitos ni son fáciles de usar para los investigadores del sueño no capacitados.

Por lo tanto, desarrollamos un algoritmo LightGBM basado en aprendizaje automático entrenado con un gran conjunto de datos. Para que el modelo esté disponible para los investigadores del sueño sin experiencia en codificación, se desarrolló una herramienta de software llamada IntelliSleepScorer (v1.2 - versión más reciente) basada en el modelo, que cuenta con una interfaz gráfica de usuario fácil de usar. En este manuscrito, presentamos instrucciones paso a paso para usar el software para demostrar una herramienta de puntuación automática de la etapa del sueño conveniente y efectiva en ratones para los investigadores del sueño.

La puntuación de las etapas del sueño en roedores es el procedimiento para identificar las tres etapas: sueño con movimientos oculares no rápidos (NREM), sueño con movimientos oculares rápidos (REM) y vigilia². En los roedores, la NREM se caracteriza por una reducción de la actividad muscular, una respiración lenta y regular, una disminución de la frecuencia cardíaca y oscilaciones de baja frecuencia de las ondas cerebrales. La fase REM en roedores, al igual que en los humanos, muestra atonía muscular, activación del EEG y movimientos oculares rápidos, aunque la aparición de sueños vívidos es menos clara en los roedores en comparación con los humanos ^2,3. El estado de "vigilia" en los roedores se caracteriza por una actividad cerebral desincronizada con ondas de alta frecuencia y baja amplitud, aumento del tono muscular y comportamiento activo, como el acicalamiento y^{la exploración}. Estas tres etapas pueden identificarse mediante la inspección de las señales de electroencefalograma (EEG) y electromiograma (EMG)⁵.

Los modelos automáticos de puntuación de las etapas del sueño en roedores son muy necesarios. En primer lugar, la puntuación manual de las etapas del sueño por parte de expertos humanos requiere mucho trabajo y tiempo. En segundo lugar, los patrones de sueño en roedores difieren de los de los humanos y tienen episodios más fragmentados de NREM y REM interespaciados por la vigilia, alrededor de 10 min, en contraste con los 60-120 min en los humanos⁶. Por lo tanto, identificar estos breves períodos durante la puntuación manual es un desafío. Ha habido muchos intentos desde los años 60 para desarrollar un sistema automático de puntuación de los datos del sueño de los roedores⁷. Aunque existen muchos métodos automatizados de puntuación del sueño de roedores, sus rendimientos varían 8,9,10,11,12,13,14,15,16,17,18. Es importante destacar que la mayoría de los modelos de alto rendimiento con alta generalización no están disponibles públicamente (algunos necesitan solicitudes especiales de los desarrolladores) o no son gratuitos para los investigadores del sueño.

Por lo tanto, para llenar el vacío tecnológico actual, desarrollamos un modelo basado en el aprendizaje automático utilizando un gran conjunto de datos de 5776 h de señales de EEG y EMG de 519 grabaciones en 124 ratones con el algoritmo LightGBM¹. El lightGBM utiliza un enfoque de aumento de gradiente para construir árboles de decisión¹⁹. En Wang et al., 2023, el modelo LightGBM (que consta de más de 8000 árboles de decisión) alcanzó una precisión general del 95,2% y un kappa de Cohen de 0,91, lo que superó a dos modelos de referencia ampliamente utilizados, como el modelo de regresión logística (precisión = 93,3%) y el modelo de bosque aleatorio (precisión = 94,3%, kappa = 0,89). El rendimiento general del modelo también mostró un rendimiento similar al de los expertos humanos. Lo más importante es que se ha demostrado que el modelo es generalizable y no está sobreajustado a los datos de entrenamiento originales¹: 1) Funcionó bien (precisión > 89%) en otros dos conjuntos de datos independientes disponibles públicamente, de Miladinovic y colegas¹¹, con diferentes frecuencias de muestreo y longitudes de época; 2) El rendimiento del modelo no se ve afectado por el ciclo de luz/oscuridad de los ratones; 3) Un modelo LightGBM modificado funcionó bien con datos que contenían solo un electrodo de EEG y un electrodo de EMG con kappa ≥ 0,89; 4) Se utilizaron ratones de tipo salvaje y mutantes para las pruebas y los rendimientos del modelo fueron precisos. Esto sugiere que el modelo puede puntuar las etapas del sueño de ratones con diferentes antecedentes genéticos.

Con el fin de hacer que este modelo sea accesible para los investigadores del sueño que pueden no tener experiencia en codificación, desarrollamos IntelliSleepScorer, una herramienta de software fácil de usar con una interfaz visualmente intuitiva. El software puede automatizar completamente el procedimiento de puntuación del sueño en ratones. Produce visualizaciones interactivas de las señales, el hipnograma y los valores de explicaciones aditivas de Shapley (SHAP) a partir de una entrada de archivo de formato de datos europeo (EDF)/EDF+. El enfoque de valor SHAP, basado en la teoría de juegos cooperativos, mejora la interpretabilidad de los modelos de aprendizaje automático²⁰. El modelo ofrece valores SHAP globales y de nivel de época, lo que revela cómo los diferentes valores de características contribuyen a la decisión de puntuación del modelo en general y para cada época. Este programa avanzado reduce significativamente el tiempo y el esfuerzo necesarios para la puntuación de las etapas del sueño en ratones, al tiempo que garantiza que el análisis posterior pueda basarse en resultados muy precisos. En este manuscrito, presentamos el uso paso a paso de IntelliSleepScorer (v1.2) con varias actualizaciones sobre la versión 1.0, incluida una opción para ejecutar el análisis SHAP por separado de la predicción del patrón de sueño, una longitud de época ajustable por el usuario para la puntuación de la etapa del sueño y una función de corrección manual de la etapa del sueño integrada dentro de la GUI.

Este estudio utilizó datos recopilados de experimentos in vivo en ratones. No hubo experimentos en humanos involucrados en el estudio. Todos los experimentos con animales fueron aprobados por el Comité Institucional de Cuidado y Uso de Animales del Instituto Broad. Todos los experimentos se realizaron de acuerdo con las directrices y reglamentos pertinentes. Las directrices ARRIVE no son aplicables a este estudio porque el objetivo de este estudio es desarrollar modelos de aprendizaje automático en lugar de comparar diferentes grupos de tratamiento.

1. Preparación de los datos

NOTA: Compatibilidad de datos: los datos grabados pueden tener cualquier frecuencia de muestreo superior a 40 Hz. No es necesario filtrar la señal de paso de banda porque el paso de banda del software filtra las señales de EEG y EMG en el primer paso. Los modelos LightGBM se desarrollaron y probaron utilizando datos de ratones. No se dispone de pruebas sobre el rendimiento de los modelos LightGBM en otros tipos de animales de laboratorio. Los electrodos de registro deben colocarse en la corteza frontal y parietal, o en cualquiera de ellos si solo se registra un canal de EEG.

1. Disposición y requisitos de formato EDF/EDF+
   NOTA: El software utilizado en este estudio solo lee archivos EDF/EDF+ utilizando el paquete MNE-Python. Es necesario aplicar la especificación estándar EDF/EDF+ para generar los archivos EDF/EDF+. Además de la especificación estándar, asegúrese de que las anotaciones EDF/EDF+ estén codificadas en UTF-8. De lo contrario, la aplicación de software se bloqueará.
   1. Convierta otro formato de archivo (que no sea EDF/EDF+) al formato EDF/EDF+ con herramientas gratuitas en línea.
      NOTA: No es necesario el filtro del aparato al obtener señales de EEG y EMG. Siempre que los usuarios muestreen sus datos de EEG y EMG a una frecuencia de 40 Hz o superior, el software funcionará correctamente. Esto se debe a que, en el paso inicial de preprocesamiento, las señales se someten a un filtrado de paso de banda entre 1 Hz y 40 Hz. Este filtrado de paso de banda está integrado en la tubería de preprocesamiento del software, lo que elimina la necesidad de que los usuarios realicen cualquier procesamiento de señal adicional.
2. Hay dos modelos dentro del software para la puntuación. Uno es LightGBM-2EEG y el otro es LightGBM-1EEG. El modelo LightGBM-2EEG está diseñado para registrar datos que tienen 2 canales de EEG y 1 canal EMG. Realice los siguientes pasos en función del modelo.
   1. Organice los archivos de datos para LightGBM-2EEG específicamente en el siguiente orden: 1) Canal de EEG registrado en el área parietal; 2) Canal EEG registrado en el área frontal; 3) Canal EMG. El LightGBM-1EEG está diseñado para datos que solo contienen 1 canal de EEG (colocación del electrodo en el área parietal o frontal) y 1 canal EMG.
   2. Organice los canales en archivos EDF/EDF+ para LightGBM-1EEG en el siguiente orden: 1) Canal EEG; 2) Canal EMG.

2. Descarga de IntelliSleepScorer para usuarios de Windows, Mac y Linux

1. Para los usuarios de Windows, un ejecutable de Windows para el software está disponible mediante PyInstaller. Encuentre el enlace de descarga en la página de investigación del grupo Pan https://sites.broadinstitute.org/pan-lab/resources. Para los usuarios de MacOS o Linux, use el código fuente en el repositorio de GitHub https://github.com/broadinstitute/IntelliSleepScorer para iniciar el software.
2. Acceda a dos datos de ejemplo grabados para probar el programa guardado como archivos EDF descargándolos a través del repositorio de GitHub.
3. El repositorio de código fuente no incluye la carpeta models debido a los límites de tamaño. En su lugar, descargue models.zip, descomprímalo y copie la carpeta models dentro del repositorio para que se ejecute el programa. De lo contrario, el software se bloqueará debido a la falta de archivos de modelo.

3. Flujo de trabajo e inicio y operación del programa

1. Lanzamiento de IntelliSleepScorer
   1. Para iniciar el software en Windows, haga doble clic en IntelliSleepScorer.exe se encuentra en la carpeta raíz. Para iniciar el software en MacOS o Linux, abra un emulador de terminal, cambie el directorio a la carpeta raíz del software y, a continuación, inicie el software mediante el comando: python3 IntelliSleepScorer.py.
2. Una vez que se abra el software, haga clic en Seleccionar archivo(s) EDF/EDF+ para seleccionar los archivos que desea puntuar. Si los archivos se seleccionaron por error, haga clic en el botón Borrar para borrar la lista de archivos seleccionados.
   NOTA: De forma predeterminada, el software codifica las etapas de sueño como Wake:1, NREM:2 y REM:3 en los archivos de puntuación de salida. La longitud de época predeterminada se establece en 10 s. La versión actual (v1.2) de la GUI permite a los usuarios cambiar las codificaciones de etapa o las longitudes de época a 4 s, 10 s o 20 s con el menú desplegable.
3. Seleccione la longitud de época deseada. Utilice el menú desplegable proporcionado para seleccionar la duración de época deseada entre las opciones de 4 s, 10 s y 20 s para la puntuación de la etapa del sueño.
4. Seleccione el modelo que se va a utilizar para la puntuación del sueño. LightGBM-2EEG está diseñado para archivos de datos con dos canales de EEG y un canal EMG, mientras que LightGBM-1EEG está diseñado para datos con un canal de EEG y un canal de EMG.
5. Antes de ejecutar la predicción de la etapa del sueño, incluya el cálculo SHAP adicional que ayuda a explicar los resultados de la predicción de la etapa del sueño. Para procesar el cálculo de SHAP, marque la casilla de verificación Ejecutar/Trazar SHAP . El cálculo de SHAP requiere alrededor de 5-10 minutos para procesarse.
6. Haga clic en Puntuar todos los archivos. El modelo puntúa automáticamente todos los archivos EDF/EDF+ y calcula los valores SHAP globales y de época para interpretar las decisiones de puntuación de la lista si se elige para ello.
   NOTA: Durante el proceso de puntuación, el modelo genera los siguientes archivos y los guarda en la misma carpeta donde se encuentran los archivos EDF/EDF+. El modelo utiliza estos archivos para trazar los valores SHAP globales y los valores SHAP de época.
   
   "Nombre de archivo EDF/EDF+}_{model_name}_features.csv"; Este archivo almacena todos los valores de características extraídos.
   "Nombre de archivo EDF/EDF+}_{model_name}_scores.csv"; Este archivo almacena las etapas de sueño predichas.
   "Nombre de archivo EDF/EDF+}_{model_name}_rs_100hz.npy"; Este archivo almacena una copia de las señales remuestreadas/submuestreadas (100 Hz). Para mejorar la velocidad de visualización, el modelo utiliza la señal submuestreada en lugar de la señal original al trazar la señal.
   "Nombre de archivo EDF/EDF+}_{model_name}explicador. pepinillo"; "{EDF/EDF+ nombre de archivo}{model_name}shap_500samples.pickle"; "{EDF/EDF+ nombre de archivo}{model_name}_indicies_500samples.npy";
7. Después de finalizar el proceso de puntuación del sueño, haga clic en la opción Visualizar el archivo seleccionado para visualizar las señales de EEG / EMG y un hipnograma alineado en el tiempo con las señales.
   1. Vuelva a puntuar el archivo seleccionado antes de la visualización si se cambia la longitud de la época.

4. Navegar por los resultados puntuados

1. Haga clic en los botones de navegación proporcionados para avanzar y retroceder para ver diferentes datos de época.
2. Si se elige el cálculo de SHAP, vea los valores de SHAP globales y de nivel de época. Haga clic con el botón derecho en una época para trazar los valores SHAP a nivel de época.
   NOTA: Tardará unos segundos en actualizar el gráfico SHAP a nivel de época. La Figura 1 muestra la descripción general de la página GUI después de ejecutar la predicción para el archivo EDF/EDF+ Ejemplo-1 con el modelo 1_LightBGM-2EEG.

5. Interpretación del hipnograma de las etapas del sueño puntuadas

NOTA: Hay 4 filas en el hipnograma (Figura 2). La fila superior son los resultados previstos. Las 3 filas inferiores son datos brutos de 2 canales EEG y 1 EMG, respectivamente. En la fila superior, el naranja sugiere la etapa de estela , el azul sugiere la etapa NREM y el rojo sugiere la etapa REM en cada época.

1. Para cambiar el número de épocas que se mostrarán, haga clic en el cuadro de menú a la derecha de Seleccionar número de épocas para mostrar y elija el valor deseado. En la Figura 2, se eligieron 100 épocas. Por lo tanto, solo se muestran 100 épocas en el gráfico de predicción de la etapa del sueño. Seleccione un número más pequeño en el menú desplegable para ampliar el gráfico.
2. La barra transparente rosa a la izquierda de la Figura 2 indica la ubicación actual de la época. Haga clic con el botón izquierdo en cualquier lugar del hipnograma para cambiar a otra época, o simplemente haga clic en Ir a la época e ingrese un número específico de épocas a observar. Haga clic con el botón derecho en la época seleccionada para generar su gráfico SHAP de época si el usuario ha habilitado la función SHAP.

6. Corrección manual de las etapas de sueño previstas en la GUI (opcional)

NOTA: si no se observa ninguna anomalía o no se requiere una precisión extremadamente alta para la predicción de la etapa REM, no es necesaria la verificación manual.

1. Haga clic con el botón izquierdo en una época en el gráfico de predicción de la etapa del sueño (gráfico superior) para seleccionar una época específica. La etapa predicha del modelo de la época seleccionada se muestra a la derecha del texto. Para cambiar manualmente la etapa predicha en esa época, haga clic en el widget y seleccione una nueva etapa de las opciones Wake, NREM y REM en el menú desplegable.
2. Las etapas corregidas por el usuario están marcadas con líneas discontinuas en la parte superior de la gráfica original (Figura 3). Cierre la GUI y se generará automáticamente un nuevo archivo con los resultados de predicción corregidos en la misma carpeta.
   1. Para volver a abrir un archivo de partituras guardado en la GUI, asegúrese de que el ajuste de la longitud de época y el modelo seleccionado coincidan con el utilizado cuando se procesó inicialmente el archivo EDF para poder volver a abrirlo. Toda la información previamente modificada/puntuada se cargará rápidamente.

Hay tres gráficos (solo el gráfico superior si no se ejecutaron los valores de SHAP) generados en la GUI después de la puntuación de la etapa del sueño: el gráfico superior presenta los canales EEG y EMG con un hipnograma de la predicción de la etapa del sueño. El gráfico del medio presenta los valores SHAP de la época. El gráfico inferior presenta los valores globales de SHAP (Figura 1).

Hay 4 tipos de datos presentados en el gráfico de hipnograma de predicción de la etapa del sueño (Figura 2). La fila superior son los resultados previstos. Las 3 filas inferiores son datos brutos de 2 canales EEG y 1 EMG, respectivamente. En la fila superior, el naranja sugiere la etapa "Wake", el azul sugiere la etapa "NREM" y el rojo sugiere la etapa "REM" en cada época. La época de ejemplo actual está en 1305 y se encuentra en una etapa de "Despertar" porque la barra de ubicación rosa se superpone con una línea de color naranja.

En la Figura 3, una etapa corregida por el usuario está marcada con líneas discontinuas encima del original. La línea discontinua roja indica que la etapa de sueño se ha cambiado de "Despertar" a "REM".

En la figura 4, se muestra un ejemplo de resultado de la época 1305 en el archivo de ejemplo 1. El eje Y de la gráfica SHAP de época muestra las 10 entidades principales con los valores SHAP absolutos más altos para la época seleccionada. El eje x muestra los valores SHAP, que indican la contribución de cada característica a la predicción en comparación con la predicción promedio. El valor SHAP positivo indica una contribución positiva a la predicción, y viceversa. La característica "emg_abs_max" tiene un valor SHAP de nivel de época muy positivo para Wake, lo que indica que "emg_abs_max" de la época seleccionada aumenta la probabilidad de que la época elegida se califique como "Wake" (Figura 4). Esto es fisiológicamente razonable porque una gran amplitud de EMG significa movimientos activos, lo que indica la etapa de "Vigilia".

En el ejemplo de la gráfica Global SHAP (Figura 5), cada punto de la gráfica p-swarm representa una muestra de datos. El eje Y de las gráficas muestra las 10 entidades principales con los valores SHAP globales absolutos más altos calculados a partir de 500 épocas muestreadas aleatoriamente. El eje x muestra los valores SHAP, que indican la contribución de cada característica a la predicción en comparación con la predicción promedio. A diferencia del diagrama SHAP de época, el diagrama SHAP global tiene dos dimensiones: el valor x de cada punto y la intensidad del color del punto. El valor SHAP positivo del eje x indica una contribución positiva a la predicción, y viceversa. Las muestras con un color rojo más oscuro tienen valores de característica más altos. Al examinar visualmente las correlaciones de posición y el color de los 500 puntos de cada característica, se puede interpretar cómo LightGBM toma decisiones basadas en los valores de cada característica. En el gráfico SHAP global "Wake", a medida que los valores de SHAP para "emg_abs_max" aumentan de ser más negativos a ser más positivos, el color de los puntos se vuelve más oscuro. Indica que el aumento de la probabilidad de ser predicho como "Wake" se correlaciona positivamente con el aumento del valor de "emg_abs_max". También vale la pena señalar que las características con distribuciones más amplias de valores SHAP (valores absolutos más altos) contribuyen más a la predicción del modelo. Por ejemplo, el gráfico global NREM SHAP (Figura 5) tiene una amplia distribución de puntos para la característica "eeg2_gamma_delta_ratio". El valor SHAP altamente negativo de la característica disminuye la probabilidad de que el modelo se califique como la etapa "NREM".

Figura 1: Descripción general de la página GUI después de ejecutar la predicción para el archivo EDF/EDF+ Example-1 con el modelo 1_LightBGM-2EEG. Se puntúan tanto la predicción de la etapa del sueño como el cálculo de SHAP. El gráfico superior muestra los canales de EEG y EMG con un hipnograma de la predicción de la etapa del sueño. El gráfico del medio muestra los valores SHAP de la época. El gráfico inferior muestra los valores globales de SHAP. Haga clic aquí para ver una versión más grande de esta figura.

Figura 2: Hipnograma de predicción de la etapa del sueño del archivo EDF/EDF+ Ejemplo-1. En el gráfico se presentan 4 datos. La fila superior son los resultados previstos. Las 3 filas inferiores son datos brutos de 2 canales EEG y 1 EMG, respectivamente. En la fila superior, el naranja sugiere la etapa "Wake", el azul sugiere la etapa "NREM" y el rojo sugiere la etapa "REM" en cada época. Haga clic aquí para ver una versión más grande de esta figura.

Figura 3: Hipnograma de predicción de la etapa del sueño del archivo EDF/EDF+ Ejemplo-1 con corrección manual modificada por el usuario. La época 1305 se ha cambiado de la etapa "Despertar" a la etapa "REM" como una demostración de la corrección manual de la etapa de sueño dentro de la GUI. La línea roja discontinua indica la etapa de sueño modificada por el usuario "REM". Haga clic aquí para ver una versión más grande de esta figura.

Figura 4: Valores SHAP de Wake, NREM y REM Epoch para el archivo EDF/EDF+ Example-1 en la Época 1305. El eje Y de la gráfica SHAP de época muestra las 10 entidades principales con los valores SHAP absolutos más altos para la época seleccionada. El eje x muestra los valores SHAP, que indican la contribución de cada característica a la predicción en comparación con la predicción promedio. Haga clic aquí para ver una versión más grande de esta figura.

Figura 5: Valores de Wake, NREM y REM Global SHAP para el archivo EDF/EDF+ Ejemplo-1. Cada punto en el diagrama p-swarm representa una muestra de datos. El eje Y de las gráficas muestra las 10 entidades principales con los valores SHAP globales absolutos más altos calculados a partir de 500 épocas muestreadas aleatoriamente. El eje x muestra los valores SHAP, que indican la contribución de cada característica a la predicción en comparación con la predicción promedio. El eje x del valor SHAP global tiene dos dimensiones: el valor x de cada punto y la intensidad del color del punto. El valor SHAP positivo del eje x indica una contribución positiva a la predicción, y viceversa. Las muestras con un color rojo más oscuro tienen valores de característica más altos. Haga clic aquí para ver una versión más grande de esta figura.

En este documento se presenta cómo utilizar la interfaz gráfica de usuario IntelliSleepScorer (v1.2) para puntuar automáticamente las etapas del sueño de los ratones y cómo aprovechar los valores/gráficos SHAP para comprender mejor las puntuaciones de las etapas del sueño generadas por el modelo.

Una consideración importante a la hora de utilizar el software es la compatibilidad de los datos. Los datos internos utilizados en este estudio se limitaron a electrodos colocados en las regiones frontal y parietal. En el conjunto de datos independiente de Miladinovic y sus colegas¹¹, a pesar de las diferentes coordenadas de los electrodos para estas regiones, el software mantuvo un rendimiento satisfactorio. Si bien el software puede ser aplicable a otras regiones del cerebro, no hemos realizado pruebas para confirmarlo. Por lo tanto, no podemos afirmar que no haya limitaciones con respecto a la colocación de electrodos. Sin embargo, animamos a los usuarios a probarlo si tienen grabaciones de otras regiones.

La duración de las sesiones de registro de EEG/EMG para el análisis de las etapas del sueño varía en función de los objetivos específicos del estudio. Por lo general, las sesiones de grabación duran 12 horas, cubriendo la fase clara u oscura, o 24 horas, abarcando ambas fases en un solo día. Las grabaciones de 12 y 24 horas se utilizan habitualmente para capturar distintos patrones de sueño-vigilia y ritmos circadianos. Las pruebas del modelo muestran que la puntuación de la etapa del sueño es fiable y precisa tanto para las sesiones grabadas de 12 h como de 24 h. No se conoce un límite superior para la duración de las grabaciones.

Dos pasos notables dentro del protocolo de software son el preprocesamiento de datos y la verificación manual. Para mejorar la generalización de los modelos entrenados, permitimos el ruido y los artefactos en los datos de entrada e implementamos medidas mínimas de control de calidad. El control de calidad que realizamos tiene como objetivo excluir las malas grabaciones debido a la pérdida de señales. La pérdida de señales suele deberse a problemas de conexión, como que los electrodos se aflojen o se caigan. La pérdida de señales puede causar errores en las puntuaciones de sueño generadas por el software. Por ejemplo, una línea plana en el canal EMG de un ratón despierto debido a un electrodo EMG suelto puede compartir la misma característica que la fase inmóvil/de sueño de los ratones, lo que puede conducir a la predicción "NREM" o "REM" por los modelos LightGBM. Como referencia, utilizamos los siguientes criterios para excluir automáticamente las grabaciones que tuvieron una cantidad significativa de pérdida de señal: 1) la amplitud de cualquier señal de EEG es inferior a 1 μV durante al menos el 50% de la duración de la grabación, o 2) la amplitud de la señal EMG es inferior a 1 pV durante al menos el 50% de la duración de la grabación. Los usuarios deben implementar sus propios criterios de control de calidad basados en su configuración experimental y sistema de grabación. Los ruidos de línea causados por la corriente alterna generalmente se ubican a 50 Hz o 60 Hz. Estos ruidos de línea se eliminarán durante el paso del filtro de paso de banda (1-40 Hz) implementado en el software. Por lo tanto, no es necesario que los usuarios preprocesen los ruidos de línea antes de ingresar los datos en el software. Se han considerado ruidos menores o factores que interfieren, como los movimientos corporales, durante el desarrollo del modelo¹. El enfoque utilizado en este estudio garantiza que la generalizabilidad del modelo pueda tolerar estos artefactos menores que no influyen significativamente en los resultados finales de la estadificación del sueño. El formato, la calidad de la grabación y la secuencia de organización de los archivos de datos EDF son componentes críticos para optimizar el rendimiento de este modelo previamente entrenado.

Para la verificación manual, dado que el modelo LightGBM tuvo un rendimiento deficiente (puntuación REM F1 < 0,6) en algunas grabaciones, recomendamos que los usuarios verifiquen las etapas del sueño generadas por el modelo si es fundamental una puntuación precisa de la etapa REM. En el caso de los estudios centrados en la fisiología de la etapa de vigilia o NREM, el modelo LightGBM sigue siendo compatible con una línea analítica muy robusta y totalmente automatizada. La interpretación de los valores SHAP podría convertirse en una excelente herramienta junto con la verificación manual para confirmar la precisión de los resultados generados por software. SHAP es un enfoque que utiliza la teoría de juegos para explicar el resultado de los modelos de aprendizaje automático. Conecta la asignación óptima de crédito con explicaciones locales utilizando los valores clásicos de Shapley y sus extensiones relacionadas²⁰. Por ejemplo, en la gráfica Global NREM SHAP Values (Figura 4), si de repente aparece un punto rojo oscuro en el extremo derecho de la entidad 'eeg2_gamma_delta_ratio, puede indicar una anomalía en esa época. Esto se debe a que el punto de muestra de época aislado se desvía de todo el conjunto de datos. La interpretación de los gráficos SHAP también podría proporcionar a los usuarios una explicación clara y fácil de usar de la puntuación de las etapas del sueño. Por ejemplo, los gráficos SHAP de época proporcionan información sobre qué características son el factor decisivo principal para la puntuación de la etapa del sueño. El hipnograma de predicción de resultados (Figura 2) también proporciona información significativa sobre los resultados de la predicción. En los casos en que las etapas de sueño puntuadas en el hipnograma exhiben cambios frecuentes entre las etapas de "Vigilia" y "REM", lo cual es fisiológicamente anormal, se recomienda realizar una evaluación exhaustiva de la puntuación y los valores SHAP correspondientes para determinar la calidad de los resultados. Con los gráficos SHAP e hipnograma, los investigadores pueden identificar rápidamente cualquier error de predicción durante la puntuación de las etapas del sueño. Sin embargo, aunque los valores SHAP explican cómo el modelo hace las predicciones, no necesariamente significan que las predicciones o la forma en que el modelo hace ciertas predicciones sean correctas. El objetivo de presentar los valores SHAP es ayudar a los usuarios a comprender el proceso de puntuación de la etapa de suspensión y permitir a los usuarios identificar rápidamente cualquier error mediante el examen de la lógica del modelo LightGBM.

Hay dos características sobresalientes en la versión actual (v1.2) del modelo. En primer lugar, siguiendo el párrafo anterior, la verificación/corrección manual puede ser muy tediosa e inconveniente si los usuarios necesitan volver a los archivos CSV para realizar modificaciones, especialmente para grabaciones largas. Por lo tanto, ofrecemos una función de corrección manual integrada directamente en la GUI para que los usuarios cambien la etapa de sueño puntuada en cualquier época. Después de que el usuario haga clic en una época específica, la etapa de sueño puntuada de "Wake", "REM" o "NREM" se mostrará en el menú desplegable en la parte superior de la barra de GUI. Si el usuario desea cambiar la etapa de una a otra, simplemente puede seleccionar otra etapa en el menú desplegable y se generará un nuevo archivo puntuado corregido manualmente por los usuarios. Además de esto, en lugar de una duración de época fija estándar de 10 segundos proporcionada para el análisis, ofrecemos una opción para el ajuste de la longitud de época en la GUI para satisfacer las necesidades experimentales específicas de diferentes investigadores del sueño. Las opciones ahora son épocas de 4 segundos, 10 segundos y 20 segundos, que se usan comúnmente entre los investigadores del sueño. A pesar de que este modelo ha sido entrenado con datos internos de épocas de 10 segundos, el rendimiento del modelo en pruebas independientes de datos de épocas de 4 segundos de diferentes laboratorios fue comparable al de los expertos humanos en todas las etapas del sueño¹. Los usuarios deben tener cuidado al implementar épocas de 20 segundos porque: 1) puntuar el sueño/vigilia de los ratones con épocas de 20 segundos puede pasar por alto eventos muy cortos, como despertares transitorios; 2) Es más probable que las épocas de 20 años abarquen etapas mixtas en cada época⁸.

Será esclarecedor comparar este modelo con otros métodos automatizados de puntuación de etapas de sueño existentes para los usuarios. Además de IntelliSleepScorer, existen otros modelos desarrollados para la puntuación automática de las etapas del sueño con diversos grados de precisión, complejidades y eficacias. 8,9,10,11,12,13,14,15,16,17,18 . El modelo utilizado en este estudio emplea el algoritmo LightGBM para lograr una alta precisión en la puntuación de las etapas del sueño, comparable a los modelos existentes. En nuestra evaluación, IntelliSleepScorer demostró una precisión general del 95,2 %, que está a la par con las métricas de rendimiento informadas para modelos similares como MC-SleepNet⁸ y Sleep-Deep-Learner⁹. Sin embargo, la verdadera distinción de IntelliSleepScorer no solo radica en su precisión, sino también en su accesibilidad y facilidad de uso para investigadores no capacitados con experiencia limitada en codificación.

MC-SleepNet⁸, entrenado mediante redes neuronales profundas en un gran conjunto de datos de 4200 ratones, logra una alta precisión de puntuación del 96,4% y un estadístico kappa de 0,94, superando la mayoría de los métodos existentes. Sin embargo, hasta donde sabemos, hasta la fecha no existe ningún software basado en MC-SleepNet que esté disponible de forma pública o gratuita.

Sleep-Deep-Learner⁹, automatiza la puntuación en ratones con una puntuación F1 de 0,86 para el sueño REM, 0,95 para el sueño NREM y 0,97 para la vigilia. Sin embargo, los autores abordaron en el artículo que Sleep-Deep-Learner no es adecuado para personas que no están bien versadas en la puntuación de sueño-vigilia, ya que requiere un subconjunto de épocas puntuadas manualmente. IntelliSleepScorer, por otro lado, no requiere ninguna manipulación manual adicional durante la puntuación de la etapa del sueño y tiene una interfaz gráfica de usuario muy fácil de usar para cualquier investigador.

Somnivore¹⁰ es un sistema versátil y multicapa diseñado para la puntuación automatizada de la etapa de vigilia-sueño, experto en aprender de conjuntos de entrenamiento limitados con entradas complejas de polisomnografía. Opera con una rápida eficiencia computacional y demuestra una sólida generalización en diversos temas, incluidos humanos, roedores (salvajes y transgénicos) y palomas. Sin embargo, Somnivore no es gratuito.

SlumberNet¹¹ y AccuSleep¹² son fácilmente accesibles en Zenodo y GitHub, respectivamente, y tienen una precisión de puntuación del 97% y el 96,8%. Sin embargo, ambos modelos tienen tamaños de datos de entrenamiento relativamente pequeños de 9 o 10 ratones y no incluyeron validación de prueba independiente. Por lo tanto, su rendimiento en el mundo real sigue siendo desconocido.

SPINDLE¹³ es otro modelo basado en la web entrenado con un conjunto de datos más pequeño con 4-6 ratones/ratas que aprovechan las redes neuronales convolucionales. Validado a través de datos de tres laboratorios independientes del sueño, SPINDLE logró tasas de acuerdo promedio del 93% al 99% con puntuaciones de expertos humanos de diferentes laboratorios, reflejando la capacidad humana.

Por último, Somnotate¹⁴ demostró una precisión de 0,97 ± 0,01 y una puntuación F1 ponderada de 0,97 ± 0,01 cuando se evaluó en conjuntos de datos internos que incluían seis grabaciones de 24 horas basadas en el consenso de al menos tres anotaciones manuales. Cuando se probó en el conjunto de datos de Somnotate, el rendimiento de IntelliSleepScorer disminuyó, con una precisión de 0,75 ± 0,04 y una puntuación F1 ponderada de 0,73 ± 0,05¹⁴. Esta reducción del rendimiento puede atribuirse a las diferencias en las configuraciones experimentales o las condiciones de registro entre los conjuntos de datos. Dada la variedad de casos de uso del mundo real, alentamos a los usuarios a evaluar el rendimiento de IntelliSleepScorer en sus conjuntos de datos, especialmente si sus configuraciones experimentales o condiciones de grabación difieren significativamente de las nuestras. Si el rendimiento del software no cumple con las expectativas, los usuarios tienen la opción de ajustar el modelo preentrenado con sus datos, ya que hemos hecho que los modelos y el código utilizados para el desarrollo sean de código abierto.

Además de los ejemplos de modelos existentes discutidos anteriormente, existen algunos otros sistemas automatizados de estadificación del sueño desarrollados entre los que los investigadores podrían elegir dependiendo de las necesidades específicas y diferentes para sus estudios 15,16,17,18.

En trabajos futuros, nuestro objetivo es desarrollar/entrenar un nuevo modelo que optimice el tiempo de puntuación automática de las etapas del sueño. Actualmente, la GUI procesa 12 h de grabaciones muestreadas a 1000 Hz en aproximadamente 10 minutos en una CPU Intel Core i7-8550U @ 1.80 GHz. Sin embargo, el tiempo de procesamiento aumenta aproximadamente 2,5 veces cuando se puntúan las etapas de suspensión con épocas de 4 segundos en comparación con las épocas predeterminadas de 10 segundos. Este nuevo modelo podría satisfacer las necesidades de algunos usuarios que desean una puntuación automática más rápida de las etapas del sueño en ratones. Además, siempre estamos atentos a los comentarios de los usuarios, y cualquier nueva función se puede añadir si se solicita.

En resumen, proporcionamos un software de GUI gratuito, disponible públicamente y fácil de usar, IntelliSleepScorer, para crear una canalización automatizada conveniente para la puntuación de las etapas del sueño de los ratones. Además, fuimos un paso más allá al ofrecer visualizaciones de valor SHAP que explican la decisión de puntuación que toma el modelo. Los usuarios experimentados también podrían ajustar nuestro modelo previamente entrenado con sus datos, dado que los archivos del modelo y los scripts para extraer las características para el entrenamiento/ajuste están disponibles públicamente en el repositorio de GitHub. Esperamos que este modelo disponible abiertamente pueda reducir la brecha tecnológica y facilitar la progresión de la recopilación de datos a los nuevos hallazgos utilizando modelos de ratón en la investigación del sueño, al tiempo que reduce el trabajo intensivo en mano de obra.

Los autores declaran no tener ningún conflicto de intereses.

Agradecemos a Kerena Yan y Jingwen Hu por anotar manualmente las etapas del sueño y a Eunah y Soonwiik por las grabaciones.