IntelliSleepScorerは、マウス用のグラフィックユーザーインターフェースを備えたソフトウェアパッケージで、睡眠ステージの自動スコアリングが可能です

コーディング経験のない研究者向けに、ダウンロードと操作でマウスの睡眠段階をスコアリングできるグラフィックユーザーインターフェースを備えたソフトウェアパッケージを提供します。

げっ歯類の睡眠ステージスコアリングは、非急速眼球運動睡眠(NREM)、急速眼球運動睡眠(REM)、および覚醒の3つの段階を特定するプロセスです。睡眠ステージのスコアリングは、睡眠ステージ固有の測定と効果を研究するために重要です。

げっ歯類の睡眠パターンは人間の睡眠パターンとは異なり、覚醒によって間隔を空けてノンレム睡眠とレム睡眠のエピソードが短くなり、人間の専門家による従来の手動睡眠ステージスコアリングには時間がかかります。この問題に対処するために、これまでの研究では、機械学習ベースのアプローチを使用して、睡眠段階を自動的に分類するアルゴリズムを開発してきましたが、一般化可能性の高い高性能モデルは、一般に公開されておらず、費用がかからず、訓練を受けていない睡眠研究者にとってもユーザーフレンドリーではないことがよくあります。

そこで、大規模なデータセットで学習した機械学習ベースのLightGBMアルゴリズムを開発しました。コーディングの経験がない睡眠研究者がモデルを利用できるようにするために、このモデルに基づいてIntelliSleepScorer(v1.2-最新バージョン)というソフトウェアツールが開発されました。この原稿では、ソフトウェアを使用して、睡眠研究者向けのマウスの便利で効果的な自動睡眠ステージスコアリングツールをデモンストレーションするためのステップバイステップの説明を示します。

げっ歯類の睡眠ステージスコアリングは、非急速眼球運動睡眠(NREM)、急速眼球運動睡眠(REM)、および覚醒²の3つのステージを特定する手順です。げっ歯類では、ノンレム睡眠は、筋肉活動の低下、ゆっくりとした規則的な呼吸、心拍数の減少、および脳波の低周波振動を特徴としています。げっ歯類のレムは、人間と同様に、筋緊張、脳波活性化、および急速な眼球運動を示しますが、げっ歯類では鮮明な夢の発生は人間と比較してあまり明確ではありません^2,3。げっ歯類の「覚醒」状態は、高周波、低振幅波、筋緊張の増加、およびグルーミングや探索などの活動的な行動による脳活動の非同期化によって特徴付けられます⁴。これらの3つの段階は、脳波(EEG)および筋電図(EMG)信号⁵を検査することで特定できます。

げっ歯類の自動睡眠ステージスコアリングモデルは、非常に必要とされています。まず、人間の専門家による手動の睡眠ステージスコアリングは、労働集約的で時間がかかります。第二に、げっ歯類の睡眠パターンは人間の睡眠パターンとは異なり、人間の60〜120分とは対照的に、約10分間の覚醒によって間隔を空けるノンレム睡眠とレム睡眠のエピソードがより断片化されています⁶。したがって、手動スコアリング中にこれらの短い期間を特定することは困難です。60年代以降、げっ歯類の睡眠データの自動採点システムを開発する試みが数多く行われてきた⁷。多くの自動化されたげっ歯類の睡眠採点方法が存在しますが、そのパフォーマンスは8,9,10,11,12,13,14,15,16,17,18にばらつきます。重要なことは、一般化可能性が高く、高性能なモデルのほとんどが公開されていないか(一部は開発者からの特別なリクエストが必要)、睡眠研究者にとって無料ではないということです。

そこで、現在の技術ギャップを埋めるために、124マウスの519回の記録から得られた5776時間の脳波および筋電図信号の大規模なデータセットをLightGBM^{アルゴリズム1}を用いて、機械学習ベースのモデルを開発しました。lightGBMは、勾配ブースティングアプローチを使用して決定木¹⁹を構築します。Wang et al., 2023 では、LightGBM モデル (8000 以上の決定木で構成) は 95.2% の全体的な精度と 0.91 の Cohen's κ を達成し、ロジスティック回帰モデル (精度 = 93.3%) とランダムフォレストモデル (精度 = 94.3%、κ = 0.89) などの広く使用されている 2 つのベースライン モデルを上回りました。モデルの全体的なパフォーマンスも、人間の専門家と同様のパフォーマンスを示しました。最も重要なことは、モデルが一般化可能性を持ち、元のトレーニングデータに過剰適合していないことが証明されていることです¹:1) Miladinovic と同僚¹¹ から公開されている他の 2 つの独立したデータセットで、サンプリング周波数とエポックの長さが異なる (精度 > 89%) ことが証明されました。2)モデルのパフォーマンスは、マウスの明暗サイクルの影響を受けません。3) 修正された LightGBM モデルは、κ ≥ 0.89 の 1 つの EEG と 1 つの EMG 電極のみを含むデータで良好に機能しました。4)テストには野生型マウスと突然変異マウスの両方を使用し、モデルの性能はどちらも正確でした。このことは、このモデルが、異なる遺伝的背景を持つマウスの睡眠段階をスコアリングできることを示唆している。

コーディングの専門知識を持たない睡眠研究者がこのモデルにアクセスできるようにするために、視覚的に直感的なインターフェースを備えたユーザーフレンドリーなソフトウェアツールであるIntelliSleepScorerを開発しました。このソフトウェアは、マウスの睡眠スコアリング手順を完全に自動化できます。これは、シグナル、ヒプノグラム、およびShapley Additive exPlanations(SHAP)の値を、European Data Format(EDF)/EDF+ファイル入力からインタラクティブに視覚化します。協調ゲーム理論に基づくSHAP値アプローチは、機械学習モデルの解釈可能性を向上させる²⁰。このモデルには、グローバル SHAP 値とエポック レベルの両方の SHAP 値があり、モデル全体および各エポックのスコアリング決定にさまざまな特徴値がどのように寄与しているかが明らかになります。この高度なプログラムは、マウスの睡眠ステージスコアリングに必要な時間と労力を大幅に削減すると同時に、ダウンストリーム分析で高精度な結果に依存できるようにします。この原稿では、IntelliSleepScorer (v1.2) のステップバイステップの使用方法と、バージョン 1.0 からのいくつかの更新 (睡眠パターン予測とは別に SHAP 分析を実行するオプション、スリープ ステージ スコアリングのユーザー調整可能なエポック長、GUI に統合されたスリープ ステージの手動補正機能など) を紹介します。

本研究では、マウスを用いた in vivo 実験から得られたデータを用いた。この研究には人体実験は関与していません。動物を用いたすべての実験は、ブロード研究所の動物施設管理・使用委員会によって承認された。すべての実験は、関連するガイドラインと規制に従って行われました。この研究の焦点は、異なる治療グループを比較するのではなく、機械学習モデルを開発することであるため、ARRIVEガイドラインはこの研究には適用されません。

1. データの準備

注:データの互換性:記録されたデータは、40Hzを超える任意のサンプリングレートを持つことができます。ソフトウェアバンドパスは最初のステップでEEG信号とEMG信号をフィルタリングするため、信号をバンドパスフィルタリングする必要はありません。LightGBMモデルは、マウスからのデータを使用して開発およびテストされました。他のタイプの実験動物におけるLightGBMモデルの性能に関する証拠は入手できません。記録電極は、前頭葉と頭頂皮質に配置するか、EEGチャネルが1つしか記録されていない場合はどちらかに配置する必要があります。

1. EDF/EDF+フォーマットの配置と要件
   注:この調査で使用したソフトウェアは、MNE-Pythonパッケージを使用してEDF/EDF+ファイルのみを読み取ります。EDF/EDF+ ファイルを生成するには、標準の EDF/EDF+ 仕様を適用する必要があります。標準仕様に加えて、EDF/EDF+ 注釈が UTF-8 でエンコードされていることを確認してください。そうしないと、ソフトウェアアプリケーションがクラッシュします。
   1. オンラインの無料ツールを使用して、別のファイル(非EDF / EDF +ファイル)形式をEDF / EDF +形式に変換します。
      注:EEGおよびEMG信号を取得する場合、装置フィルターは必要ありません。ユーザーが40Hz以上の周波数でEEGおよびEMGデータをサンプリングする限り、ソフトウェアは正しく機能します。これは、最初の前処理ステップで、信号が 1 Hz から 40 Hz のバンドパス フィルタリングを受けるためです。このバンドパスフィルタリングは、ソフトウェアの前処理パイプラインに統合されているため、ユーザーは追加の信号処理を実行する必要がありません。
2. スコアリング用のソフトウェア内には2つのモデルがあります。1つはLightGBM-2EEG、もう1つはLightGBM-1EEGです。LightGBM-2EEGモデルは、2つのEEGチャネルと1つのEMGチャネルを持つデータを記録するために指定されています。モデルに応じて、次の手順を実行します。
   1. LightGBM-2EEGのデータファイルを特に次の順序で整理します:1)頭頂部に記録されたEEGチャネル。2) 前頭部に記録された脳波チャネル。3) EMGチャネル。LightGBM-1EEGは、1つのEEGチャネル(頭頂部または前頭部のいずれかに電極を配置する)と1つのEMGチャネルのみを含むデータ用に指定されています。
   2. LightGBM-1EEGのEDF / EDF +ファイルのチャネルを次の順序で整理します:1)EEGチャネル。2) EMGチャネル。

2. Windows、Mac、およびLinuxユーザー向けのIntelliSleepScorerのダウンロード

1. Windowsユーザーの場合、ソフトウェアのWindows実行可能ファイルはPyInstallerを使用して利用できます。Pan groupの研究ページ https://sites.broadinstitute.org/pan-lab/resources でダウンロードリンクを見つけてください。MacOSまたはLinuxユーザーの場合は、GitHubリポジトリ https://github.com/broadinstitute/IntelliSleepScorer のソースコードを使用してソフトウェアを起動します。
2. 記録された2つのサンプルデータにアクセスし、GitHubリポジトリからEDFファイルとしてダウンロードして、EDFファイルとして保存されたプログラムをテストします。
3. ソース・コード・リポジトリには、サイズ制限のため、 models フォルダーは含まれていません。代わりに、 models.zipをダウンロードして解凍し、リポジトリ内の models フォルダーをコピーして、プログラムを実行します。そうしないと、モデルファイルが見つからないためにソフトウェアがクラッシュします。

3. ワークフローとプログラムの起動と運用

1. IntelliSleepScorer を起動します
   1. Windowsでソフトウェアを起動するには、ルートフォルダにある IntelliSleepScorer.exe をダブルクリックします。MacOSまたはLinuxでソフトウェアを起動するには、ターミナルエミュレータを開き、ディレクトリをソフトウェアのルートフォルダに変更してから、 python3 IntelliSleepScorer.py コマンドを使用してソフトウェアを起動します。
2. ソフトウェアが開いたら、[ Select EDF/EDF+ File(s)] をクリックして、スコアリングする目的のファイルを選択します。ファイルを誤って選択した場合は、[ クリア ]ボタンをクリックして、選択したファイルリストをクリアします。
   注:デフォルトでは、ソフトウェアはスリープステージを出力スコアファイルでWake:1、NREM:2、およびREM:3としてエンコードします。デフォルトのエポック長は 10 秒に設定されています。GUIの現在のバージョン(v1.2)では、ドロップダウンメニューを使用してステージエンコーディングまたはエポックの長さを4秒、10秒、または20秒に変更できます。
3. 目的のエポックの長さを選択します。用意されているドロップダウンメニューを使用して、スリープステージスコアリングの4秒、10秒、20秒のオプションから目的のエポック長を選択します。
4. 睡眠スコアリングに使用するモデルを選択します。LightGBM-2EEGは、2つのEEGチャネルと1つのEMGチャネルを持つデータファイルを対象としていますが、LightGBM-1EEGは、1つのEEGチャネルと1つのEMGチャネルを持つデータ用に設計されています。
5. 睡眠ステージの予測を実行する前に、睡眠ステージの予測結果を説明するのに役立つ追加の SHAP 計算を含めます。SHAP計算を処理するには、[ SHAPの実行/プロット] チェックボックスをオンにします。SHAPの計算には、処理に約5〜10分かかります。
6. [ すべてのファイルのスコアリング] をクリックします。このモデルでは、すべての EDF/EDF+ ファイルが自動的にスコアリングされ、グローバル SHAP 値とエポック SHAP 値が計算され、リスト内のスコアリング決定が解釈されます (そのように選択されている場合)。
   注:スコアリングプロセス中に、モデルは次のファイルを生成し、EDF/EDF+ファイルが配置されているのと同じフォルダーに保存します。モデルは、これらのファイルを使用して、グローバル SHAP 値とエポック SHAP 値をプロットします。
   
   "EDF/EDF+ ファイル名}_{model_name}_features.csv";このファイルには、抽出されたすべてのフィーチャ値が格納されます。
   "EDF/EDF+ ファイル名}_{model_name}_scores.csv";このファイルには、予測されたスリープ ステージが格納されます。
   "EDF/EDF+ ファイル名}_{model_name}_rs_100hz.npy";このファイルには、リサンプリング/ダウンサンプリングされた信号(100Hz)のコピーが格納されます。可視化速度を向上させるために、モデルは信号をプロットするときに元の信号の代わりにダウンサンプリングされた信号を使用します。
   "EDF/EDF+ ファイル名}_{model_name}explainer.ピクルス」;"{EDF/EDF+ ファイル名}{model_name}shap_500samples.pickle";"{EDF/EDF+ ファイル名}{model_name}_indicies_500samples.npy";
7. 睡眠スコアリングプロセスが終了したら、 選択したファイルを視覚化 する EEG / EMG信号と信号に時間に合わせた催眠図を視覚化するオプション。
   1. エポックの長さが変更された場合は、視覚化する前に、選択したファイルを再度スコアリングします。

4. スコアリングされた結果のナビゲート

1. 提供されている ナビゲーション ボタンをクリックして前後に移動し、さまざまなエポックデータを表示します。
2. SHAP 計算を実行するように選択した場合は、グローバル SHAP 値とエポック レベルの両方の SHAP 値を表示します。エポックを右クリックして、エポックレベルのSHAP値をプロットします。
   注: エポックレベルのSHAPプロットの更新には数秒かかります。 図1 は、Example-1 EDF/EDF+ファイルの予測を1_LightBGM-2EEGモデルで実行した後のGUIページの概要を示しています。

5.スコアリングされた睡眠段階の解釈催眠術

注:催眠術には4つの行があります(図2)。一番上の行は予測結果です。下の3行は、それぞれ2つのEEGチャネルと1つのEMGチャネルの生データです。上段のオレンジ色は ウェイク 期、青色は ノンレム 期、赤は各エポックの レム 期を示しています。

1. 表示するエポックの数を変更するには、[ 表示するエポック数を選択 ]の右側にあるメニューボックスをクリックし、目的の値を選択します。 図2では、100エポックを選択しました。そのため、睡眠段階の予測プロットには100エポックしか表示されません。ドロップダウンメニューで小さい数値を選択して、プロットを拡大します。
2. 図 2 の左側にあるピンクの透明なバーは、エポックの現在の位置を示しています。催眠術の任意の場所を左クリックして別のエポックに切り替えるか、単に「エポックに移動」をクリックして観察する特定のエポック数を入力します。選択したエポックを右クリックして、そのエポックSHAPプロットを生成します(ユーザーがSHAP機能を有効にしている場合)。

6. GUIで予測されるスリープステージの手動修正(オプション)

注:異常が観察されない場合、またはレムステージの予測に非常に高い精度が必要ない場合は、手動での検証は必要ありません。

1. 睡眠ステージ予測プロット(上のプロット)のエポックを左クリックして、特定のエポックを選択します。 選択したエポックのモデル予測ステージは、テキストの右側に表示されます。そのエポックの予測ステージを手動で変更するには、ウィジェットをクリックし、ドロップダウンメニューのウェイク、NREM、およびレムオプションから新しいステージを選択します。
2. ユーザーが修正したステージは、元のプロットの上に破線でマークされています(図3)。GUIを閉じると、同じフォルダに修正された予測結果を含む新しいファイルが自動的に生成されます。
   1. 保存したスコアリング ファイルを GUI で再度開くには、エポックの長さの設定と選択したモデルが、EDF ファイルが最初に処理されたときに使用されたものと一致していることを確認して、再度開くことができるようにします。以前に変更/スコアリングされたすべての情報は、迅速にロードされます。

睡眠ステージスコアリング後にGUIで生成される3つのプロット(SHAP値が実行されなかった場合は上のプロットのみ)があります:上のプロットは、EEGチャネルとEMGチャネルに睡眠ステージ予測のヒプノグラムを示します。中央のプロットは、エポックSHAP値を示しています。下のプロットは、グローバルSHAPの値を示しています(図1)。

睡眠段階予測催眠術プロットには4種類のデータが表示されます(図2)。一番上の行は予測結果です。下の3行は、それぞれ2つのEEGチャネルと1つのEMGチャネルの生データです。一番上の行では、オレンジ色が「ウェイク」ステージ、青色が「ノンレム」ステージ、赤が各エポックの「レム」ステージを示しています。現在の例のエポックは 1305 年で、ピンクのロケーション バーがオレンジ色の線と重なるため、"航跡" の段階にあります。

図 3 では、ユーザーが修正したステージは、元のステージの上に破線でマークされています。赤い破線は、スリープステージが「ウェイク」から「レム」に変更されたことを示しています。

図 4 に、サンプル ファイル 1 のエポック 1305 の結果の例を示しています。エポックSHAPプロットのY軸は、選択したエポックの絶対SHAP値が最も高い上位10個の特徴量を示しています。X 軸は SHAP 値を示し、平均予測と比較した予測に対する各特徴の寄与度を示します。正の SHAP 値は予測への正の寄与を示し、その逆も同様です。特徴量「emg_abs_max」は、ウェイクに対して非常に正のエポックレベルのSHAP値を持ち、選択したエポックの「emg_abs_max」が、選択したエポックが「ウェイク」としてスコアリングされる可能性が高くなることを示しています(図4)。これは生理学的に合理的であり、大きなEMG振幅は活発な動きを意味し、それによって「ウェイク」ステージを示します。

グローバルSHAPプロットの例(図5)では、p-swarmプロットの各ドットはデータの1つのサンプルを表しています。プロットの Y 軸は、ランダムにサンプリングされた 500 のエポックから計算された、絶対グローバル SHAP 値が最も高い上位 10 個の特徴を示しています。X 軸は SHAP 値を示し、平均予測と比較した予測に対する各特徴の寄与度を示します。エポックSHAPプロットとは異なり、グローバルSHAPプロットには、各ドットのx値とドットカラーの強度の2つの次元があります。正の x 軸 SHAP 値は、予測に対する正の寄与を示し、その逆も同様です。赤色が濃いサンプルは、特徴値が高くなります。各特徴の位置と500ドットの色との相関関係を視覚的に調べることで、LightGBMが各特徴の値に基づいてどのように決定を下しているかを解釈できます。「ウェイク」グローバルSHAPプロットでは、「emg_abs_max」のSHAP値が負の値から正の値に増加すると、ドットの色が暗くなります。これは、「Wake」と予測される可能性の増加が、「emg_abs_max」の値の増加と正の相関があることを示しています。また、SHAP 値の分布が広い (絶対値が高い) 特徴が、モデルによる予測に大きく貢献することも注目に値します。たとえば、グローバルNREM SHAPプロット(図5)には、「eeg2_gamma_delta_ratio」特徴のドットが広く広がっています。特徴の SHAP 値が非常に負の値になると、モデルが "NREM" ステージとしてスコアリングされる可能性が低くなります。

図1:Example-1 EDF/EDF+ファイルの予測を1_LightBGM-2EEGモデルで実行した後のGUIページの概要。 睡眠ステージの予測とSHAP計算の両方がスコアリングされます。上のプロットは、脳波と筋電図のチャンネルと睡眠段階の予測の催眠術を示しています。中央のプロットは、エポックSHAP値を示しています。下のプロットは、グローバルSHAP値を示しています。 この図の拡大版を表示するには、ここをクリックしてください。

図2:Example-1 EDF / EDF +ファイルからの睡眠段階予測催眠術。プロットには4つのデータが表示されています。一番上の行は予測結果です。下の3行は、それぞれ2つのEEGチャネルと1つのEMGチャネルの生データです。一番上の行では、オレンジ色が「ウェイク」ステージ、青色が「ノンレム」ステージ、赤が各エポックの「レム」ステージを示しています。 この図の拡大版を表示するには、ここをクリックしてください。

図3:Example-1 EDF / EDF +ファイルからの睡眠段階予測催眠術とユーザー修正された手動補正。 エポック1305は、GUI内でスリープステージの手動修正のデモとして、ステージ「ウェイク」からステージ「REM」に変更されました。赤い破線は、ユーザーが修正した睡眠ステージ「REM」を示しています。 この図の拡大版を表示するには、ここをクリックしてください。

図4:エポック1305でのExample-1 EDF/EDF+ファイルのウェイク、NREM、およびREMエポックSHAP値。 エポックSHAPプロットのy軸は、選択したエポックの絶対SHAP値が最も高い上位10個の特徴量を示しています。X 軸は SHAP 値を示し、平均予測と比較した予測に対する各特徴の寄与度を示します。 この図の拡大版を表示するには、ここをクリックしてください。

図5:Example-1 EDF/EDF+ファイルのウェイク、NREM、およびREMグローバルSHAP値。 p-swarm プロットの各ドットは、データの 1 つのサンプルを表します。プロットの Y 軸は、ランダムにサンプリングされた 500 のエポックから計算された、絶対グローバル SHAP 値が最も高い上位 10 個の特徴を示しています。X 軸は SHAP 値を示し、平均予測と比較した予測に対する各特徴の寄与度を示します。グローバル SHAP 値の x 軸には、各ドットの x 値とドットの色の強度の 2 つの次元があります。正の x 軸 SHAP 値は、予測に対する正の寄与を示し、その逆も同様です。赤色が濃いサンプルは、特徴値が高くなります。 この図の拡大版を表示するには、ここをクリックしてください。

このホワイトペーパーでは、IntelliSleepScorer(v1.2)グラフィックユーザーインターフェースを使用してマウスの睡眠ステージを自動的にスコアリングする方法と、SHAP値/プロットを活用してモデルによって生成されたスリープステージスコアをよりよく理解する方法について説明します。

ソフトウェアを使用する際の重要な考慮事項は、データの互換性です。本研究で用いた社内データは、前頭葉と頭頂部に設置した電極に限定した。Miladinovic ら¹¹ の独立したデータセットでは、これらの領域の電極座標が異なるにもかかわらず、ソフトウェアは満足のいく性能を維持しました。このソフトウェアは他の脳領域にも適用できる可能性がありますが、これを確認するためのテストは実施していません。したがって、電極の配置に制限がないとは断言できません。ただし、他の地域からの録音がある場合は、ユーザーにテストすることをお勧めします。

睡眠段階分析のためのEEG/EMG記録セッションの期間は、研究の特定の目標によって異なります。通常、レコーディングセッションは、明期または暗期のいずれかをカバーする12時間、または1日で両方のフェーズを網羅する24時間続きます。12時間録音と24時間録音はどちらも、明確な睡眠覚醒パターンと概日リズムをキャプチャするために一般的に使用されます。このモデルのテストでは、睡眠ステージのスコアリングが 12 時間 (12 時間) と 24 時間の両方の記録セッションで信頼性と正確性があることが示されています。録音の持続時間に対する既知の上限はありません。

ソフトウェアプロトコル内の2つの注目すべきステップは、データの前処理と手動検証です。トレーニング済みモデルの一般化可能性を高めるために、入力データにノイズとアーティファクトを許容し、最小限の品質管理手段を実装しました。私たちが行った品質管理は、信号の損失による録音不良を排除することを目的としています。信号の損失は通常、電極の緩みや脱落などの接続の問題によって引き起こされます。信号が失われると、ソフトウェアによって生成されたスリープスコアにエラーが発生する可能性があります。例えば、EMG電極が緩んでいるために覚醒しているマウスのEMGチャネルの平らな線は、マウスの不動/睡眠相と同じ特徴を共有している可能性があり、LightGBMモデルによる「NREM」または「REM」の予測につながる可能性があります。参考までに、信号損失が著しい記録を自動的に除外するために、次の基準を使用しました:1)EEG信号の振幅が記録時間の少なくとも50%で1μV未満である、または2)EMG信号の振幅が記録時間の少なくとも50%で1pV未満である。ユーザーは、実験のセットアップと記録システムに基づいて、独自の品質管理基準を実装する必要があります。交流によって発生するラインノイズは、通常、50Hzまたは60Hzにあります。これらのラインノイズは、ソフトウェアに実装されているバンドパスフィルター(1〜40 Hz)ステップで除去されます。したがって、ユーザーはデータをソフトウェアに入力する前にラインノイズを前処理する必要はありません。モデル開発中には、体の動きなどの小さなノイズや干渉要因が考慮されています¹。この研究で使用されたアプローチにより、モデルの一般化可能性が、最終的な睡眠病期分類結果に大きな影響を与えないこれらの軽微なアーティファクトを許容できることを保証します。EDF データ ファイルの形式、記録の品質、および編成順序はすべて、この事前学習済みモデルのパフォーマンスを最適化するための重要な要素です。

手動検証では、LightGBM モデルのパフォーマンスがいくつかの記録で低かった (REM F1 スコア < 0.6) ことを考えると、正確な REM ステージのスコアリングが重要な場合は、モデルによって生成されたスリープ ステージを確認することをお勧めします。後流またはノンレム病期の生理学に焦点を当てた研究でも、LightGBMモデルは依然として非常に堅牢で完全に自動化された分析パイプラインをサポートしています。SHAP値の解釈は、ソフトウェアが生成した結果の精度を確認するための手動検証と組み合わせた優れたツールになる可能性があります。SHAPは、機械学習モデルの出力をゲーム理論を用いて説明するアプローチです。それは、古典的なシャープレイ値とそれらに関連する拡張²⁰を使用して、最適なクレジット配分を局所的な説明と結び付けます。たとえば、Global NREM SHAP Valuesプロット(図4)では、「eeg2_gamma_delta_ratio」特徴の右端に濃い赤色の点が突然現れた場合、そのエポックに異常があることを示している可能性があります。これは、分離されたエポックサンプルドットがデータセット全体から逸脱しているためです。SHAPプロットを解釈することで、睡眠ステージのスコアリングについて明確でユーザーフレンドリーな説明をユーザーに提供することもできます。たとえば、エポックSHAPプロットは、睡眠ステージのスコアリングの上位決定要因である特徴に関する情報を提供します。 結果予測ヒプノグラム(図2)も、予測結果に関する重要な情報を提供します。催眠術で採点された睡眠段階が「覚醒」段階と「レム」段階の間で頻繁にシフトを示す場合、これは生理学的に異常であるため、スコアリングと対応するSHAP値の包括的な評価を実施して、結果の品質を確認することをお勧めします。SHAPとヒプノグラムプロットにより、研究者は睡眠段階のスコアリング中の予測エラーを迅速に特定できます。ただし、SHAP 値はモデルが予測を行う方法を説明するものですが、必ずしも予測やモデルによる特定の予測の方法が正しいことを意味するわけではありません。SHAP 値を表示する目的は、ユーザーがスリープ ステージのスコアリング プロセスを理解するのを支援し、ユーザーが LightGBM モデルのロジックを調べることでエラーをすばやく特定できるようにすることです。

モデルの現在のバージョン(v1.2)には、2つの優れた機能があります。まず、前の段落に続いて、ユーザーがCSVファイルに戻って変更を加える必要がある場合、特に長時間の録音の場合、手動による検証/修正は非常に面倒で不便になる可能性があります。そのため、GUIに直接統合された手動補正機能を提供し、ユーザーが任意のエポックでスコアリングされたスリープステージを変更できるようにしています。ユーザーが特定のエポックをクリックすると、「ウェイク」、「レム」、または「ノンレム」のいずれかのスコアリングされたスリープステージがGUIバー上部のドロップダウンメニューに表示されます。ユーザーがステージを別のステージに変更したい場合は、ドロップダウンメニューから別のステージを選択するだけで、ユーザーが手動で修正した新しいスコアリングファイルが生成されます。さらに、解析用に用意されている標準的な10秒の固定エポック長の代わりに、さまざまな睡眠研究者の特定の実験ニーズに対応するために、GUI上でエポック長を調整するオプションを提供しています。現在、オプションは4秒、10秒、20秒のエポックであり、これらはすべて睡眠研究者の間で一般的に使用されています。このモデルは 10 秒エポックの社内データで訓練されていますが、さまざまな研究所からの 4 秒エポックのデータの独立したテストでのモデルのパフォーマンスは、すべての睡眠ステージで人間の専門家のパフォーマンスに匹敵しました¹。20秒エポックを実装する際には、1)20秒エポックでマウスの睡眠/覚醒をスコアリングすると、一時的な覚醒などの非常に短いイベントを見逃す可能性があるため、ユーザーは注意する必要があります。2)20秒のエポックは、各エポック⁸の混合ステージを含む可能性が高くなります。

このモデルを、ユーザー向けの他の既存の自動睡眠ステージスコアリング方法と比較することは、洞察に富むでしょう。IntelliSleepScorer 以外にも、精度、複雑さ、および有効性の程度が異なる自動睡眠ステージ スコアリング用に開発されたモデルがいくつかあります 8,9,10,11,12,13,14,15,16,17,18 .本研究で用いたモデルは、LightGBMアルゴリズムを採用することで、既存のモデルと同等の高精度な睡眠ステージスコアリングを実現しました。私たちの評価では、IntelliSleepScorer は 95.2% の全体的な精度を示し、これは MC-SleepNet⁸ や Sleep-Deep-Learner⁹ などの同様のモデルで報告されたパフォーマンス メトリックと同等です。ただし、IntelliSleepScorer の真の違いは、その精度だけでなく、コーディング経験が限られているトレーニングを受けていない研究者にとってのアクセシビリティと使いやすさにもあります。

MC-SleepNet⁸は、4200匹のマウスからなる大規模なデータセットでディープニューラルネットワークを使用して学習され、96.4%という高いスコアリング精度と0.94のκ統計を達成し、既存のほとんどの方法を上回っています。しかし、私たちの知る限り、MC-SleepNetをベースにしたソフトウェアで、現在までに公開されている/無料で入手できるものはありません。

Sleep-Deep-Learner⁹は、レム睡眠で0.86、ノンレム睡眠で0.95、覚醒睡眠で0.97のF1スコアを持つマウスのスコアリングを自動化します。ただし、著者は論文で、Sleep-Deep-Learnerは、手動でスコアリングされたエポックのサブセットを必要とするため、睡眠覚醒スコアリングに精通していない個人には適していないと述べました。一方、IntelliSleepScorerは、睡眠段階のスコアリング中に追加の手動操作を必要とせず、研究者にとって非常にユーザーフレンドリーなGUIを備えています。

Somnivore¹⁰ は、ウェイクスリープステージの自動スコアリング用に設計された汎用性の高い多層システムであり、複雑な睡眠ポリグラフ入力を備えた限られたトレーニングセットからの学習に長けています。迅速な計算効率で動作し、ヒト、げっ歯類(野生型およびトランスジェニック)、ハトなど、さまざまな被験者にわたって堅牢な一般化を示しています。ただし、Somnivoreは費用がかからないわけではありません。

SlumberNet¹¹ と AccuSleep¹² は、それぞれ Zenodo と GitHub で簡単にアクセスでき、スコアリング精度は 97% と 96.8% です。ただし、どちらのモデルも学習データのサイズが 9 マウスまたは 10 マウスと比較的小さく、独立したテスト検証は含まれていませんでした。したがって、彼らの実際のパフォーマンスは不明のままです。

SPINDLE¹³ は、畳み込みニューラルネットワークを活用した4〜6匹のマウス/ラットの小規模なデータセットでトレーニングされた別のWebベースのモデルです。3つの独立した睡眠ラボからのデータで検証されたSPINDLEは、さまざまなラボからの人間の専門家によるスコアリングで平均93%〜99%の一致率を達成し、人間の能力を反映しています。

最後に、Somnotate¹⁴ は、少なくとも3つの手動アノテーションのコンセンサスに基づいて、6つの24時間記録を含む社内データセットで評価した場合、0.97±0.01の精度と0.97±0.01の重み付けF1スコアを示しました。Somnotate のデータセットでテストすると、IntelliSleepScorer のパフォーマンスは低下し、精度は 0.75 ± 0.04、加重 F1 スコアは 0.73 ± 0.05¹⁴ でした。このパフォーマンスの低下は、データセット間での実験のセットアップや記録条件の違いに起因する可能性があります。実際のさまざまなユースケースを考慮すると、特に実験のセットアップや記録条件が私たちのデータセットと大きく異なる場合は、データセットでのIntelliSleepScorerのパフォーマンスを評価することをお勧めします。ソフトウェアのパフォーマンスが期待に応えられない場合、開発に使用されるモデルとコードをオープンソースにしているため、ユーザーはデータを使用して事前トレーニング済みモデルを微調整するオプションがあります。

上述の既存のモデルの例以外にも、研究者が研究のための特定の異なるニーズに応じて選択できる、開発された自動睡眠病期分類システムがいくつかある15,16,17,18。

今後の研究では、睡眠段階の自動採点時間を最適化する新しいモデルの開発/訓練を目指しています。現在、GUI は、Intel Core i7-8550U CPU @ 1.80 GHz で 1000 Hz でサンプリングされた 12 時間の録音を約 10 分で処理します。ただし、4 秒のエポックでスリープ ステージをスコアリングすると、既定の 10 秒のエポックと比較して、処理時間が約 2.5 倍長くなります。この新しいモデルは、マウスでより高速な自動睡眠ステージスコアリングを求める一部のユーザーのニーズに応える可能性があります。また、常にユーザーのフィードバックに耳を傾けており、リクエストに応じて新機能を追加できます。

要約すると、マウスの睡眠ステージスコアリングのための便利な自動パイプラインを作成するために、コストがかからず、一般に公開され、ユーザーフレンドリーなGUIソフトウェアであるIntelliSleepScorerを提供しています。さらに、モデルが行うスコアリングの決定を説明するSHAP値の視覚化を提供することで、さらに一歩進んでいます。経験豊富なユーザーは、トレーニング/微調整のために特徴を抽出するためのモデルファイルとスクリプトがすべてGitHubリポジトリで公開されているため、事前にトレーニングされたモデルを自分のデータで微調整することもできます。このオープンに利用可能なモデルが、技術のギャップを縮め、睡眠研究におけるマウスモデルを使用したデータ収集から新しい発見への進行を促進し、労働集約的な作業を減らすことができることを願っています。

著者は、利益相反を宣言しません。

睡眠ステージを手動で採点してくれたKerena YanとJingwen Hu、録音を担当してくれたEunahとSoonwiikに感謝します。