バーチャルリアリティ対応のブレインコンピュータインターフェース環境における具現化されたデジタルツインによる運動イメージ性能

バーチャルリアリティ環境での運動イメージは、ブレイン・コンピュータ・インターフェース・システムにおいて幅広い用途があります。この原稿では、参加者が想像した動きをバーチャルリアリティ環境で行うのに似たパーソナライズされたデジタルアバターを使用して、没入感と身体の所有権を高める方法について概説しています。

本研究では、ブレイン・コンピュータ・インターフェース(BCI)やバーチャルリアリティ(VR)技術を3次元(3D)アバターのカスタマイズと統合することで、神経リハビリテーションの革新的なフレームワークを紹介します。従来のリハビリテーションのアプローチでは、主に深く没入感のあるインタラクティブな体験を提供できないため、患者を十分に関与させることができないことがよくあります。本研究では、運動イメージ(MI)技術を用いて、参加者が身体の動きを視覚化し、実際に実行しないことで、このギャップを埋めることを目指しています。この手法は、脳の神経メカニズムを利用し、動きを想像する際に動きの実行に関与する領域を活性化することで、回復プロセスを促進します。VRの没入型機能と脳波計(EEG)の精度を統合して、想像上の動きに関連する脳活動をキャプチャして解釈することが、このシステムの中核を形成しています。パーソナライズされた3Dアバターの形をしたデジタルツインは、仮想環境への没入感を大幅に向上させるために採用されています。この身体性の高まりは、効果的なリハビリテーションにとって重要であり、患者と仮想の相手との間のつながりを強化することを目的としています。これにより、このシステムは運動イメージのパフォーマンスを向上させるだけでなく、より魅力的で効果的なリハビリテーション体験を提供することも目指しています。BCIのリアルタイムアプリケーションにより、このシステムは、想像上の動きを3Dアバターによって実行される仮想アクションに直接変換し、ユーザーに即座にフィードバックを提供することができる。このフィードバックループは、運動制御と回復に関与する神経経路を強化するために不可欠です。開発されたシステムの最終的な目標は、運動イメージエクササイズをよりインタラクティブでユーザーの認知プロセスに応答させることにより、運動イメージエクササイズの有効性を大幅に向上させ、それによって神経学的リハビリテーションの分野における新たな道を開くことです。

神経障害を持つ患者のリハビリテーションパラダイムは、ブレインコンピューターインターフェース(BCI)や没入型バーチャルリアリティ(VR)などの高度なテクノロジーの統合により、変革的な変化を遂げており、回復を促進するためのより微妙で効果的な方法を提供しています。BCIベースのリハビリテーションの中心にある技術である運動イメージ(MI)は、実際の運動実行を伴わない身体運動の精神的なリハーサルを伴います¹。MIは、動きを想像すると、身体活動自体を実行するのと密接に一致する脳活動のパターンが引き起こされるという神経メカニズムを利用しています^2,3,4。具体的には、心筋梗塞に関与すると、脳の電気的活動のアルファ(8-13Hz)およびベータ(13-25Hz)周波数帯域で事象関連非同期(ERD)として知られる現象が引き起こされます^5,6,7。ERDは、ベースラインの脳リズムの抑制を示しており、これは実際の運動中にも観察されるパターンであり、それにより、BCI支援リハビリテーションフレームワーク⁷内でMIを使用するための神経基質を提供します。このようなMIと身体運動の皮質活性化の類似性は、MIが運動制御に関与する神経ネットワークを効果的に刺激できることを示唆しており、運動障害を持つ患者にとって貴重なツール^{となっている8。}さらに、MIの実践は、単なるメンタルリハーサルを超えて、行動観察戦略⁹を含むように拡張されています。タスクに関連する身体の部分の動きや他者の行動を観察することで、行動の観察^{と実行の両方に}反応するニューロンのグループであるミラーニューロンネットワーク(MNN)を活性化することができる9。観察によるMNNの活性化は、機能的^MRI10、陽電子放出断層撮影^法11、経頭蓋磁気刺激¹²などのさまざまな神経画像法によって証明されるように、皮質可塑性を誘発することが実証されています。証拠は、行動観察によって強化されたMIトレーニングが、影響を受けた個人の有意な神経適応と回復につながる可能性があるという考えを裏付けています。

バーチャルリアリティ技術は、身体の所有権の感覚を高め、現実世界と仮想世界の区別を曖昧にする没入型環境を提供することにより、MIベースのリハビリテーションの領域に革命をもたらしました13,14,15。VRの没入感は、参加者が仮想環境を現実の¹⁵として認識することを可能にするため、行動観察や運動イメージの練習に効果的なツールになります。研究によると、VRデバイスは、従来の2Dモニターディスプレイと比較して、MIトレーニングにより顕著な影響を与えることが示されています^15,16。このような発見は、感覚運動皮質におけるERD振幅比の増加などの神経活動の強化によって証明されており、視覚誘導心筋梗塞運動中の脳活動の刺激におけるより高い没入レベルの利点を強調している¹⁶。このシステムは、直接フィードバックを提供することにより、腕または手足の動きを伴うタスクの心筋梗塞パフォーマンスを改善するのを助け、それによってリハビリテーションプロセス^16,17を強化します。MIとVRの相乗効果は、感覚、知覚、認知、および運動活動の統合を強調しています^18,19。この組み合わせは、脳卒中生存者^20,21 と退役軍人²² にとって特に有益であり、VR を心筋梗塞ベースのリハビリテーション プロトコルに統合することで、リハビリテーション時間を大幅に短縮し、回復結果を改善できることが研究で示されています。リハビリテーションにおけるVRのユニークな特徴は、特別に設計された仮想環境内に臨場感を作り出す能力にあり、ユーザーの体を表す仮想アバターを含めることでリハビリテーション体験がさらに強化され、運動リハビリテーション研究でますます利用されています²³.これらのアバターは、手足の動きをリアルに3次元で表現し、心筋梗塞を助け、運動皮質の活性化に大きな影響を与えます。VRは、参加者が特定のタスクを実行している仮想の自己を視覚化できるようにすることで、心筋梗塞の経験を豊かにするだけでなく、より迅速で効果的な神経の再編成と回復のプロセスを促進する²⁴。MIトレーニングにおける仮想アバターとシミュレートされた環境の実装は、没入型の仮想世界内での仮想身体の自然で統合された使用を強調しています。

リハビリテーションのためのMIでの3DアバターのBCIベースの制御の顕著な利点にもかかわらず、オフライン方法論の主な使用には大きな制限が残っています。現在、ほとんどのBCIアプリケーションは、事前に記録された脳波計(EEG)データをキャプチャすることを含み、それはその後、^{アバター24,25}を操作するために利用される。リアルタイムのアバター制御が達成されるシナリオでも、これらのアバターはしばしば一般的であり、彼らが表す参加者²³に似ていません。この一般的なアプローチは、効果的なリハビリテーション²⁴に不可欠な、没入感と身体の所有権の感覚を深める重要な機会を逃しています。被写体の正確な肖像を反映した3Dアバターを作成することで、体験の没入型体験を大幅に向上させることができる¹⁶。仮想世界で自分自身を視覚化することにより、参加者は想像上の動きと実際の動きとの間のより強いつながりを育むことができ、より顕著なERDパターンにつながる可能性があり、したがって、より効果的な神経適応と回復につながる可能性があります¹⁶。パーソナライズされた3Dアバターのリアルタイム制御に向けて前進することで、BCIとVRの分野はリハビリテーションのパラダイムを大幅に改善し、患者の回復のためのより微妙で魅力的で効果的な方法を提供できます。

本稿では、VRベースのリアルタイムBCIによる3Dアバター制御のハードウェアとソフトウェアの両方の作成、設計、技術的側面を紹介し、運動リハビリテーション環境への統合をサポートする革新的な結果を強調しています。提案システムは、脳波計(EEG)を利用して被験者が生成する運動画像信号をキャプチャし、それを使用してアバターの動きと動作をリアルタイムで制御します。現在のアプローチは、VR技術の高度な機能とEEGの精度を組み合わせて、想像上の動きに関連する脳活動を認識して解釈し、ユーザーが思考の力を通じてデジタル環境と対話するための、より魅力的で効果的なインターフェースを作成することを目指しています。

本研究では、脳波で記録されたMI信号を用いて、VR環境下で3Dアバターをリアルタイムに制御することの実現可能性を調査することを目的としています。この研究では、アバターを被写体に似せてパーソナライズすることにより、没入感と身体の所有権の感覚を高めることに焦点を当てています。この議定書は、ヴェールール工科大学の審査委員会から承認を受けました。参加者は、研究の目的、手順、および潜在的なリスクを確認した後、書面によるインフォームドコンセントを提供しました。

1. 実験セットアップ

注: 図1 の実験セットアップの図に示されているように、システムにすべてのコンポーネントが組み込まれていることを確認してください(使用する機器の 材料表 を参照)。

1. 3Dアバター開発
   1. アバターのモデリング
      1. データ収集の前日に、各参加者からさまざまな角度からの複数の顔写真と正確な身体測定値を収集します。
      2. モデリングソフトウェアをクリックして開きます。開いた直後に、[性別] のスライダーを見つけます。このスライダーは、作成しようとしているモデルの性別に合わせて調整してください。
      3. 画面上部の「モデリング」タブに移動し、タブをクリックしてボディのカスタマイズオプションにアクセスします。
      4. 胴体、腕、脚など、さまざまなセクションの下にあるスライダーを使用して、体をモデル化します。身長、胸/バスト、ウエスト、ヒップ、脚の長さ、腕の長さの基本的な測定値に焦点を当てます。
      5. Pose/Animate タブをクリックし、基本的なアニメーションのデフォルトのスケルトンを選択します。上部の[ファイル]メニューに移動し、[エクスポート]を選択してから、[]を選択します。アニメーションソフトとの互換性のためのMHX2形式。スケルトンを含めるには、Export with Rig のオプションを選択してください。保存先フォルダを選択し、ファイルに名前を付けて、「エクスポート」をクリックします。
      6. アニメーションソフトを開きます。 [ファイル] > [インポート ] に移動し、 .mhx2 または必要な形式を選択します。保存したファイルに移動して選択し、ソフトウェアにインポートします。
      7. [編集] メニューに移動し、[ 設定] > [アドオン] を選択し、顔をビルドするための適切なプラグインが有効になっていることを確認します。
      8. 3Dビューポートで、プラグインが提供するレイアウトプリセットに切り替えるか、通常は左側のツールシェルフにあるプラグインパネルに移動します。
      9. プラグインパネルで「 Create a New Head 」をクリックして、ヘッドモデルを開始します。 「写真を追加 」ボタンを使用して、参加者の写真をインポートします。正確なモデリングのために、フロントプロファイルとサイドプロファイルを使用します。
      10. プロンプトに従って、写真上のポイントを 3D モデル上の対応するポイントに揃えます。その後、プラグインは参加者の特徴に合わせてヘッドモデルを調整します。似顔絵に満足したら、ヘッドモデルを完成させます。
      11. ヘッドモデルを手動で配置して、ボディモデルの首に合わせます。ヘッドのスケールと回転を調整して、シームレスにフィットさせます。
      12. スナップツール(Shift+Tab)を使用して、頭の首の頂点を体の頂点に正確に位置合わせします。
      13. 位置合わせが完了したら、両方のメッシュを選択し、 Ctrl + J を押してそれらを1つのオブジェクトに結合して、頭と体を結合します。
      14. ボンゴのペアをインポートまたはモデリングし、モデルの前面の適切な高さに配置します。
   2. アバターのアニメーション化
      1. リギングされたモデルのポーズモードに切り替えます。フレーム 1 で、すべてのボーンを選択し、LocRotScale のキーフレームを挿入 (I キーを使用) して、初期位置を記録します。
      2. タイムラインをフレーム30まで進めて、左手をボンゴに当てます。
      3. 左手のアーマチュアを動かして回転させ、ボンゴを打つシミュレーションをします。これらのボーンにキーフレームを挿入します。このプロセスを繰り返して、手をフレーム 60 の開始位置に戻し、別のキーフレームを挿入してアクションを完了します。
      4. タイムラインをフレーム 90 に移動し、右手がアクションを開始します。左手と同様に、右手の位置と回転を調整して、もう一方のボンゴを打つシミュレーションを行い、キーフレームを挿入します。
      5. 手を開始位置に戻し、フレーム 150 でモーションを終了するキーフレームを挿入します。
      6. タイムラインをスクラブして、アニメーションを確認します。必要に応じて調整して、動きをスムーズにしたり、ボンゴを打つタイミングを良くしたりします。ファイルを保存します。
2. 機器のセットアップ
   1. 8つのEEGチャンネルを備えたボードの上に8つのEEGチャネルを備えたDaisyモジュールを取り付けて、16チャネルのEEGデータ収集システムを組み立てます。
   2. 参照電極をY-SplitterケーブルでDaisyボードの下部のリファレンスピンと下部のボードの下部リファレンスピン(どちらもSRBとラベル付けされています)に接続します。
   3. 接地電極を底面のBIASピンに接続します。
   4. 16個のEEG電極をN1P-N8Pとラベル付けされた下部ボードピンとN1P-N8Pとラベル付けされたデイジー下部ピンに接続します。
   5. FP1、FP2、C3、C4、CZ、P3、P4、P4、PZ、O1、O2、F7、F8、F3、F4、T3、T4とラベル付けされた電極配置用の国際10-20システムに接着したラベル付きの位置に、ゲルフリーキャップに電極を挿入します。
   6. EEG電極用に用意された18個のスポンジを、200mLの水道水に5gの塩化ナトリウムを混合した生理食塩水に15分間浸します。
   7. 浸したスポンジを各電極の下側に挿入して、頭皮と電極が接触するようにします。
   8. 参加者が静かな部屋に快適に座るようにします。ジェルフリーのEEGキャップを参加者の頭皮に置き、キャップが参加者の耳にフィットするように正しく位置合わせされていることを確認します。
   9. USBドングルをラップトップに接続します。EEG GUIを開き、 EEGシステムをクリックし、[データソース]オプションで[ シリアル](ドングルから)、[16チャネル]、および[AUTO-CONNECT]を選択します。
   10. データ収集画面内で、信号ウィジェットを選択して、各電極サイト²⁶で<10kΩの最適なインピーダンスレベルを確認することにより、接続された電極の信号品質を確認する。
   11. インピーダンスが10kΩを超える場合は、電極の下のスポンジに生理食塩水を数滴加えます。インピーダンスチェックが完了したら、GUIを閉じます。
   12. Acquisition Serverソフトウェアを開き、[ドライバー]で 適切なEEGボード を選択し、[ Play>接続 ]をクリックしてEEGシステムとの接続を確立します。
   13. VRヘッドセットをワイプで消毒し、EEGキャップの上に参加者の頭の上に置くことで、EEGデータを取得しながら没入型のインタラクションを促進することで、VRヘッドセットを準備します。
3. ゲームのセットアップ
   注:次の手順では、Open Sound Control(OSC)を使用した2つのゲームエンジンシナリオのセットアップの概要を説明します:1つはモーターイメージトレーニング(フィードフォワード)用、もう1つはモーターイメージのテスト(フィードバック)用です。フィードフォワード シナリオでは、OSC メッセージによってトリガーされる観測アニメーションを通じて、モーター イメージでユーザーをトレーニングします。フィードバック シナリオでは、OSC 入力に基づいてユーザーが想像した動きをアニメーション化することで、運動イメージの有効性をテストします。
   1. ゲームエンジンソフトウェアを開き、[ Motor Imagery Training Project]を選択します。VR サポートを有効にする: [ Edit > Project Settings] > [Player > XR Settings] に移動し、[ Virtual Reality Supported] にチェックを入れて、VR ヘッドセットが [Virtual Reality SDKs] の下に表示されていることを確認します。
   2. デフォルトのカメラを削除し、VR 統合パッケージからシーンに VR カメラをドラッグします。
   3. 読み込んだアニメーションファイルをシーンに配置します。必要に応じて、スケールと向きを調整します。事前に記述されたスクリプトを持つ OSCListener GameObject が、OSC メッセージに基づいて左手と右手の動きのモデル アニメーションをトリガーするように設定されていることを確認し、モーター イメージ トレーニングのボンゴを打つアクションをシミュレートします。
   4. ゲームエンジンソフトウェアで ファイル>ビルド設定 を開きます。 PC、Mac & Linux スタンドアロン、ターゲット Windows を選択し、[ ビルドと実行] をクリックします。
   5. モーター イメージ テスト プロジェクトでは、モーター イメージ トレーニング プロジェクトと同様の手順を実行します。参加者の想像上の手の動きを示す OSC 信号を受信するように設計されたスクリプトで設定された OSCListener ゲームオブジェクトを使用し、テストプロジェクトに対応するアニメーションをトリガーします。

図 1: VR-BCI のセットアップ。 VR-BCIセットアップ全体は、参加者がVRヘッドセットとEEGキャップを着用していることを示しています。参加者は、パーソナライズされた3Dアバターを仮想環境で視聴し、無線でコンピューターに送信される脳信号を使用してその動作を制御しました。 この図の拡大版を表示するには、ここをクリックしてください。

2. 実験計画法

1. 信号検証ステージ
   1. モーター イメージ シナリオを設計および実行するためのソフトウェア ツールを開き、[ファイル] に移動して、Signal Verification、Acquisition、CSP Training、Classifier Training、Testing、および Confusion Matrix というラベルの付いた 6 つのモーター イメージ BCI シナリオを読み込みます。
   2. 信号検証シナリオに移動します。1 Hz から 40 Hz までのバンドパス フィルタを、フィルタ次数 4 のバンドパス フィルタを 1 から 4 Hz のまま生信号に適用し、信号処理を最適化するためのデザイナー ボックスを使用します。
2. トレーニングステージ
   1. 視覚的な手がかりに反応した手の動きを想像しながら、参加者に運動イメージの課題を受けるように指導し、指示します。
   2. モーターイメージトレーニング用のファイルを開き、準備した3DアバターをVRヘッドセットを通じてボンゴのセットの上に立っている状態を表示します。
   3. [Acquisition (取得)] シナリオに移動し、[ Graz Motor Imagery Stimulator (グラーツ モーター イメージ スティミュレーター )] をダブルクリックしてボックスを構成します。
   4. 左手と右手の両方の動きに対して 50 秒、5 秒の試行 (cue-1.25 s と MI-3.75 s) を構成し、20 秒のベースライン期間と 10 回の試行ごとに 10 秒の休息を組み込んで、精神的疲労を回避します。
   5. 左手と右手の試行をランダム化するように設定し、試行の前に想像する手を示すキューを用意します。
   6. IPアドレスとポートを備えたOSCボックスを接続して、手をイメージするためのキューをモーターイメージトレーニングゲームエンジンプログラムに送信します。
   7. 参加者に、自分の手の動きと3Dアバターが、対応する手でボンゴを打つアバターと同じペースで、どちらの手を想像するかを示すテキストキューに従って実行するイメージを想像するように指示します。
3. CSP と LDA のトレーニング
   1. 取得後、CSP トレーニング シナリオを実行して、取得ステージの EEG データを分析し、Common Spatial Patterns (CSP) を計算して、左手と右手の画像を区別するフィルターを作成します。
   2. CSP トレーニングの後、分類器トレーニング シナリオに移動し、それを実行して CSP フィルターを使用した線形判別分析 (LDA) を利用して効率的なタスク分類を行い、リアルタイムのアバター制御のためのシステムを準備します。
4. テストステージ
   1. 参加者がブレイン・コンピューター・インターフェース(BCI)テクノロジーを使用して3Dアバターをリアルタイムで制御するためのテストシナリオに移動します。
   2. 前のシナリオで訓練された分類器を、参加者が手の動きを想像しながら取得した脳波データに適切なボックスにロードして、これらの想像上のアクションをリアルタイムで解釈します。
   3. EEGシステムとVRのセットアップが動作しており、トレーニングステージの設定に従って正しく構成されていることを確認します。
   4. テスト手順について参加者に説明し、テキストの手がかりに促された手の動き(左手または右手を使ってボンゴを打つ)を明確に想像する必要性を強調します。
   5. トレーニング段階と同様に、各参加者に対して20回の試行を実施し、左手と右手の動きを想像して均等に分け、ランダム化します。
   6. OSCボックスを接続して構成し、ゲームエンジンプログラムでどちらのハンドを画像化するかを示すテキストとして表示されるキュー情報を送信します。
   7. 別のOSCボックスに接続して、ゲームエンジンプログラムが参加者が想像した手に基づいて対応するアニメーションを再生するための左手と右手の動きの予測値を送信します。
   8. テスト シナリオを実行します。Motor Imagery Testing ゲーム エンジン プログラムを実行します。

3. データの収集と分析

1. 実験の取得段階と試験段階では、125Hzでサンプリングされたデータを使用して、EEGデータと分類器の出力を連続的に記録します。
2. 混同行列のシナリオに移動し、取得したEEGファイルを「汎用ストリームリーダー」というラベルのボックスにロードし、各参加者と取得ステージとトレーニングステージの両方についてロードします。
3. シナリオを実行して混同行列を取得し、BCI システムがモーター イメージ信号をどの程度正確に解釈するかを評価します。
4. アバターの使いやすさ、制御機能、没入感、EEGキャップとVRヘッドセットを装着した際の快適さに関する体験について、参加者からフィードバックを収集します。

示されている結果は、上記のプロトコルに従った5人の個人からのものです。21歳から38歳までの年齢の健康な成人5人(女性3人)が研究に参加した。

運動イメージトレーニングとテスト条件の両方での各参加者の個々の分類パフォーマンスを 図2に示します。すべての被験者の平均混同行列を計算して、トレーニングセッションとテストセッションの両方で左右のMI信号を区別する分類器の精度を評価しました( 図3を参照)。

トレーニングセッション中に左右の運動画像について計算されたCSPの重みは、 図4Aの代表的な参加者の地形パターンとして投影されました。さらに、左手に対応する反対側の右感覚運動領域上に配置された C4 電極と、右手の左感覚運動領域上に配置された C3 電極から収集された EEG データについて、同じ参加者に対して時間-周波数分析が行われました。8 Hz から 30 Hz の範囲の周波数の振幅がエポック中に時間とともに動的にどのように変化するかを明らかにする、イベント関連スペクトル摂動 (ERSP) を特定するための時間-周波数プロットを、モーター イメージ トレーニング セッションの 図 4B に示します。アルファ(8-12Hz)帯域とベータ(13-30Hz)帯域に着目し、各エポックのERSPをベースラインスペクトルで割って正規化し、これらの正規化値から平均ERSPを計算しました。

さらに、参加者からのフィードバックは、EEGキャップとVRヘッドセットの快適さと使いやすさについて概ね肯定的でした。参加者は、3Dアバターのリアルタイム制御に特に熱心でした。しかし、参加者は、ボンゴを打つアクションには、没入感を高めるための音のフィードバックが伴うと感じました。

図2:運動イメージのトレーニングおよびテストセッション中の各参加者の精度のパーセンテージ。 真陽性率 (TP) は、分類器モデルが MI 信号として正しく識別した運動イメージ (MI) 信号の割合を示します。偽陽性率(FP)は、左のMI信号が誤って右のMI信号として分類された頻度を示します。偽陰性率 (FN) は、モデルが検出できなかった実際の左 MI 信号の割合を示します。最後に、真陰性率 (TN) は、モデルが正確に認識した右 MI 信号の割合を示します。S1、S2、S3、S4、および S5 は 5 人の参加者を示します。 この図の拡大版を表示するには、ここをクリックしてください。

図3:モーターイメージのトレーニングおよびテストセッション中の分類パフォーマンスの平均混乱行列。 全体的な平均精度は、左右の MI 信号を正しく分類するモデルの能力を反映しています。 この図の拡大版を表示するには、ここをクリックしてください。

図 4: 代表参加者の運動イメージ トレーニング セッション中の両手の CSP フィルター、パターン、および時間-周波数プロット (A) この図は、分散に基づいて 2 つのクラス (左と右) を最大限区別する S1 の CSP フィルターを示しています。(B) S1 の時間-周波数プロット。青色のリージョンは、イベント関連の非同期を示しています。0 ミリ秒では、左手または右手を想像するためのキューが 1250 ミリ秒の間表示されました。合図に続いて、参加者は対応する手でボンゴを打つ動きを想像しました。 この図の拡大版を表示するには、ここをクリックしてください。

VR技術と組み合わせたMIの応用は、運動計画と実行のための脳の自然なメカニズムを活用することにより、リハビリテーションの有望な道を提供します。身体運動^の神経活動を反映して、特定の脳周波数帯域で事象関連の非同期を誘導するMIの能力^2,3,4は、^{運動制御8}に関与する神経ネットワークを関与させ強化するための堅牢なフレームワークを提供する。このプロセスは、VRの没入型品質によってさらに強化され、プレゼンスと身体の所有権の感覚を増幅するだけでなく、動きの視覚化も容易になり、それによってMIエクスペリエンス¹⁶が豊かになります。

彼らが表現する主題によく似たパーソナライズされた3Dアバターの開発は、この分野における注目すべき革新を示しています13,14,15。このアプローチは、VR設定でゲーム化されたタスクを使用した共適応型MI-BCIトレーニングに関するSkolaら^の研究27と概念的に一致しています。しかし、このプロトコルは、Skolaらが採用する手に焦点を当てた視点の視点とは対照的に、参加者の外観を密接に反映したフル3Dアバターを採用することにより、大きな差別化をもたらします。ユーザーの想像上の動きをリアルタイムで視覚的に表現することにより、これらのアバターは没入感を深め、想像上の動きと実際の動きとの間のつながりを強化する¹⁸。この論文で詳述されているアプローチは、より顕著なERDパターンを促進し、より効果的な神経適応と回復につながることが期待されます。

しかし、オフラインのBCI手法からアバターのリアルタイム制御への移行には、特にユーザーの想像上の動きに対するシステムの精度と応答性を確保する上での課題があります。このシステムは、ラップトップに接続されたEEGデータ収集システムを含むセットアップを通じてリアルタイムコンピューティングを保証し、その後、Oculus Rift-S VRヘッドセットとインターフェースします。このセットアップにより、EEGデータキャプチャとVRイマージョンのシームレスな統合が可能になり、Acquisition ServerとGame Engineによって、カスタム開発された3Dアバターによる視覚的なフィードバックとインタラクションが可能になります。

BCI-VR統合シナリオでは、ハイエンドのグラフィックカードを搭載したゲーミングノートPCを活用し、OSC経由の軽量メッセージを使用してキューとハンド予測値を取得することで、システムの全体的な遅延を効率的に最小化できます。ゲーミングノートPCを使用することで、EEGボードを通じて取得したEEGデータの迅速な処理が可能になり、初期のデジタル化と伝送遅延は5ms未満に抑えられます。その後の信号処理と分類では、信号フィルタリングと特徴抽出のためのCSPなどのアルゴリズムの実行の両方を考慮に入れて、約20〜40ミリ秒の追加レイテンシが発生することが予想されます。シナリオデザイナーとゲームエンジンとの間の通信は、左手と右手の動きに対して単純な数値の手がかりを送信するOSCによって促進され、オーバーヘッドを最小限に抑えるように設計されており、おそらく5〜10ミリ秒以下の遅延が追加されるでしょう。グラフィックカードの計算効率のおかげで、ゲームエンジンによるこれらのコマンドの処理は迅速で、VRヘッドセットが提供するVR環境で視覚的なフィードバックをレンダリングする前に、さらに10ミリ秒未満の遅延が発生し、遅延を20ミリ秒未満に保つことを目指しています。これらのコンポーネントが相乗効果を発揮して、システムの合計レイテンシを45〜75ミリ秒の望ましい範囲内に維持し、没入型VR体験と効果的なBCIアプリケーションに不可欠なリアルタイムの応答性を確保します。

さらに、トレーニング段階ではVRのセットアップやアバターのペースに慣れ、テスト段階では自分の考えで3Dアバターをコントロールするためのチュートリアルモジュールとして、十分な練習が行われました。信号品質検証の重視、タスク分類のためのCSPとLDAの使用、および詳細なテストフェーズは、リアルタイムアバター制御の成功にとって重要です。

本研究の結果は、リハビリテーションのためにパーソナライズされた3DアバターのリアルタイムBCI制御を使用することの実現可能性と有効性を実証することにより、この分野に貢献することが期待されます。この研究では、運動イメージのトレーニング段階とリアルタイムテストの間で運動意図の検出精度を比較することにより、リハビリテーションの成果を向上させるこの技術の可能性についての貴重な洞察を提供します。さらに、操作のしやすさや体験した没入感に関する参加者のフィードバックは、BCIおよびVRテクノロジーの将来の開発に情報を提供し、より魅力的で効果的なリハビリテーションインターフェースの作成を目指しています。

BCIおよびVRテクノロジーの進歩により、よりパーソナライズされた、魅力的で効果的なリハビリテーションプロトコルの新たな可能性が開かれます。今後の研究では、アバターのリアルタイム制御技術の改良、信号分類のためのより高度な機械学習アルゴリズムの使用の探求、そしてこのアプローチのより広範な神経学的状態への適用の拡大に焦点を当てるべきです。さらに、このリハビリテーション方法が神経障害を持つ個人の機能回復と生活の質に対する長期的な影響を評価するには、縦断的研究が必要です。

リハビリテーションにおける MI と VR 技術の統合は大きな期待が寄せられていますが、いくつかの制限に注意する必要があります。明確な MI 信号を生成する個人の能力と、MI および VR 介入に対する神経反応には大きな幅があります。このばらつきは、リハビリテーション プロセスの有効性が患者間で大きく異なる可能性があることを意味し、個人差に合わせた治療の個別化が大きな課題となっています。さらに、アバターのリアルタイム制御において高い精度と応答性を実現することは、複雑な取り組みです。MI信号の解釈の遅延やエラーは、没入型体験を中断し、リハビリテーションプロセスの有効性を低下させる可能性があります。VRテクノロジーは没入感とエンゲージメントを高めることができますが、一部のユーザーにとっては不快感や乗り物酔いにつながる可能性もあり、長時間のセッションに参加する能力に影響を与え、その結果、治療の全体的な成功に影響を与える可能性があります。

結論として、MI信号を使用してパーソナライズされた3Dアバターをリアルタイムに制御するなど、BCIとVRの統合は、神経学的リハビリテーションへの最先端のアプローチを表しています。現在のプロトコルは、そのような統合の技術的な実現可能性を強調するだけでなく、テクノロジーと神経科学が収束して人間の脳の回復と適応能力の可能性を最大限に引き出すリハビリテーションの新時代の舞台を設定します。

著者には開示すべき利益相反はありません。

著者は、参加者の皆様にお時間を割いてご協力いただき、ありがとうございました。