Method Article
バーチャルリアリティ環境での運動イメージは、ブレイン・コンピュータ・インターフェース・システムにおいて幅広い用途があります。この原稿では、参加者が想像した動きをバーチャルリアリティ環境で行うのに似たパーソナライズされたデジタルアバターを使用して、没入感と身体の所有権を高める方法について概説しています。
本研究では、ブレイン・コンピュータ・インターフェース(BCI)やバーチャルリアリティ(VR)技術を3次元(3D)アバターのカスタマイズと統合することで、神経リハビリテーションの革新的なフレームワークを紹介します。従来のリハビリテーションのアプローチでは、主に深く没入感のあるインタラクティブな体験を提供できないため、患者を十分に関与させることができないことがよくあります。本研究では、運動イメージ(MI)技術を用いて、参加者が身体の動きを視覚化し、実際に実行しないことで、このギャップを埋めることを目指しています。この手法は、脳の神経メカニズムを利用し、動きを想像する際に動きの実行に関与する領域を活性化することで、回復プロセスを促進します。VRの没入型機能と脳波計(EEG)の精度を統合して、想像上の動きに関連する脳活動をキャプチャして解釈することが、このシステムの中核を形成しています。パーソナライズされた3Dアバターの形をしたデジタルツインは、仮想環境への没入感を大幅に向上させるために採用されています。この身体性の高まりは、効果的なリハビリテーションにとって重要であり、患者と仮想の相手との間のつながりを強化することを目的としています。これにより、このシステムは運動イメージのパフォーマンスを向上させるだけでなく、より魅力的で効果的なリハビリテーション体験を提供することも目指しています。BCIのリアルタイムアプリケーションにより、このシステムは、想像上の動きを3Dアバターによって実行される仮想アクションに直接変換し、ユーザーに即座にフィードバックを提供することができる。このフィードバックループは、運動制御と回復に関与する神経経路を強化するために不可欠です。開発されたシステムの最終的な目標は、運動イメージエクササイズをよりインタラクティブでユーザーの認知プロセスに応答させることにより、運動イメージエクササイズの有効性を大幅に向上させ、それによって神経学的リハビリテーションの分野における新たな道を開くことです。
神経障害を持つ患者のリハビリテーションパラダイムは、ブレインコンピューターインターフェース(BCI)や没入型バーチャルリアリティ(VR)などの高度なテクノロジーの統合により、変革的な変化を遂げており、回復を促進するためのより微妙で効果的な方法を提供しています。BCIベースのリハビリテーションの中心にある技術である運動イメージ(MI)は、実際の運動実行を伴わない身体運動の精神的なリハーサルを伴います1。MIは、動きを想像すると、身体活動自体を実行するのと密接に一致する脳活動のパターンが引き起こされるという神経メカニズムを利用しています2,3,4。具体的には、心筋梗塞に関与すると、脳の電気的活動のアルファ(8-13Hz)およびベータ(13-25Hz)周波数帯域で事象関連非同期(ERD)として知られる現象が引き起こされます5,6,7。ERDは、ベースラインの脳リズムの抑制を示しており、これは実際の運動中にも観察されるパターンであり、それにより、BCI支援リハビリテーションフレームワーク7内でMIを使用するための神経基質を提供します。このようなMIと身体運動の皮質活性化の類似性は、MIが運動制御に関与する神経ネットワークを効果的に刺激できることを示唆しており、運動障害を持つ患者にとって貴重なツールとなっている8。さらに、MIの実践は、単なるメンタルリハーサルを超えて、行動観察戦略9を含むように拡張されています。タスクに関連する身体の部分の動きや他者の行動を観察することで、行動の観察と実行の両方に反応するニューロンのグループであるミラーニューロンネットワーク(MNN)を活性化することができる9。観察によるMNNの活性化は、機能的MRI10、陽電子放出断層撮影法11、経頭蓋磁気刺激12などのさまざまな神経画像法によって証明されるように、皮質可塑性を誘発することが実証されています。証拠は、行動観察によって強化されたMIトレーニングが、影響を受けた個人の有意な神経適応と回復につながる可能性があるという考えを裏付けています。
バーチャルリアリティ技術は、身体の所有権の感覚を高め、現実世界と仮想世界の区別を曖昧にする没入型環境を提供することにより、MIベースのリハビリテーションの領域に革命をもたらしました13,14,15。VRの没入感は、参加者が仮想環境を現実の15として認識することを可能にするため、行動観察や運動イメージの練習に効果的なツールになります。研究によると、VRデバイスは、従来の2Dモニターディスプレイと比較して、MIトレーニングにより顕著な影響を与えることが示されています15,16。このような発見は、感覚運動皮質におけるERD振幅比の増加などの神経活動の強化によって証明されており、視覚誘導心筋梗塞運動中の脳活動の刺激におけるより高い没入レベルの利点を強調している16。このシステムは、直接フィードバックを提供することにより、腕または手足の動きを伴うタスクの心筋梗塞パフォーマンスを改善するのを助け、それによってリハビリテーションプロセス16,17を強化します。MIとVRの相乗効果は、感覚、知覚、認知、および運動活動の統合を強調しています18,19。この組み合わせは、脳卒中生存者20,21 と退役軍人22 にとって特に有益であり、VR を心筋梗塞ベースのリハビリテーション プロトコルに統合することで、リハビリテーション時間を大幅に短縮し、回復結果を改善できることが研究で示されています。リハビリテーションにおけるVRのユニークな特徴は、特別に設計された仮想環境内に臨場感を作り出す能力にあり、ユーザーの体を表す仮想アバターを含めることでリハビリテーション体験がさらに強化され、運動リハビリテーション研究でますます利用されています23.これらのアバターは、手足の動きをリアルに3次元で表現し、心筋梗塞を助け、運動皮質の活性化に大きな影響を与えます。VRは、参加者が特定のタスクを実行している仮想の自己を視覚化できるようにすることで、心筋梗塞の経験を豊かにするだけでなく、より迅速で効果的な神経の再編成と回復のプロセスを促進する24。MIトレーニングにおける仮想アバターとシミュレートされた環境の実装は、没入型の仮想世界内での仮想身体の自然で統合された使用を強調しています。
リハビリテーションのためのMIでの3DアバターのBCIベースの制御の顕著な利点にもかかわらず、オフライン方法論の主な使用には大きな制限が残っています。現在、ほとんどのBCIアプリケーションは、事前に記録された脳波計(EEG)データをキャプチャすることを含み、それはその後、アバター24,25を操作するために利用される。リアルタイムのアバター制御が達成されるシナリオでも、これらのアバターはしばしば一般的であり、彼らが表す参加者23に似ていません。この一般的なアプローチは、効果的なリハビリテーション24に不可欠な、没入感と身体の所有権の感覚を深める重要な機会を逃しています。被写体の正確な肖像を反映した3Dアバターを作成することで、体験の没入型体験を大幅に向上させることができる16。仮想世界で自分自身を視覚化することにより、参加者は想像上の動きと実際の動きとの間のより強いつながりを育むことができ、より顕著なERDパターンにつながる可能性があり、したがって、より効果的な神経適応と回復につながる可能性があります16。パーソナライズされた3Dアバターのリアルタイム制御に向けて前進することで、BCIとVRの分野はリハビリテーションのパラダイムを大幅に改善し、患者の回復のためのより微妙で魅力的で効果的な方法を提供できます。
本稿では、VRベースのリアルタイムBCIによる3Dアバター制御のハードウェアとソフトウェアの両方の作成、設計、技術的側面を紹介し、運動リハビリテーション環境への統合をサポートする革新的な結果を強調しています。提案システムは、脳波計(EEG)を利用して被験者が生成する運動画像信号をキャプチャし、それを使用してアバターの動きと動作をリアルタイムで制御します。現在のアプローチは、VR技術の高度な機能とEEGの精度を組み合わせて、想像上の動きに関連する脳活動を認識して解釈し、ユーザーが思考の力を通じてデジタル環境と対話するための、より魅力的で効果的なインターフェースを作成することを目指しています。
本研究では、脳波で記録されたMI信号を用いて、VR環境下で3Dアバターをリアルタイムに制御することの実現可能性を調査することを目的としています。この研究では、アバターを被写体に似せてパーソナライズすることにより、没入感と身体の所有権の感覚を高めることに焦点を当てています。この議定書は、ヴェールール工科大学の審査委員会から承認を受けました。参加者は、研究の目的、手順、および潜在的なリスクを確認した後、書面によるインフォームドコンセントを提供しました。
1. 実験セットアップ
注: 図1 の実験セットアップの図に示されているように、システムにすべてのコンポーネントが組み込まれていることを確認してください(使用する機器の 材料表 を参照)。
図 1: VR-BCI のセットアップ。 VR-BCIセットアップ全体は、参加者がVRヘッドセットとEEGキャップを着用していることを示しています。参加者は、パーソナライズされた3Dアバターを仮想環境で視聴し、無線でコンピューターに送信される脳信号を使用してその動作を制御しました。 この図の拡大版を表示するには、ここをクリックしてください。
2. 実験計画法
3. データの収集と分析
示されている結果は、上記のプロトコルに従った5人の個人からのものです。21歳から38歳までの年齢の健康な成人5人(女性3人)が研究に参加した。
運動イメージトレーニングとテスト条件の両方での各参加者の個々の分類パフォーマンスを 図2に示します。すべての被験者の平均混同行列を計算して、トレーニングセッションとテストセッションの両方で左右のMI信号を区別する分類器の精度を評価しました( 図3を参照)。
トレーニングセッション中に左右の運動画像について計算されたCSPの重みは、 図4Aの代表的な参加者の地形パターンとして投影されました。さらに、左手に対応する反対側の右感覚運動領域上に配置された C4 電極と、右手の左感覚運動領域上に配置された C3 電極から収集された EEG データについて、同じ参加者に対して時間-周波数分析が行われました。8 Hz から 30 Hz の範囲の周波数の振幅がエポック中に時間とともに動的にどのように変化するかを明らかにする、イベント関連スペクトル摂動 (ERSP) を特定するための時間-周波数プロットを、モーター イメージ トレーニング セッションの 図 4B に示します。アルファ(8-12Hz)帯域とベータ(13-30Hz)帯域に着目し、各エポックのERSPをベースラインスペクトルで割って正規化し、これらの正規化値から平均ERSPを計算しました。
さらに、参加者からのフィードバックは、EEGキャップとVRヘッドセットの快適さと使いやすさについて概ね肯定的でした。参加者は、3Dアバターのリアルタイム制御に特に熱心でした。しかし、参加者は、ボンゴを打つアクションには、没入感を高めるための音のフィードバックが伴うと感じました。
図2:運動イメージのトレーニングおよびテストセッション中の各参加者の精度のパーセンテージ。 真陽性率 (TP) は、分類器モデルが MI 信号として正しく識別した運動イメージ (MI) 信号の割合を示します。偽陽性率(FP)は、左のMI信号が誤って右のMI信号として分類された頻度を示します。偽陰性率 (FN) は、モデルが検出できなかった実際の左 MI 信号の割合を示します。最後に、真陰性率 (TN) は、モデルが正確に認識した右 MI 信号の割合を示します。S1、S2、S3、S4、および S5 は 5 人の参加者を示します。 この図の拡大版を表示するには、ここをクリックしてください。
図3:モーターイメージのトレーニングおよびテストセッション中の分類パフォーマンスの平均混乱行列。 全体的な平均精度は、左右の MI 信号を正しく分類するモデルの能力を反映しています。 この図の拡大版を表示するには、ここをクリックしてください。
図 4: 代表参加者の運動イメージ トレーニング セッション中の両手の CSP フィルター、パターン、および時間-周波数プロット (A) この図は、分散に基づいて 2 つのクラス (左と右) を最大限区別する S1 の CSP フィルターを示しています。(B) S1 の時間-周波数プロット。青色のリージョンは、イベント関連の非同期を示しています。0 ミリ秒では、左手または右手を想像するためのキューが 1250 ミリ秒の間表示されました。合図に続いて、参加者は対応する手でボンゴを打つ動きを想像しました。 この図の拡大版を表示するには、ここをクリックしてください。
VR技術と組み合わせたMIの応用は、運動計画と実行のための脳の自然なメカニズムを活用することにより、リハビリテーションの有望な道を提供します。身体運動の神経活動を反映して、特定の脳周波数帯域で事象関連の非同期を誘導するMIの能力2,3,4は、運動制御8に関与する神経ネットワークを関与させ強化するための堅牢なフレームワークを提供する。このプロセスは、VRの没入型品質によってさらに強化され、プレゼンスと身体の所有権の感覚を増幅するだけでなく、動きの視覚化も容易になり、それによってMIエクスペリエンス16が豊かになります。
彼らが表現する主題によく似たパーソナライズされた3Dアバターの開発は、この分野における注目すべき革新を示しています13,14,15。このアプローチは、VR設定でゲーム化されたタスクを使用した共適応型MI-BCIトレーニングに関するSkolaらの研究27と概念的に一致しています。しかし、このプロトコルは、Skolaらが採用する手に焦点を当てた視点の視点とは対照的に、参加者の外観を密接に反映したフル3Dアバターを採用することにより、大きな差別化をもたらします。ユーザーの想像上の動きをリアルタイムで視覚的に表現することにより、これらのアバターは没入感を深め、想像上の動きと実際の動きとの間のつながりを強化する18。この論文で詳述されているアプローチは、より顕著なERDパターンを促進し、より効果的な神経適応と回復につながることが期待されます。
しかし、オフラインのBCI手法からアバターのリアルタイム制御への移行には、特にユーザーの想像上の動きに対するシステムの精度と応答性を確保する上での課題があります。このシステムは、ラップトップに接続されたEEGデータ収集システムを含むセットアップを通じてリアルタイムコンピューティングを保証し、その後、Oculus Rift-S VRヘッドセットとインターフェースします。このセットアップにより、EEGデータキャプチャとVRイマージョンのシームレスな統合が可能になり、Acquisition ServerとGame Engineによって、カスタム開発された3Dアバターによる視覚的なフィードバックとインタラクションが可能になります。
BCI-VR統合シナリオでは、ハイエンドのグラフィックカードを搭載したゲーミングノートPCを活用し、OSC経由の軽量メッセージを使用してキューとハンド予測値を取得することで、システムの全体的な遅延を効率的に最小化できます。ゲーミングノートPCを使用することで、EEGボードを通じて取得したEEGデータの迅速な処理が可能になり、初期のデジタル化と伝送遅延は5ms未満に抑えられます。その後の信号処理と分類では、信号フィルタリングと特徴抽出のためのCSPなどのアルゴリズムの実行の両方を考慮に入れて、約20〜40ミリ秒の追加レイテンシが発生することが予想されます。シナリオデザイナーとゲームエンジンとの間の通信は、左手と右手の動きに対して単純な数値の手がかりを送信するOSCによって促進され、オーバーヘッドを最小限に抑えるように設計されており、おそらく5〜10ミリ秒以下の遅延が追加されるでしょう。グラフィックカードの計算効率のおかげで、ゲームエンジンによるこれらのコマンドの処理は迅速で、VRヘッドセットが提供するVR環境で視覚的なフィードバックをレンダリングする前に、さらに10ミリ秒未満の遅延が発生し、遅延を20ミリ秒未満に保つことを目指しています。これらのコンポーネントが相乗効果を発揮して、システムの合計レイテンシを45〜75ミリ秒の望ましい範囲内に維持し、没入型VR体験と効果的なBCIアプリケーションに不可欠なリアルタイムの応答性を確保します。
さらに、トレーニング段階ではVRのセットアップやアバターのペースに慣れ、テスト段階では自分の考えで3Dアバターをコントロールするためのチュートリアルモジュールとして、十分な練習が行われました。信号品質検証の重視、タスク分類のためのCSPとLDAの使用、および詳細なテストフェーズは、リアルタイムアバター制御の成功にとって重要です。
本研究の結果は、リハビリテーションのためにパーソナライズされた3DアバターのリアルタイムBCI制御を使用することの実現可能性と有効性を実証することにより、この分野に貢献することが期待されます。この研究では、運動イメージのトレーニング段階とリアルタイムテストの間で運動意図の検出精度を比較することにより、リハビリテーションの成果を向上させるこの技術の可能性についての貴重な洞察を提供します。さらに、操作のしやすさや体験した没入感に関する参加者のフィードバックは、BCIおよびVRテクノロジーの将来の開発に情報を提供し、より魅力的で効果的なリハビリテーションインターフェースの作成を目指しています。
BCIおよびVRテクノロジーの進歩により、よりパーソナライズされた、魅力的で効果的なリハビリテーションプロトコルの新たな可能性が開かれます。今後の研究では、アバターのリアルタイム制御技術の改良、信号分類のためのより高度な機械学習アルゴリズムの使用の探求、そしてこのアプローチのより広範な神経学的状態への適用の拡大に焦点を当てるべきです。さらに、このリハビリテーション方法が神経障害を持つ個人の機能回復と生活の質に対する長期的な影響を評価するには、縦断的研究が必要です。
リハビリテーションにおける MI と VR 技術の統合は大きな期待が寄せられていますが、いくつかの制限に注意する必要があります。明確な MI 信号を生成する個人の能力と、MI および VR 介入に対する神経反応には大きな幅があります。このばらつきは、リハビリテーション プロセスの有効性が患者間で大きく異なる可能性があることを意味し、個人差に合わせた治療の個別化が大きな課題となっています。さらに、アバターのリアルタイム制御において高い精度と応答性を実現することは、複雑な取り組みです。MI信号の解釈の遅延やエラーは、没入型体験を中断し、リハビリテーションプロセスの有効性を低下させる可能性があります。VRテクノロジーは没入感とエンゲージメントを高めることができますが、一部のユーザーにとっては不快感や乗り物酔いにつながる可能性もあり、長時間のセッションに参加する能力に影響を与え、その結果、治療の全体的な成功に影響を与える可能性があります。
結論として、MI信号を使用してパーソナライズされた3Dアバターをリアルタイムに制御するなど、BCIとVRの統合は、神経学的リハビリテーションへの最先端のアプローチを表しています。現在のプロトコルは、そのような統合の技術的な実現可能性を強調するだけでなく、テクノロジーと神経科学が収束して人間の脳の回復と適応能力の可能性を最大限に引き出すリハビリテーションの新時代の舞台を設定します。
著者には開示すべき利益相反はありません。
著者は、参加者の皆様にお時間を割いてご協力いただき、ありがとうございました。
Name | Company | Catalog Number | Comments |
Alienware Laptop | Dell | High-end gaming laptop with GTX1070 Graphics Card | |
Oculus Rift-S VR headset | Meta | VR headset | |
OpenBCI Cyton Daisy | OpenBCI | EEG system | |
OpenBCI Gel-free cap | OpenBCI | Gel-free cap for placing the EEG electrodes over the participant's scalp |
このJoVE論文のテキスト又は図を再利用するための許可を申請します
許可を申請This article has been published
Video Coming Soon
Copyright © 2023 MyJoVE Corporation. All rights reserved