本研究では,U-Netなどの深層学習アルゴリズムを用いて舌画像をセグメント化し,セグメンテーション結果を比較して舌診断の客観化を検討した。

舌診断は中医学(TCM)診断に不可欠な技術であり、画像処理技術による舌画像の客観化の必要性が高まっています。本研究では、過去10年間の舌客観化の進歩を概観し、セグメンテーションモデルを比較します。実際の舌画像セットを用いてアルゴリズムを検証・比較するために、様々な深層学習モデルを構築します。各モデルの長所と短所が分析されます。この知見は、U-Netアルゴリズムが、精度精度(PA)、再現率、および平均交差オーバーユニオン(MIoU)メトリックに関して他のモデルよりも優れていることを示している。しかし、舌画像の取得と処理は大きく進歩しているにもかかわらず、舌診断を客観化するための統一された基準は確立されていません。モバイルデバイスを使用してキャプチャされた舌画像を舌診断の客観化に広く適用することを促進するために、さらなる研究により、複雑な環境でキャプチャされた舌画像によってもたらされる課題に対処できます。

舌観察は、伝統的な中国民族医学(TCM)で広く利用されている技術です。舌の色と形は、体調やさまざまな病気の性質、重症度、予後を反映することができます。たとえば、伝統的なモン族の医学では、舌の色は体温を識別するために使用されます(たとえば、赤または紫の舌は熱に関連する病理学的要因を示します)。チベット医学では、粘液の色、形、水分に注意を払いながら、患者の舌を観察することによって状態を判断します。たとえば、Heyi病患者の舌は赤くて荒れたり、黒くて乾いた^{りします1}。Xieri病² の患者は黄色で乾燥した舌を持っています。一方、バダカン病³ の患者は、白く、湿気があり、柔らかい舌^{を持っています4。}これらの観察は、舌の特徴と生理学および病理学との間の密接な関係を明らかにします。全体として、舌の状態は、診断、疾患の特定、および治療効果の評価において重要な役割を果たします。

同時に、異なる民族グループ間の多様な生活条件と食習慣のために、舌のイメージのばらつきは明らかです。色を決定するための国際標準に基づいて確立されたラボモデルは、1931年に国際エクレアージュ委員会(CIE)によって策定されました。1976年に、カラーパターンが変更され、名前が付けられました。Lab カラー モデルは、L は明るさに対応し、a と b は 2 つのカラー チャネルの 3 つの要素で構成されます。aには、濃い緑(低輝度値)から灰色(中程度の明るさの値)、明るいピンク(高輝度値)までの色が含まれます。Bは、明るい青(低輝度値)から灰色(中程度の明るさ値)、黄色(高輝度値)になります。Yangらは、5つの民族グループの舌色のL x a x b値を比較することにより、モン族、回族、チワン族、漢族、モンゴル族の舌像の特徴が互いに有意に^{異なることを発見} しました。たとえば、モンゴル人は黄色の舌のコーティングが施された暗い舌を持っていますが、モン族は白い舌のコーティングが施された明るい舌を持っており、舌の特徴が集団の健康状態を評価するための診断指標として使用できることを示唆しています。また、舌画像は、民族医学の臨床研究におけるエビデンスに基づく医療の評価指標として機能することができます。He et ^al.6 は、TCM診断の基礎として舌画像を使用し、Chou-Ling-Danペレット(CLD顆粒-TCMの季節性インフルエンザを含む炎症性疾患および熱性疾患の治療に使用される)と中医学および西洋医学を組み合わせた安全性と有効性を体系的に評価しました。その結果、臨床研究の評価指標としての舌画像の科学的妥当性が確立されました。それにもかかわらず、従来の開業医は一般に主観性に依存して舌の特徴を観察し、患者の生理学的および病理学的状態を評価し、より正確な指標を必要とします。

インターネットと人工知能技術の出現は、舌診断のデジタル化と客観化への道を開きました。このプロセスは、舌画像の内容を反映して、舌画像⁷の定性的および客観的な記述を提供するために数学的モデルを使用することを含む。このプロセスには、画像取得、光学補正、色補正、幾何学的変換など、いくつかのステップが含まれます。次に、前処理された画像は、画像の位置決めとセグメンテーション、特徴抽出、パターン認識などのアルゴリズムモデルに供給されます。このプロセスの出力は、舌画像データの高効率かつ正確な診断であり、それによって^舌診断の客観化、定量化、および情報化の目標を達成します8。これにより、舌診断データの高効率・高精度処理の目的が達成される。本研究では、舌診断の知識と深層学習技術に基づき、コンピュータアルゴリズムを用いて舌の画像から舌の体と舌のコーティングを自動的に分離し、医師の舌の定量的特徴を抽出し、診断の信頼性と一貫性を向上させ、その後の舌診断客観^化研究の方法を提供する9。

この研究は、中国国家自然科学財団プロジェクト「関連分析に基づくTCM顔画像の動的変化ルールの構築」によって承認されています。倫理承認番号は2021KL-027であり、倫理委員会は、臨床研究プロトコル(2021.04.12、V2.0)、インフォームドコンセント(2021.04.12、V2.0)、被験者募集資料(2021.04.12、V2.0)、研究症例および/または症例報告、被験者日記カードおよびその他の質問票(2021.04.12、V2.0)、臨床試験の参加者のリストを含む承認された文書に従って実施される臨床試験を承認しました。 研究プロジェクトの承認等研究に参加した患者からインフォームドコンセントが得られました。この研究の主な実験的アプローチは、実際の舌画像を使用して、モデルのセグメンテーション効果を検証および比較することです。 図1 は、舌診断客観化の構成要素を示しています。

1. 画像取得

1. 自社開発のハンドヘルド舌側顔診断装置を使用して、患者の舌側顔画像を収集します。
2. 患者の氏名、性別、年齢、疾患をパソコンのページに記入してください。ここに掲載されている画像は、クリニックに来て、研究の目的と内容を知らされた上で撮影に同意した患者のものです。患者が直立していることを確認し、画像取得機器に顔全体を置き、患者に舌を口から最大限に伸ばすように指示します。
3. コンピューターに接続された画像取得デバイスを保持し、コンピューター画面の画像を通じて、患者が正しい位置にあり、舌と顔が完全に露出していることを確認します。
4. コンピューター画面の 撮影 ボタンを3回押して、3枚の写真を撮ります。
   注:画像取得機器は現在特許出願段階にあり、商用利用ではないため、販売されていません。
5. 収集した舌と顔の画像を手動で選択してフィルタリングします。舌や顔の露出が不完全な画像や、光が不十分なために暗すぎる画像をフィルタリングして除外します。 図2 は、ソフトウェアの画像取得ページを示しています。
6. 実験計画では、代替案として各患者から一度に3つの画像を収集し、その後のアルゴリズムトレーニングとテストのサンプルとして、比較的標準的で、完全に露出し、十分に照らされた、鮮明な画像を選択します。
7. 撮影後にデータを収集し、手動スクリーニングのためにデータをエクスポートし、肉眼で見える非標準画像を削除します。次のフィルタリングおよび除外条件を使用します:不完全な舌と顔の露出、および不十分な光の結果として暗すぎる画像。照明不足、不完全、および標準画像の例を 図3に示します。
   注意: 不十分な光は、通常、患者が顔を完全に器具に入れなかったことによって引き起こされます。完全な露出は通常、患者を正しく撮影することによってのみ得られます。

2.舌のセグメンテーション

1. 以下に説明するように、オンライン注釈ツールを使用して舌画像のセグメンテーションを実行します。
   1. Labelmeをインストールし、ラベルインターフェイスの左上隅にある[ 開く ]ボタンをクリックし、画像が配置されているフォルダーを選択して、写真を開きます。
   2. [ポリゴンの作成]をクリックしてポイントの追跡を開始し、舌と舌の形状を追跡し、選択した領域(舌と舌の表面など)に従って名前を付けて保存します。
   3. すべてのマークが完成したら、[ 保存 ] をクリックして画像をデータ フォルダーに保存します。詳細なフローチャートについては、 図 4 を参照してください。
      注:画像にはピクセルの違いがあるため、アルゴリズムのトレーニングやテストに直接使用することはできません。
2. 画像の長辺をターゲットの塗りつぶし長として画像をエッジ塗りつぶしし、画像の長辺を辺の長さとして、白いエッジ塗りつぶしを実行して画像を正方形に塗りつぶすことで、画像を同じサイズに統一します。デバイスによってキャプチャされた画像サイズは1080 x 1920ピクセルで、塗りつぶされた画像のサイズは1920 x 1920ピクセルです。 図5を参照してください。
3. 必要に応じて画像補正を適用します。この研究では、使用された画像は固定されたシーンで撮影され、環境、照明、その他の要因の影響を受けにくいため、強調は適用されませんでした。
4. 被写体のまばたきやレンズの遮断などの制御不能な要因を考慮して、撮影プロセス中に患者ごとに3つの画像が収集されたため、各患者からの画像を手動でスクリーニングして、患者ごとに1つの画像を保持します。
5. モデルをトレーニングする目的で、200 人または 600 枚の画像からデータを収集します。上映後、使用可能な画像は約200枚保持します。
6. 画像番号に従って、すべての舌画像をランダムに分割し、そのうちの70%をトレーニングセットに、30%をスプレッドシートのテストセットに配置します。

3.舌の分類

1. 公式ウェブサイトにアクセスし、アナコンダ、パイソン、ラベルメをダウンロードしてインストールします。環境をアクティブ化し、環境全体のインストールと調整を完了します。ソフトウェアのインストールとセットアップを説明するフローチャートについては、 図 6 を参照してください。
2. インストール済みの環境でディープ ラーニング アルゴリズム モデルを構築し、パラメーターを調整して、トレーニング セットを使用してモデル トレーニングを完了します。次の手順で説明するように、モデルの選択とチューニングを実行します。
   1. モデルの選択:研究の目的に基づいて適切なモデルを選択します。過去5年間の舌画像処理に関する研究をレビューした後、本研究では、U-Net、Seg-Net、DeeplabV3、およびPSPNetの4つのアルゴリズムが検証対象として選択されました(モデルコードについては、補足コーディングファイル1、補足コーディングファイル2、補足コーディングファイル3、および補足コーディングファイル4を参照)。
   2. データセットの構築:モデルの選択が完了したら、上記のように、主にLabelmeアノテーションと均一な画像サイズの方法を使用して、研究内容と併せて必要なデータセットを構築します。
3. 以下で説明するようにモデルトレーニングを実行します。 図 7 に、アルゴリズムのトレーニング操作の詳細を示します。
   1. 前方伝搬のためにニューラルネットワークにデータを入力し、各ニューロンは最初に値の重み付けされた累積を入力し、次にそのニューロンの出力値として活性化関数を入力して結果を取得します。
   2. その結果を誤差関数に入力し、期待値と比較することで誤差を求め、誤認識の度合いを判断します。損失関数が小さいほど、モデルは良くなります。
   3. バックプロパゲーションにより誤差を減らし、勾配ベクトルを決定します。勾配ベクトルによる重みを結果への傾向に合わせて調整し、誤差がゼロまたは縮小する傾向があるようにします。
   4. セットが完了するまで、またはエラー値が低下しなくなるまで、このトレーニング プロセスを繰り返し、その時点でモデルのトレーニングが完了します。トレーニングとテストにおけるアルゴリズムモデルのフローチャートについては、 図8 を参照してください。
4. セグメンテーションに同じテストデータを使用して4つのモデルをテストし、セグメンテーション効果に従ってモデルのパフォーマンスを判断します。精度、再現率、平均ピクセル精度 (MPA)、MIoU の 4 つのメトリックは、より包括的なモデル パフォーマンス評価を提供します。
5. 4 つのモデルの結果が生成されたら、それらの値を水平方向に比較します。値が大きいほど、セグメンテーションの精度が高くなり、モデルのパフォーマンスが向上します。図 9、図 10、および 図 11 を参照してください。

比較結果については、図 12、図 13、および表 1 を参照し、この調査で構築された環境では、同じサンプルを使用してアルゴリズム モデルをトレーニングおよびテストします。 MIoUインジケーター: Uネット>セグネット>PSPNet > DeeplabV3;MPAインジケーター: Uネット>セグネット>PSPNet > DeeplabV3;精密インジケータ:Uネット>セグネット>ディープラボV3>PSPNet;リコール:U-Net > Seg-Net > PSPNet > DeeplabV3。インデックス値が大きいほど、セグメンテーションの精度が高くなり、モデルのパフォーマンスが向上します。インデックスの結果によると、U-NetアルゴリズムはMIoU、MPA、精度、および再現率において他のアルゴリズムよりも優れており、そのセグメンテーション精度も他のアルゴリズムよりも高いと分析できます。したがって、U-Netアルゴリズムは、4つの異なるアルゴリズムの中で最高のパフォーマンスを発揮します。PSPNetはMIoU、MPA、リコールにおいてDeeplabV3よりも優れていますが、DeeplabV3モデルはすべてのインデックスでSeg-Netモデルよりも低くなっています。したがって、DeeplabV3アルゴリズムは、この研究環境における4つのアルゴリズムの中で最も望ましくない包括的なパフォーマンスを持っていると結論付けることができます。

評価指標
本研究では、アルゴリズムモデルの性能を主に精度、再現率、MPA、MIoUによって検証した。モデルのパフォーマンス メトリックは、モデル分類結果で構成される混同行列に直接関連しており、モデルが正しく分類されたサンプル数と正しく分類されなかったサンプル数を反映します。マトリックスはテスト セットの結果に相当する推定値を表し、実際の値はグラウンド トゥルースを表します。両方のカテゴリは真と偽に分割され、それぞれTとFで表され、TP、FP、FN、TNの4つの組み合わせになります.MPAは各カテゴリで正しく分類されたピクセルの比率の平均値であり、MIoUは平均交差対マージ比です。これは、セマンティックセグメンテーションの最も一般的なメトリックです。交点の比率を計算し、真の値と予測値¹⁰ をマージします。これらの式は次のとおりです。

精度 = 、再現率 = 、MPA = (CPA = 、N はカテゴリの総数)、および MIoU = (IoU = )。

これらの4つの指標は、舌画像のセグメンテーション効果のより包括的な評価を提供します。

本研究では、U-Net、Seg-Net、DeeplabV3、PSPNetの4つの深層学習アルゴリズムモデルを選択し、実際の舌側画像データを用いてアルゴリズムモデルを学習・検証した。U-Net¹¹ は、左側にエンコーダ、右側にデコーダからなるU字型のアーキテクチャを採用しており、少ないデータでより正確な分類結果を学習し、画像特徴を網羅的に抽出できるという利点があります。DeepLabV3は、マルチスケールターゲットセグメンテーション問題を解決するためのRes-Netネットワークに基づいて、中空畳み込み構造を採用し、マルチスケールコンテキストをキャプチャするようにモジュールを設計し、条件付きランダムフィールド(CRF)を削除し、凶悪な空間ピラミッドプーリング(ASPP)モジュールをアップグレードして、モデルのパフォーマンスを大幅に向上させます。セマンティックセグメンテーションは、セグメント化されたオブジェクトの各ピクセルのカテゴリラベルを取得することを目的としています。Seg-Netは、エンコーダーやデコーダーなど、セマンティックセグメンテーションのための対称構造を持つ畳み込みニューラルネットワーク(CNN)アーキテクチャです。これの利点は、低解像度の特徴図に対するデコーダーのアップサンプリング方法により、アップサンプリング学習時間がなくなることです。PSPNetモデルは主にシーン解析に適用され、セマンティックセグメンテーションにコンテキスト情報を追加することで、部分的なエラーを回避し、グローバルシーン分類情報を使用するための適切な戦略が不足しているという問題を解決し、最終的な予測結果の信頼性を向上させることができます。

図1:舌診断の客観化の構成要素。 画像撮影要素、舌セグメンテーション、舌分類などの舌診断コンポーネント。 この図の拡大版を表示するには、ここをクリックしてください。

図2:画像取得ページ。 舌画像取得インターフェースとアンケート内容。 この図の拡大版を表示するには、ここをクリックしてください。

図3:画像のフィルタリングと拒否基準。 緑のチェックマークは包含基準を表し、赤い十字は除外基準を表します。 この図の拡大版を表示するには、ここをクリックしてください。

図4:ラベルメマーキングプロセスの概略図。 Labelmeソフトウェアは、フォルダを開いてからファイルを保存するまで、画像のプロセス全体に注釈を付けるために使用されます。この図の拡大版を表示するには、ここをクリックしてください。

図5:画像の前処理図。撮影画像のサイズは1080×1920ピクセル、塗りつぶし画像のサイズは1920×1920ピクセルです。この図の拡大版を表示するには、ここをクリックしてください。

図6:環境設定のフローチャート アルゴリズムは、環境が構成された後にのみ実行できます。 この図の拡大版を表示するには、ここをクリックしてください。

図7:アルゴリズムトレーニング実行の詳細図。 アルゴリズム操作の詳細な手順と実行方法。この図の拡大版を表示するには、ここをクリックしてください。

図8:学習とテストにおけるアルゴリズムモデルのフローチャート。 データ処理、アルゴリズムトレーニング、アルゴリズムテストなど、アルゴリズムの重要なステップ。 この図の拡大版を表示するには、ここをクリックしてください。

図9:セグネットアルゴリズムの構造。 Seg-Netアルゴリズムの論理構造とコード実行プロセス。 この図の拡大版を表示するには、ここをクリックしてください。

図10:U-Netアルゴリズムの構造。 U-Netアルゴリズムの論理構造とコード実行プロセス。 この図の拡大版を表示するには、ここをクリックしてください。

図11:舌画像セグメンテーション研究の流れ。 画像の赤い領域は舌のセグメンテーションの結果であり、緑の領域は舌のコーティングのセグメンテーションの結果です。 この図の拡大版を表示するには、ここをクリックしてください。

図 12: 4 つのアルゴリズム メトリックの比較グラフ。 MIoU、MPA、精度、および再現率はすべて、アルゴリズムのパフォーマンスの評価指標です。値が大きいほど、アルゴリズムのパフォーマンスが向上し、セグメンテーションの精度が高くなります。 この図の拡大版を表示するには、ここをクリックしてください。

図13:舌セグメンテーションの4つのアルゴリズムの結果の比較。 画像の赤い領域は舌のセグメンテーションの結果であり、緑の領域は舌のコーティングのセグメンテーションの結果です。 この図の拡大版を表示するには、ここをクリックしてください。

図14:U-Netアルゴリズムの構造図。青/白のボックスは機能マップを示し、機能マップの上の数字はチャネル数を表します。この図の拡大版を表示するには、ここをクリックしてください。

表 1: 4 つのアルゴリズム セグメンテーション結果メトリックの比較。 メトリックは、MIoU、MPA、精度、および再現率でした。

補足コーディングファイル1:U-Net_training。 U-Net モデルのトレーニング コード。 このファイルをダウンロードするには、ここをクリックしてください。

補足コーディングファイル2:Seg-Net_training。 Seg-Net モデルのトレーニング コード。 このファイルをダウンロードするには、ここをクリックしてください。

補足コーディングファイル3:DeeplabV3_training。 DeeplabV3 モデルのトレーニング コード。 このファイルをダウンロードするには、ここをクリックしてください。

補足コーディングファイル4:PSPNet_training。 PSPNet モデルのトレーニング コード。 このファイルをダウンロードするには、ここをクリックしてください。

上記の比較結果に基づいて、検討中の4つのアルゴリズムの特性が異なることは明らかであり、それらの明確な長所と短所を以下に説明します。U-Net構造は、完全な畳み込みネットワークの変更と拡張に基づいており、収縮経路と対称的な拡張経路を介してコンテキスト情報と正確な位置決めを取得できます。このアルゴリズムは、各ピクセルポイントを分類することにより、より高いセグメンテーション精度を実現し、トレーニング済みモデルで画像をより迅速にセグメント化します。一方、エンコーダとデコーダの対称構造からなるSeg-Netアルゴリズムは、新しい問題に迅速に適応し、音声、セマンティクス、ビジョン、ゲームなどのタスクで優れたパフォーマンスを発揮するという利点があります。ただし、このアルゴリズムは大量のデータを必要とするため、ハードウェア構成の面で要求が厳しいため、一部のタスクにのみ適用できます。より一般的なフレームワークとして、DeeplabV3アルゴリズムには、ほとんどのネットワークのASSPモジュールを改善し、それらをカスケードまたは並列にレイアウトして全体的なパフォーマンスを向上させるという利点があります。ただし、最終的な特徴マップは、レート8と16のアップサンプリングで取得する必要があり、これは比較的粗く、後で改善される可能性があります。さらに、PSPNetモデルは、PSPモジュールを介して異なる地域からのコンテキスト情報を集約するという最も重要な特徴を有し、それによってグローバル情報へのアクセスを改善し、複数のデータセットで良好な結果を提供する。結果は、U-Netモデルがこの研究環境において最も高いセグメンテーション精度と最高のセグメンテーション効果を有することを示している。

U-Netアーキテクチャは、医用画像のセグメンテーションにおける優位性を示しています¹²。当初は2D細胞画像セグメンテーション用に設計されましたが、U-Netアルゴリズムは、2Dモジュールを3Dモジュールに置き換えることでさらに開発されました。この変更により、磁気共鳴画像法(MRI)、コンピューター断層撮影(CT)、3次元(3D)超音波画像などの3D画像を処理する機能が強化されました。医用画像を臓器、組織、病変にセグメント化することで、貴重な臨床データを得ることができます。改良されたU-Netアルゴリズムは、その後の検査と治療のための効果的なツールです。医療診断では、画像の分類は多くの診断プロセスの重要な部分です。伝統医学は、舌、皮膚、表情など、目に見えるすべての兆候を観察することに依存しています。医用画像セグメンテーション技術の出現と進歩は、医療診断において非常に重要です。TCMでは、顔や舌の画像を解析するために、特徴抽出分類に様々な深層学習アルゴリズムを用いる必要があります。一方、画像セグメンテーションアルゴリズムは西洋医学で広く使用されており、臨床診断と病理学の基礎を提供しています¹³。

この研究の研究プロセスは、データの前処理、アルゴリズムのトレーニングとテスト、アルゴリズムのパフォーマンスの比較など、重要なステップで構成されています。最初に、生データは処理、ラベル付け、トレーニングセットとテストセットへの分割を経て、その後のアルゴリズム構築が容易になります。次に、処理されたデータはニューラルネットワークに供給され、損失関数が設定され、逆伝播によって勾配ベクトルが決定されます。その後、トレーニングプロセスが完了するまでパラメータが調整されます。アルゴリズムのパフォーマンスは、MIoU、MPA、精度、再現率などの複数のインデックスを使用して画像セグメンテーション効果をテストし、そのパフォーマンスを包括的に評価することによって評価されます。実際のアルゴリズムのトレーニングプロセス中に、モデルがノイズデータの特性を含むデータを徹底的に学習しすぎるというオーバーフィッティングが発生する可能性があります。これにより、後のテストでデータを識別したり、データの分類が正しくなかったり、汎化能力が低下したりします。オーバーフィットが発生した場合は、トレーニングデータを増やすか、データを再クリーニングすることができます。本研究では,勾配降下反復法を採用した.オーバーフィッティングは、事前に反復をカットすることでも防ぐことができます。

この研究の限界は明らかです。画像は固定機器を使用して収集されたものであり、実験機器は現在商業目的で使用することはできません。したがって、この研究の舌の画像は単一のシーンからのものであり、臨床的背景と複雑で変化する光条件を完全に反映しているわけではありません。したがって、複雑な環境下や劣悪な照明条件下での画像処理技術を研究するには、さらなる研究が必要です。舌診断の客観化研究は豊富な内容であるため、正確な舌体セグメンテーションが不可欠です。したがって、アルゴリズムを最適なセグメンテーション効果と比較および検証することは、その後の研究にとって重要です。舌のセグメンテーションと分類を組み合わせることで、理論的には自動舌画像判断を実現し、診断を支援することができます。学者たちはこの主題を探求し研究してきました。ヘルスケアでは、モノのインターネットと無線通信技術を使用して生物医学画像を処理し、診断支援を行うことで、システムの効率を高めることができます。Mansourら¹⁴ は、協調的深層学習とモノのインターネットに基づく自動舌色画像(ASDL-TCI)を設計しました。これには、データ取得、前処理、特徴抽出、分類、およびパラメータ最適化が含まれます。このモデルの精度、再現率、精度はそれぞれ0.984、0.973、0.983であり、他の方法よりも優れています。

画像取得と前処理
画像取得プロセス中、光源の強度と多様性は画質に直接影響し、画像のセグメンテーションと分類の結果に影響を与えます。したがって、自然光源の効果をできるだけ模倣するように光源を設定することが不可欠です。また、標準的な光源を利用したり、複数の光源を使用して固定されたシーンで撮影するなどの方法で、光や背景などの悪影響を防ぐことができ、アルゴリズムによるセグメンテーションの精度を高めることができます。舌画像の収集に使用される機器の照明パラメータは、舌画像の演色効果に影響を与える標準の照明と同じではありません。したがって、使用される最も一般的な前処理方法は色補正です。Cai et ^al.15 は、舌画像の色データと対応する舌の色彩度との間の不一致に対処するために、舌画像の色空間変換と色補正を正規化することが必要であることを見出した。ディスプレイデバイスのカラーパフォーマンスも実際の舌の本体から逸脱しているため、テストと調整が必要です。さらに、画像サイズは、画像収集プロセス¹⁶の間に使用される異なる取得機器によって変化する。トレーニング効率を高め、ストレージスペースを節約するために、ディープラーニングネットワークには入力画像サイズに制限があります。したがって、画像サイズは、画像の前処理段階で標準化する必要があります。通常、これは、モデルのトレーニング用に入力画像サイズを均一に再形成することによって実現され、一般的に使用される再形成方法は、補間、クリッピング、包含、タイリング、およびミラーリングです。

舌画像セグメンテーション
舌画像セグメンテーションは、従来のセグメンテーション手法とディープラーニングのセグメンテーション手法の2種類に分類できます¹⁷。従来の舌画像セグメンテーション手法は、SnakeアルゴリズムやOtsuアルゴリズムなどのアルゴリズムで構成されています。アクティブな等高線モデルとして、スネークアルゴリズム¹⁸ は、最初にプロファイル曲線を設定し、次に初期プロファイルを調整して真のプロファイル曲線に進化させる。初期等高線の取得と等高線の進化は、スネークアルゴリズムの研究の主な焦点です。一方、大津アルゴリズムは、1つ以上のしきい値を使用して元の画像のグレー値を計算し、各ピクセルのグレースケール値をしきい値と比較する古典的なしきい値セグメンテーションアルゴリズムです。比較結果に基づいて、深層学習法が登場する前の舌と背景が描かれています。これらの2つのアルゴリズムは、舌画像処理と舌診断の客観化で一般的に使用されます。

深層学習理論の出現以来、多くの学者が舌診断客観化と深層学習の統合を研究してきました。Zhengら¹⁹ は、さまざまなアルゴリズムを統合し、オープン環境での舌検出方法を探索することにより、画像セグメンテーションに基づく舌検出方法を考案し、最終的に良好な舌セグメンテーション結果を達成しました。Yuanら²⁰ は、領域連想の単一ピクセル損失関数に基づく舌分割法を提案し、改善された損失関数が領域ピクセル間の相関を説明しました。ピクセルラベルセマンティクス教師あり学習を採用することで、モデルのトレーニング効率が向上し、MIoUインデックスが96.32%に達することに例示されました。舌像は、歯痕、ひび割れ、穿刺などの特定の形態学的特徴を示し、疾患の発症と密接に関連していました。したがって、舌の観察は病気の進行を診断するのに役立ちます。Wang et al²¹ は、精度と安定性を向上させる小さなサンプルデータセットに対して、深層学習舌骨折セグメンテーションアプローチを提案しました。この方法では、最初に舌体を分割し、次に舌の亀裂を分割し、機能の喪失としてフォーカスロスを組み込むことでU-Netアルゴリズムを改善しました。

舌画像分類
舌画像の分類には、主に舌の色、棘、亀裂、コーティングの色などの特性を識別することが含まれます。Wangら²² は、舌体をセグメント化するためにスネークアルゴリズムを採用し、相互情報画像登録、対数エッジ検出、平行線、およびその他の方法などの技術を利用して穿刺を識別しました。このアプローチは、早期発見と予防を促進しながら、自動穿刺識別とカウントの問題を効果的に解決しました。大量のデータ、長いトレーニング時間、高い機器要件など、舌画像アルゴリズムのトレーニングに関連する制限に対処するために、Yangら²³は転移学習に基づく完全接続されたニューラルネットワークを提案しました。この方法は、十分に訓練されたInception_v3を利用して特徴を抽出し、それらを全結合ニューラルネットワーク(FCN)と組み合わせることで、90%を超える正解率を達成します。このアプローチにより、小さなサンプルと複数の分類におけるディープラーニングの問題が解決されました。Songら²⁴ は、カスケード分類器を使用してGoogLe-NetとRes-Net上の画像を特定し、転移学習、トレーニング、ディープラーニングを適用して、歯の跡、亀裂、舌のコーティングの厚さという3つの舌画像の特徴を自動的に分類しました。分類結果の平均精度は94%を超えました。しかしながら、舌画像分類アルゴリズムは、顔の他の無関係な部分からの干渉を非常に受けやすく、分類精度に直接影響を与える²⁵。

Zhaiら²⁶ は、注意メカニズムを使用して舌画像を分類するための多段階アルゴリズムを開発しました。この方法は、舌局在段階で融合されるさまざまな知覚視野から特徴を抽出することにより、舌領域を識別する精度を高めます。さらに、アテンションメカニズムモジュールは、舌の画像分類精度を向上させ、舌の不純物による干渉を抑制します。異なる疾患の舌の特徴を分類する問題²⁷に直面して、深層学習アルゴリズムはまた、新しいアプローチを提供し得る。さらに、Shiら²⁸ は、C5.0決定木アルゴリズムに基づく非小細胞肺癌の典型的な分類方法を調査した。彼らは、Qi欠乏証明書と陰欠乏証明書の分類に関連する7つの属性分類ルールを特定しました。モデルの精度は80.37%であることがわかりました。さらに、Liら²⁹ は、確率的森林アルゴリズムを用いた糖尿病の診断モデルを開発した。彼らはさらに、舌の画像からテクスチャと色の特徴を分析して、モデルのパフォーマンスを向上させました。

結論
西洋医学の現代の診断アプローチとは対照的に、TCMの診断方法は低侵襲であり、最小限の害しか伴いません。さらに、観察、リスニングまたは嗅覚、照会、触診の4つの診断方法は、TCMのさまざまな側面に基盤があります。それにもかかわらず、TCMの診断と治療は開業医の専門知識と個人的な治療の概念に大きく依存しているため、客観性と標準化が不足している可能性があります。その結果、TCMの診断を客観化する傾向が、TCMの進歩を促進する可能性のあるさらなる研究の方向性として浮上しています。

舌診断の客観化は、画像や大量のデータを高効率で処理できる可能性を秘めており、医師にとって大きな助けとなる可能性があります。ただし、舌の診断は従来の方法であるだけでなく、検証されていることに注意する必要があります。Chenら³⁰ は、382人のCOVID-19患者の舌画像に関する臨床データを収集する研究を実施しました。彼らは、すべてのイメージンググループの舌画像の特徴とラボのカラーパターンパラメーターを統計的に分析しました。この研究の結果は、舌の画像の特徴と使用される西洋医学の種類との間に相関関係があることを明らかにしました。さらに、舌の画像の変化は、病気の全体的な病因と一致しています。舌画像のいくつかのパラメータは、TCM³¹におけるCOVID-19の病原性変化を予測するのに役立つ可能性があります。

従来の医学的な舌診断を客観化する一方で、多くの研究者がセグメンテーションと分類の方法を利用しています。深層学習と畳み込みニューラルネットワークは、舌の画像特性を分類するために不可欠です。舌画像セグメンテーションアルゴリズムの精度は、舌を顔から正確に分離できるかどうかを判断し、それによってその後の特徴分類の精度に影響を与えるため、非常に重要です。したがって、現在のアルゴリズムモデルの精度を高めることは、この分野における重要な研究の焦点です。現時点では、アルゴリズムモデルとその精度の向上が研究のホットスポットです。

この研究では、同じテストセットデータを使用して、U-Net、Seg-Net、DeeplabV3、およびPSPNet4アルゴリズムのパフォーマンスを比較しました。この措置は、使用されるデータの品質の一貫性を確保するために取られました。本研究で採用した実験環境下では、U-Netアルゴリズムはセグメンテーション精度に関して他の3つのアルゴリズムを大幅に上回りました。MIoUは、セマンティックセグメンテーションアルゴリズム³²のアノテーション尺度であり、アルゴリズムの性能を評価するために使用される最も重要な指標である。U-NetアルゴリズムのMIoU値はSeg-Netアルゴリズムより3.91%高く、DeeplabV3より23.32%高く、PSPNetより16.2%高かった。これは、U-Netアルゴリズムが他のアルゴリズムよりも優れたパフォーマンスを発揮する証拠を提供します。

しかし、深層学習アルゴリズムを用いた舌画像のセグメンテーションや分類にはいくつかの問題がある。たとえば、患者のプライバシーのために、医用画像データセットは他のセマンティックセグメント化されたデータセットと比較してサイズが小さすぎるため、ビッグデータにおけるディープラーニングの利点が制限されます。大きなパラメータモデルのセグメンテーションでは、フィットの問題が発生しやすくなります。したがって、適切な改善モードを選択してネットワーク構造を調整する必要があります。現在、舌診断の客観化研究はまだ統一された収集基準を形成していません。取得環境と光源タイプは、適切な標準化を欠いています。研究者は通常、収集環境を設定し、独自の非公開データベースを構築します。同時に、現在のアルゴリズムモデルは良好な精度を達成することができますが、使用されるデータは慎重にスクリーニングされ、前処理されており、実際の診断および治療環境では達成が困難であり、臨床応用が制限されています。さらに、舌診断のさらなる客観化は、異なるデバイスによってキャプチャされた複雑な環境または舌画像を扱うことになる³³。別の傾向は、動的情報処理、特にビデオ画像処理であり、舌に関するより詳細な情報を提供し、舌診断の利点をより包括的に反映しています。したがって、動的な詳細を処理するための深層学習アルゴリズムを開発する必要があります。全体として、深層学習アルゴリズムと組み合わせた医療用舌診断の客観化は、TCM診断における主観性を低下させることが期待されています。

著者は宣言する利益相反はありません。

この研究は、中国国家自然基金会(助成金番号82004504)、中国科学技術省国家重点研究開発プログラム(助成金番号2018YFC1707606)、四川省漢方薬管理局(助成金番号2021MS199)、中国国家自然財団(助成金番号82174236)の支援を受けました。