JP7579750B2 - 医療画像処理システム - Google Patents

Description

本発明は、医療画像処理システムに関する。

内視鏡で被検体内に挿入して観察を行うとき、嚥下検査では主に咽頭部を撮影して画像を取得する。内視鏡による嚥下検査では鼻腔から挿入した内視鏡先端部が咽頭部を撮影し、咽頭期の嚥下の観察を行う。嚥下において、舌から咽頭に食物を送る口腔期、咽頭から食道に食物を送る咽頭期、食道を通過して胃に食物を送る食道期がある。内視鏡による咽頭期の観察により患者の嚥下能力を調べることができるが、咽頭部を撮影して得られる咽頭期の嚥下だけでなく、口腔期又は食道期の嚥下の情報を得られるとより詳しく嚥下の評価や判定を行える。また、咽頭期の嚥下を異なる方法で検査することで更に嚥下の詳細が把握できる。嚥下造影検査は、造影剤を添加した嚥下食を用い、その動態をX 線透視装置で観察する方法であり、嚥下に関連する部位の形態、機能、誤嚥、嚥下食の残留などを観察する。近年、超音波検査装置を用いた観察も行われる様になってきている。超音波装置は、X線の様な放射線被ばくのリスクがなく、体表から検査でき、患者への負担が少ない検査方法である。超音波検査では、食道、気道を観察することで食道期の嚥下の情報を得る検査、咽喉頭部を観察することで食物や飲料の嚥下、誤嚥や残留を観察する検査、舌や舌骨周辺、喉頭部の筋肉の形態を観察して嚥下運動の評価をする検査等がある。

しかし、複数の検査システムを用いるために、短期間に複数回の嚥下検査を行うことは患者に負担がかかる。また、検査する側もそれぞれの検査システムによる嚥下検査の結果を別々に確認するのは効率が悪く、検査結果の管理は煩雑になりがちである。加えて、振り返るのにも時間がかかる。

特許文献１では、内視鏡による嚥下検査とX線透視装置を用いて飲み込み機能の評価を行い、取得した内視鏡動画とX線造影画像を同一画面上に表示することが記載されている。特許文献２では、特定の診断又は処置を行う際に内視鏡、放射線撮影装置、超音波診断装置といった医療機器を使用して撮影を行い、それぞれの取得画像を同一のタブレットPCに無線送信をすることが記載されている。

実用新案登録第３２０９８８５号公報 特許第５８２３５３５号公報

特許文献１では、内視鏡動画とX線動画の同時表示は、リアルタイムでの表示のため再生タイミングのズレが起きうる。また、嚥下の具体的な観察部位や超音波検査を実施することに関する記載はない。特許文献２では、複数の医療機器を用いて手術室で診断や処置を行うが、嚥下検査を行う旨の記載はなく、撮影装置が持ち運び可能である記載もない。上記の点を踏まえ、複数のシステムで嚥下を撮影した動画の同時再生をタイムラグが無く正確に行うことで、嚥下の観察を正確に行い、効率よく嚥下の観察を行えることが望ましい。

本発明は、複数の検査システムによる嚥下検査において、患者の負担を減らし、医師が効率よく嚥下の観察を行える医療画像処理システムを提供することを目的とする。

本発明の医療画像処理システムは、プロセッサを備え、プロセッサは、患者の鼻腔から挿入された内視鏡により患者の咽喉部の嚥下検査を撮像して得られる内視鏡映像信号を受信し、患者の頸部に当てられた超音波検査端末により取得した食道、気道、咽喉頭部、舌又は舌骨周辺の超音波映像信号を受信し、内視鏡映像信号及び超音波映像信号をディスプレイに同時表示する。

プロセッサは、内視鏡映像信号及び超音波映像信号の取得時に、プロセッサの時刻を基準とした撮影時間を記録し、撮影時間を基準に、内視鏡映像信号及び超音波映像信号を同期させるための同期処理を行い、同期処理された内視鏡映像信号及び超音波映像信号をディスプレイに同期して再生することが好ましい。

内視鏡映像信号及び超音波映像信号は、自動再生又はユーザ操作による再生が行われることが好ましい。

プロセッサは、内視鏡映像信号及び超音波映像信号の取得時に、プロセッサの時刻を基準とした撮影時間を記録し、撮影時間を基準に、内視鏡映像信号及び超音波映像信号の同期処理を行い、内視鏡映像信号から嚥下タイミングを検出し、嚥下タイミングにタグ付けを行い、内視鏡インデックス動画を抽出し、嚥下タイミングの内視鏡映像信号と撮影時間が同じである超音波映像信号にタグ付けを行い、超音波インデックス動画を抽出し、内視鏡インデックス動画及び超音波インデックス動画をディスプレイに再生することが好ましい。

プロセッサは、内視鏡映像信号及び超音波映像信号の取得時に、プロセッサの時刻を基準とした撮影時間を記録し、撮影時間を基準に、内視鏡映像信号及び超音波映像信号の同期処理を行い、内視鏡映像信号から嚥下タイミングを検出し、超音波映像信号から非嚥下タイミングを検出し、嚥下タイミングの内視鏡映像信号のうち、非嚥下タイミング以外の超音波映像信号と撮影時間が同じである内視鏡映像信号に対してタグ付けを行って、内視鏡インデックス動画を抽出し、非嚥下タイミング以外の超音波映像信号のうち、嚥下タイミングの内視鏡映像信号と撮影時間が同じである超音波映像信号に対してタグ付けを行って、超音波インデックス動画を抽出し、内視鏡インデックス動画及び超音波インデックス動画をディスプレイに再生することが好ましい。

内視鏡インデックス動画及び超音波インデックス動画は、自動再生又はユーザ操作による再生が行われることが好ましい。

プロセッサは、内視鏡映像信号及び超音波映像信号から正常な嚥下、誤嚥、または不明な嚥下のいずれかを嚥下タイミングとして検出し、嚥下タイミングが検出されたフレーム画像に対して嚥下タイミング検出のタグ付けを行うことが好ましい。

内視鏡映像信号及び超音波映像信号は、フレーム画像が連続したフレーム画像群によって構成され、プロセッサは、内視鏡映像信号の嚥下タイミングの有無の判定には、フレーム画像間のブレ量の算出、フレーム画像に基づくキーポイントの算出、又は、フレーム画像間の画素値の差分のいずれかを用い、超音波映像信号の嚥下タイミングの有無の判定には、機械学習を用いることが好ましい。

プロセッサは、内視鏡インデックス動画又は超音波インデックス動画の少なくとも一方を解析して、嚥下検査の種類を特定することが好ましい。

プロセッサは、嚥下検査の種類を嚥下検査食の種類及び嚥下の結果で分類し、分類に基づいて、内視鏡インデックス動画及び超音波インデックス動画にインデックス番号の付与を行うことが好ましい。

プロセッサは、内視鏡映像信号及び超音波映像信号の取得において、フレームレートを６０ｆｐｓで撮影を行い、撮影は１００分の１秒単位で時間を数えることが好ましい。

プロセッサは、内視鏡映像信号及び超音波映像信号を同期せずにディスプレイにリアルタイムで同時表示することが好ましい。

プロセッサは、超音波検査端末による観察に代えて、放射線観測装置により患者の嚥下検査を観察した放射線透視映像信号を受信し、内視鏡映像信号及び放射線透視映像信号をディスプレイに表示してもよい。

プロセッサは、超音波検査端末による観察に加えて、放射線観測装置により患者の嚥下検査を観察した放射線透視映像信号を受信し、内視鏡映像信号、超音波映像信号、及び放射線透視映像信号をディスプレイに表示してもよい。

複数の嚥下検査システムによる嚥下検査を同時に行うことで患者の負担を減らし、取得した動画を同一画面で表示することで医師の負担を減らして、効率よく正確な嚥下の観察を行う。

内視鏡システム及び超音波システムを有する医療画像処理システムの概略図である。 食物の嚥下の段階を示す図である。 嚥下検査における内視鏡及び超音波検査端末による観察部位を示す図である。 プロセッサ装置の機能を示すブロック図である。 内視鏡動画と超音波動画を同期して同時に画面表示する図である。 内視鏡動画を単独で画面表示する図である。 食物を嚥下する場合及び嚥下しない場合の咽頭の画像図である。 食物を嚥下する場合及び嚥下しない場合の食道の画像図である。 内視鏡動画及び超音波動画から、インデックス動画を抽出する図である。 嚥下の分類結果及びインデックス番号への振り分けを示す図である。 内視鏡インデックス動画と超音波インデックス動画を同期して同時に画面再生する画像図である。 内視鏡インデックス動画を再生表示する画像図である 内視鏡動画と超音波動画を同期再生するフローチャートである。 第２実施形態における内視鏡システム及び放射線システムを有する医療画像処理システムの概略図である。 内視鏡動画及び放射線透視動画を同期再生する画像図である。 内視鏡動画及び放射線透視動画からインデックス動画を抽出する画像図である。 第３実施形態における内視鏡システム、超音波システム、及び放射線システムを有する医療画像処理システムの概略図である。 内視鏡動画、超音波動画、及び放射線透視動画を同期再生する画像図である。 内視鏡動画、超音波動画、及び放射線透視動画からインデックス動画を抽出する画像図である。

[第１実施形態]
図１に示すように、医療画像処理システム１０は、内視鏡システム１１と、超音波システム１２と、プロセッサ装置１３と、ディスプレイ１４と、ユーザインターフェース１５とを有する。プロセッサ装置１３は、内視鏡システム１１、超音波システム１２、ディスプレイ１４、及びユーザインターフェース１５と電気的に接続する。プロセッサ装置１３は、内視鏡システム１１を構成する内視鏡１１ａ、及び超音波システム１２を構成する超音波検査端末１２aから嚥下検査で取得した映像信号を取得する。ユーザインターフェース１５は、プロセッサ装置１３への設定入力等を行う入力デバイスであり、キーボードなどが含まれる。

また、内視鏡１１a及び超音波検査端末１２aは、電池で動作して患者の嚥下検査の映像を取得する。嚥下は動態であるため、嚥下検査では動画データとなる映像信号を取得する。映像信号は無線でプロセッサ装置１３に送信することが好ましい。なお、嚥下の撮影において特に指定がない場合は、照明光は白色光を使用し、1秒間に６０フレーム画像（６０ｆｐｓ（frame per second））の映像信号を取得し、プロセッサ装置１３を基準とする撮影時間を記録する。また、映像信号が６０ｆｐｓの場合は１００分の１秒単位で時刻を数えることが好ましい。プロセッサ装置１３、ディスプレイ１４、及びユーザインターフェース１５はタブレット端末として一体化し、内視鏡システム１１及び超音波システム１２と合わせて持ち運び可能な医療画像処理システムであることが好ましい。

図２に示すように、嚥下とは、口に入れた食物Ｆを咀嚼し、飲み込み、胃へと送る一連の動態である。その進行には、口に入れた食物Ｆが舌から咽頭へ送られる「口腔期」、食物Ｆが咽頭から食道へ送られる「咽頭期」、食物Ｆが食道から胃へ送られる「食道期」がある。本実施形態は内視鏡１１aで咽頭を検査して嚥下の「咽頭期」の、超音波検査端末１２aで食道を検査して嚥下の「食道期」の動画を主に取得する。食物Fは飲み込んでも人体に害が無く、かつ嚥下のしやすさが異なる複数の液体や個体を用いる。例えば、牛乳、着色した水溶液、及びプリンなどである。

嚥下検査では、患者が食物Fを口に含み、咽頭にて飲み込み、食道を通過して胃へ送る際の様子を撮影する。患者が食物Ｆを飲み込めなくても中止せずに撮影する。嚥下検査を実施する際には、嚥下は１回ではなく、複数回の嚥下を患者の無理のない範囲で撮影することが好ましい。

図３に示すように、内視鏡１１ａは患者の鼻腔Ｎｃから挿入し、位置Ｒ付近に先端である内視鏡先端部１１ｂが来るようにして照明光で照明した咽頭部周辺における食物Fの嚥下の撮影を行う嚥下内視鏡である。超音波検査端末１２ａは、患者の頸部に当て、のど部Ｔｈ付近に先端である超音波検査端末接触部１２ｂが接触するようにして気道から食道にかけての食物Fの嚥下の撮影を行う。なお、超音波検査では、超音波検査端末接触部１２ｂが接触する患者の体表の部位は専用のジェルをあらかじめ塗布して行うことが好ましい。内視鏡先端部１１ｂは地面に対しておよそ水平に撮影を行い、超音波検査端末接触部１２ｂは地面に対しておよそ垂直に撮影を行う。また超音波検査端末１２aは、当てる部位を変えることで食道期に加えて、咽頭期及び口腔期における嚥下の撮影も行うことができる。

図４に示すように、プロセッサ装置１３では、画像処理などの処理に関するプログラムがプログラム用メモリ（図示しない）に格納されている。プロセッサ装置１３においては、プロセッサによって構成される中央制御部２０によって、プログラム用メモリ内のプログラムが動作することによって入力受信部２１と、表示制御部２２と、保存メモリ２３と、内視鏡動画処理部２４と、超音波動画処理部２５と、動画編集部３０の機能が実現される。また、動画編集部３０の機能実現に伴って、一時保存メモリ３１と、動画同期部３２と、嚥下タイミング検出部３３と、インデックス動画抽出部３４と、嚥下分類部３５の機能が実現される。なお、嚥下タイミング検出部３３の機能は、内視鏡システム１１にあっても良い。

内視鏡システム１１で取得した内視鏡映像信号は、内視鏡動画処理部２４を介して動画編集部３０に送られ、超音波システム１２で取得した超音波映像信号は、超音波動画処理部２５を介して動画編集部３０に送られる。入力受信部２１は、ユーザインターフェース１５と接続する。表示制御部２２は、動画同期部３２で同期した動画をディスプレイ１４に表示させる制御を行う。保存メモリ２３は各映像信号を動画として一時保存する。

嚥下検査の撮影終了後は、動画を記録している場合、通常動画同期モード又はインデックス動画同期モードのどちらかに切り替えられる。通常動画同期モードは動画の保存及び同期を行い、インデックス動画同期モードは動画の保存、同期、インデックス動画の抽出、及び嚥下検査の種類の分類を行う。嚥下検査中は、撮影内容をリアルタイムに表示するリアルタイム表示モードに設定される。

嚥下検査における撮影が終了すると、リアルタイム表示モードから通常動画同期モード又はインデックス動画同期モードのどちらかに切り替わる。どちらのモードに切り替わるかは、リアルタイム表示モードの終了までにユーザインターフェース１５を介して設定しておくことが好ましい。なお、動画の取得は、嚥下検査終了後のタイミングであるが、嚥下検査中にリアルタイムで各映像信号を処理してもよい。

通常動画同期モードについて説明する。図５に示すように、取得した各映像信号は、一時保存メモリ３１で内視鏡動画４１及び超音波動画５１として一時保存され、動画同期部３２で撮影時間を基準に同期処理が行われる。同期後の内視鏡動画４１及び超音波動画５１は表示制御部２２を介してディスプレイ１４に並べられ、同期再生される。また、再生ボタン６１、早戻しボタン６２、早送りボタン６３、一時停止ボタン６４、シークバー６５、スライダー６６、リピート再生ボタン６７、画面切替ボタン６８が備わり、ユーザは、ユーザインターフェース１５を介してこれらの機能を使用できる。

一時保存メモリ３１では、動画編集部３０に送られた、嚥下検査を記録した各映像信号が内視鏡動画４１及び超音波動画５１として一時的に保存される。一時保存が完了した各動画は動画同期部３２に送信される。

動画同期部３２では、一時保存メモリ３１に一時保存された内視鏡動画４１及び超音波動画５１の同期処理が行われる。同期処理は、撮影時間を基準に、フレーム単位で内視鏡動画４１と超音波動画５１が同期され、再生画面での同時再生が可能となる。また、患者の情報や、撮影日時などの情報の同期も行われる。なお、同期の基準とする撮影時間はあらかじめ内視鏡システム１１と超音波システム１２がプロセッサ装置１３と時刻を合わせたものであり、同期処理後の内視鏡動画４１及び超音波動画５１は表示制御部２２に送られる。

表示制御部２２では同期処理済みの内視鏡動画４１及び超音波動画５１は、ディスプレイ１４の再生画面に表示され、自動再生又はユーザ操作による再生が行われる。ユーザは同時再生の様子を観察する。再生画面では、再生ボタン６１を押すことで自動再生が終了した内視鏡動画４１及び超音波動画５１を繰り返し再生でき、早戻しボタン６２で見逃したシーンを遡り、早送りボタン６３で動画再生スピードを上げ、一時停止ボタン６４で任意のタイミングで再生を停止できる。動画の再生状況はシークバー６５上のスライダー６６の位置で表され、スライダー６６の位置をドラッグなどのユーザ操作で移動させ、再生地点を自由に変更できる。リピート再生ボタン６７を選択すると、再生終了した内視鏡動画４１及び超音波動画５１が繰り返し再生を行う。

図６に示すように、ディスプレイ１４の動画再生は、画面切替ボタン６８を使うことで同期した内視鏡動画４１と超音波動画５１が２画面同期表示から１画面表示に切り替えることができる。１画面表示するのは内視鏡動画４１とし、再び画面切替ボタン６８を選択して超音波動画５１の１画面表示に画面が切り替わり、更に再び画面切替ボタン６８を選択すると２画面同期表示に画面が切り替わることが好ましい。１画面表示の場合、動画情報表示欄６９を展開し、患者の情報などの動画情報を表示し、ユーザインターフェース１５を介して、ユーザが動画情報を入力してもよい。

ユーザは入力受信部２１を介してユーザインターフェース１５から動画情報表示欄６９に表示された内視鏡動画４１及び超音波動画５１の情報の確認及び、追加や修正といった編集を行うことができる。情報は、例えば動画再生して得られた所見、患者の性別や年齢層、などの特徴である。編集した動画情報を含む内視鏡動画４１と超音波動画５１は、保存メモリ２３に保存される。

インデックス動画同期モードについて説明する。内視鏡動画４１及び超音波動画５１は、通常動画同期モードと同様に、一時保存メモリ３１で一時保存され、動画同期部３２で撮影時間を基準に同期処理が行われる。同期後の内視鏡動画４１及び超音波動画５１は嚥下タイミング検出部３３で嚥下タイミングを有するフレーム画像の検出及びタグ付けが行われる。インデックス動画抽出部３４では効率よく嚥下観察を行うために、嚥下が行われたシーンとしてインデックス動画の抽出が行われる。嚥下分類部３５でインデックス動画の種類などが自動分類される。自動分類後は、表示制御部２２を介してディスプレイ１４に並べられ、同期再生される。

通常動画同期モード及びインデックス動画同期モードはどちらも一時保存メモリ３１の一時保存と、動画同期部３２の同期処理は共通して行われる。そのため、同期処理の完了時までに通常動画同期モード及びインデックス動画同期モードの切り替えをしてもよい。

図７は、内視鏡動画４１を構成する、食物Fが咽頭を通過する状態を映す内視鏡嚥下フレーム画像４２と、食物Fが咽頭を通過しない状態を映す内視鏡非嚥下フレーム画像４３である。内視鏡動画４１の撮影において、撮影開始は患者が食物Fを口に含む前後で、撮影終了は誤嚥を含む嚥下が行われた後となるが、嚥下を捉えた時間は長くても数秒間であるため内視鏡動画４１を構成するフレーム画像は、内視鏡非嚥下フレーム画像４３が多くなる。

図８は、超音波動画５１を構成する、食物Fが食道を通過する状態を映す超音波嚥下フレーム画像５２と、食物Fが食道を通過しない状態を映す超音波非嚥下フレーム画像５３である。超音波動画５１の撮影は、内視鏡動画４１と同様に撮影を開始及び終了するため、超音波動画５１の構成は、食物Fを映さない超音波非嚥下フレーム画像５３が多くなる。

嚥下タイミング検出部３３では、内視鏡動画４１に対してディープラーニング等による機械学習専用のツールで画像解析し、咽頭にて食物Ｆが通過する際の動態である咽頭期嚥下タイミングを有するか否かを判別する咽頭期嚥下検出処理が行われる。咽頭期嚥下タイミングであると判別される部分は、食物Ｆが映る内視鏡嚥下フレーム画像４２であり、咽頭期嚥下検出処理により嚥下タイミングとして検出されると「嚥下タイミング検出」とタグ付けが行われる。

また、内視鏡動画４１と同様に超音波動画５１に対してディープラーニング等による機械学習専用のツールで画像解析し、食道にて食物Ｆが通過する際の動態である食道期嚥下タイミングを有するか否かを判別する食道期嚥下検出処理が行われる。食道期嚥下タイミングであると判別される部分は、食物Ｆが映る超音波嚥下フレーム画像５２であり、食道期嚥下検出処理により嚥下タイミングとして検出されると「嚥下タイミング検出」とタグ付けが行われる。

タグ付け後の内視鏡動画４１及び超音波動画５１は、インデックス動画抽出部３４に送信される。なお、嚥下タイミングが検出されなった内視鏡動画４１及び超音波動画５１は保存メモリ２３に保存することが好ましい。その際、一時保存メモリ３１からは削除する。

インデックス動画抽出部３４は、内視鏡動画４１から「嚥下タイミング検出」とタグ付けされたフレーム画像を含む連続したフレーム画像群である内視鏡インデックス動画４４を抽出し、同様に超音波動画５１から「嚥下タイミング検出」とタグ付けされたフレーム画像を含む連続したフレーム画像群である超音波インデックス動画５４を抽出する。

具体的には、図９に示すように、内視鏡動画４１及び超音波動画５１が有する「嚥下タイミング検出」とタグ付けされた咽頭期嚥下フレーム画像群４５から食道期嚥下フレーム画像群５５の連続したフレーム画像群、及びその前後に連続する一定期間のフレーム画像群を抽出する。一定期間とはあらかじめユーザが設定した３秒又は５秒程度の時間であり、食物Ｆの通過前の咽頭の動き、又は食物Ｆの通過後の食道の動き等を捉えていることが好ましい。矢印は時間進行を表し、動画の再生をした場合、矢印の向きに沿って再生表示される。内視鏡インデックス動画４４及び超音波インデックス動画５４は、咽頭期及び食道期の嚥下タイミングを含む。抽出された内視鏡インデックス動画４４及び超音波インデックス動画５４は嚥下分類部３５に送信される。

内視鏡動画４１と超音波動画５１は同期しているため、一方の動画のタグ付けの結果を、もう一方の動画に同期して、インデックス動画の抽出を行ってもよい。これにより一方の動画のみで検出した嚥下タイミングに関してもう一方の動画での映像の見え方を確認できる。

内視鏡動画４１が撮影した嚥下タイミングは、咽頭期であり、超音波動画５１が撮影した嚥下タイミングは食道期であるため、同期して再生した際の食物Fが映る期間は一致しない。そのため、各インデックス動画の抽出の範囲は、内視鏡動画４１が捉えた咽頭期嚥下タイミングと、超音波動画５１が捉えた食道期嚥下タイミングの両方を有することが好ましい。なお、咽頭期と食道期の嚥下は連続しており、各嚥下タイミングは１秒にも満たない程度の時間差であるため、１秒未満の時間差で検出された咽頭期嚥下タイミングと、食道期嚥下タイミングは同一の嚥下であると判定することができる。

また、各インデックス動画を抽出するために嚥下タイミング検出及びタグ付けを行う方法は複数のパターンがあり、上記記載の内視鏡動画４１と超音波動画５１のそれぞれで嚥下タイミングを検出してタグ付けを行うパターンを第１パターンとし、以下に第２～第６パターンの例を挙げる。同期処理を用いてタグ付けを行う場合は食道期嚥下タイミングと咽頭期嚥下タイミングを区別せずに、嚥下タイミングとして各動画又は各画像信号から検出してもよい。

第２パターンでは、内視鏡動画４１で検出した嚥下タイミングにタグ付けし、同期した超音波動画５１の撮影時間が同じである部分に反映して超音波動画５１の嚥下タイミングとしてタグ付けする。そのため、超音波動画５１における嚥下タイミングの検出は行わない。

第３パターンでは、超音波動画５１で検出した嚥下タイミングにタグ付けし、同期した内視鏡動画４１の撮影時間が同じである部分に反映して内視鏡動画４１の嚥下タイミングとしてタグ付けする。そのため、内視鏡動画４１における嚥下タイミングの検出は行わない。

内視鏡動画４１、超音波動画５１の両方の動画を組み合わせて、嚥下タイミングの検出を行ってもよい。単独の動画を用いた嚥下タイミングの検出において非検出となる場合や誤検出する場合があるが、内視鏡動画４１と超音波動画５１の両方の動画を組み合わせて使う事で、検出の精度が向上する。例えば、内視鏡動画４１においては、咳やムセで咽頭部が激しく動くと、内視鏡動画４１では嚥下時の挙動と区別がつかないため嚥下タイミングとして誤検出するが、超音波動画５１においては筋肉の挙動が異なるために非嚥下と判断でき、内視鏡動画４１で検出した嚥下タイミングから除外できる。例えば、超音波動画５１においては、検査食を用いた検査と、患者が無意識に嚥下動作をした場合とが区別できないためを実施する場合において、超音波動画５１においては嚥下タイミングとして検出されるが、内視鏡動画４１においては検査食の流入、非流入が画像で判別できるため、検査食の嚥下以外を除外できる。

第４パターンでは、内視鏡動画４１及び超音波動画５１における嚥下タイミング検出後、同期した内視鏡動画４１及び超音波動画５１を比較し、撮影時間が一致する嚥下タイミングの各画像信号に対してのみタグ付けを行う。

第５パターンでは、内視鏡動画４１において嚥下タイミング且つ、同期した超音波動画５１では非嚥下タイミング以外のタグ付けを行う。例えば、内視鏡動画４１から嚥下タイミングの内視鏡映像信号を検出し、また超音波動画５１から嚥下タイミング、非嚥下タイミング、及び不明タイミングのうち少なくとも非嚥下タイミングの超音波映像信号を検出する。嚥下タイミングの内視鏡映像信号のうち、非嚥下タイミング以外の超音波映像信号と撮影時間が同じである内視鏡映像信号に対してタグ付けを行い、また、非嚥下タイミング以外の超音波映像信号のうち、嚥下タイミングの内視鏡映像信号と撮影時間が同じである超音波映像信号に対してタグ付けを行う。

第６パターンでは、超音波動画５１において嚥下タイミング且つ、同期した内視鏡動画４１では非嚥下タイミング以外のタグ付けを行う。例えば、超音波動画５１から嚥下タイミングの超音波映像信号を検出し、また内視鏡動画４１から嚥下タイミング、非嚥下タイミング、及び不明タイミングのうち少なくとも非嚥下タイミングの内視鏡映像信号を検出する。嚥下タイミングの超音波映像信号のうち、非嚥下タイミング以外の内視鏡映像信号と撮影時間が同じである超音波映像信号に対してタグ付けを行い、また、非嚥下タイミング以外の内視鏡映像信号のうち、嚥下タイミングの超音波映像信号と撮影時間が同じである内視鏡映像信号に対してタグ付けを行う。

嚥下分類部３５では、内視鏡インデックス動画４４及び超音波インデックス動画５４を解析した嚥下検査の嚥下食の種類や結果の分類、又はインデックス番号などの付与が行われる。嚥下食は、嚥下した食物Ｆの種類で、例えば唾を飲み込む、牛乳を飲み込む、着色した水溶液を飲みこむ、プリンを食べる等があり、またそれらの嚥下が正常であったか誤嚥があったか、又は不明であるかの結果を分類する。誤嚥の程度により点数付けしたスコア評価を用いてもよい。これらを機械学習により学習したデータをもとに自動分類する。自動分類した嚥下検査食の種類の情報は内視鏡インデックス動画４４及び超音波インデックス動画５４に付与することが好ましい。分類後の内視鏡インデックス動画４４及び超音波インデックス動画５４は表示制御部２２に送信される。なお、嚥下検査の結果は、嚥下タイミング検出部３３で判別を行い、その結果を用いてもよい。

インデックス番号は、保存メモリ２３等に保存された各インデックス動画をユーザが検索する際に用いられる番号であり、嚥下タイミングを検出した順番及び嚥下検査食の種類等を英数字表記するような、重複せず、かつ桁数の少ない文字列であることが好ましい。その場合、嚥下検査食の種類をつば（ｓａ）、牛乳（ｍｉ）、着色水（ｃｗ）、プリン（ｐｕ）、不明（uｎ）とし、加えて正常な嚥下（Ｓ）、誤嚥あり（Ａ）、または不明な嚥下（Ｕ）を分類する。また、動画の種類に応じて、内視鏡インデックス動画４４には（１）、超音波インデックス動画５４には（２）を末尾につける。

図１０に示すように、例えば、連続して抽出した内視鏡インデックス動画４４ａ、４４ｂ、４４ｃ、４４ｄ、４４ｅとそれらに同期する超音波インデックス動画５４a、５４ｂ、５４ｃ、５４ｄ、５４ｅは嚥下分類部３５で嚥下の種類の特定が行われる。同期している内視鏡インデックス動画と超音波インデックス動画で１つの嚥下検査の結果を求める。嚥下検査食、嚥下検査の結果、及び動画の種類を示す記号が嚥下タイミングを検出した順番を示すインデックス番号に組み込まれる。嚥下タイミングを検出した順に内視鏡インデックス動画４４ａ～４４ｅが順に抽出されたものとすると４４ａはつばの正常嚥下で「００１ｓａＳ１」、４４ｂは牛乳の正常嚥下で「００２ｍｉＳ１」、４４ｃは着色水の不明な嚥下で「００３ｃｗＵ１」、４４ｄはプリンの誤嚥ありで「００４ｐｕＡ１」、４４ｅは不明で正常嚥下「００５ｕｎＳ１」となり、それぞれに同期する超音波インデックス動画５４ａ～５４ｅも同様の結果である場合は、５４ａは「００１ｓａＳ２」、５４ｂは「００２ｍｉＳ２」、５４ｃは「００３ｃｗＵ２」、５４ｄは「００４ｐｕＡ２」、５４ｅは「００５ｕｎＳ２」となる。

表示制御部２２は、ディスプレイ１４に表示する画面の切り換えの制御などを行う。嚥下検査を実施しているときは観察画面としてユーザが観察しているリアルタイム映像を表示し、撮影が終了して取得した動画などを表示する時は再生画面として表示を行う。観察画面における再生は、自動再生又はユーザ操作により行われる。

動画編集部３０では、内視鏡動画４１及び超音波動画５１の取得から内視鏡インデックス動画４４及び超音波インデックス動画５４の画面表示までは自動で進行する。内視鏡１１ａ及び超音波検査端末１２ａによる撮影が終了すると、ディスプレイ１４の表示が観察画面から再生画面に切り替わる。再生画面では、取得した内視鏡動画４１から抽出された内視鏡インデックス動画４４及び超音波動画５１から抽出された超音波インデックス動画５４が表示される。

同期した内視鏡インデックス動画４４と超音波インデックス動画５４は、一方の動画にタグ付けや情報の付加が行われると、もう一方の動画にもタグ付けや情報の付加が同期して行われる。例えば、「嚥下タイミング」のタグ付けが内視鏡インデックス動画４４の任意のフレーム画像に行われると、同期処理によって同期した超音波動画５１の対応するフレーム画像にも「嚥下タイミング」のタグ付けが行われる。

同期内容は、撮影時間を基準にした１００分の１秒単位で対応する各フレーム画像に同期する。タグ付けの内容以外にも、嚥下分類部３５での分類結果や、動画編集部３０での編集結果も反映される。また、ユー内視鏡映像信号及び超音波映像信号が指定した任意の内容を同期しないようにしてもよい。

図１１に示すように、ディスプレイ１４に表示する再生画面での内視鏡インデックス動画４４及び超音波インデックス動画５４は、図５と同様に２種類の動画の同時表示及び同期再生を行う。そのため咽頭と食道の同時観察し、咽頭から食道の食物Ｆの動きを連続して同時に観察できる。再生画面には動画再生をユーザが操作するための再生ボタン６１、早戻しボタン６２、早送りボタン６３、一時停止ボタン６４、シークバー６５、スライダー６６、リピート再生ボタン６７、及び画面切替ボタン６８が備わり、ユーザはユーザインターフェース１５を介してこれらの機能を使用できる。

図１２に示すように、ディスプレイ１４に表示する再生画面での内視鏡インデックス動画４４及び超音波インデックス動画５４は、図１１の同時再生から画面切替ボタン６８によって切り替えて図６と同様に単独で表示してもよい。単独表示の場合は、動画情報表示欄６９を展開し、更に嚥下分類部３５で付与された嚥下の種類やインデックス番号を表示してもよい。また、内視鏡インデックス動画４４の動画タイトルはインデックス番号をそのまま当てはめてもよい。

ユーザは入力受信部２１を介してユーザインターフェース１５から動画情報表示欄６９に表示された内視鏡インデックス動画４４及び超音波インデックス動画５４の情報の確認及び、追加や修正といった編集を行うことができる。例えば、動画再生して得られた所見、患者の性別や年齢層、などの特徴である。また、自動分類された嚥下検査食の種類や誤嚥の有無などの編集を行ってもよい。

ユーザは動画情報表示欄６９の情報の編集の他に、インデックス動画の抽出範囲の編集も行うことができる。再生画面で振り返りの結果、嚥下タイミングの誤検出や抽出が不十分な場合などでは、嚥下タイミングを有する内視鏡インデックス動画４４及び超音波インデックス動画５４を、一時保存メモリ３１に保存した内視鏡動画４１を参照した手動抽出を含む再抽出又は再検査を行って再取得してもよい。

各種動画情報の確認及び編集が終わった内視鏡インデックス動画４４及び超音波インデックス動画５４は、保存メモリ２３に保存する。その際、一時保存メモリ３１に保存した抽出元の内視鏡動画４１及び超音波動画５１は削除することが好ましい。

内視鏡動画４１及び超音波動画５１の嚥下検出処理におけるディープラーニングでは、あらかじめ検出対象となる画像の特徴をツールに学習させ、ツールは解析したフレーム画像に対して検出対象である確率を算出し、閾値以上の確率を有するフレーム画像が検出対象であると判定される。検出対象は食物Fを捉えた咽頭であり、食物Fの動きを追跡し、内視鏡嚥下フレーム画像４２又は超音波嚥下フレーム画像５２を検出し、タグ付けを行う。なお、ディープラーニングでは嚥下検査に用いる食物Fの種類に応じた分の学習が必要となる。

内視鏡動画４１が記録する咽頭期嚥下タイミングは患者が食物Ｆを飲み込む際の咽頭の動態であるが、その検出には食物Ｆを認識するディープラーニングである必要はなく、嚥下中の画像の特徴や前後のフレーム画像同士の変化等によって嚥下検出処理を行ってもよい。具体的には、「前後フレーム画像の画素値差分」「フレーム画像のブレ量」「画像のキーポイント数」等を用いた嚥下検出アルゴリズムによる嚥下検出処理を行ってもよい。なお、いずれの嚥下検出処理であっても、嚥下中と判定されたフレーム画像には「嚥下タイミング検出」とタグ付けを行う。

「前後フレーム画像の画素値差分」による検出アルゴリズムでは、嚥下中の画像はフレーム画像間で被写体の移動量が大きいため、前後のフレーム画像間の単純画素値の差分を算出する。嚥下タイミング検出部３３は、時系列的に前後する２つのフレーム画像に係る画素値の差分の算出を行う。差分（単純差分値）を求めるための関数は、画像解析に用いられるOpenCV（登録商標）に搭載されているAbsDiffを用いることが好ましい。

「フレーム画像のブレ量」による検出アルゴリズムでは、嚥下中の画像はフレーム画像間で被写体のブレが大きいため、フレーム画像間のブレの大きさを表すエッジ量を算出する。嚥下タイミング検出部３３は、時系列的に前後する２つのフレーム画像に係るエッジ量の算出を行う。エッジ量を求めるための関数は、画像解析に用いられるOpenCV（登録商標）に搭載されているVariance Of Laplacianを用いることが好ましい。

「キーポイント数」による検出アルゴリズムでは、嚥下中の画像はフレーム画像間で被写体のブレが大きいためフレーム画像のエッジが不鮮明になり、キーポイント数が減少する。キーポイントとは、フレーム画像を線で表して抽出したエッジのうち、エッジ量が大きい角（コーナー）である度合が高い部分である特徴点を指し、嚥下タイミング検出部３３は、フレーム画像に係るキーポイント数の算出を行う。キーポイント数を求めるための関数は、画像解析に用いられるOpenCV（登録商標）に搭載されているCount Key Pointを用いることが好ましい。なお、特徴点抽出には画像解析に用いられるOpenCV（登録商標）に搭載されているＡＫＡＺＥ(Accelarated KAZE)を用いる。本実施形態における特徴点抽出では、画像の中のエッジ量が高い部分（「角」、「コーナー」と認識される部分）を認識することが好ましい。

リアルタイム表示モードについて説明する。内視鏡システム１１及び超音波システム１２で撮影中の同期処理が行われていないリアルタイム映像をディスプレイ１４に並べて表示する。内視鏡システム１１で咽頭部内視鏡検査を開始して撮影した映像信号は、プロセッサ装置１３の内視鏡動画処理部２４を介して表示制御部２２に送られる。また、超音波システム１２で食道部内視鏡検査を開始して撮影した映像信号は、プロセッサ装置１３の超音波動画処理部２５を介して表示制御部２２に送られる。表示制御部２２は、映像信号をそのままリアルタイム映像としてディスプレイ１４に表示する。なお、撮影した嚥下検査の動画を記録する場合は、内視鏡１１ａ及び超音波検査端末１２ａに備わるスイッチ等でユーザが開始と終了を決めることが好ましい。

図１３は、内視鏡動画撮影及び超音波動画撮影による２システムによる嚥下検査のインデックス動画を取得する一連の流れを示すフローチャートである。以下に嚥下検査において内視鏡インデックス動画４４及び超音波インデックス動画５４を抽出し、再生する流れを説明する。ユーザは、リアルタイム表示モード中に内視鏡１１ａで撮影した咽頭部における嚥下検査の様子を撮影した内視鏡動画４１と、超音波検査端末１２ａで撮影した食道部における嚥下検査の様子を撮影した超音波動画５１を取得する。嚥下検査の撮影終了後は通常動画同期モード又はインデックス動画同期モードに切り替わる。どちらの場合でも、取得した内視鏡動画４１は内視鏡動画処理部２４を介し、超音波動画５１は超音波動画処理部２５を介して動画編集部３０へ送信される。動画編集部３０に送信された内視鏡動画４１及び超音波動画５１は、一時保存メモリ３１に保存された後、動画同期部３２で同期処理が行われる。

同期処理後の内視鏡動画４１及び超音波動画５１は、通常動画同期モードの場合はディスプレイ１４に表示し、同期再生を行うことで２種類の画像から嚥下タイミングを観察する。インデックス動画同期モードの場合は、同期した内視鏡動画４１及び超音波動画５１は、嚥下タイミング検出部３３にて解析して嚥下タイミングを撮影したフレーム画像である咽頭期嚥下フレーム画像群４５または食道期嚥下フレーム画像群５５を特定する。嚥下タイミング検出部３３の次にインデックス動画抽出部３４に送信された内視鏡動画４１および超音波動画５１は、咽頭期嚥下フレーム画像群４５から食道期嚥下フレーム画像群５５および、その前後の一定時間分のフレーム画像が内視鏡インデックス動画４４及び超音波インデックス動画５４として抽出される。抽出された内視鏡インデックス動画４４及び超音波インデックス動画５４は、嚥下分類部３５に送信され、機械学習により嚥下検査の種類の分類やインデックス番号の付与が行われる。その後、内視鏡インデックス動画４４及び超音波インデックス動画５４は表示制御部２２に送信され、ディスプレイ１４に表示し、同期再生を行うことで２種類の画像から嚥下タイミングを短時間で観察する。

通常動画同期モード及びインデックス動画同期モードで同期再生による観察を行った後は、嚥下検査の種類などの確認及び、追加や修正といった編集を行うことができる。動画情報の編集が終わった各動画はプロセッサ装置１３内の保存メモリ２３に保存する。その場合、一時保存メモリ３１に保存された内視鏡動画４１及び超音波動画５１は必要が無い場合は削除することが好ましい。取得した動画の数が抽出の失敗等で足りない場合や映り具合が悪かった場合は再検査して再び動画を取得する。

超音波検査は、上記の食道期の嚥下観察の他に、咽喉頭部の誤嚥及び残留評価、及び嚥下関連筋肉の運動評価を行ってもよい。超音波検査端末１２aで対象となる部位を観察し、超音波映像信号を取得する。超音波映像信号を解析して嚥下タイミングの検出及びインデックス動画を抽出することが好ましい。超音波検査の嚥下観察では嚥下検出処理は主に食道期嚥下検出処理であるが、非侵襲性の超音波検査は観察部位を容易に変更できるため、図２に示すような位置にある食物Fの口腔期嚥下検出処理や咽頭期嚥下検出処理も行える。なお、観察部位ごとに体表からの深さや、体表の形状が異なるため、超音波検査の観察内容に応じて複数の超音波検査端末１２aを使い分けてもよい。

咽喉頭部の誤嚥及び残留評価では、嚥下内視鏡による観察と同じ咽喉頭部を観察部位にし、咽頭期の食物や飲料の誤嚥や残留の評価をする。超音波検査端末１２aで咽喉頭部の超音波動画５１を取得し、嚥下時の画像をディープラーニングで学習して嚥下タイミングを検出する。検出した嚥下タイミングと、内視鏡動画４１との同期により超音波インデックス動画５４の抽出を行うことができる。内視鏡検査による嚥下食の種類や結果と、超音波検査による誤嚥及び残留評価を結び付けて画面表示してもよい。

嚥下関連筋肉の動態評価では、舌や舌骨周辺、又は喉頭部の筋肉の形態を観察し、嚥下運動の評価を行う。舌や舌骨周辺の観察は口腔期の、喉頭部の筋肉の観察は咽頭期の嚥下タイミングの検査となる。超音波検査端末１２aで超音波動画５１を取得し、口腔期又は咽頭期における嚥下時の画像をディープラーニングで学習して嚥下タイミングを検出する。検出した嚥下タイミングと、内視鏡動画４１との同期により超音波インデックス動画５４の抽出を行うことができる。内視鏡検査による嚥下食の種類や結果と、超音波検査による嚥下関連筋肉の動態評価を結び付けて画面表示してもよい。
［第２実施形態］

本実施形態では第１実施形態の超音波システム１２に代えて、図１４に示すように、放射線観測装置１６aを有する放射線観測システム１６を用いて映像信号を取得し、患者の嚥下検査の観察を行う。以下に本実施形態の内視鏡動画４１及び放射線透視動画７１について説明する。なお、上記実施形態と重複する内容は省略する。

放射線観測システム１６は、放射線観測装置１６ａで構成される。放射線観測装置１６ａは、患者が造影剤入りの食物Ｆを嚥下するところを撮影し、放射線透視動画７１を取得する。また、プロセッサ装置１３には放射線観測システム１６により撮影した放射線透視動画７１を受信し、動画編集部３０に送る放射線透視動画処理部（図示しない）の機能が実現される。

図１５に示すように、動画同期部３２で同期させた内視鏡動画４１と放射線透視動画７１を表示制御部２２に送信させることでディスプレイ１４に同時表示及び同期再生が行える。放射線透視動画７１は、図２に示すような食物Fを舌で口腔から咽頭へ送る口腔期、食物Ｆを咽頭から食道へ送る咽頭期、及び食物Ｆを食道から胃へ送りこむ食道期を含む連続した一連の嚥下の動作を映すことができる。そのため、ディスプレイ１４には患者を真横から撮影し、口腔、咽頭及び食道が含まれる映像を表示することが好ましい。

図１６に示すように、放射線透視動画７１に含まれる口腔期から食道期までを捉えた一連嚥下フレーム画像群７３は、咽頭期の嚥下を捉えた咽頭期嚥下フレーム画像群４５の全体を含むため、内視鏡インデックス動画４４及び放射線インデックス動画７４は、内視鏡動画４１及び放射線透視動画７１から一連嚥下フレーム画像群７３及びその前後の一定期間のフレーム画像群を抽出する。

嚥下分類部３５において、放射線観測システム１６を使用する嚥下検査では、造影剤を用いるため食物Fの種類は第１実施形態と異なる。そのため、第１実施形態とは嚥下の種類の分類が異なる。インデックス番号には、動画の種類に応じて、内視鏡インデックス動画４４には（１）、放射線インデックス動画７４には（３）を末尾につける。分類後の内視鏡インデックス動画４４及び放射線インデックス動画７４は表示制御部２２に送信され、ディスプレイ１４に表示し、同期再生が行える。

［第３実施形態］
上記実施形態では、内視鏡システム１１に異なる撮影システムを融合させて２システムにより嚥下検査を記録したが、本実施形態は、３種類の撮影システムを融合させた嚥下検査の観察を行う形態である。

図１７に示すように、医療画像処理システム１０は、内視鏡システム１１、超音波システム１２及び放射線観測システム１６を用いた３システム融合による嚥下検査の観察を行う。以下に本実施形態の嚥下検査の振り返りについて説明する。なお、上記実施形態と重複する内容は省略する。

図１８に示すように、動画同期部３２で同期させた内視鏡動画４１、超音波動画５１、及び放射線透視動画７１を表示制御部２２に送信させることでディスプレイ１４に同時表示及び同期再生が行える。画面切替ボタン６８で３種類同時表示から図６の様な個別表示に切り替えても良い。

図１９に示すように放射線透視動画７１に含まれる口腔期から食道期までを捉えた一連嚥下フレーム画像群７３は、咽頭期の嚥下を捉えた咽頭期嚥下フレーム画像群４５及び食道期の嚥下を捉えた食道期嚥下フレーム画像群５５の全体を含むため、内視鏡インデックス動画４４、超音波インデックス動画５４、及び放射線インデックス動画７４は、内視鏡動画４１、超音波動画５１、及び放射線透視動画７１から一連嚥下フレーム画像群７３及びその前後の一定期間のフレーム画像群を抽出する。

各実施形態において、表示制御部２２、保存メモリ２３、内視鏡動画処理部２４超音波動画処理部２５、動画編集部３０、一時保存メモリ３１、動画同期部３２、嚥下タイミング検出部３３、インデックス動画抽出部３４、及び嚥下分類部３５といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（Circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）等の記憶装置である。

１０ 医療画像処理システム
１１ 内視鏡システム
１１ａ内視鏡
１１ｂ内視鏡先端部
１２ 超音波システム
１２ａ 超音波検査端末
１２ｂ 超音波検査端末接触部
１３ プロセッサ装置
１４ ディスプレイ
１５ ユーザインターフェース
１６ 放射線観測システム
１６ａ 放射線観測装置
２０ 中央制御部
２１ 入力受信部
２２ 表示制御部
２３ 保存メモリ
２４ 内視鏡動画処理部
２５ 超音波動画処理部
３０ 動画編集部
３１ 一時保存メモリ
３２ 動画同期部
３３ 嚥下タイミング検出部
３４ インデックス動画抽出部
３５ 嚥下分類部
４１ 内視鏡動画
４２ 内視鏡嚥下フレーム画像
４３ 内視鏡非嚥下フレーム画像
４４ 内視鏡インデックス動画
４４ａ 内視鏡インデックス動画
４４ｂ 内視鏡インデックス動画
４４ｃ 内視鏡インデックス動画
４４ｄ 内視鏡インデックス動画
４４ｅ 内視鏡インデックス動画
４５ 咽頭期嚥下フレーム画像群
５１ 超音波動画
５２ 超音波嚥下フレーム画像
５３ 超音波非嚥下フレーム画像
５４ 超音波インデックス動画
５４ａ 超音波インデックス動画
５４ｂ 超音波インデックス動画
５４ｃ 超音波インデックス動画
５４ｄ 超音波インデックス動画
５４ｅ 超音波インデックス動画
５５ 食道期嚥下フレーム画像群
６０ 動画情報表示欄
６１ 再生ボタン
６２ 早戻しボタン
６３ 早送りボタン
６４ 一時停止ボタン
６５ スライダー
６６ シークバー
６７ リピート再生ボタン
６８ 画面切替ボタン
７１ 放射線透視動画
７３ 一連嚥下フレーム画像群
７４ 放射線インデックス動画
Ｆ 食物
Ｔｈ のど部
Ｎｃ 鼻腔
Ｒ 位置

Claims (14)

1. プロセッサを備え、
   前記プロセッサは、
   患者の鼻腔から挿入された内視鏡により前記患者の咽喉部の嚥下検査を撮像して得られる内視鏡映像信号を受信し、
   前記患者の頸部に当てられた超音波検査端末により取得した食道、気道、咽喉頭部、舌又は舌骨周辺の超音波映像信号を受信し、
   内視鏡映像信号及び超音波映像信号をディスプレイに同時表示する医療画像処理システム。
2. 前記プロセッサは、
   前記内視鏡映像信号及び前記超音波映像信号の取得時に、前記プロセッサの時刻を基準とした撮影時間を記録し、
   前記撮影時間を基準に、前記内視鏡映像信号及び前記超音波映像信号を同期させるための同期処理を行い、
   前記同期処理された前記内視鏡映像信号及び前記超音波映像信号を前記ディスプレイに同期して再生する請求項１記載の医療画像処理システム。
3. 前記内視鏡映像信号及び前記超音波映像信号は、自動再生又はユーザ操作による再生が行われる請求項２記載の医療画像処理システム。
4. 前記プロセッサは、
   前記内視鏡映像信号及び前記超音波映像信号の取得時に、前記プロセッサの時刻を基準とした撮影時間を記録し、
   前記撮影時間を基準に、前記内視鏡映像信号及び前記超音波映像信号の同期処理を行い、
   前記内視鏡映像信号から嚥下タイミングを検出し、前記嚥下タイミングにタグ付けを行い、内視鏡インデックス動画を抽出し、
   前記嚥下タイミングの内視鏡映像信号と撮影時間が同じである前記超音波映像信号にタグ付けを行い、超音波インデックス動画を抽出し、
   前記内視鏡インデックス動画及び前記超音波インデックス動画を前記ディスプレイに再生する請求項１記載の医療画像処理システム。
5. 前記プロセッサは、
   前記内視鏡映像信号及び前記超音波映像信号の取得時に、前記プロセッサの時刻を基準とした撮影時間を記録し、
   前記撮影時間を基準に、前記内視鏡映像信号及び前記超音波映像信号の同期処理を行い、
   前記内視鏡映像信号から嚥下タイミングを検出し、
   前記超音波映像信号から非嚥下タイミングを検出し、
   前記嚥下タイミングの前記内視鏡映像信号のうち、前記非嚥下タイミング以外の前記超音波映像信号と前記撮影時間が同じである前記内視鏡映像信号に対してタグ付けを行って、内視鏡インデックス動画を抽出し、
   前記非嚥下タイミング以外の前記超音波映像信号のうち、前記嚥下タイミングの前記内視鏡映像信号と前記撮影時間が同じである前記超音波映像信号に対してタグ付けを行って、超音波インデックス動画を抽出し、
   前記内視鏡インデックス動画及び前記超音波インデックス動画を前記ディスプレイに再生する請求項１記載の医療画像処理システム。
6. 前記内視鏡インデックス動画及び前記超音波インデックス動画は、自動再生又はユーザ操作による再生が行われる請求項４または５記載の医療画像処理システム。
7. 前記プロセッサは、
   前記内視鏡映像信号及び前記超音波映像信号から正常な嚥下、誤嚥、または不明な嚥下のいずれかを嚥下タイミングとして検出し、
   前記嚥下タイミングが検出されたフレーム画像に対して嚥下タイミング検出のタグ付けを行う請求項４ないし６いずれか１項記載の医療画像処理システム。
8. 前記内視鏡映像信号及び前記超音波映像信号は、フレーム画像が連続したフレーム画像群によって構成され、
   前記プロセッサは、
   前記内視鏡映像信号の前記嚥下タイミングの有無の判定には、フレーム画像間のブレ量の算出、前記フレーム画像に基づくキーポイントの算出、又は、前記フレーム画像間の画素値の差分のいずれかを用い、
   前記超音波映像信号の前記嚥下タイミングの有無の判定には、機械学習を用いる請求項４ないし７いずれか１項記載の医療画像処理システム。
9. 前記プロセッサは、
   前記内視鏡インデックス動画又は前記超音波インデックス動画の少なくとも一方を解析して、前記嚥下検査の種類を特定する請求項４ないし８いずれか１項記載の医療画像処理システム。
10. 前記プロセッサは、
    前記嚥下検査の種類を嚥下検査食の種類及び嚥下の結果で分類し、
    前記分類に基づいて、前記内視鏡インデックス動画及び前記超音波インデックス動画にインデックス番号の付与を行う請求項９記載の医療画像処理システム。
11. 前記プロセッサは、
    前記内視鏡映像信号及び前記超音波映像信号の取得において、フレームレートを６０ｆｐｓで撮影を行い、
    前記撮影は１００分の１秒単位で時間を数える請求項１ないし１０いずれか１項記載の医療画像処理システム。
12. 前記プロセッサは、
    前記内視鏡映像信号及び前記超音波映像信号を同期せずにディスプレイにリアルタイムで同時表示する請求項１記載の医療画像処理システム。
13. 前記プロセッサは、
    前記超音波検査端末による観察に代えて、放射線観測装置により前記患者の嚥下検査を観察した放射線透視映像信号を受信し、
    前記内視鏡映像信号及び前記放射線透視映像信号を前記ディスプレイに表示する請求項１記載の医療画像処理システム。
14. 前記プロセッサは、
    前記超音波検査端末による観察に加えて、放射線観測装置により前記患者の嚥下検査を観察した放射線透視映像信号を受信し、
    前記内視鏡映像信号、前記超音波映像信号、及び前記放射線透視映像信号を前記ディスプレイに表示する請求項１記載の医療画像処理システム。

Images