[go: up one dir, main page]

JP7776517B2 - モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置 - Google Patents

モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置

Info

Publication number
JP7776517B2
JP7776517B2 JP2023551597A JP2023551597A JP7776517B2 JP 7776517 B2 JP7776517 B2 JP 7776517B2 JP 2023551597 A JP2023551597 A JP 2023551597A JP 2023551597 A JP2023551597 A JP 2023551597A JP 7776517 B2 JP7776517 B2 JP 7776517B2
Authority
JP
Japan
Prior art keywords
image
model
lesion
organ
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023551597A
Other languages
English (en)
Other versions
JPWO2023054467A5 (ja
JPWO2023054467A1 (ja
Inventor
耕太郎 楠
雄紀 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terumo Corp
Original Assignee
Terumo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terumo Corp filed Critical Terumo Corp
Publication of JPWO2023054467A1 publication Critical patent/JPWO2023054467A1/ja
Publication of JPWO2023054467A5 publication Critical patent/JPWO2023054467A5/ja
Application granted granted Critical
Publication of JP7776517B2 publication Critical patent/JP7776517B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Description

本発明は、管腔器官の医用画像から前記管腔器官の解剖学的特徴を捉えるために用いられるモデルのモデル生成方法、学習済みの学習モデル、学習モデルを用いるコンピュータプログラム、情報処理方法及び情報処理装置に関する。
管腔器官の中でも特に血管の画像診断は、冠動脈インターベンション(PCI:Percutaneous Coronary Intervention)等の施術を安全確実に行なうために必要不可欠である。このため、造影剤を用いて体外から撮影する血管造影技術(angiography)と併せて、カテーテルを用いたIVUS(Intra Vascular Ultra Sound)、OCT(Optical Coherence Tomography)/OFDI(Optical Frequency Domain Imaging)等の血管内イメージング技術が普及している。
上述した画像診断では、撮影された医用画像から診断に関する情報を正確に得ることは容易ではない。医用画像の読影を補助するために、画像解析又は機械学習を用い、画像を補正したり、情報を付加したりする技術が種々提案されている(特許文献1等)。
特開2012-075702号公報
医用画像の読影には、画像から解剖学的特徴を正確に把握することが必要である。したがって、医用画像を正確に撮影するとともに、解剖学的特徴に関する情報を、より把握しやすく視認可能に提示することが認められる。特に、カテーテルを用いて行なう施術や検査のためには、カテーテルが挿入されている箇所からいずれの範囲(角度)に対象物が存在するか、を示す角度に関するデータが有用である。
本開示の目的は、カテーテルを用いて得られる画像に基づき、管腔器官の解剖学的特徴を捉えるための角度に関するデータを出力するモデルのモデル生成方法、学習済みの学習モデル、学習モデルを用いるコンピュータプログラム、情報処理方法及び情報処理装置を提供することにある。
本開示に係るモデル生成方法は、コンピュータが、管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによる走査信号を取得し、前記走査信号に基づく前記管腔器官の画像が入力された場合に、前記カテーテルの回転角度毎の病変部又は医療器具の存在確率を出力する学習モデルを生成する。
本開示に係る学習モデルは、管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによる走査信号に基づく画像が入力される入力層と、前記カテーテルの回転角度毎の病変部又は医療器具の存在確率を出力する出力層と、前記画像と、該画像内の角度毎の病変部又は医療器具の有無を示すデータとを含む教師データに基づいて学習された中間層と、を備え、前記イメージングデバイスからの走査信号に基づく画像を前記入力層へ与え、前記中間層に基づいて演算し、前記画像に対応する前記存在確率を前記出力層から出力するようにコンピュータを機能させる。
本開示に係るコンピュータプログラムは、管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによる走査信号を取得するコンピュータに、前記走査信号に基づく前記管腔器官の画像が入力された場合に、前記画像における前記管腔器官の内腔及び膜を含む異なる領域に識別したデータを出力する第1モデルと、前記画像が入力された場合に、前記イメージングデバイスの前記カテーテルの回転角度毎の病変部又は医療器具の存在確率を出力する第2モデルと、を用い、前記第1モデルにて識別された領域に基づく前記管腔器官の解剖学的特徴を示すパラメータと、前記第2モデルから得られる回転角度毎の存在確率とに基づき、前記管腔器官の中心から病変部又は医療器具を捉える角度範囲を算出する処理を実行させる。
本開示に係る情報処理方法は、管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによる走査信号を取得するコンピュータが、前記走査信号に基づく前記管腔器官の画像が入力された場合に、前記画像における前記管腔器官の内腔及び膜を含む異なる領域に識別したデータを出力する第1モデルと、前記画像が入力された場合に、前記イメージングデバイスの前記カテーテルの回転角度毎の病変部又は医療器具の存在確率を出力する第2モデルと、を用い、前記第1モデルにて識別された領域に基づく前記管腔器官の解剖学的特徴を示すパラメータと、前記第2モデルから得られる回転角度毎の存在確率とに基づき、前記管腔器官の中心から病変部又は医療器具を捉える角度範囲を算出する。
本開示に係る情報処理装置は、管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによる走査信号を取得する情報処理装置において、前記走査信号に基づく前記管腔器官の画像が入力された場合に、前記画像における前記管腔器官の内腔及び膜を含む異なる領域に識別したデータを出力する第1モデルと、前記画像が入力された場合に、前記イメージングデバイスの前記カテーテルの回転角度毎の病変部又は医療器具の存在確率を出力する第2モデルと、を記憶する記憶部と、前記走査信号に基づく画像処理を実行する処理部とを備え、前記処理部は、前記第1モデルにて識別された領域に基づく前記管腔器官の解剖学的特徴を示すパラメータと、前記第2モデルから得られる回転角度毎の存在確率とに基づき、前記管腔器官の中心から病変部又は医療器具を捉える角度範囲を算出する。
画像診断装置の構成例を示す図である。 カテーテルの動作を示す説明図である。 画像処理装置の構成を示すブロック図である。 学習済みの第1モデルの概要図である。 検出された境界(輪郭)を示す図である。 第2モデルの概要図である。 第2モデルの学習の概要を示す図である。 第2モデルを生成する過程の一例を示すフローチャートである。 カテーテルの中心と、血管中心(横断面重心)とのズレを示す図である。 画像処理装置の処理部による処理手順の一例を示すフローチャートである。 画像処理装置の処理部による処理手順の一例を示すフローチャートである。 角度範囲の算出処理手順の一例を示すフローチャートである。 角度範囲の算出処理の説明図である。 角度範囲の算出処理の説明図である。 内腔境界の補正処理の説明図である。 表示装置に表示される画面の例を示す。 表示装置における他の画面例を示す図である。 内腔表層にのみ生じる病変を捉える角度を算出する例を示す。 石灰化したプラークを捉える角度を算出する例を示す。 減衰性プラークを捉える角度を算出する例を示す。 血管に施されたステントを捉える角度を算出する例を示す。 カテーテルと共に挿入されているガイドワイヤを捉える角度を算出する例を示す。
本発明の実施形態に係るコンピュータプログラム、情報処理方法、及び情報処理装置の具体例を、図面を参照しつつ以下に説明する。
図1は、画像診断装置100の構成例を示す図である。画像診断装置100は、IVUS法によって血管(管腔器官)の超音波断層像を含む医用画像を生成し、血管内の超音波検査及び診断に用いられる装置である。
画像診断装置100は、カテーテル1、MDU(Motor Drive Unit)2、画像処理装置(情報処理装置)3、表示装置4及び入力装置5を備える。
カテーテル1は、医療用の柔軟性のある管である。カテーテル1は特に、先端部にイメージングデバイス11を設け、基端からの駆動によって周方向に回転するイメージングカテーテルと呼ばれるものである。イメージングデバイス11は、IVUS法の場合は超音波振動子及び超音波センサを含む超音波プローブである。OCTの場合は、近赤外線レーザ及び近赤外線センサ等を含むOCTデバイスである。イメージングデバイス11は、その他、可視光等の他の波長の電磁波を用いる他のデバイスを用いてもよい。
MDU2は、カテーテル1の基端に取り付けられる駆動装置であり、医療従事者の操作に応じて内部モータを駆動することによって、カテーテル1の動作を制御する。
画像処理装置3は、カテーテル1のイメージングデバイス11から出力された信号に基づいて、血管の断層像等、複数の医用画像を生成する。画像処理装置3の構成の詳細については後述する。
表示装置4は、液晶表示パネル、有機EL表示パネル等を用いる。表示装置4は、画像処理装置3によって生成される医用画像と、医用画像に関する情報とを表示する。
入力装置5は、画像処理装置3に対する操作を受け付ける入力インタフェースである。入力装置5は、キーボード、マウス等であってもよいし、表示装置4に内蔵されるタッチパネル、ソフトキー、ハードキー等であってもよい。
図2は、カテーテル1の動作を示す説明図である。図2においてカテーテル1は、血管内に医療従事者によって、図中に示す冠動脈に挿入されたガイドワイヤWに沿って、管状の血管L内に挿入されている。図2中の血管Lの拡大図において右部は、カテーテル1及びガイドワイヤWの挿入箇所から遠位、左部は近位に対応する。
カテーテル1は、MDU2の駆動により、図中の矢符で示すように、血管L内の遠位から近位へ向けて移動しつつ、長さ方向を軸中心に回転する。このため、イメージングデバイス11は、螺旋状に血管L内を走査する。
本実施形態の画像診断装置100では、画像処理装置3が、カテーテル1のイメージングデバイス11から出力された1走査毎の信号を取得する。1回の走査でイメージングデバイス11は、検出波を径方向に発し、その反射波を検出する。イメージングデバイス11は、この走査を、360度回転する間に数十回から数千回、各角度に対して行なう。画像処理装置3は、検出された反射波の径方向に対する分布を、各角度に対して取得できる。画像処理装置3は、1走査毎の信号を径方向で揃えて矩形状に並べた矩形画像(図2中、I0)を、360度分毎に極座標変換(逆変換)することで得られる断層画像(横断面画像)を生成する(図2中、I1)。断層画像I1はフレーム画像ともいう。断層画像I1の基準点(中心)は、カテーテル1の範囲(画像化されない)に対応する。画像処理装置3は、得られた断層画像I1に基づいて血管の構造を示す画像を含む情報を、医療従事者が視認可能に出力できる。本開示における画像診断装置100では、特に、各角度に対応する走査信号、あるいはこれを変換した断層画像が入力された場合に、血管内に存在する病変部、又はステントなどの医療器具に対するカテーテルの側面一部から見た場合の範囲(角度範囲)を出力する。以下、この角度範囲及び出力の方法についてについて詳細を説明する。
図3は、画像処理装置3の構成を示すブロック図である。画像処理装置3は、コンピュータであり、処理部30、記憶部31、及び入出力I/F32を備える。
処理部30は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、TPU(Tensor Processing Unit)等を含む。処理部30は、RAM(Random Access Memory)等の非一時記憶媒体を内蔵し、処理中に生成したデータを非一時記憶媒体に記憶しつつ、記憶部31に記憶されているコンピュータプログラム3Pに基づき演算を実行する。
記憶部31は、ハードディスク、フラッシュメモリ等の不揮発性記憶媒体である。記憶部31は、処理部30が読み出すコンピュータプログラム3P、設定データ等を記憶する。また記憶部31は、学習済みの第1モデル31M及び第2モデル32Mを記憶する。
コンピュータプログラム3P、第1モデル31M及び第2モデル32Mは、装置外の非一時記憶媒体9に記憶されたコンピュータプログラム9P、第1モデル91M及び第2モデル92Mを、処理部30が入出力I/F32を介して読み出して複製したものであってもよい。コンピュータプログラム3P、学習済みの第1モデル31M及び第2モデル32Mは、遠隔のサーバ装置が配信するものを画像処理装置3が図示しない通信部を介して取得し、記憶部31に記憶したものであってもよい。
入出力I/F32は、カテーテル1、表示装置4及び入力装置5が接続されるインタフェースである。処理部30は、入出力I/F32を介し、イメージングデバイス11から出力される信号(デジタルデータ)を取得する。処理部30は、入出力I/F32を介し、生成した断層画像I1及び/又は長軸画像I2を含む画面の画面データを表示装置4へ出力する。処理部30は、入出力I/F32を介して、入力装置5に入力された操作情報を受け付ける。
図4は、学習済みの第1モデル31Mの概要図である。第1モデル31Mは、走査信号を極座標変換して得られる断層画像I1が入力された場合に、断層画像I1に写っている1又は複数の対象物の領域を示す画像を出力するように学習されたモデルである。第1モデル31Mは例えば、セマンティックセグメンテーション(Semantic Segmentation)を実施するモデルである。第1モデル31Mは、入力された断層画像I1の各画素に対し、各画素が、いずれの対象物の範囲に属する画素であるかをタグ付けしたタグ画像ISを出力するように学習されている。
第1モデル31Mは例えば、図4に示すように、畳み込み層、プーリング層、アップサンプリング層、及びソフトマックス層を対象的に配置した所謂U-netを用いる。第1モデル31Mは、断層画像I1が入力された場合に、画像内で識別された範囲を示すタグ画像ISを出力するモデルである。出力されるタグ画像ISは、血管の内腔範囲、血管の中膜を含む血管の内腔境界と血管境界との間に対応する膜範囲、ガイドワイヤW及びそれによる反響が写っている範囲、カテーテル1に対応する範囲、並びに、病変部(例えばプラーク、石灰化部)等を、その位置の画素に各々異なる画素値(図4中では異なる種類のハッチング及び無地で示す)によってタグを付したものである。病変部の範囲は、例えばステント等の人工物、特に医療器具の範囲を含んでもよい。
第1モデル31Mは上述したようにセマンティックセグメンテーション、U-netを例示したがこれに限らないことは勿論である。その他、第1モデル31Mは、インスタンスセグメンテーション等による個別認識処理を実現するモデルであってもよい。第1モデル31Mは、U-netベースに限らず、SegNet、R-CNN、又は他のエッジ抽出処理との統合モデル等をベースにしたモデルを使用してもよい。
処理部30は、第1モデル31Mに、断層画像I1を入力して得られるタグ画像ISにおける画素値とその画像内の画素の座標とによって、カテーテル1を用いて検査した血管の内腔境界、及び血管境界をエッジ検出できる。血管境界は、厳密には血管の中膜と外膜との間の外弾性板(EEM:External Elastic Membrane)であって、IVUS法にて断層画像I1内で比較的明瞭に低い輝度で写る。図5は、検出された境界(輪郭)を示す図である。図5は、図4に示した断層画像I1に対し、第1モデル31Mから出力されたタグ画像ISに基づいて得られる内腔境界を示す曲線B1と、血管境界を示す曲線B2とが重畳表示されている状態を示す。
本実施形態における画像処理装置3は、第1モデル31Mと合わせて用いる第2モデル32Mを記憶部31に記憶して用いる。第2モデル32Mは、各走査信号に対する病変部又は医療器具の有無を、角度情報と対応付けて出力するモデルである。図6は、第2モデル32Mの概要図である。第2モデル32Mは、入力層321、中間層322及び出力層323を備えるニューラルネットワークを用いたモデルである。入力層321は、二次元の信号分布、即ち画像データを入力する。出力層323は、病変部又は医療器具が存在する確率を、角度データ(例えば1°~360°)毎に出力する。例えば出力層323、2°ごとの0°,2°,4°,…,356°,358°の180個の、確率の配列を出力する。180個に限らず、例えば360個でもよいし、3°毎の120個、4°毎の90個であっても、それ以上であってもよい。
処理部30は、断層画像I1を入力層321へ入力するか、又は、矩形画像I0を入力層321へ入力し、出力される確率の配列を取得できる。処理部30は、第2モデル32Mから出力される、角度毎の、その角度における病変部又は医療器具が存在する確率の配列を取得し、確率が所定値以上で連続している部分を、病変部又は医療器具の角度範囲として取得できる。なお、第2モデル32Mから出力される、角度毎の病変部又は医療器具が存在する確率は、イメージングデバイス11を基準とした角度毎の確率である。
第2モデル32Mは、画像処理装置3、又は、他の処理装置によって予め作成され、学習済みとされる。図7は、第2モデル32Mの学習の概要を示す図である。以下では、画像処理装置3が予め学習処理を実行するものとして説明するがあくまで例示であってこれに限定されない。他の処理装置が予め学習してもよい。
教師データは、アノテーション付きの断層画像I1又は矩形画像I0である。アノテーションは、病変部又は医療器具の有無、及び画像内での箇所が既知である断層画像I1又は矩形画像I0に対する角度毎の存在確率である。教師データは、病変部の種類、又は医療器具の種類別に用意されてもよい。例えば第2モデル32Mは、石灰プラークなのか、減衰性プラークなのか、ステントなのか、ガイドワイヤなのかで異なる教師データによって別々に学習されてもよい。
図7では、教師データにおける角度毎の病変部又は医療器具の有無を、断層画像I1を中心とした同一距離上に配したマークで示している。マークのハッチングにより、病変部又は医療器具の有無を示す。アノテーションは例えば、断層画像I1と対応付けられた確率の配列であって、病変部又は医療器具が存在する場合は「1.0」、存在しない場合は「0.0」が付与されている。図7の例では、134°~230°の範囲にプラークが存在しており、その角度範囲における存在確率が「1.0」とされている。
画像処理装置3の処理部30は、このような既知の存在確率が付された画像の教師データに基づき、第2モデル32Mを学習し、モデルを生成する。図8は、第2モデル32Mを生成する過程の一例を示すフローチャートである。
処理部30は、イメージングデバイス11から得られた信号に基づいて過去に生成された断層画像I1又は矩形画像I0を取得する(ステップS201)。処理部30は、取得した画像内の画像中心(カテーテル1の中心)を基準とした角度それぞれについて、病変部又は医療器具の有無を受け付ける(ステップS202)。受け付け方法は、処理部30が、断層画像I1と、図7に示したようなマークとを表示装置4等に表示させ、医療従事者(医師、技術士等)の判断によりマークを「有(1.0)」あるいは「無(0.0)」それぞれに対応する色、模様等に変化するように制御して実現してもよい。受け付け方法はそのほか、角度毎の「有(1.0)」及び「無(0.0)」の配列を受け付ける方法であってもよい。
処理部30は、ステップS201で取得した画像と、該画像に対してS202で受け付けた角度毎の存在の有無を示すデータとを含む教師データを記憶する(ステップS203)。ステップS201-S203の処理は、できる限り多数のデータが集まるまで行なわれることが望ましい。
教師データとなる断層画像I1又は矩形画像I0は、縮小されてから学習に利用されてもよい。また矩形画像I0を入力する場合は、対象となる360°分のデータに対し、前後90°を足した540°分の矩形画像I0を用いて学習することが望ましい(図6参照)。隣り合う走査信号との連続性を保った画像を入力することで、学習の精度を維持することができる。
処理部30は、記憶した教師データの画像を学習完了前の第2モデル32Mの入力層321へ入力する(ステップS204)。処理部30は、第2モデル32Mの出力層323から出力される角度毎の存在確率と、入力した画像に対応する確度毎の存在の有無を示すデータとを用いた損失を算出し、これにより中間層322のパラメータを学習(更新)する(ステップS205)。
処理部30は、学習条件を満たすか否かを判断し(ステップS206)、学習条件を満たさないと判断された場合(S206:NO)、処理をステップS201へ戻し、学習を続行する。
学習条件を満たすと判断された場合(S206:YES)、処理部30は、第2モデル32Mのネットワーク構成及び条件を示す記述データ、及び、中間層322のパラメータを記憶部31又は他の記憶媒体に記憶し(ステップS207)、モデル生成処理を終了する。なお、処理部30は、ステップS201-S203への処理は予め事前に受け付けておき、収集した教師データについて、ステップS204-S207の処理を実行してもよい。
これにより、第2モデル32Mは、画像が入力された場合、イメージングデバイス11を基準とした角度に対する病変部又は医療器具の有無を示す周方向の確率分布を出力するように生成される。ここで注目すべきは、生成された第2モデル32Mから出力される角度毎の病変部又は医療器具の有無を示す確率は、カテーテル1を中心として病変部等を捉える周方向の角度範囲である点である。図7に示したように、第2モデル32Mから出力される周方向の確率分布は、断層画像I1の中心、つまりカテーテル1の中心を基準としている。
しかしながら、カテーテル1の血管内での存在位置は常に一定ではなく、拍動の影響を受けて血管の中心を通ったり、血管内腔の端を通ったりする。図9は、カテーテル1の中心と、血管中心(横断面重心)とのズレを示す図である。図9に示すように、符号xで示す断層画像I1の中心(矩形画像I0におけるカテーテル1側の一長辺)は、図9中、符号оで示す血管中心とずれている。したがって、カテーテル1を中心として病変を捉えたデータは、カテーテル1が血管中心とずれている場合には、臨床上考慮すべき血管中心からの角度情報と解離するため、このデータを参考にすることが困難になる。そこで本実施形態における画像処理装置3は、第1モデル31Mを用い、第2モデル32Mに基づき導出されたカテーテル1を中心とした病変又は医療器具等の物を捉える角度を、血管の解剖学的特徴を基準とした角度で記述し直したデータに算出し直す。
以下、第1モデル31M及び第2モデル32Mを用いた画像処理装置3による処理手順について詳細を説明する。図10及び図11は、画像処理装置3の処理部30による処理手順の一例を示すフローチャートである。画像処理装置3の処理部30は、カテーテル1のイメージングデバイス11から信号が出力されると以下の処理を開始する。
処理部30は、カテーテル1のイメージングデバイス11からの信号(データ)を所定量(例えば360度分)取得する都度(ステップS101)、径方向の信号を矩形に並べた画像を極座標変換(逆変換)して断層画像I1を生成する(ステップS102)(図2参照)。処理部30は、生成した断層画像I1を、表示装置4に表示させている画面内にリアルタイムに表示できるように出力する(ステップS103)。処理部30は、ステップS101で取得した信号データと、断層画像I1とを、イメージングデバイス11のポジション(長軸上の位置、角度)に対応付けて記憶部31に記憶する(ステップS104)。
処理部30は、断層画像I1を第1モデル31Mへ入力する(ステップS105)。第1モデル31Mから得られるタグ画像ISに基づき、処理部30は、断層画像I1における内腔境界及び血管境界のデータを算出する(ステップS106)。ステップS106において処理部30は、第1モデル31Mから出力される内腔範囲、血管の中膜を含む膜範囲の内、内腔範囲の輪郭(エッジ)を内腔境界、膜範囲の外側輪郭を血管境界として算出する。ステップS106において処理部30は、断層画像I1のサイズを縮小してから第1モデル31Mへ入力するなど、高速処理化を実施してもよい。
処理部30は、ステップS106で算出した内腔境界及び血管境界のデータに基づき、血管の中心を算出する(ステップS107)。ステップS107において処理部30は、例えば、血管境界又は内腔境界に対し、例えばHough変換によって、境界に沿う円を抽出し、その円の中心を、血管の中心として決定する。ステップS107において処理部30は、血管境界よりも内側の領域、又は、内腔境界よりも内側の領域の重心を求め、この重心を血管中心として決定してもよい。処理部30は、算出した血管中心の断層画像I1内における座標を記憶する(ステップS108)。
処理部30は、断層画像I1、又は、ステップS101で取得する信号データから、360°分の走査結果に前後90°分の走査結果を足した矩形画像I0(図2、図9参照)を第2モデル32Mへ入力する(ステップS109)。処理部30は、第2モデル32Mから得られる病変部又は医療器具の角度毎の存在確率を取得する(ステップS110)。
処理部30は、ステップS110で取得した角度毎の病変部又は医療器具の存在確率と、ステップS108で記憶してある血管中心の座標とに基づき、病変部又は医療器具が存在する範囲の血管中心を基準とした角度範囲を算出する処理を実行する(ステップS111)。ステップS111における処理については後述する。
処理部30は、ステップS111の算出処理の結果、得られる病変部又は医療器具が存在する角度範囲を示す画像を断層画像I1に重畳表示する(ステップS112)。処理部30は、病変部又は医療器具が存在する角度範囲のデータを、ステップS104で記憶した断層画像I1に対応付けて記憶する(ステップS113)。
処理部30は、ステップS105で得られたタグ画像ISに基づき識別される病変部又は医療器具の範囲を、ステップS111で算出した角度範囲に基づいて補正する(ステップS114)。ステップS114において処理部30は例えば、角度範囲に含まれる範囲を残し、他の範囲はノイズとして除去するなどしてもよい。
処理部30は、対象の断層画像I1の長軸方向における位置を示すデータを表示装置4に表示させる(ステップS115)。ステップS115によって処理部30は、対象の断層画像I1の位置を、走査中にリアルタイムに表示させる。また、この場合、処理部30は、対象の断層画像I1に、ステップS111の処理によって病変部又は医療器具が存在する角度範囲が対応付けられた場合、それを示すマーク等を、長軸方向を示す画像に重畳表示させるとよい。
処理部30は、カテーテル1のイメージングデバイス11による走査を完了したか否かを判断する(ステップS116)。走査を完了していないと判断された場合(S116:NO)、処理部30は、処理をステップS101へ戻し、次の断層画像I1を生成する。
走査を完了したと判断された場合(S116:YES)、処理部30は、処理を終了する。
図12は、角度範囲の算出処理手順の一例を示すフローチャートである。図12のフローチャートに示す処理手順は、図10及び図11のフローチャートにおけるステップS111の詳細手順に対応する。
処理部30は、第2モデル32Mから得られる角度毎の存在確率から、存在確率が連続して所定の確率値以上である範囲を、病変部又は医療器具が存在する範囲として算出する(ステップS301)。
処理部30は、断層画像I1における画素値を参照し、血管境界と内腔境界との間における画素値が他よりも高い(あるいは他よりも低い)部分を抽出する(ステップS302)。つまりステップS302において処理部30は、画像内で周囲よりも輝度が高い部分、あるいは輝度が低く暗い部分を抽出する。ステップS302において処理部30は、内腔境界よりも内側の領域も併せて抽出してもよい(内腔の内側にまで至る病変部又は医療器具も存在するため)。また、ステップS302の処理は、病変の種類によっては抽出できないので省略されてもよい。
処理部30は、ステップS301にて算出した範囲と、ステップS302で抽出された部分とに基づき、病変部又は医療器具が存在する範囲の断層画像I1の中心(カテーテル1の中心)からの角度範囲を調整する(ステップS303)。ステップS303において処理部30は、ステップS302で抽出される部分のうち、ステップS301にて算出された範囲外の部分を除外してもよい。処理部30は、ステップS301で算出された範囲とステップS302で抽出される部分とが重複している場合、より広い範囲(ORとなる範囲)となるように角度範囲を調整してもよいし、より狭い範囲(ANDとなる範囲のみ)となるように角度範囲を調整してもよい。ステップS302及びステップS303の処理は必須ではない。
処理部30は、断層画像I1の中心から、病変部又は医療器具が存在する確率が高い角度範囲における最大角度の直線と、最小角度の直線と、算出されている内腔境界(又は血管境界)との交点の断層画像I1内での座標を算出する(ステップS304)。
処理部30は、ステップS301で算出した2点の座標それぞれと、血管中心の座標とを結ぶ直線の角度をそれぞれ算出し、記憶する(ステップS305)。ステップS305において処理部30は、断層画像I1の中心から画像内の垂直方向の上方に向けた線分と各直線との間の角度を算出する。
処理部30は、ステップS305で記憶した2点の座標に基づき、直線と内腔境界又は血管境界との交点の間を、スプライン曲線、円弧等によって結び、内腔境界又は血管境界を補正する(ステップS306)。
処理部30は、血管中心を基準とした角度範囲の算出処理を終了し、図10及び図11のフローチャートにおけるステップS112へ処理を戻す。
処理部30は、図12のフローチャートに示した処理手順のうち、ステップS302の処理を、ステップS305の処理後に実行してもよい。この場合、処理部30は以下のように処理を実行する。処理部30は、断層画像I1の中心から角度範囲の両端への2つの直線と、内腔境界又は血管境界との交点を算出し(S304)、その交点と、血管中心とを結んだ直線の角度を算出する(S305)。処理部30は、ステップS305で算出した角度の少なくとも2つの直線と、血管境界又は内腔境界とで描かれる扇型の形状内で、画素値が他よりも高い(周辺よりも白い)部分を抽出する(S302)。処理部30は、抽出された部分の大きさ及び形状に従って、血管中心を基準とする2つの直線の角度を変更してもよい。
図13A及び図13Bは、角度範囲の算出処理の説明図である。図13Aは、図9に示した断層画像I1に対して画像の中心から、存在確率が連続して所定の確率値以上である角度範囲を示している。図13Aでは、ステップS302で抽出される血管境界の曲線B2と内腔境界の曲線B1との間における画素値が他よりも高い部分(プラーク)が示されている。処理部30は、破線で示すように、この抽出された範囲に直線が接するようにステップS303で調整してもよい。
図13Aでは、断層画像I1の中心から、病変部又は医療器具が存在する確率が高い角度範囲における最大角度の直線と、最小角度の直線と、算出されている内腔境界の曲線B1及び血管境界の曲線B2との交点をそれぞれ、黒丸で示している。
図13Bは、図13Aに示した断層画像I1の画像中心からの角度範囲を、血管中心からの角度範囲として算出し直した結果を示す。図13B中、断層画像I1の画像中心からの角度範囲を一点鎖線により示している。角度の算出基準が、画像中心から血管中心へと変わったことにより、例えば第2モデル32Mから得られる確率分布から、病変部又は医療器具が存在する範囲は 148°~ 215°の範囲として算出されたところ、134°~ 223°と算出し直される。これにより、病変部を捉える角度を、解剖学的特徴を示すデータに基づきより正確に算出することが可能である。また、血管中心を基準とした角度範囲のデータにより、血管及び血管における病変部の構造をより正確に示す三次元画像を、イメージングデバイス11からの信号に基づき再現することが可能になる。処理部30は、血管中心を基準とした角度範囲のデータにより、血管境界及び内腔境界を算出し直すことも可能である。
図14は、内腔境界の補正処理の説明図である。図14Aは補正前の内腔境界の曲線B1を示し、図14Bは補正中の処理を示し、図14Cは、補正後の内腔境界の曲線B1を示す。内腔境界の曲線B1は、断層画像I1(又は矩形画像I0)に対する第1モデル31Mによるセグメンテーションを実施した結果、領域の境界として算出されるものである。しかしながら、断層画像I1に写っている血管の病変等によっては画素値が低くなり領域が識別しづらく、算出される境界の精度が低い場合がある。図14Aでは、病変部を写した範囲の影響により、曖昧な部分が中心側に凹んだような内腔境界の曲線B1が算出されている。
図14Bは、図14Aに示した画像に対して、病変部又は医療器具が存在する確率が高い角度範囲を示す直線と、内腔境界との交点を示す。処理部30は、2つの交点間の内腔境界を削除する。
図14Cは、補正後の内腔境界を示す。図14に示す補正後の内腔境界の曲線B1は、図14Bに示した交点間を、自然な内腔境界とするために、スプライン曲線によって結んだ曲線である。これにより、病変部又は医療器具を写したことによって画素値が低くなった部分についても、自然に結ばれた境界が描かれる。血管は弾性を有し、膜は滑らかな曲面を描くはずであって境界も滑らかであるはずなので、スプライン曲線で結ばれた曲線がより再現性が高い可能性がある。図14に経過を示した補正処理は、内腔境界のみならず血管境界に対しても適用可能である。
なお、図14Cで示した内腔境界の曲線B1の補正は、スプライン曲線のみならず、特定された血管中心оを中心とする円の円弧状に補正されてもよい。血管は弾性を有し、断面は略円形となることが自然である。
図15は、表示装置4に表示される画面400の例を示す。図15に示す画面400は、血管の長さ方向における位置を選択するカーソル401と、カーソル401に対応する位置における断層画像I1とを含む。画面400は、解剖学的特徴を示すデータのグラフ402を含む。グラフ402は、長軸上の位置に対する平均内腔径の分布、及び、プラーク範囲の割合の分布を示す。
図15の画面400に表示されている断層画像I1には、病変部又は医療器具が存在する角度範囲を、血管中心を基準にして表す画像(黒丸、直線及び破線)が示されている。画面400における断層画像I1の下方には、その位置の断層画像I1から算出された解剖学的特徴を示すデータと共に、角度範囲を示す数値が示されている。
図15に示したように、病変部又は医療器具等の物を捉える角度を、血管中心を基準とした角度で記述し直した結果を画面400上で、医療従事者は視認することが可能になる。これにより、医療従事者は施術用のカテーテルを挿入する場合に、病変部をどのような範囲に存在するかをイメージすることも可能である。
図16は、表示装置4における他の画面例を示す図である。図16の画面400は、血管の三次元画像403を含み、三次元画像403に、長軸上で移動可能なオブジェクトである立体的なカーソル401を含む。図16の符号Eで示すように、三次元画像403には、各断層画像I1に対して特定された病変を捉える角度範囲を長さ方向に繋げた画像が重畳されて表示される。これにより、血管内の病変部又は医療器具を立体的に捉えることが医療従事者にとって、より容易になる。
上述した処理手順を、異なる種類の病変部及び医療器具に適用した場合の例について説明する。図17は、内腔表層にのみ生じる病変を捉える角度を算出する例を示す。図17Aは、解離及びプロトリュージョンが写っている断層画像I1を第1モデル31Mへ入力して得られる内腔境界の曲線B1と血管境界の曲線B2を示す。図17Bは、断層画像I1を第2モデル32Mへ入力して得られる画像中心を基準とした病変部又は医療器具が存在する角度範囲を示す。図17Cは、血管中心を基準とした角度範囲を示す。
解離及びプロトリュージョンは、内腔の表層のみに生じる。したがってこの場合、S302の処理によって血管境界、内腔境界を参照した範囲内における画素値による部分抽出は不要である。処理部30は、図17Aから図17Cに示すように、画素値による抽出処理を行なうことなしに、断層画像I1の中心から角度範囲の両端への2つの直線と、内腔境界の曲線B1又は血管境界の曲線B2との交点を算出し、それらの交点と血管中心とを通る直線を求めて血管中心からの角度範囲を算出する。これにより、内腔表層のみに生じる病変を捉える角度を得ることができる。
図18は、石灰化したプラークを捉える角度を算出する例を示す。図18Aは、石灰化したプラークが写っている断層画像I1を第1モデル31Mへ入力して得られる内腔境界の曲線B1と血管境界の曲線B2を示す。図18Bは、断層画像I1を第2モデル32Mへ入力して得られる画像中心を基準とした病変部又は医療器具が存在する角度範囲を示す。図18Cは、血管中心を基準とした角度範囲を示す。
石灰化するプラークは、血管の内膜とEEMとの間にみられる。したがってこの場合、病変部が内腔境界と血管境界との間にみられる。処理部30は、プラークに関しては、ステップS301で算出した病変部の存在確率が所定の確率値以上である範囲であり、内腔境界と血管境界との間で、断層画像I1上で画素値によってプラークに該当する部分を抽出する(S302)。処理部30は、図18Bから図18Cに示すように、抽出した範囲を捉える血管中心からの角度範囲を算出する。これにより、内膜表層から血管境界(外弾性板)までの間に生じる病変を捉える角度を得ることができる。
石灰化したプラークに対する検出では、血管境界を補正することも効果的である。図18Cでは、太線の円弧にて血管境界を補正した補正境界を示す。石灰化したプラークは超音波を透過させず、イメージングデバイス11からプラークよりも奥の血管境界へ超音波が到達しない可能性がある。この場合、石灰化したプラークよりも外側の領域は画素値がかなり低い暗い部分となり、第1モデル31Mによるセグメンテーションの精度が下がる。このため、図19Cに示すように、断層画像I1の画像中心から角度範囲の両端への2つの直線と、血管境界の曲線B2との交点である2つの点の間を、血管中心の円の円弧で結ぶ補正、あるいは、スプライン曲線で結ぶ補正をすることが効果的である。このように、第2モデル32Mから得られる病変部又は医療器具を捉える角度範囲のデータは、境界補正にも使用可能である。
図19は、減衰性プラークを捉える角度を算出する例を示す。図19Aは、減衰性プラークが写っている断層画像I1を第1モデル31Mへ入力して得られる血管境界の曲線B2を示す。図19Bは、断層画像I1を第2モデル32Mへ入力して得られる画像中心を基準とした病変部又は医療器具が存在する角度範囲を示す。図19Cは、血管中心を基準とした角度範囲を示す。
減衰性プラークは、超音波を減衰させるために該当箇所が暗く映る。この場合、画素値が低く写っているため、領域識別及び境界算出の精度が低い。処理部30は、減衰性プラークに関しては、ステップS301で算出した病変部の存在確率が所定の確率値以上である範囲であり、血管境界よりも内側の領域内で、断層画像I1上で画素値が低いプラークに該当する部分を抽出する(S302)。処理部30は、図19Bから図19Cに示すように、抽出した範囲を捉える血管中心からの角度範囲を算出する。そして、境界を補正することも可能である(S306)。
図20は、血管に施されたステントを捉える角度を算出する例を示す。図20Aは、ステントが写っている断層画像I1を第1モデル31Mへ入力して得られる内腔境界の曲線B1及び血管境界の曲線B2を示す。図20Bは、断層画像I1を第2モデル32Mへ入力して得られる画像中心を基準とした病変部又は医療器具が存在する角度範囲を示す。図20Cは、血管中心を基準とした角度範囲を示す。
ステントは、内腔よりも内側に存在する場合と、内腔から成長したプラークに取り込まれて内腔境界と血管境界との間に存在する場合とがある。ステントは、超音波を反射するために明るく輝度が高く写る。なお、ステントは網目状であるため、病変部の存在確率が所定の確率値以上である範囲の連続性は問われない。処理部30は、ステントに関しては、ステップS301で算出した病変部の存在確率が所定の確率値以上である範囲であり、血管境界よりも内側の領域内で、断層画像I1上で画素値が高い部分を抽出する(S302)。処理部30は、ステントの断面の大きさから、抽出される部分の大きさでノイズを除去してもよい。処理部30は、図20Bから図20Cに示すように、抽出した範囲を捉える血管中心からの各ステントの網目の部分への角度範囲を算出する。
図21は、カテーテル1と共に挿入されているガイドワイヤWを捉える角度を算出する例を示す。図21Aは、ガイドワイヤWが写っている断層画像I1を第1モデル31Mへ入力して得られる内腔境界の曲線B1を示す。図21Bは、断層画像I1を第2モデル32Mへ入力して得られる画像中心を基準とした病変部又は医療器具が存在する角度範囲を示す。図21Cは、血管中心を基準とした角度範囲を示す。
ガイドワイヤWは、内腔よりも内側に存在する。ガイドワイヤWは、断層画像I1内で本体及び反響が写り、画素値が低く輝度が低く影のように写る。処理部30は、ガイドワイヤWに関しては、ステップS301で算出した病変部の存在確率が所定の確率値以上である範囲であり、内腔境界の曲線B1よりも内側の領域内で、断層画像I1上で画素値が低い部分を抽出する(S302)。処理部30は、図21Bから図21Cに示すように、抽出した範囲を捉える血管中心からのガイドワイヤWを捉える角度範囲を算出できる。
図10及び図11、並びに図12のフローチャートに示した処理により、病変部又は医療器具が存在する確率の角度分布を出力する第2モデル32Mと、内腔境界又は血管境界を特定するための第1モデル31Mを用い、血管中心の病変部等の角度範囲を得ることができる。図17から図21に示したように、多様な病変部及び医療器具に対して1つの第2モデル32Mを用いて角度範囲を得ることができるが、精度を向上させるために、病変部及び医療器具の種類別に第2モデル32Mを学習するとよい。
本実施形態では、カテーテル1と接続される画像処理装置3が、イメージングデバイス11からの信号に基づきほぼリアルタイムに断層画像I1を生成しつつ、病変部又は医療器具が存在する角度範囲を算出して表示装置4に表示させるものとして説明した。しかしながら、上述に説明した画像処理装置3による処理は、別途、イメージングデバイス11から得られる信号データに基づき事後的に行なわれてもよい。つまり、画像処理装置3は、カテーテル1のイメージングデバイス11に直接的に接続されているとは限らず、イメージングデバイス11からの信号を取得できればよい。画像処理装置3は、ネットワークを介してイメージングデバイス11からの信号を記憶した記憶装置を読み出し可能な装置、例えばサーバ装置であってもよい。つまり、例えば図10及び図11のフローチャートに示したステップS101-S104の処理手順を既存の処理装置で実施し、ステップS006-S116の処理を、該処理装置に接続される画像処理装置3で実行し、処理装置経由で表示装置4に表示させてもよい。
本実施形態では、医用画像を冠動脈に対するIVUSで得られた画像を例に説明した。しかしながら、適用対象はこれに限らず、OCT/OFDI等であってもよいし、管腔器官は血管に限らない。
上述のように開示された実施形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。
1 カテーテル
11 イメージングデバイス
3 画像処理装置(情報処理装置)
30 処理部
31 記憶部
3P コンピュータプログラム
31M 第1モデル
32M 第2モデル
4 表示装置
400 画面
I0 矩形画像(走査信号に基づく画像)
I1 断層画像(走査信号に基づく画像)

Claims (15)

  1. コンピュータが、
    管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによる走査信号を取得し、
    前記走査信号に基づく前記管腔器官の画像が入力された場合に、前記カテーテルの回転角度毎の病変部又は医療器具の存在確率を数列として出力する学習モデルを生成する
    モデル生成方法。
  2. 前記コンピュータは、前記病変部の種類、又は医療器具の種類別に前記学習モデルを生成する
    請求項1に記載のモデル生成方法。
  3. 前記コンピュータは、
    前記走査信号を回転角度の増減順に並べた矩形画像と、該矩形画像に対応付けられた前記回転角度毎の病変部又は医療器具の有無を示すデータとを教師データとして、前記学習モデルを生成する
    請求項1又は2に記載のモデル生成方法。
  4. 前記コンピュータは、
    前記走査信号に基づき得られる前記管腔器官の断層画像と、該断層画像に対応付けられた角度毎の病変部又は医療器具の有無を示すデータとを教師データとして、前記学習モデルを生成する
    請求項1又は2に記載のモデル生成方法。
  5. 管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによる走査信号に基づく画像が入力される入力層と、
    前記カテーテルの回転角度毎の病変部又は医療器具の存在確率を数列として出力する出力層と、
    前記画像と、該画像内の角度毎の病変部又は医療器具の有無を示すデータとを含む教師データに基づいて学習された中間層と、
    を備え、
    前記イメージングデバイスからの走査信号に基づく画像を前記入力層へ与え、前記中間層に基づいて演算し、前記画像に対応する前記存在確率を前記出力層から数列として出力するようにコンピュータを機能させるための、学習モデル。
  6. 管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによる走査信号を取得するコンピュータに、
    前記走査信号に基づく前記管腔器官の画像が入力された場合に、前記画像における前記管腔器官の内腔及び膜を含む異なる領域に識別したデータを出力する第1モデルと、
    前記画像が入力された場合に、前記イメージングデバイスの前記カテーテルの回転角度毎の病変部又は医療器具の存在確率を出力する第2モデルと、
    を用い、
    前記第1モデルにて識別された領域に基づく前記管腔器官の解剖学的特徴を示すパラメータと、前記第2モデルから得られる回転角度毎の存在確率とに基づき、前記管腔器官の中心から病変部又は医療器具を捉える角度範囲を算出する
    処理を実行させるコンピュータプログラム。
  7. 前記コンピュータに、
    前記第1モデルにて識別された領域に基づき前記管腔器官における内腔境界、又は、前記膜の外側に対応する器官境界を算出し、
    前記画像内の前記器官境界よりも内側の範囲、又は、前記器官境界よりも内側であって前記内腔境界よりも外側の範囲における前記病変部又は医療器具の範囲を抽出し、
    前記管腔器官の中心から病変部又は医療器具を捉える角度範囲を、前記抽出した範囲に基づき補正する
    処理を実行させる請求項6に記載のコンピュータプログラム。
  8. 前記コンピュータに、
    前記第1モデルにて識別された領域に基づき前記管腔器官における内腔境界、又は、前記膜の外側に対応する器官境界を算出し、
    算出された前記内腔境界又は器官境界の、前記管腔器官の中心から病変部又は医療器具を捉える角度範囲に含まれる一部を補正する
    処理を実行させる請求項6に記載のコンピュータプログラム。
  9. 前記コンピュータに、
    前記管腔器官の中心からプラークを捉える角度範囲を算出する
    処理を実行させる請求項6から請求項8のいずれか1項に記載のコンピュータプログラム。
  10. 前記コンピュータに、
    前記管腔器官の中心からステントを捉える角度範囲を算出する
    処理を実行させる請求項6から請求項8のいずれか1項に記載のコンピュータプログラム。
  11. 前記コンピュータに、
    前記管腔器官の中心からガイドワイヤを捉える角度範囲を算出する
    処理を実行させる請求項6から請求項8のいずれか1項に記載のコンピュータプログラム。
  12. 前記コンピュータに、
    算出された角度範囲に基づき、前記管腔器官の画像における前記病変部又は医療器具の範囲を描画し、表示装置に表示させる
    処理を実行させる請求項6から請求項のいずれか1項に記載のコンピュータプログラム。
  13. 前記コンピュータに、
    算出された角度範囲に基づき、前記管腔器官の構造を示す三次元画像における前記病変部又は医療器具の範囲を描画し、表示装置に表示させる
    処理を実行させる請求項6から請求項のいずれか1項に記載のコンピュータプログラム。
  14. 管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによる走査信号を取得するコンピュータが、
    前記走査信号に基づく前記管腔器官の画像が入力された場合に、前記画像における前記管腔器官の内腔及び膜を含む異なる領域に識別したデータを出力する第1モデルと、
    前記画像が入力された場合に、前記イメージングデバイスの前記カテーテルの回転角度毎の病変部又は医療器具の存在確率を出力する第2モデルと、
    を用い、
    前記第1モデルにて識別された領域に基づく前記管腔器官の解剖学的特徴を示すパラメータと、前記第2モデルから得られる回転角度毎の存在確率とに基づき、前記管腔器官の中心から病変部又は医療器具を捉える角度範囲を算出する
    情報処理方法。
  15. 管腔器官に挿入されて前記管腔器官の長さ方向を軸として回転しつつ長さ方向に移動するカテーテルに備えられたイメージングデバイスによる走査信号を取得する情報処理装置において、
    前記走査信号に基づく前記管腔器官の画像が入力された場合に、前記画像における前記管腔器官の内腔及び膜を含む異なる領域に識別したデータを出力する第1モデルと、
    前記画像が入力された場合に、前記イメージングデバイスの前記カテーテルの回転角度毎の病変部又は医療器具の存在確率を出力する第2モデルと、
    を記憶する記憶部と、
    前記走査信号に基づく画像処理を実行する処理部と
    を備え、
    前記処理部は、前記第1モデルにて識別された領域に基づく前記管腔器官の解剖学的特徴を示すパラメータと、前記第2モデルから得られる回転角度毎の存在確率とに基づき、前記管腔器官の中心から病変部又は医療器具を捉える角度範囲を算出する
    情報処理装置。
JP2023551597A 2021-09-30 2022-09-28 モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置 Active JP7776517B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021161694 2021-09-30
JP2021161694 2021-09-30
PCT/JP2022/036157 WO2023054467A1 (ja) 2021-09-30 2022-09-28 モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置

Publications (3)

Publication Number Publication Date
JPWO2023054467A1 JPWO2023054467A1 (ja) 2023-04-06
JPWO2023054467A5 JPWO2023054467A5 (ja) 2024-06-21
JP7776517B2 true JP7776517B2 (ja) 2025-11-26

Family

ID=85782839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023551597A Active JP7776517B2 (ja) 2021-09-30 2022-09-28 モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置

Country Status (2)

Country Link
JP (1) JP7776517B2 (ja)
WO (1) WO2023054467A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7365093B1 (ja) 2023-05-08 2023-10-19 康博 中島 医用画像処理装置、医用画像処理プログラムおよび医用画像処理方法
WO2025205753A1 (ja) * 2024-03-28 2025-10-02 テルモ株式会社 情報処理方法、情報処理装置及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013543786A (ja) 2010-11-24 2013-12-09 ボストン サイエンティフィック サイムド,インコーポレイテッド 身体内腔分岐を検出及び表示するためのシステム及び方法
JP2017537768A (ja) 2014-12-12 2017-12-21 ライトラボ・イメージング・インコーポレーテッド 血管内の特徴を検出し且つ表示するためのシステム及び方法
US20200226422A1 (en) 2019-01-13 2020-07-16 Lightlab Imaging, Inc. Systems and methods for classification of arterial image regions and features thereof
WO2021039101A1 (ja) 2019-08-27 2021-03-04 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5213173B2 (ja) * 2008-09-29 2013-06-19 国立大学法人山口大学 スパースコーディングを用いた組織性状判別
CN106413565B (zh) * 2013-12-20 2019-12-17 皇家飞利浦有限公司 自动超声波束操纵和探针伪影抑制

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013543786A (ja) 2010-11-24 2013-12-09 ボストン サイエンティフィック サイムド,インコーポレイテッド 身体内腔分岐を検出及び表示するためのシステム及び方法
JP2017537768A (ja) 2014-12-12 2017-12-21 ライトラボ・イメージング・インコーポレーテッド 血管内の特徴を検出し且つ表示するためのシステム及び方法
US20200226422A1 (en) 2019-01-13 2020-07-16 Lightlab Imaging, Inc. Systems and methods for classification of arterial image regions and features thereof
WO2021039101A1 (ja) 2019-08-27 2021-03-04 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法

Also Published As

Publication number Publication date
WO2023054467A1 (ja) 2023-04-06
JPWO2023054467A1 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
JP7626704B2 (ja) 動脈画像領域及びそれらの特徴を分類するシステム及びその作動方法
JP7023715B2 (ja) 血管内のステントストラットカバレッジを決定するためのシステムの作動方法及びステント留置された領域を検出するための血管内画像化システムのプログラム可能なプロセッサベースのコンピュータ装置
JP2018519019A (ja) 血管内画像化システムインターフェイス及び影検出方法
CN115334976B (zh) 计算机程序、信息处理方法、信息处理装置以及模型生成方法
JP7776517B2 (ja) モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置
US20230017334A1 (en) Computer program, information processing method, and information processing device
WO2022071265A1 (ja) プログラム、情報処理装置及び情報処理方法
WO2022071264A1 (ja) プログラム、モデル生成方法、情報処理装置及び情報処理方法
US20240013386A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP2022055170A (ja) コンピュータプログラム、画像処理方法及び画像処理装置
JP7686525B2 (ja) コンピュータプログラム、情報処理方法、及び情報処理装置
JP2025100867A (ja) コンピュータプログラム、情報処理方法、及び情報処理装置
JP7581331B2 (ja) プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム
WO2024071251A1 (ja) コンピュータプログラム、情報処理方法、情報処理装置、及び学習モデル
US20240013434A1 (en) Program, information processing method, and information processing device
US12283048B2 (en) Diagnosis support device, diagnosis support system, and diagnosis support method
CN119184743A (zh) 病灶动态跟踪方法、装置和计算机存储介质
US20250221625A1 (en) Image diagnostic system, image diagnostic method, and storage medium
JP7686523B2 (ja) コンピュータプログラム、情報処理方法、及び情報処理装置
JP2024050056A (ja) コンピュータプログラム、学習モデル、情報処理方法、及び情報処理装置
JP7680325B2 (ja) コンピュータプログラム、情報処理装置及び情報処理方法
US20250248664A1 (en) Image diagnostic system and method
US20240008849A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
WO2025070549A1 (ja) 画像診断装置、カテーテル画像表示方法、及びコンピュータプログラム
JP2025052747A (ja) 情報処理方法、プログラム及び情報処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251113

R150 Certificate of patent or registration of utility model

Ref document number: 7776517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150