[go: up one dir, main page]

JP7373335B2 - 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム - Google Patents

医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム Download PDF

Info

Publication number
JP7373335B2
JP7373335B2 JP2019169600A JP2019169600A JP7373335B2 JP 7373335 B2 JP7373335 B2 JP 7373335B2 JP 2019169600 A JP2019169600 A JP 2019169600A JP 2019169600 A JP2019169600 A JP 2019169600A JP 7373335 B2 JP7373335 B2 JP 7373335B2
Authority
JP
Japan
Prior art keywords
image
medical image
unit
acquired
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019169600A
Other languages
English (en)
Other versions
JP2021045337A (ja
Inventor
駿平 加門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2019169600A priority Critical patent/JP7373335B2/ja
Priority to US17/008,650 priority patent/US12362061B2/en
Publication of JP2021045337A publication Critical patent/JP2021045337A/ja
Priority to JP2022192606A priority patent/JP7387859B2/ja
Application granted granted Critical
Publication of JP7373335B2 publication Critical patent/JP7373335B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Endoscopes (AREA)

Description

本発明は医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラムに関する。
内視鏡画像等に対してＡＩ技術等を導入し、病変の検出及び診断支援を行うシステムは、病変の見落とし率を低下させ、不要な生検の削減に繋がるとして注目を集めている。このようなシステムは、内視鏡検査の実施中においてリアルタイムに動作して、認識結果等の画面表示を実施するなどの医師への報知を実現する。なお、ＡＩはArtificial Intelligenceの省略語である。
特許文献１は、通常光観察用の照明を用いて撮像された通常光観察画像と、特殊光観察用の照明を用いて撮像された特殊光観察画像を生成する内視鏡装置が記載されている。同文献に記載の装置は、通常光観察画像及び特殊光観察画像を同時に表示させる表示モードにおいてフリーズボタンが押下された場合に、通常光観察画像の静止画像及び特殊光観察画像の静止画像を同時に表示させる。
その際に、同装置はフリーズ指示信号の入力から一定期間、通常光観察画像及び特殊光観察画像のそれぞれの連続する二フレームの動き量を算出し、動き量が最小となる場合にフリーズメモリの画像を更新する。同装置は、一定期間が経過したタイミングにおいてフリーズメモリ記憶されている画像を表示させる。これにより、ぶれがないか又はぶれが少ない静止画像の表示を実現している。
特開２０１２－２３９７５７号公報
しかしながら、実際の内視鏡検査では、体動などの影響に起因する観察画像の変動が大きく、認識処理の結果が安定して得られないことによって、医師が認識処理の結果を確認することが困難な場合が発生し得る。これに対して、医師は内視鏡検査中にフリーズ指示操作等を実施して、観察画像の確認及び認識処理の結果の確認が可能である。しかし、適切なタイミングにおいてフリーズ指示操作を行い、操作者が意図する観察画像を得ることが困難であるという課題が存在する。フリーズ指示操作に基づく操作者が意図する静止画像の取得が困難な場合の例として、数フレームに渡って注目領域が検出できない場合及び注目領域の病種等が分類できず、分類不能と判断される場合等が挙げられる。
内視鏡検査において、連続する二フレームについて認識処理の結果が安定して得られるとは限らない。そうすると、特許文献１に記載の装置は、通常光観察画像の全体の動き及び特殊光画像の全体の動きが最小となる画像を表示対象とするものであり、通常光観察画像等の全体の動きが最小となる画像であったとしても、認識処理の結果が得られていない場合があり得る。
なお、上記した内視鏡検査における課題は、ＣＴ装置等の内視鏡システム以外の医用画像の撮像等を実施する装置においても同様に存在する。
本発明はこのような事情に鑑みてなされたもので、注目領域に関する認識結果が得られ、認識結果が操作者の意図に合致する医用画像の記憶及び表示を実施し得る、医用画像処理装置、プロセッサ装置、医用画像処理方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、次の発明態様を提供する。
第１態様に係る医用画像処理装置は、医用画像を取得する画像取得部と、画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、ユーザ入力信号を取得した場合に、認識処理部を用いて実施された認識処理において注目領域に関する認識処理の結果が得られている医用画像から、医用画像を選択する選択部と、を備えた医用画像処理装置である。
第１態様によれば、注目領域に関する認識処理の結果が得られた医用画像から、医用画像が選択される。これにより、選択部は認識結果が得られ、認識結果が操作者の意図に合致する医用画像を選択し得る。
医用画像は、動画像でもよいし、複数の静止画像を含む静止画像群でもよい。医用画像の一例として、内視鏡画像が挙げられる。
医用画像の取得は、医用画像を生成する撮像装置から取得してもよいし、撮像装置を用いて取得した医用画像を記憶する記憶装置から取得してもよい。
医用画像の注目領域は、画素値等に基づく特徴量が周辺と区別される領域を表す。
選択部の選択対象とされる医用画像は、認識処理部の認識結果に基づき更新される一つの医用画像を適用し得る。選択部の選択対象とされる医用画像は、認識処理部の認識結果が得られた複数の医用画像を適用し得る。
第２態様は、第１態様の医用画像処理装置において、選択部は、ユーザ入力信号を取得したタイミングの近傍のタイミングにおいて、画像取得部を用いて取得し、注目領域に関する認識処理の結果が得られている医用画像から、医用画像を選択する構成としてもよい。
第２態様によれば、選択部はユーザ入力信号の取得タイミングの近傍タイミングにおける医用画像を選択し得る。
ユーザ入力信号の取得タイミングの近傍タイミングは、ユーザ入力信号の取得タイミングよりも前でもよいし、ユーザ入力信号の取得タイミングよりも後でもよい。ユーザ入力信号の取得タイミングの近傍タイミングは、ユーザ入力信号の取得タイミングでもよい。
近傍は、医用画像の取得周期及び医用画像の認識結果等に応じて規定し得る。
第３態様は、第１態様又は第２態様の医用画像処理装置において、選択部を用いて選択された医用画像を表示する表示部を備え、表示部は、ユーザ入力信号を取得したタイミングから一定期間、選択部を用いて選択された医用画像を表示する構成としてもよい。
第３態様によれば、医用画像の静止画像を表示させる旨のユーザ入力信号を取得した際に、表示部は選択部を用いて選択された医用画像を一定期間、表示し得る。
一定期間は、医用画像の取得周期及び医用画像の認識結果等に応じて規定し得る。
第４態様は、第３態様の医用画像処理装置において、認識処理部を用いた医用画像に対する認識結果に応じて、処理対象の医用画像に処理を施す処理部を備え、表示部は、処理部を用いて処理が実施された医用画像を表示する構成としてもよい。
第４態様によれば、表示部は処理部を用いて規定の処理が施された医用画像を表示し得る。
処理の例として、注目領域の強調処理が挙げられる。強調処理の例として、注目領域の少なくとも一部を囲む閉曲線の重畳表示、処理注目領域を指す矢印の重畳表示及び注目領域の四隅への図形の重畳表示等が挙げられる。
表示部は、処理部を用いた処理の処理結果を表示してもよい。
第５態様は、第１態様から第３態様のいずれか一態様の医用画像処理装置において、選択部を用いて選択された医用画像を記憶する選択画像記憶部を備えた構成としてもよい。
第５態様によれば、選択画像記憶部は選択された医用画像を記憶し得る。
第６態様は、第５態様の医用画像処理装置において、選択画像記憶部は、記憶対象の医用画像に対する認識処理の結果を関連付けして、記憶対象の医用画像を記憶する構成としてもよい。
第６態様によれば、選択画像記憶部は選択された医用画像に対する認識処理の結果と関連付けして記憶し得る。
第７態様は、第５態様又は第６態様の医用画像処理装置において、認識処理部を用いた医用画像に対する認識結果に応じて、処理対象の医用画像に処理を施す処理部を備え、選択画像記憶部は、処理部を用いて処理が実施された医用画像を記憶する構成としてもよい。
第７態様によれば、選択画像記憶部は処理部を用いて処理が施された医用画像を記憶し得る。
選択画像記憶部は、処理部を用いた医用画像は処理結果を重畳させた処理済み画像を記憶してもよいし、処理結果を医用画像と別のファイルとして記憶してもよい。
第８態様は、第１態様から第７態様のいずれか一態様の医用画像処理装置において、画像取得部を用いて取得した医用画像の画質を評価する画質評価部を備え、選択部は、画質評価部を用いた医用画像の画質評価結果に応じて医用画像を選択する構成としてもよい。
第８態様によれば、選択部は医用画像の画質に応じて医用画像を選択し得る。
第９態様は、第８態様の医用画像処理装置において、画質評価部は、評価対象の医用画像のぼけ、ぶれ、明るさ、ノイズの有無及び鮮明度の少なくともいずれかを評価する構成としてもよい。
第９態様によれば、選択部は、ぼけ、ぶれ、明るさ、ノイズの有無及び鮮明度の少なくともいずれかの観点を適用して画質の評価がされた医用画像を選択し得る。
第１０態様は、第１態様から第９態様のいずれか一態様の医用画像処理装置において、選択部は、ユーザ入力信号の取得タイミングと画像取得部を用いて医用画像を取得したタイミングとの間の期間に基づき医用画像を選択する構成としてもよい。
第１０態様によれば、選択部はユーザ入力信号の取得タイミングから最短期間に取得した医用画像を選択し得る。
第１１態様は、第１態様から第１０態様のいずれか一態様の医用画像処理装置において、認識処理部は、処理対象の医用画像における注目領域を検出し、選択部は、注目領域が検出された医用画像を選択する構成としてもよい。
第１１態様によれば、認識部は医用画像に対する認識処理として注目領域の検出処理を適用し得る。
第１２態様は、第１態様から第１１態様のいずれか一態様の医用画像処理装置において、認識処理部は、処理対象の医用画像を規定の一以上のクラスに分類する分類部を備え、選択部は、予め定めたクラスに分類される医用画像を選択する構成としてもよい。
第１２態様によれば、分類部は医用画像に対する認識処理として医用画像の分類処理を実施し得る。
分類結果は正解確率を適用して表現し得る。
第１３態様は、第１態様から第１２態様のいずれか一態様の医用画像処理装置において、認識処理部は、処理対象の医用画像を測定する測定部を備え、選択部は、測定部を用いて測定した値が予め定めた閾値以上である医用画像を選択する構成としてもよい。
第１３態様によれば、測定部は医用画像に対する認識処理として医用画像の測定を実施し得る。
第１４態様は、第１態様から第１３態様のいずれか一態様の医用画像処理装置において、取得画像記憶部は、規定の期間において画像取得部を用いて取得する複数の医用画像を記憶する構成としてもよい。
第１４態様によれば、選択部は取得画像記憶部に記憶される複数の医用画像を選択対象とし得る。
第１５態様は、第１態様から第１３態様のいずれか一態様の医用画像処理装置において、取得画像記憶部は、規定の期間において画像取得部を用いて取得する複数の医用画像について、認識処理部を用いた認識処理の結果に応じて、記憶対象の医用画像を更新する構成としてもよい。
第１５態様によれば、選択部は取得画像記憶部に記憶される最新の医用画像を選択対象とし得る。
第１６態様に係るプロセッサ装置は、内視鏡を制御する内視鏡制御部と、医用画像を取得する画像取得部と、画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、ユーザ入力信号を取得した場合に、認識処理部を用いて実施された認識処理において注目領域に関する認識処理の結果が得られている医用画像から、医用画像を選択する選択部と、を備えたプロセッサ装置である。
第１６態様によれば、第１態様と同様の効果を得ることができる。
第１６態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプロセッサ装置の構成要素として把握することができる。
第１７態様に係る内視鏡システムは、内視鏡と、内視鏡を制御するプロセッサ装置と、内視鏡を用いて取得した内視鏡画像に処理を施す医用画像処理装置と、を備えた内視鏡システムであって、医用画像処理装置は、内視鏡を制御する内視鏡制御部と、医用画像を取得する画像取得部と、画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、ユーザ入力信号を取得した場合に、認識処理部を用いて実施された認識処理において注目領域に関する認識処理の結果が得られている医用画像から、医用画像を選択する選択部と、を備えた内視鏡システムである。
第１７態様によれば、第１態様と同様の効果を得ることができる。
第１７態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う内視鏡システムの構成要素として把握することができる。
第１８態様に係る医用画像処理方法は、医用画像を取得する画像取得工程と、画像取得工程において取得した医用画像を記憶する取得画像記憶工程と、画像取得工程において取得した医用画像に対して認識処理を施す認識処理工程と、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得工程と、ユーザ入力信号を取得した場合に、認識処理工程において実施された認識処理において注目領域に関する認識処理の結果が得られた医用画像から、医用画像を選択する選択工程と、を含む医用画像処理方法である。
第１８態様によれば、第１態様と同様の効果を得ることができる。
第１８態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う医用画像処理方法の構成要素として把握することができる。
第１９態様に係るプログラムは、コンピュータに、医用画像を取得する画像取得機能、画像取得機能を用いて取得した医用画像を記憶する取得画像記憶機能、画像取得機能を用いて取得した医用画像の注目領域に対して認識処理を施す認識処理機能、ユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得機能及びユーザ入力信号を取得した場合に、認識処理機能を用いて実施された認識処理において注目領域に関する認識処理の結果が得られた医用画像から、医用画像を選択する選択機能を実現させるプログラムである。
第１９態様によれば、第１態様と同様の効果を得ることができる。
第１９態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、医用画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
本発明によれば、注目領域に関する認識処理の結果が得られた医用画像から、医用画像が選択される。これにより、選択部は認識結果が得られ、認識結果が操作者の意図に合致する医用画像を選択し得る。
図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。 図２は内視鏡システムの機能ブロック図である。 図３は医用画像処理装置の機能ブロック図である。 図４は第一実施形態に係る医用画像処理方法の手順を示すフローチャートである。 図５は注目領域の検出結果の表示例を示す内視鏡画像の模式図である。 図６は注目領域の分類結果の表示例を示す内視鏡画像の模式図である。 図７は注目領域の測定結果の表示例を示す内視鏡画像の模式図である。 図８はユーザ指示入力信号取得タイミングの以前のフレーム画像を選択対象とする場合の模式図である。 図９はユーザ指示入力信号取得タイミングの以後のフレーム画像を選択対象とする場合の模式図である。 図１０はユーザ指示入力信号取得タイミングの前後のフレーム画像を選択対象とする場合の模式図である。 図１１は選択対象のフレーム画像の他の例を示す模式図である。 図１２は第二実施形態に係る医用画像処理装置の機能ブロック図である。 図１３は第二実施形態に係る医用画像処理方法の手順を示すフローチャートである。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。
［内視鏡システムの全体構成］
図１は実施形態に係る医用画像処理装置を含む内視鏡システムの全体構成図である。内視鏡システム１０は、内視鏡本体１００、プロセッサ装置２００、光源装置３００及びモニタ４００を備える。なお、同図には内視鏡本体１００に具備される先端硬質部１１６の一部を拡大して図示する。
〔内視鏡本体の構成例〕
内視鏡本体１００は、手元操作部１０２及び挿入部１０４を備える。ユーザは、手元操作部１０２を把持して操作し、挿入部１０４を被検体の体内に挿入して、被検体の体内を観察する。なお、ユーザは医師及び術者等と同義である。また、ここでいう被検体は患者及び被検査者と同義である。
手元操作部１０２は、送気送水ボタン１４１、吸引ボタン１４２、機能ボタン１４３及び撮像ボタン１４４を備える。送気送水ボタン１４１は送気指示及び送水指示の操作を受け付ける。
吸引ボタン１４２は吸引指示を受け付ける。機能ボタン１４３は各種の機能が割り付けられる。機能ボタン１４３は各種機能の指示を受け付ける。撮像ボタン１４４は、撮像指示操作を受け付ける。撮像は動画像撮像及び静止画像撮像が含まれる。
挿入部１０４は、軟性部１１２、湾曲部１１４及び先端硬質部１１６を備える。軟性部１１２、湾曲部１１４及び先端硬質部１１６は、手元操作部１０２の側から、軟性部１１２、湾曲部１１４及び先端硬質部１１６の順に配置される。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続され、挿入部１０４の基端側に手元操作部１０２が接続される。
ユーザは、手元操作部１０２を操作し湾曲部１１４を湾曲させて、先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６は、撮像部、照明部及び鉗子口１２６を備える。
図１では撮像部を構成する撮影レンズ１３２を図示する。また、同図では照明部を構成する照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを図示する。なお、撮像部は符号１３０を付して図２に図示する。また、照明部は符号１２３を付して図２に図示する。
観察及び処置の際に、図２に示す操作部２０８の操作に応じて、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを介して、白色光及び狭帯域光の少なくともいずれかが出力される。
送気送水ボタン１４１が操作された場合、送水ノズルから洗浄水が放出されるか、又は送気ノズルから気体が放出される。洗浄水及び気体は照明用レンズ１２３Ａ等の洗浄に用いられる。なお、送水ノズル及び送気ノズルの図示は省略する。送水ノズル及び送気ノズルを共通化してもよい。
鉗子口１２６は管路と連通する。管路は処置具が挿入される。処置具は適宜進退可能に支持される。腫瘍等の摘出等の際に、処置具を適用して必要な処置が実施される。
図２は内視鏡システムの機能ブロック図である。内視鏡本体１００は、撮像部１３０を備える。撮像部１３０は先端硬質部１１６の内部に配置される。撮像部１３０は、撮影レンズ１３２、撮像素子１３４、駆動回路１３６及びアナログフロントエンド１３８を備える。なお、図２に示すＡＦＥはAnalog Front Endの省略語である。
撮影レンズ１３２は先端硬質部１１６の先端側端面１１６Ａに配置される。撮影レンズ１３２の先端側端面１１６Ａと反対側の位置には、撮像素子１３４が配置される。撮像素子１３４は、ＣＭＯＳ型のイメージセンサが適用される。撮像素子１３４はＣＣＤ型のイメージセンサを適用してもよい。なお、ＣＭＯＳはComplementary Metal-Oxide Semiconductorの省略語である。ＣＣＤはCharge Coupled Deviceの省略語である。
撮像素子１３４はカラー撮像素子が適用される。カラー撮像素子の例としてＲＧＢに対応するカラーフィルタを備えた撮像素子が挙げられる。なお、ＲＧＢは赤、緑及び青のそれぞれの英語表記であるred、green及びyellowの頭文字である。
撮像素子１３４はモノクロ撮像素子を適用してもよい。撮像素子１３４にモノクロ撮像素子が適用される場合、撮像部１３０は、撮像素子１３４の入射光の波長帯域を切り替えて、面順次又は色順次の撮像を実施し得る。
駆動回路１３６は、プロセッサ装置２００から送信される制御信号に基づき、撮像素子１３４の動作に必要な各種のタイミング信号を撮像素子１３４へ供給する。
アナログフロントエンド１３８は、アンプ、フィルタ及びＡＤコンバータを備える。なお、ＡＤはアナログ及びデジタルのそれぞれの英語表記であるanalog及びdigitalの頭文字である。アナログフロントエンド１３８は、撮像素子１３４の出力信号に対して、増幅、ノイズ除去及びアナログデジタル変換等の処理を施す。アナログフロントエンド１３８の出力信号は、プロセッサ装置２００へ送信される。
観察対象の光学像は、撮影レンズ１３２を介して撮像素子１３４の受光面に結像される。撮像素子１３４は、観察対象の光学像を電気信号へ変換する。撮像素子１３４から出力される電気信号は、信号線を介してプロセッサ装置２００へ送信される。
照明部１２３は先端硬質部１１６に配置される。照明部１２３は、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂを備える。照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂは、先端側端面１１６Ａにおける撮影レンズ１３２の隣接位置に配置される。
照明部１２３は、ライトガイド１７０を備える。ライトガイド１７０の射出端は、照明用レンズ１２３Ａ及び照明用レンズ１２３Ｂの先端側端面１１６Ａと反対側の位置に配置される。
ライトガイド１７０は、図１に示す挿入部１０４、手元操作部１０２及びユニバーサルケーブル１０６に挿入される。ライトガイド１７０の入射端は、ライトガイドコネクタ１０８の内部に配置される。
〔プロセッサ装置の構成例〕
プロセッサ装置２００は、画像入力コントローラ２０２、画像処理部２０４及びビデオ出力部２０６を備える。画像入力コントローラ２０２は、内視鏡本体１００から送信される、観察対象の光学像に対応する電気信号を取得する。
画像処理部２０４は、観察対象の光学像に対応する電気信号である撮像信号に基づき、観察対象の内視鏡画像を生成する。なお、本明細書における画像という用語は、画像自体及び画像を表す画像データの意味を含み得る。画像は動画像及び静止画像を含み得る。なお、内視鏡画像は符号３８を付して図３に図示する。
画像処理部２０４は、撮像信号に対してホワイトバランス処理及びシェーディング補正処理等のデジタル信号処理を適用した画質補正を実施し得る。画像処理部２０４は、ＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。
ビデオ出力部２０６は、画像処理部２０４を用いて生成された画像を表す表示信号をモニタ４００へ送信する。モニタ４００は観察対象の画像を表示する。
プロセッサ装置２００は、図１に示す撮像ボタン１４４が操作された際に、内視鏡本体１００から送信される撮像指示信号に応じて、画像入力コントローラ２０２及び画像処理部２０４等を動作させる。
プロセッサ装置２００は、内視鏡本体１００から静止画像撮像を表すフリーズ指示信号を取得した場合に、画像処理部２０４を適用して、撮像ボタン１４４の操作タイミングにおけるフレーム画像に基づく静止画像を生成する。プロセッサ装置２００は、モニタ４００を用いて静止画像を表示させる。なお、フレーム画像は符号３８Ｂを付して図３に図示する。静止画像は符号３９を付して図３に図示する。
プロセッサ装置２００は通信制御部２０５を備える。通信制御部２０５は、病院内システム及び病院内ＬＡＮ等を介して通信可能に接続される装置との通信を制御する。通信制御部２０５はＤＩＣＯＭ規格に準拠した通信プロトコルを適用し得る。なお、病院内システムの例として、ＨＩＳ（Hospital Information System）が挙げられる。ＬＡＮはLocal Area Networkの省略語である。
プロセッサ装置２００は記憶部２０７を備える。記憶部２０７は、内視鏡本体１００を用いて生成された内視鏡画像を記憶する。記憶部２０７は、内視鏡画像に付帯する各種情報を記憶してもよい。
プロセッサ装置２００は操作部２０８を備える。操作部２０８はユーザの操作に応じた指示信号を出力する。操作部２０８は、キーボード、マウス及びジョイスティック等を適用し得る。
プロセッサ装置２００は、音声処理部２０９及びスピーカ２０９Ａを備える。音声処理部２０９は音声として報知される情報を表す音声信号を生成する。スピーカ２０９Ａは、音声処理部２０９を用いて生成された音声信号を音声へ変換する。スピーカ２０９Ａから出力される音声の例として、メッセージ、音声ガイダンス及び警告音等が挙げられる。
プロセッサ装置２００は、ＣＰＵ２１０、ＲＯＭ２１１及びＲＡＭ２１２を備える。なお、ＣＰＵはCentral Processing Unitの省略語である。ＲＯＭはRead Only Memoryの省略語である。ＲＡＭはRandom Access Memoryの省略語である。
ＣＰＵ２１０は、プロセッサ装置２００の全体制御部として機能する。ＣＰＵ２１０は、ＲＯＭ２１１及びＲＡＭ２１２を制御するメモリコントローラとして機能する。ＲＯＭ２１１は、プロセッサ装置２００に適用される各種のプログラム及び制御パラメータ等が記憶される。
ＲＡＭ２１２は各種処理におけるデータの一時記憶領域及びＣＰＵ２１０を用いた演算処理の処理領域に適用される。ＲＡＭ２１２は内視鏡画像を取得した際のバッファメモリに適用し得る。
プロセッサ装置２００は、内視鏡本体１００を用いて生成された内視鏡画像に対して各種の処理を実施し、モニタ４００を用いて内視鏡画像及び内視鏡画像に付帯する各種情報を表示させる。プロセッサ装置２００は、内視鏡画像及び内視鏡画像に付帯する各種情報を記憶する。
すなわち、プロセッサ装置２００は、内視鏡本体１００を用いた内視鏡検査において、モニタ４００を用いた内視鏡画像等の表示、スピーカ２０９Ａを用いた音声情報の出力及び内視鏡画像に対する各種処理を実施する。
プロセッサ装置２００は、画像処理部２０４などの構成要素を用いて、医用画像に対して規定の処理を実施する医用画像処理装置として機能し得る。規定の処理の例として、注目領域の検出処理、注目領域の強調処理、注目領域の分類処理及び注目領域の測定処理等が挙げられる。
〔プロセッサ装置のハードウェア構成〕
プロセッサ装置２００はコンピュータを適用し得る。コンピュータは、以下のハードウェアを適用し、規定のプログラムを実行してプロセッサ装置２００の機能を実現し得る。なお、プログラムはソフトウェアと同義である。
プロセッサ装置２００は、信号処理を実施する信号処理部として各種のプロセッサを適用し得る。プロセッサの例として、ＣＰＵ及びＧＰＵ（Graphics Processing Unit）が挙げられる。ＣＰＵはプログラムを実行して信号処理部として機能する汎用的なプロセッサである。ＧＰＵは画像処理に特化したプロセッサである。プロセッサのハードウェアは、半導体素子等の電気回路素子を組み合わせた電気回路が適用される。各制御部は、プログラム等が記憶されるＲＯＭ及び各種演算の作業領域等であるＲＡＭを備える。
一つの信号処理部に対して二つ以上のプロセッサを適用してもよい。二つ以上のプロセッサは、同じ種類のプロセッサでもよいし、異なる種類のプロセッサでもよい。また、複数の信号処理部に対して一つのプロセッサを適用してもよい。なお、実施形態に記載のプロセッサ装置２００は内視鏡制御部の一例に相当する。
〔光源装置の構成例〕
光源装置３００は、光源３１０、絞り３３０、集光レンズ３４０及び光源制御部３５０を備える。光源装置３００は、ライトガイド１７０へ観察光を入射させる。光源３１０は、赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂを備える。赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂはそれぞれ、赤色、緑色及び青色の狭帯域光を放出する。
光源３１０は、赤色、緑色及び青色の狭帯域光を任意に組み合わせた照明光を生成し得る。例えば、光源３１０は赤色、緑色及び青色の狭帯域光を組み合わせて白色光を生成し得る。また、光源３１０は赤色、緑色及び青色の狭帯域光の任意の二色を組み合わせて狭帯域光を生成し得る。
光源３１０は赤色、緑色及び青色の狭帯域光の任意の一色を用いて狭帯域光を生成し得る。光源３１０は、白色光又は狭帯域光を選択的に切り替えて放出し得る。なお、狭帯域光は特殊光と同義である。光源３１０は、赤外光を放出する赤外光源及び紫外光を放出する紫外光源等を備え得る。
光源３１０は、白色光を放出する白色光源、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを備える態様を採用し得る。かかる態様の光源３１０は、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを切り替えて、白色光又は狭帯域光のいずれかを選択的に放出し得る。
狭帯域光を通過させるフィルタは、異なる帯域に対応する複数のフィルタが含まれ得る。光源３１０は、異なる帯域に対応する複数のフィルタを選択的に切り替えて、帯域が異なる複数の狭帯域光を選択的に放出し得る。
光源３１０は、観察対象の種類及び観察の目的等に応じた、種類及び波長帯域等を適用し得る。光源３１０の種類の例として、レーザ光源、キセノン光源及びＬＥＤ光源等が挙げられる。なお、ＬＥＤはLight-Emitting Diodeの省略語である。
光源装置３００へライトガイドコネクタ１０８が接続された際に、光源３１０から放出された観察光は、絞り３３０及び集光レンズ３４０を介して、ライトガイド１７０の入射端へ到達する。観察光は、ライトガイド１７０及び照明用レンズ１２３Ａ等を介して、観察対象へ照射される。
光源制御部３５０は、プロセッサ装置２００から送信される指示信号に基づき、光源３１０及び絞り３３０へ制御信号を送信する。光源制御部３５０は、光源３１０から放出される観察光の照度、観察光の切り替え及び観察光のオンオフ等を制御する。
［第一実施形態に係る医用画像処理装置の構成例］
〔概要〕
第一実施形態に係る医用画像処理装置１４は、図１に示す内視鏡システム１０などのリアルタイムで被検体の診断を行うシステム等において、医用画像の認識処理を実施する。リアルタイムで被検体の診断を行うシステム等の他の例として、ＣＴ装置、ＭＲＩ装置及び超音波診断装置が挙げられる。
なお、ＣＴはComputed Tomographyの省略語である。ＭＲＩはMagnetic Resonance Imagingの省略語である。超音波診断装置は、超音波検査装置及び超音波装置等と呼ばれる装置が含まれ得る。
図３は第一実施形態に係る医用画像処理装置の機能ブロック図である。同図に示す医用画像処理装置１４は、図２に示すプロセッサ装置２００の構成要素を適用して実現される。医用画像処理装置１４は、画像取得部４０、画像認識部４２、表示制御部４４、記憶部４６、画像選択部４８及び入力受付部５０を備える。以下、各部について説明する。
〔画像取得部〕
画像取得部４０は、図１に示す内視鏡本体１００を用いて撮像した内視鏡画像３８を取得する。以下、内視鏡画像３８の取得は、動画像３８Ａの取得、フレーム画像３８Ｂの取得及び静止画像３９の取得を含み得る。
画像取得部４０は、内視鏡画像３８を内視鏡画像記憶部４６Ａへ記憶する。画像取得部４０は、内視鏡画像３８を表す信号を伝送するケーブルを介して、プロセッサ装置２００から内視鏡画像３８を取得してもよい。
画像取得部４０は、メモリカード等の情報記憶媒体を介して、プロセッサ装置２００から内視鏡画像３８を取得してもよい。画像取得部４０は、通信ネットワークを介して内視鏡画像３８を取得してもよい。
画像取得部４０は、時系列のフレーム画像３８Ｂから構成される動画像３８Ａを取得し得る。画像取得部４０は動画像３８Ａの撮像途中に静止画像撮像が実施された場合に、静止画像３９を取得し得る。画像取得部４０は、図２に示す画像入力コントローラ２０２に対応する。
〔画像認識部〕
画像認識部４２は、注目領域検出部４２Ａ、分類部４２Ｂ及び測定部４２Ｃを備える。画像認識部４２は、内視鏡画像３８を構成するフレーム画像３８Ｂに対して認識処理を施す。画像認識部４２はフレーム画像３８Ｂごとに認識結果を記憶する。画像認識部４２は、認識結果が得られないフレーム画像３８Ｂについて、認識不能であることを表す認識結果を記憶してもよい。画像認識部４２は、認識結果が得られないフレーム画像３８Ｂについて、認識結果を非記憶としてもよい。
画像認識部４２は、画像取得部４０を用いて取得したフレーム画像３８Ｂに対して、リアルタイムで認識処理を実施し得る。画像認識部４２は、予め記憶されているフレーム画像３８Ｂに対して、認識処理を実施してもよい。画像認識部４２は、図２に示す画像処理部２０４に対応する。なお、実施形態に記載の画像認識部４２は認識処理部の一例に相当する。図１２に示す画像認識部４３も同様である。
注目領域検出部４２Ａは、ＣＮＮ（Convolutional Neural Network）等の学習器を適用して、画像取得部４０を用いて取得したフレーム画像３８Ｂから注目領域を検出する。注目領域検出部４２Ａは、フレーム画像３８Ｂから検出した注目領域の検出結果を注目領域記憶部４６Ｂへ記憶する。
注目領域検出部４２Ａは、フレーム画像３８Ｂとフレーム画像３８Ｂにおける注目領域の位置情報とのペアを学習データとして学習を実施した学習済みの学習器が適用される。注目領域の検出の例として、病変の検出及び特定臓器の検出等が挙げられる。
注目領域検出部４２Ａは、注目領域を強調する強調表示を設定してもよい。すなわち、画像認識部４２は注目領域を強調する処理を実施する強調処理部を具備してもよい。強調処理部は、注目領域の位置を特定し、注目領域の位置に応じて強調表示の位置を規定する。強調処理部は、注目領域のサイズを特定し、注目領域のサイズに応じて強調表示のサイズを規定する。強調処理部は、強調表示の位置及び強調表示のサイズを含む強調表示の情報を注目領域と関連付けして記憶し得る。
強調処理部は、注目領域の少なくとも一部を囲む閉曲線の重畳表示、注目領域を指す矢印の重畳表示及び注目領域の四隅への図形の重畳表示等を強調表示に適用し得る。強調処理部は、注目領域に対して色及びテクスチャ等を付加する強調表示を適用し得る。
分類部４２Ｂはフレーム画像３８Ｂにおける注目領域を分類する。分類部４２Ｂは注目領域ごとの分類結果をフレーム画像３８Ｂと関連付けして分類結果記憶部４６Ｃへ記憶する。分類部４２ＢはＣＮＮ等学習器を適用し得る。
分類部４２Ｂは注目領域の画像と分類結果とを学習データとして学習を実施した学習済みの学習器を適用し得る。注目領域の分類の例として、病変の病種の分類、臓器の分類、部位の分類及び撮像シーンの分類等が挙げられる。
分類部４２Ｂは病変である注目領域の疾病名を特定してもよい。分類部４２Ｂは、ＵＩＣＣ（Union for International Cancer Control）及びＴＮＭ分類等の規格化された分類を適用し得る。なお、ＴＮＭのＴは、tumorの頭文字である。ＴＮＭのＮは、nodesの頭文字である。ＴＮＭのＭは、metastasisの頭文字である。
なお、実施形態に示す分類部４２Ｂは、処理対象の医用画像における注目領域の状態を、規定の一以上のクラスに分類する分類部の一例に相当する。
測定部４２Ｃはフレーム画像３８Ｂにおける注目領域を測定する。測定部４２Ｃは注目領域の測定結果をフレーム画像３８Ｂと関連付けして測定結果記憶部４６Ｄへ記憶する。注目領域の測定の例として、病変のサイズ測定、臓器のサイズ測定及び内視鏡本体１００と注目領域との間の距離の測定等が挙げられる。測定結果の例として測定値が挙げられる。なお、実施形態に示す測定部４２Ｃは、処理対象の医用画像における注目領域を測定する測定部の一例に相当する。
本実施形態では、注目領域検出部４２Ａ、分類部４２Ｂ及び測定部４２Ｃを備える画像認識部４２を例示したが、画像認識部４２は、注目領域検出部４２Ａ、分類部４２Ｂ及び測定部４２Ｃの少なくともいずれかを備え得る。
〔表示制御部〕
表示制御部４４は、モニタ４００へ表示させる内視鏡画像３８を表す表示信号をモニタ４００へ送信する。表示制御部４４は、各フレーム画像３８Ｂの認識結果を表す表示信号をモニタ４００へ送信する。表示制御部４４は、モニタ４００の制御信号をモニタ４００へ送信する。表示制御部４４は、図２に示すビデオ出力部２０６に対応する。
モニタ４００は、内視鏡画像３８及び各フレーム画像３８Ｂの認識結果を表示する。認識結果は、注目領域検出部４２Ａを用いた注目領域の検出結果、分類部４２Ｂを用いた注目領域の分類結果及び測定部４２Ｃを用いた注目領域の測定結果の少なくともいずれかが含まれる。
モニタ４００は、認識結果を内視鏡画像３８に重畳表示し得る。モニタ４００は、内視鏡画像３８が表示される領域と区画された領域に画像認識部４２の認識結果を表示し得る。表示制御部４４は、規定の更新間隔を適用して内視鏡画像３８の表示及び画像認識部４２の認識結果の表示を更新する。なお、内視鏡画像３８の表示態様の詳細は後述する。なお、実施形態に記載の表示制御部４４及びモニタ４００は表示部の一例に相当する。
〔記憶部〕
記憶部４６は、内視鏡画像記憶部４６Ａ、注目領域記憶部４６Ｂ、分類結果記憶部４６Ｃ、測定結果記憶部４６Ｄ及び選択画像記憶部４６Ｅを備える。内視鏡画像記憶部４６Ａは、画像取得部４０を用いて取得した内視鏡画像３８を記憶する。記憶部４６は、図２に示す記憶部２０７に対応する。なお、内視鏡画像記憶部４６Ａは取得画像記憶部の一例に相当する。
注目領域記憶部４６Ｂは、注目領域検出部４２Ａを用いて検出された注目領域の検出結果を記憶する。注目領域記憶部４６Ｂは、注目領域を検出したフレーム画像３８Ｂと関連付けして注目領域の検出結果を記憶し得る。
フレーム画像３８Ｂと注目領域の検出結果との関連付けの例として、フレーム画像３８Ｂに対して注目領域の強調表示を重畳させた画像を記憶する態様が挙げられる。別の態様として、注目領域の検出結果をフレーム画像３８Ｂとは別のファイルとして、フレーム画像３８Ｂと関連付けして記憶する態様が挙げられる。なお、以下に説明するフレーム画像３８Ｂと分類結果の情報との関連付け及びフレーム画像３８Ｂと測定結果の情報との関連付けも同様である。
分類結果記憶部４６Ｃは、注目領域ごとの分類結果が、フレーム画像３８Ｂと関連付けして記憶される。測定結果記憶部４６Ｄは、注目領域ごとの測定結果が、フレーム画像３８Ｂと関連付けして記憶される。
選択画像記憶部４６Ｅは、ユーザ指示入力信号を取得した際の静止画像３９として、画像選択部４８を用いて選択されたフレーム画像３８Ｂが記憶される。選択画像記憶部４６Ｅの詳細は後述する。
記憶部４６は、一つ以上の記憶素子を適用し得る。すなわち、記憶部４６は、内視鏡画像記憶部４６Ａ、注目領域記憶部４６Ｂ、分類結果記憶部４６Ｃ、測定結果記憶部４６Ｄ及び選択画像記憶部４６Ｅのそれぞれに対応する四つの記憶素子を備え得る。また、内視鏡画像記憶部４６Ａ、注目領域記憶部４６Ｂ、分類結果記憶部４６Ｃ、測定結果記憶部４６Ｄ及び選択画像記憶部４６Ｅは、それぞれ複数の記憶素子を適用し得る。
更に、内視鏡画像記憶部４６Ａ、注目領域記憶部４６Ｂ、分類結果記憶部４６Ｃ、測定結果記憶部４６Ｄ及び選択画像記憶部４６Ｅのうち任意の二つ、任意の三つ又は任意の四つを、一つの記憶素子を用いて構成し得る。内視鏡画像記憶部４６Ａ、注目領域記憶部４６Ｂ、分類結果記憶部４６Ｃ、測定結果記憶部４６Ｄ及び選択画像記憶部４６Ｅの全てを、一つの記憶素子を用いて構成し得る。
〔画像選択部〕
画像選択部４８は、内視鏡検査の実施中にユーザ指示入力信号を取得した場合に、静止画像３９として、注目領域に関する適切な認識結果が得られているフレーム画像３８Ｂを選択する。画像選択部４８は、図２に示す画像処理部２０４に対応する。
静止画像３９として、注目領域に関する適切な認識結果が得られているフレーム画像３８Ｂの例として、注目領域が検出されたフレーム画像３８Ｂ、予め定めたクラスに分類されるフレーム画像３８Ｂ及び測定部４２Ｃを用いて測定した値が予め定めた閾値以上であるフレーム画像３８Ｂが挙げられる。
医用画像処理装置１４は、内視鏡検査の実施中に一定期間に取得した複数のフレーム画像３８Ｂを記憶しておく。記憶される複数のフレーム画像３８Ｂは、一定の周期ごとに更新される。
医用画像処理装置１４は、ユーザ指示入力信号を取得した場合に、記憶されている複数のフレーム画像３８Ｂの中から適切な認識結果が得られているフレーム画像３８Ｂを選択する。
適切な認識結果とは、正解確率を付した複数の認識結果が導出される場合では、規定の閾値以上の正解確率を有する認識結果を適用し得る。例えば、正解確率の最大値が規定の閾値以上の場合に、正解確率の最大値が付された認識結果を適切な認識結果と判定し得る。
ユーザ指示入力信号がフリーズ指示入力信号の場合、画像選択部４８はフリーズ指示入力信号の取得タイミングの近傍タイミングにおいて取得した複数のフレーム画像３８Ｂの中から、適切な認識結果が得られているフレーム画像３８Ｂを選択する。
フリーズ指示入力信号の取得タイミングの近傍タイミングは、フリーズ指示入力信号の取得タイミングが含まれ得る。なお、以下に説明する静止画像記憶指示入力信号の取得タイミングの近傍タイミングも同様である。ここでいう近傍は、同一の注目領域が主要被写体となる複数のフレーム画像を取得する期間を適用し得る。
近傍タイミングは、内視鏡検査の条件に応じて規定し得る。内視鏡検査の条件は、内視鏡画像３８のフレームレート、内視鏡本体１００の移動速度、観察対象及び内視鏡本体１００の撮像条件等に基づき規定し得る。ここでいう移動速度は、移動速度の絶対値である速さに読み替えてもよい。
複数のフレーム画像３８Ｂが適切な認識結果が得られたフレーム画像３８Ｂに該当する場合に、画像選択部４８は正解確率が最大となるフレーム画像３８Ｂを選択し得る。複数のフレーム画像３８Ｂが適切な認識結果が得られたフレーム画像３８Ｂに該当する場合に、画像選択部４８はユーザ指示入力信号の取得タイミングとの間の期間が最短となるタイミングのフレーム画像３８Ｂを選択し得る。
表示制御部４４は、画像選択部４８を用いて静止画像３９として選択されたフレーム画像３８Ｂを表す画像信号をモニタ４００へ送信する。モニタ４００は、画像選択部４８を用いて選択されたフレーム画像３８Ｂを、フリーズ指示入力信号の取得タイミングにおける静止画像３９として一定期間表示する。静止画像３９の表示期間を設定する表示期間設定部を備え得る。静止画像３９の表示期間は、医用画像の取得周期及び医用画像の認識結果等に応じて規定し得る。
ユーザ指示入力信号が静止画像記憶指示入力信号の場合、画像選択部４８は静止画像記憶指示入力信号の取得タイミングの近傍タイミングにおける複数のフレーム画像３８Ｂの中から、適切な認識結果が得られているフレーム画像３８Ｂを選択する。
選択画像記憶部４６Ｅは、画像選択部４８を用いて選択されたフレーム画像３８Ｂを静止画像記憶指示入力信号の取得タイミングにおける静止画像３９として記憶する。選択されたフレーム画像３８Ｂに対して解像度変換等の処理を施して、選択対象の静止画像３９を生成してもよい。
〔入力受付部〕
入力受付部５０は、ユーザが操作部４９を操作した際に送信されるユーザ指示入力信号を取得する。入力受付部５０は、取得したユーザ指示入力信号を画像選択部４８へ送信する。
図３に示す操作部４９は、フリーズ表示を実施する際に操作される操作ボタン等及び静止画像記憶を実施する際に操作される操作ボタン等が含まれる。例えば、図３に示す操作部４９は、図１に示す撮像ボタン１４４を適用し得る。なお、実施形態に記載の入力受付部５０はユーザ入力信号取得部の一例に相当する。
［医用画像処理方法の手順］
図４は第一実施形態に係る医用画像処理方法の手順を示すフローチャートである。内視鏡画像取得工程Ｓ１０では、図３に示す画像取得部４０は内視鏡画像３８を取得する。内視鏡画像取得工程Ｓ１０では、画像取得部４０は内視鏡画像記憶部４６Ａへ内視鏡画像３８を記憶する。内視鏡画像取得工程Ｓ１０の後に注目領域検出工程Ｓ１２へ進む。なお、実施形態に記載の内視鏡画像取得工程Ｓ１０は取得画像記憶工程の一例に相当する。
注目領域検出工程Ｓ１２では、注目領域検出部４２Ａは内視鏡画像３８を構成する各フレーム画像３８Ｂから注目領域を検出する。注目領域検出工程Ｓ１２では、注目領域検出部４２Ａは動画像３８Ａの全てのフレーム画像３８Ｂから注目領域を検出してもよいし、規定の期間おきのフレーム画像３８Ｂから注目領域を検出してもよい。
注目領域検出工程Ｓ１２では、注目領域検出部４２Ａは注目領域の検出結果をフレーム画像３８Ｂと関連付けして注目領域記憶部４６Ｂへ記憶する。注目領域検出工程Ｓ１２の後に分類工程Ｓ１４へ進む。なお、注目領域検出工程Ｓ１２は注目領域に対して認識処理を施す認識処理工程の一例に相当する。
分類工程Ｓ１４では、分類部４２Ｂは注目領域の分類を実施する。分類工程Ｓ１４では、分類部４２Ｂは注目領域の分類結果をフレーム画像３８Ｂと関連付けして、分類結果記憶部４６Ｃへ記憶する。分類工程Ｓ１４の後に測定工程Ｓ１６へ進む。なお、分類工程Ｓ１４は医用画像に対して認識処理を施す認識処理工程の一例に相当する。
測定工程Ｓ１６では、測定部４２Ｃは注目領域の測定を実施する。測定工程Ｓ１６では、測定部４２Ｃは注目領域の測定結果をフレーム画像３８Ｂと関連付けして、分類結果記憶部４６Ｃへ記憶する。測定工程Ｓ１６の後にフリーズ指示入力信号取得判定工程Ｓ１８へ進む。分類工程Ｓ１４及び測定工程Ｓ１６の少なくともいずれかを省略してもよい。なお、測定工程Ｓ１６は医用画像に対して認識処理を施す認識処理工程の一例に相当する。
フリーズ指示入力信号取得判定工程Ｓ１８では、入力受付部５０はフリーズ指示入力信号を取得したか否かを判定する。フリーズ指示入力信号取得判定工程Ｓ１８において、入力受付部５０がフリーズ指示入力信号を取得していないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は内視鏡画像取得工程Ｓ１０へ戻り、フリーズ指示入力信号取得判定工程Ｓ１８においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０からフリーズ指示入力信号取得判定工程Ｓ１８までの各工程を繰り返し実施する。
一方、フリーズ指示入力信号取得判定工程Ｓ１８において、入力受付部５０がフリーズ指示入力信号を取得したと判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は表示画像選択工程Ｓ２０へ進む。なお、実施形態に記載のフリーズ指示入力信号取得判定工程Ｓ１８はユーザ入力信号取得工程の一例に相当する。
表示画像選択工程Ｓ２０では、画像選択部４８はフリーズ指示入力信号の取得に対応して選択した静止画像３９として表示させるフレーム画像３８Ｂを選択する。表示画像選択工程Ｓ２０の後にフリーズ表示工程Ｓ２２へ進む。
フリーズ表示工程Ｓ２２では、表示制御部４４は表示画像選択工程Ｓ２０において選択されたフレーム画像３８Ｂを表す表示信号をモニタ４００へ送信する。フリーズ表示工程Ｓ２２の後に静止画像記憶判定工程Ｓ２４へ進む。
静止画像記憶判定工程Ｓ２４では、入力受付部５０は静止画像記憶指示入力信号を取得したか否かを判定する。静止画像記憶判定工程Ｓ２４において入力受付部５０が静止画像記憶指示入力信号を取得していないと判定した場合はＮｏ判定となる。Ｎｏ判定の場合は最終フレーム画像判定工程Ｓ２８へ進む。
一方、静止画像記憶判定工程Ｓ２４において、入力受付部５０が静止画像記憶指示入力信号を取得したと判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は静止画像記憶工程Ｓ２６へ進む。なお、実施形態に記載の静止画像記憶判定工程Ｓ２４はユーザ入力信号取得工程の一例に相当する。
静止画像記憶工程Ｓ２６では、画像選択部４８は静止画像記憶指示入力信号の取得に対応して選択したフレーム画像３８Ｂを静止画像３９として選択画像記憶部４６Ｅへ記憶する。静止画像記憶工程Ｓ２６の後に最終フレーム画像判定工程Ｓ２８へ進む。
最終フレーム画像判定工程Ｓ２８では、画像認識部４２は画像取得部４０を用いて取得した内視鏡画像３８における最終のフレーム画像３８Ｂに対する認識処理を実施したか否かを判定する。
最終フレーム画像判定工程Ｓ２８において、画像認識部４２が最終のフレーム画像３８Ｂに対する認識処理を実施していないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は内視鏡画像取得工程Ｓ１０へ進み、最終フレーム画像判定工程Ｓ２８においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から最終フレーム画像判定工程Ｓ２８までの各工程を繰り返し実施する。
一方、最終フレーム画像判定工程Ｓ２８において、画像認識部４２が最終のフレーム画像３８Ｂに対する認識処理を実施したと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、画像認識部４２は医用画像処理方法を終了させる。
静止画像記憶工程Ｓ２６における記憶対象の静止画像３９は、フリーズ指示入力信号に応じて選択されたフレーム画像３８Ｂとは別に選択されてもよい。例えば、測定工程Ｓ１６の後に静止画像記憶判定工程Ｓ２４及び静止画像記憶工程Ｓ２６を実施してもよい。
［内視鏡画像の表示例］
図５は注目領域の検出結果の表示例を示す内視鏡画像の模式図である。同図には、内視鏡画像３８として大腸の観察画像の模式図を示す。図６及び図７についても同様である。同図に示す内視鏡画像３８は、図４に示す注目領域検出工程Ｓ１２が実施された際にモニタ４００へ表示される。
図５に示す内視鏡画像３８は、注目領域５００として病変が検出されている。また、内視鏡画像３８は、注目領域５００を強調する強調表示として、バウンディングボックス５０２が注目領域５００に重畳表示されている。
図６は注目領域の分類結果の表示例を示す内視鏡画像の模式図である。同図には、内視鏡画像３８の表示領域と異なる領域に、注目領域５００の分類結果５０４が表示される態様を示す。
分類結果５０４は、注目領域５００である病変の診断結果がＴｙｐｅＡであることを表す文字情報が適用される。なお、図６に示す内視鏡画像３８は、図５に示すバウンディングボックス５０２を表示してもよい。図７に示す内視鏡画像３８についても同様である。
図７は注目領域の測定結果の表示例を示す内視鏡画像の模式図である。同図には、内視鏡画像３８の表示領域と異なる領域に、注目領域５００の測定結果５０６が表示され、注目領域５００の測定位置を示す矢印線５０８が注目領域５００に重畳表示される態様を示す。測定結果５０６は、注目領域５００である病変の最大サイズが６ミリメートルであることを表す文字情報が適用される。
静止画像３９を記憶する際に、画像認識部４２を用いた認識結果を静止画像３９に関連付けして記憶してもよい。例えば、静止画像３９として、図５に示す内視鏡画像３８に対応するフレーム画像３８Ｂに注目領域５００の強調表示を重畳させた画像を生成し、記憶してもよい。
また、静止画像３９とは別に注目領域５００の認識結果を表すファイルを作成し、静止画像３９と認識結果を表すデータとを関連付けしてもよい。例えば、静止画像３９のヘッダとして、認識結果を表すデータを記憶してもよい。図６に示す分類結果５０４及び図７に示す測定結果５０６も同様である。
これにより、静止画像３９自体を損なうことがなく、静止画像３９の認識結果を記憶し得る。また、静止画像３９の認識結果を用いた静止画像３９を整理し得る。更に、静止画像３９を再表示させる際に、認識結果の表示が可能である。
かかる態様においても、フリーズ表示をさせるフレーム画像３８Ｂと、静止画像記憶させる静止画像３９との認識結果の表示態様を変更してもよい。
内視鏡画像３８のフリーズ表示が実施される場合に、フリーズ表示させたフレーム画像３８Ｂに、図５に示すバウンディングボックス５０２、図６に示す分類結果５０４及び図７に示す測定結果５０６を表示させる。これにより、バウンディングボックス５０２等の認識結果が適切であるか否かを、ユーザである医師が確認し得る。
内視鏡画像３８の静止画像記憶が実施される場合も同様である。例えば、静止画像３９を記憶した後に医師がレポートを作成する際にも、バウンディングボックス５０２等の認識結果が適切であるか否かを医師が確認し得る。
図３に示す医用画像処理装置１４は、フリーズ表示を実施する場合に静止画像記憶を実施する場合と認識結果の表示態様を変更してもよい。例えば、フリーズ表示を実施する場合はバウンディングボックス５０２を表示させ、記憶された静止画像３９を表示させる場合は分類結果５０４を表示させてもよい。
医用画像処理装置１４は、内視鏡画像３８の動画像３８Ａを表示させる場合は、認識結果を非表示としてもよい。また、内視鏡画像３８の動画像３８Ａは、フリーズ表示をさせたフレーム画像３８Ｂと認識結果の表示態様を変更してもよい。
内視鏡画像３８の動画像３８Ａをリアルタイムで観察する場合、医師は病変を詳細に観察したいために、バウンディングボックス５０２等の認識結果の表示が医師の観察の邪魔になり得る。そこで、内視鏡画像３８の動画像３８Ａをリアルタイムで観察する場合は認識結果を非表示とし、フリーズ表示をさせる場合は認識結果を表示させる。これにより、医師にとってより適切な表示態様を実現し得る。
医用画像処理装置１４は、フリーズ表示をさせるフレーム画像３８Ｂと、記憶する静止画像３９との認識結果の表示態様を変更し得る。フリーズ表示をさせる場合は、病変の微細な構造等の観察が実施される。
一方、記憶された静止画像３９は、レポートの作成等に適用される。レポートの作成の際、静止画像３９を一覧表示させて、静止画像３９と分類結果及び医師の所見等との関連付けが実施される。
例えば、病変検出が実施される場合、フリーズ表示では図５に示すバウンディングボックス５０２等の図形を用いて病変の周囲を囲む。これにより、認識結果の表示が観察の邪魔にならない。一方、静止画像３９の記憶の場合、特定の色を病変全体に重畳表示させる。これにより、静止画像３９を一覧表示させる場合でも病変を目立たせ得る。このようにして、医師の作業について適切な静止画像３９を提供し得る。
［選択対象のフレーム画像の説明］
図８から図１０は選択対象のフレーム画像の説明図である。図８はユーザ指示入力信号取得タイミングの以前のフレーム画像を選択対象とする場合の模式図である。フレーム画像３８Ｂ１からフレーム画像３８Ｂ７までのそれぞれは、タイミングｔ１からタイミングｔ７までにおいて記憶される。
タイミングｔｆにおいてユーザ指示入力信号を取得した場合、図３に示す画像選択部４８は、フレーム画像３８Ｂ１、フレーム画像３８Ｂ２及びフレーム画像３８Ｂ３を選択対象のフレーム画像３８Ｂとする。図８に示す例では、画像選択部４８は、フレーム画像３８Ｂ３をユーザ指示の処理対象の静止画像３９として選択する。
なお、内視鏡画像３８を構成する複数のフレームを一括して取得する場合、図８に示すフレーム画像３８Ｂのそれぞれの記憶タイミングは、フレーム画像３８Ｂの撮像タイミング又はフレーム画像３８Ｂの生成タイミングと読み替えてもよい。図９及び図１０についても同様である。
図９はユーザ指示入力信号取得タイミングの以後のフレーム画像を選択対象とする場合の模式図である。タイミングｔｆにおいてユーザ指示入力信号を取得した場合、画像選択部４８はフレーム画像３８Ｂ４からフレーム画像３８Ｂ７までを選択対象のフレーム画像３８Ｂとする。図９に示す例では、画像選択部４８は、フレーム画像３８Ｂ４をユーザ指示の処理対象の静止画像３９として選択する。
図１０はユーザ指示入力信号取得タイミングの前後のフレーム画像を選択対象とする場合の模式図である。タイミングｔｆにおいてユーザ指示入力信号を取得した場合、画像選択部４８はフレーム画像３８Ｂ２からフレーム画像３８Ｂ５までを選択対象のフレーム画像３８Ｂとする。図１０に示す例では、画像選択部４８は、フレーム画像３８Ｂ４をユーザ指示の処理対象の静止画像３９として選択する。
図８から図１０に示す態様では、複数のフレーム画像３８Ｂにおける認識結果の優先度合いが同一の場合、画像選択部４８はユーザ指示入力信号を取得したタイミングｔｆとの期間に応じてフレーム画像３８Ｂを選択し得る。例えば、上記期間が最短となるフレーム画像３８Ｂを選択し得る。
図１１は選択対象のフレーム画像の他の例を示す模式図である。図１１に示す例では、画像選択部４８は、フレーム画像３８Ｂを取得する度に、先に記憶されているフレーム画像３８Ｂとの認識結果の比較を実施し、比較結果に基づき選択対象のフレーム画像３８Ｂを更新する。
画像選択部４８は、ユーザ指示入力信号を取得したタイミングｔｆにおいて記憶されているフレーム画像３８Ｂを、静止画像３９として選択する。図１１に示す例では、画像選択部４８は、フレーム画像３８Ｂ１とフレーム画像３８Ｂ３との比較結果に基づき、選択対象のフレーム画像３８Ｂを更新する。画像選択部４８は、ユーザ指示入力信号を取得したタイミングｔｆにおいて記憶されているフレーム画像３８Ｂ３を、静止画像３９として選択する。
図８から図１１に示す態様において、複数のフレーム画像３８Ｂが記憶される一定期間は、内視鏡画像３８のフレームレート、内視鏡検査の条件及び内視鏡画像記憶部４６Ａの記憶容量等に基づき規定し得る。例えば、内視鏡画像３８のフレームレートが６０フレーム枚秒の場合、複数のフレーム画像３８Ｂが記憶される一定期間は１．０秒以下の任意の期間とし得る。
［第一実施形態の作用効果］
第一実施形態に係る医用画像処理装置１４は、以下の作用効果を得ることが可能である。
〔１〕
内視鏡検査において、内視鏡画像３８を構成するフレーム画像３８Ｂの認識処理を実施し、フレーム画像３８Ｂと認識結果とを関連付けし、一定期間のフレーム画像３８Ｂ及び認識結果を記憶する。ユーザ指示入力信号を取得した場合、注目領域に関する適切な認識結果が得られているフレーム画像３８Ｂを、ユーザ指示の処理対象の静止画像３９として選択する。これにより、ユーザ指示入力信号を取得した際に、適切な認識結果が得られているフレーム画像をユーザ指示の処理対象の静止画像３９として選択し得る。
〔２〕
ユーザ指示はフリーズ表示及び静止画像記憶の少なくともいずれかを適用し得る。これにより、適切な認識結果が得られている静止画像３９の表示及び記憶が可能である。
〔３〕
ユーザ指示がフリーズ表示の場合、静止画像３９に認識結果を重畳表示させる。これにより、フリーズ表示をさせた静止画像３９の認識結果を医師が確認し得る。
〔４〕
ユーザ指示が静止画像記憶の場合、静止画像３９に認識結果を関連付けして記憶する。これにより、記憶した静止画像３９を表示させる際に認識結果の表示が可能となる。
〔５〕
認識処理は、注目領域の検出、注目領域の分類及び注目領域の測定の少なくともいずれかが含まれる。これにより、注目領域の検出結果、注目領域の分類結果及び注目領域の測定結果の少なくともいずれかに基づく、ユーザ指示の処理対象の静止画像３９の選択が可能となる。
〔６〕
画像選択部４８は、ユーザ指示入力信号の取得との間の期間に基づき、ユーザ指示の処理対象の静止画像３９を選択する。これにより、ユーザ指示入力信号の取得との間の期間を加味したユーザ指示の処理対象の静止画像３９の選択が可能となる。
［第二実施形態に係る医用画像処理装置］
次に、第二実施形態に係る医用画像処理装置について説明する。第二実施形態に係る医用画像処理装置は、選択対象のフレーム画像３８Ｂの画質を加味して、ユーザ指示の処理対象の静止画像３９を選択する。以下、主として、第一実施形態に係る医用画像処理装置１４及び医用画像処理方法との違いについて説明する。
図１２は第二実施形態に係る医用画像処理装置の機能ブロック図である。同図に示す医用画像処理装置１４Ａは、図３に示す画像認識部４２に代わり画像認識部４３を備える。また、医用画像処理装置１４Ａは、記憶部４６に代わり記憶部４７を備える。画像認識部４３は、図３に示す画像認識部４２に対して画質評価部４２Ｄが追加される。記憶部４７は、図３に示す記憶部４６に対して画質記憶部４６Ｆが追加される。
画質評価部４２Ｄは、認識結果が得られたフレーム画像３８Ｂについて画質を評価する。フレーム画像３８Ｂの画質評価は、ピンぼけの有無及びピンぼけの程度など、フレーム画像３８Ｂのピンぼけの観点を適用し得る。
画質評価の他の観点として、ぶれ、明るさ、ノイズの有無及び鮮明度が挙げられる。ぶれは、画質評価部４２Ｄは画質評価値を導出してもよい。画質評価部４２Ｄは画質評価の観点ごとに画質評価値を導出してもよい。画質評価部４２Ｄは複数の画質評価値を用いて画質の総合評価値を導出してもよい。
画質評価部４２Ｄは、評価対象のフレーム画像３８Ｂに対して画質評価値を導出し得る。画質評価部４２Ｄは、画質評価とフレーム画像３８Ｂとを関連付けて、画質評価結果を画質記憶部４６Ｆへ記憶する。
画像選択部４８は、認識結果が適切に判定されている複数のフレーム画像３８Ｂが存在する場合に、複数のフレーム画像３８Ｂの中から画質が最もよいフレーム画像３８Ｂを選択し得る。画質評価値は、認識結果の重み付けを実施する際の重み係数に適用し得る。
図１３は第二実施形態に係る医用画像処理方法の手順を示すフローチャートである。図１３に示すフローチャートは、図４に示すフローチャートに対して、画質評価工程Ｓ１７が追加され、表示画像選択工程Ｓ２０に代わり表示画像選択工程Ｓ２１が実施される。
図１３に示すフローチャートにおける内視鏡画像取得工程Ｓ１０から測定工程Ｓ１６までの各工程は、図１に示す内視鏡画像取得工程Ｓ１０から測定工程Ｓ１６までの各工程と同一である。ここでは、これらの説明を省略する。
図１３に示すフローチャートでは、測定工程Ｓ１６の後に画質評価工程Ｓ１７へ進む。画質評価工程Ｓ１７では、図１２に示す画質評価部４２Ｄは、フレーム画像３８Ｂの画質を評価し、画質評価値を導出する。画質評価工程Ｓ１７では、画質評価部４２Ｄは画質評価値を画質記憶部４６Ｆへ記憶する。画質評価工程Ｓ１７の後にフリーズ指示入力信号取得判定工程Ｓ１８へ進む。
フリーズ指示入力信号取得判定工程Ｓ１８は、図４に示すフローチャートと同一である。フリーズ指示入力信号取得判定工程Ｓ１８の後に表示画像選択工程Ｓ２１へ進む。表示画像選択工程Ｓ２１では、画像選択部４８はフレーム画像３８Ｂの画質を加味して、静止画像３９として表示させるフレーム画像３８Ｂを選択する。表示画像選択工程Ｓ２１の後にフリーズ表示工程Ｓ２２へ進む。
フリーズ表示工程Ｓ２２から最終フレーム画像判定工程Ｓ２８までの各工程は、図４に示すフリーズ表示工程Ｓ２２から最終フレーム画像判定工程Ｓ２８までの各工程と同一である。ここでは、これらの説明を省略する。
［第二実施形態の作用効果］
第二実施形態に係る医用画像処理装置１４Ａは、以下の作用効果を得ることが可能である。
〔１〕
画質評価部４２Ｄは、取得したフレーム画像３８Ｂの画質を評価する。ユーザ指示入力信号に対応する処理対象のフレーム画像３８Ｂを選択する際に、フレーム画像３８Ｂの画質を加味する。これにより、適切なフレーム画像をユーザ指示の処理対象の静止画像３９として選択し得る。
〔２〕
画質評価部４２Ｄは、取得したフレーム画像３８Ｂの画質評価値を導出する。これにより、定量的なフレーム画像３８Ｂの評価結果を導出し得る。
［内視鏡システムの変形例］
〔照明光の変形例〕
本実施形態に示す内視鏡システム１０を用いて取得可能な医用画像の一例として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像が挙げられる。
本実施形態に示す内視鏡システム１０を用いて取得可能な医用画像の他の例として、特定の波長帯域の光を照射して得た画像が挙げられる。特定の波長帯域は白色帯域よりも狭い帯域を適用可能である。以下の変形例の適用が可能である。
〈第一変形例〉
特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、かつ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。
〈第二変形例〉
特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、かつ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。
〈第三変形例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、かつ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。
〈第四変形例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、かつこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
〈第五変形例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、かつ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。
〔特殊光画像の生成例〕
プロセッサ装置２００は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置２００は、特殊光画像取得部として機能する。そして、プロセッサ装置２００は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑及び青、或いはシアン、マゼンタ及びイエローの色情報に基づく演算を行うことで得る。
なお、シアン、マゼンタ及びイエローは、それぞれの英語表記であるCyan、Magenta及びYellowの頭文字を用いてＣＭＹと表されることがある。
〔特徴量画像の生成例〕
医用画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。
上記の実施形態及び変形例では、医用画像の一例として内視鏡画像を例示したが、医用画像は、ＣＴ画像、ＭＲＩ画像及び超音波画像等を適用してもよい。
［コンピュータを医用画像処理装置として機能させるプログラムへの適用例］
上述した医用画像処理装置及び医用画像処理方法は、コンピュータを用いて、医用画像処理装置における各部又は医用画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。
例えば、コンピュータに、画像取得機能、取得画像記憶機能、認識処理機能、ユーザ入力信号取得機能及び選択機能を実現させるプログラムを構成し得る。画像取得機能は、画像取得部４０及び内視鏡画像取得工程Ｓ１０に対応する。
取得画像記憶機能は、内視鏡画像記憶部４６Ａ及び内視鏡画像取得工程Ｓ１０に対応する。認識処理機能は、画像認識部４２、注目領域検出工程Ｓ１２、分類工程Ｓ１４及び測定工程Ｓ１６に対応する。
ユーザ入力信号取得機能は、入力受付部５０、フリーズ指示入力信号取得判定工程Ｓ１８及び静止画像記憶判定工程Ｓ２４に対応する。選択機能は、画像選択部４８、表示画像選択工程Ｓ２０及び表示画像選択工程Ｓ２１に対応する。
プログラムは、画質評価部４２Ｄ及び画質評価工程Ｓ１７に対応する画質評価機能が含まれていてもよい。
上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、通信ネットワークを介してプログラム信号を提供する態様も可能である。
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
１０ 内視鏡システム
１４ 医用画像処理装置
１４Ａ 医用画像処理装置
３８ 内視鏡画像
３８Ａ 動画像
３８Ｂ フレーム画像
３８Ｂ１ フレーム画像
３８Ｂ２ フレーム画像
３８Ｂ３ フレーム画像
３８Ｂ４ フレーム画像
３８Ｂ５ フレーム画像
３８Ｂ６ フレーム画像
３８Ｂ７ フレーム画像
３９ 静止画像
４０ 画像取得部
４２ 画像認識部
４２Ａ 注目領域検出部
４２Ｂ 分類部
４２Ｃ 測定部
４２Ｄ 画質評価部
４３ 画像認識部
４４ 表示制御部
４６ 記憶部
４６Ａ 内視鏡画像記憶部
４６Ｂ 注目領域記憶部
４６Ｃ 分類結果記憶部
４６Ｄ 測定結果記憶部
４６Ｅ 選択画像記憶部
４６Ｆ 画質記憶部
４７記憶部
４８ 画像選択部
４９ 操作部
５０ 入力受付部
１００ 内視鏡本体
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮像部
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ アナログフロントエンド
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮像ボタン
１７０ ライトガイド
２００ プロセッサ装置
２０２ 画像入力コントローラ
２０４ 画像処理部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記憶部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５００ 注目領域
５０２ バウンディングボックス
５０４ 分類結果
５０６ 測定結果
５０８ 矢印線
Ｓ１０からＳ２８ 医用画像処理方法の各工程

Claims (16)

  1. 医用画像を取得する画像取得部と、
    前記画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、
    前記画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、
    フリーズ表示又は静止画像記憶を実施するためのユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、
    前記ユーザ入力信号を取得した場合に、前記ユーザ入力信号を取得したタイミングの近傍タイミングにおいて取得された医用画像から、前記認識処理部を用いて実施された認識処理において、処理対象の医用画像から検出された注目領域に関する認識処理の結果が得られている医用画像を選択する選択部と、
    を備え、
    前記認識処理部は、前記注目領域を規定の一以上のクラスであり、病変の種類、臓器の分類、部位の分類及び疾病名の少なくともいずれかを含む一つ以上のクラスに分類する分類部、前記注目領域を測定する測定部及び前記注目領域に対して強調処理を施す強調処理部の少なくともいずれかを備え、
    前記選択部は、前記分類部を用いて前記注目領域が予め定めたクラスに分類される医用画像、前記測定部を用いて測定された前記注目領域の測定値が予め決められた閾値以上である医用画像及び前記強調処理部を用いて前記注目領域の強調処理がされた医用画像の少なくともいずれかを、前記注目領域に関する認識処理の結果が得られている医用画像として選択する医用画像処理装置。
  2. 前記選択部を用いて選択された医用画像を表示する表示部を備え、
    前記表示部は、前記ユーザ入力信号を取得したタイミングから一定期間、前記選択部を用いて選択された医用画像を表示する請求項１に記載の医用画像処理装置。
  3. 前記認識処理部を用いた医用画像に対する認識結果に応じて、処理対象の医用画像に処理を施す処理部を備え、
    前記表示部は、前記処理部を用いて処理が実施された医用画像を表示する請求項２に記載の医用画像処理装置。
  4. 前記選択部を用いて選択された医用画像を記憶する選択画像記憶部を備えた請求項１又は２に記載の医用画像処理装置。
  5. 前記選択画像記憶部は、記憶対象の医用画像に対する認識処理の結果を関連付けして、前記記憶対象の医用画像を記憶する請求項４に記載の医用画像処理装置。
  6. 前記画像取得部を用いて取得した医用画像の画質を評価する画質評価部を備え、
    前記選択部は、前記画質評価部を用いた医用画像の画質評価結果に応じて医用画像を選択する請求項１から５のいずれか一項に記載の医用画像処理装置。
  7. 前記画質評価部は、評価対象の医用画像のぼけ、ぶれ、明るさ、ノイズの有無及び鮮明度の少なくともいずれかを評価する請求項６に記載の医用画像処理装置。
  8. 前記選択部は、前記ユーザ入力信号の取得タイミングと前記画像取得部を用いて医用画像を取得したタイミングとの間の期間に基づき医用画像を選択する請求項１から７のいずれか一項に記載の医用画像処理装置。
  9. 前記取得画像記憶部は、規定の期間において前記画像取得部を用いて取得する複数の医用画像を記憶する請求項１から８のいずれか一項に記載の医用画像処理装置。
  10. 前記取得画像記憶部は、規定の期間において前記画像取得部を用いて取得する複数の医用画像について、前記認識処理部を用いた認識処理の結果に応じて、記憶対象の医用画像を更新する請求項１から９のいずれか一項に記載の医用画像処理装置。
  11. 前記選択部は、前記認識処理部から正解確率が付された複数の認識結果が導出される場合、規定の閾値以上の前記正解確率を有する前記認識結果を選択する請求項１から１０のいずれか一項に記載の医用画像処理装置。
  12. 前記選択部は、前記認識処理部から正解確率が付された複数の認識結果が導出される場合、前記正解確率が最大となる前記認識結果を選択する請求項１から１０のいずれか一項に記載の医用画像処理装置。
  13. 内視鏡を制御する内視鏡制御部と、
    医用画像を取得する画像取得部と、
    前記画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、
    前記画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、
    フリーズ表示又は静止画像記憶を実施するためのユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、
    前記ユーザ入力信号を取得した場合に、前記ユーザ入力信号を取得したタイミングの近傍タイミングにおいて取得された医用画像から、前記認識処理部を用いて実施された認識処理において、処理対象の医用画像から検出された注目領域に関する認識処理の結果が得られている医用画像を選択する選択部と、
    を備え、
    前記認識処理部は、前記注目領域を規定の一以上のクラスであり、病変の種類、臓器の分類、部位の分類及び疾病名の少なくともいずれかを含む一つ以上のクラスに分類する分類部、処理対象の医用画像を測定する測定部及び処理対象の医用画像から抽出された注目領域に対して強調処理を施す強調処理部の少なくともいずれかを備え、
    前記選択部は、前記分類部を用いて前記注目領域が予め定めたクラスに分類される医用画像、前記測定部を用いて測定された前記注目領域の測定値が予め決められた閾値以上である医用画像及び前記強調処理部を用いて前記注目領域の強調処理がされた医用画像の少なくともいずれかを、前記注目領域に関する認識処理の結果が得られている医用画像として選択するプロセッサ装置。
  14. 内視鏡と、
    前記内視鏡を制御するプロセッサ装置と、
    前記内視鏡を用いて取得した内視鏡画像に処理を施す医用画像処理装置と、
    を備えた内視鏡システムであって、
    前記医用画像処理装置は、
    内視鏡を制御する内視鏡制御部と、
    医用画像を取得する画像取得部と、
    前記画像取得部を用いて取得した医用画像を記憶する取得画像記憶部と、
    前記画像取得部を用いて取得した医用画像に対して認識処理を施す認識処理部と、
    フリーズ表示又は静止画像記憶を実施するためのユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得部と、
    前記ユーザ入力信号を取得した場合に、前記ユーザ入力信号を取得したタイミングの近傍タイミングにおいて取得された医用画像から、前記認識処理部を用いて実施された認識処理において、処理対象の医用画像から検出された注目領域に関する認識処理の結果が得られている医用画像を選択する選択部と、
    を備え、
    前記認識処理部は、前記注目領域を規定の一以上のクラスあり、病変の種類、臓器の分類、部位の分類及び疾病名の少なくともいずれかを含む一つ以上のクラスに分類する分類部、前記注目領域を測定する測定部及び前記注目領域に対して強調処理を施す強調処理部の少なくともいずれかを備え、
    前記選択部は、前記分類部を用いて前記注目領域が予め定めたクラスに分類される医用画像、前記測定部を用いて前記注目領域の測定値が予め決められた閾値以上である医用画像及び前記強調処理部を用いて前記注目領域の強調処理がされた医用画像の少なくともいずれかを、前記注目領域に関する認識処理の結果が得られている医用画像として選択する内視鏡システム。
  15. コンピュータが適用される医用画像処理装置の作動方法であって、
    前記医用画像処理装置が、
    医用画像を取得する画像取得工程と、
    前記画像取得工程において取得した医用画像を記憶する取得画像記憶工程と、
    前記画像取得工程において取得した医用画像に対して認識処理を施す認識処理工程と、
    フリーズ表示又は静止画像記憶を実施するためのユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得工程と、
    前記ユーザ入力信号を取得した場合に、前記ユーザ入力信号を取得したタイミングの近傍タイミングにおいて取得された医用画像から、前記認識処理工程において実施された認識処理において、処理対象の医用画像から検出された注目領域に関する認識処理の結果が得られている医用画像を選択する選択工程と、
    を実行し、
    前記認識処理工程は、前記注目領域を規定の一以上のクラスであり、病変の種類、臓器の分類、部位の分類及び疾病名の少なくともいずれかを含む一つ以上のクラスに分類する分類工程、前記注目領域を測定する測定工程及び前記注目領域に対して強調処理を施す強調処理工程の少なくともいずれかを含む認識処理工程を含み、
    前記選択工程は、前記分類工程において前記注目領域が予め定めたクラスに分類される医用画像、前記測定工程において測定された前記注目領域の測定値が予め決められた閾値以上である医用画像及び前記強調処理工程において前記注目領域の強調処理がされた医用画像の少なくともいずれかを、前記注目領域に関する認識処理の結果が得られている医用画像として選択する医用画像処理装置の作動方法。
  16. コンピュータに、
    医用画像を取得する画像取得機能、
    前記画像取得機能を用いて取得した医用画像を記憶する取得画像記憶機能、
    前記画像取得機能を用いて取得した医用画像に対して認識処理を施す認識処理機能、
    フリーズ表示又は静止画像記憶を実施するためのユーザの操作に応じて送信されるユーザ入力信号を取得するユーザ入力信号取得機能及び
    前記ユーザ入力信号を取得した場合に、前記ユーザ入力信号を取得したタイミングの近傍タイミングにおいて取得された医用画像から、前記認識処理機能を用いて実施された認識処理において、処理対象の医用画像から検出された注目領域に関する認識処理の結果が得られている医用画像を選択する選択機能を実現させ、
    前記認識処理機能は、前記注目領域を規定の一以上のクラスであり、病変の種類、臓器の分類、部位の分類及び疾病名の少なくともいずれかを含む一つ以上のクラスに分類する分類機能、前記注目領域を測定する測定機能及び処理対象の医用画像から抽出された注目領域に対して強調処理を施す強調処理機能の少なくともいずれかを含み、
    前記選択機能は、前記分類機能を用いて前記注目領域が予め定めたクラスに分類される医用画像、前記測定機能を用いて測定された前記注目領域の測定値が予め決められた閾値以上である医用画像及び前記強調処理機能を用いて前記注目領域の強調処理がされた医用画像の少なくともいずれかを、前記注目領域に関する認識処理の結果が得られている医用画像として選択するプログラム。
JP2019169600A 2019-09-18 2019-09-18 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム Active JP7373335B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019169600A JP7373335B2 (ja) 2019-09-18 2019-09-18 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
US17/008,650 US12362061B2 (en) 2019-09-18 2020-09-01 Medical image processing device, processor device, endoscope system, medical image processing method, and program
JP2022192606A JP7387859B2 (ja) 2019-09-18 2022-12-01 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019169600A JP7373335B2 (ja) 2019-09-18 2019-09-18 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022192606A Division JP7387859B2 (ja) 2019-09-18 2022-12-01 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021045337A JP2021045337A (ja) 2021-03-25
JP7373335B2 true JP7373335B2 (ja) 2023-11-02

Family

ID=74869766

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019169600A Active JP7373335B2 (ja) 2019-09-18 2019-09-18 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
JP2022192606A Active JP7387859B2 (ja) 2019-09-18 2022-12-01 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022192606A Active JP7387859B2 (ja) 2019-09-18 2022-12-01 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム

Country Status (2)

Country Link
US (1) US12362061B2 (ja)
JP (2) JP7373335B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7148625B2 (ja) * 2018-09-18 2022-10-05 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
WO2021053808A1 (ja) * 2019-09-20 2021-03-25 Hoya株式会社 内視鏡用プロセッサ、トレーニング装置、情報処理方法、トレーニング方法およびプログラム
DE102021119481A1 (de) * 2021-07-27 2023-02-02 Karl Storz Se & Co. Kg Messverfahren und eine Messvorrichtung
CN115670347A (zh) * 2022-09-22 2023-02-03 中国科学院苏州生物医学工程技术研究所 移动式食管内镜图像采集与质控系统
WO2024195100A1 (ja) * 2023-03-23 2024-09-26 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100935A (ja) 2007-10-23 2009-05-14 Fujinon Corp 撮影装置および内視鏡システム
JP2017213097A (ja) 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2019039259A1 (ja) 2017-08-25 2019-02-28 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
WO2019049503A1 (ja) 2017-09-07 2019-03-14 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
WO2019087790A1 (ja) 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3887453B2 (ja) * 1997-05-23 2007-02-28 オリンパス株式会社 内視鏡装置
US6944330B2 (en) 2000-09-07 2005-09-13 Siemens Corporate Research, Inc. Interactive computer-aided diagnosis method and system for assisting diagnosis of lung nodules in digital volumetric medical images
CN102131465B (zh) * 2008-08-29 2012-11-28 株式会社日立医疗器械 超声波诊断装置
ES2630045T3 (es) * 2009-01-30 2017-08-17 Mauna Kea Technologies Método y sistema para el procesamiento de imágenes adquiridas en tiempo real mediante un dispositivo médico
JP5658873B2 (ja) * 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
US20120113239A1 (en) 2010-11-08 2012-05-10 Hagai Krupnik System and method for displaying an image stream
EP2601880B1 (en) * 2011-03-30 2014-09-03 Olympus Medical Systems Corp. Image management apparatus, operating method of the same, image management program and capsule endoscope system
JP5675496B2 (ja) 2011-05-23 2015-02-25 オリンパスメディカルシステムズ株式会社 医療機器及び医療用プロセッサ
JP5973771B2 (ja) 2012-04-18 2016-08-23 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
EP2868100B1 (en) * 2012-06-29 2019-01-30 Given Imaging Ltd. System and method for displaying an image stream
JP2014220690A (ja) * 2013-05-09 2014-11-20 オリンパスメディカルシステムズ株式会社 信号処理装置、信号処理方法
CN105555180A (zh) * 2013-09-24 2016-05-04 奥林巴斯株式会社 内窥镜装置和内窥镜装置的控制方法
JP6371544B2 (ja) * 2014-03-14 2018-08-08 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6351323B2 (ja) * 2014-03-20 2018-07-04 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6346576B2 (ja) * 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
DE112015006531T5 (de) * 2015-06-11 2018-02-15 Olympus Corporation Endoskopvorrichtung und Verfahren zum Bedienen der Endoskopvorrichtung
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2017199408A1 (ja) * 2016-05-19 2017-11-23 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JPWO2018078724A1 (ja) * 2016-10-25 2019-09-05 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
WO2018203383A1 (ja) * 2017-05-02 2018-11-08 オリンパス株式会社 画像処理装置、及び、画像処理プログラム
WO2018216188A1 (ja) * 2017-05-26 2018-11-29 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
JP6889282B2 (ja) 2017-12-22 2021-06-18 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN112654283B (zh) * 2018-09-11 2024-09-10 富士胶片株式会社 医疗图像处理装置、医疗图像处理方法、内窥镜系统及记录介质
JP7137629B2 (ja) * 2018-09-26 2022-09-14 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
CN113365545B (zh) * 2019-02-13 2024-12-10 奥林巴斯株式会社 图像记录装置、图像记录方法和图像记录程序
JP7555181B2 (ja) * 2019-03-27 2024-09-24 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100935A (ja) 2007-10-23 2009-05-14 Fujinon Corp 撮影装置および内視鏡システム
JP2017213097A (ja) 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2019039259A1 (ja) 2017-08-25 2019-02-28 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
WO2019049503A1 (ja) 2017-09-07 2019-03-14 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
WO2019087790A1 (ja) 2017-10-31 2019-05-09 富士フイルム株式会社 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム

Also Published As

Publication number Publication date
JP7387859B2 (ja) 2023-11-28
US20210082568A1 (en) 2021-03-18
JP2023014288A (ja) 2023-01-26
US12362061B2 (en) 2025-07-15
JP2021045337A (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP7166430B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7630560B2 (ja) 医療画像処理装置、医療画像処理システム、医療画像処理装置の作動方法及び医療画像処理プログラム
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US20250235078A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP7289296B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP7600250B2 (ja) 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
JP7050817B2 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム
CN112105286A (zh) 内窥镜装置、内窥镜操作方法及程序
JP7788822B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7146318B1 (ja) コンピュータプログラム、学習モデルの生成方法、及び手術支援装置
JP7122328B2 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
JPWO2020184257A1 (ja) 医用画像処理装置及び方法
WO2021157487A1 (ja) 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム
JP7256275B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
JP7257544B2 (ja) 情報表示システムおよび情報表示方法
US12327396B2 (en) Image processing device, image processing method, and program
JP7600247B2 (ja) 学習装置、学習方法、プログラム、学習済みモデル、及び内視鏡システム
JP2025078874A (ja) 医療画像処理装置、医療画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221201

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221208

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221209

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230106

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R150 Certificate of patent or registration of utility model

Ref document number: 7373335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150