[go: up one dir, main page]

CN108135457A - 内窥镜图像处理装置 - Google Patents

内窥镜图像处理装置 Download PDF

Info

Publication number
CN108135457A
CN108135457A CN201680060776.XA CN201680060776A CN108135457A CN 108135457 A CN108135457 A CN 108135457A CN 201680060776 A CN201680060776 A CN 201680060776A CN 108135457 A CN108135457 A CN 108135457A
Authority
CN
China
Prior art keywords
image
unit
display
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680060776.XA
Other languages
English (en)
Other versions
CN108135457B (zh
Inventor
今泉克
今泉克一
桥本进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN108135457A publication Critical patent/CN108135457A/zh
Application granted granted Critical
Publication of CN108135457B publication Critical patent/CN108135457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

内窥镜图像处理装置具有：检测部(34)，其被输入被检体的观察图像(G1)，根据有关观察图像(G1)的规定的特征量来检测观察图像(G1)中的特征区域(L)；通知部(35a)，其在检测部(34)检测到特征区域(L)的情况下，通过通知处理向手术医生通知检测到特征区域(L)，并且生成第一显示图像(D1)；以及强调处理部(35b)，其在检测部(34)检测到特征区域(L)的情况下，对特征区域(L)进行强调处理，并且生成第二显示图像(D2)。

Description

内窥镜图像处理装置
技术领域
本发明涉及内窥镜图像处理装置。
背景技术
以往，在内窥镜装置中，手术医生通过对观察图像进行观察来判断有无病变部等。为了抑制手术医生在对观察图像进行观察时看漏病变部，例如像日本特开2011-255006号公报所示的那样，提出了如下的内窥镜图像处理装置：对通过图像处理而检测到的关注区域附加警报图像来显示观察图像。
然而，在以往的内窥镜图像处理装置中，有时在手术医生发现病变部之前就显示了警报图像，因而手术医生对警报图像所未示出的区域的注意力降低，另外，有可能削弱了手术医生通过目视来发现病变部的欲望，而妨碍病变部发现能力的提高。
因此，本发明的目的在于提供内窥镜图像处理装置，该内窥镜图像处理装置对手术医生提示关注区域，而抑制了对观察图像的注意力的降低，并且不会妨碍病变部发现能力的提高。
发明内容
用于解决课题的手段
本发明的一个方式的内窥镜图像处理装置具有：检测部，其被输入被检体的观察图像，根据有关所述观察图像的规定的特征量来检测所述观察图像中的特征区域；通知部，其在所述检测部检测到所述特征区域的情况下，通过通知处理向手术医生通知检测到所述特征区域，并且生成第一显示图像；以及强调处理部，其在所述检测部检测到所述特征区域的情况下，对所述特征区域进行强调处理，并且生成第二显示图像。
附图说明
图1是示出本发明的第一实施方式的内窥镜系统的概略结构的框图。
图2是示出本发明的第一实施方式的内窥镜系统的检测支援部的结构的框图。
图3是对本发明的第一实施方式的内窥镜系统的显示用图像的画面结构的例子进行说明的说明图。
图4是对本发明的第一实施方式的内窥镜系统的画面转变的例子进行说明的说明图。
图5是对本发明的第一实施方式的变形例1的内窥镜系统的第二显示图像的画面结构的例子进行说明的说明图。
图6是对本发明的第一实施方式的变形例1的内窥镜系统的画面转变的例子进行说明的说明图。
图7是对本发明的第一实施方式的变形例2的内窥镜系统的第一显示图像的画面结构的例子进行说明的说明图。
图8是示出本发明的第二实施方式的内窥镜系统的检测支援部和操作部的结构的框图。
图9是对本发明的第三实施方式的内窥镜系统的显示用图像的画面结构的例子进行说明的说明图。
图10是示出本发明的第四实施方式的内窥镜系统的检测支援部的结构的框图。
图11是对本发明的第四实施方式的内窥镜系统的合成图像的画面结构的例子进行说明的说明图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。
(第一实施方式)
(结构)
图1是示出本发明的第一实施方式的内窥镜系统1的概略结构的框图。
内窥镜系统1构成为具有光源驱动部11、内窥镜21、视频处理器31以及显示部41。光源驱动部11与内窥镜21和视频处理器31连接。内窥镜21与视频处理器31连接。视频处理器31与显示部41连接。如后所述，显示部41具有第一显示部41a和第二显示部41b。
光源驱动部11是驱动设置于内窥镜21的插入部22的前端的LED 23的电路。光源驱动部11与视频处理器31的控制部32和内窥镜21的LED 23连接。光源驱动部11构成为能够从控制部32输入控制信号，向LED 23输出驱动信号，驱动LED 23而使该驱动LED 23发光。
内窥镜21构成为能够将插入部22插入到被检体内而对被检体内进行拍摄。内窥镜21具有摄像部，该摄像部构成为具有LED 23和摄像元件24。
LED 23设置于内窥镜21的插入部22，构成为在光源驱动部11的控制下能够向被检体照射照明光。
摄像元件24设置于内窥镜21的插入部22，配置成能够经由未图示的观察窗取入被照明光照射的被检体的反射光。
摄像元件24对从观察窗取入的被检体的反射光进行光电转换，并通过未图示的AD转换器从模拟的摄像信号转换为数字的摄像信号并输出给视频处理器31。
视频处理器31是具有图像处理电路的内窥镜图像处理装置。视频处理器31构成为具有控制部32和检测支援部33。
控制部32能够向光源驱动部11发送控制信号来驱动LED 23。
控制部32能够对从内窥镜21输入的摄像信号例如进行增益调整、白平衡调整、伽马校正、轮廓强调校正以及缩放调整等图像调整，并将后述的被检体的观察图像G1依次输出给检测支援部33。
图2是示出本发明的第一实施方式的内窥镜系统1的检测支援部33的结构的框图。如图2所示，检测支援部33构成为具有检测部34、通知部35a以及强调处理部35b。
检测部34是如下的电路：输入有被检体的观察图像G1，根据有关观察图像G1的规定的特征量来检测观察图像G1中的作为特征区域的病变候选区域L。检测部34构成为具有特征量计算部34a和病变候选检测部34b。
特征量计算部34a是对有关被检体的观察图像G1的规定的特征量进行计算的电路。特征量计算部34a与控制部32和病变候选检测部34b连接。特征量计算部34a能够根据从控制部32依次输入的被检体的观察图像G1来计算规定的特征量并输出给病变候选检测部34b。
规定的特征量是按观察图像G1上的每个规定的小区域对规定的小区域内的各像素和与该像素相邻的像素的变化量即斜率值进行运算而计算出的。另外，规定的特征量不限于通过相邻像素之间的斜率值来进行计算的方法，也可以通过其他方法使观察图像G1数值化。
病变候选检测部34b是根据规定的特征量的信息来检测观察图像G1的病变候选区域L的电路。病变候选检测部34b构成为具有ROM 34c，以使得能够预先存储多个息肉模型信息。病变候选检测部34b与通知部35a和强调处理部35连接。
息肉模型信息由多个息肉图像所共同具有的特征的特征量构成的。
病变候选检测部34b根据从特征量计算部34a输入的规定的特征量和多个息肉模型信息来检测病变候选区域L，并将病变候选信息输出给通知部35a和强调处理部35b。
更具体而言，病变候选检测部34b对从特征量计算部34a输入的每个规定的小区域的规定的特征量和存储在ROM 34c中的息肉模型信息的特征量进行比较，在彼此的特征量一致时检测出病变候选区域L。当检测到病变候选区域L时，病变候选检测部34b将包含检测到的病变候选区域L的位置信息、大小信息在内的病变候选信息输出给通知部35a和强调处理部35b。
图3是对本发明的第一实施方式的内窥镜系统1的显示用图像D的画面结构的例子进行说明的说明图。
内窥镜系统1的显示用图像D构成为具有第一显示图像D1和第二显示图像D2。第一显示图像D1由通知部35a生成。第二显示图像D2由强调处理部35b生成。在第一显示图像D1和第二显示图像D2中分别配置有观察图像G1。在图3中，作为一例，观察图像G1表示具有病变候选区域L的大肠的内壁。
通知部35a是如下的电路：当由检测部34在观察图像G1中检测到病变候选区域L的情况下，通过通知处理向手术医生通知检测到病变候选区域L，并且生成第一显示图像D1。通知部35a与第一显示部41a连接。通知部35a根据从病变候选检测部34b输入的病变候选信息和从控制部32输入的观察图像G1而生成第一显示图像D1并输出给第一显示部41a。
通知处理是使通知图像G3显示在病变候选区域L以外的区域中的处理。在图3中，作为一例，示出了旗帜图案的通知图像G3，但通知图像G3例如也可以是三角形、圆形、星形等任何图像。
强调处理部35b是如下的电路：当由检测部34在观察图像G1中检测到病变候选区域L的情况下，对病变候选区域L进行强调处理并且生成第二显示图像D2。强调处理部35b与第二显示部41b连接，该第二显示部41b与第一显示部41a分开。强调处理部35b根据从病变候选检测部34b输入的病变候选信息和从控制部32输入的观察图像G1而生成第二显示图像D2并输出给第二显示部41b。
强调处理是进行示出病变候选区域L的位置的显示的处理。更具体而言，强调处理是如下的处理：根据病变候选信息所包含的位置信息和大小信息对从控制部32输入的观察图像G1附加包围病变候选区域L的标记图像G2。另外，在图3中，作为一例，标记图像G2以四边形示出，但例如也可以是三角形、圆形、星形等任何图像。另外，在图3中，作为一例，标记图像G2是包围病变候选区域L的框图像，但只要是能够示出病变候选区域L的位置的图像，则也可以是不包围病变候选区域L的图像。例如，也可以通过使病变候选区域L的明亮度或色调与周边区域不同来示出病变候选区域L的位置。
显示部41构成为能够将从检测支援部33输入的显示用图像D显示在画面上。显示部41构成为具有彼此分开的作为监视器的第一显示部41a和第二显示部41b。更具体而言，第一显示部41a显示从通知部35a输入的第一显示图像D1，第二显示部41b显示从强调处理部35b输入的第二显示图像D2。
(作用)
对内窥镜系统1的动作进行说明。
图4是对本发明的第一实施方式的内窥镜系统1的画面转变的例子进行说明的说明图。
首先，开始内窥镜21对被检体的观察，在病变候选检测部34b未检测到病变候选区域L时，通知部35a根据从控制部32输入的观察图像G1，不进行通知处理而生成第一显示图像D1并输出给第一显示部41a，另外，强调处理部35b不进行强调处理而生成第二显示图像D2并输出给第二显示部41b。
接着，在病变候选检测部34b检测到病变候选区域L时，通知部35a根据从病变候选检测部34b输入的病变候选信息和从控制部32输入的观察图像G1，在进行了通知处理之后生成第一显示图像D1并输出给第一显示部41a，另外，强调处理部35b在进行了强调处理之后生成第二显示图像D2并输出给第二显示部41b。
接着，在未检测到病变候选区域L时，通知部35a根据从控制部32输入的观察图像G1，不进行通知处理而生成第一显示图像D1并输出给第一显示部41a，另外，强调处理部35b不进行强调处理而生成第二显示图像D2并输出给第二显示部41b。
由此，手术医生能够对作为主画面的显示在第一显示部41a上的第一显示图像D1进行观察，并根据需要对作为子画面的显示在第二显示部41b上的第二显示图像D2进行观察。例如，手术医生通过第一显示图像D1来进行被检体的观察，在第一显示图像D1中显示有通知图像G3时，更仔细地对第一显示图像D1进行观察，手术医生能够自己通过目视发现病变部。并且，手术医生在无法在第一显示图像D1上发现病变部时，根据需要将眼睛移到第二显示图像D2，能够根据标记图像G2的显示位置而更仔细地对病变候选区域L进行确认。
根据上述的第一实施方式，标记图像G2显示于第二显示图像D2上，从而能够对手术医生提示关注区域，而抑制了对第一显示图像D1的注意力的降低，并且不会妨碍病变部发现能力的提高。
(第一实施方式的变形例1)
在上述的第一实施方式中，第二显示图像D2构成为具有作为动态图像而显示的观察图像G1，但第二显示图像D2也可以构成为具有观察图像G1和静态图像G4。
图5是对本发明的第一实施方式的变形例1的内窥镜系统1的第二显示图像D2的画面结构的例子进行说明的说明图。图6是对本发明的第一实施方式的变形例1的内窥镜系统1的画面转变的例子进行说明的说明图。在第一实施方式的变形例1的说明中，对与第一实施方式相同的结构标注相同的标号而省略说明。
在第一实施方式的变形例1中，强调处理部35b构成为具有静态图像处理部35c和存储器35d(图2的点划线)。
静态图像处理部35c是如下的电路：能够生成对在比观察图像G1靠前输入的观察图像中检测到的病变候选区域L进行了强调处理的静态图像G4。
存储器35d构成为能够暂时存储静态图像G4。
在病变候选检测部34b检测到病变候选区域L时，强调处理部35b使存储器35d暂时存储静态图像G4。强调处理部35b对暂时存储在存储器35d中的静态图像G4附加标记图像G2a并使静态图像G4显示在第二显示部41b上。
在未检测到病变候选区域L时，强调处理部35b不显示静态图像G4。
根据上述的第一实施方式的变形例1，能够通过第二显示图像D2中的静态图像G4而更可靠地对手术医生示出病变候选区域L的位置，从而能够对手术医生提示关注区域，而抑制了对第一显示图像D1的注意力的降低，并且不会妨碍病变部发现能力的提高。
(第一实施方式的变形例2)
在第一实施方式和第一实施方式的变形例1中，通知部35a使通知图像G3显示在病变候选区域L以外的区域中，但也可以显示包围观察图像G1的图像G5。
图7是对本发明的第一实施方式的变形例2的内窥镜系统1的第一显示图像D1的画面结构的例子进行说明的说明图。在第一实施方式的变形例2的说明中，对与第一实施方式和第一实施方式的变形例1相同的结构标注相同的标号而省略说明。
在第一实施方式的变形例2中，构成为当病变候选检测部34b检测到病变候选区域L时，通知部35a通过通知处理来显示包围观察图像G1的图像G5。
根据该结构，通过显示包围第一显示图像D1中的观察图像G1的图像G5，手术医生在关注第一显示图像D1的哪个部分时均能容易注意到由病变候选检测部34b检测到了病变候选区域L。
(第二实施方式)
在第一实施方式、第一实施方式的变形例1以及第一实施方式的变形例2中，通知部35a所生成的第一显示图像D1被输出给第一显示部41a，强调处理部35b所生成的第二显示图像D2被输出给第二显示部41b，但也可以是，能够将第一显示图像D1的输出目的地和第二显示图像D2的输出目的地相互切换。
图8是示出本发明的第二实施方式的内窥镜系统1的检测支援部33和操作部36的结构的框图。在第二实施方式的说明中，对与第一实施方式、第一实施方式的变形例1以及第一实施方式的变形例2相同的结构标注相同的标号而省略说明。
在第二实施方式中，内窥镜系统1构成为具有操作部36和切换部37。
操作部36由切换开关构成，该切换开关能够供手术医生输入指示。操作部36与切换部37连接。在从手术医生输入用于切换图像输出目的地的指示时，操作部36向切换部37输出切换指示信号。
切换部37是如下的电路：能够将第一显示图像D1的输出目的地和第二显示图像D2的输出目的地相互切换。切换部37与通知部35a、强调处理部35b、第一显示部41a以及第二显示部41b连接。切换部37在从操作部36输入切换指示信号时，将从通知部35a输入的第一显示图像D1的输出目的地和从强调处理部35b输入的第二显示图像D2的输出目的地相互切换，使第一显示图像D1的输出目的地为第二显示部41b，使第二显示图像D2的输出目的地为第一显示部41a。
根据该结构，手术医生不用在第一显示部41a和第二显示部41b之间转移视线就能够对第一显示图像D1和附加了标记图像G2的第二显示图像D2进行切换显示，从而能够对手术医生提示关注区域，而抑制了对第一显示图像D1的注意力的降低，并且不会妨碍病变部发现能力的提高。
(第三实施方式)
在第一实施方式、第一实施方式的变形例1、第一实施方式的变形例2以及第二实施方式中，第一显示图像D1和第二显示图像D2以相同的大小构成，但第一显示图像D1和第二显示图像D2也可以以不同的大小构成。
图9是对本发明的第三实施方式的内窥镜系统1的显示用图像D的画面结构的例子进行说明的说明图。在第三实施方式的说明中，对与第一实施方式、第一实施方式的变形例1、第一实施方式的变形例2以及第二的实施方式相同的结构标注相同的标号而省略说明。
如图9所示，在第三实施方式中，构成为第一显示图像D1较大，第二显示图像D2较小。在第三实施方式中，可以构成为显示第一显示图像D1的第一显示部41a的显示画面比显示第二显示图像D2的第二显示部41b的显示画面大，另外，也可以是，第一显示图像D1作为比第二显示图像D2大的图像而生成，在分别具有相同大小的显示画面的第一显示部41a和第二显示部41b中，第一显示图像D1显示得比第二显示图像D2大。
根据该结构，第一显示图像D1显示得较大，附加了标记图像G2的第二显示图像D2显示得较小，容易使手术医生的视线朝向第一显示图像D1，从而能够对手术医生提示关注区域，而抑制了对第一显示图像D1的注意力的降低，并且不会妨碍病变部发现能力的提高。
(第四实施方式)
在第一实施方式、第一实施方式的变形例1、第一实施方式的变形例2、第二实施方式以及第三实施方式中，第一显示图像D1和第二显示图像D2分别由分开的第一显示部41a和第二显示部41b进行显示，但也可以由一个显示部进行显示。
图10是示出本发明的第四实施方式的内窥镜系统1的检测支援部33的结构的框图。图11是对本发明的第四实施方式的内窥镜系统1的合成图像Da的画面结构的例子进行说明的说明图。在第四实施方式的说明中，对与第一实施方式、第一实施方式的变形例1、第一实施方式的变形例2、第二实施方式以及第三实施方式相同的结构标注相同的标号而省略说明。
在第四实施方式中，检测支援部33构成为具有合成部38。
合成部38是能够对第一显示图像D1和第二显示图像D2进行合成而生成合成图像Da的电路。合成部38与通知部35a、强调处理部35b以及第三显示部41c连接。合成部38对从通知部35a输入的第一显示图像D1和从强调处理部35b输入的第二显示图像D2进行合成而生成图11中作为例子而示出的合成图像Da，并输出给第三显示部41c。
根据该结构，能够将合成了第一显示图像D1和附加了标记图像G2的第二显示图像D2的合成图像Da显示在第三显示部41c上，从而能够对手术医生提示关注区域，而抑制了对第一显示图像D1的注意力的降低，并且不会妨碍病变部发现能力的提高。
根据上述的实施方式，能够对手术医生提示关注区域，而抑制了对观察图像G1的注意力的降低，并且不会妨碍病变部发现能力的提高。
另外，在实施方式中，为了便于说明，显示在观察图像G1中的病变候选区域L是一个，但有时在观察图像G1中显示有多个病变候选区域L。在该情况下，对各病变候选区域L进行通知处理和强调处理。
另外，在实施方式中，通知部35a通过显示通知图像G3来对手术医生进行通知，但通知部35a也可以从未图示的扬声器产生声音来对手术医生进行通知。
另外，在实施方式中，控制部32对从内窥镜21输入的摄像信号例如进行增益调整、白平衡调整、伽马校正、轮廓强调校正以及缩放调整等图像调整，并将图像调整后的观察图像G1输入给检测支援部33，但是，图像调整的一部分或全部也可以不在输入给检测支援部33之前进行，而对从检测支援部33输出的图像信号进行。
另外，在实施方式中，强调处理部35b使标记图像G2附加在病变候选区域L中，但标记图像G2也可以根据检测到的病变候选区域L的概率来分颜色进行显示。在该情况下，病变候选检测部34b将包含病变候选区域L的概率信息在内的病变候选信息输出给强调处理部35b，强调处理部35b通过基于病变候选区域L的概率信息的颜色区分来进行强调处理。根据该结构，手术医生在观察病变候选区域L时，能够根据标记图像G2的颜色来推测假阳性(误检测)的可能性的大小。
另外，在实施方式中，检测支援部33配置在视频处理器31的内部，但例如也可以配置在视频处理器31与显示部41之间等视频处理器31的外部。
另外，在实施方式中，检测支援部33由电路構成，但检测支援部33的各功能也可以由通过CPU的处理来实现功能的处理程序构成。
本发明不限定于上述的实施方式，可以在不改变本发明的主旨的范围内进行各种变更、改变等。
根据本发明，能够提供内窥镜图像处理装置，该内窥镜图像处理装置对手术医生提示关注区域，而抑制了对观察图像的注意力的降低，并且不会妨碍病变部发现能力的提高。
本申请是以2015年10月26日在日本申请的日本特愿2015-209891号作为优先权主张的基础而申请的，上述的公开的内容在本申请说明书、权利要求书以及附图中被引用。

Claims (10)

1.一种内窥镜图像处理装置，其特征在于，
该内窥镜图像处理装置具有：
检测部，其被输入被检体的观察图像，根据有关所述观察图像的规定的特征量来检测所述观察图像中的特征区域；
通知部，其在所述检测部检测到所述特征区域的情况下，通过通知处理向手术医生通知检测到所述特征区域，并且生成第一显示图像；以及
强调处理部，其在所述检测部检测到所述特征区域的情况下，对所述特征区域进行强调处理，并且生成第二显示图像。
2.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述通知处理是使通知图像显示在所述特征区域以外的区域中的处理。
3.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述强调处理是进行示出所述特征区域的位置的显示的处理。
4.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
该内窥镜图像处理装置具有静态图像处理部，该静态图像处理部生成对在比所述观察图像靠前输入的所述观察图像中检测到的所述特征区域进行了所述强调处理的静态图像。
5.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述通知处理是显示包围所述观察图像的图像的处理。
6.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述第一显示图像被输出给第一显示部，
所述第二显示图像被输出给第二显示部。
7.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
该内窥镜图像处理装置具有切换部，该切换部能够将所述第一显示图像的输出目的地和所述第二显示图像的输出目的地相互切换。
8.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述第一显示图像作为比所述第二显示图像大的图像而生成。
9.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
该内窥镜图像处理装置具有合成部，该合成部能够对所述第一显示图像和所述第二显示图像进行合成而生成合成图像，
所述合成部所合成的所述合成图像被输出给第三显示部。
10.根据权利要求1所述的内窥镜图像处理装置，其特征在于，
所述检测部能够输出所检测到的所述特征区域的概率信息，
所述强调处理部通过基于所述概率信息的颜色区分来进行所述强调处理。
CN201680060776.XA 2015-10-26 2016-10-13 内窥镜图像处理装置 Active CN108135457B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-209891 2015-10-26
JP2015209891 2015-10-26
PCT/JP2016/080310 WO2017073338A1 (ja) 2015-10-26 2016-10-13 内視鏡画像処理装置

Publications (2)

Publication Number Publication Date
CN108135457A true CN108135457A (zh) 2018-06-08
CN108135457B CN108135457B (zh) 2020-02-21

Family

ID=58630313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680060776.XA Active CN108135457B (zh) 2015-10-26 2016-10-13 内窥镜图像处理装置

Country Status (5)

Country Link
US (1) US20180242817A1 (zh)
EP (1) EP3357407A4 (zh)
JP (1) JP6315873B2 (zh)
CN (1) CN108135457B (zh)
WO (1) WO2017073338A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517745A (zh) * 2019-08-15 2019-11-29 中山大学肿瘤防治中心 医疗检查结果的展示方法、装置、电子设备及存储介质
CN110868907A (zh) * 2017-04-28 2020-03-06 奥林巴斯株式会社 内窥镜诊断辅助系统、内窥镜诊断辅助程序和内窥镜诊断辅助方法
CN112040830A (zh) * 2018-06-19 2020-12-04 奥林巴斯株式会社 内窥镜图像处理装置和内窥镜图像处理方法
CN112312822A (zh) * 2018-07-06 2021-02-02 奥林巴斯株式会社 内窥镜用图像处理装置和内窥镜用图像处理方法以及内窥镜用图像处理程序
CN112367896A (zh) * 2018-07-09 2021-02-12 富士胶片株式会社 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序
CN112584746A (zh) * 2018-08-23 2021-03-30 富士胶片株式会社 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
CN112739250A (zh) * 2018-09-18 2021-04-30 富士胶片株式会社 医用图像处理装置、处理器装置、医用图像处理方法及程序
CN113164023A (zh) * 2018-11-28 2021-07-23 奥林巴斯株式会社 内窥镜系统和内窥镜用图像处理方法、以及内窥镜用图像处理程序
CN113498323A (zh) * 2019-02-26 2021-10-12 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
CN113543694A (zh) * 2019-03-08 2021-10-22 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
CN114269221A (zh) * 2019-09-03 2022-04-01 富士胶片株式会社 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6549711B2 (ja) * 2015-06-11 2019-07-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
WO2018216188A1 (ja) 2017-05-26 2018-11-29 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
CN110663251B (zh) * 2017-06-02 2021-12-31 富士胶片株式会社 医疗图像处理装置
WO2018235246A1 (ja) * 2017-06-22 2018-12-27 オリンパス株式会社 画像処理装置、画像処理プログラム及び画像処理方法
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2019146066A1 (ja) 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
WO2019146079A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
WO2019220916A1 (ja) 2018-05-14 2019-11-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び内視鏡システム
JP7337073B2 (ja) * 2018-08-17 2023-09-01 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020039968A1 (ja) 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
JP7116176B2 (ja) 2018-08-20 2022-08-09 富士フイルム株式会社 医療画像処理システム
CN112584742B (zh) * 2018-08-20 2024-04-30 富士胶片株式会社 医疗图像处理系统
CN112654282B (zh) * 2018-09-11 2024-07-12 富士胶片株式会社 医疗图像处理装置、医疗图像处理方法、内窥镜系统及记录介质
JP7143436B2 (ja) * 2018-11-01 2022-09-28 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法及びプログラム、診断支援装置
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
WO2020162275A1 (ja) * 2019-02-08 2020-08-13 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
US12161287B2 (en) 2019-02-13 2024-12-10 Nec Corporation Surgery assistance apparatus, surgery assistance method, and computer-readable recording medium
JP7060536B2 (ja) * 2019-03-13 2022-04-26 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理装置の作動方法及びプログラム、内視鏡システム
DE102019134253A1 (de) 2019-12-13 2021-06-17 Hoya Corporation Vorrichtung, Verfahren und computerlesbares Speichermedium zur Erfassung von Objekten in einem Videosignal beruhend auf visuellen Anzeichen unter Verwendung einer Ausgabe eines Maschinenlernmodells
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
CN115397304B (zh) 2020-04-08 2025-08-19 富士胶片株式会社 医疗图像处理系统、识别处理用处理器装置及医疗图像处理系统的工作方法
WO2021210676A1 (ja) * 2020-04-16 2021-10-21 富士フイルム株式会社 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム
WO2021241695A1 (ja) 2020-05-27 2021-12-02 富士フイルム株式会社 内視鏡画像処理装置
USD1051380S1 (en) 2020-11-17 2024-11-12 Adaptivendo Llc Endoscope handle
KR102505791B1 (ko) * 2021-01-11 2023-03-03 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
USD1070082S1 (en) 2021-04-29 2025-04-08 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
USD1066659S1 (en) 2021-09-24 2025-03-11 Adaptivendo Llc Endoscope handle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1418521A1 (en) * 2002-10-17 2004-05-12 Fuji Photo Film Co., Ltd. Abnormal pattern candidate detection processing method and system
CN100377685C (zh) * 2002-08-30 2008-04-02 奥林巴斯株式会社 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置
CN102740757A (zh) * 2010-02-05 2012-10-17 奥林巴斯株式会社 图像处理装置、内窥镜系统、程序以及图像处理方法
CN103565411A (zh) * 2012-07-25 2014-02-12 奥林巴斯株式会社 荧光观察装置
WO2014132475A1 (ja) * 2013-02-26 2014-09-04 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006198106A (ja) * 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
JP5562683B2 (ja) * 2010-03-03 2014-07-30 オリンパス株式会社 蛍光観察装置
JP6049518B2 (ja) * 2013-03-27 2016-12-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100377685C (zh) * 2002-08-30 2008-04-02 奥林巴斯株式会社 医疗处理系统、内窥镜系统、内窥镜插入操作程序及内窥镜装置
EP1418521A1 (en) * 2002-10-17 2004-05-12 Fuji Photo Film Co., Ltd. Abnormal pattern candidate detection processing method and system
CN102740757A (zh) * 2010-02-05 2012-10-17 奥林巴斯株式会社 图像处理装置、内窥镜系统、程序以及图像处理方法
CN103565411A (zh) * 2012-07-25 2014-02-12 奥林巴斯株式会社 荧光观察装置
WO2014132475A1 (ja) * 2013-02-26 2014-09-04 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110868907A (zh) * 2017-04-28 2020-03-06 奥林巴斯株式会社 内窥镜诊断辅助系统、内窥镜诊断辅助程序和内窥镜诊断辅助方法
CN112040830A (zh) * 2018-06-19 2020-12-04 奥林巴斯株式会社 内窥镜图像处理装置和内窥镜图像处理方法
CN112312822A (zh) * 2018-07-06 2021-02-02 奥林巴斯株式会社 内窥镜用图像处理装置和内窥镜用图像处理方法以及内窥镜用图像处理程序
US11991478B2 (en) 2018-07-09 2024-05-21 Fujifilm Corporation Medical image processing apparatus, medical image processing system, medical image processing method, and program
CN112367896A (zh) * 2018-07-09 2021-02-12 富士胶片株式会社 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序
US12388960B2 (en) 2018-07-09 2025-08-12 Fujifilm Corporation Medical image processing apparatus, medical image processing system, medical image processing method, and program
CN112584746A (zh) * 2018-08-23 2021-03-30 富士胶片株式会社 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
CN112739250A (zh) * 2018-09-18 2021-04-30 富士胶片株式会社 医用图像处理装置、处理器装置、医用图像处理方法及程序
US12198371B2 (en) 2018-09-18 2025-01-14 Fujifilm Corporation Medical image processing apparatus, processor device, medical image processing method, and program
CN113164023B (zh) * 2018-11-28 2024-02-23 奥林巴斯株式会社 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质
CN113164023A (zh) * 2018-11-28 2021-07-23 奥林巴斯株式会社 内窥镜系统和内窥镜用图像处理方法、以及内窥镜用图像处理程序
US12106394B2 (en) 2019-02-26 2024-10-01 Fujifilm Corporation Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
CN113498323A (zh) * 2019-02-26 2021-10-12 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
CN113543694B (zh) * 2019-03-08 2024-02-13 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
US11918176B2 (en) 2019-03-08 2024-03-05 Fujifilm Corporation Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
CN113543694A (zh) * 2019-03-08 2021-10-22 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序
CN110517745A (zh) * 2019-08-15 2019-11-29 中山大学肿瘤防治中心 医疗检查结果的展示方法、装置、电子设备及存储介质
CN114269221A (zh) * 2019-09-03 2022-04-01 富士胶片株式会社 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
US12274416B2 (en) 2019-09-03 2025-04-15 Fujifilm Corporation Medical image processing apparatus, endoscope system, medical image processing method, and program

Also Published As

Publication number Publication date
EP3357407A4 (en) 2019-04-17
JPWO2017073338A1 (ja) 2017-11-09
CN108135457B (zh) 2020-02-21
WO2017073338A1 (ja) 2017-05-04
EP3357407A1 (en) 2018-08-08
US20180242817A1 (en) 2018-08-30
JP6315873B2 (ja) 2018-04-25

Similar Documents

Publication Publication Date Title
CN108135457B (zh) 内窥镜图像处理装置
CN108348145B (zh) 内窥镜装置
JPWO2017073337A1 (ja) 内視鏡装置及びビデオプロセッサ
US20250375092A1 (en) Endoscope diagnosis support system, storage medium, and endoscope diagnosis support method
US12256889B2 (en) Endoscopic image processing apparatus, endoscopic image processing method, and recording medium
JP6602969B2 (ja) 内視鏡画像処理装置
JP7045453B2 (ja) 内視鏡画像処理装置、内視鏡画像処理装置の作動方法およびプログラム
CN110325100A (zh) 内窥镜系统及其操作方法
WO2020008651A1 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
JP2006247163A (ja) 内視鏡装置
JP7230174B2 (ja) 内視鏡システム、画像処理装置および画像処理装置の制御方法
JPWO2017072853A1 (ja) 撮像装置、内視鏡装置及び撮像装置の作動方法
JPWO2017104192A1 (ja) 医用観察システム
CN116133572A (zh) 图像分析处理装置、内窥镜系统、图像分析处理装置的工作方法及图像分析处理装置用程序
JP6017749B1 (ja) 撮像装置、撮像装置の作動方法
CN114269221B (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及记录介质
JP5932188B1 (ja) 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム
JP6209325B2 (ja) 内視鏡装置
WO2022210508A1 (ja) プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
KR20160006857A (ko) 내시경을 이용한 의료 영상 시스템 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant