[go: up one dir, main page]

CN115834999B - 内窥镜处理器、存储介质以及聚焦透镜的控制方法 - Google Patents

内窥镜处理器、存储介质以及聚焦透镜的控制方法 Download PDF

Info

Publication number
CN115834999B
CN115834999B CN202211093270.2A CN202211093270A CN115834999B CN 115834999 B CN115834999 B CN 115834999B CN 202211093270 A CN202211093270 A CN 202211093270A CN 115834999 B CN115834999 B CN 115834999B
Authority
CN
China
Prior art keywords
state
image
endoscope
mode
proximity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211093270.2A
Other languages
English (en)
Other versions
CN115834999A (zh
Inventor
宫田明裕
三上俊彰
吉野浩一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN115834999A publication Critical patent/CN115834999A/zh
Application granted granted Critical
Publication of CN115834999B publication Critical patent/CN115834999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

提供一种内窥镜处理器、存储介质以及聚焦透镜的控制方法。能够抑制误判定,从而防止在筛查状态下不必要地进行自动对焦。内窥镜处理器具备能够与内窥镜(10)连接的处理器(30a),内窥镜(10)具备摄像装置(12)以及物镜光学系统(11)所包括的聚焦透镜(11a)的移动机构(13)。处理器(30a)在接近判定模式中,在伴随移动机构(13)的控制而产生的有效图像范围的像高的变动为1%以下的情况下,基于聚焦透镜11a的位置信息和图像来判定是否已从筛查状态转变为接近状态,在判定为已转变为接近状态的情况下,结束接近判定模式,以自动对焦模式控制移动机构(13)。

Description

内窥镜处理器、存储介质以及聚焦透镜的控制方法
技术领域
本发明涉及一种通过移动机构使内窥镜的聚焦透镜移动来获取图像的内窥镜处理器、存储用于控制内窥镜的程序的存储介质、以及聚焦透镜的控制方法。
背景技术
当摄像元件高像素化从而1个像素的大小变小时,景深变浅。在内窥镜中也是,摄像元件的高像素化正在发展,有时在摄像中被摄体的位置处于景深外。为了能够应对这种情况,提出了一种具备自动对焦功能的内窥镜。
另外,在利用内窥镜观察被摄体时,大致区分的话存在2个观察场景。
一个观察场景是用于观察远景至近景的大距离范围的被摄体来发现病变的筛查状态的观察场景。在筛查状态下,优选的是,将聚焦透镜的位置固定于远点端,使得在远景至近景的尽可能大的距离范围内对焦。
另一个观察场景是为了更详细地诊断在筛查状态下发现的病变而使内窥镜的插入部的前端部接近病变的接近状态的观察场景。在接近状态下,优选的是,自动对焦工作,使得持续对焦于病变。
当在筛查状态下自动对焦工作时,到已对焦的被摄体部分的距离范围发生变化,因此有时难以发现病变,有时会给用户带来压力。因此,以往以来提出了一种防止不必要的自动对焦的技术。
例如在日本专利第6177387号中公开了以下技术:基于对比度值相对于时间的变动量,来判定观察状态是筛查观察状态和接近放大观察状态中的哪一个观察状态,当判定为处于所述接近放大观察状态时自动地切换为自动对焦控制,开始自动对焦控制。
但是,在日本专利第6177387号中,基于伴随用户手动移动内窥镜时的内窥镜的运动而产生的对比度值的变化来判定观察状态。因此,存在以下风险:在相对于被摄体进行的平移中对比度值偶然地发生了变化的情况、或者由于用户移动内窥镜的移动方式剧烈而变为模糊图像的情况下,误判定为已转变为接近状态。
发明内容
本发明是鉴于上述情况而完成的,其目的在于提供一种能够抑制误判定从而防止在筛查状态下不必要地进行自动对焦的内窥镜处理器、存储介质以及聚焦透镜的控制方法。
本发明的一个方式的内窥镜处理器能够与内窥镜连接,且具备处理器,其中,所述内窥镜具备:物镜光学系统,其包括聚焦透镜,该物镜光学系统用于形成被摄体的光学像;移动机构,其移动所述聚焦透镜;以及摄像装置,其拍摄所述光学像来获取图像,所述处理器构成为:以自动对焦模式和接近判定模式中的某一方的模式控制所述移动机构,所述自动对焦模式是自动地对焦于所述被摄体的模式,所述接近判定模式是用于判定是否已从筛查状态转变为接近状态的模式,在所述自动对焦模式关闭的期间,执行所述接近判定模式,在所述接近判定模式中,在伴随所述移动机构的控制而产生的有效图像范围的像高的变动为1%以下的情况下,基于所述聚焦透镜的位置信息和所述图像的变化,来判定是否已从所述筛查状态转变为所述接近状态,在判定为已转变为所述接近状态的情况下,结束所述接近判定模式,以所述自动对焦模式控制所述移动机构。
本发明的一个方式的存储介质是一种存储有程序的计算机可读取的存储介质,所述程序使控制内窥镜的计算机进行以下动作:以自动对焦模式和接近判定模式中的某一方的模式控制用于移动所述内窥镜的物镜光学系统中包括的聚焦透镜的移动机构,所述自动对焦模式是自动地对焦于被摄体的模式,所述接近判定模式是用于判定是否已从筛查状态转变为接近状态的模式,在所述自动对焦模式关闭的期间,执行所述接近判定模式,在所述接近判定模式中,在有效图像范围的像高的变动为1%以下的情况下,基于所述聚焦透镜的位置信息和通过所述内窥镜所具备的摄像装置获取到的图像的变化,来判定是否已从所述筛查状态转变为所述接近状态,在判定为已转变为所述接近状态的情况下,结束所述接近判定模式,以所述自动对焦模式控制所述移动机构。
本发明的一个方式的聚焦透镜的控制方法如下:从内窥镜获取图像,获取所述内窥镜的聚焦透镜的位置信息,在以接近判定模式控制所述内窥镜的所述聚焦透镜的移动机构的过程中,在有效图像范围的像高的变动为1%以下的情况下,基于所述聚焦透镜的位置信息和所述图像的变化,来判定是否已从筛查状态转变为接近状态,在判定为已转变为所述接近状态的情况下,结束所述接近判定模式,以自动对焦模式控制所述移动机构。
附图说明
图1是表示本发明的第一实施方式的内窥镜系统的构造性结构和功能性结构的框图。
图2是表示上述第一实施方式的内窥镜处理器的硬件结构的一例的框图。
图3是表示在上述第一实施方式中聚焦透镜控制器基于系统控制器的控制来使移动机构移动聚焦透镜的处理的一例的时序图。
图4是说明上述第一实施方式中有效图像范围的像高的图表。
图5是表示在上述第一实施方式中使聚焦透镜在从远点端到准远点端之间往复动作1次的例子的时序图。
图6是表示上述第一实施方式中与到被摄体的距离相应的、远点端图像与准远点端图像的对比度差的例子的曲线图。
图7是表示上述第一实施方式的变形例的内窥镜系统的构造性结构和功能性结构的框图。
图8是表示本发明的第二实施方式的内窥镜系统的构造性结构和功能性结构的框图。
图9是表示在上述第二实施方式的内窥镜系统中由于聚焦透镜的往复动作而第一图像的对比度差与第二图像的对比度差产生大小关系的例子的曲线图。
图10是表示在上述第二实施方式的内窥镜系统中由于聚焦透镜的往复动作而第一图像的对比度差和第二图像的对比度差发生变化时将对比度差之间的差利用于判定的例子的曲线图。
图11是表示本发明的第三实施方式的内窥镜系统的构造性结构和功能性结构的框图。
图12是表示上述第三实施方式的内窥镜系统的作用的流程图。
具体实施方式
下面,参照附图来说明本发明的实施方式。但是,本发明不限定于下面说明的实施方式。
[第一实施方式]
图1至图6示出了本发明的第一实施方式,图1是表示第一实施方式的内窥镜系统的构造性结构和功能性结构的框图。此外,在图1(以及后述的图8和图11也同样)中,实线箭头主要表示图像信号的流动,点线箭头主要表示控制信号的流动。
内窥镜系统具备内窥镜10、光源装置20、内窥镜处理器30、外部接口(外部I/F)40以及监视器50。
内窥镜10具备向被检体内插入的插入部10a。在此,被插入部10a插入的被检体既可以是人或动物等生物,也可以是机械或建筑物等非生物。
内窥镜10构成为电子内窥镜,在插入部10a的前端部设置有物镜光学系统11、摄像元件12、移动机构13以及照明透镜14。
物镜光学系统11使被检体内的被摄体的光学像形成于摄像元件12。物镜光学系统11包括聚焦透镜11a,聚焦透镜11a的位置P能够沿着物镜光学系统11的光轴移动。当聚焦透镜11a的位置P被移动时,在摄像元件12形成的光学像中的被摄体的对焦部分(已对焦的被摄体部分)发生变化。
本发明中的被摄体是指用户想要观察的部分。例如在筛查模式时,脏器整体成为被摄体。在接近观察模式时,息肉、炎症、肿瘤、血管生成、粘膜变形部分、局部色彩不同的部分等疑似病变的部分成为被摄体。
摄像元件12构成摄像装置,呈二维状地排列有用于将入射的光转换为电信号的像素。摄像元件12拍摄通过聚焦透镜11a形成的光学像来获取图像,例如作为模拟的摄像信号输出。摄像元件12例如以帧为单位进行拍摄,将多个帧的图像所涉及的摄像信号按时间序列依次输出。
作为摄像元件12的例子,可列举出CMOS(Complementary Metal-OxideSemiconductor:互补金属氧化物半导体)图像传感器、CCD(Charge Coupled Device:电荷耦合器件)图像传感器等固体摄像元件,但是不限定于特定的结构。另外,摄像元件12可以是彩色摄像元件和单色摄像元件中的任一种摄像元件。在摄像元件12是彩色摄像元件的情况下,可以具备原色滤色器、补色滤色器等中的任一者,滤色器阵列既可以是拜耳阵列,也可以是其它滤色器阵列。并且,摄像元件12也可以是像面相位差AF(Automatic Focus:自动对焦)方式的摄像元件,其具备将来自物镜光学系统11的光进行光瞳分割后进行接收的相位差像素。摄像元件12是像面相位差AF方式的摄像元件的例子在后面说明。
移动机构13是沿着物镜光学系统11的光轴移动聚焦透镜11a的机构。移动机构13例如具备致动器作为驱动源。
照明透镜14向被摄体照射经由后述的光导件15传输的照明光。
在包括插入部10a的内窥镜10内配设有光导件15。光导件15的出射端与照明透镜14相向,光导件15的入射端与光源装置20连接。
光源装置20具备光源控制器21和光源22。
光源控制器21按照内窥镜处理器30内的后述的系统控制器36的控制来控制光源22的光量。光源控制器21对光源22的光量的控制例如也可以适当使用发光亮度的控制或者PWM(Pulse Width Modulation:脉宽调制)中的占空比的控制等控制方法。
光源22通过发光设备来发出照明光。光源22例如能够组合地具备LED(LightEmitting Diode:发光二极管)光源、激光光源以及氙光源等发光设备中的一种以上。但是,发光设备不限定于在此列举的例子,能够适当使用公知技术。
从光源22发出的照明光入射到光导件15的入射端。光导件15将从入射端入射的照明光传输到出射端。所传输的照明光从光导件15的出射端射出,被照明透镜14照射向被摄体。
内窥镜处理器30对由内窥镜10的摄像元件12获取到的摄像信号进行图像处理。另外,内窥镜处理器30也可以控制包括监视器等在内的内窥镜系统整体,而不是仅控制内窥镜。
内窥镜处理器30具备预处理装置31、接近状态判定器34、聚焦透镜控制器35以及系统控制器36作为硬件,该预处理装置31具备AD(模拟-数字)转换器32和图像处理装置33。
在图1的框图中示出了内窥镜处理器30的各硬件的功能性结构,但是图2是表示以构造为单位来观察第一实施方式的内窥镜处理器30的情况下的结构的一例的框图。
如图2所示,内窥镜处理器30具备处理器30a和存储器30b。处理器30a例如具备包括CPU(Central Processing Unit:中央处理单元)等的ASIC(Application SpecificIntegrated Circuit:专用集成电路)、FPGA(Field Programmable Gate Array:现场可编程门阵列)等。
存储器30b例如具备RAM(Random Access Memory:随机存取存储器)等易失性的存储介质、ROM(Read Only Memory:只读存储器)(或者EEPROM(Electrically ErasableProgrammable Read-Only Memory:电可擦可编程只读存储器))等非易失性的存储介质。RAM暂时存储作为处理对象的图像、执行时的处理参数、从外部I/F 40输入的用户设定值等各种信息。ROM非易失性地存储处理程序(计算机程序)、处理参数的规定值、即使将内窥镜系统的电源关闭也应该存储的用户设定值等各种信息。
通过由图2所示的处理器30a读取并执行存储器30b中存储的处理程序,来实现如图1所示的内窥镜处理器30的各种功能。但是,也可以构成为通过专用的电子电路来实现内窥镜处理器30的各种功能的全部或一部分。
另外,在此,说明了在存储器30b存储有处理程序的例子,但是处理程序(或处理程序的至少一部分)也可以存储于软盘或CD(Compact Disc:小型光盘)-ROM等便携式存储介质、硬盘或SSD(Solid State Drive:固态驱动器)等存储介质、云端上的存储介质等。在该情况下,只要从外部的存储介质经由外部I/F 40读取处理程序并存储到存储器30b、并且由处理器30a执行处理程序即可。
AD转换器32将从摄像元件12输出的模拟的摄像信号转换为数字的图像后输出到图像处理装置33。此外,在摄像元件12是输出数字的摄像信号的数字摄像元件的情况下,可以省略AD转换器32。
图像处理装置33对从AD转换器32以帧为单位依次输出的图像进行白平衡处理、去马赛克(同步化)处理、降噪处理、颜色转换处理、灰度转换处理或轮廓增强处理等各种图像处理。被图像处理装置33进行了图像处理的图像被输出到接近状态判定器34和监视器50。图像例如还经由接近状态判定器34被输出到聚焦透镜控制器35(但是,也可以由聚焦透镜控制器35从预处理装置31直接获取图像)。
此外,在此说明了图像处理装置33将进行了一系列图像处理的图像输出到接近状态判定器34的例子,但是不限定于此。即,接近状态判定器34进行与自动对焦(AF)控制相关联的判定,因此要求实时性。因此,从图像处理装置33输出到接近状态判定器34的图像也可以是仅进行了AD转换的图像(RAW图像)、除了AD转换以外还进行了去马赛克处理的图像、以及省略了多个图像处理中的若干个处理的图像等中的任一种图像。
另外,从图像处理装置33输出到接近状态判定器34和聚焦透镜控制器35的图像也可以不是图像整体。例如,作为控制装置的系统控制器36作为区域设定部发挥功能,对由摄像元件12获取到的图像的至少一部分设定AF区域(兼作接近状态判定器34用来判定是否已转变为接近状态的判定用区域)。
系统控制器36既可以将AF区域设定为图像的中央部,也可以将AF区域设定为图像的周边部,还可以设定多个AF区域。另外,系统控制器36也可以根据例如与用户操作相应的来自外部I/F 40的输入来任意地设定AF区域。
或者,也可以是,系统控制器36检测图像中的特定的被摄体或被摄体的一部分(例如病变),跟踪特定的被摄体或被摄体的一部分的移动来移动AF区域。另外,也可以是,系统控制器36检测图像中的用户正在关注的概率高的区域(例如,适当曝光区域)并将该区域设定为AF区域。
接近状态判定器34基于聚焦透镜11a的位置P的信息和从图像处理装置33输出的图像来判定是否已从内窥镜10的插入部10a的前端部未接近被摄体的状态(筛查状态)转变为该前端部接近了该被摄体的状态(接近状态)。在此所说的前端部是指包括物镜光学系统11的规定区域。接近状态判定器34在判定为已转变为接近状态的情况下,向聚焦透镜控制器35输出AF开始信号。
聚焦透镜控制器35向移动机构13发送控制命令,使移动机构13移动聚焦透镜11a。聚焦透镜控制器35以自动地对焦于被摄体的AF(自动对焦)模式(AF控制模式)和用于判定是否已转变为接近状态的接近判定模式(接近状态判定用控制模式)中的某一方的控制模式控制移动机构13,从而使聚焦透镜11a移动。
在此,在内窥镜对被摄体的观察中,大致区分的话存在2个观察场景。
一个观察场景是筛查状态的观察场景。筛查状态的观察场景是用于观察远景至近景的大的距离范围的被摄体来发现病变的场景。在将聚焦透镜11a的位置P固定于远点端Pf(参照图3和图5)或远点端附近的情况下,在远景至近景的大的距离范围内对焦(也就是说,景深尽可能深),因此作为筛查状态而言是理想的。在将聚焦透镜11a的位置P固定于远点端Pf的情况下,景深最深。
此外,当在筛查状态下自动对焦工作时,到已对焦的被摄体部分的距离范围发生变化,因此有时产生难以发现病变的部分。另外,由于已对焦的被摄体部分发生变化,有时会给用户带来压力。因此,聚焦透镜控制器35在筛查状态下,以自动对焦基本上不工作的方式进行基于接近判定模式的控制。
另一个观察场景是接近状态的观察场景。当在筛查状态下发现病变时,为了更详细地诊断所发现的病变,使插入部10a的前端部接近病变。与筛查状态相比插入部10a的前端部更接近被摄体的状态为接近状态。若在筛查状态下仍将聚焦透镜11a的位置P固定于远点端Pf地接近病变,则导致想要观察的病变脱离景深范围。因此,聚焦透镜控制器35在接近状态下,以自动对焦工作而持续对焦于病变的方式进行基于AF模式的控制。
AF模式(AF控制模式)是以下的模式:进行AF控制来自动地移动聚焦透镜11a,使得即使从插入部10a的前端部到被摄体的距离发生了变化,也持续对焦于被摄体。由聚焦透镜控制器35进行的AF控制可以通过对比度AF、相位差AF、其它AF控制方式中的任一种AF控制方式来进行,并不限定于特定的方式。
对比度AF通过以下方式进行:聚焦透镜控制器35一边改变聚焦透镜11a的位置一边获取多帧的图像,如公知的那样,从图像提取对比度成分,将聚焦透镜11a移动到对比度成分取极大值的位置。
另外,相位差AF是在摄像元件12例如为像面相位差AF方式的摄像元件的情况下基于从摄像元件12所具有的相位差像素获取到的相位差信息来进行的。如果使用像面相位差AF方式的摄像元件12,则不需要与摄像元件12分开设置的相位差AF传感器等,因此具有内窥镜10不会大型化的优点。
如上所述,在筛查状态下,基本上不使自动对焦工作,但是需要判定观察场景是否已从筛查状态转变为接近状态。因此,聚焦透镜控制器35在接近判定模式(接近状态判定用控制模式)下,进行以不妨碍正在进行筛查的用户的观察的程度(也就是说,以到已对焦的被摄体部分的距离范围几乎不发生变化的程度)稍微改变聚焦透镜11a的位置P的控制,基于改变位置P后获取到的图像来判定是否已转变为接近状态。关于该接近判定模式中的处理,在后面更详细地进行说明。
聚焦透镜控制器35当在以接近判定模式进行控制的过程中从接近状态判定器34接收到AF开始信号时,结束接近判定模式并以AF模式进行控制。当执行AF模式下的控制时,进行移动机构13对聚焦透镜11a的AF控制。
另外,聚焦透镜控制器35当在以AF模式进行控制的过程中接收到AF结束信号时,结束AF模式并以接近判定模式进行控制。在此,在本实施方式中,设为例如在接近状态判定器34判定为不再是接近状态(已转变为筛查状态)的情况下输出AF结束信号(因而,在本实施方式中,可以说接近状态判定器34兼作如后述的第三实施方式中说明的那样的筛查状态判定器37)。但是,也可以如第三实施方式中说明的那样,与接近状态判定器34分开地设置在判定为已从接近状态转变为筛查状态的情况下输出AF结束信号的筛查状态判定器37。
系统控制器36是如下的控制装置:接收来自外部I/F 40的输入信号,对包括摄像元件12、图像处理装置33、聚焦透镜控制器35、光源控制器21的内窥镜系统整体进行控制。系统控制器36向摄像元件12输出控制信号,使摄像元件12获取图像。系统控制器36向图像处理装置33输出基于图像处理所需的各种处理参数的控制信号,使图像处理装置33对从摄像元件12获取到的图像进行处理。系统控制器36从图像处理装置33接收图像,向光源控制器21发送使被摄体成为适当的明亮度的控制信号。
外部I/F 40是用于由用户操作来进行针对内窥镜系统的输入的接口。外部I/F 40可以包括与内窥镜处理器30连接的键盘、鼠标、跟踪球等操作设备。另外,外部I/F 40也可以包括用于与院内系统或云端等连接的连接接口等。
外部I/F 40例如包括用于设定AF模式/接近判定模式的设定按钮、用于设定在通过图像处理装置33进行图像处理时使用的处理参数的设定按钮等。此外,在此说明为包含于外部I/F 40的设定按钮的至少一部分也可以设置于内窥镜处理器30自身,还可以设置于与内窥镜10的插入部10a的基端侧连接设置的操作部。
监视器50显示从内窥镜处理器30依次输出的图像。图像例如以帧为单位按时间序列显示,由此作为运动图像被观察。此外,从内窥镜处理器30输出的图像也可以是对被图像处理装置33进行了图像处理的图像叠加了字符信息、用于引导内窥镜10的操作的引导信息等各种信息的图像。
上述的系统控制器36还向聚焦透镜控制器35发送与接近判定模式或AF模式相应的控制信号,来使聚焦透镜控制器35控制移动机构13。
系统控制器36在AF模式下使聚焦透镜控制器35以持续对焦于AF区域内的被摄体部分的方式控制移动机构13。
另外,系统控制器36在接近判定模式下使聚焦透镜控制器35以聚焦透镜11a的位置P基本上处于远点端Pf的方式控制移动机构13。
其中,如上所述,在接近判定模式下,为了判定是否已从筛查状态转变为接近状态,系统控制器36使聚焦透镜控制器35以聚焦透镜11a的位置P相对于远点端Pf稍微发生变化的方式控制移动机构13。
图3是表示在第一实施方式中聚焦透镜控制器35基于系统控制器36的控制来使移动机构13移动聚焦透镜11a的处理的一例的时序图。
如图3所示,在以筛查状态执行的接近判定模式下,聚焦透镜11a的位置P基本被固定在远点端Pf。但是,聚焦透镜控制器35在接近判定模式下,周期性地或者非周期性地进行使聚焦透镜11a从远点端Pf向近点侧移动微小的振幅A再返回到远点端Pf的往复动作。下面,将聚焦透镜11a从远点端Pf向近点侧移动了振幅A的位置P(不同于远点端的位置)称为准远点端Pqf。
在此,振幅A是如上所述那样以到已对焦的被摄体部分的距离范围几乎不发生变化的程度稍微改变聚焦透镜11a的位置P的振幅。由于即使进行振幅A的往复动作,已对焦的被摄体部分也几乎不发生变化,因此不会妨碍正在进行筛查的用户的观察。
在聚焦透镜11a移动到准远点端Pqf时,摄像元件12至少获取一帧的图像。在此,为了使聚焦透镜11a位于准远点端Pqf的时间短来进一步减轻用户的不协调感,优选使每进行1次往复动作时由摄像元件12在准远点端Pqf获取的图像为例如一帧。
图3中示出了在每个周期T进行N(在图示的例子中N=2)次的振幅A的往复动作的例子。
在图3的例子中,在沿着时间t的周期T的最开始,将聚焦透镜11a移动到准远点端Pqf来获取一帧的图像。在获取图像后,使聚焦透镜11a立即返回到远点端Pf来获取下一帧的图像。接下来,将聚焦透镜11a移动到准远点端Pqf来获取一帧的图像,使聚焦透镜11a立即返回到远点端Pf。之后,例如直到周期T结束为止在远点端Pf以帧为单位继续获取多个图像。
聚焦透镜控制器35在接近判定模式下,以不会妨碍画面观察的程度、优选以用户无法感知到的程度移动聚焦透镜11a。聚焦透镜11a的移动量优选为使有效图像范围EIA的像高h(参照图4的A栏)的变动为1%以下的移动量,更优选为使该像高h的变动为0.5%以下的移动量,进一步优选为使该像高h的变动为0.1%以下的移动量。本发明中的有效图像范围EIA是指监视器50所显现的图像的范围。
图4是说明第一实施方式中有效图像范围EIA的像高h的图表。图4的A栏表示立体图,B栏表示包括像高h并且垂直于有效图像范围EIA的面。如图4所示,能够根据视场角的一半θ和焦距f,利用数式1来求出像高h。
[数式1]
h=f×tanθ
移动聚焦透镜11a的方向至少是一个方向,优选的是朝向接近方向移动,更优选的是在向接近方向移动之后朝向远点移动,进一步优选的是往复移动。也可以在每个周期T进行例如图3所示的聚焦透镜11a的周期性的往复动作。
通过像这样设为往复动作的次数N=2来获取多张准远点端Pqf处的图像,与设为N=1的情况相比能够减少测定误差,且与设为N≥3的情况相比能够减轻用户的不协调感。但是,也可以通过设为N=1来进一步减轻用户的不协调感。另外,也可以通过设为N≥3来更高精度地检测向接近状态的转变。
此外,在周期性地进行聚焦透镜11a的往复动作的情况下,也可以是,使周期T短,使得能够以尽可能少的帧数的时间间隔(也就是说,在尽可能接近实时的状态下)检测向接近状态的转变。另外,也可以是,在不给用户带来不协调感的范围内使振幅A尽可能大,使得能够更高精度地检测向接近状态的转变。
另一方面,在非周期性地进行聚焦透镜11a的往复动作的情况下,例如也可以是,使聚焦透镜11a在以帧周期为单位的随机的时刻往复。
另外,也可以是,在检测到所获取到的图像是特定场景的图像的情况下进行聚焦透镜11a的往复动作,在没有检测到是特定场景的图像的情况下不进行聚焦透镜11a的往复动作,由此实现非周期性的往复动作。在此,特定场景的例子是处于接近状态的可能性高的场景。例如也可以通过对接近状态的图像进行了深度学习的AI(ArtificialIntelligence:人工智能)来进行特定场景的检测。另外,也可以基于按时间序列获取到的多个图像的明亮度的变化和/或从图像检测的运动矢量来进行特定场景的检测(参照后述的第三实施方式的说明)。
使聚焦透镜11a朝向接近方向移动时的起始点、或使聚焦透镜11a朝向远点移动时的终点优选处于距远点端的规定范围内,更优选的是处于远点端。
接着,参照图5和图6来说明通过使聚焦透镜11a进行往复动作来判定是否已从筛查状态转变为接近状态的方法。图5是表示在第一实施方式中使聚焦透镜11a在从远点端Pf到准远点端Pqf之间往复动作1次的例子的时序图。图6是表示第一实施方式中与到被摄体的距离d相应的、远点端图像与准远点端图像的对比度差C的例子的曲线图。
在图5中,设为在时刻t1与时刻t2之间时刻相差一帧周期,在时刻t2与时刻t3之间也时刻相差一帧周期。
在时刻t1聚焦透镜11a处于远点端Pf时获取远点端图像(Pf:t1),在时刻t2聚焦透镜11a处于准远点端Pqf时获取准远点端图像(Pqf:t2),在时刻t3聚焦透镜11a处于远点端Pf时获取远点端图像(Pf:t3)。即,远点端图像(Pf:t1)、准远点端图像(Pqf:t2)以及远点端图像(Pf:t3)是使聚焦透镜11a进行了往复动作时的在时间上连续的对焦位置不同的多个图像。
接近状态判定器34基于使对焦位置不同时的图像的变化来判定是否已转变为接近状态。更具体地说,接近状态判定器34计算对焦位置不同的多个图像的图像信息。例如,接近状态判定器34计算远点端图像(Pf:t1)和准远点端图像(Pqf:t2)的对比度来作为图像信息。更具体地说,接近状态判定器34计算作为用于计算图像信息的区域的AF区域内的各像素的对比度值,再计算AF区域内的对比度值的例如平均(或总和等)来作为各图像的对比度值。下面,设为图像的对比度值是指图像中的AF区域内的对比度值的平均(或总和)来进行说明。
此外,使用平均或总和有以下优点:减少运算量,抑制因缓冲器尺寸大引起的成本的增大。另一方面,在针对在时间上连续的对焦位置不同的多个图像将AF区域内的各像素的对比度值分别进行比较的情况下,具有能够进行精密的运算的优点,在本发明中也能够采用后者。
在此,景深内的图像部分是对焦的,景深外的图像部分是模糊的,图像的对比度值在对焦部分处高,在模糊部分处低。
例如,远点端图像(Pf:t1)中处于景深的中央部分的图像部分在稍微改变了聚焦透镜11a的位置P的准远点端图像(Pqf:t2)中也处于景深内,在任何图像中都对焦。因此,远点端图像(Pf:t1)与准远点端图像(Pqf:t2)中的对比度值之差(简称为“对比度差”)几乎不存在。
另外,远点端图像(Pf:t1)中大幅脱离景深的图像部分在准远点端图像(Pqf:t2)中也大幅脱离景深,在任何图像中都严重模糊。因此,远点端图像(Pf:t1)和准远点端图像(Pqf:t2)中的对比度差小。
另一方面,表示到已对焦的被摄体部分的距离范围的景深包括远点侧的深度端和近点侧的深度端。例如,景深的近点侧的深度端的外侧附近在远点端图像(Pf:t1)中处于“模糊状态”而在准远点端图像(Pqf:t2)中变化为“对焦状态”。另外,景深的远点侧的深度端的外侧附近在远点端图像(Pf:t1)中处于“对焦状态”而在准远点端图像(Pqf:t2)中变化为“模糊状态”。因此,景深的深度端相比于景深的中央部分和大幅脱离景深的部分,远点端图像(Pf:t1)与准远点端图像(Pqf:t2)的对比度差更大。
图6示出了对比度差C与到被摄体的距离d相应地变化的情形。
对比度差C例如被计算为从准远点端图像(Pqf:t2)的对比度值减去远点端图像(Pf:t1)的对比度值而得到的值的绝对值。
此外,在此计算绝对值的原因是为了避免以下情况所引起的烦杂:根据深度端是远点侧的深度端还是近点侧的深度端、以及准远点端图像(Pqf:t2)和远点端图像(Pf:t1)的哪一个减去哪一个而符号的正负发生变化。但是,如果根据符号来划分情况,则也可以不取绝对值。若划分情况,则有时例如不仅考虑后述的极大值(参照图6),还考虑极小值。
在图6所示的例子中,当到被摄体的距离d处于d1以上且d3以下的范围内时,对比度差C为阈值Th以上,在距离d为d2(d1<d2<d3)时对比度差C取极大值。
在对比度差C为例如阈值Th以上的情况下,能够判定为AF区域已从景深内(AF区域的对比度相对高)变化到景深外(AF区域的对比度相对低)(或者已从景深外变化到景深内)(也就是说,以能够进行该判定的方式设定了阈值Th的值)。
接近状态判定器34在对比度差C为例如阈值Th以上的情况下,判定为已从将聚焦透镜11a固定于远点端Pf来搜索并观察病变等的筛查状态转变为接近特定的病变等来进行观察的接近状态。
此外,在上述内容中将远点端图像(Pf:t1)的对比度值与准远点端图像(Pqf:t2)的对比度值进行比较来计算对比度差C,但是也可以取而代之地,将准远点端图像(Pqf:t2)的对比度值与远点端图像(Pf:t3)的对比度值进行比较来计算对比度差C。
或者,如果将远点端图像(Pf:t1)的对比度值与远点端图像(Pf:t3)的对比度值的平均同准远点端图像(Pqf:t2)的对比度值进行比较来计算对比度差C,则时间上的相关关系更高,判定的精度提高。
并且,在上述内容中,将对比度值的变化作为对比度差进行求取,但是也可以取而代之地,将对比度值的变化作为对比度值之比(简称为“对比度比”)进行求取。对比度比可以是远点端图像(Pf:t1)的对比度值与准远点端图像(Pqf:t2)的对比度值之比、远点端图像(Pf:t3)的对比度值与准远点端图像(Pqf:t2)的对比度值之比、远点端图像(Pf:t1)的对比度值及远点端图像(Pf:t3)的对比度值的平均与准远点端图像(Pqf:t2)的对比度值之比中的任一者。
除此以外,在上述内容中,将在筛查状态下使聚焦透镜11a的位置P固定于远点端Pf以使景深最深的例子作为优选的例子进行了说明,但是不限定于此。例如,也可以是,在筛查状态下聚焦透镜控制器35进行以下处理:以将聚焦透镜11a的位置P固定于特定的位置(也可以是远点端Pf以外的位置)为基础,使聚焦透镜11a的位置P稍微错开特定的位置。然后,接近状态判定器34基于在各位置获取到的对焦位置不同的多个图像,来判定是否已从筛查状态转变为接近状态。
此外,也可以代替将接近状态判定器34在判定中使用的图像信息设为对比度,而将接近状态判定器34在判定中使用的图像信息设为从相位差像素获取的相位差信息。
当使用从相位差像素获取到的相位差信息时,能够获取到被摄体的距离。在被摄体未对焦时相位差大,当相位差大时测距精度提高。
在使聚焦透镜11a往复动作来获取不同的对焦位置的图像(例如,远点端图像和准远点端图像)时,景深的远点侧的深度端的准远点端图像更大幅地偏离对焦从而相位差更大,测距精度提高。因此,也可以是,接近状态判定器34将基于从准远点端图像的相位差像素获取到的相位差信息计算出的距离与阈值进行比较,在从距离大于阈值的状态变为距离为阈值以下的状态的情况下,判定为已从筛查状态转变为接近状态。此外,也可以如后述的变形例所示那样,还将可靠度判定器38(参照图7)的判定结果考虑在内地判定是否已转变为接近状态。
由此,与不使聚焦透镜11a进行往复动作时相比,能够在远点端图像中的位于远点侧的深度端的图像部分即将脱离景深的阶段(也就是说,即将变得不对焦的阶段)判定为已从筛查状态转变为接近状态从而从接近判定模式转变为AF模式。
另外,使聚焦透镜11a往复动作前后的图像(例如,远点端图像和准远点端图像)的相位差之差或之比在景深的深度端变大。因此,也可以是,接近状态判定器34在例如远点端图像的相位差与准远点端图像的相位差之差或之比从小于阈值的状态变为阈值以上的状态的情况下,判定为已从筛查状态转变为接近状态。
根据这样的第一实施方式,在筛查状态下使聚焦透镜11a沿光轴方向稍微往复动作,基于在景深的深度端获取的图像的变化极大这一特性,判定被摄体与内窥镜的位置关系是否已从筛查状态转变为接近状态。然后,在被摄体位于深度内的筛查状态下关闭自动对焦,在已从筛查状态转变为接近了被摄体的接近状态时开启自动对焦,因此能够防止在筛查状态下不必要地进行自动对焦。
另外,基于使聚焦透镜11a沿光轴方向稍微地往复动作而获取到的多个图像来进行判定,因此不需要专用的被摄体距离检测装置等,能够防止内窥镜的大型化。
[第一实施方式的变形例]
在第一实施方式中根据对比度变化等图像的变化来判定是否已转变为接近状态。但是也可以是,除了第一实施方式的技术以外,还将图像、内窥镜的状态、或被摄体的状态考虑在内地,判定使对焦位置不同时的图像的变化是由于内窥镜已转变为接近状态而得到的变化、还是使对焦位置不同时的图像的变化是基于其它因素的变化而内窥镜实际上并未转变为接近状态。
具体地说,如图7所示,接近状态判定器34也可以包括可靠度判定器38。图7是表示第一实施方式的变形例的内窥镜系统的构造性结构和功能性结构的框图。
可靠度判定器38例如基于图像信息来计算可靠度。作为图像信息,可列举运动量信息、亮度信息、对比度信息、或者颜色信息。
通过将运动量信息纳入到可靠度判定中,能够防止以下情况:尽管是由于内窥镜10的前端和/或被摄体的运动急剧而导致发生了图像模糊,但是根据图像的状态而误判定为已转变为接近判定状态。在该情况下,例如设定成:在运动量为规定值以上的情况下,不转变为自动对焦模式。运动量是通过计算前一帧与当前帧的图像的类似度并且计算前一帧中的图像位置在当前帧中移动到哪个图像位置而得到的。
通过将亮度信息纳入到可靠度判定中,例如能够防止以下情况:因体液等反光而亮度变高,其结果误判定为已转变为接近判定状态。在该情况下,例如设定成:在亮度为规定值以上的情况下,不转变为自动对焦模式。
通过将对比度信息纳入到可靠度判定中,例如能够防止以下情况:图像中拍到了强边缘的内窥镜10的前端或处置器具,其结果,对比度值发生变化而误判定为已转变为接近判定状态。在该情况下,例如设定成:在拍到内窥镜10的前端或处置器具的位置的对比度值为规定值以上的情况下,不转变为自动对焦模式。
通过将颜色信息纳入到可靠度判定中,例如能够防止以下情况:图像中拍到了处置器具、雾沫、泡、积液,或者内窥镜10的前端没入液体中,其结果,对比度值发生变化而误判定为已转变为接近判定状态。在该情况下,例如设定成:在相对于处置器具、雾沫、泡、积液各自在颜色空间中所具有的颜色分布的、当前帧的图像的颜色的距离为规定值以下的情况下,不转变为自动对焦模式。
可靠度判定器38例如基于发光信息来计算可靠度。作为发光信息,可列举出照明光的光量、发光期间或者波长。作为发光期间,可列举出电荷读出期间。
在正进行接近观察的情况下,通常向被摄体照射的照明光的光量减少。因此也可以设为:在尽管处于光量为规定值以上的状态但是接近状态判定器34判定为是接近状态的情况下,视为误判定而不转变为自动对焦状态。可靠度判定器38例如借助系统控制器36从光源控制器21获取光源22发出的照明光的光量。
在内窥镜系统被设计成在电荷读出期间中发光的情况下,有可能发生图像模糊而误判定为已转变为接近判定状态。因此也可以设为:在根据从电荷读出开始起的规定时间以内(电荷读出期间中)的图像判定为是接近状态的情况下,视为误判定而不转变为自动对焦状态。
被摄体是红色的情况多,因此在场序列发光时的照明光的波长为红时得到的图像的对比度容易变低。因此也可以设为:在根据场序列发光时的照明光的波长为红的图像而判定为是接近状态的情况下,视为误判定而不转变为自动对焦状态。
可靠度判定器38例如基于聚焦透镜11a的位置信息来计算可靠度。作为聚焦透镜11a的位置信息,是接近状态判定器34或聚焦透镜控制器35向移动机构13发送的聚焦透镜11a的指定位置与实际的位置之差。能够从移动机构13或聚焦透镜控制器35获取聚焦透镜11a的实际的位置。
可靠度判定器38也可以包括AI,也可以设为能够通过机器学习来计算基于上述的图像信息的可靠度。
[第二实施方式]
图8至图10示出了本发明的第二实施方式,图8是表示第二实施方式的内窥镜系统的构造性结构和功能性结构的框图。在该第二实施方式中,对与上述的第一实施方式及第一实施方式的变形例相同的部分标注相同的标记等并适当省略说明,主要仅对不同点进行说明。
本实施方式的内窥镜系统采用了EDOF(Extended Depth Of Field:扩展景深)技术。在EDOF中,利用分割光学系统16将来自物镜光学系统11的光束分割为多个(例如,2个)光束,使多个光束的光路长度不同来形成多个光学像。所形成的多个光学像被摄像元件12同时拍摄,从而获取对焦位置不同的多个图像,通过将多个图像中的已对焦的部分进行合成,来生成对景深进行了放大的合成图像。
具体地说,本实施方式的内窥镜10还具备分割光学系统16。分割光学系统16例如配置于物镜光学系统11与摄像元件12之间。
作为一例,分割光学系统16具备半透半反镜16a和反射镜16b。从物镜光学系统11射出的光束的一部分透过半透半反镜16a,另一部分被半透半反镜16a反射。被半透半反镜16a反射的光束再被反射镜16b朝向摄像元件12反射。
透过半透半反镜16a的光束在摄像元件12的一部分成像,被反射镜16b反射的光束在摄像元件12的另一部分成像。通过上述的结构,在摄像元件12的一部分形成的光学像的光路长度与在摄像元件12的另一部分形成的光学像的光路长度不同。
摄像元件12同时拍摄在一部分形成的光学像以及在另一部分形成的光学像,来获取多个图像。在此获取到的多个图像的对焦位置各不相同。
此外,图8中示出的分割光学系统16的结构被单纯模型化了,实际的分割光学系统16的结构也可以与图8不同。例如,半透半反镜16a和反射镜16b也可以构成为棱镜的镜面。另外,半透半反镜16a也可以构成为偏振分束器面,也可以还具备用于消除偏振方向的偏差的消偏振板、用于在线偏振光与圆偏振光之间相互转换的波片等。另外,光束不限于分割为2个,也可以分割为3个以上。并且,分割出的多个光束也可以不在同一摄像元件12上的不同部分成像,而是取而代之地在不同的多个摄像元件分别成像。
另外,图像处理装置33对由摄像元件12同时获取的对焦位置不同的多个图像进行将已对焦的部分进行合成的图像合成处理,生成对景深进行了放大的合成图像。
此外,下面,为了简化说明,说明同时获取的图像的张数为2张的情况。
接近状态判定器34例如使用同时获取的对焦位置不同的2张图像(例如,设为第一图像和第二图像)来判定是否已从筛查状态转变为接近状态。在该情况下,除了同时获取2张图像而不需要聚焦透镜11a的往复动作这方面以外,基于2张图像进行在上述的第一实施方式中说明的处理,由此能够判定是否已从筛查状态转变为接近状态。
另外,接近状态判定器34也可以与上述的第一实施方式同样地,使聚焦透镜11a进行往复动作来再获取2张图像,基于合计4张图像来判定是否已从筛查状态转变为接近状态。
在该情况下,接近状态判定器34将在使聚焦透镜11a进行移位前(或者也可以是移位后再次返回到原处时)获取到的2张图像(例如,设为第1a图像和第2a图像)以及在使聚焦透镜11a进行了移位的状态下获取到的2张图像(例如,设为第1b图像和第2b图像)的合计4张图像使用在判定中。
在此,对由摄像元件12同时获取的2张图像中的、基于从物镜光学系统11到摄像元件12的光路长度长的光学像获取到的图像(近点图像)标注“1”,对基于光路长度短的光学像获取到的图像(远点图像)标注“2”。另外,对在使聚焦透镜11a进行移位前的远点端Pf的对焦位置处获取到的图像标注“a”,对在进行了移位的状态的准远点端Pqf的对焦位置处获取到的图像标注“b”。
在接近状态判定器34将在时间上连续且各获取2张的合计4张图像的例如对比度信息使用在判定中的情况下,利用以下特性:在使聚焦透镜11a进行移位前获取到的图像和在进行了移位的状态下获取到的图像的对比度差在近点图像和远点图像中相等的距离为景深的深度端附近,处于接近状态。
设为分别用C1a、C1b、C2a、C2b来表示第1a、1b、2a、2b图像的AF区域内的对比度值的平均。此时,接近状态判定器34例如计算第1a图像与第1b图像的对比度差C1=(C1b-C1a)以及第2a图像与第2b图像的对比度差C2=(C2b-C2a)。此外,如第一实施方式中叙述过的那样,在计算对比度差C1、C2时,也可以计算绝对值。
图9是表示在第二实施方式的内窥镜系统中由于聚焦透镜11a的往复动作而第一图像的对比度差C1与第二图像的对比度差C2产生大小关系的例子的曲线图。
在图9所示的例子中,在到被摄体的距离d为d4时对比度差C1取极大值,在到被摄体的距离d为d6(d4<d6)时对比度差C2取极大值,在到被摄体的距离d为d5(d4<d5<d6)时,对比度差C1与对比度差C2的大小关系反转。
在到被摄体的距离d为d5时,处于景深的深度端附近,接近状态判定器34判定为已从筛查状态转变为接近状态。
在第一实施方式中叙述的判定方法中,需要设定针对对比度差的阈值,并判定对比度差与阈值的大小关系。与此相对,若是在此叙述的基于对比度差的大小关系的判定方法,则判定结果不会取决于被摄体的纹理等处的对比度的大小,因此能够使判定精度高。
另外,根据该判定方法,如图9所示,能够在脱离景深的深度端之前判定为已转变为接近状态,因此能够在观察中的被摄体即将变得不对焦时从接近判定模式向AF模式转变。
图10是表示在第二实施方式的内窥镜系统中由于聚焦透镜11a的往复动作而第一图像的对比度差C1和第二图像的对比度差C2发生变化时将对比度差之间的差利用于判定的例子的曲线图。
在该情况下,接近状态判定器34在计算出对比度差C1=(C1b-C1a)和对比度差C2=(C2b-C2a)的基础上,再计算对比度差之间的差ΔC=C1-C2(在图10的例子中,示出了距离d=d7时的差ΔC)。接近状态判定器34对ΔC设定阈值,在ΔC为阈值以上时,判定为已转变为接近状态。
此外,在此计算出对比度差之间的差ΔC=C1-C2,但是也可以取而代之地,计算例如对比度差之间的比C1/C2并将其与适当的阈值进行比较。
另外,在本实施方式中,也可以是,代替将接近状态判定器34在判定中使用的图像信息设为对比度,而将接近状态判定器34在判定中使用的图像信息设为从相位差像素获取的相位差信息。
也可以是,在如上所述的在使聚焦透镜11a的位置移位后同时获取对焦位置不同的多个图像、如上所述那样获取例如4个图像的情况下,基于聚焦透镜11a的位置、使聚焦透镜11a移动后获取到的2个图像的相位差的比较结果等来计算相位差的运算结果的可靠性,接近状态判定器34仅使用可靠性高的相位差来对已转变为接近状态这一情况进行判定。
并且,接近状态判定器34也可以基于从图像处理装置33输出的对景深进行了放大的合成图像,来对已转变为接近状态这一情况进行判定。在该情况下,例如,接近状态判定器34只要基于在远点端Pf处获取到的第一合成图像以及在准远点端Pqf处获取到的第二合成图像并使用如在第一实施方式中说明的那样的方法来进行判定即可。
根据这种第二实施方式,起到与上述的第一实施方式大致同样的效果,并且,在能够利用分割光学系统16来同时获取对焦位置不同的多个图像(例如2个图像)的结构中,通过改变聚焦透镜11a的位置来获取例如合计4个图像,并基于对比度差之间的大小关系或者对比度差之间的差或比来判定向接近状态的转变,能够不取决于被摄体自身的对比度的大小地得到高的判定精度。
[第三实施方式]
图11和图12示出了本发明的第三实施方式,图11是表示第三实施方式的内窥镜系统的构造性结构和功能性结构的框图。在该第三实施方式中,对与上述的第一实施方式、第二实施方式(包括第一实施方式的变形例)相同的部分标注相同的标记等并适当省略说明,主要仅对不同点进行说明。
本实施方式的内窥镜系统的内窥镜处理器30还具备筛查状态判定器37。
筛查状态判定器37判定是否已从接近状态转变为筛查状态,在判定为已转变为筛查状态的情况下,向聚焦透镜控制器35输出AF结束信号。
如上所述,聚焦透镜控制器35当在以AF模式进行控制的过程中接收到AF结束信号时,结束AF模式并以接近判定模式进行控制。
例如通过如下面那样的方法来进行筛查状态判定器37的判定。
筛查状态判定器37例如从移动机构13或聚焦透镜控制器35以适当的时间间隔获取正在以AF模式被进行控制的聚焦透镜11a的位置P的信息。然后,在获取到的聚焦透镜11a的位置变为例如远点端Pf(但是,不限定于远点端Pf,也可以是远点端Pf附近的适当的位置)的情况下,筛查状态判定器37判定为已转变为筛查状态。
另外,内窥镜10基本上为以下结构:在无法期待环境光(太阳光、室内光等)的状态下,向被摄体照射来自光源装置20的照明光,接收来自被摄体的反射光来进行观察。因此,当被摄体远离内窥镜10的插入部10a的前端部时被摄体变暗,当靠近插入部10a的前端部时被摄体变亮。因此,筛查状态判定器37例如以帧为单位来从例如图像处理装置33获取图像的亮度值。而且,也可以是,在获取到的图像中的例如AF区域内的亮度值的平均变得小于规定的阈值时,判定为已转变为筛查状态。
并且,在内窥镜系统中,进行对光源22的光量进行控制的调光,使得以适当的明亮度对被摄体进行照明。因此,筛查状态判定器37例如借助例如系统控制器36从光源控制器21获取光源22的光量。而且,也可以是,在光源22的光量变得大于规定的阈值时,筛查状态判定器37判定为到被摄体的距离已拉开、也就是说已转变为筛查状态。
除此以外,筛查状态判定器37也可以采用如以下那样的判定方法。
当使内窥镜10靠近被摄体时,图像的运动矢量朝向辐射方向外侧(这是由于,当使插入部10a的前端部靠近位于图像的中央的被摄体时,原本位于图像的中央附近的被摄体部分向图像的周边侧移动)。
反之,当使内窥镜10远离被摄体时,图像的运动矢量朝向辐射方向内侧(这是由于,当使插入部10a的前端部远离位于图像的中央的被摄体时,原本位于视场角之外的被摄体部分进入视场角内)。
因此,筛查状态判定器37从预处理装置31获取在时间上连续的多帧的图像,进行图像识别,来检测运动矢量。并且,筛查状态判定器37基于检测出的运动矢量,来判定插入部10a的前端部正在接近被摄体的特定部分还是正在远离被摄体的特定部分(相对于图像的中央而言运动矢量是向外/向内中的哪一个)以及移动速度(移动矢量的大小)。然后,筛查状态判定器37在正在远离的状态持续了规定时间以上时,判定为用户想要从更远方观察被摄体、也就是说已转变为筛查状态。
图12是表示第三实施方式的内窥镜系统的作用的流程图。此外,图12中记载了一帧的处理内容,在未图示的主处理中,每获取一帧的图像,就进行图12所示的处理。
当从未图示的主处理进入图12所示的处理时,系统控制器36判定是否为内窥镜系统启动后最初获取到的帧图像(初始帧)(步骤S1)。
在此,在判定为是初始帧的情况下,系统控制器36对聚焦透镜控制器35设定接近判定模式(步骤S2)。
在进行步骤S2的处理、或者在步骤S1中判定为不是初始帧的情况下,系统控制器36判定当前的控制模式是接近判定模式还是AF模式(步骤S3)。
在此,在判定为是接近判定模式的情况下(也就是说,在前一帧处于筛查状态的情况下),接近状态判定器34判定是否处于接近状态(也就是说,当前帧是否已从前一帧的筛查状态转变为接近状态)(步骤S4)。
在此,在判定为已转变为接近状态的情况下,接近状态判定器34向聚焦透镜控制器35输出AF开始信号(步骤S5)。
聚焦透镜控制器35当接收到AF开始信号时将控制模式设定为AF模式,借助移动机构13控制聚焦透镜11a,进行自动对焦使得持续对焦于AF区域内的被摄体(步骤S6)。
另外,在步骤S3中判定为当前的控制模式是AF模式的情况下(也就是说,在前一帧处于接近状态的情况下),筛查状态判定器37判定是否处于筛查状态(也就是说,当前帧是否已从前一帧的接近状态转变为筛查状态)(步骤S7)。
在此,在判定为已转变为筛查状态的情况下,筛查状态判定器37向聚焦透镜控制器35输出AF结束信号(步骤S8)。
聚焦透镜控制器35当接收到AF结束信号时将控制模式设定为接近判定模式,借助移动机构13控制聚焦透镜11a,如上所述,将聚焦透镜11a的位置基本上固定于远点端Pf,周期性或非周期性地进行微小的振幅A的往复动作(步骤S9)。
在步骤S4中判定为不是接近状态的情况、进行了步骤S6的处理的情况、在步骤S7中判定为不是筛查状态的情况、或者进行了步骤S9的处理的情况下,从图12所示的处理返回至未图示的主处理。
此外,也可以将如图11所示的与接近状态判定器34分开地设置筛查状态判定器37的结构应用于第二实施方式的结构,这是不言而喻的。
根据这样的第三实施方式,起到与上述的第一实施方式、第二实施方式大致同样的效果,并且,与接近状态判定器34分开地设置筛查状态判定器37,来判定是否已转变为筛查状态,因此能够应用各种判定方法,能够高精度地进行判定。
此外,在上述内容中主要说明了本发明是内窥镜处理器的情况,但是不限于此,本发明也可以是进行与内窥镜处理器同样的处理的聚焦透镜的控制方法,还可以是用于使计算机控制内窥镜的程序、存储该程序的计算机可读取的非暂态存储介质等。

Claims (14)

1.一种内窥镜处理器,其特征在于,能够与内窥镜连接,且具备处理器,
其中,所述内窥镜具备:
物镜光学系统,其包括聚焦透镜,该物镜光学系统用于形成被摄体的光学像;
移动机构,其移动所述聚焦透镜;以及
摄像装置,其拍摄所述光学像来获取图像,
所述处理器构成为:
以自动对焦模式和接近判定模式中的某一方的模式控制所述移动机构,所述自动对焦模式是自动地对焦于所述被摄体的模式,所述接近判定模式是用于判定是否已从筛查状态转变为接近状态的模式,
在所述自动对焦模式关闭的期间,执行所述接近判定模式,
在所述接近判定模式中,
在伴随所述移动机构的控制而产生的有效图像范围的像高的变动为1%以下的情况下,基于所述聚焦透镜的位置信息和所述图像的变化,来判定是否已从所述筛查状态转变为所述接近状态,
在判定为已转变为所述接近状态的情况下,结束所述接近判定模式,以所述自动对焦模式控制所述移动机构。
2.根据权利要求1所述的内窥镜处理器,其特征在于,
所述处理器还在以所述自动对焦模式控制所述移动机构的过程中判定是否已从所述接近状态转变为所述筛查状态,在判定为已转变为所述筛查状态的情况下,结束所述自动对焦模式,以所述接近判定模式控制所述移动机构。
3.根据权利要求1所述的内窥镜处理器,其特征在于,
所述处理器在以使所述有效图像范围的像高的变动为1%以下的方式移动所述聚焦透镜来判定是否已从所述筛查状态转变为所述接近状态时,至少使所述聚焦透镜朝向接近方向移动。
4.根据权利要求3所述的内窥镜处理器,其特征在于,
使所述聚焦透镜朝向所述接近方向移动时的起始点为远点端。
5.根据权利要求1所述的内窥镜处理器,其特征在于,
所述处理器以使伴随所述移动机构的控制而产生的所述有效图像范围的像高的变动为1%以下的方式使所述聚焦透镜进行往复动作。
6.根据权利要求1所述的内窥镜处理器,其特征在于,
所述处理器基于在远点侧通过所述摄像装置获取到的图像的对比度值与在不同于远点端的位置处通过所述摄像装置获取到的图像的对比度值之差或之比,来判定是否已转变为所述接近状态。
7.根据权利要求1所述的内窥镜处理器,其特征在于,
所述摄像装置具备像面相位差自动对焦方式的摄像元件,
所述处理器基于在远点侧通过所述摄像元件获取到的相位差与在不同于远点端的位置处通过所述摄像元件获取到的相位差之差或之比,来判定是否已转变为所述接近状态。
8.根据权利要求1所述的内窥镜处理器,其特征在于,
所述内窥镜还具备分割光学系统,所述分割光学系统将来自所述物镜光学系统的光束分割为使光路长度不同的多个光束,
所述摄像装置拍摄由被所述分割光学系统分割出的所述多个光束形成的多个光学像,同时获取对焦位置不同的多个图像。
9.根据权利要求1所述的内窥镜处理器,其特征在于,
所述处理器对通过所述摄像装置获取到的图像设定用于判定是否已转变为所述接近状态的判定用区域。
10.根据权利要求1所述的内窥镜处理器,其特征在于,
所述处理器计算使所述聚焦透镜发生了移动时的可靠度,
所述处理器在使所述聚焦透镜发生了移动时,除了基于所述图像的变化和所述聚焦透镜的位置信息以外,还基于所述可靠度,来判定是否已从所述筛查状态转变为所述接近状态。
11.根据权利要求10所述的内窥镜处理器,其特征在于,
所述处理器根据运动量、亮度、是否拍到内窥镜前端、是否拍到处置器具、光量、发光期间、电荷读出期间以及照明光的波长中的至少一者来计算所述可靠度。
12.一种计算机可读取的存储介质,存储有程序,所述存储介质的特征在于,
所述程序使控制内窥镜的计算机进行以下动作:
以自动对焦模式和接近判定模式中的某一方的模式控制用于移动所述内窥镜的物镜光学系统中包括的聚焦透镜的移动机构,所述自动对焦模式是自动地对焦于被摄体的模式,所述接近判定模式是用于判定是否已从筛查状态转变为接近状态的模式,
在所述自动对焦模式关闭的期间,执行所述接近判定模式,
在所述接近判定模式中,
在有效图像范围的像高的变动为1%以下的情况下,基于所述聚焦透镜的位置信息和通过所述内窥镜所具备的摄像装置获取到的图像的变化,来判定是否已从所述筛查状态转变为所述接近状态,
在判定为已转变为所述接近状态的情况下,结束所述接近判定模式,以所述自动对焦模式控制所述移动机构。
13.一种聚焦透镜的控制方法,其特征在于,
从内窥镜获取图像,
获取所述内窥镜的聚焦透镜的位置信息,
在以接近判定模式控制所述内窥镜的所述聚焦透镜的移动机构的过程中,在有效图像范围的像高的变动为1%以下的情况下,基于所述聚焦透镜的位置信息和所述图像的变化,来判定是否已从筛查状态转变为接近状态,所述接近判定模式是用于判定是否已从所述筛查状态转变为所述接近状态的模式,
在判定为已转变为所述接近状态的情况下,结束所述接近判定模式,以自动对焦模式控制所述移动机构,所述自动对焦模式是自动地对焦于被摄体的模式。
14.一种计算机程序产品,其包括使计算机执行根据权利要求13所述的聚焦透镜的控制方法的程序。
CN202211093270.2A 2021-09-16 2022-09-08 内窥镜处理器、存储介质以及聚焦透镜的控制方法 Active CN115834999B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/034180 WO2023042354A1 (ja) 2021-09-16 2021-09-16 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法
JPPCT/JP2021/034180 2021-09-16

Publications (2)

Publication Number Publication Date
CN115834999A CN115834999A (zh) 2023-03-21
CN115834999B true CN115834999B (zh) 2025-01-28

Family

ID=85478785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211093270.2A Active CN115834999B (zh) 2021-09-16 2022-09-08 内窥镜处理器、存储介质以及聚焦透镜的控制方法

Country Status (4)

Country Link
US (1) US11974040B2 (zh)
JP (1) JP2023043835A (zh)
CN (1) CN115834999B (zh)
WO (1) WO2023042354A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025169395A1 (ja) * 2024-02-08 2025-08-14 オリンパスメディカルシステムズ株式会社 フォーカス制御装置,フォーカス制御方法,フォーカス制御プログラム,内視鏡システム,内視鏡画像の距離分布用推論モデルの作成方法
WO2025182093A1 (ja) * 2024-03-01 2025-09-04 オリンパスメディカルシステムズ株式会社 フォーカス制御装置,フォーカス制御方法,フォーカス制御プログラム,内視鏡システム
WO2025203642A1 (ja) * 2024-03-29 2025-10-02 オリンパスメディカルシステムズ株式会社 フォーカス制御装置,フォーカス制御方法,内視鏡システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016195772A (ja) * 2016-06-08 2016-11-24 オリンパス株式会社 内視鏡装置の合焦制御装置、内視鏡装置及び内視鏡装置の合焦制御方法
WO2018100885A1 (ja) * 2016-12-01 2018-06-07 ソニー株式会社 医療用観察装置、及び制御方法
WO2020095366A1 (ja) * 2018-11-06 2020-05-14 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3980284B2 (ja) 2001-03-02 2007-09-26 ペンタックス株式会社 内視鏡装置
WO2005110202A1 (ja) * 2004-05-14 2005-11-24 Olympus Medical Systems Corp. 電子内視鏡
WO2012029098A1 (ja) * 2010-09-01 2012-03-08 パナソニック株式会社 レンズ制御装置、カメラシステム
JP5948076B2 (ja) * 2011-08-23 2016-07-06 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御方法
JP2013076823A (ja) * 2011-09-30 2013-04-25 Olympus Corp 画像処理装置、内視鏡システム、画像処理方法及びプログラム
JP5973708B2 (ja) * 2011-10-21 2016-08-23 オリンパス株式会社 撮像装置及び内視鏡装置
JP5882745B2 (ja) 2012-01-06 2016-03-09 キヤノン株式会社 焦点調節装置
JP5988590B2 (ja) * 2012-01-17 2016-09-07 オリンパス株式会社 内視鏡装置
JP6124655B2 (ja) * 2013-04-05 2017-05-10 オリンパス株式会社 撮像装置、撮像装置の制御方法及びプログラム
US9451876B2 (en) * 2013-10-21 2016-09-27 Olympus Corporation Endoscope system and focus control method for endoscope system
JP6453905B2 (ja) * 2014-12-02 2019-01-16 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の制御方法
DE112015005847T5 (de) * 2015-01-23 2017-09-14 Olympus Corporation Endoskopvorrichtung und Scharfeinstellungssteuerungsverfahren für Endoskopvorrichtung
WO2016185952A1 (ja) * 2015-05-18 2016-11-24 ソニー株式会社 制御装置及び医療用撮像システム
JP6762313B2 (ja) * 2015-10-27 2020-09-30 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
WO2017122348A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法
JP6486288B2 (ja) * 2016-02-09 2019-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム、記憶媒体
WO2017145265A1 (ja) * 2016-02-23 2017-08-31 Hoya株式会社 内視鏡用変倍光学系及び内視鏡
JP6860378B2 (ja) * 2017-02-24 2021-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
US11699215B2 (en) * 2017-09-08 2023-07-11 Sony Corporation Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
JP7016681B2 (ja) * 2017-12-01 2022-02-07 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡システム
JP7195948B2 (ja) * 2019-01-24 2022-12-26 富士フイルム株式会社 内視鏡システム
JP7630961B2 (ja) 2020-11-13 2025-02-18 キヤノン株式会社 レンズ装置、撮像装置、レンズ装置の制御方法、撮像装置の制御方法、およびプログラム
CN114859544B (zh) * 2022-03-29 2024-09-10 青岛大学附属医院 一种内窥镜对焦控制方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016195772A (ja) * 2016-06-08 2016-11-24 オリンパス株式会社 内視鏡装置の合焦制御装置、内視鏡装置及び内視鏡装置の合焦制御方法
WO2018100885A1 (ja) * 2016-12-01 2018-06-07 ソニー株式会社 医療用観察装置、及び制御方法
WO2020095366A1 (ja) * 2018-11-06 2020-05-14 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法

Also Published As

Publication number Publication date
US20230084274A1 (en) 2023-03-16
CN115834999A (zh) 2023-03-21
WO2023042354A1 (ja) 2023-03-23
US11974040B2 (en) 2024-04-30
JP2023043835A (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
CN115834999B (zh) 内窥镜处理器、存储介质以及聚焦透镜的控制方法
JP6453543B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
EP2742849B1 (en) Endoscope apparatus and image pickup control method thereof
JP5789091B2 (ja) 撮像装置および撮像装置の制御方法
US9801530B2 (en) Endoscope apparatus and image pickup control method thereof
US10867367B2 (en) Image processing apparatus, image processing method, computer-readable recording medium, and endoscope apparatus
US20140307072A1 (en) Image processing device, image processing method, and information storage device
US20120147165A1 (en) Control device, endoscope apparatus, and focus control method
JP6116277B2 (ja) 撮像装置及びその制御方法
JP6533284B2 (ja) フォーカス制御装置、撮像装置、内視鏡システム、フォーカス制御装置の制御方法
JPWO2017122287A1 (ja) 内視鏡装置及び内視鏡装置の作動方法
WO2015064462A1 (ja) 撮像システム、撮像システムの作動方法
JP2019102986A (ja) 内視鏡システム
EP2743887A2 (en) Endoscope apparatus and image processing method thereof
JP6530067B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
WO2013061939A1 (ja) 内視鏡装置及びフォーカス制御方法
CN116981388A (zh) 内窥镜系统及其工作方法
US20250134345A1 (en) Endoscope system and method of operating the same
US20230380660A1 (en) Endoscope system and operation method for endoscope system
JP7209557B2 (ja) 画像取得装置及び画像取得方法
WO2023221141A1 (zh) 拍摄装置以及对焦控制程序
JP2017209343A (ja) 制御装置
JP2022171177A (ja) 画像処理装置、撮像装置及びその制御方法とプログラム
JP2019015818A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2003329916A (ja) 撮像装置、撮像方法、記録媒体及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant