[go: up one dir, main page]

KR102245186B1 - Endoscope control apparatus, control method, and control system using the same - Google Patents

Endoscope control apparatus, control method, and control system using the same Download PDF

Info

Publication number
KR102245186B1
KR102245186B1 KR1020190062068A KR20190062068A KR102245186B1 KR 102245186 B1 KR102245186 B1 KR 102245186B1 KR 1020190062068 A KR1020190062068 A KR 1020190062068A KR 20190062068 A KR20190062068 A KR 20190062068A KR 102245186 B1 KR102245186 B1 KR 102245186B1
Authority
KR
South Korea
Prior art keywords
head
endoscope
range
endoscope camera
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190062068A
Other languages
Korean (ko)
Other versions
KR20200136234A (en
Inventor
노태훈
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020190062068A priority Critical patent/KR102245186B1/en
Priority to PCT/KR2020/006742 priority patent/WO2020242158A2/en
Publication of KR20200136234A publication Critical patent/KR20200136234A/en
Application granted granted Critical
Publication of KR102245186B1 publication Critical patent/KR102245186B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23219—
    • H04N5/23296—
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Endoscopes (AREA)

Abstract

본 발명의 실시 예에 따른 내시경 제어 장치는, 시술자의 머리의 움직임 정보를 수신하는 송수신기, 수신된 머리의 움직임 정보에 따라 상기 시술자의 머리 위치의 변경 범위를 설정하는 머리 위치 변경 범위 설정기, 설정된 상기 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭시키는 범위 매칭기 및 상기 머리 위치의 변경 범위와 상기 내시경 카메라의 위치의 변경 범위의 매칭 결과를 이용하여 상기 내시경 카메라의 위치를 제어하는 컨트롤러를 포함할 수 있다.An endoscope control apparatus according to an embodiment of the present invention includes a transceiver for receiving motion information of a surgeon's head, a head position change range setter for setting a change range of the surgeon's head position according to the received head motion information, and a set A range matcher for matching the range of change of the head position and the control range of the position of the endoscope camera, and a matching result of the range of change of the position of the head and the position of the endoscope camera to control the position of the endoscope camera It may include a controller.

Description

내시경 제어 장치, 이를 이용하는 제어 방법, 및 제어 시스템{ENDOSCOPE CONTROL APPARATUS, CONTROL METHOD, AND CONTROL SYSTEM USING THE SAME}Endoscopy control device, control method using the same, and control system TECHNICAL FIELD [ENDOSCOPE CONTROL APPARATUS, CONTROL METHOD, AND CONTROL SYSTEM USING THE SAME}

본 발명은 내시경 제어 장치, 이를 이용하는 제어 방법, 및 제어 시스템에 관한 것으로, 보다 상세하게는 머리 위치의 변경 범위와 내시경 카메라의 위치의 변경 범위의 매칭 결과를 이용하여 내시경 카메라의 위치를 제어하는 내시경 제어 장치, 이를 이용하는 제어 방법, 및 제어 시스템에 관한 것이다.The present invention relates to an endoscope control device, a control method using the same, and a control system, and more particularly, an endoscope for controlling the position of an endoscope camera by using the matching result of the change range of the head position and the position of the endoscope camera. It relates to a control device, a control method using the same, and a control system.

내시경은 수술을 하거나 부검을 하지 않고는 직접 병변을 볼 수 없는 장기에 대하여 기계를 삽입하여 관찰하도록 만들어진 의료기기이다. 내시경은 그 종류에 따라, 복벽을 플래쉬로 관찰하며 카메라의 위치를 조절하거나 파이버스코프와 조립시켜 장기 내부를 관찰하면서 필요한 부분을 촬영할 수 있다.
(특허문헌 1) 한국 등록특허공보 제10-1038417호(2011.05.26)
(특허문헌 2) 한국 등록특허공보 제10-0994215호(2010.11.08)An endoscope is a medical device designed to observe an organ that cannot be directly seen without surgery or an autopsy by inserting a machine. Depending on the type of endoscope, you can observe the abdominal wall with a flash, adjust the position of the camera, or assemble it with a fiber scope to observe the inside of the organ and take necessary parts.
(Patent Document 1) Korean Registered Patent Publication No. 10-1038417 (2011.05.26)
(Patent Document 2) Korean Registered Patent Publication No. 10-0994215 (2010.11.08)

본 발명의 기술적 사상에 따른 내시경 제어 장치, 이를 이용하는 제어 방법, 및 제어 시스템이 이루고자 하는 기술적 과제는 시술자의 머리 위치의 변경 범위와 내시경 카메라의 위치의 변경 범위의 매칭 결과를 이용하여 내시경 카메라의 위치를 제어할 수 있는 내시경 제어 장치, 이를 이용하는 제어 방법, 및 제어 시스템을 제공하는 것이다.The endoscope control device according to the technical idea of the present invention, a control method using the same, and a technical task to be achieved by the control system are the position of the endoscope camera using the matching result of the change range of the position of the operator's head and the position of the endoscope camera. It is to provide an endoscope control device capable of controlling, a control method using the same, and a control system.

본 발명의 일 실시 예에 따른 내시경 제어장치는 시술자의 머리의 움직임 정보를 수신하는 송수신기, 수신된 머리의 움직임 정보에 따라, 상기 시술자의 머리 위치의 변경 범위를 설정하는 머리 위치 변경 범위 설정기, 설정된 상기 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭시키는 범위 매칭기 및 상기 머리 위치의 변경 범위와 상기 내시경 카메라의 위치의 제어 범위의 매칭 결과를 이용하여, 상기 내시경 카메라의 위치를 제어하는 컨트롤러를 포함하는 내시경 제어 장치를 포함할 수 있다.An endoscope control apparatus according to an embodiment of the present invention includes a transceiver for receiving motion information of a surgeon's head, a head position change range setter for setting a change range of the surgeon's head according to the received head motion information, Using a range matcher for matching the set range of change of the head position and the control range of the position of the endoscope camera, and the matching result of the change range of the head position and the control range of the position of the endoscope camera, the position of the endoscope camera is It may include an endoscope control device including a controller to control.

예시적인 실시 예에 따르면, 상기 내시경 제어 장치는, 상기 내시경 카메라의 위치 제어 시 상기 내시경 카메라의 이동의 기준이 되는 위치 기준점을 설정하는 내시경 카메라 위치 기준점 설정기를 더 포함할 수 있다.According to an exemplary embodiment, the endoscope control device may further include an endoscope camera position reference point setter that sets a position reference point that is a reference for movement of the endoscope camera when the endoscope camera is positioned.

예시적인 실시 예에 따르면, 상기 컨트롤러는, 상기 내시경 카메라 위치 기준점 설정기로부터 상기 위치 기준점의 변경 신호를 수신하는 경우, 상기 위치 기준점의 변경 신호에 대응하여 상기 내시경 카메라를 제1축 방향으로 이동시킬 수 있다.According to an exemplary embodiment, when receiving the change signal of the position reference point from the endoscope camera position reference point setter, the controller moves the endoscope camera in the first axis direction in response to the change signal of the position reference point. I can.

예시적인 실시 예에 따르면, 상기 범위 매칭기는, 상기 안구 움직임 정보에 기초하여 상기 제어 범위의 최대값을 변경할 수 있고, 상기 최대값이 변경될 경우 변경된 상기 최대값과 상기 머리 위치의 변경 범위를 매칭시킬 수 있다.According to an exemplary embodiment, the range matcher may change the maximum value of the control range based on the eye movement information, and when the maximum value is changed, the changed maximum value and the change range of the head position are matched. I can make it.

예시적인 실시 예에 따르면, 상기 내시경 카메라 위치 기준점 설정기는, 상기 내시경 카메라가 촬영하고자 하는 대상 장기의 종류에 기초하여 상기 위치 기준점을 미리 설정할 수 있다.According to an exemplary embodiment, the endoscope camera position reference point setter may preset the position reference point based on a type of a target organ to be photographed by the endoscope camera.

예시적인 실시 예에 따르면, 상기 머리 위치 변경 범위 설정기는, 상기 머리의 기준점을 설정하고, 상기 기준점에 기초하여, 복수의 축 방향들 중에서 적어도 어느 하나의 축방향에서의 양측 한계점들 각각을 설정함으로써 상기 머리 위치의 변경 범위를 설정할 수 있다.According to an exemplary embodiment, the head position change range setter sets a reference point of the head, and based on the reference point, sets each of both limit points in at least one axial direction among a plurality of axial directions. The change range of the head position can be set.

예시적인 실시 예에 따르면, 상기 머리 위치 변경 범위 설정기는, 상기 시술자의 머리의 움직임 정보에 기초하여 상기 시술자가 움직이는 머리 위치 변경 범위를 학습하고 학습한 결과를 이용하여 상기 머리 위치 변경 범위를 재설정할 수 있다.According to an exemplary embodiment, the head position change range setter may learn a head position change range in which the operator moves based on motion information of the operator's head, and reset the head position change range using the learned result. I can.

예시적인 실시 예에 따르면, 상기 범위 매칭기는, 상기 내시경 카메라의 줌 인 또는 줌 아웃의 제어 범위를 각각 설정하고 설정된 상기 줌 인 또는 줌 아웃의 제어 범위와 상기 머리 위치의 변경 범위를 매칭시킬 수 있다.According to an exemplary embodiment, the range matcher may set a zoom-in or zoom-out control range of the endoscope camera, and match the set zoom-in or zoom-out control range with a change range of the head position. .

예시적인 실시 예에 따르면, 상기 내시경 제어 장치는, 상기 시술자의 습관적인 움직임을 학습하고, 상기 머리 움직임 정보 중에서 학습한 상기 습관적인 움직임을 필터링한 유효 정보를 생성하는 프로세서를 더 포함할 수 있다.According to an exemplary embodiment, the endoscope control apparatus may further include a processor that learns the habitual movement of the operator and generates effective information obtained by filtering the learned habitual movement from among the head movement information.

예시적인 실시 예에 따르면, 상기 프로세서는, 상기 송수신기로부터 상기 시술자의 안구의 움직임 정보를 수신하고 상기 안구의 움직임 정보에 대응하여 상기 내시경 카메라의 위치 제어를 정지하는 정지 신호를 생성할 수 있다.According to an exemplary embodiment, the processor may receive movement information of the operator's eyeball from the transceiver and generate a stop signal for stopping position control of the endoscope camera in response to the movement information of the eyeball.

예시적인 실시 예에 따르면, 상기 내시경 카메라는 플렉서블 하우징의 일단에 구비되고, 상기 컨트롤러는, 상기 머리의 움직임 정보에 대응하여 상기 플렉서블 하우징의 형태를 변형함으로써 상기 내시경 카메라의 각도를 변경할 수 있다.According to an exemplary embodiment, the endoscope camera is provided at one end of the flexible housing, and the controller may change the angle of the endoscope camera by changing the shape of the flexible housing in response to movement information of the head.

예시적인 실시 예에 따르면, 상기 내시경 제어 장치는, 상기 시술자의 머리의 움직임에 대한 이미지 정보를 수집하는 이미지 정보 수집기를 더 포함할 수 있다.According to an exemplary embodiment, the endoscope control device may further include an image information collector that collects image information on the movement of the operator's head.

본 발명의 기술적 사상에 의한 일 양태에 따른 내시경 제어 방법은, 시술자의 머리의 움직임 정보를 수신하는 단계, 수신한 상기 머리의 움직임 정보에 따라 상기 시술자의 머리 위치의 변경 범위를 설정하는 단계, 설정된 상기 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭시키는 단계 및 상기 머리 위치의 변경 범위와 상기 내시경 카메라의 위치의 제어 범위의 매칭 결과를 이용하여, 상기 내시경 카메라의 위치를 제어하는 단계를 포함할 수 있다.An endoscope control method according to an aspect according to the technical idea of the present invention includes the steps of receiving motion information of the operator's head, setting a range of change of the position of the operator's head according to the received motion information of the operator, and Matching the change range of the head position and the control range of the position of the endoscope camera, and controlling the position of the endoscope camera using the matching result of the change range of the head position and the control range of the position of the endoscope camera. It may include.

본 발명의 기술적 사상에 의한 일 양태에 따른 내시경 제어 시스템은, 피시술자의 인체 내부에 삽입되어 상기 인체 내부의 영상을 촬영하는 내시경 카메라, 시술자의 신체 일부에 착용되어 상기 시술자의 머리의 움직임을 감지하여 움직임 정보를 생성하는 웨어러블 기기 및 상기 웨어러블 기기로부터 상기 시술자의 머리의 움직임 정보를 수신하여 수신된 머리의 움직임 정보에 따라 상기 시술자의 머리 위치의 변경 범위를 설정하고, 설정된 상기 머리 위치의 변경 범위와 상기 내시경의 카메라의 위치 변경 범위를 매칭시키고, 상기 매칭 결과를 이용하여, 상기 내시경 카메라의 위치를 제어하는 내시경 제어 장치를 포함할 수 있다.An endoscope control system according to an aspect according to the technical idea of the present invention includes an endoscope camera that is inserted into the human body of a person to be treated to capture an image inside the body, and is worn on a part of the body of the operator to detect the movement of the operator's head. A wearable device that generates motion information and a range of change of the position of the operator's head according to the received head movement information by receiving the movement information of the operator's head from the wearable device, and the set range of change of the head position and It may include an endoscope control device for matching the position change range of the camera of the endoscope and using the matching result to control the position of the endoscope camera.

예시적인 실시 예에 따르면, 상기 웨어러블 기기는, 자이로 센서, 각도 센서, 레이저 변위 센서, 및 가속도 센서 중 적어도 어느 하나를 포함할 수 있다.According to an exemplary embodiment, the wearable device may include at least one of a gyro sensor, an angle sensor, a laser displacement sensor, and an acceleration sensor.

본 발명의 실시 예에 따른 장치, 방법 및 시스템은, 시술자의 머리 위치의 변경 범위와 내시경 카메라의 위치의 변경 범위의 매칭 결과를 이용하여 내시경 카메라의 위치를 제어함으로써, 내시경 카메라의 직관적인 제어가 가능할 뿐 아니라 정교한 시술에 도움을 주는 효과가 있다.The apparatus, method, and system according to an embodiment of the present invention control the position of the endoscope camera by using the matching result of the change range of the position of the operator's head and the change range of the endoscope camera, so that intuitive control of the endoscope camera is possible. Not only is it possible, but it has the effect of helping elaborate procedures.

또한, 본 발명의 실시 예에 따른 장치, 방법 및 시스템은, 시술자가 시술 시 움직이는 머리 위치의 변경 범위를 학습하여 머리 위치의 변경 범위를 재설정함으로써, 시술자가 시술에 더 집중할 수 있는 시술 환경을 제공하는 효과가 있다.In addition, the apparatus, method, and system according to an embodiment of the present invention provide a procedure environment in which the operator can focus more on the procedure by resetting the change range of the head position by learning the change range of the head position that the operator moves during the procedure. There is an effect.

또한, 본 발명의 실시 예에 따른 장치, 방법 및 시스템은, 시술자의 습관적인 움직임을 학습하고 학습한 결과를 내시경 카메라의 위치 제어에 이용함으로써, 내시경 카메라의 위치 제어에 노이즈로 작용하는 움직임을 제거하여 안전한 시술 환경을 제공하는 효과도 있다.In addition, the apparatus, method, and system according to an embodiment of the present invention remove the movement acting as noise in the position control of the endoscope camera by learning the habitual movement of the operator and using the learned result for position control of the endoscope camera. Therefore, it has the effect of providing a safe operating environment.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 내시경 제어 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 내시경 제어 장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 내시경 카메라의 위치 기준점을 나타낸 도면이다.
도 4는 본 발명의 일 실시 예에 따른 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위의 매칭 과정을 나타낸 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위의 매칭 과정을 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 따른 내시경 제어 방법을 나타낸 도면이다.A brief description of each drawing is provided in order to more fully understand the drawings cited in the detailed description of the present invention.
1 is a view showing an endoscope control system according to an embodiment of the present invention.
2 is a block diagram of an endoscope control apparatus according to an embodiment of the present invention.
3 is a view showing a position reference point of an endoscope camera according to an embodiment of the present invention.
4 is a diagram illustrating a process of matching a change range of a head position and a control range of a position of an endoscope camera according to an embodiment of the present invention.
5 is a diagram illustrating a process of matching a change range of a head position and a control range of a position of an endoscope camera according to another embodiment of the present invention.
6 is a diagram illustrating an endoscope control method according to an embodiment of the present invention.

본 발명의 기술적 사상에 따른 예시적인 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 더욱 완전하게 설명하기 위하여 제공되는 것으로, 아래의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 기술적 사상의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.Exemplary embodiments according to the technical idea of the present invention are provided to more completely explain the technical idea of the present invention to those of ordinary skill in the art, and the following embodiments are modified in various different forms. It may be, and the scope of the technical idea of the present invention is not limited to the following embodiments. Rather, these embodiments are provided to make the present disclosure more faithful and complete, and to completely convey the technical idea of the present invention to those skilled in the art.

본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역, 층들, 부위 및/또는 구성 요소들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들, 부위 및/또는 구성 요소들은 이들 용어에 의해 한정되어서는 안 됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역, 부위, 또는 구성 요소를 다른 부재, 영역, 부위 또는 구성 요소와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역, 부위 또는 구성 요소는 본 발명의 기술적 사상의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역, 부위 또는 구성 요소를 지칭할 수 있다. 예를 들면, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.In the present specification, terms such as first and second are used to describe various members, regions, layers, regions, and/or components, but these members, parts, regions, layers, regions, and/or components refer to these terms. It is obvious that it should not be limited by. These terms do not imply any particular order, top or bottom, or superiority, and are used only to distinguish one member, region, region, or component from another member, region, region, or component. Accordingly, the first member, region, region, or component to be described below may refer to the second member, region, region, or component without departing from the teachings of the inventive concept. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element.

달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 발명의 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것이다.Unless otherwise defined, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the concept of the present invention belongs. In addition, terms commonly used, as defined in the dictionary, should be construed as having a meaning consistent with what they mean in the context of the technology to which they are related, and in an excessively formal sense unless explicitly defined herein. It should not be interpreted.

여기에서 사용된 '및/또는' 용어는 언급된 부재들의 각각 및 하나 이상의 모든 조합을 포함한다.The term'and/or' as used herein includes each and every combination of one or more of the recited elements.

이하에서는 첨부한 도면들을 참조하여 본 발명의 기술적 사상에 의한 실시예들에 대해 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 내시경 제어 시스템을 나타낸 도면이다.1 is a view showing an endoscope control system according to an embodiment of the present invention.

도 1을 참조하면, 내시경 제어 시스템은 내시경 제어 장치(200)가 시술자(100)의 신체 일부에 착용된 웨어러블 기기(400)로부터 시술자(100)의 움직임 정보를 수신하고 수신한 움직임 정보에 대응하여 내시경 제어 장치(200)에 포함된 내시경 카메라의 위치를 제어하는 시스템이다. 실시 예에 따라, 움직임 정보는 머리 움직임 정보 또는 안구 움직임 정보 중 적어도 어느 하나일 수 있으며, 이에 한정되지 않는다.Referring to FIG. 1, the endoscope control system receives the motion information of the operator 100 from the wearable device 400 worn on the body part of the operator 100 by the endoscope control system 200 and responds to the received motion information. This is a system that controls the position of an endoscope camera included in the endoscope control device 200. According to an embodiment, the motion information may be at least one of head motion information and eye motion information, but is not limited thereto.

내시경 제어 장치(200)는 시술자(100)의 신체 일부에 착용된 웨어러블 기기(400)로부터 시술자(100)의 머리의 움직임 정보를 수신할 수 있다. 내시경 제어 장치(200)는 수신한 머리의 움직임 정보에 기초하여 시술자(100)의 머리 위치의 변경 범위와 내시경 카메라의 제어 범위를 매칭하고 매칭 결과를 이용하여 내시경 카메라의 위치를 제어할 수 있다. 내시경 카메라는 내시경 제어 장치(200)의 일단에 구비될 수 있고, 피시술자(300)의 인체 내부에 삽입되어 인체 내부의 영상을 촬영할 수 있다.The endoscope control apparatus 200 may receive movement information of the head of the operator 100 from the wearable device 400 worn on a part of the body of the operator 100. The endoscope control apparatus 200 may match the change range of the operator 100's head position and the control range of the endoscope camera based on the received head movement information, and control the position of the endoscope camera using the matching result. The endoscope camera may be provided at one end of the endoscope control apparatus 200, and may be inserted into the human body of the person to be treated 300 to capture an image inside the human body.

실시 예에 따라, 내시경 제어 장치(200)가 머리 위치의 변경 범위와 제어 범위를 매칭하면 매칭된 비율만큼 시술자(100)의 머리 움직임 정보에 대응하여 내시경 카메라(210)의 위치를 변경시킬 수 있다.According to an embodiment, when the endoscope control device 200 matches the change range of the head position and the control range, the position of the endoscope camera 210 may be changed in response to the head movement information of the operator 100 by a matched ratio. .

웨어러블 기기(400)는 자이로 센서, 각도 센서, 레이저 변위 센서, 및 가속도 센서 중 적어도 어느 하나를 포함할 수 있고 각각의 센서들로 시술자(100)의 움직임 정보를 감지할 수 있다. 웨어러블 기기(400)가 포함하는 센서들은 시술자(100)의 움직임 정보를 감지할 수 있는 센서들이며 상기 센서들에 한정되지 않는다.The wearable device 400 may include at least one of a gyro sensor, an angle sensor, a laser displacement sensor, and an acceleration sensor, and may sense motion information of the operator 100 with respective sensors. The sensors included in the wearable device 400 are sensors capable of detecting motion information of the operator 100 and are not limited to the sensors.

도 2는 본 발명의 일 실시 예에 따른 내시경 제어 장치의 블록도이다.2 is a block diagram of an endoscope control apparatus according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 내시경 제어 장치(200)는 시술자(100)의 움직임 정보를 수신하고, 시술자(100)의 머리 위치의 변경 범위와 내시경 카메라(210)의 위치의 제어 범위의 매칭 결과를 이용하여 내시경 카메라(210)의 위치를 제어할 수 있다. 내시경 제어 장치(200)는 내시경 카메라(210), 송수신기(220), 이미지 정보 수집기(230), 내시경 카메라 위치 기준점 설정기(240), 머리 위치 변경 범위 설정기(250), 범위 매칭기(260), 프로세서(270), 컨트롤러(280)를 포함할 수 있다.1 and 2, the endoscope control apparatus 200 receives motion information of the operator 100, and matches the range of change of the position of the operator 100's head and the control range of the position of the endoscope camera 210 The position of the endoscope camera 210 can be controlled using the result. The endoscope control device 200 includes an endoscope camera 210, a transceiver 220, an image information collector 230, an endoscope camera position reference point setter 240, a head position change range setter 250, and a range matcher 260. ), a processor 270, and a controller 280.

내시경 카메라(210)는 피시술자(300)의 인체 내부에 삽입되어 인체 내부의 영상을 촬영할 수 있다. 내시경 카메라(210)는 내시경 제어 장치(200)의 일단에 구비될 수 있다. 본 명세서에서 '내시경 카메라'는 내시경 카메라 그 자체뿐만 아니라 내시경 카메라에 연결된 삽입관을 포함하여 지칭할 수도 있다.The endoscope camera 210 may be inserted into the human body of the person to be treated 300 to capture an image inside the human body. The endoscope camera 210 may be provided at one end of the endoscope control device 200. In the present specification, the "endoscope camera" may refer to not only the endoscope camera itself, but also an insertion tube connected to the endoscope camera.

송수신기(220)는 시술자(100)의 움직임 정보를 수신할 수 있다. 이때 움직임 정보는 머리 움직임 정보 또는 안구 움직임 정보 등일 수 있으며, 이에 한정되지 않는다. 실시 예에 따라, 송수신기(220)는 수신한 움직임 정보를 머리 위치 변경 범위 설정기(250) 또는 프로세서(270)로 송신할 수 있다.The transceiver 220 may receive motion information of the operator 100. In this case, the motion information may be head motion information or eye motion information, but is not limited thereto. According to an embodiment, the transceiver 220 may transmit the received motion information to the head position change range setter 250 or the processor 270.

내시경 제어 장치(200)는 이미지 정보 수집기(230)를 더 포함할 수 있다. 이미지 정보 수집기(230)는 시술자(100)의 움직임을 사진 또는 영상으로 촬영하여 시술자(100)의 움직임에 대한 이미지 정보를 수집할 수 있다. 이미지 정보 수집기(230)는 수집한 이미지 정보를 프로세서(270)로 송신할 수 있고, 프로세서(270)는 수신한 이미지 정보를 분석하여 내시경 카메라(210)의 위치를 변경하기 위한 유효 정보를 생성할 수 있다.The endoscope control device 200 may further include an image information collector 230. The image information collector 230 may collect image information on the motion of the operator 100 by photographing the motion of the operator 100 as a photograph or an image. The image information collector 230 may transmit the collected image information to the processor 270, and the processor 270 may generate effective information for changing the position of the endoscope camera 210 by analyzing the received image information. I can.

내시경 제어 장치(200)는 내시경 카메라(210)의 위치 제어 시 내시경 카메라(210)의 이동의 기준이 되는 위치 기준점을 설정하는 내시경 카메라 위치 기준점 설정기(240)를 더 포함할 수 있다. 내시경 카메라 위치 기준점 설정기(240)에 대한 자세한 설명은 도 3을 참조하여 후술하도록 한다.The endoscope control apparatus 200 may further include an endoscope camera position reference point setter 240 for setting a position reference point that is a reference for movement of the endoscope camera 210 when controlling the position of the endoscope camera 210. A detailed description of the endoscope camera position reference point setter 240 will be described later with reference to FIG. 3.

머리 위치 변경 범위 설정기(250)는 송수신기(220)로부터 머리의 움직임 정보를 수신하고 수신한 머리의 움직임 정보에 따라 시술자(100)의 머리 위치의 변경 범위를 설정할 수 있다. 내시경 제어 장치(200)는 시술자(100)의 머리의 움직임 정보를 수신할 수 있고, 머리의 움직임 정보에 대응하여 내시경 카메라(210)의 위치를 변경시킬 수 있다. 이때 시술자(100)가 내시경 카메라(210)의 위치 제어를 위하여 머리의 위치를 변경하는 범위를 머리 위치의 변경 범위라고 하고, 머리 위치 변경 범위 설정기(250)는 이러한 머리 위치 변경 범위를 설정할 수 있다.The head position change range setter 250 may receive head movement information from the transceiver 220 and set the change range of the head position of the operator 100 according to the received head movement information. The endoscope control apparatus 200 may receive motion information of the head of the operator 100 and may change the position of the endoscope camera 210 in response to the motion information of the head. At this time, the range in which the operator 100 changes the position of the head in order to control the position of the endoscope camera 210 is referred to as a range of change of the head position, and the head position change range setter 250 can set the range of such head position change. have.

실시 예에 따라, 머리 위치 변경 범위 설정기(250)는 송수신기(220)로부터 머리의 움직임 정보를 수신하고 수신한 머리의 움직임 정보에 기초하여 머리 위치의 변경 범위의 경계 지점을 설정할 수 있다. 머리 위치 변경 범위를 설정하기 위한 머리의 설정 움직임 정보는 미리 설정될 수 있다. 예를 들어, 미리 설정된 머리의 설정 움직임 정보가 머리를 한 번 끄덕이는 움직임이라면, 머리 위치 변경 범위 설정기(250)는 송수신기(220)로부터 상기 설정 움직임 정보를 수신하는 경우 상기 움직임이 감지된 지점을 상기 머리의 기준점으로 설정할 수 있다. 실시 예에 따라, 머리 위치 변경 범위 설정기(250)는 시술자(100)의 머리를 트랙킹하기 위한 머리의 기준점을 설정할 수 있다. 머리 위치 변경 범위 설정기(250)는 상기 머리의 기준점에 기초하여 복수의 축 방향들 중에서 적어도 어느 하나의 축 방향에서의 양측 한계점들 각각을 설정함으로써 머리 위치의 변경 범위를 설정할 수 있다. According to an embodiment, the head position change range setter 250 may receive head movement information from the transceiver 220 and set a boundary point of the head position change range based on the received head movement information. Head setting motion information for setting the head position change range may be set in advance. For example, if the preset motion information of the head is a motion to nod the head once, the head position change range setter 250 may detect the motion when receiving the set motion information from the transceiver 220. The point can be set as the reference point of the head. According to an embodiment, the head position change range setter 250 may set a reference point of the head for tracking the head of the operator 100. The head position change range setter 250 may set the change range of the head position by setting each of both limit points in at least one axial direction among a plurality of axial directions based on the reference point of the head.

예컨대, 머리 위치 변경 범위 설정기(250)는 머리의 설정 움직임에 기초하여 오른쪽 위치의 변경 한계점을 생성할 수 있다. 예를 들어, 미리 설정된 머리의 설정 움직임 정보가 머리를 오른쪽으로 움직인 뒤 머리를 한 번 끄덕이는 움직임이라면, 머리 위치 변경 범위 설정기(250)는 송수신기(220)로부터 상기 설정 움직임 정보를 수신하는 경우 상기 움직임이 감지된 지점을 오른쪽 위치의 변경 한계점으로 설정할 수 있다.For example, the head position change range setter 250 may generate a change limit point of the right position based on the set movement of the head. For example, if the preset motion information of the head is a motion of moving the head to the right and then nodding the head once, the head position change range setter 250 receives the set motion information from the transceiver 220. In this case, the point at which the motion is detected may be set as the change limit point of the right position.

예컨대, 머리 위치 변경 범위 설정기(250)는 머리의 설정 움직임에 기초하여 왼쪽 위치의 변경 한계점을 생성할 수 있다. 이때 머리 위치 변경 범위는 오른쪽 위치의 변경 한계점부터 왼쪽 위치의 변경 한계점까지 일 수 있다. 예를 들어, 미리 설정된 머리의 설정 움직임 정보가 머리를 왼쪽으로 움직인 뒤 머리를 한 번 끄덕이는 움직임이라면, 머리 위치 변경 범위 설정기(250)는 송수신기(220)로부터 상기 설정 움직임 정보를 수신하는 경우 상기 움직임이 감지된 지점을 왼쪽 위치의 변경 한계점으로 설정할 수 있다.For example, the head position change range setter 250 may generate a change limit point of the left position based on the set movement of the head. In this case, the head position change range may be from the change limit point of the right position to the change limit point of the left position. For example, if the preset motion information of the head is a motion of moving the head to the left and then nodding the head once, the head position change range setter 250 receives the set motion information from the transceiver 220. In this case, the point at which the motion is detected may be set as the change limit point of the left position.

머리 위치 변경 범위 설정기(250)는 위와 같이 생성된 오른쪽 위치의 변경 한계점 및 왼쪽 위치의 변경 한계점을 기초로 하여 머리 위치의 변경 범위를 설정할 수 있다.The head position change range setter 250 may set the change range of the head position based on the change limit point of the right position and the change limit point of the left position generated as described above.

실시 예에 따라, 머리 위치 변경 범위 설정기(250)는 별도의 외부 입력에 따라 시술자(100)의 머리 위치의 변경 범위의 경계 지점을 설정할 수 있다. 예컨대, 시술자(100)는 머리 위치의 변경 범위의 경계 지점에서 별도의 버튼 입력을 통하여, 머리 위치의 변경 범위를 설정할 수 있다. According to an embodiment, the head position change range setter 250 may set a boundary point of the change range of the head position of the operator 100 according to a separate external input. For example, the operator 100 may set the change range of the head position through a separate button input at the boundary point of the change range of the head position.

머리 위치 변경 범위 설정기(250)는 시술자(100)의 머리의 움직임 정보에 기초하여 시술자(100)가 움직이는 머리 위치 변경 범위를 학습하고 학습한 결과를 이용하여 머리 위치 변경 범위를 재설정할 수 있다. 송수신기(220)는 시술자(100)가 시술하는 동안 머리의 움직임 정보를 지속적으로 수신할 수 있다. 송수신기(220)는 시술자(100)가 시술하는 동안 수신한 머리의 움직임 정보를 머리 위치 변경 범위 설정기(250)로 송신할 수 있다. The head position change range setter 250 may learn the head position change range that the operator 100 moves based on the head movement information of the operator 100 and reset the head position change range using the learned result. . The transceiver 220 may continuously receive head movement information while the operator 100 performs the procedure. The transceiver 220 may transmit the head motion information received during the procedure by the operator 100 to the head position change range setter 250.

실시 예에 따라, 머리 위치 변경 범위 설정기(250)가 수신한 머리의 움직임 정보는, 설정된 머리 위치 변경 범위를 벗어난 머리 움직임 정보일 수 있다. 또한 상기 머리의 움직임 정보는, 머리 위치 변경 범위 내에 포함되지만 한정적인 범위 내에서만 움직이는 정보일 수 있다. 이러한 경우 머리 위치 변경 범위와 내시경 카메라(210)의 위치의 제어 범위는 매칭되어 있어 내시경 카메라(210)의 위치 또한 한정적인 범위 내에서 제어될 수 있다. 머리 위치 변경 범위 설정기(250)는 송수신기(220)로부터 시술자(100)가 시술하는 동안 사용하는 머리 위치 변경 범위를 학습하여 머리 위치 변경 범위를 재설정하고, 범위 매칭기(260)는 재설정된 머리 위치 변경 범위와 내시경 카메라(210)의 위치의 제어 범위를 재매칭시킬 수 있다.According to an embodiment, the head movement information received by the head position change range setter 250 may be head movement information outside the set head position change range. In addition, the movement information of the head may be information that is included in the head position change range but moves only within a limited range. In this case, since the head position change range and the control range of the position of the endoscope camera 210 are matched, the position of the endoscope camera 210 may also be controlled within a limited range. The head position change range setter 250 resets the head position change range by learning the head position change range used by the operator 100 during the treatment from the transceiver 220, and the range matcher 260 resets the head position change range. The position change range and the control range of the position of the endoscope camera 210 may be rematched.

범위 매칭기(260)는 설정된 머리 위치의 변경 범위와 내시경 카메라(210)의 위치의 제어 범위를 매칭할 수 있다. 컨트롤러(280)는 이러한 매칭 결과를 이용하여 내시경 카메라(210)의 위치를 변경시킬 수 있다. 이때 머리의 움직임 정보에 대응하여 컨트롤러(280)가 내시경 카메라(210)를 제어하여 내시경 카메라(210)의 위치를 변경시킬 수 있는 범위를 내시경 카메라(210)의 위치의 제어 범위라고 한다. 내시경 카메라(210)의 위치의 제어 범위는 미리 설정될 수 있고, 범위 매칭기(260)에서 설정될 수 있다. 내시경 카메라(210)의 위치의 제어 범위는 내시경 카메라(210)가 촬영하고자 하는 대상 장기들 각각의 위치, 종류, 크기, 시술 방법 중 적어도 어느 하나에 기초하여 설정될 수 있다.The range matcher 260 may match the change range of the set head position and the control range of the position of the endoscope camera 210. The controller 280 may change the position of the endoscope camera 210 using the matching result. In this case, a range in which the controller 280 controls the endoscope camera 210 to change the position of the endoscope camera 210 in response to the head movement information is referred to as a control range of the position of the endoscope camera 210. The control range of the position of the endoscope camera 210 may be set in advance or may be set by the range matcher 260. The control range of the position of the endoscope camera 210 may be set based on at least one of a location, type, size, and a procedure method of each of the target organs to be photographed by the endoscope camera 210.

범위 매칭기(260)는 설정된 머리 위치의 변경 범위와 내시경 카메라(210)의 위치의 제어 범위를 매칭할 수 있다. 컨트롤러(280)는 이러한 매칭 결과를 이용하여 내시경 카메라(210)의 위치를 제어할 수 있다. 범위 매칭기(160)가 머리 위치의 변경 범위와 내시경 카메라(210)의 위치의 제어 범위를 매칭하면 컨트롤러(280)는 시술자(100)의 머리 움직임 정보에 대응하여 매칭된 비율만큼 내시경 카메라(210)의 위치를 변경시킬 수 있다.The range matcher 260 may match the change range of the set head position and the control range of the position of the endoscope camera 210. The controller 280 may control the position of the endoscope camera 210 using the matching result. When the range matcher 160 matches the change range of the head position and the control range of the position of the endoscope camera 210, the controller 280 corresponds to the head movement information of the operator 100 by the matched ratio. You can change the position of ).

범위 매칭기(260)는 안구 움직임 정보에 기초하여 제어 범위의 최대값을 변경할 수 있다. 범위 매칭기(260)는 송수신기(220)로부터 안구 움직임 정보를 수신하고 수신한 안구 움직임 정보에 대응하여 제어 범위의 최대값을 변경할 수 있다. 상기 안구 움직임 정보와 최대값을 변경시킬 정도는 미리 설정될 수 있다. 실시 예에 따라, 범위 매칭기(260)는 송수신기(220)로부터 미리 설정된 안구 움직임 정보를 수신하는 경우 제어 범위의 최대값을 미리 설정된 크기만큼 가감할 수 있다. 상기 최대값이 변경될 경우 범위 매칭기(260)는 변경된 제어 범위와 머리 위치의 변경 범위를 재매칭시킬 수 있다.The range matcher 260 may change the maximum value of the control range based on the eye movement information. The range matcher 260 may receive eye movement information from the transceiver 220 and change the maximum value of the control range in response to the received eye movement information. The degree to which the eye movement information and the maximum value are changed may be set in advance. According to an embodiment, when receiving pre-set eye movement information from the transceiver 220, the range matcher 260 may add or subtract the maximum value of the control range by a preset size. When the maximum value is changed, the range matcher 260 may rematch the changed control range and the change range of the head position.

실시 예에 따라, 내시경 카메라(210)는 줌(zoom) 렌즈를 포함할 수 있고, 범위 매칭기(260)는 내시경 카메라(210)의 줌 인(zoom-in) 또는 줌 아웃(zoom-out)의 제어 범위를 각각 설정할 수 있다. 범위 매칭기(260)가 줌 인 또는 줌 아웃의 제어 범위를 각각 설정하는 경우 설정된 상기 줌 인 또는 줌 아웃의 제어 범위와 머리 위치의 변경 범위를 매칭시킬 수 있다. 내시경 카메라(210)가 줌 렌즈를 포함할 경우 컨트롤러(280)는 상기 매칭 결과를 이용하여 내시경 카메라(210)가 촬영하는 피시술자(300)의 인체 내부의 영상을 확대하거나 축소하여 촬영할 수 있다.According to an embodiment, the endoscope camera 210 may include a zoom lens, and the range matcher 260 is a zoom-in or zoom-out of the endoscope camera 210. You can set the control range of each. When the range matcher 260 sets the zoom-in or zoom-out control range, respectively, the set zoom-in or zoom-out control range and the head position change range may be matched. When the endoscope camera 210 includes a zoom lens, the controller 280 may enlarge or reduce an image inside the human body of the subject 300 photographed by the endoscope camera 210 using the matching result.

프로세서(270)는 송수신기(220)로부터 시술자(100)의 움직임 정보를 수신하여 내시경 카메라(210)의 위치를 제어하기 위한 유효 정보를 생성할 수 있다. 생성된 유효 정보는 컨트롤러(280)로 송신할 수 있고 컨트롤러(280)는 수신한 유효 정보에 대응하여 내시경 카메라(210)의 위치를 변경할 수 있다.The processor 270 may receive motion information of the operator 100 from the transceiver 220 and generate effective information for controlling the position of the endoscope camera 210. The generated valid information may be transmitted to the controller 280 and the controller 280 may change the position of the endoscope camera 210 in response to the received valid information.

실시 예에 따라, 프로세서(270)는 시술자(100)의 습관적인 움직임을 학습하고 움직임 정보 중에서 습관적인 움직임을 필터링한 유효 정보를 생성할 수 있다. 습관적인 움직임이란 시술자(100)의 평소 습관 등과 같은 내시경 카메라(210)의 위치를 제어하기 위한 움직임이 아닌, 움직임일 수 있다. 이러한 프로세서(270)는 불필요한 움직임 정보에 대응하여 내시경 카메라(210)가 움직이는 것을 방지할 수 있다. 프로세서(270)가 시술자(100)의 습관적인 움직임을 학습하면, 송수신기(220)로부터 상기 습관적인 움직임 정보를 수신한 경우 내시경 카메라(210)의 위치를 변경하기 위한 유효 정보를 생성하지 않을 수 있다.According to an embodiment, the processor 270 may learn the habitual movement of the operator 100 and generate effective information obtained by filtering the habitual movement from among the movement information. The habitual movement may be a movement, not a movement for controlling the position of the endoscope camera 210 such as a usual habit of the operator 100. The processor 270 may prevent the endoscope camera 210 from moving in response to unnecessary motion information. When the processor 270 learns the habitual movement of the operator 100, when receiving the habitual movement information from the transceiver 220, effective information for changing the position of the endoscope camera 210 may not be generated. .

실시 예에 따라, 프로세서(270)는 송수신기(220)로부터 시술자(100)의 안구의 움직임 정보를 수신하고 안구의 움직임 정보에 대응하여 내시경 카메라(210)의 위치 제어를 정지하는 정지 신호를 생성할 수 있다. 시술자(100)가 시술하는 동안 프로세서(270)가 수신한 시술자(100)의 움직임 정보는 내시경 카메라(210)의 위치를 제어하기 위한 정보가 아닐 수 있다. 시술자(100)의 시술 환경은 급박하고 예측 불가능하여 시술자(100)의 움직임은 머리 위치의 변경 범위를 벗어날 수 있다. 이때 시술자(100)의 머리의 움직임 정보에 의해 내시경 카메라(210)의 위치를 변경할 경우 위험한 상황이 발생할 수 있다. 이를 위해 프로세서(270)는 시술자(100)의 안구의 움직임 정보에 기초하여 정지 신호를 생성할 수 있다. 상기 안구의 움직임 정보는 미리 설정될 수 있다. 프로세서(270)는 미리 설정된 안구의 움직임 정보를 수신하는 경우 정지 신호를 생성하여 내시경 카메라(210)의 위치 변경을 정지시킬 수 있다.According to an embodiment, the processor 270 may receive eye movement information of the operator 100 from the transceiver 220 and generate a stop signal for stopping position control of the endoscope camera 210 in response to the eye movement information. I can. The motion information of the operator 100 received by the processor 270 while the operator 100 performs the procedure may not be information for controlling the position of the endoscope camera 210. Since the operating environment of the operator 100 is urgent and unpredictable, the movement of the operator 100 may deviate from the range of change of the head position. At this time, if the position of the endoscope camera 210 is changed according to the movement information of the head of the operator 100, a dangerous situation may occur. To this end, the processor 270 may generate a stop signal based on eye movement information of the operator 100. The eye movement information may be set in advance. The processor 270 may stop changing the position of the endoscope camera 210 by generating a stop signal when receiving predetermined eye movement information.

컨트롤러(280)는 프로세서(270)로부터 유효 정보를 수신하고 수신한 유효 정보에 대응하여 내시경 카메라(210)의 위치를 변경할 수 있다.The controller 280 may receive valid information from the processor 270 and change the position of the endoscope camera 210 in response to the received valid information.

실시 예에 따라, 내시경 카메라(210)는 플렉서블 하우징의 일단에 구비될 수 있다. 컨트롤러(280)는 프로세서(270)로부터 유효 정보를 수신하여 수신한 유효 정보에 대응하여 상기 플렉서블 하우징의 형태를 변형함으로써 내시경 카메라(210)의 각도를 변경할 수 있다.According to an embodiment, the endoscope camera 210 may be provided at one end of the flexible housing. The controller 280 may receive valid information from the processor 270 and change the angle of the endoscope camera 210 by changing the shape of the flexible housing in response to the received valid information.

도 3은 본 발명의 일 실시 예에 따른 내시경 카메라의 위치 기준점을 나타낸 도면이다.3 is a view showing a position reference point of an endoscope camera according to an embodiment of the present invention.

도 2와 도 3을 참조하면, 내시경 카메라 위치 기준점 설정기(240)는 내시경 카메라(210-1)의 위치 기준점(pivot point)을 설정할 수 있다. 내시경 카메라 위치 기준점 설정기(240)는 내시경 카메라(210-1)가 피시술자의 신체 내부에 삽입되었을 경우, 내시경 카메라(210-1)에서, 내시경 카메라(210-1)의 일단(R-ep)에서부터 피시술자의 인체 표면(R-s)까지의 높이(h)가 되는 지점을 위치 기준점(pivot point)으로 설정할 수 있다.2 and 3, the endoscope camera position reference point setter 240 may set a position reference point of the endoscope camera 210-1. The endoscope camera position reference point setter 240 is, when the endoscope camera 210-1 is inserted into the body of the person to be treated, in the endoscope camera 210-1, one end (R-ep) of the endoscope camera 210-1 The point at which the height h from the to the human body surface Rs of the person to be treated can be set as a position reference point (pivot point).

내시경 카메라 위치 기준점 설정기(240)는 내시경 카메라(210-1)가 촬영하고자 하는 대상 장기의 크기, 종류, 위치, 시술 방법, 및 내시경 카메라(210-1)의 위치 제어 범위 중 적어도 어느 하나에 기초하여 위치 기준점(pivot point)을 미리 설정될 수 있다. 실시 예에 따라, 위치 기준점은 촬영하고자 하는 대상 장기의 경계면(R-o)으로부터 피시술자의 인체 표면(R-s)까지의 깊이(d)와 상기 대상 장기와 내시경 카메라의 일단(R-ep) 간에 유지되어야 하는 간격(gap)에 기초하여 설정될 수 있다. The endoscope camera position reference point setter 240 is in at least one of the size, type, location, procedure method, and position control range of the endoscope camera 210-1 of the target organ to be photographed by the endoscope camera 210-1. Based on the position reference point (pivot point) may be set in advance. Depending on the embodiment, the position reference point must be maintained between the depth (d) from the boundary surface (Ro) of the target organ to be photographed to the human body surface (Rs) of the patient to be photographed, and the end (R-ep) of the target organ and the endoscope camera. It can be set based on a gap.

위치 기준점(pivot point)은 내시경 카메라(210-1)의 위치 제어 시 내시경 카메라(210-1)의 이동의 기준이 될 수 있다. 실시 예에 따라, 내시경 카메라(210-1)의 위치가 a만큼 변경되는 경우, 피시술자의 인체 내부에서의 위치 기준점(pivot point)에 대한 위치를 변경하지 않고 위치 기준점(pivot point)을 고정점으로 하여 내시경 카메라(210-1)가 제1축 방향으로 a만큼 이동될 수 있다. 이때 이동한 내시경 카메라(210-2)의 위치 기준점(pivot point)은 이동하기 전 내시경 카메라(210-1)의 위치 기준점(pivot point)과 같다.The position reference point (pivot point) may be a reference for movement of the endoscope camera 210-1 when controlling the position of the endoscope camera 210-1. According to an embodiment, when the position of the endoscope camera 210-1 is changed by a, the position reference point is set as a fixed point without changing the position of the position reference point within the body of the person to be treated. Thus, the endoscope camera 210-1 may be moved by a in the first axis direction. At this time, the position reference point of the moved endoscope camera 210-2 is the same as the position reference point of the endoscope camera 210-1 before moving.

다른 실시 예에 따라, 프로세서(270)는 위치 기준점(pivot point)을 설정할 수 있다. 이러한 경우 내시경 카메라 위치 기준점 설정기(240)의 기능을 프로세서(270)가 수행할 수 있다.According to another embodiment, the processor 270 may set a position reference point. In this case, the processor 270 may perform the function of the endoscope camera position reference point setter 240.

도 4는 본 발명의 일 실시 예에 따른 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위의 매칭 과정을 나타낸 도면이다.4 is a diagram illustrating a process of matching a change range of a head position and a control range of a position of an endoscope camera according to an embodiment of the present invention.

도 4에서는 제1축 방향(예컨대, x축 방향)으로 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭시키는 경우를 예시적으로 도시하고 있다.FIG. 4 exemplarily shows a case in which the range of change of the head position and the control range of the position of the endoscope camera are matched in the first axis direction (eg, the x-axis direction).

도 4(a)를 참조하면, 머리 위치 변경 범위 설정기(250)는 머리의 기준점(Rp)을 설정하고 제1축 방향에서 머리의 기준점(Rp)의 오른쪽 한계점(b-1)과 왼쪽 한계점(a-1)을 설정하여 머리 위치 변경 범위(b-1~a-1)를 설정할 수 있다. Referring to FIG. 4(a), the head position change range setter 250 sets the reference point Rp of the head, and the right limit point b-1 and the left limit point of the reference point Rp of the head in the first axis direction. You can set the head position change range (b-1 to a-1) by setting (a-1).

도 4(b)를 참조하면, 내시경 카메라(210-3)의 위치 제어 범위는 제1축방향에서 a-2부터 b-2까지로 설정될 수 있다. 내시경 카메라(210-3)의 위치의 제어 범위는 미리 설정될 수 있고 범위 매칭기(260)에서 설정될 수 있다. 내시경 카메라(210-3)의 위치 제어 범위는 피시술자의 인체 내부의 장기의 크기, 종류, 위치, 및 시술 방법 중 적어도 어느 하나에 기초하여 설정될 수 있다. 또한, 내시경 카메라 위치 기준점 설정기(240)는 내시경 카메라(210-3)가 촬영하고자 하는 대상 장기의 크기, 종류, 위치, 및 시술 방법, 및 내시경 카메라(210-3)의 위치 제어 범위 중 적어도 어느 하나에 기초하여 위치 기준점(pivot point)을 설정할 수 있다.Referring to FIG. 4B, the position control range of the endoscope camera 210-3 may be set from a-2 to b-2 in the first axis direction. The control range of the position of the endoscope camera 210-3 may be set in advance and may be set by the range matcher 260. The position control range of the endoscope camera 210-3 may be set based on at least one of the size, type, location, and treatment method of the internal organs of the person to be treated. In addition, the endoscope camera position reference point setter 240 is at least one of the size, type, position, and treatment method of the target organ that the endoscope camera 210-3 wants to take, and the position control range of the endoscope camera 210-3. The position reference point (pivot point) can be set based on any one.

실시 예에 따라, 범위 매칭기(260)는 머리 위치 변경 범위(a-1~b-1)와 내시경 카메라(210-3)의 위치 제어 범위(a-2~b-2)를 매칭시킬 수 있다. 매칭 결과 머리 위치 변경 범위(a-1~b-1)에서 0에서 c-1까지의 거리는 내시경 카메라(210-3)의 위치 제어 범위(a-2~b-2)에서 0에서 c-2까지의 거리와 매칭된다. 프로세서(270)가 송수신기(220)로부터 시술자(100-1)의 머리의 움직임이 0에서 c-1로 이동한 머리 움직임 정보(100-2)를 수신할 경우, 프로세서(270)는 상기 매칭 비율에 따라 내시경 카메라(210-3)를 c-2만큼 이동시키기 위한 유효 정보를 생성할 수 있다. 컨트롤러(280)는 프로세서(270)로부터 상기 유효 정보를 수신하여 내시경 카메라(210-3)의 위치를 c-2만큼 이동시킬 수 있고, 내시경 카메라(210-4)의 위치가 변경될 수 있다.According to an embodiment, the range matcher 260 may match the head position change range (a-1 to b-1) and the position control range (a-2 to b-2) of the endoscope camera 210-3. have. Matching result The distance from 0 to c-1 in the head position change range (a-1 to b-1) is 0 to c-2 in the position control range (a-2 to b-2) of the endoscope camera 210-3. Matches the distance to. When the processor 270 receives, from the transceiver 220, the head movement information 100-2 in which the movement of the operator's 100-1's head has moved from 0 to c-1, the processor 270 determines the matching ratio. Accordingly, effective information for moving the endoscope camera 210-3 by c-2 may be generated. The controller 280 may receive the valid information from the processor 270 to move the position of the endoscope camera 210-3 by c-2, and the position of the endoscope camera 210-4 may be changed.

실시 예에 따라, y축 방향으로 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭하는 과정은, 도 4에서 도시된 x축 방향에서의 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭하는 과정과 실질적으로 동일하게 수행될 수 있다.According to an embodiment, the process of matching the range of change of the head position and the control range of the position of the endoscope camera in the y-axis direction includes control of the change range of the head position and the position of the endoscope camera in the x-axis direction shown in It may be performed substantially the same as the process of matching the range.

도 5는 본 발명의 다른 실시 예에 따른 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위의 매칭 과정을 나타낸 도면이다.5 is a diagram illustrating a process of matching a change range of a head position and a control range of a position of an endoscope camera according to another embodiment of the present invention.

도 5에서는 제2축 방향(예컨대, z축 방향)으로 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭시키는 경우를 예시적으로 도시하고 있다.FIG. 5 exemplarily shows a case in which the range of change of the head position and the control range of the position of the endoscope camera are matched in the second axis direction (eg, the z-axis direction).

도 5(a)를 참조하면, 머리 위치 변경 범위 설정기(250)는 제2축 방향에서 머리의 기준점(Rp)을 설정하고 제2축 방향에서의 상위 한계점(d-1)과 하위 한계점(e-1)을 설정할 수 있다. 설정된 상위 한계점(d-1)과 하위 한계점(e-1)을 기초하여 머리 위치 변경 범위(d-1~e-1)가 설정될 수 있다.5(a), the head position change range setter 250 sets the reference point Rp of the head in the second axis direction, and the upper limit point d-1 and the lower limit point ( e-1) can be set. The head position change range (d-1 to e-1) may be set based on the set upper limit point (d-1) and lower limit point (e-1).

도 5(b)를 참조하면, 내시경 카메라(210-5)의 위치 제어 범위는 제2축방향에서 d-2부터 e-2까지로 설정될 수 있다. 내시경 카메라(210-5)의 위치의 제어 범위는 미리 설정될 수 있고 범위 매칭기(260)에서 설정될 수 있다. 내시경 카메라(210-5)의 위치 제어 범위는 피시술자의 인체 내부의 장기의 크기, 종류, 위치, 및 시술 방법 중 적어도 어느 하나에 기초하여 설정될 수 있다. 또한, 내시경 카메라 위치 기준점 설정기(240)는 내시경 카메라(210-5)가 촬영하고자 하는 대상 장기의 크기, 종류, 위치, 및 시술 방법, 및 내시경 카메라(210-5)의 위치 제어 범위 중 적어도 어느 하나에 기초하여 위치 기준점(pivot point)을 설정할 수 있다.Referring to FIG. 5B, the position control range of the endoscope camera 210-5 may be set from d-2 to e-2 in the second axis direction. The control range of the position of the endoscope camera 210-5 may be set in advance and may be set by the range matcher 260. The position control range of the endoscope camera 210-5 may be set based on at least one of the size, type, location, and procedure of an organ inside the body of the person to be treated. In addition, the endoscope camera position reference point setter 240 includes at least one of the size, type, position, and treatment method of the target organ that the endoscope camera 210-5 wants to take, and the position control range of the endoscope camera 210-5. The position reference point (pivot point) can be set based on any one.

실시 예에 따라, 범위 매칭기(260)는 머리 위치 변경 범위(d-1~e-1)와 내시경 카메라(210-5)의 위치 제어 범위(d-2~e-2)를 매칭시킬 수 있다. 매칭 결과, 머리 위치 변경 범위(d-1~e-1)에서 0에서 f-1까지의 거리는 내시경 카메라(210-5)의 위치 제어 범위(d-2~e-2)에서 0에서 f-2까지의 거리와 매칭된다. 프로세서(270)가 송수신기(220)로부터 시술자(100-3)의 머리의 움직임이 0에서 f-1로 이동한 머리 움직임 정보(100-4)를 수신할 경우, 프로세서(270)는 상기 매칭 비율에 따라 내시경 카메라(210-5)를 f-2만큼 이동시키기 위한 유효 정보를 생성할 수 있다. 컨트롤러(280)는 프로세서(270)로부터 상기 유효 정보를 수신하여 내시경 카메라(210-5)의 위치를 f-2만큼 이동시킬 수 있고, 내시경 카메라(210-6)의 위치가 변경될 수 있다.According to an embodiment, the range matcher 260 may match the head position change range (d-1 to e-1) and the position control range (d-2 to e-2) of the endoscope camera 210-5. have. As a result of matching, the distance from 0 to f-1 in the head position change range (d-1 to e-1) is 0 to f- in the position control range (d-2 to e-2) of the endoscope camera 210-5. Matches the distance up to 2. When the processor 270 receives the head movement information 100-4 in which the movement of the operator's 100-3's head has moved from 0 to f-1 from the transceiver 220, the processor 270 determines the matching ratio. Accordingly, effective information for moving the endoscope camera 210-5 by f-2 may be generated. The controller 280 may receive the valid information from the processor 270 to move the position of the endoscope camera 210-5 by f-2, and the position of the endoscope camera 210-6 may be changed.

실시 예에 따라, 제2축 방향(예컨대, z축 방향)으로 내시경 카메라가 제어되는 경우 위치 기준점(pivot point) 자체가 변경될 수 있다.According to an embodiment, when the endoscope camera is controlled in the second axis direction (eg, the z axis direction), the position reference point itself may be changed.

다른 실시 예에 따라, 컨트롤러(280)는 내시경 카메라 위치 기준점 설정기(240)로부터 위치 기준점(pivot point)의 변경 신호를 수신하는 경우, 위치 기준점(pivot point)의 위치를 변경하기 위해 내시경 카메라(210-5)를 제2축 방향으로 이동시킬 수 있다. 이때 위치 기준점(pivot point)의 값은 f-2만큼 증가할 수 있다.According to another embodiment, when receiving a change signal of a position reference point from the endoscope camera position reference point setter 240, the controller 280 may change the position of the position reference point. 210-5) can be moved in the direction of the second axis. At this time, the value of the position reference point (pivot point) may increase by f-2.

도 6은 본 발명의 일 실시 예에 따른 내시경 제어 방법을 나타낸 도면이다.6 is a diagram illustrating an endoscope control method according to an embodiment of the present invention.

도 1과 도 6을 참조하면, 내시경 제어 장치(200)는 시술자(100)로부터 시술자(100)의 머리의 움직임 정보를 수신할 수 있다(S610). Referring to FIGS. 1 and 6, the endoscope control apparatus 200 may receive movement information of the head of the operator 100 from the operator 100 (S610 ).

실시 예에 따라, 움직임 정보는 머리 움직임 정보 또는 안구 움직임 정보 중 어느 하나 이상일 수 있으며, 이에 한정되지 않는다. According to an embodiment, the motion information may be any one or more of head motion information or eye motion information, but is not limited thereto.

실시 예에 따라, 내시경 제어 장치(200)는 시술자(100)의 신체 일부에 착용된 웨어러블 기기(400)로부터 시술자(100)의 움직임 정보를 수신할 수 있다. According to an embodiment, the endoscope control device 200 may receive motion information of the operator 100 from the wearable device 400 worn on a part of the operator's 100 body.

내시경 제어 장치(200)는 수신한 머리의 움직임 정보에 기초하여 시술자(100)의 머리 위치의 변경 범위를 설정할 수 있다(S620). The endoscope control apparatus 200 may set a range of change of the position of the head of the operator 100 based on the received head motion information (S620).

실시 예에 따라, 내시경 제어 장치(200)는 수신한 머리의 움직임 정보에 기초하여 시술자(100)의 머리의 기준점을 설정할 수 있다. 내시경 제어 장치(200)는 머리의 기준점을 기초로 하여 어느 하나의 축 방향에서의 양측 한계점들 각각을 설정할 수 있고, 상기 머리의 기준점과 양측 한계점들을 기초로 하여 머리 위치 변경 범위를 설정할 수 있다.According to an embodiment, the endoscope control apparatus 200 may set a reference point of the head of the operator 100 based on the received head motion information. The endoscope control apparatus 200 may set each of the limit points on both sides in any one axial direction based on the reference point of the head, and may set the head position change range based on the reference point and both limit points of the head.

내시경 제어 장치(200)는 내시경 카메라의 위치의 제어 범위를 설정할 수 있다(S630).The endoscope control apparatus 200 may set a control range of the position of the endoscope camera (S630).

실시 예에 따라, 내시경 카메라의 위치의 제어 범위는 미리 설정된 값에 따라 정해질 수도 있다.According to an embodiment, the control range of the position of the endoscope camera may be determined according to a preset value.

내시경 제어 장치(200)는 설정된 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭할 수 있다(S640). The endoscope control apparatus 200 may match the change range of the set head position and the control range of the position of the endoscope camera (S640).

내시경 제어 장치(200)는 이러한 매칭 결과를 이용하여 내시경 카메라의 위치를 변경시킬 수 있다(S650). 내시경 제어 장치(200)는 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭하고, 매칭된 비율에 기초하여 시술자(100)의 머리 움직임 정보에 대응하여 내시경 카메라의 위치를 변경시킬 수 있다.The endoscope control device 200 may change the position of the endoscope camera using the matching result (S650). The endoscope control apparatus 200 may match the change range of the head position and the control range of the position of the endoscope camera, and change the position of the endoscope camera in response to the head movement information of the operator 100 based on the matched ratio. .

이상, 본 발명을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 발명은 상기 실시 예에 한정되지 않고, 본 발명의 기술적 사상 및 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러가지 변형 및 변경이 가능하다.Above, the present invention has been described in detail with reference to preferred embodiments, but the present invention is not limited to the above embodiments, and various modifications and changes by those of ordinary skill in the art within the spirit and scope of the present invention This is possible.

100, 100-1, 100-2, 100-3, 100-4: 시술자
200: 내시경 제어 장치
210, 210-1, 210-2, 210-3, 210-4, 210-5, 210-6: 내시경 카메라
211: 내시경 카메라의 일단
220: 송수신기
230: 이미지 정보 수집기
240: 내시경 카메라 위치 기준점 설정기
250: 머리 위치 변경 범위 설정기
260: 범위 매칭기
270: 프로세서
280: 컨트롤러
300: 피시술자
310: 촬영하고자 하는 대상 장기
400: 웨어러블 기기100, 100-1, 100-2, 100-3, 100-4: operator
200: endoscope control device
210, 210-1, 210-2, 210-3, 210-4, 210-5, 210-6: Endoscope camera
211: one end of the endoscope camera
220: transceiver
230: image information collector
240: endoscope camera position reference point setter
250: head position change range setter
260: range matcher
270: processor
280: controller
300: blood surgeon
310: target organs to be photographed
400: wearable device

Claims (15)

시술자의 머리의 움직임 정보를 수신하는 송수신기;
수신된 머리의 움직임 정보에 따라, 상기 시술자의 머리 위치의 변경 범위를 설정하는 머리 위치 변경 범위 설정기;
설정된 상기 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭시키는 범위 매칭기; 및
상기 머리 위치의 변경 범위와 상기 내시경 카메라의 위치의 제어 범위의 매칭 결과를 이용하여, 상기 내시경 카메라의 위치를 제어하는 컨트롤러를 포함하는 내시경 제어 장치.
A transceiver for receiving motion information of the operator's head;
A head position change range setter for setting a change range of the operator's head position according to the received head movement information;
A range matcher for matching the set range of change of the head position and the control range of the position of the endoscope camera; And
And a controller configured to control the position of the endoscope camera by using the matching result of the change range of the head position and the control range of the position of the endoscope camera.
 제1항에 있어서,
상기 내시경 제어 장치는,
상기 내시경 카메라의 위치 제어 시 상기 내시경 카메라의 이동의 기준이 되는 위치 기준점을 설정하는 내시경 카메라 위치 기준점 설정기를 더 포함하는, 내시경 제어 장치.
The method of claim 1,
The endoscope control device,
When controlling the position of the endoscope camera, the endoscope control apparatus further comprises an endoscope camera position reference point setter for setting a position reference point as a reference for movement of the endoscope camera.
 제2항에 있어서,
상기 컨트롤러는,
상기 내시경 카메라 위치 기준점 설정기로부터 상기 위치 기준점의 변경 신호를 수신하는 경우, 상기 위치 기준점의 변경 신호에 대응하여 상기 내시경 카메라를 제1축 방향으로 이동시키는, 내시경 제어 장치.
The method of claim 2,
The controller,
When receiving a change signal of the position reference point from the endoscope camera position reference point setter, moving the endoscope camera in the first axis direction in response to the change signal of the position reference point.
 제1항에 있어서,
상기 범위 매칭기는,
상기 머리 움직임 정보에 기초하여 상기 제어 범위의 최대값을 변경할 수 있고, 상기 최대값이 변경될 경우 변경된 상기 최대값과 상기 머리 위치의 변경 범위를 매칭시키는, 내시경 제어 장치.
The method of claim 1,
The range matcher,
The maximum value of the control range may be changed based on the head movement information, and when the maximum value is changed, the changed maximum value and the change range of the head position are matched.
 제2항에 있어서,
상기 내시경 카메라 위치 기준점 설정기는,
상기 내시경 카메라가 촬영하고자 하는 대상 장기의 종류에 기초하여 상기 위치 기준점을 미리 설정하는, 내시경 제어 장치.
The method of claim 2,
The endoscope camera position reference point setter,
The endoscope control device for setting the position reference point in advance based on the type of the target organ to be photographed by the endoscope camera.
 제1항에 있어서,
상기 머리 위치 변경 범위 설정기는,
상기 머리의 기준점을 설정하고, 상기 기준점에 기초하여, 복수의 축 방향들 중에서 적어도 어느 하나의 축방향에서의 양측 한계점들 각각을 설정함으로써 상기 머리 위치의 변경 범위를 설정하는, 내시경 제어 장치.
The method of claim 1,
The head position change range setter,
An endoscope control apparatus for setting a range of change of the head position by setting a reference point of the head and setting each of both limit points in at least one axial direction among a plurality of axial directions based on the reference point.
 제1항에 있어서,
상기 머리 위치 변경 범위 설정기는,
상기 시술자의 머리의 움직임 정보에 기초하여 상기 시술자가 움직이는 머리 위치 변경 범위를 학습하고 학습한 결과를 이용하여 상기 머리 위치 변경 범위를 재설정하는, 내시경 제어 장치.
The method of claim 1,
The head position change range setter,
The apparatus for controlling an endoscope for resetting the head position change range based on the operator's head movement information and learning the head position change range in which the operator moves and using the learned result.
 제1항에 있어서,
상기 범위 매칭기는,
상기 내시경 카메라의 줌 인 또는 줌 아웃의 제어 범위를 각각 설정하고 설정된 상기 줌 인 또는 줌 아웃의 제어 범위와 상기 머리 위치의 변경 범위를 매칭시키는, 내시경 제어 장치.
The method of claim 1,
The range matcher,
Each of the control ranges of the zoom-in or zoom-out of the endoscope camera is set, and the set control range of the zoom-in or zoom-out and the change range of the head position are matched.
 제1항에 있어서,
상기 내시경 제어 장치는,
상기 시술자의 습관적인 움직임을 학습하고, 상기 머리 움직임 정보 중에서 학습한 상기 습관적인 움직임을 필터링한 유효 정보를 생성하는 프로세서를 더 포함하는, 내시경 제어 장치.
The method of claim 1,
The endoscope control device,
Further comprising a processor for learning the habitual movement of the operator and generating effective information obtained by filtering the learned habitual movement from among the head movement information.
 제9항에 있어서,
상기 프로세서는,
상기 송수신기로부터 상기 시술자의 안구의 움직임 정보를 수신하고 상기 안구의 움직임 정보에 대응하여 상기 내시경 카메라의 위치 제어를 정지하는 정지 신호를 생성하는, 내시경 제어 장치.
The method of claim 9,
The processor,
The endoscope control apparatus for receiving the motion information of the operator's eyeball from the transceiver and generating a stop signal for stopping position control of the endoscope camera in response to the motion information of the eyeball.
 제1항에 있어서,
상기 내시경 카메라는 플렉서블 하우징의 일단에 구비되고,
상기 컨트롤러는,
상기 머리의 움직임 정보에 대응하여 상기 플렉서블 하우징의 형태를 변형함으로써 상기 내시경 카메라의 각도를 변경하는, 내시경 제어 장치.
The method of claim 1,
The endoscope camera is provided at one end of the flexible housing,
The controller,
The endoscope control device for changing the angle of the endoscope camera by changing the shape of the flexible housing in response to the movement information of the head.
 제1항에 있어서,
상기 내시경 제어 장치는,
상기 시술자의 머리의 움직임에 대한 이미지 정보를 수집하는 이미지 정보 수집기를 더 포함하는, 내시경 제어 장치.
The method of claim 1,
The endoscope control device,
Further comprising an image information collector for collecting image information on the movement of the operator's head, endoscopy control device.
 내시경 제어 장치가, 시술자의 머리의 움직임 정보를 수신하는 단계;
상기 내시경 제어 장치가, 수신한 상기 머리의 움직임 정보에 따라 상기 시술자의 머리 위치의 변경 범위를 설정하는 단계;
상기 내시경 제어 장치가, 설정된 상기 머리 위치의 변경 범위와 내시경 카메라의 위치의 제어 범위를 매칭시키는 단계; 및
상기 내시경 제어 장치가, 상기 머리 위치의 변경 범위와 상기 내시경 카메라의 위치의 제어 범위의 매칭 결과를 이용하여, 상기 내시경 카메라의 위치를 제어하는 단계를 포함하는 내시경 제어 방법.
Receiving, by the endoscope control device, movement information of the operator's head;
Setting, by the endoscope control device, a change range of the position of the operator's head according to the received head movement information;
Matching, by the endoscope control device, a range of change of the set position of the head and a range of control of the position of the endoscope camera; And
And controlling, by the endoscope control device, the position of the endoscope camera using a result of matching the range of the head position change and the position control range of the endoscope camera.
 피시술자의 인체 내부에 삽입되어 상기 인체 내부의 영상을 촬영하는 내시경 카메라;
시술자의 신체 일부에 착용되어 상기 시술자의 머리의 움직임을 감지하여 움직임 정보를 생성하는 웨어러블 기기; 및
상기 웨어러블 기기로부터 상기 시술자의 머리의 움직임 정보를 수신하여 수신된 머리의 움직임 정보에 따라 상기 시술자의 머리 위치의 변경 범위를 설정하고, 설정된 상기 머리 위치의 변경 범위와 상기 내시경의 카메라의 위치 변경 범위를 매칭시키고, 상기 매칭 결과를 이용하여, 상기 내시경 카메라의 위치를 제어하는 내시경 제어 장치를 포함하는 내시경 제어 시스템.
An endoscope camera inserted into the human body of a person to be treated to capture an image of the inside of the human body;
A wearable device that is worn on a part of the operator's body and senses movement of the operator's head to generate motion information; And
Receives the movement information of the operator's head from the wearable device, sets a change range of the operator's head position according to the received head movement information, and sets the change range of the set head position and the position change range of the camera of the endoscope And an endoscope control device for controlling the position of the endoscope camera by matching and using the matching result.
 제14항에 있어서,
상기 웨어러블 기기는,
자이로 센서, 각도 센서, 레이저 변위 센서, 및 가속도 센서 중 적어도 어느 하나를 포함하는, 내시경 제어 시스템.The method of claim 14,
The wearable device,
An endoscope control system comprising at least one of a gyro sensor, an angle sensor, a laser displacement sensor, and an acceleration sensor.
KR1020190062068A 2019-05-27 2019-05-27 Endoscope control apparatus, control method, and control system using the same Active KR102245186B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190062068A KR102245186B1 (en) 2019-05-27 2019-05-27 Endoscope control apparatus, control method, and control system using the same
PCT/KR2020/006742 WO2020242158A2 (en) 2019-05-27 2020-05-25 Endoscope control device, control method using same and control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190062068A KR102245186B1 (en) 2019-05-27 2019-05-27 Endoscope control apparatus, control method, and control system using the same

Publications (2)

Publication Number Publication Date
KR20200136234A KR20200136234A (en) 2020-12-07
KR102245186B1 true KR102245186B1 (en) 2021-04-27

Family

ID=73552890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190062068A Active KR102245186B1 (en) 2019-05-27 2019-05-27 Endoscope control apparatus, control method, and control system using the same

Country Status (2)

Country Link
KR (1) KR102245186B1 (en)
WO (1) WO2020242158A2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101114234B1 (en) 2011-05-18 2012-03-05 주식회사 이턴 Surgical robot system and laparoscope handling method thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
KR20120052574A (en) * 2010-11-16 2012-05-24 엘지전자 주식회사 Endoscopic Driving Method of Surgical Robot System and Surgical Robot System
EP2979605A4 (en) * 2013-03-29 2016-11-23 Tokyo Inst Tech ENDOSCOPIC OPERATING SYSTEM AND ENDOSCOPIC OPERATING PROGRAM
KR101601021B1 (en) * 2014-03-10 2016-03-08 (주)아솔 Three dimension endoscope system using giro sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101114234B1 (en) 2011-05-18 2012-03-05 주식회사 이턴 Surgical robot system and laparoscope handling method thereof

Also Published As

Publication number Publication date
WO2020242158A2 (en) 2020-12-03
WO2020242158A3 (en) 2021-01-21
KR20200136234A (en) 2020-12-07

Similar Documents

Publication Publication Date Title
JP6848785B2 (en) Surgical system, control method, and control device
JP7392654B2 (en) Medical observation system, medical observation device, and medical observation method
JP7331697B2 (en) Vibration generator, vibration control method and program
JP7363767B2 (en) Image processing device, image processing method, and program
JP6758287B2 (en) Control device and medical imaging system
US20180310812A1 (en) Endoscope apparatus and method for operating endoscope apparatus
JP6574448B2 (en) Endoscope apparatus and focus control method for endoscope apparatus
WO2019087904A1 (en) Surgical arm system and surgical arm control system
KR20140131170A (en) Endoscope and image processing apparatus using the endoscope
JP6818496B2 (en) Image processing device for endoscopes, endoscope device, operation method of image processing device for endoscope, and image processing program
CN109804290B (en) Medical observation device and control method
US12070182B2 (en) Signal processing device, imaging device, and signal processing method
JP7247702B2 (en) Endoscope system, endoscope control method, and imaging control device
WO2017212909A1 (en) Imaging element, imaging device and electronic device
WO2018088237A1 (en) Image processing device, setting method, and program
WO2018179681A1 (en) Medical observation apparatus and observation field correction method
JP7230807B2 (en) SIGNAL PROCESSING DEVICE, IMAGING DEVICE, SIGNAL PROCESSING METHOD AND PROGRAM
KR102245186B1 (en) Endoscope control apparatus, control method, and control system using the same
WO2018116582A1 (en) Control device, control method, and medical observation system
US10799085B2 (en) Endoscope apparatus and focus control method
US11523065B2 (en) Imaging device and gain setting method
US11321880B2 (en) Information processor, information processing method, and program for specifying an important region of an operation target in a moving image
JPWO2018088236A1 (en) Image processing apparatus and method, and program
WO2019069548A1 (en) Image capturing device, image capturing device control unit, and image capturing method
JP7444074B2 (en) Imaging device, imaging control device, imaging method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190527

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20201029

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210408

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210421

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210422

End annual number: 3

Start annual number: 1

PG1601 Publication of registration