[go: up one dir, main page]

KR20180125316A - Haptic master device and system for controlling active steering catheter - Google Patents

Haptic master device and system for controlling active steering catheter Download PDF

Info

Publication number
KR20180125316A
KR20180125316A KR1020170060073A KR20170060073A KR20180125316A KR 20180125316 A KR20180125316 A KR 20180125316A KR 1020170060073 A KR1020170060073 A KR 1020170060073A KR 20170060073 A KR20170060073 A KR 20170060073A KR 20180125316 A KR20180125316 A KR 20180125316A
Authority
KR
South Korea
Prior art keywords
steering
catheter
link
end link
force
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020170060073A
Other languages
Korean (ko)
Other versions
KR101928275B1 (en
Inventor
이두용
김청준
강승규
김수용
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020170060073A priority Critical patent/KR101928275B1/en
Publication of KR20180125316A publication Critical patent/KR20180125316A/en
Application granted granted Critical
Publication of KR101928275B1 publication Critical patent/KR101928275B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M25/0133—Tip steering devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/01—Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105—Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M2025/0166—Sensors, electrodes or the like for guiding the catheter to a target zone, e.g. image guided or magnetically guided

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pulmonology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Media Introduction/Drainage Providing Device (AREA)

Abstract

The present invention provides a haptic master device and a system for controlling an active steering catheter. According to an embodiment of the present invention, the haptic master device for controlling an active steering catheter comprises: an operating unit including a steering tip link and a non-steering tip link corresponding to a catheter having a steering tip capable of steering and a non-steering tip incapable of steering; a display unit to display an image photographing the catheter inserted into body tissue to move in accordance with an operation of the operating unit from the outside; and a control unit to sense a force or torque applied to the steering tip link and the non-steering tip link of the operating unit to control the movement of the catheter to allow steering directions of the steering tip link and the non-steering tip link of the operating unit to follow steering directions of the steering tip and the non-steering tip of the catheter in the image displayed on the display unit.

Description

능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치 및 시스템{HAPTIC MASTER DEVICE AND SYSTEM FOR CONTROLLING ACTIVE STEERING CATHETER}TECHNICAL FIELD [0001] The present invention relates to a haptic master device and a system for controlling an active steering catheter,

본 발명은 카테터 제어 기술에 관한 것으로서, 보다 상세하게는, 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치 및 시스템에 관한 것이다.The present invention relates to catheter control techniques and, more particularly, to a haptic master device and system for controlling an active steering catheter.

카테터(catheter)는 체강 또는 내강이 있는 장기 내로 삽입하기 위한 가늘고 긴 튜브형의 수술 도구로서, 부정맥 질환, 관상 동맥 질환, 말초동맥 질환 등의 질환을 치료하는데 이용된다.Catheter is an elongated, tubular surgical instrument for insertion into a body cavity or lumen, and is used to treat diseases such as arrhythmia, coronary artery disease, and peripheral artery disease.

이러한 질환 치료 과정에서 신체 내부로 삽입된 카테터의 위치를 시각적으로 확인하기 위해서 X-선 투시영상이 이용된다. 이러한 X-선 투시 영상을 이용하면 시술자에게 다량의 방사선이 피폭되는 문제점이 존재한다.X-ray fluoroscopy is used to visually identify the position of the catheter inserted into the body during the course of these disease treatments. When such an X-ray perspective image is used, there is a problem that a large amount of radiation is exposed to an operator.

이로 인한 시술자의 방사능 피폭을 줄이고 시술 정확도 향상을 위해, 능동적으로 선단부 조향이 가능한 카테터와 이를 원격 제어하기 위한 시스템에 대한 개발이 이루어지고 있다.In order to reduce the radiation exposure of the practitioner and improve the accuracy of the operation, a catheter capable of actively steering the tip and a system for remotely controlling the catheter have been developed.

등록특허공보 제10-1712135호에서는 카테터를 직관적으로 제어할 수 있는 카테터 제어용 마스터 유닛 및 이를 포함하는 카테터 제어 시스템이 제안되었다. 여기서 마스터 유닛의 베이스 플레이트는 슬레이브 유닛의 기저부와 방향이 일치되어 구동된다.In Patent Publication No. 10-1712135, a master unit for catheter control which can intuitively control a catheter and a catheter control system including the master unit have been proposed. Here, the base plate of the master unit is driven in the same direction as the base portion of the slave unit.

하지만, 삽입되는 과정에서 카테터의 방향이 바뀌어 카테터의 방향과 마스터 유닛의 방향 간 오차 발생으로 인해, 화면을 바라보며 시술을 진행하는 원격 제어 로봇 시스템 측면에서는 직관적인 카테터 제어에 한계점이 존재한다.However, there is a limit to the intuitive catheter control in the remote control robot system that performs the operation while looking at the screen due to the error between the direction of the catheter and the direction of the master unit due to the change of the direction of the catheter during the insertion.

이런 이유로 시술자는 반드시 카테터를 한번 이상 조향하여 움직이는 방향을 확인해야 하기 때문에 카테터의 방향을 추정하는 과정이 필요하다.For this reason, the operator must always steer the catheter more than once to determine the direction of movement. Therefore, it is necessary to estimate the direction of the catheter.

뿐만 아니라, 카테터가 신체에 삽입하는 동안 계속해서 마스터의 방향이 변할 수 있기 때문에 카테터의 조작 직관성이 떨어지는 문제점이 존재한다.In addition, there is a problem that the intuitive operation of the catheter is deteriorated because the direction of the master can be continuously changed while the catheter is inserted into the body.

등록특허공보 제10-1712135호, 등록일자 2017년02월24일.Patent Registration No. 10-1712135, filed February 24, 2017.

이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 능동 조향 카테터의 선단부를 조향이 되는 조향 선단부와 조향이 되지 않는 비조향 선단부로 구분하고, 이에 상응하도록 구성된 마스터 장치의 조향 선단부 링크와 비조향 선단부 링크에 가해지는 힘과 토크를 이용하여 카테터의 움직임을 제어하되, 조향 선단부 링크와 비조향 선단부 링크가 화면 상에서의 카테터의 조향 선단부와 비조향 선단부의 조향 방향을 각각 추종하도록 한 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치 및 그 방법을 제공하는데 있다.In order to solve the problems of the conventional art, the object of the present invention is to divide the leading end of the active steering catheter into a steering end portion to be steered and a non-steering end portion to be non-steerable, The steering end link and the non-steering end link control the steering end of the catheter on the screen and the steering direction of the non-steering end, respectively, by controlling the movement of the catheter using the force and torque applied to the non- And a haptic master device for controlling the catheter and a method thereof.

다만, 본 발명의 목적은 상기 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.It should be understood, however, that the present invention is not limited to the above-described embodiments, and may be variously modified without departing from the spirit and scope of the present invention.

상기 본 발명의 목적을 달성하기 위하여, 본 발명의 한 관점에 따른 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치는 조향이 가능한 조향 선단부와 조향이 가능하지 않은 비조향 선단부를 갖는 카테터에 대응되는 조향 선단부 링크와 비조향 선단부 링크를 포함하는 조작부; 외부로부터상기 조작부의 조작에 따라 신체 조직 내에 삽입되어 움직이는 상기 카테터를 촬영한 영상을 표시하는 표시부; 및 상기 조작부의 상기 조향 선단부 링크와 상기 비조향 선단부 링크에 가해지는 힘 또는 토크를 감지하여 상기 카테터의 움직임을 제어하되, 상기 조작부의 상기 조향 선단부 링크와 상기 비조향 선단부 링크의 조향 방향이 상기 표시부에 표시된 영상 내 카테터의 상기 조향 선단부와 상기 비조향 선단부의 조향 방향을 각각 추종하도록 제어하는 제어부를 포함할 수 있다.According to an aspect of the present invention, there is provided a haptic master device for controlling an active steering catheter, the haptic master device including a steering front end capable of steering and a steering front end corresponding to a catheter having a non- An operating portion including a link and a non-steering front end link; A display unit for displaying an image of the catheter that is inserted and moved into the body tissue according to an operation of the operation unit from outside; And a controller for controlling the movement of the catheter by sensing a force or a torque applied to the steering front end link of the operating portion and the non-steering front end link, wherein the steering front link of the operating portion and the steering direction of the non- And a controller for controlling the steering end of the catheter in the image displayed on the display unit and the steering direction of the non-steering front end, respectively.

또한, 상기 조작부는 상기 조향 선단부 링크와 상기 비조향 선단부 링크 각각으로부터 조향각을 측정하고, 상기 제어부는 상기 조작부의 상기 조향 선단부 링크와 상기 비조향 선단부 링크로부터 측정된 상기 조향각을 이용하여 각 링크의 좌표값을 산출하고, 상기 산출된 좌표값을 기반으로 상기 조향 선단부 링크와 상기 비조향 선단부 링크의 조향 방향이 상기 표시부에 표시된 영상 내 카테터의 상기 조향 선단부와 상기 비조향 선단부의 조향 방향과 각각 일치하도록 제어할 수 있다.The control unit measures the steering angle from each of the steering front end link and the non-steering front end link, and the control unit calculates the coordinates of each link by using the steering front end link of the operating unit and the steering angle measured from the non- So that the steering direction of the steering front end link and the non-steering front end link coincide with the steering direction of the steering end portion of the in-video catheter displayed on the display unit and the steering direction of the non-steering front end portion, respectively, based on the calculated coordinate values Can be controlled.

또한, 상기 제어부는 상기 카테터의 상기 조향 선단부와 상기 비조향 선단부 각각의 조향 방향에 대한 좌표값으로 표현된 제1 행렬에 상기 표시부에 표시된 영상 내 카테터의 좌표값을 나타내는 좌표계로 표현하기 위한 회전 행렬을 곱해 제2 행렬을 구하고, 상기 조작부의 상기 조향 선단부 링크와 상기 비조향 선단부 링크 각각의 조향 방향에 대한 좌표값으로 표현된 제3 행렬이 상기 구한 제2 행렬과 각각 일치하도록 제어할 수 있다.The control unit may include a rotation matrix for expressing the coordinate values of the catheter in the image displayed on the display unit in a first matrix expressed by coordinate values of the steering front end of the catheter and the steering direction of each of the non- And a third matrix expressed by coordinate values of the steering front link and the non-steering front link in the steering direction coincides with the second matrix obtained by multiplying the second matrix by the second matrix.

또한, 상기 조작부는 메인 프레임; 상기 메인 프레임에 연결되어 고정된 고정 지지부 링크; 상기 고정 지지부 링크에 연결되어 길이 방향으로 움직이는 비조향 선단부 링크; 상기 비조향 선단부 링크에 연결되어 조향이 가능한 조향 선단부 링크; 상기 고정 지지부 링크와 상기 비조향 선단부 링크 사이에 연결되어 회전이 가능한 제1 관절부; 및 상기 비조향 선단부 링크와 상기 조향 선단부 링크 사이에 연결되어 회전이 가능한 제2 관절부; 상기 비조향 선단부 링크를 구동하는 제1 모터와, 조향각을 산출하는 제1 엔코더; 및 상기 조향 선단부 링크를 구동하는 제2 모터와, 조향각을 산출하는 제2 엔코더; 및 상기 비조향 선단부 링크, 상기 조향 선단부 링크 중 적어도 하나의 링크에 장착되어 해당 링크에 가해지는 힘과 토크를 감지하는 감지부를 포함할 수 있다.In addition, the operating portion may include a main frame; A fixed support link fixedly connected to the main frame; A non-steering front end link connected to the fixed support link and moving in a longitudinal direction; A steering front end link connected to the steering end front link; A first joint part connected between the fixed support link and the non-steered front link and rotatable; And a second joint part connected between the non-steering front end link and the steering front end link and rotatable; A first motor for driving the non-steering front end link; a first encoder for calculating a steering angle; A second motor for driving the steering front end link; a second encoder for calculating a steering angle; And a sensing unit mounted on at least one of the non-steering front end link and the steering front end link to sense force and torque applied to the link.

또한, 상기 제어부는 외부로부터의 조작에 따라 상기 조작부에 가해지는 힘 또는 토크를 제1 힘 또는 제1 토크라고 할 때, 상기 조작부의 움직임에 따라 상기 제1 힘 또는 상기 제1 토크를 감지하면 감지된 상기 제1 힘 또는 상기 제1 토크의 크기에 상응하는 미리 정해진 속도값 또는 각속도값을 산출하고 상기 산출된 속도값 또는 각속도 값을 상기 카테터를 구동하는 외부의 슬레이브 장치에 전송하고, 상기 슬레이브 장치가 상기 산출된 속도값 또는 각속도값에 따라 상기 카테터의 상기 비조향 선단부와 상기 조향 선단부 전체의 움직임을 제어할 수 있다.In addition, when the force or torque applied to the operating portion according to an operation from the outside is referred to as a first force or a first torque, the control portion senses the first force or the first torque according to the movement of the operating portion, The angular velocity value or a predetermined velocity value corresponding to the magnitude of the first force or the first torque and transmits the calculated velocity value or angular velocity value to an external slave device for driving the catheter, Can control the movement of the non-steering tip portion and the entire steering tip portion of the catheter according to the calculated velocity value or angular velocity value.

또한, 상기 제어부는 상기 슬레이브 장치로부터 상기 속도값 또는 상기 각속도 값에 따라 구동된 카테터가 신체 조직에 접촉하여 발생된 제2 힘 또는 제2 토크를 제공받고, 상기 상기 제2 힘 또는 상기 제2 토크가 상기 제1 힘 또는 제1 토크와 다른 경우 상기 조작부의 움직임을 정지시키고, 상기 제2 힘 또는 상기 제2 토크가 상기 제1 힘 또는 상기 제1 토크와 일치하도록 상기 카테터의 움직임을 제어할 수 있다.In addition, the control unit may be provided with a second force or a second torque generated when the catheter driven according to the velocity value or the angular velocity value comes into contact with the body tissue from the slave device, and the second force or the second torque To stop the movement of the operating portion when the first force or the first torque is different from the first force or to the first torque and to control the movement of the catheter such that the second force or the second torque coincides with the first force or the first torque have.

상기 제어부는 상기 조작부의 움직임에 따라 상기 조향 선단부 링크의 조향각이 변경되면, 상기 변경된 조향각을 상기 카테터를 구동하는 외부의 슬레이브 장치에 전송하고, 상기 슬레이브 장치가 상기 변경된 조향각에 따라 상기 카테터의 상기 조향 선단부의 조향각을 제어할 수 있다.Wherein the control unit transmits the modified steering angle to an external slave device that drives the catheter when the steering angle of the steering front end link is changed in accordance with the movement of the operating unit and the slave device transmits the steering angle of the catheter according to the changed steering angle, The steering angle of the front end portion can be controlled.

본 발명의 다른 한 관점에 따른 능동 조향 카테터를 제어하기 위한 시스템은 조향이 가능한 조향 선단부와 조향이 가능하지 않은 비조향 선단부를 갖는 카테터를 구동하는 슬레이브 장치; 및 외부로부터 상기 카테터에 대응하는 조작부의 조작에 따라 신체 조직 내에 삽입되어 움직이는 상기 카테터를 촬영한 영상을 표시하고, 상기 조작부의 조향 선단부 링크와 비조향 선단부 링크에 가해지는 힘 또는 토크를 이용하여 상기 카테터의 움직임을 제어하되, 상기 조작부의 상기 조향 선단부 링크와 상기 비조향 선단부 링크의 조향 방향이 상기 표시부에 표시된 영상 내 카테터의 상기 조향 선단부와 상기 비조향 선단부의 조향 방향을 각각 추종하도록 제어하는 마스터 장치를 포함할 수 있다.A system for controlling an active steering catheter in accordance with another aspect of the present invention includes a slave device for driving a catheter having a steerable steering tip and an unsteered tip that is not steerable; And an image of the catheter that is inserted and moved into the body tissue in response to an operation of an operating portion corresponding to the catheter from the outside to display an image of the catheter, The master control unit controls the movement of the catheter so that the steering front end link of the operating unit and the steering direction of the non-steering front end link follow the steering front end of the catheter in the image displayed on the display unit and the steering direction of the non- Device.

이처럼 본 발명은 능동 조향 카테터의 선단부를 조향이 되는 조향 선단부와 조향이 되지 않는 비조향 선단부로 구분하고, 이에 상응하도록 구성된 마스터 장치의 조향 선단부 링크와 비조향 선단부 링크에 가해지는 힘과 토크를 이용하여 카테터의 움직임을 제어하되, 조향 선단부 링크와 비조향 선단부 링크가 화면 상에서의 카테터의 조향 선단부와 비조향 선단부의 조향 방향을 각각 추종하도록 함으로써, 화면 상에서 카테터의 방향과 마스터 장치의 방향을 항상 일치시킬 수 있다.As described above, according to the present invention, the tip of the active steering catheter is divided into a steering end portion to be steered and a non-steering end portion to be non-steered, and the force and torque applied to the steering end link and the non- So that the steering end link and the non-steering end link follow the steering direction of the catheter's steering end and the non-steering end, respectively, on the screen, so that the direction of the catheter and the direction of the master device always coincide .

또한, 본 발명은 화면 상에서 카테터의 조향 방향과 마스터 장치의 조향 방향을 항상 일치시키는 것이 가능하기 때문에, 직관적이고 효율적인 조작이 가능할 수 있다.Further, since the steering direction of the catheter and the steering direction of the master device can always be matched on the screen, the present invention can perform an intuitive and efficient operation.

또한, 본 발명은 마스터 장치의 조향 방향이 카테터의 조향 방향을 추종하도록 하는 제어가 가능하기 때문에, 카테터의 선단부와 신체 조직 간의 상호 작용에 의한 힘과 토크를 조작자가 직접 느낄 수 있는 햅틱 감각을 제공할 수 있다.Further, the present invention provides a haptic sense that enables the operator to directly sense the force and torque due to the interaction between the distal end of the catheter and the body tissue, since the steering direction of the master device can be controlled to follow the steering direction of the catheter. can do.

다만, 본 발명의 효과는 상기 효과들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.However, the effects of the present invention are not limited to the above effects, and may be variously extended without departing from the spirit and scope of the present invention.

도 1은 본 발명의 일 실시예에 따른 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 마스터 장치의 상세한 구성을 나타내는 도면이다.
도 3은 도 2에 도시된 조작부의 상세한 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 마스터 장치의 조향 방향 제어 원리를 설명하기 위한 도면이다.
도 5는 카테터의 조향 방향을 추종하는 마스터 장치의 조향 방향을 보여주는 도면이다.
도 6은 카테터의 비조향 선단부의 길이 방향 움직임을 설명하기 위한 도면이다.
도 7은 카테터의 비조향 선단부의 회전 방향 움직임을 설명하기 위한 도면이다.
도 8은 카테터의 길이 방향 움직임에 대한 햅틱 감각 구현 원리를 설명하기 위한 도면이다.
도 9는 카테터의 조향 선단부의 조향각 움직임을 설명하기 위한 도면이다.
도 10은 카테터의 조향각 움직임에 대한 햅틱 감각 구현 원리를 설명하기 위한 도면이다.1 is a view schematically showing a configuration of a system according to an embodiment of the present invention.
2 is a diagram showing a detailed configuration of a master device according to an embodiment of the present invention.
Fig. 3 is a view showing a detailed configuration of the operating portion shown in Fig. 2;
4 is a view for explaining the steering direction control principle of a master device according to an embodiment of the present invention.
5 is a view showing the steering direction of the master device following the steering direction of the catheter.
6 is a view for explaining the longitudinal movement of the non-steering tip of the catheter.
7 is a view for explaining the rotational movement of the non-steering tip of the catheter.
8 is a view for explaining the principle of haptic sensory implementation for longitudinal movement of the catheter.
9 is a view for explaining the steering angle movement of the steering end portion of the catheter.
10 is a view for explaining the principle of haptic sensory implementation for the steering angle movement of the catheter.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

이하, 첨부되는 도면을 참조하여 본 발명의 예시적인 실시형태에 따른 장치를 설명한다.Hereinafter, an apparatus according to an exemplary embodiment of the present invention will be described with reference to the accompanying drawings.

특히, 본 발명에서는 능동 조향 카테터의 선단부를 조향이 되는 조향 선단부와 조향이 되지 않는 비조향 선단부로 구분하고, 이에 상응하도록 구성된 마스터 장치의 조향 선단부 링크와 비조향 선단부 링크에 가해지는 힘과 토크를 이용하여 카테터의 움직임을 제어하되, 조향 선단부 링크와 비조향 선단부 링크가 화면 상에서의 카테터의 조향 선단부와 비조향 선단부의 조향 방향을 각각 추종하도록 한 새로운 마스터 장치를 제안한다.Particularly, in the present invention, the tip of the active steering catheter is divided into a steering end portion to be steered and a non-steering end portion to be non-steered, and the force and torque applied to the steering end link and the non- And the steering end link and the non-steering end link follow the steering direction of the catheter on the screen and the steering direction of the non-steering tip, respectively.

도 1은 본 발명의 일 실시예에 따른 시스템의 구성을 개략적으로 나타내는 도면이다.1 is a view schematically showing a configuration of a system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 시스템은 카테터(110)를 구동하는 슬레이브 장치(slave device)(100), 촬영 장치(200), 마스터 장치(master device)(300)를 포함할 수 있다.Referring to FIG. 1, a system according to an embodiment of the present invention includes a slave device 100, a photographing device 200, and a master device 300 for driving the catheter 110 can do.

슬레이브 장치(100)는 사용자의 제어에 따라 카테터(110)를 신체 조직에 삽입하여 구동시킬 수 있다. 이러한 슬레이브 장치(100)는 부정맥 질환, 관상 동맥 질환, 말초동맥 질환 등의 질환을 치료하고자 하는 피시술자가 시술을 받는 공간에 구비되어, 시술자의 제어에 따라 카테터(110)를 신체 조직에 삽입한다.The slave device 100 can be inserted into the body tissue and driven by the user's control. The slave device 100 is provided in a space where a patient who is to treat a disease such as an arrhythmia disease, a coronary artery disease, a peripheral artery disease, etc. inserts the catheter 110 into the body tissue under the control of the practitioner.

이때, 카테터의 선단부는 조향 여부에 따라 크게 두 부분으로 정의되는데, 즉, 조향이 되는 조향 선단부와 조향이 되지 않는 비조향 선단부로 구분될 수 있다.At this time, the distal end of the catheter is largely divided into two parts according to the steering, that is, it can be divided into the steering end portion to be the steering and the non-steering end portion to be not steered.

촬영 장치(200)는 시술을 받는 피시술자를 바라보면서 피시술자의 신체 조직에 삽입된 카테터의 위치를 시각적으로 확인하기 위한 영상을 촬영하여 제공할 수 있다. 여기서, 촬영 장치(200)는 X-선 촬영 장치를 의미할 수 있다.The photographing apparatus 200 can photograph and provide an image for visually confirming the position of the catheter inserted into the body tissue of the subject while viewing the subject to be treated. Here, the photographing apparatus 200 may mean an X-ray photographing apparatus.

마스터 장치(300)는 카테터에 대응하도록 구성된 조작부의 조향 선단부 링크와 상기 비조향 선단부 링크의 조향 방향이 카테터의 조향 선단부와 비조향 선단부의 조향 방향을 각각 추종하도록 제어할 수 있다. 여기서, 조향 방향은 수평축 또는 수직축을 기준으로 한 방향 또는 각도를 의미할 수 있다.The master device 300 can control the steering front end link of the operating portion and the steering direction of the non-steering front end link configured to correspond to the catheter to follow the steering directions of the steering front end and the non-steering front end of the catheter, respectively. Here, the steering direction may mean a direction or an angle with respect to the horizontal axis or the vertical axis.

마스터 장치(300)는 사용자 조작에 따라 조향 선단부 링크와 비조향 선단부 링크에 가해지는 힘과 토크를 이용하여 카테터의 움직임을 제어할 수 있다.The master device 300 can control the movement of the catheter using the force and torque applied to the steering end link and the non-steering end link according to user manipulation.

마스터 장치(300)는 조작부에 가해지는 힘 또는 토크를 이용하여 카테터의 움직임을 제어하되, 카테터에 적용된 힘 또는 토크가 조작부에 가해지는 힘 또는 토크와 다를 때, 카테터에 적용된 힘 또는 토크가 전달되도록 조작자가 조작부에 힘 또는 토크를 가하더라도 조작부가 움직이지 않도록 함으로써, 사용자에게 햅틱 감각을 제공할 수 있다.The master device 300 controls the movement of the catheter using the force or torque applied to the operating portion so that force or torque applied to the catheter is transmitted when the force or torque applied to the catheter is different from the force or torque applied to the operating portion The haptic sense can be provided to the user by preventing the operation portion from moving even if the operator applies force or torque to the operation portion.

도 2는 본 발명의 일 실시예에 따른 마스터 장치의 상세한 구성을 나타내는 도면이다.2 is a diagram showing a detailed configuration of a master device according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 햅틱 마스터 장치(300)는 표시부(310), 조작부(320), 제어부(330), 통신부(340)로 이루어질 수 있다.2, the haptic master device 300 may include a display unit 310, an operation unit 320, a control unit 330, and a communication unit 340.

표시부(310)는 촬영 장치(200)에 의해 촬영된 영상을 표시할 수 있다. 조작자는 표시된 영상을 통해 신체 조직에 삽입된 카테터의 위치를 확인하고 이렇게 확인된 카테터의 위치를 기반으로 카테터의 움직임을 제어할 수 있다.The display unit 310 can display an image photographed by the photographing apparatus 200. [ The operator can identify the position of the catheter inserted into the body tissue through the displayed image and control the movement of the catheter based on the position of the catheter thus identified.

조작부(320)는 사용자의 조작에 따라 카테터의 움직임을 조작할 수 있다. 이러한 조작부(320)는 카테터의 오리엔테이션(orientation) 또는 조향 방향을 추종하고 사용자의 조작에 따라 가해진 힘과 토크를 카테터에 동일하게 적용하는 것이 가능하도록 카테터의 선단부 구성과 동일한 형태로 구현될 수 있다.The manipulation unit 320 can manipulate the movement of the catheter according to the user's manipulation. This manipulation portion 320 can be implemented in the same manner as the tip configuration of the catheter so as to follow the orientation or steering direction of the catheter and to apply the same applied force and torque to the catheter depending on the user's manipulation.

제어부(330)는 조작부의 조향 방향이 카테터의 조향 방향을 추종하도록 제어할 수 있다.The control unit 330 may control the steering direction of the operating unit to follow the steering direction of the catheter.

그 일예로, 제어부(330)는 카테터의 조향 방향에 대한 좌표에 조작부의 조향 방향에 대한 좌표가 일치되도록 조작부의 조향 방향을 제어할 수 있다.For example, the control unit 330 may control the steering direction of the operating portion so that the coordinates of the operating portion in the steering direction coincides with the coordinates in the steering direction of the catheter.

제어부(330)는 사용자 조작에 따라 조작부에 가해지는 힘과 토크를 감지하여 감지된 힘과 토크를 이용하여 카테터의 움직임을 제어할 수 있다.The control unit 330 may sense force and torque applied to the operation unit according to a user operation, and may control the movement of the catheter using the sensed force and torque.

그 일예로, 제어부(330)는 조작부에 가해지는 힘 또는 토크를 감지하여 감지된 힘 또는 토크만큼 카테터에 가해지는 힘 또는 토크를 제어할 수 있다.For example, the control unit 330 may sense a force or a torque applied to the operation unit, and may control the force or torque applied to the catheter by the detected force or torque.

통신부(340)는 카테터를 제어하기 위한 신호를 송신 또는 수신할 수 있다. 여기서, 통신부(340)는 유선 통신 또는 무선 통신이 가능하도록 구현될 수 있다.The communication unit 340 may transmit or receive a signal for controlling the catheter. Here, the communication unit 340 may be implemented to be capable of wired communication or wireless communication.

통신부(340)는 촬영 장치와 연결되어, 촬영 장치를 구동시키기 위한 제어 신호를 송신하거나 촬영 장치로부터 촬영된 영상을 제공 받을 수 있다.The communication unit 340 is connected to the photographing apparatus, and can transmit a control signal for driving the photographing apparatus, or can receive a photographed image from the photographing apparatus.

이러한 통신부(340)는 예컨대, 유선 통신을 위한 케이블이 연결되는 접속 장치일 수 있고, 근거리 무선 통신을 위한 통신 모듈로 구현될 수 있다.The communication unit 340 may be, for example, a connection device to which a cable for wired communication is connected, and may be implemented as a communication module for short-range wireless communication.

도 3a 내지 도 3c는 도 2에 도시된 조작부의 상세한 구성을 나타내는 도면이다.Figs. 3A to 3C are views showing a detailed configuration of the operation unit shown in Fig. 2. Fig.

도 3a 내지 도 3c를 참조하면, 본 발명의 일 실시예에 따른 조작부(320)는 메인 프레임(321), 고정 지지부 링크(322), 제1 관절부(323), 비조향 선단부 링크(324), 제2 관절부(325), 조향 선단부 링크(326), 제1 구동부(327), 제2 구동부(328)를 포함할 수 있다.3A to 3C, an operation unit 320 according to an embodiment of the present invention includes a main frame 321, a fixed support link 322, a first joint 323, a non-steering front link 324, And may include a second joint portion 325, a steering front end link 326, a first driving portion 327, and a second driving portion 328.

여기서, 도 3a에서는 측면에서 바라면 조작부를 나타내고, 도 3b에서는 정면에서 바라본 조작부를 나타내며, 도 3c에서는 위에서 바라본 조작부를 나타낸다.Here, in Fig. 3A, the operation unit is shown if viewed from the side, Fig. 3B shows the operation unit viewed from the front, and Fig. 3C shows the operation unit viewed from above.

고정 지지부 링크(322)는 메인 프레임(321)의 일면에 연결되어 고정될 수 있다.The fixed support link 322 may be connected to one side of the main frame 321 and fixed thereto.

비조향 선단부 링크(324)는 카테터의 비조향 선단부와 연동하는 링크로서, 고정 지지부 링크(322)의 일측에 연결되어 길이 방향으로 움직이거나 길이 방향을 축으로 회전하도록 구현될 수 있다.The non-steerable distal link 324 is a link that interlocks with the non-steerable distal end of the catheter and may be configured to be coupled to one side of the fixed support link 322 to move longitudinally or rotate about its longitudinal axis.

제1 관절부(323)는 고정 지지부 링크(322)와 비조향 선단부 링크(324) 사이에 연결되어, 비조향 선단부 링크의 굽힘을 위한 2개의 자유도로 동작할 수 있다. 여기서, 자유도란 관절에서 허용되는 독립적인 움직임의 수 또는 허용된 각 운동의 면과 축들의 수를 의미한다.The first joint 323 is connected between the fixed support link 322 and the non-steerable front link 324 so that it can operate at two degrees of freedom for bending of the unsteered front link. Here, the degree of freedom means the number of independent movements allowed in the joint or the number of planes and axes of angular motion allowed.

조향 선단부 링크(326)는 카테터의 조향 선단부와 연동하는 링크로서, 비조향 선단부 링크(324)의 일측에 연결되어, 카테터의 조향각을 제어하도록 구현될 수 있다.The steering end link 326 may be implemented to control the steering angle of the catheter by being connected to one side of the non-steering front end link 324 as a link interlocking with the steering end of the catheter.

제2 관절부(325)는 비조향 선단부 링크(324)와 조향 선단부 링크(326) 사이에 연결되어, 조향 선단부 링크의 굽힘을 위한 2개의 자유도로 동작할 수 있다.The second joint 325 is connected between the non-steering front end link 324 and the steering front end link 326 so that it can operate at two degrees of freedom for bending of the steering front end link.

제1 구동부(327)는 비조향 선단부 링크에 연결되어, 비조향 선단부 링크를 구동시키는 제1 모터와 비조향 선단부 링크의 조향각을 감지하는 제1 엔코더를 포함할 수 있다.The first driver 327 may include a first motor coupled to the non-steering front link for driving the non-steering front link and a first encoder for sensing the steering angle of the non-steering front link.

제2 구동부(328)는 조향 선단부 링크에 연결되어, 조향 선단부 링크를 구동시키는 제2 모터와 조향 선단부 링크의 조향각을 감지하는 제2 엔코더를 포함할 수 있다.The second driving portion 328 may include a second motor connected to the steering front end link for driving the steering front end link and a second encoder for sensing the steering angle of the steering front end link.

여기서, 엔코더는 모터에서 발생하는 움직임을 측정할 수 있는 기기로서, 예컨대, 회전 각도, 위치 이동량 등의 변위를 정확하게 측정할 수 있다.Here, the encoder is a device capable of measuring the motion generated in the motor, and can accurately measure, for example, the displacement of the rotation angle, the amount of movement of the position, and the like.

이러한 제1 구동부(327), 제2 구동부(328)는 메인 프레임 또는 관절부에 설치될 수 있지만 마스터 장치의 관성을 줄이기 위해 움직이지 않고 고정된 메인 프레임에 설치하는 것이 바람직하다.The first driving unit 327 and the second driving unit 328 may be installed in the main frame or the joint part but may be installed in the fixed main frame to reduce the inertia of the master device.

이에 따라, 제1 구동부(327), 제2 구동부(328)는 메인 프레임에 설치되어, 비조향 선단부 링크, 조향 선단부 링크 각각에 와이어로 연결됨으로써, 엔코더를 통해 각 링크의 움직임을 측정할 수 있다.Accordingly, the first driving unit 327 and the second driving unit 328 are installed on the main frame, and are connected to the non-steering front link and the steering front link by wires, thereby measuring the movement of each link through the encoder .

이렇게 각 링크에 연결된 엔코더를 통해 각 링크의 조향각을 측정할 수 있기 때문에 측정된 각 링크의 조향각을 이용하여 메인 프레임을 기준으로 각 링크의 3차원 좌표를 산출할 수 있다.Since the steering angle of each link can be measured through the encoder connected to each link, it is possible to calculate the three-dimensional coordinates of each link based on the main frame using the measured steering angle of each link.

이때, 조작부(320)는 비조향 선단부 링크, 조향 선단부 링크 중 적어도 하나의 링크에 장착되어 해당 링크에 가해지는 힘과 토크를 감지하는 감지부를 더 포함할 수 있다.The operation unit 320 may further include a sensing unit mounted on at least one of the non-steering front link and the steering front link to sense force and torque applied to the link.

비조향 선단부 링크, 조향 선단부 링크 각각에 감지부가 장착될 수 있지만, 반드시 이에 한정되지 않고 적어도 하나에 장착되며, 무게를 최소화하기 위해 하나의 링크에만 감지부를 구비하는 것이 바람직하다.The sensing unit may be mounted on each of the non-steering front end link and the steering front end link. However, the sensing unit may be mounted on at least one of the links, and the sensing unit may be provided on only one link.

그 일예로, 감지부는 비조향 선단부 링크에 장착되어, 비조향 선단부 링크와 조향 선단부 링크 전체에 작용하는 1자유도의 힘과 3자유도의 토크를 측정할 수 있는 센서를 사용할 수 있다.For example, the sensing unit may be mounted on a non-steering front end link and use a sensor capable of measuring one degree of freedom force and three degrees of freedom torque acting on the non-steering front end link and the steering front end link.

본 발명에서는 조작부의 조향 방향이 카테터의 조향 방향을 추종하도록 제어하는데, 화면에 보이는 카테터의 조향 방향과 조작부의 조향 방향이 일치해야 한다.In the present invention, the steering direction of the operating portion is controlled so as to follow the steering direction of the catheter, and the steering direction of the catheter shown on the screen must coincide with the steering direction of the operating portion.

도 4는 본 발명의 일 실시예에 따른 마스터 장치의 조향 방향 제어 원리를 설명하기 위한 도면이다.4 is a view for explaining the steering direction control principle of a master device according to an embodiment of the present invention.

도 4를 참조하면, 조작자가 마스터 장치를 바라볼 때 인식되는 각 링크의 조향 방향이 화면에서 보이는 카테터의 조향 방향과 일치하도록 하기 위해서는 먼저 촬영 장치의 좌표계를 기준으로 측정한 카테터의 조향 방향이 필요하다.4, in order that the steering direction of each link recognized when the operator looks at the master device coincides with the steering direction of the catheter seen on the screen, the steering direction of the catheter measured based on the coordinate system of the photographing apparatus is required Do.

이때, 촬영 장치의 좌표계 (Ox', Oy', Oz')와 기준 좌표계 (Ox, Oy, Oz)가 존재하는 경우, 촬영 장치의 좌표계와 기준 좌표계 간 회전 행렬은 R이라고 가정한다.At this time, if there is a coordinate system (Ox ', Oy', Oz ') of the photographing apparatus and a reference coordinate system (Ox, Oy, Oz), it is assumed that the rotation matrix between the coordinate system of the photographing apparatus and the reference coordinate system is R.

기준 좌표계를 기준으로 측정된 비조향 선단부(100b)의 조향 방향에 대한 3차원 좌표 P = (Px, Py, Pz)T인 경우 촬영 장치에서 바라본 카테터의 조향 방향 즉, 촬영 장치에 의해 촬영된 영상에 표시된 카테터의 조향 방향에 대한 3차원 좌표 P'은 다음의 [수학식 1]과 같다.When the three-dimensional coordinate P = (Px, Py, Pz) T of the steering direction of the non-steering front end portion 100b measured with reference to the reference coordinate system, the steering direction of the catheter viewed from the photographing apparatus, The three-dimensional coordinate P 'of the steering direction of the catheter shown in Fig.

[수학식 1][Equation 1]

P' = RPP '= RP

기준 좌표계를 기준으로 측정된 조향 선단부(100a)의 조향 방향에 대한 3차원 좌표 A = (Ax, Ay, Az)T인 경우 촬영 장치에서 바라본 카테터의 조향 방향에 대한 3차원 좌표 A'은 다음의 [수학식 2]와 같다.When the three-dimensional coordinate A = (Ax, Ay, Az) T of the steering direction of the steering end portion 100a measured based on the reference coordinate system, the three-dimensional coordinate A 'of the steering direction of the catheter viewed from the photographing apparatus is (2).

[수학식 2]&Quot; (2) "

A' = RAA '= RA

이렇게 산출된 카테터의 조향 방향 P', A'을 추종하도록 마스터 장치의 조향 방향을 제어한다.And controls the steering direction of the master device so as to follow the calculated steering direction P ', A' of the catheter.

이때, 카테터의 조향 방향에 대한 3차원 좌표는 다양한 기존 기술 예컨대, 자기장 센서를 이용한 기술이나 영상 처리를 이용한 기술 등에 의해 산출될 수 있다.At this time, the three-dimensional coordinates of the steering direction of the catheter can be calculated by various conventional techniques, for example, a technique using a magnetic field sensor or a technique using an image processing.

도 5는 카테터의 조향 방향을 추종하는 마스터 장치의 조향 방향을 보여주는 도면이다.5 is a view showing the steering direction of the master device following the steering direction of the catheter.

도 5를 참조하면, 마스터 장치의 비조향 선단부 링크의 조향 방향과 조향 선단부 링크의 조향 방향 각각은 촬영 장치의 좌표계에서 바라본 카테터의 조향 방향 즉, 비조향 선단부의 조향 방향에 대한 3차원 좌표 P'과 조향 선단부의 방향에 대한 3차원 좌표 A'을 추종하도록 제어될 수 있다.5, the steering direction of the non-steering front end link of the master device and the steering direction of the steering front end link are defined as the three-dimensional coordinates P 'of the steering direction of the catheter viewed from the coordinate system of the photographing apparatus, And the three-dimensional coordinate A 'of the direction of the steering tip.

이렇게 마스터 장치의 조향 방향과 화면에 보이는 카테터의 조향 방향이 항상 동일하게 유지되는 것이 가능하기 때문에 조작 시 효율성과 직관성이 향상될 수 있다.In this way, since the steering direction of the master device and the steering direction of the catheter seen on the screen can always be kept the same, the efficiency and intuitiveness during operation can be improved.

도 6은 카테터의 비조향 선단부의 길이 방향 움직임을 설명하기 위한 도면이다.6 is a view for explaining the longitudinal movement of the non-steering tip of the catheter.

도 6을 참조하면, 조작자가 마스터 장치의 비조향 선단부 링크에 길이 방향 또는 축 방향으로 힘 Fma를 가하는 경우, 카테터가 힘의 방향을 따라 힘의 크기에 비례하는 속력으로 움직이도록 카테터의 속도 Vca가 제어될 수 있다.Referring to Figure 6, when an operator applies a force Fma in the longitudinal or axial direction to the unsteered distal link of the master device, the velocity V of the catheter is adjusted so that the catheter moves at a speed proportional to the magnitude of the force along the direction of the force ca can be controlled.

이때, 소정의 힘과 그 힘의 크기에 비례하는 속도가 미리 정해질 수 있다.At this time, a predetermined force and a speed proportional to the magnitude of the force can be predetermined.

즉, 마스터 장치는 비조향 선단부 링크에 길이 방향으로 힘 Fma이 가해지면, 감지부를 통해 링크에 가해진 힘을 감지하여 감지된 힘의 크기에 비례하는 속도값을 슬레이브 장치에 전달함으로써 슬레이브 장치가 힘의 크기에 비례하는 속력으로 카테터를 제어한다.That is, when the force F ma is applied to the non-steering front end link in the longitudinal direction, the master device senses a force applied to the link through the sensing unit and transmits a velocity value proportional to the magnitude of the sensed force to the slave device, Lt; RTI ID = 0.0 > catheter < / RTI >

결국, 비조향 선단부 링크에 가한 힘만큼 카테터가 힘의 방향으로 움직인다.Eventually, the catheter moves in the direction of the force as much as the force on the non-steerable tip link.

도 7은 카테터의 비조향 선단부의 회전 방향 움직임을 설명하기 위한 도면이다.7 is a view for explaining the rotational movement of the non-steering tip of the catheter.

도 7을 참조하면, 조작자가 마스터 장치의 비조향 선단부 링크에 회전 방향 또는 축 방향으로 토크 τma를 가하는 경우, 카테터가 토크의 방향을 따라 토크의 크기에 비례하는 각속력으로 회전하도록 카테터의 각속도 ωca가 제어될 수 있다.Referring to Figure 7, when an operator applies torque τ ma in the rotational direction or axial direction to the unsteered distal link of the master device, the angular velocity of the catheter is adjusted so that the catheter rotates at each speed proportional to the magnitude of the torque along the direction of the torque ? ca can be controlled.

이때, 소정의 토크와 그 토크의 크기에 비례하는 각속도가 미리 정해질 수 있다.At this time, the predetermined torque and the angular speed proportional to the magnitude of the torque can be predetermined.

즉, 마스터 장치는 비조향 선단부 링크에 회전 방향으로 토크 τma가 가해지면, 감지부를 통해 링크에 가해진 토크 감지하여 감지된 토크의 크기에 비례하는 각속도값을 슬레이브 장치에 전달함으로써 슬레이브 장치가 토크의 크기에 비례하는 각속력으로 카테터를 제어한다.That is, when the torque τ ma is applied to the non-steering front end link in the rotation direction, the master device senses the torque applied to the link through the sensing unit and transmits an angular velocity value proportional to the sensed torque to the slave device, The catheter is controlled at each speed proportional to its size.

결국, 비조향 선단부 링크에 가한 토크만큼 카테터가 토크의 방향으로 회전한다.As a result, the catheter rotates in the direction of the torque by the torque applied to the unsteered distal link.

상기 도 6 내지 도 7에서 설명한 바와 같이 마스터 장치의 비조향 선단부 링크에 가하는 힘 또는 토크에 따라 카테터의 움직임을 제어할 수 있다.The movement of the catheter can be controlled according to the force or the torque applied to the non-steering front link of the master device, as described with reference to FIG. 6 to FIG.

도 8은 카테터의 길이 방향 움직임에 대한 햅틱 감각 구현 원리를 설명하기 위한 도면이다.8 is a view for explaining the principle of haptic sensory implementation for longitudinal movement of the catheter.

도 8을 참조하면, 앞의 도 6과 같이 조작자가 마스터 장치의 비조향 선단부 링크에 힘 Fma를 가하여 카테터가 길이 방향으로 움직이다가 신체 조직과의 접촉이 발생하면, 카테터가 신체 조직에 힘 Fca를 가하게 된다.Referring to FIG. 8, when the operator applies a force F ma to the non-steerable distal link of the master device as in the previous FIG. 6 and the catheter moves in the longitudinal direction and contact with the body tissue occurs, F ca.

이때, 비조향 선단부 링크에 가하는 힘과 카테터가 신체 조직에 가하는 힘이 달라질 수 있다.At this time, the force applied to the non-steerable tip link and the force applied by the catheter to the body tissue may vary.

카테터가 신체 조직에 가하는 힘 Fca이 조작자에게 전달되도록 마스터 장치의 축 방향 움직임이 제한될 수 있다. 즉, 조작자가 지속적으로 힘을 가하더라도 마스터 장치의 비조향 선단부 링크가 움직이지 않도록 제어된다.The axial movement of the master device can be restricted so that the force F ca applied by the catheter to the body tissue is transmitted to the operator. That is, even if the operator continuously applies the force, the non-steering end link of the master device is controlled so as not to move.

즉, 조작자가 카테터에 가하는 힘 또는 토크와 카테터가 신체 조직에 가하는 힘 또는 토크가 다른 경우 해당 링크가 카테터가 신체 조직에 가하는 힘 또는 토크를 조작자가 느끼게 된다.That is, when the force or torque applied by the operator to the catheter or the force or torque applied by the catheter to the body tissue is different, the operator feels the force or torque applied by the catheter to the body tissue.

도 9는 카테터의 조향 선단부의 조향각 움직임을 설명하기 위한 도면이다.9 is a view for explaining the steering angle movement of the steering end portion of the catheter.

도 9를 참조하면, 조작자가 마스터 장치의 조향 선단부 링크를 조작하면, 조향 선단부 링크의 조향각 θma을 감지하여 카테터의 조향 선단부의 조향각 θca이 제어된다.9, when the operator manipulates the steering link to the front end of the master device, detects a steering angle θ of the steering ma leading end link to the steering angle θ ca for steer distal end of the catheter is controlled.

즉, 마스터 장치는 조향 선단부 링크가 조작되면, 엔코더를 통해 각링크의 조향 방향에 대한 좌표를 산출하여 산출된 좌표를 이용하여 조향각을 추정할 수 있다.That is, when the steering end link is operated, the master device can calculate the coordinates of the steering direction of each link via the encoder, and estimate the steering angle using the calculated coordinates.

결국, 조향 선단부 링크의 조향각만큼 카테터의 조향 선단부의 조향 방향이 조절된다. 이때, 카테터의 선단부 내부에도 와이어가 삽입되어 있어 삽입된 와이어의 제어를 통해 조향 선단부의 조향 방향 조절이 가능할 수 있다.As a result, the steering direction of the steering end of the catheter is adjusted by the steering angle of the steering end link. At this time, since wires are also inserted into the distal end portion of the catheter, the steering direction of the steering tip can be adjusted through the control of the inserted wire.

도 10은 카테터의 조향각 움직임에 대한 햅틱 감각 구현 원리를 설명하기 위한 도면이다.10 is a view for explaining the principle of haptic sensory implementation for the steering angle movement of the catheter.

도 10을 참조하면, 조작자가 마스터 장치의 조향 선단부에 토크 τma를 가하는 경우, 카테터가 토크의 방향을 따라 움직이다가 신체 조직과의 접촉이 발생하면, 카테터가 신체 조직에 토크 τca를 가하게 된다.Referring to Fig. 10, when the operator applies torque τ ma to the steering tip of the master device, when the catheter moves along the direction of the torque and contact with the bodily tissue occurs, the catheter applies torque τ ca to the bodily tissue do.

이때, 조향 선단부 링크에 가하는 토크와 카테터가 신체 조직에 가하는 토크가 달라질 수 있다.At this time, the torque applied to the steering end link and the torque applied to the body tissue by the catheter may vary.

카테터가 신체 조직에 가하는 토크 τca가 조작자에게 전달되도록 마스터 장치의 조향 방향 움직임이 제한 즉, 정지될 수 있다. 즉, 조작자가 지속적으로 토크를 가하더라도 마스터 장치의 조향 선단부 링크가 움직이지 않도록 제어된다.The steering direction movement of the master device can be restricted or stopped such that the torque τ ca applied by the catheter to the body tissue is transmitted to the operator. That is, the steering end link of the master device is controlled so as not to move even if the operator continuously applies torque.

이때, 신체 조직과 접촉하여 마스터 장치의 조향 방향 움직임이 정지되더라도 신체 조직은 어느 정도 신축성이 있기 때문에 카테터가 신체 조직에 가하는 토크 τca가 마스터 장치의 조향 선단부에 가해진 토크 τma와 일치되도록 카테터는 제어될 수 있다.At this time, even if the movement of the master device in the steering direction is stopped by the contact with the body tissue, since the body tissue is somewhat elastic, the catheter is moved so that the torque? Ca applied to the body tissue matches the torque? Ma applied to the steering tip of the master device Lt; / RTI >

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.The features, structures, effects and the like described in the embodiments are included in one embodiment of the present invention and are not necessarily limited to only one embodiment. Furthermore, the features, structures, effects and the like illustrated in the embodiments can be combined and modified by other persons skilled in the art to which the embodiments belong. Therefore, it should be understood that the present invention is not limited to these combinations and modifications.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of illustration, It can be seen that various modifications and applications are possible. For example, each component specifically shown in the embodiments can be modified and implemented. It is to be understood that all changes and modifications that come within the meaning and range of equivalency of the claims are therefore intended to be embraced therein.

100: 슬레이브 장치
110: 카테터
200: 촬영 장치
300: 마스터 장치100: Slave device
110: catheter
200: photographing apparatus
300: Master device

Claims (8)

조향이 가능한 조향 선단부와 조향이 가능하지 않은 비조향 선단부를 갖는 카테터에 대응되는 조향 선단부 링크와 비조향 선단부 링크를 포함하는 조작부;
외부로부터 상기 조작부의 조작에 따라 신체 조직 내에 삽입되어 움직이는 상기 카테터를 촬영한 영상을 표시하는 표시부; 및
상기 조작부의 상기 조향 선단부 링크와 상기 비조향 선단부 링크에 가해지는 힘 또는 토크를 감지하여 상기 카테터의 움직임을 제어하되, 상기 조작부의 상기 조향 선단부 링크와 상기 비조향 선단부 링크의 조향 방향이 상기 표시부에 표시된 영상 내 카테터의 상기 조향 선단부와 상기 비조향 선단부의 조향 방향을 각각 추종하도록 제어하는 제어부;를 포함하는, 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치.An operating portion including a steering front end link and a non-steering front end link corresponding to a catheter having a steerable leading end and a non-steerable non-steerable leading end;
A display unit for displaying an image of the catheter that is inserted and moved into the body tissue according to an operation of the operation unit from outside; And
Wherein the control unit controls the movement of the catheter by sensing a force or torque applied to the steering front end link of the operating unit and the non-steering front end link, wherein the steering front link of the operating unit and the steering direction of the non- And a controller for controlling the steering end of the catheter in the displayed image and the steering direction of the non-steering front end, respectively, to follow the haptic master. 제1 항에 있어서,
상기 조작부는 상기 조향 선단부 링크와 상기 비조향 선단부 링크 각각으로부터 조향각을 측정하고,
상기 제어부는 상기 조작부의 상기 조향 선단부 링크와 상기 비조향 선단부 링크로부터 측정된 조향각을 이용하여 각 링크의 좌표값을 산출하고, 상기 산출된 좌표값을 기반으로 상기 조향 선단부 링크와 상기 비조향 선단부 링크의 조향 방향이 상기 표시부에 표시된 영상 내 카테터의 상기 조향 선단부와 상기 비조향 선단부의 조향 방향과 각각 일치하도록 제어하는, 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치.The method according to claim 1,
Wherein the operating section measures the steering angle from each of the steering front end link and the non-steering front end link,
Wherein the control unit calculates coordinate values of the respective links using the steering front end link of the operating unit and the steering angle measured from the non-steering front end link, and based on the calculated coordinate values, the steering front end link and the non- And the steering direction of the catheter is controlled so as to coincide with the steering direction of the catheter in the image displayed on the display unit and the steering direction of the non-steering front end, respectively. 제1 항에 있어서,
상기 제어부는,
상기 카테터의 상기 조향 선단부와 상기 비조향 선단부 각각의 조향 방향에 대한 좌표값으로 표현된 제1 행렬에 상기 표시부에 표시된 영상 내 카테터의 좌표값을 나타내는 좌표계로 표현하기 위한 회전 행렬을 곱해 제2 행렬을 구하고, 상기 조작부의 상기 조향 선단부 링크와 상기 비조향 선단부 링크 각각의 조향 방향에 대한 좌표값으로 표현된 제3 행렬이 상기 구한 제2 행렬과 각각 일치하도록 제어하는, 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치.The method according to claim 1,
Wherein,
The first matrix represented by the coordinate values of the steering front end portion of the catheter and the steering direction of each of the non-steering front end portions is multiplied by a rotation matrix for expressing the coordinate value of the catheter in the image displayed on the display unit, And controls the third matrix expressed by the coordinate values of the steering front link of the operating portion and the steering direction of each of the non-steering front link to coincide with the second matrix obtained, respectively, for controlling the active steering catheter Haptic master device. 제1 항에 있어서,
상기 조작부는,
메인 프레임;
상기 메인 프레임에 연결되어 고정된 고정 지지부 링크;
상기 고정 지지부 링크에 연결되어 길이 방향으로 움직이는 비조향 선단부 링크;
상기 비조향 선단부 링크에 연결되어 조향이 가능한 조향 선단부 링크;
상기 고정 지지부 링크와 상기 비조향 선단부 링크 사이에 연결되어 회전이 가능한 제1 관절부;
상기 비조향 선단부 링크와 상기 조향 선단부 링크 사이에 연결되어 회전이 가능한 제2 관절부;
상기 비조향 선단부 링크를 구동하는 제1 모터와, 조향각을 산출하는 제1 엔코더;
상기 조향 선단부 링크를 구동하는 제2 모터와, 조향각을 산출하는 제2 엔코더; 및
상기 비조향 선단부 링크, 상기 조향 선단부 링크 중 적어도 하나의 링크에 장착되어 해당 링크에 가해지는 힘과 토크를 감지하는 감지부;를 포함하는, 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치.The method according to claim 1,
Wherein,
Mainframe;
A fixed support link fixedly connected to the main frame;
A non-steering front end link connected to the fixed support link and moving in a longitudinal direction;
A steering front end link connected to the steering end front link;
A first joint part connected between the fixed support link and the non-steered front link and rotatable;
A second joint part connected to and rotatable between the non-steering front end link and the steering front end link;
A first motor for driving the non-steering front end link; a first encoder for calculating a steering angle;
A second motor for driving the steering end link; a second encoder for calculating a steering angle; And
And a sensing unit mounted on at least one of the non-steering front end link and the steering front end link to sense force and torque applied to the link. 제1 항에 있어서,
상기 제어부는,
외부로부터의 조작에 따라 상기 조작부에 가해지는 힘 또는 토크를 제1 힘 또는 제1 토크라고 할 때, 상기 조작부의 움직임에 따라 상기 제1 힘 또는 상기 제1 토크를 감지하면 감지된 상기 제1 힘 또는 상기 제1 토크의 크기에 상응하는 미리 정해진 속도값 또는 각속도값을 산출하고 상기 산출된 속도값 또는 각속도 값을 상기 카테터를 구동하는 외부의 슬레이브 장치에 전송하고,
상기 슬레이브 장치가 상기 산출된 속도값 또는 각속도값에 따라 상기 카테터의 상기 비조향 선단부와 상기 조향 선단부 전체의 움직임을 제어하는, 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치.The method according to claim 1,
Wherein,
Wherein when the force or torque applied to the operating portion according to an operation from the outside is a first force or a first torque and when the first force or the first torque is sensed according to the movement of the operating portion, Or calculates a predetermined velocity value or angular velocity value corresponding to the magnitude of the first torque and transmits the calculated velocity value or angular velocity value to an external slave device driving the catheter,
Wherein the slave device controls movement of the non-steerable tip portion and the entire steering tip portion of the catheter according to the calculated velocity value or the angular velocity value. 제5 항에 있어서,
상기 제어부는,
상기 슬레이브 장치로부터 상기 속도값 또는 상기 각속도 값에 따라 구동된 카테터가 신체 조직에 접촉하여 발생된 제2 힘 또는 제2 토크를 제공받고, 상기 제2 힘 또는 상기 제2 토크가 상기 제1 힘 또는 제1 토크와 다른 경우 상기 조작부의 움직임을 정지시키고, 상기 제2 힘 또는 상기 제2 토크가 상기 제1 힘 또는 상기 제1 토크와 일치하도록 상기 카테터의 움직임을 제어하는, 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치.6. The method of claim 5,
Wherein,
Wherein the catheter driven according to the velocity value or the angular velocity value from the slave device is provided with a second force or a second torque generated by contacting the body tissue and the second force or the second torque is transmitted to the first force or Controlling movement of the catheter such that the second force or the second torque coincides with the first force or the first torque, and controlling the active steering catheter / RTI > 제1 항에 있어서,
상기 제어부는 상기 조작부의 움직임에 따라 상기 조향 선단부 링크의 조향각이 변경되면, 상기 변경된 조향각을 상기 카테터를 구동하는 외부의 슬레이브 장치에 전송하고,
상기 슬레이브 장치가 상기 변경된 조향각에 따라 상기 카테터의 상기 조향 선단부의 조향각을 제어하도록 하는, 능동 조향 카테터를 제어하기 위한 햅틱 마스터 장치.The method according to claim 1,
Wherein the control unit transmits the changed steering angle to an external slave device that drives the catheter when the steering angle of the steering front end link is changed in accordance with the movement of the operating unit,
Wherein the slave device controls the steering angle of the steering tip of the catheter according to the modified steering angle. 조향이 가능한 조향 선단부와 조향이 가능하지 않은 비조향 선단부를 갖는 카테터를 구동하는 슬레이브 장치; 및
외부로부터 상기 카테터에 대응하는 조작부의 조작에 따라 신체 조직 내에 삽입되어 움직이는 상기 카테터를 촬영한 영상을 표시하고, 조작부의 조향 선단부 링크와 비조향 선단부 링크에 가해지는 힘 또는 토크를 이용하여 상기 카테터의 움직임을 제어하되, 상기 조작부의 상기 조향 선단부 링크와 상기 비조향 선단부 링크의 조향 방향이 상기 표시부에 표시된 영상 내 카테터의 상기 조향 선단부와 상기 비조향 선단부의 조향 방향을 각각 추종하도록 제어하는 마스터 장치;를 포함하는, 능동 조향 카테터를 제어하기 위한 시스템.A slave device for driving a catheter having a steerable steerable tip and a non-steerable steerable tip; And
An image of the catheter that is inserted and moved in the body tissue in accordance with an operation of an operating portion corresponding to the catheter from the outside is displayed and the force or torque applied to the steering end link of the operating portion and the non- A master device for controlling the movement so that the steering direction of the steering front end link of the operating portion and the steering direction of the non-steering front end link follow the steering direction of the steering end portion of the in-video catheter displayed on the display portion and the steering direction of the non- Wherein the catheter is a catheter.
KR1020170060073A 2017-05-15 2017-05-15 Haptic master device and system for controlling active steering catheter Active KR101928275B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170060073A KR101928275B1 (en) 2017-05-15 2017-05-15 Haptic master device and system for controlling active steering catheter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170060073A KR101928275B1 (en) 2017-05-15 2017-05-15 Haptic master device and system for controlling active steering catheter

Publications (2)

Publication Number Publication Date
KR20180125316A true KR20180125316A (en) 2018-11-23
KR101928275B1 KR101928275B1 (en) 2018-12-13

Family

ID=64565342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170060073A Active KR101928275B1 (en) 2017-05-15 2017-05-15 Haptic master device and system for controlling active steering catheter

Country Status (1)

Country Link
KR (1) KR101928275B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200135106A (en) * 2019-05-24 2020-12-02 한국과학기술원 Master device for manipulating active steering catheter and catheter system capability controlling bidirection of active steering catheter and master device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010035768A (en) 2008-08-04 2010-02-18 Olympus Medical Systems Corp Active drive type medical apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200135106A (en) * 2019-05-24 2020-12-02 한국과학기술원 Master device for manipulating active steering catheter and catheter system capability controlling bidirection of active steering catheter and master device

Also Published As

Publication number Publication date
KR101928275B1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
US12364543B2 (en) Patient introducer alignment
US11007023B2 (en) System and method of registration between devices with movable arms
JP2022116155A (en) Systems and methods for onscreen identification of instruments in remote control medical system
EP2845556B1 (en) Surgical robot
KR102356881B1 (en) Graphical user interface for catheter positioning and insertion
GB2589458A (en) A virtual reality surgical system including a surgical tool assembly with haptic feedback
KR20150132145A (en) Shape sensor systems for tracking interventional instruments and methods of use
CN114270089B (en) Movable display unit on rails
KR20220054617A (en) Movable Display System
CN104394751B (en) Robot system
US12479088B2 (en) Systems and methods for motion control of steerable devices
JP2024520455A (en) Systems and methods for controlling a surgical robotic assembly within an internal body cavity - Patents.com
KR101928275B1 (en) Haptic master device and system for controlling active steering catheter
KR102225448B1 (en) Master device for manipulating active steering catheter and catheter system capability controlling bidirection of active steering catheter and master device
JP2022549347A (en) Method and system for controlling flexible devices in the presence of abnormal sensor signals

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8