[go: up one dir, main page]

KR20130063790A - System and method for tracking location and direction of ultrasonic probe - Google Patents

System and method for tracking location and direction of ultrasonic probe Download PDF

Info

Publication number
KR20130063790A
KR20130063790A KR1020110130344A KR20110130344A KR20130063790A KR 20130063790 A KR20130063790 A KR 20130063790A KR 1020110130344 A KR1020110130344 A KR 1020110130344A KR 20110130344 A KR20110130344 A KR 20110130344A KR 20130063790 A KR20130063790 A KR 20130063790A
Authority
KR
South Korea
Prior art keywords
ultrasonic probe
image
value
probe
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020110130344A
Other languages
Korean (ko)
Inventor
나종범
이덕운
남우현
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110130344A priority Critical patent/KR20130063790A/en
Priority to PCT/KR2012/007162 priority patent/WO2013085139A1/en
Publication of KR20130063790A publication Critical patent/KR20130063790A/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/24—Probes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/225—Supports, positioning or alignment in moving situation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/26—Arrangements for orientation or scanning by relative movement of the head and the sensor
    • G01N29/265—Arrangements for orientation or scanning by relative movement of the head and the sensor by moving the sensor relative to a stationary material

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Acoustics & Sound (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명의 초음파 프로브의 위치 및 방향 추정 시스템은 초음파 프로브에 내장되고 상기 초음파 프로브의 움직임을 감지하여 센싱 데이터를 생성하는 센서부; 및 상기 센싱 데이터를 이용하여 기준 시간의 상기 초음파 프로브의 위치 및 방향에 대한 상기 초음파 프로브의 상대적인 위치 및 방향을 추정하는 위치 및 방향 추정부를 포함한다.The position and direction estimation system of the ultrasonic probe of the present invention includes a sensor unit which is embedded in the ultrasonic probe and detects the movement of the ultrasonic probe to generate sensing data; And a position and direction estimator for estimating a relative position and direction of the ultrasonic probe with respect to the position and direction of the ultrasonic probe at a reference time using the sensing data.

Description

초음파 프로브의 위치 및 방향 추정 시스템 및 방법{System and Method for Tracking Location and Direction of Ultrasonic Probe }System and Method for Tracking Location and Direction of Ultrasonic Probe}

본 발명은 초음파 프로브의 위치 및 방향 추정 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for estimating position and direction of an ultrasonic probe.

초음파 영상 시스템은 실시간 영상 획득이 가능하여 진단 및 영상 유도 중재적 시술 분야에서 널리 사용되고 있다. 여러 응용분야에서 초음파 프로브(probe)의 위치 및 방향을 추정하는 것이 요구된다. Ultrasound imaging system is widely used in the field of diagnostic and image-guided interventional procedures because the real-time image can be obtained. In many applications there is a need to estimate the position and orientation of ultrasonic probes.

예컨대, 2차원 초음파 프로브를 여러 위치 및 방향에서 스캔하여 획득한 2차원 초음파 영상들을 3차원 초음파 영상으로 복원하기 위해서는 프로브의 위치 및 방향을 추정하는 것이 필수적이다. 또한, 근래에는 초음파 영상에 대응하는 고해상도의 CT(Computed Tomography) 또는 MR(Magnetic Resonance) 영상을 실시간으로 도시하는 시스템에서, 초음파 영상이 획득되는 위치 및 방향 정보를 실시간으로 획득하기 위해 초음파 프로브의 위치 및 방향을 추정할 필요가 있다. For example, in order to reconstruct the 2D ultrasound images obtained by scanning the 2D ultrasound probe at various positions and directions, to the 3D ultrasound images, it is necessary to estimate the position and the direction of the probe. In addition, recently, in a system showing a high-resolution computed tomography (CT) or magnetic resonance (MR) image corresponding to an ultrasound image in real time, the position of the ultrasonic probe to acquire the position and direction information from which the ultrasound image is obtained in real time. And direction needs to be estimated.

초음파 프로브의 위치 및 방향을 추정하는 방법으로는 일반적으로 아래 두 가지 접근법이 있다. 첫 번째로, 전자기식 추적법(Electro-Magnetic Tracking)이 있다. 전자기식 추적법에서는 초음파 프로브 주변에 전자계를 형성한 후, 프로브에 부착된 센서로 자계를 감지함으로써 프로브의 위치 및 방향을 추적한다. 전자기식 추적법에서는, 프로브 주변에 금속 물체 등이 존재하는 경우 간섭으로 인해 프로브의 위치 및 방향 추정에 오차가 발생할 수 있다. There are two general approaches to estimating the position and direction of an ultrasonic probe. First, there is Electro-Magnetic Tracking. In the electromagnetic tracking method, an electromagnetic field is formed around the ultrasonic probe, and then the position and the direction of the probe are tracked by sensing the magnetic field with a sensor attached to the probe. In the electromagnetic tracking method, when a metal object or the like exists around the probe, an error may occur in the estimation of the position and the direction of the probe due to the interference.

두 번째로, 광학 추적법(Optical Tracking)이 있다. 광학 추적법에서는 초음파 프로브에 LED(Light Emitting Device)와 같은 발광 물체를 부착한 후, 광학 추적 장치를 통해 발광 물체의 움직임을 감지함으로써 프로브의 상대적인 위치 및 방향을 추적한다. 하지만, 광학 추적법에서는 초음파 프로브에 부착된 발광 물체가 인체나 기타의 물체에 의해 가려지는 경우 그 움직임을 감지할 수 없으므로 프로브의 위치 및 방향을 추정할 수 없는 단점이 있다. Second, there is optical tracking. In the optical tracking method, a light emitting object such as a light emitting device (LED) is attached to an ultrasonic probe, and then the relative position and direction of the probe is tracked by detecting a movement of the light emitting object through an optical tracking device. However, in the optical tracking method, when the light emitting object attached to the ultrasonic probe is covered by the human body or other objects, the movement cannot be detected, and thus, the position and the direction of the probe cannot be estimated.

상기 두 가지 방식을 결합시킨 접근법도 존재한다. 하지만, 기존의 추적법의 경우 초음파 프로브에 부착되는 센서 또는 발광 물체와 같은 마커(marker)이외에도 추가적인 장치가 요구된다. 따라서, 추가적인 장치에 대한 필요없이 간소하게 초음파 프로브의 위치 및 방향을 추정할 수 있는 시스템 및 방법이 요구된다. There is also an approach that combines the two approaches. However, the conventional tracking method requires an additional device besides a marker such as a sensor or a light emitting object attached to the ultrasonic probe. Accordingly, what is needed is a system and method that can simply estimate the position and orientation of an ultrasonic probe without the need for additional devices.

한국공개공보 제10-2006-0021824호 (2006.03.08)Korean Laid-Open Publication No. 10-2006-0021824 (2006.03.08)

본 발명은 종래기술의 문제점을 해결하기 위해 안출된 것으로써, 초음파 프로브에 그 움직임을 감지할 수 있는 센서를 내장함으로써 추가적인 외부장치 없이 초음파 프로브의 위치 및 방향을 추정할 수 있는 시스템 및 방법을 제공함에 그 목적이 있다. The present invention has been made to solve the problems of the prior art, and provides a system and method for estimating the position and direction of the ultrasonic probe without additional external device by embedding a sensor that can detect the movement in the ultrasonic probe. Has its purpose.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical objects to be achieved by the present invention are not limited to the above-mentioned technical problems, and other technical subjects which are not mentioned can be clearly understood by those skilled in the art from the description of the present invention .

본 발명의 실시예에 따른 초음파 프로브의 위치 및 방향 추정 시스템은 초음파 프로브에 내장되고 상기 초음파 프로브의 움직임을 감지하여 센싱 데이터를 생성하는 센서부; 및 상기 센싱 데이터를 이용하여 기준 시간의 상기 초음파 프로브의 위치 및 방향에 대한 상기 초음파 프로브의 상대적인 위치 및 방향을 추정하는 위치 및 방향 추정부를 포함한다. A position and direction estimation system of an ultrasonic probe according to an embodiment of the present invention includes a sensor unit which is embedded in the ultrasonic probe and detects the movement of the ultrasonic probe to generate sensing data; And a position and direction estimator for estimating a relative position and direction of the ultrasonic probe with respect to the position and direction of the ultrasonic probe at a reference time using the sensing data.

본 발명의 실시예에 따라 초음파 프로브의 위치 및 방향 추정 시스템은 기준 시간에 초음파 프로브로부터 획득된 영상과 타영상을 정합하여 초음파 프로브의 기준 위치값 및 기준 방향값을 출력하는 영상 정합부를 더 포함하며, 위치 및 방향 추정부는 초음파 프로브의 기준 위치값 및 기준 방향값과 상기 추정된 상대적인 위치 및 방향을 이용하여 상기 초음파 프로브의 위치 및 방향을 추정할 수 있다. According to an embodiment of the present invention, the position and direction estimation system of the ultrasonic probe further includes an image matching unit for matching the image acquired from the ultrasonic probe with another image at a reference time and outputting the reference position value and the reference direction value of the ultrasonic probe. The position and direction estimator may estimate the position and direction of the ultrasonic probe by using the reference position value and the reference direction value of the ultrasonic probe and the estimated relative position and direction.

본 발명의 실시예에 따른 초음파 프로브의 위치 및 방향 추정 방법은 초음파 프로브의 움직임을 감지하여 센싱 데이터를 생성하는 단계; 및 상기 센싱 데이터를 이용하여 기준 시간의 상기 초음파 프로브의 위치 및 방향에 대한 상기 초음파 프로브의 상대적인 위치 및 방향을 추정하는 단계를 포함한다. Method for estimating the position and direction of the ultrasonic probe according to an embodiment of the present invention comprises the steps of generating the sensing data by detecting the movement of the ultrasonic probe; And estimating a relative position and direction of the ultrasonic probe with respect to the position and direction of the ultrasonic probe at a reference time using the sensing data.

본 발명의 실시예에 따라 초음파 프로브의 위치 및 방향 추정 방법은 기준 시간에 초음파 프로브로부터 획득된 영상과 타영상을 정합하여 초음파 프로브의 기준 위치값 및 기준 방향값을 출력하는 단계; 및 초음파 프로브의 기준 위치값 및 기준 방향값과 상기 추정된 상대적인 위치 및 방향을 이용하여 초음파 프로브의 위치 및 방향을 추정하는 단계를 더 포함할 수 있다. According to an exemplary embodiment of the present invention, a method of estimating the position and direction of an ultrasound probe may include: matching an image acquired from an ultrasound probe with another image at a reference time, and outputting a reference position value and a reference direction value of the ultrasound probe; And estimating the position and direction of the ultrasonic probe by using the reference position value and the reference direction value of the ultrasonic probe and the estimated relative position and direction.

본 발명에 따르면, 초음파 프로브 내에 내장된 움직임 감지 센서외의 추가적인 외부장치 없이 초음파 프로브의 위치 및 방향을 추정할 수 있는 초음파 프로브의 위치 및 방향 추정 시스템 및 방법을 제공할 수 있다. According to the present invention, it is possible to provide a system and method for estimating the position and direction of an ultrasonic probe capable of estimating the position and direction of an ultrasonic probe without additional external devices other than a motion sensor embedded in the ultrasonic probe.

본 발명에 따르면, 초음파 영상과 타영상과의 정합 결과를 이용하여 초음파 프로브의 특정 시간의 위치 및 방향을 추정할 수 있는 초음파 프로브의 위치 및 방향 추정 시스템 및 방법을 제공할 수 있다. According to the present invention, it is possible to provide a system and method for estimating position and direction of an ultrasonic probe capable of estimating the position and direction of a specific time of an ultrasonic probe by using a result of registration of an ultrasound image with another image.

도1은 본 발명의 실시예에 따른 초음파 프로브의 위치 및 방향 추정 시스템을 나타낸다.
도2는 본 발명의 실시예에 따른 센서부의 구성도이다.
도3은 본 발명의 실시예에 따른 초음파 프로브의 위치 및 방향 추정 방법의 흐름도이다. 1 shows a position and direction estimation system of an ultrasonic probe according to an embodiment of the present invention.
2 is a block diagram of a sensor unit according to an embodiment of the present invention.
3 is a flowchart of a method of estimating position and direction of an ultrasonic probe according to an exemplary embodiment of the present invention.

이하, 본 발명의 바람직한 실시예의 상세한 설명이 첨부된 도면들을 참조하여 설명된다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면들 중 인용부호들 및 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 인용부호들로 표시됨을 유의해야 한다. 참고로 본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. The shape and the size of the elements in the drawings may be exaggerated for clarity of explanation and the same reference numerals are used for the same elements and the same elements are denoted by the same quote symbols as possible even if they are displayed on different drawings Should be. In the following description, well-known functions or constructions are not described in detail to avoid unnecessarily obscuring the subject matter of the present invention.

도1은 본 발명의 실시예에 따른 초음파 프로브의 위치 및 방향 추정 시스템(100)을 나타낸다. 1 illustrates a position and direction estimation system 100 of an ultrasonic probe according to an embodiment of the present invention.

도1에 도시된 바와 같이, 본 발명의 실시예에 따른 초음파 프로브의 위치 및 방향 추정 시스템(100)은 센서부(110) 및 위치 및 방향 추정부(120)를 포함할 수 있다. 실시예에 따라 영상 정합부(130)를 더 포함할 수 있다. As shown in FIG. 1, the position and direction estimation system 100 of the ultrasonic probe according to an exemplary embodiment of the present invention may include a sensor unit 110 and a position and direction estimation unit 120. According to an embodiment, the image matching unit 130 may further include.

센서부(110)는 초음파 프로브(미도시)에 내장되어 초음파 프로브의 움직임을 감지하여 센싱 데이터를 생성한다. 센서부(110)는 초음파 프로브의 서로 다른 위치에 내장되는 1개 이상의 센서를 포함할 수 있다. 도2는 본 발명의 실시예에 따른 센서부(110)의 구성도이다. 도2에 도시된 바와 같이, 센서부(110)는 가속도 센서(111), 각속도 센서(112) 및 기울기 센서(113) 중 적어도 어느 하나를 포함할 수 있다. The sensor unit 110 is embedded in an ultrasonic probe (not shown) to detect the movement of the ultrasonic probe to generate sensing data. The sensor unit 110 may include one or more sensors embedded in different positions of the ultrasonic probe. 2 is a block diagram of a sensor unit 110 according to an embodiment of the present invention. As shown in FIG. 2, the sensor unit 110 may include at least one of an acceleration sensor 111, an angular velocity sensor 112, and an inclination sensor 113.

가속도 센서(111)는 초음파 프로브의 속도 변화를 감지하여 가속도를 계측한다. 각속도 센서(112)는 상기 각속도 센서(1120)가 위치하는 초음파 프로브가 회전운동시에 각속도를 계측한다. 기울기 센서(113)는 중력방향을 감지하여 초음파 프로브의 기울어진 방향과 그 정도를 계측할 수 있다. The acceleration sensor 111 measures the acceleration by detecting a change in speed of the ultrasonic probe. The angular velocity sensor 112 measures the angular velocity during the rotational movement of the ultrasonic probe in which the angular velocity sensor 1120 is located. The inclination sensor 113 may detect the direction of gravity and measure the inclination direction and the degree of the ultrasonic probe.

본 발명의 실시예에 따른 센서부(110)는 상기 센서들 이외에 필요에 따라 다른 센서들을 더 포함할 수 있다. 또한, 상기 가속도 센서(111), 각속도 센서(112) 및 기울기 센서(113) 각각이 복수개 사용될 수 있다. 이때, 복수개의 센서들을 초음파 프로브 내의 서로 다른 부위에 내장시킴으로써 초음파 프로브의 정확한 위치 및 방향을 추정할 수 있다. The sensor unit 110 according to the embodiment of the present invention may further include other sensors as necessary in addition to the sensors. In addition, a plurality of the acceleration sensor 111, the angular velocity sensor 112, and the tilt sensor 113 may be used. At this time, by embedding the plurality of sensors in different parts of the ultrasonic probe it is possible to estimate the exact position and direction of the ultrasonic probe.

상기 센서부(110)에서 센서들(111, 112, 113)을 통해 초음파 프로브의 움직임이 감지되어 센싱 데이터가 생성된다. The sensor unit 110 detects the movement of the ultrasonic probe through the sensors 111, 112, and 113 and generates sensing data.

센서부(110)로부터 생성된 센싱 데이터는 위치 및 방향 추정부(120)에 입력된다. 위치 및 방향 추정부(120)는 상기 센싱 데이터를 이용하여 초음파 프로브의 상대적인 위치 및 방향(ΔT)을 추정한다. 초음파 프로브의 상대적인 위치 및 방향(ΔT)은, 기준 시간(tO)에서의 초음파 프로브의 위치 및 방향을 기준으로 소정 시간 동안에 초음파 프로브의 위치 및 방향의 변화량을 나타낸다. 여기서, 기준 시간(tO)은 초음파 프로브의 기준 위치값 및 기준 방향값(T O )이 계산된 시점을 일컫는다. 초음파 프로브의 기준 위치값 및 기준 방향값(T O )을 계산하는 방법은 후술된다. The sensing data generated from the sensor unit 110 is input to the position and direction estimator 120. The position and direction estimator 120 estimates the relative position and direction ΔT of the ultrasonic probe by using the sensing data. The relative position and direction ΔT of the ultrasonic probe indicates an amount of change in the position and direction of the ultrasonic probe for a predetermined time based on the position and direction of the ultrasonic probe at the reference time t O. Here, the reference time t O refers to a time point at which the reference position value and the reference direction value T O of the ultrasound probe are calculated. The method of calculating the reference position value and the reference direction value T O of the ultrasonic probe will be described later.

이때, 위치 및 방향 추정부(120)는 영상 정합부(130)의 영상 정합 결과를 이용하여 실제 초음파 프로브의 위치 및 방향을 추정할 수 있다. 영상 정합부(130)의 영상 정합 결과는 기준 시간(tO)에 초음파 프로브의 위치 및 방향을 나타내는 기준 위치값 및 기준 방향값(T O )일 수 있다. 따라서, 실제 초음파 프로브의 위치 및 방향(T)은 기준 시간(tO)에서의 초음파 프로브의 기준 위치값 및 방향값(T O )에 상기 위치 및 방향 추정부(120)에서 추정된 초음파 프로브의 상대적인 위치 및 방향(ΔT)을 벡터(Vector)적으로 합산함으로써 계산될 수 있다 (T=T O +ΔT). In this case, the position and direction estimator 120 may estimate the position and direction of the actual ultrasonic probe by using the image matching result of the image matching unit 130. The image matching result of the image matching unit 130 may be a reference position value and a reference direction value T O indicating the position and direction of the ultrasonic probe at the reference time t O. Therefore, the position and direction T of the actual ultrasonic probe is determined by the position and direction estimation unit 120 at the reference position value and direction value T O of the ultrasonic probe at the reference time t O. It can be calculated by adding the relative position and direction ΔT to the vector ( T = T O + ΔT ).

실시예에 따라, 초음파 프로브의 기준 위치값 및 기준 방향값(T O )은 원점으로 설정될 수 있다. According to an embodiment, the reference position value and the reference direction value T O of the ultrasonic probe may be set as the origin.

영상 정합부(130)는 초음파 프로브로부터 획득된 초음파 영상과 타 영상을 정합한다. 여기서 타 영상은 CT 영상 또는 MR 영상과 같이, 초음파 영상과는 다른 이종의 영상을 포함할 수 있다. 예컨대, 영상 정합부(130)는 타 영상과 상기 기준 시간(tO)에 상기 초음파 프로브로부터 획득된 영상 사이의 변환 관계 (transformation)를 이용하여 초음파 프로브의 기준 위치값 및 방향값을 출력할 수 있다. 초음파 프로브와 같은 강체의 위치값 및 방향값은 물체의 한 점의 위치와 그 점에서의 방향 벡터로 정의할 수 있다. 한편, 입체 구조인 프로브 상의 모든 좌표값으로 프로브의 위치값 및 방향값을 동일하게 정의할 수가 있다. 본원 명세서에서는 후자의 방식으로 초음파 프로브의 기준 위치값 및 방향값을 정의하여 다음과 같이 계산한다. 상기 변환관계는 초음파 프로브에서 획득되는 초음파 영상의 모든 영역의 위치에 대해서 상기 위치가 CT 또는 MR 영상과 같은 실좌표계의 어느 위치에 대응하는지를 나타내어준다. 또한, 상기 변환관계로 초음파 프로브 상의 모든 위치에 대해서 상기 모든 위치가 실좌표계의 어디에 대응하는지 자동적으로 계산될 수 있다. 이에 따라, 기준 시간(tO)에 초음파 프로브가 어느 위치에서 어느 방향으로 향해있는지에 대한 기준 위치값 및 기준 방향값(TO)을 얻을 수 있다. The image matching unit 130 matches the ultrasound image obtained from the ultrasound probe with another image. The other image may include a heterogeneous image different from the ultrasound image, such as a CT image or an MR image. For example, the image matching unit 130 may output the reference position value and the direction value of the ultrasonic probe by using a transformation between the other image and the image acquired from the ultrasonic probe at the reference time t O. have. The position value and the direction value of a rigid body such as an ultrasonic probe may be defined by the position of a point of the object and the direction vector at that point. On the other hand, the position value and the direction value of the probe can be defined in the same manner with all coordinate values on the probe having a three-dimensional structure. In the present specification, the reference position value and the direction value of the ultrasonic probe are defined in the latter manner and calculated as follows. The transformation relationship indicates which position of the real coordinate system, such as a CT or MR image, the position of all regions of the ultrasound image acquired by the ultrasound probe. In addition, the conversion relationship can be automatically calculated for all the positions on the ultrasonic probe where all the positions correspond to the real coordinate system. Accordingly, the reference position value and the reference direction value T O for which direction and in which direction the ultrasonic probe is directed at the reference time t O can be obtained.

이때, 기준 위치값은 타영상과 초음파 영상에서 동일한 기준 선, 예컨대 혈관 등을 중심선으로 이용하여 상기 두 영상 사이의 변환 관계를 계산함으로써 구할 수 있다. In this case, the reference position value may be obtained by calculating a conversion relationship between the two images using the same reference line, for example, a blood vessel, in the other image and the ultrasound image.

이렇게 획득된 초음파 프로브의 기준 위치값 및 기준 방향값(T O )은 이상에서 설명된 바와 같이 위치 및 방향 추정부(120)로 전달되어 특정 시점에서 초음파 프로브의 위치 및 방향(T)을 추정하는데 이용될 수 있다. The reference position value and the reference direction value T O of the ultrasonic probe thus obtained are transferred to the position and direction estimator 120 as described above to estimate the position and the direction T of the ultrasonic probe at a specific time point. Can be used.

본 발명의 실시예에 따른 위치 및 방향 추정부(120)는 센서부(110)의 센싱 데이터에 오차가 발생한 경우에 이를 보정하기 위해서 영상 정합부(130)의 출력값을 이용할 수 있다. 예컨대, 센서부(110)로부터의 센싱 데이터에 오차가 발생하면 위치 및 방향 추정부(120)에서 추정되는 초음파 프로브의 상대적인 위치 및 방향(ΔT)에 오차가 발생한다. 따라서, 결과적으로 획득되는 초음파 프로브의 위치 및 방향(T)에 오차가 생긴다. 이를 방지하기 위해서, 필요에 따라 정기적으로 또는 센싱 데이터에 오차가 발생한 경우에 영상 정합부(130)의 결과를 이용하여 프로브의 위치 및 방향을 초기화할 수 있다. 이에 따라 센서부(110)의 센싱 데이터 오차의 영향을 최소화할 수 있다. The position and direction estimation unit 120 according to an exemplary embodiment of the present invention may use the output value of the image matching unit 130 to correct the error in the sensing data of the sensor unit 110. For example, if an error occurs in the sensing data from the sensor unit 110, an error occurs in the relative position and direction ΔT of the ultrasonic probe estimated by the position and direction estimator 120. Thus, an error occurs in the position and direction T of the ultrasonic probe that is obtained as a result. In order to prevent this, the position and direction of the probe may be initialized by using the result of the image matching unit 130 periodically or when an error occurs in the sensing data. Accordingly, the influence of the sensing data error of the sensor unit 110 can be minimized.

도3은 본 발명의 실시예에 따른 초음파 프로브의 위치 및 방향 추정 방법의 흐름도이다. 도3에 도시된 바와 같이, 본 발명의 실시예에 따른 초음파 프로브의 위치 및 방향 추정 방법은 초음파 프로브의 움직임을 감지하여 센싱 데이터를 생성하는 단계(S10) 및 센싱 데이터를 이용하여 기준 시간(tO)의 초음파 프로브의 위치 및 방향에 대한 초음파 프로브의 상대적인 위치 및 방향(ΔT)을 추정하는 단계(S20)를 포함할 수 있다. 본 발명의 실시예에 따라, 기준 시간(tO)에 초음파 프로브로부터 획득된 영상과 타영상을 정합하여 초음파 프로브의 기준 위치값 및 기준 방향값(T O )을 출력하는 단계(S30) 및 초음파 프로브의 기준 위치값 및 기준 방향값(T O )과 추정된 상대적인 위치 및 방향(ΔT)을 이용하여 초음파 프로브의 위치 및 방향(T)을 추정하는 단계(S40)를 더 포함할 수 있다. 이때, 상기 S30단계 및 S40단계는 정기적으로 또는 센싱 데이터에 오차가 발생하였을 때마다 반복적으로 수행될 수 있다. 이에 따라 초음파 프로브의 기준 위치값 및 방향값을 초기화함으로써 센싱 데이터 오차 발생의 효과를 최소화할 수 있다. 3 is a flowchart of a method of estimating position and direction of an ultrasonic probe according to an exemplary embodiment of the present invention. As shown in FIG. 3, the method of estimating the position and direction of the ultrasonic probe according to an exemplary embodiment of the present invention may include generating sensing data by detecting a movement of the ultrasonic probe (S10) and using the sensing data as a reference time t And estimating the relative position and direction ΔT of the ultrasonic probe with respect to the position and direction of the ultrasonic probe of O ) (S20). According to an exemplary embodiment of the present disclosure, matching the image obtained from the ultrasound probe with another image at the reference time t O and outputting the reference position value and the reference direction value T O of the ultrasound probe (S30) and the ultrasound The method may further include an operation S40 of estimating the position and the direction T of the ultrasound probe by using the reference position value and the reference direction value T O of the probe and the estimated relative position and the direction ΔT . In this case, steps S30 and S40 may be performed periodically or repeatedly when an error occurs in the sensing data. Accordingly, by initializing the reference position value and the direction value of the ultrasonic probe, it is possible to minimize the effect of generating the sensing data error.

이와 같이 얻어진 초음파 프로브의 위치 및 방향(T)을 또다시 기준 위치 및 방향으로 설정하고, 도3에 도시된 S10 단계 내지 S40 단계를 반복함으로써 특정 시간 경과 후의 초음파 프로브의 위치 및 방향을 추정할 수 있다. 이에 따라, 실시간으로 초음파 프로브의 위치 및 방향을 추적하는 것이 가능하다. The position and direction T of the ultrasonic probe thus obtained are set again as the reference position and direction, and by repeating steps S10 to S40 shown in FIG. have. Accordingly, it is possible to track the position and direction of the ultrasonic probe in real time.

도3에 도시된 S30 단계는 실시예에 따라 후술하는 단계를 포함할 수 있다. 즉, 초음파 프로브의 기준 위치값 및 기준 방향값(T O )을 출력하는 단계(S30)는 타영상에서 기준 혈관을 추출하는 단계; 기준 시간(tO)에 초음파 프로브로부터 획득된 초음파 영상에서 상기 기준 혈관과 동일한 혈관을 추출하는 단계; 및 타영상과 기준 시간(tO)에 초음파 프로브로부터 획득된 영상에서 추출된 동일한 기준 혈관을 이용하여 상기 두 영상 사이의 변환 관계를 계산하는 단계를 포함할 수 있다. 여기서, 상기 변환 관계에 따라 기준 시간(tO)에서 초음파 프로브의 기준 위치값 및 방향값이 출력될 수 있다. Step S30 illustrated in FIG. 3 may include the steps described below according to an embodiment. That is, the step (S30) of outputting the reference position value and the reference direction value T O of the ultrasonic probe may include extracting the reference blood vessel from another image; Extracting the same vessel as the reference vessel from the ultrasound image acquired from the ultrasound probe at a reference time t O ; And calculating a conversion relationship between the two images using the same reference vessel extracted from the image obtained from the ultrasound probe at the other image and the reference time t O. Here, the reference position value and the direction value of the ultrasonic probe may be output at the reference time t O according to the conversion relationship.

즉, 기 획득된 CT 또는 MR 영상에서 기준이 될 수 있는 혈관을 미리 추출할 수 있다. 또한, 기준 시간(tO)에 초음파 프로브로부터 획득된 초음파 영상에서 자동적으로 상기 기준이 될 수 있는 동일한 혈관을 추출할 수 있다. 이후, 초음파 영상으로부터 추출된 기준 혈관과 상기 CT 또는 MR 영상에서 추출된 기준 혈관을 중심선으로 이용하여 두 영상 사이의 변환 관계를 계산할 수 있다. In other words, blood vessels that may be a reference may be extracted in advance from the acquired CT or MR images. In addition, the same blood vessel that may be the reference may be automatically extracted from the ultrasound image acquired from the ultrasound probe at the reference time t O. Subsequently, a transformation relationship between the two images may be calculated using the reference vessel extracted from the ultrasound image and the reference vessel extracted from the CT or MR image as a center line.

이상에서 살펴본 바와 같이, 본 발명의 실시예에 따른 초음파 프로브의 위치 및 방향 추정 시스템 및 방법을 이용하면, 초음파 프로브 내에 내장된 움직임 감지 센서외의 추가적인 외부장치 없이 초음파 프로브의 위치 및 방향을 실시간으로 추적할 수 있다. As described above, by using the position and direction estimation system and method of the ultrasonic probe according to an embodiment of the present invention, the position and direction of the ultrasonic probe in real time without additional external devices other than the motion sensor built into the ultrasonic probe in real time can do.

또한, 본 발명의 실시예에 따른 초음파 프로브의 위치 및 방향 추정 시스템 및 방법을 이용하면, 초음파 영상과 타영상과의 정합 결과를 이용하여 임의의 시간에 초음파 프로브의 위치 및 방향을 추적할 수 있다. In addition, by using the ultrasound probe position and direction estimation system and method according to an embodiment of the present invention, it is possible to track the position and direction of the ultrasound probe at any time using the matching result of the ultrasound image and other images. .

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art. will be. Therefore, it should be understood that the above-described embodiments are to be considered in all respects as illustrative and not restrictive, the scope of the invention being indicated by the appended claims rather than the foregoing description, It is intended that all changes and modifications derived from the equivalent concept be included within the scope of the present invention.

100: 초음파 프로브의 위치 및 방향 추정 시스템
110: 센서부
120: 위치 및 방향 추정부
130: 영상 정합부100: position and direction estimation system of the ultrasonic probe
110: sensor unit
120: position and direction estimation unit
130: image matching unit

Claims (11)

초음파 프로브에 내장되고 상기 초음파 프로브의 움직임을 감지하여 센싱 데이터를 생성하는 센서부; 및
상기 센싱 데이터를 이용하여 기준 시간의 상기 초음파 프로브의 위치 및 방향에 대한 상기 초음파 프로브의 상대적인 위치 및 방향을 추정하는 위치 및 방향 추정부를 포함하는,
초음파 프로브의 위치 및 방향 추정 시스템. A sensor unit embedded in an ultrasonic probe and configured to sense movement of the ultrasonic probe to generate sensing data; And
And a position and direction estimator configured to estimate a relative position and direction of the ultrasonic probe with respect to the position and direction of the ultrasonic probe at a reference time using the sensing data.
Position and orientation estimation system for ultrasonic probes. 제1항에 있어서,
상기 기준 시간에 상기 초음파 프로브로부터 획득된 영상과 타영상을 정합하여 상기 초음파 프로브의 기준 위치값 및 기준 방향값을 출력하는 영상 정합부를 더 포함하며,
상기 위치 및 방향 추정부는 상기 초음파 프로브의 기준 위치값 및 기준 방향값과 상기 추정된 상대적인 위치 및 방향을 이용하여 상기 초음파 프로브의 위치 및 방향을 추정하는 초음파 프로브의 위치 및 방향 추정 시스템. The method of claim 1,
The image matching unit outputs a reference position value and a reference direction value of the ultrasound probe by matching the image acquired from the ultrasound probe with another image at the reference time.
And the position and direction estimator estimates the position and direction of the ultrasonic probe by using the reference position value and the reference direction value of the ultrasonic probe and the estimated relative position and direction. 제2항에 있어서,
상기 영상 접합부는,
상기 타영상과 상기 기준 시간에 상기 초음파 프로브로부터 획득된 영상 사이의 변환 관계에 따라 상기 초음파 프로브의 기준 위치값 및 방향값을 결정하는 초음파 프로브의 위치 및 방향 추정 시스템. The method of claim 2,
The image junction unit,
And a reference position value and a direction value of the ultrasonic probe according to a conversion relationship between the other image and the image acquired from the ultrasonic probe at the reference time. 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 센서부는 가속도 센서, 각속도 센서 및 기울기 센서 중 적어도 하나를 포함하는 초음파 프로브의 위치 및 방향 추정 시스템. 4. The method according to any one of claims 1 to 3,
The sensor unit is a position and direction estimation system of the ultrasonic probe including at least one of an acceleration sensor, an angular velocity sensor and a tilt sensor. 제2항 또는 제3항에 있어서,
상기 타영상은 CT 영상 또는 MR 영상인 초음파 프로브의 위치 및 방향 추정 시스템. The method according to claim 2 or 3,
The other image is a CT image or MR image position and direction estimation system of the ultrasonic probe. 제2항 또는 제3항에 있어서,
상기 위치 및 방향 추정부는 상기 영상 정합부의 출력값을 정기적으로 입력받는 초음파 프로브의 위치 및 방향 추정 시스템.The method according to claim 2 or 3,
And a position and direction estimation system of the ultrasonic probe which receives the output value of the image matching unit periodically. 초음파 프로브의 움직임을 감지하여 센싱 데이터를 생성하는 단계; 및
상기 센싱 데이터를 이용하여 기준 시간의 상기 초음파 프로브의 위치 및 방향에 대한 상기 초음파 프로브의 상대적인 위치 및 방향을 추정하는 단계를 포함하는,
초음파 프로브의 위치 및 방향 추정 방법. Generating sensing data by detecting a movement of the ultrasonic probe; And
Estimating a relative position and direction of the ultrasonic probe with respect to the position and direction of the ultrasonic probe at a reference time using the sensing data.
Method for estimating the position and direction of an ultrasonic probe. 제7항에 있어서,
상기 기준 시간에 상기 초음파 프로브로부터 획득된 영상과 타영상을 정합하여 상기 초음파 프로브의 기준 위치값 및 기준 방향값을 출력하는 단계; 및
상기 초음파 프로브의 기준 위치값 및 기준 방향값과 상기 추정된 상대적인 위치 및 방향을 이용하여 상기 초음파 프로브의 위치 및 방향을 추정하는 단계를 더 포함하는,
초음파 프로브의 위치 및 방향 추정 방법. The method of claim 7, wherein
Matching the image acquired from the ultrasound probe with another image at the reference time and outputting a reference position value and a reference direction value of the ultrasound probe; And
Estimating the position and direction of the ultrasonic probe by using the reference position value and the reference direction value of the ultrasonic probe and the estimated relative position and direction;
Method for estimating the position and direction of an ultrasonic probe. 제8항에 있어서,
상기 초음파 프로브의 기준 위치값 및 방향값을 출력하는 단계는,
상기 타영상에서 기준 혈관을 추출하는 단계;
상기 기준 시간에 상기 초음파 프로브로부터 확득된 영상에서 상기 기준 혈관을 추출하는 단계; 및
상기 타영상과 상기 기준 시간에 상기 초음파 프로브로부터 획득된 영상에서 추출된 동일한 상기 기준 혈관을 이용하여 상기 타영상과 상기 초음파 프로브로부터 획득된 영상 사이의 변환 관계를 계산하는 단계를 포함하는,
초음파 프로브의 위치 및 방향 추정 방법. 9. The method of claim 8,
The step of outputting the reference position value and the direction value of the ultrasonic probe,
Extracting a reference blood vessel from the other image;
Extracting the reference blood vessel from an image acquired from the ultrasound probe at the reference time; And
Calculating a transformation relationship between the other image and the image obtained from the ultrasound probe by using the same reference vessel extracted from the other image and the image obtained from the ultrasound probe at the reference time.
Method for estimating the position and direction of an ultrasonic probe. 제8항 또는 제9항에 있어서,
상기 타영상은 CT 영상 또는 MR 영상인 초음파 프로브의 위치 및 방향 추정 방법.10. The method according to claim 8 or 9,
The other image is a CT image or MR image position and direction estimation method of the ultrasound probe. 제8항에 있어서,
상기 기준 시간에 상기 초음파 프로브로부터 획득된 영상과 타영상을 정합하여 상기 초음파 프로브의 기준 위치값 및 기준 방향값을 출력하는 단계; 및
상기 초음파 프로브의 기준 위치값 및 기준 방향값과 상기 추정된 상대적인 위치 및 방향을 이용하여 상기 초음파 프로브의 위치 및 방향을 추정하는 단계는 정기적으로 수행되는 초음파 프로브의 위치 및 방향 추정 방법.9. The method of claim 8,
Matching the image acquired from the ultrasound probe with another image at the reference time and outputting a reference position value and a reference direction value of the ultrasound probe; And
And estimating the position and direction of the ultrasonic probe by using the reference position value and the reference direction value of the ultrasonic probe and the estimated relative position and direction are periodically performed.
KR1020110130344A 2011-12-07 2011-12-07 System and method for tracking location and direction of ultrasonic probe Ceased KR20130063790A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110130344A KR20130063790A (en) 2011-12-07 2011-12-07 System and method for tracking location and direction of ultrasonic probe
PCT/KR2012/007162 WO2013085139A1 (en) 2011-12-07 2012-09-06 System and method for estimating the location and orientation of an ultrasonic probe

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110130344A KR20130063790A (en) 2011-12-07 2011-12-07 System and method for tracking location and direction of ultrasonic probe

Publications (1)

Publication Number Publication Date
KR20130063790A true KR20130063790A (en) 2013-06-17

Family

ID=48574469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110130344A Ceased KR20130063790A (en) 2011-12-07 2011-12-07 System and method for tracking location and direction of ultrasonic probe

Country Status (2)

Country Link
KR (1) KR20130063790A (en)
WO (1) WO2013085139A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160009435A (en) * 2014-07-16 2016-01-26 삼성전자주식회사 Apparatus and method for supporting computer aided diagonosis based on probe speed
KR20170041878A (en) * 2014-09-12 2017-04-17 우시 히스키 메디칼 테크놀로지스 컴퍼니., 리미티드. Elasticity detection probe
KR20180097270A (en) * 2017-02-23 2018-08-31 삼성메디슨 주식회사 The Ultrasonic Diagnostic Apparatus And Control Method Thereof
KR20200117522A (en) * 2019-04-04 2020-10-14 경북대학교 산학협력단 Shape restoration device and method using ultrasonic probe

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101931747B1 (en) 2016-10-28 2019-03-13 삼성메디슨 주식회사 Biopsy apparatus and method for operating the same
KR20180066781A (en) 2016-12-09 2018-06-19 삼성전자주식회사 Method and apparatus for displaying medical image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100805774B1 (en) * 2005-09-14 2008-02-21 주식회사 메디슨 Ultrasound Diagnostic System and Method for Rotating Ultrasound Images
KR20070110965A (en) * 2006-05-16 2007-11-21 주식회사 메디슨 Ultrasound system for displaying composite images of ultrasound images and external medical images
JP5148203B2 (en) * 2007-08-08 2013-02-20 パナソニック株式会社 Ultrasonic diagnostic equipment
JP2009022463A (en) * 2007-07-18 2009-02-05 Toshiba Corp Ultrasonic diagnostic apparatus, spectral image display method, and spectral image display program
KR101121286B1 (en) * 2009-07-31 2012-03-23 한국과학기술원 Ultrasound system and method for performing calibration of sensor

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160009435A (en) * 2014-07-16 2016-01-26 삼성전자주식회사 Apparatus and method for supporting computer aided diagonosis based on probe speed
KR20170041878A (en) * 2014-09-12 2017-04-17 우시 히스키 메디칼 테크놀로지스 컴퍼니., 리미티드. Elasticity detection probe
KR20180097270A (en) * 2017-02-23 2018-08-31 삼성메디슨 주식회사 The Ultrasonic Diagnostic Apparatus And Control Method Thereof
KR20200117522A (en) * 2019-04-04 2020-10-14 경북대학교 산학협력단 Shape restoration device and method using ultrasonic probe
WO2020204424A3 (en) * 2019-04-04 2020-11-26 경북대학교 산학협력단 Shape reconstruction device using ultrasonic probe, and shape reconstruction method

Also Published As

Publication number Publication date
WO2013085139A1 (en) 2013-06-13

Similar Documents

Publication Publication Date Title
EP3478209B1 (en) Intertial device tracking system and method of operation thereof
CN111292277B (en) Ultrasonic fusion imaging method and ultrasonic fusion imaging navigation system
US20170273665A1 (en) Pose Recovery of an Ultrasound Transducer
US20230255589A1 (en) Combining image based and inertial probe tracking
US20160317122A1 (en) In-device fusion of optical and inertial positional tracking of ultrasound probes
KR20130063790A (en) System and method for tracking location and direction of ultrasonic probe
US20140243671A1 (en) Ultrasound imaging system and method for drift compensation
US20180075609A1 (en) Method of Estimating Relative Motion Using a Visual-Inertial Sensor
US11064979B2 (en) Real-time anatomically based deformation mapping and correction
CN104010587B (en) To quality-monitoring in the art of tracing system
JP6441346B2 (en) Optical tracking
US10939881B2 (en) Guidance device for a tee probe
US12496048B2 (en) Three-dimensional ultrasound imaging support apparatus, three-dimensional ultrasound imaging support method, and three-dimensional ultrasound imaging support program
US11911213B2 (en) Techniques for determining ultrasound probe motion
US10925679B2 (en) Position determination device for determining a position of an instrument within a tubular structure
JP6095032B1 (en) Composite image presentation system
JP2014212904A (en) Medical projection system
CN106456107B (en) Systems and methods for imaging using ultrasound
US12178651B2 (en) Real-time anatomically based deformation mapping and correction
CN104023644B (en) Method and apparatus for needle visualization enhancement in ultrasound imaging
KR101746792B1 (en) Method and apparatus for estimating transformation between distance sensor and rotating platform

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111207

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130503

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20130722

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20130503

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20130822

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20130722

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20140227

Appeal identifier: 2013101006135

Request date: 20130822

J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20130822

Effective date: 20140227

PJ1301 Trial decision

Patent event code: PJ13011S01D

Patent event date: 20140227

Comment text: Trial Decision on Objection to Decision on Refusal

Appeal kind category: Appeal against decision to decline refusal

Request date: 20130822

Decision date: 20140227

Appeal identifier: 2013101006135