[go: up one dir, main page]

WO2013179905A1 - 医療用３次元観察装置 - Google Patents

医療用３次元観察装置 Download PDF

Info

Publication number
WO2013179905A1
WO2013179905A1 PCT/JP2013/063705 JP2013063705W WO2013179905A1 WO 2013179905 A1 WO2013179905 A1 WO 2013179905A1 JP 2013063705 W JP2013063705 W JP 2013063705W WO 2013179905 A1 WO2013179905 A1 WO 2013179905A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
unit
subject
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/063705
Other languages
English (en)
French (fr)
Inventor
塩田　敬司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2013556930A priority Critical patent/JP5629023B2/ja
Publication of WO2013179905A1 publication Critical patent/WO2013179905A1/ja
Anticipated expiration legal-status Critical
Priority to US14/556,513 priority patent/US9207445B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus

Definitions

  • the present invention relates to a medical three-dimensional observation apparatus capable of observing an image of a subject as a three-dimensional image.
  • microscopes and endoscopes used in surgical operations and the like have made it possible to observe a three-dimensional image in a body cavity of a subject.
  • Such microscopes and endoscopes (hereinafter referred to as medical three-dimensional observation devices) that can observe a three-dimensional image can be used in various situations because they can grasp the three-dimensional structure of a subject. ing.
  • an experienced doctor may give guidance to a student, a trainee, or the like while showing a specific part of an image in a body cavity obtained by an electronic endoscope. For such guidance, it is easier to identify a part in a three-dimensional image than in a two-dimensional image.
  • a technique for adding an annotation such as an arrow or a comment to a position designated in an image is also known (for example, Japanese Patent Application Laid-Open No. 2006-218233).
  • 3D image has depth information.
  • a pointing device such as a mouse used in the above-described guidance usually gives information on a two-dimensional position. Therefore, when an annotation is added to a target position in the three-dimensional image, it is necessary to convert the two-dimensional position designated by the pointing device into the three-dimensional position.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a medical three-dimensional observation apparatus capable of correctly adding an annotation to a depth position that matches a three-dimensional image.
  • a display device includes at least a pair of imaging units that capture images of a subject from different viewpoints, and images of the subject obtained by the at least a pair of imaging units, respectively.
  • a three-dimensional image processing unit for displaying a three-dimensional image of the subject on a display unit, and a calculation for calculating in which region of the three-dimensional reproduction space of the display unit the three-dimensional image of the subject is reproduced
  • an index superimposing unit that superimposes the annotation image at a depth position corresponding to a region where the three-dimensional image is reproduced.
  • FIG. 1 is a diagram showing a configuration of a medical three-dimensional observation apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining the principle of a triangulation method using a two-lens imaging system.
  • FIG. 3 is a diagram for explaining the superimposition of the virtual arrow image.
  • FIG. 4 is a diagram illustrating a relationship between the operation amount of the operation unit and the displacement amount of the display position of the virtual arrow image.
  • FIG. 5 is a diagram for explaining the operation amount ⁇ M.
  • FIG. 6 is a diagram for explaining the movement amount ⁇ l when the virtual arrow image is simply moved on the two-dimensional image.
  • FIG. 7 is a diagram illustrating a change in the movement amount ⁇ l on the three-dimensional image when the relationship between the operation amount ⁇ M and the movement amount ⁇ l is determined without considering the change in depth.
  • FIG. 8 is a diagram illustrating changes in the movement amount ⁇ l on the three-dimensional image when the relationship between the operation amount ⁇ M and the movement amount ⁇ l is determined in consideration of changes in depth.
  • FIG. 1 is a diagram showing a configuration of a medical three-dimensional observation apparatus according to an embodiment of the present invention.
  • FIG. 1 shows an example in which a medical three-dimensional observation apparatus is applied to an electronic image microscope.
  • the technique of the present embodiment can be applied to various medical observation apparatuses that can observe a three-dimensional image.
  • the technique of this embodiment can be applied to an electronic endoscope capable of three-dimensional observation.
  • the medical three-dimensional observation apparatus 10 shown in FIG. 1 generally includes an imaging unit 101, an image processing unit 102, a three-dimensional image display unit 103, and an operation unit 104.
  • the medical three-dimensional observation apparatus 10 can be connected to a personal computer (hereinafter referred to as a PC) 20 in a communicable manner.
  • a PC personal computer
  • the imaging unit 101 has a two-lens imaging system that images the subject 30 from different viewpoints.
  • the imaging unit 101 in FIG. 1 is an imaging system configured to have horizontal parallax.
  • each imaging system includes a lens and an imaging element, and is arranged so as to be separated by a predetermined baseline length in the horizontal direction.
  • the imaging unit 101 may be configured to have vertical parallax.
  • the respective imaging systems may be arranged so as to be separated by a predetermined baseline length with respect to the vertical direction.
  • FIG. 1 illustrates an imaging unit 101 having a two-lens imaging system.
  • the imaging unit 101 may have an imaging system having three or more eyes.
  • the lens 1011R is a right-eye lens, and condenses the light beam from the subject 30 on the right-eye image sensor 1012R.
  • the lens 1011L is a lens for the left eye, and condenses the light beam from the subject 30 on the left eye image sensor 1012L.
  • the right-eye imaging element 1012R is configured by forming a color filter on a light receiving surface on which pixels including photoelectric conversion elements are two-dimensionally arranged.
  • the right eye imaging element 1012R converts the light beam incident on the light receiving surface via the lens 1011R into an electrical signal (imaging signal) corresponding to the light amount.
  • the left-eye image sensor 1012L has the same configuration as the right-eye image sensor 1012R, and converts the light beam incident on the light receiving surface via the lens 1011L into an electrical signal (image signal) corresponding to the light amount.
  • the image pickup device mainly includes a CCD method and a CMOS method, but in this embodiment, any type of image pickup device may be used.
  • the image processing unit 102 includes an imaging signal processing unit 1021, a calculation unit 1022, a three-dimensional image processing unit 1023, and an index superimposing unit 1024.
  • the imaging signal processing unit 1021 includes a right eye imaging signal processing unit 1021R and a left eye imaging signal processing unit 1021L.
  • the right eye imaging signal processing unit 1021R processes the imaging signal input from the right eye imaging element 1012R to generate right eye image data.
  • This processing includes analog processing such as CDS (correlated double sampling) processing and gain adjustment processing, analog / digital (A / D) conversion processing, and color imaging processing such as color balance correction processing and gradation correction. included.
  • the left eye imaging signal processing unit 1021L has a configuration similar to that of the right eye imaging signal processing unit 1021R, and processes the imaging signal input from the left eye imaging element 1012L to generate left eye image data.
  • the calculation unit 1022 calculates in which region of the three-dimensional reproduction space of the three-dimensional image display unit 1023 the three-dimensional image of the subject is reproduced during the three-dimensional display by the three-dimensional image display unit 103. This calculation corresponds to measuring the distance between the imaging unit 101 and each part of the subject 30.
  • the distance between the imaging unit 101 and each part of the subject 30 is calculated using, for example, a triangulation method from the parallax between the right eye image data and the left eye image data.
  • the principle of triangulation using a twin-lens imaging system will be briefly described with reference to FIG.
  • the parallax (x1 + x2) can be detected by, for example, a block matching method.
  • the block matching method is a method for detecting a specific block of left eye image data (a block in which the subject 30 exists) and a block having the highest correlation (for example, a block having the smallest difference absolute value) from the right eye image data. It is. At this time, the position difference between the block of the right eye image data and the block of the left eye image data is parallax (x1 + x2). It is also possible to obtain distance information for each pixel by performing the calculation shown in (Equation 1) for each pixel.
  • the 3D image processing unit 1023 controls the 3D display operation in the 3D image display unit 103.
  • a three-dimensional display method for example, a lenticular lens method can be used.
  • a lenticular lens method a lenticular lens having a plurality of cylindrical lenses is formed on the display surface of the three-dimensional image display unit 103, and the right eye image and the left eye image displayed on the three-dimensional image display unit 103 are This is a method of giving a stereoscopic view to an observer by dividing and entering the right eye and the left eye of the observer with a lenticular lens.
  • the present embodiment can be applied to various three-dimensional display methods such as using a liquid crystal lens instead of the lenticular lens or using a naked eye parallel method.
  • the index superimposing unit 1024 Based on the distance information to the subject 30 obtained by the computing unit 1022 and the operation information from the PC 20, the index superimposing unit 1024 displays the subject 30 when displaying the three-dimensional image by the three-dimensional image processing unit 1023.
  • An annotation image (for example, a virtual arrow image) is superimposed on the three-dimensional image.
  • the index superimposing unit 1024 stores data of various annotation images.
  • the 3D image display unit 103 is, for example, a liquid crystal display device in which a lenticular lens is formed on a display surface, and receives 3D image data and 3D image data from the 3D image processing unit 1023 to display 3D images. Do.
  • the operation unit 104 is an operation unit of the medical three-dimensional observation apparatus 10.
  • the operation unit 104 is operated by an observer and gives an instruction to move the virtual arrow image 40 in the display screen of the three-dimensional image display unit 103.
  • the operation unit 104 is a pointing device such as a mouse.
  • the PC 20 generally includes a control unit 201, an image display unit 202, and an operation unit 203.
  • the control unit 201 is, for example, a CPU.
  • the control unit 201 receives left-eye image data from the left-eye imaging signal processing unit 1021L, and performs control to display a two-dimensional image corresponding to the received image data on the image display unit 202. Further, the control unit 201 inputs operation information from the operation unit 203 to the index superimposing unit 1024.
  • the image display unit 202 is a liquid crystal display device, for example, and performs two-dimensional display in response to input of left eye image data from the control unit 201.
  • the image display unit 202 may be a display device capable of three-dimensional display.
  • the operation unit 203 is operated by an observer and gives an instruction to move the virtual arrow image 40 in the display screen of the image display unit 202.
  • the operation unit 203 is a pointing device such as a mouse.
  • the operation of the medical three-dimensional observation apparatus 10 shown in FIG. 1 will be described.
  • the medical three-dimensional observation apparatus 10 When the medical three-dimensional observation apparatus 10 is activated by an observer, the subject 30 is imaged by the imaging unit 101.
  • An imaging signal obtained by the right eye imaging system of the imaging unit 101 is processed by the right eye imaging signal processing unit 1021R.
  • An imaging signal obtained by the left eye imaging system of the imaging unit 101 is processed by the left eye imaging signal processing unit 1021L.
  • the right eye image data obtained by the right eye imaging signal processing unit 1021R and the left eye image data obtained by the left eye imaging signal processing unit 1021L are input to the calculation unit 1022.
  • the computing unit 1022 calculates the distance to the subject 30 for each pixel from the parallax between the right eye image data and the left eye image data. The distance information and the parallax information for each pixel are held in the calculation unit 1022.
  • the right eye image data obtained by the right eye imaging signal processing unit 1021R and the left eye image data obtained by the left eye imaging signal processing unit 1021L are also input to the three-dimensional image processing unit 1023.
  • the 3D image processing unit 1023 displays the right eye image corresponding to the right eye image data on the pixel for right eye display of the 3D image display unit 103, and the left eye image corresponding to the left eye image data is displayed as the 3D image.
  • the display operation of the three-dimensional image display unit 103 is controlled to display on the left-eye display pixel of the display unit 103.
  • the index superimposing unit 1024 superimposes a virtual arrow image as an annotation image so as to be synchronized with the 3D display operation of the 3D image processing unit 1023.
  • a virtual arrow image as an annotation image so as to be synchronized with the 3D display operation of the 3D image processing unit 1023.
  • a virtual arrow image is displayed at a fixed position (for example, the center position) of the three-dimensional image display unit 103.
  • the distance L in the subject region corresponding to the tip position of the virtual arrow image is determined.
  • the parallax (x1 + x2) is given to the annotation image superimposed on each of the right eye image data and the left eye image data.
  • the observer By observing the three-dimensional image displayed on the three-dimensional image display unit 103 and operating the operation unit 104, or observing the two-dimensional image displayed on the image display unit 202, the observer operates the operation unit 203. An instruction to move the display position of the virtual arrow image is given.
  • the index superimposing unit 1024 obtains the distance information L for the pixel at the position (X, Y) on the display screen designated by the operation unit 104 or 203 from the calculation unit 1022.
  • This position (X, Y) is, for example, a position on the left eye image data.
  • the index superimposing unit 1024 changes the parallax of the virtual arrow image 40 so that the virtual arrow image 40 is displayed at a depth corresponding to the acquired distance information L.
  • the virtual arrow image 40 is superimposed on the right eye image R so that the parallax of (x1 + x2) becomes.
  • the virtual arrow image 40 superimposed on the three-dimensional image according to the actual distance of the position of the subject 30 designated by the observer on the three-dimensional image display unit 103 is displayed.
  • the parallax is given.
  • the virtual arrow image 40 is added to the eye E of the observer so that the depth matches the subject in the intended three-dimensional image.
  • the virtual arrow image 40 is superimposed on the right eye image data R and the left eye image data L so as to give parallax.
  • the position (X, Y) is designated, the distance of the designated position (X, Y) is compared with the surrounding distance, and the virtual arrow image is compared with the virtual arrow image. If there is an image of the subject 30 at a near position, the virtual arrow image 40 is superimposed so as to avoid the image of the subject 30 at the near point. Thereby, when the virtual arrow image 40 is displayed, the displayed virtual arrow image 40 is not unnaturally embedded in the image of the subject 30.
  • the change amount of the display position of the virtual arrow image 40 be linear with respect to the operation amount of the operation unit 104 or 203.
  • the distance L for each pixel is known. Therefore, the display position (X, Y in the three-dimensional image of the virtual arrow image 40 is set so that the displacement amount ⁇ l of the display position of the virtual arrow image 40 with respect to the operation amount ⁇ M (X, Y) shown in FIG. , Z).
  • the movement amount ⁇ l is constant with respect to the change of ⁇ M, including the movement amount in the depth direction.
  • the operation amount when the observer moves the operation unit 203 (mouse) from the coordinates (x1, y1) to the coordinates (x2, y2) is denoted by ⁇ M.
  • the virtual arrow image 40 is moved from the coordinates (X1, Y2) to the coordinates (X2, Y2) on the two-dimensional image as shown in FIG. 6 with respect to the operation amount ⁇ M.
  • the movement amount ⁇ l at this time is expressed by the following equation.
  • X1, Y1, and Z1 indicate the horizontal coordinate, vertical coordinate, and depth coordinate of the virtual arrow image 40 before movement, respectively.
  • X2, Y2, and Z2 indicate the horizontal coordinate, vertical coordinate, and depth coordinate of the virtual arrow image 40 after movement, respectively.
  • the operation amount of the operation unit 104 or 203 corresponds to the displacement amount of the virtual arrow image 40 in the three-dimensional image, it is possible to smoothly annotate the target position in the three-dimensional image. It is.
  • the operation amount of the operation unit 104 or 203 is associated with the displacement amount of the virtual arrow image 40, but the movement speed of the operation unit 104 or 203 is associated with the displacement amount of the virtual arrow image 40. You may let them.
  • the present invention has been described above based on the embodiments, but the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

医療用３次元観察装置
　本発明は、被検体の画像を３次元画像として観察可能な医療用３次元観察装置に関する。
　近年、外科手術等で使用される顕微鏡及び内視鏡において、被検体の体腔内の３次元画像を観察可能としているものがある。このような３次元画像を観察可能な顕微鏡及び内視鏡（以下、医療用３次元観察装置と言う）は、被検体の立体的な構造を把握することができるので、種々の状況で用いられている。特に、教育施設においては、ベテランの医師が、電子内視鏡で得られた体腔内の画像の特定の部位を示しながら学生や研修医等に指導を行う場合がある。このような指導のためには、２次元画像内で部位を指定するよりも３次元画像内で部位を指定するほうが分り易い。また、このような技術に関連して、画像内で指定した位置に、矢印やコメント等といったアノテーションを付加する技術も知られている（例えば日本国特開２００６－２１８２３３号公報）。
　３次元画像は、奥行き情報を有するものである。これに対し、前述した指導の際に用いられるマウス等のポインティングデバイスは、通常、２次元位置の情報を与えるものである。したがって、３次元画像内の目的の位置にアノテーションを付加する場合には、ポインティングデバイスによって指定された２次元位置を３次元位置に変換する必要がある。
　本発明は、前記の事情に鑑みてなされたもので、３次元画像と合致した深さ位置に正しくアノテーションを付加することが可能な医療用３次元観察装置を提供することを目的とする。
　前記の目的を達成するために、本発明の一態様の表示装置は、被検体を異なる視点から撮像する少なくとも一対の撮像部と、前記少なくとも一対の撮像部でそれぞれ得られた前記被検体の画像に従って、前記被検体の３次元画像を表示部に表示させる３次元画像処理部と、前記被検体の３次元画像が前記表示部の３次元再現空間のどの領域に再現されるかを演算する演算部と、前記３次元画像が再現される領域に対応した奥行き位置にアノテーション画像を重ねる指標重畳部とを具備する。
図１は、本発明の一実施形態に係る医療用３次元観察装置の構成を示す図である。 図２は、２眼撮像系を用いた三角測距法の原理を説明するための図である。 図３は、仮想矢印画像の重畳について説明するための図である。 図４は、操作部の操作量と仮想矢印画像の表示位置の変位量との関係を示す図である。 図５は、操作量ΔＭについて説明するための図である。 図６は、２次元画像上で仮想矢印画像を単純に移動させたときの移動量Δｌについて説明する図である。 図７は、奥行きの変化を考慮せずに操作量ΔＭと移動量Δｌとの関係を決定した場合の３次元画像上での移動量Δｌの変化を示す図である。 図８は、奥行きの変化を考慮して操作量ΔＭと移動量Δｌとの関係を決定した場合の３次元画像上での移動量Δｌの変化を示す図である。
　以下、図面を参照して本発明の実施形態を説明する。　
　図１は、本発明の一実施形態に係る医療用３次元観察装置の構成を示す図である。図１は、医療用３次元観察装置を電子画像顕微鏡に適用した例を示している。本実施形態の技術は、３次元画像を観察可能な各種の医療用観察装置に適用可能である。例えば、本実施形態の技術は、３次元観察が可能な電子内視鏡にも適用され得る。
　図１に示す医療用３次元観察装置１０は、概略的には、撮像部１０１と、画像処理部１０２と、３次元画像表示部１０３と、操作部１０４とを有している。また、医療用３次元観察装置１０は、パーソナルコンピュータ（以下、ＰＣと言う）２０と、通信自在に接続され得る。
　撮像部１０１は、それぞれが異なる視点から被検体３０を撮像する２眼の撮像系を有している。図１の撮像部１０１は、水平視差を有するように構成された撮像系である。言い換えれば、それぞれの撮像系は、レンズと、撮像素子と、を有し、水平方向に対して所定の基線長だけ離間するように配置されている。撮像部１０１は、垂直視差を有するように構成されても良い。この場合、それぞれの撮像系を、垂直方向に対して所定の基線長だけ離間するように配置すれば良い。また、図１は、２眼の撮像系を有する撮像部１０１を例示している、撮像部１０１は、３眼以上の撮像系を有していても良い。
　レンズ１０１１Ｒは、右眼用のレンズであり、被検体３０からの光束を右眼撮像素子１０１２Ｒに集光する。また、レンズ１０１１Ｌは、左眼用のレンズであり、被検体３０からの光束を、左眼撮像素子１０１２Ｌに集光する。
　右眼撮像素子１０１２Ｒは、光電変換素子からなる画素が２次元状に配置された受光面にカラーフィルタが形成されて構成されている。右眼撮像素子１０１２Ｒは、レンズ１０１１Ｒを介して受光面に入射した光束を、その光量に応じた電気信号（撮像信号）に変換する。左眼撮像素子１０１２Ｌは、右眼撮像素子１０１２Ｒと同様の構成を有し、レンズ１０１１Ｌを介して受光面に入射した光束を、その光量に応じた電気信号（撮像信号）に変換する。ここで、撮像素子は、主に、ＣＣＤ方式やＣＭＯＳ方式等があるが、本実施形態においては、何れの方式の撮像素子を用いても良い。
　画像処理部１０２は、撮像信号処理部１０２１と、演算部１０２２と、３次元画像処理部１０２３と、指標重畳部１０２４とを有している。
　撮像信号処理部１０２１は、右眼撮像信号処理部１０２１Ｒと、左眼撮像信号処理部１０２１Ｌと、を有している。右眼撮像信号処理部１０２１Ｒは、右眼撮像素子１０１２Ｒから入力された撮像信号を処理して右眼画像データを生成する。この処理は、ＣＤＳ（相関二重サンプリング）処理及びゲイン調整処理等のアナログ処理と、アナログ／デジタル（Ａ／Ｄ）変換処理と、色バランス補正処理や階調補正等のカラー画像化処理とが含まれる。左眼撮像信号処理部１０２１Ｌは、右眼撮像信号処理部１０２１Ｒと同様の構成を有し、左眼撮像素子１０１２Ｌから入力された撮像信号を処理して左眼画像データを生成する。
　演算部１０２２は、３次元画像表示部１０３による３次元表示の際に被検体の３次元画像が３次元画像表示部１０２３の３次元再現空間のどの領域に再現されるかを演算する。この演算は、撮像部１０１と被検体３０の各部位との間の距離を測定することに対応する。撮像部１０１と被検体３０の各部位との間の距離は、例えば右眼画像データと左眼画像データとの間の視差から、三角測距法を用いて演算される。２眼撮像系を用いた三角測距法の原理を、図２を参照して簡単に説明する。被検体３０を２眼の撮像系を用いて撮像した場合、被検体３０のある部位からの光は、右眼撮像素子１０１２Ｒについては基準位置からｘ１だけ離れた画素に入射するのに対し、左眼撮像素子１０１２Ｌについては基準位置からｘ２だけ離れた画素に入射する。ここで、２眼の撮像系の間の基線長をＢ、レンズの焦点距離ｆ、レンズから被検体３０までの距離をＬとすると、以下の関係が成立することが知られている。　
　　　Ｌ＝Ｂ×ｆ／（ｘ１＋ｘ２）　　　　　　　　　　　　　　　　　（式１）
（式１）より、視差（ｘ１＋ｘ２）を検出することによって、任意の画素における被検体までの距離Ｌを算出することが可能である。視差（ｘ１＋ｘ２）は、例えばブロックマッチング法によって検出することができる。ブロックマッチング法は、左眼画像データの特定のブロック（被検体３０が存在するブロック）と、最も相関の高いブロック（例えば差分絶対値が最も小さいブロック）を右眼画像データの中から検出する手法である。このとき、右眼画像データのブロックと左眼画像データのブロックとの位置差が視差（ｘ１＋ｘ２）となる。各画素に対して（式１）で示した計算を行うことにより、画素単位で距離情報を得ることも可能である。
　３次元画像処理部１０２３は、３次元画像表示部１０３における３次元表示動作を制御する。３次元表示の方式としては、例えば、レンチキュラーレンズ方式を用いることができる。レンチキュラーレンズ方式は、３次元画像表示部１０３の表示面に、複数のシリンドリカルレンズを有するレンチキュラーレンズを形成しておき、３次元画像表示部１０３に表示された右眼画像と左眼画像とを、レンチキュラーレンズによって観察者の右眼と左眼に振り分けて入射させることにより、観察者に立体視を与える方式である。勿論、３次元表示の方式として、レンチキュラーレンズ方式を用いることは必須ではない。レンチキュラーレンズの代わりに液晶レンズを用いたり、裸眼平行方式を用いたりする等、本実施形態は各種の３次元表示の方式に対して適用可能である。
　指標重畳部１０２４は、演算部１０２２で得られた被検体３０までの距離情報とＰＣ２０からの操作情報とに基づいて、３次元画像処理部１０２３による３次元画像表示の際に、被検体３０の３次元画像にアノテーション画像（例えば仮想矢印画像）を重畳する。アノテーション画像を重畳するために、指標重畳部１０２４は、各種のアノテーション画像のデータを格納している。
　３次元画像表示部１０３は、例えば表示面にレンチキュラーレンズが形成された液晶表示装置であり、３次元画像処理部１０２３からの右眼画像データ及び左眼画像データの入力を受けて３次元表示を行う。
　操作部１０４は、医療用３次元観察装置１０の操作部である。この操作部１０４は、観察者によって操作され、３次元画像表示部１０３の表示画面内における仮想矢印画像４０の移動指示を与える。操作部１０４は、例えばマウス等のポインティングデバイスである。
　ＰＣ２０は、概略的には、制御部２０１と、画像表示部２０２と、操作部２０３とを有している。
　制御部２０１は、例えばＣＰＵである。制御部２０１は、左眼撮像信号処理部１０２１Ｌから左眼画像データを受け取り、受け取った画像データに対応した２次元画像を画像表示部２０２に表示させる制御を行う。また、制御部２０１は、操作部２０３による操作情報を指標重畳部１０２４に入力する。
　画像表示部２０２は、例えば液晶表示装置であり、制御部２０１からの左眼画像データの入力を受けて２次元表示を行う。画像表示部２０２は、３次元表示可能な表示装置であっても良い。
も良い。
　操作部２０３は、観察者によって操作され、画像表示部２０２の表示画面内における仮想矢印画像４０の移動指示を与える。操作部２０３は、マウス等のポインティングデバイスである。
　以下、図１で示した医療用３次元観察装置１０の動作を説明する。観察者によって医療用３次元観察装置１０が起動されると、撮像部１０１によって被検体３０が撮像される。撮像部１０１の右眼撮像系で得られた撮像信号は、右眼撮像信号処理部１０２１Ｒで処理される。また、撮像部１０１の左眼撮像系で得られた撮像信号は、左眼撮像信号処理部１０２１Ｌで処理される。
　右眼撮像信号処理部１０２１Ｒで得られた右眼画像データと左眼撮像信号処理部１０２１Ｌで得られた左眼画像データとは、演算部１０２２に入力される。演算部１０２２では、右眼画像データと左眼画像データとの視差から、被検体３０までの距離が画素毎に算出される。この画素毎の距離情報及び視差情報は、演算部１０２２に保持される。
　また、右眼撮像信号処理部１０２１Ｒで得られた右眼画像データと左眼撮像信号処理部１０２１Ｌで得られた左眼画像データとは、３次元画像処理部１０２３にも入力される。３次元画像処理部１０２３は、右眼画像データに対応した右眼画像を３次元画像表示部１０３の右眼表示用の画素に表示させ、左眼画像データに対応した左眼画像を３次元画像表示部１０３の左眼表示用の画素に表示させるように、３次元画像表示部１０３の表示動作を制御する。
　３次元画像処理部１０２３の３次元表示動作と同期するように、指標重畳部１０２４は、アノテーション画像としての仮想矢印画像を重畳する。ここでは、矢印画像が重畳される例について説明する。矢印画像以外の各種のアノテーション画像が重畳されて良い。
　医療用３次元観察装置１０の起動時においては、仮想矢印画像を３次元画像表示部１０３の固定位置（例えば中央位置）に表示させる。３次元画像表示部１０３に３次元画像として表示される被検体画像と深さを合致させてアノテーション画像を重畳するために、仮想矢印画像の先端位置に対応する被検体部位における距離Ｌに応じた視差（ｘ１＋ｘ２）を、右眼画像データと左眼画像データとのそれぞれに重畳するアノテーション画像に与える。
　観察者は、３次元画像表示部１０３に表示された３次元画像を見て操作部１０４を操作する又は画像表示部２０２に表示された２次元画像を見て操作部２０３を操作することにより、仮想矢印画像の表示位置の移動指示を与える。この操作を受けて、指標重畳部１０２４は、操作部１０４又は２０３によって指定された表示画面上の位置（Ｘ，Ｙ）の画素における距離情報Ｌを演算部１０２２から取得する。この位置（Ｘ，Ｙ）は、例えば左眼画像データ上での位置とする。
　距離情報Ｌを取得した後、指標重畳部１０２４は、取得した距離情報Ｌに対応した深さに仮想矢印画像４０が表示されるよう、仮想矢印画像４０の視差を変更する。左眼画像データ上の位置（Ｘ，Ｙ）に仮想矢印画像４０の位置を変更する場合、図３に示すように、右眼画像Ｒにおける仮想矢印画像４０と左眼画像Ｌにおける仮想矢印画像４０の視差が（ｘ１＋ｘ２）となるように、仮想矢印画像４０を右眼画像Ｒに重畳する。
　以上説明したように、本実施形態によれば、観察者が３次元画像表示部１０３上で指定した被検体３０の位置の実際の距離に応じて、３次元画像に重畳する仮想矢印画像４０に視差を与えるようにしている。これにより、図４に示すように、観察者の眼Ｅには、意図した３次元画像内の被検体に深さが合致して仮想矢印画像４０が付加されているように見える。
　［変形例］
　以下、本実施形態の変形例について説明する。前述の例では、視差を与えるように仮想矢印画像４０を右眼画像データＲと左眼画像データＬとにそれぞれ重畳させる例を示している。実際には、仮想矢印画像４０を重畳させる際には、被検体３０の画像を隠さないように仮想矢印画像４０を重畳させることがより好ましい。このための手法として、位置（Ｘ，Ｙ）の指定があったときには、指定された位置（Ｘ，Ｙ）の距離とその周辺の距離とを比較し、仮想矢印画像の周辺に仮想矢印画像よりも近い位置に被検体３０の画像がある場合、近点の被検体３０の画像を避けるように仮想矢印画像４０を重畳する。これにより、仮想矢印画像４０の表示の際に、表示させた仮想矢印画像４０が被検体３０の画像に埋没した不自然な表示となることがない。
　また、操作感を向上させる意味においては、操作部１０４又は２０３の操作量に対して仮想矢印画像４０の表示位置の変化量を線形にすることが望ましい。画素毎の距離Ｌが既知である。したがって、図４に示す、操作量ΔＭ（Ｘ，Ｙ）に対する仮想矢印画像４０の表示位置の変位量Δｌが一定となるように、仮想矢印画像４０の３次元画像内における表示位置（Ｘ，Ｙ，Ｚ）を決定する。ここで、移動量Δｌは、奥行き方向の移動量も加味した移動量がΔＭの変化に対して一定であることが望ましい。
　例えば、図５に示すようにして、観察者が操作部２０３（マウス）を座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）まで移動させたときの操作量をΔＭとする。操作量ΔＭに対し、図６に示すようにして２次元画像上で仮想矢印画像４０を座標（Ｘ１，Ｙ２）から座標（Ｘ２，Ｙ２）まで移動させるとする。このときの移動量Δｌは、以下の式で表される。
　　　Δｌ＝ｋ×ΔＭ　（ｋは所定の係数）
　上式のように深さ方向の移動量を加味しない制御をした場合、３次元画像表示部１０３上では、仮想矢印画像４０は図７の矢印Ａで示す間隔で移動する。図７からも分かるように、単位時間当たりの仮想矢印画像の動きは奥行き方向において早くなるので、観察者は、奥行きが変化する画像位置において細かいポインティングをすることができない。奥行きが変化する画像位置においても細かいポインティングをするためには、図８で示すようにして仮想矢印画像４０を移動させる必要がある。図８の傾斜部分の２点間の距離は、以下の式で表される。
　　　√（（Ｘ１－Ｘ２）２＋（Ｙ１－Ｙ２）2＋（Ｚ１－Ｚ２）2）
　ここで、Ｘ１、Ｙ１、Ｚ１は、それぞれ移動前の仮想矢印画像４０の水平座標、垂直座標、奥行き座標を示している。また、Ｘ２、Ｙ２、Ｚ２は、それぞれ移動後の仮想矢印画像４０の水平座標、垂直座標、奥行き座標を示している。上式がΔｌとなるように、Ｘ２Ｙ２、Ｚ２を決めることにより、深さ方向に変化のある被写体でも、細かく仮想矢印画像を操作することが可能となる。このようにして操作部１０４又は２０３の操作量と仮想矢印画像４０の３次元画像内での変位量とを対応させることにより、３次元画像内の目的の位置に対するアノテーションをスムーズに行うことが可能である。ここで、本変形例では操作部１０４又は２０３の操作量と仮想矢印画像４０の変位量とを対応させているが、操作部１０４又は２０３の移動速度と仮想矢印画像４０の変位量とを対応させても良い。
　以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、３次元画像処理部１０２３で右眼用画像と左眼用画像を水平方向にシフトさせることで表示部１０３における被検体３０の再現深さを調節することが可能であるが、仮想矢印画像でもそのシフト量を加えた視差を与えることが含まれる。

Claims (4)

  1. 　被検体を異なる視点から撮像する少なくとも一対の撮像部と、
    　前記少なくとも一対の撮像部でそれぞれ得られた前記被検体の画像に従って、前記被検体の３次元画像を表示部に表示させる３次元画像処理部と、
    　前記被検体の３次元画像が前記表示部の３次元再現空間のどの領域に再現されるかを演算する演算部と、
    　前記３次元画像が再現される領域に対応した奥行き位置にアノテーション画像を重ねる指標重畳部と、
    　を具備する医療用３次元観察装置。
  2. 　前記表示部に表示された３次元画像における、前記指標の表示位置の変化の指示を与える指示部をさらに具備し、
    　前記指標重畳部は、前記指標の表示位置の変化の指示に対して前記アノテーション画像の表示位置を線形に変化させるように前記アノテーション画像を重ねる請求項１に記載の医療用３次元観察装置。
  3. 　前記アノテーション画像の表示位置の変化の指示は、前記表示部の表示面に対して平行な平面内で行われる請求項２に記載の医療用３次元観察装置。
  4. 　前記指標重畳部は、前記指標が前記３次元画像における前記被検体よりも常に手前側に位置するように前記アノテーション画像を重ねる請求項１乃至３の何れか１項に記載の医療用３次元観察装置。
PCT/JP2013/063705 2012-05-30 2013-05-16 医療用３次元観察装置 Ceased WO2013179905A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013556930A JP5629023B2 (ja) 2012-05-30 2013-05-16 医療用３次元観察装置
US14/556,513 US9207445B2 (en) 2012-05-30 2014-12-01 Medical three-dimensional observation apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012123726 2012-05-30
JP2012-123726 2012-05-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/556,513 Continuation US9207445B2 (en) 2012-05-30 2014-12-01 Medical three-dimensional observation apparatus

Publications (1)

Publication Number Publication Date
WO2013179905A1 true WO2013179905A1 (ja) 2013-12-05

Family

ID=49673108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/063705 Ceased WO2013179905A1 (ja) 2012-05-30 2013-05-16 医療用３次元観察装置

Country Status (3)

Country Link
US (1) US9207445B2 (ja)
JP (1) JP5629023B2 (ja)
WO (1) WO2013179905A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015220643A (ja) * 2014-05-19 2015-12-07 株式会社東芝 立体観察装置
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
EP3097691A4 (en) * 2014-01-20 2017-09-06 Samsung Electronics Co., Ltd. Method and apparatus for reproducing medical image, and computer-readable recording medium
WO2019181632A1 (en) 2018-03-20 2019-09-26 Sony Corporation Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
JP2022102041A (ja) * 2020-12-25 2022-07-07 時男 後藤 三次元アノテーション描写システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020022563A (ja) * 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
CN111314686B (zh) * 2020-03-20 2021-06-25 深圳市博盛医疗科技有限公司 一种自动优化3d立体感的方法、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003167924A (ja) * 2001-12-03 2003-06-13 Ricoh Co Ltd ３次元形状処理装置および３次元座標値入力方法
JP2003203241A (ja) * 2002-01-04 2003-07-18 Mitsubishi Electric Corp 直線データ作成装置及び方法並びにプログラム
JP2006218233A (ja) * 2005-02-14 2006-08-24 Olympus Corp 内視鏡装置
JP2009168499A (ja) * 2008-01-11 2009-07-30 Olympus Corp 内視鏡装置およびプログラム
JP2013009864A (ja) * 2011-06-29 2013-01-17 Toshiba Corp ３次元画像処理装置
JP2013101599A (ja) * 2011-10-13 2013-05-23 Toshiba Corp ３次元画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4935810A (en) * 1988-10-26 1990-06-19 Olympus Optical Co., Ltd. Three-dimensional measuring apparatus
US6364888B1 (en) * 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
US6493608B1 (en) * 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
JP6071331B2 (ja) * 2012-08-27 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003167924A (ja) * 2001-12-03 2003-06-13 Ricoh Co Ltd ３次元形状処理装置および３次元座標値入力方法
JP2003203241A (ja) * 2002-01-04 2003-07-18 Mitsubishi Electric Corp 直線データ作成装置及び方法並びにプログラム
JP2006218233A (ja) * 2005-02-14 2006-08-24 Olympus Corp 内視鏡装置
JP2009168499A (ja) * 2008-01-11 2009-07-30 Olympus Corp 内視鏡装置およびプログラム
JP2013009864A (ja) * 2011-06-29 2013-01-17 Toshiba Corp ３次元画像処理装置
JP2013101599A (ja) * 2011-10-13 2013-05-23 Toshiba Corp ３次元画像処理装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3097691A4 (en) * 2014-01-20 2017-09-06 Samsung Electronics Co., Ltd. Method and apparatus for reproducing medical image, and computer-readable recording medium
JP2015220643A (ja) * 2014-05-19 2015-12-07 株式会社東芝 立体観察装置
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN107613839A (zh) * 2015-06-11 2018-01-19 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
JPWO2016199273A1 (ja) * 2015-06-11 2018-03-29 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN107613839B (zh) * 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
WO2019181632A1 (en) 2018-03-20 2019-09-26 Sony Corporation Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
JP2022102041A (ja) * 2020-12-25 2022-07-07 時男 後藤 三次元アノテーション描写システム
JP7667656B2 (ja) 2020-12-25 2025-04-23 時男 後藤 手術支援用三次元アノテーション描写システム

Also Published As

Publication number Publication date
JP5629023B2 (ja) 2014-11-19
JPWO2013179905A1 (ja) 2016-01-18
US20150085081A1 (en) 2015-03-26
US9207445B2 (en) 2015-12-08

Similar Documents

Publication Publication Date Title
JP5629023B2 (ja) 医療用３次元観察装置
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
JP4750175B2 (ja) ステレオ光学系、並びにそれを用いたステレオ計測用光学装置、ステレオ計測装置及びステレオ観察装置
JP5284731B2 (ja) 立体画像撮影表示システム
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
US9210407B2 (en) Image processing apparatus and method, and program
TWI517136B (zh) Image display device and image display method
JPWO2017179350A1 (ja) 画像表示制御装置および方法並びにプログラム
CN113925441B (zh) 一种基于内窥镜的成像方法及成像系统
JP5701140B2 (ja) 立体内視鏡装置
JP6666467B2 (ja) 医療用観察装置、及び制御方法
CN108135468A (zh) 使用光场显微镜检查的眼科手术
CN105009581B (zh) 立体内窥镜系统
JPWO2016194178A1 (ja) 撮像装置、内視鏡装置及び撮像方法
US20120249533A1 (en) Stereoscopic display apparatus
EP3021287A1 (en) Method for transmitting and receiving stereo information about a viewed space
JP2006208407A (ja) 立体画像観察用顕微鏡システム
EP3130273B1 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
CN201060370Y (zh) 一种具有环视功能的裸眼立体显示器
JP2006340017A (ja) 立体映像表示装置及び立体映像表示方法
JP5689693B2 (ja) 描画処理装置
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
JP2012085172A (ja) コミュニケーション装置、コミュニケーション方法、及びプログラム
Alam et al. 3D visualization of 2D/360 image and navigation in virtual reality through motion processing via smartphone sensors
JP2007187590A (ja) 立体計測装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013556930

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13797912

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13797912

Country of ref document: EP

Kind code of ref document: A1