[go: up one dir, main page]

WO2016039292A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2016039292A1
WO2016039292A1 PCT/JP2015/075327 JP2015075327W WO2016039292A1 WO 2016039292 A1 WO2016039292 A1 WO 2016039292A1 JP 2015075327 W JP2015075327 W JP 2015075327W WO 2016039292 A1 WO2016039292 A1 WO 2016039292A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
scale
subject
information
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/075327
Other languages
English (en)
French (fr)
Inventor
美穂 南里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016530258A priority Critical patent/JPWO2016039292A1/ja
Publication of WO2016039292A1 publication Critical patent/WO2016039292A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an endoscope system that displays an image of a subject.
  • Japanese Patent Application Laid-Open No. 2005-118107 as a first conventional example displays a wide-angle image and an enlarged image in which a part of the wide-angle image is enlarged, and a wide-angle image coordinate scale on the wide-angle image.
  • the magnification of the wide angle image and the enlarged image can be easily grasped.
  • a numerical value based on the enlargement rate in each direction is given as a coordinate scale in two orthogonal directions. Further, it is disclosed that a lattice scale or a concentric circle scale is used as the coordinate scale.
  • Japanese Patent Laid-Open No. 2007-90060 as a second conventional example makes it possible to select a circumferential scale and a grid for an image of an object.
  • the contents of displaying the scale image as the image of the scale when each position in the displayed image exists substantially at the same distance from the position of the viewpoint. Is disclosed. For this reason, each part corresponding to each position on the image from the viewpoint position (on the observation target part side) as in the case of displaying an image when the observation target part such as a lesion is observed from an oblique direction is displayed.
  • the size when the above-mentioned conventional example is applied and the size of the lesioned part is measured by the scale image (the scale on the image reflects the change in the distance)
  • the present invention has been made in view of the above-described points, and an object thereof is to provide an endoscope system capable of accurately measuring the size of a site such as a lesioned part.
  • An endoscope system includes a subject image generation unit configured to generate a subject image obtained by viewing a subject from a predetermined viewpoint, and at least two directions different from each other on the subject image
  • the first scale is configured to generate a first scale image configured to reflect the lengths in different directions on the subject image on the subject image.
  • the image generation unit is configured using different scales for at least two different directions on the subject image, and reflects the lengths in the different directions on the subject on the subject image.
  • a second scale image generation unit configured to generate a second scale image; and the first scale image or the second scale for the subject image. Having an image processing unit configured to generate a superimposed image obtained by selectively superimposing the scaled image.
  • FIG. 1 is a diagram showing an overall configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the image processing apparatus and the like in FIG.
  • FIG. 3A is a diagram showing a superimposed image on which concentric first scale images having the same scale in different directions on the endoscopic image are superimposed.
  • FIG. 3B is a diagram showing a superimposed image in which a second scale image having a grid shape with different scales in two different directions on the endoscopic image is superimposed.
  • FIG. 4 is a diagram showing a second coordinate system or the like set to a 3D model in which the bladder is approximated by a sphere.
  • FIG. 1 is a diagram showing an overall configuration of an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the image processing apparatus and the like in FIG.
  • FIG. 3A is a diagram showing a superimposed image on which concentric first scale images having the same
  • FIG. 5A is a diagram showing a monitor screen in which an endoscopic image in an endoscopic image display area and a superimposed image in a superimposed image display area are displayed adjacent to each other.
  • FIG. 5B is a diagram showing a monitor screen displaying a superimposed image in which a scale image is superimposed on an endoscopic image in an endoscopic image display area.
  • FIG. 6A is an explanatory diagram of a perspective relationship calculation circuit calculating a perspective relationship as a relationship in which the distance from the viewpoint to each point on the subject corresponding to each point on the endoscopic image changes.
  • FIG. 6B is a diagram illustrating a state in which the inner surface of the bladder is observed in an observation state in which the line-of-sight direction is nearly perpendicular to the inner surface of the bladder.
  • FIG. 6C is an explanatory diagram of a state in which the inner surface of the bladder is observed in a state where the line-of-sight direction is set in a direction perpendicular to the inner surface of the bladder.
  • FIG. 7 is a flowchart illustrating an operation including a processing procedure by the image processing apparatus according to the first embodiment.
  • FIG. 8A is a flowchart showing a first scale image generation process.
  • FIG. 8B is an explanatory diagram of the operation of FIG. 8A.
  • FIG. 9A is a flowchart showing a second scale image generation process.
  • FIG. 9B is an explanatory diagram illustrating the operation of FIG. 9A.
  • FIG. 10 is a diagram illustrating a superimposed image on which a grid-shaped first scale image is superimposed.
  • an endoscope system 1 As shown in FIG. 1, an endoscope system 1 according to a first embodiment of the present invention includes an endoscope 2 that observes (or examines) the inside of a patient P as a subject, a light source device 3, and a processor 4. And an image processing device 5, a monitor 6, and a magnetic field generator 7.
  • the endoscope system 1 has a function of observing in two observation modes of normal light observation and special light observation.
  • An operator who is a user of the endoscope system 1 performs an endoscopic examination inside the bladder B as a predetermined luminal organ in a patient P as a subject placed on his / her back on the bed 8.
  • the endoscope 2 includes an operation unit 2a, a flexible insertion unit 2b, and a universal cable 2c.
  • the endoscope 2 is configured by, for example, an endoscope for bladder examination.
  • a light guide 9 as shown in FIG. 2 is inserted into the universal cable 2c, and the endoscope 2 passes illumination light from the light source device 3 through the light guide 9 and the distal end portion 2d of the insertion portion 2b. And illuminates the subject (bladder B) in which the distal end portion 2d of the insertion portion 2b is inserted.
  • the distal end portion 2d of the insertion portion 2b is provided with an objective optical system 10 and an imaging surface at its imaging position, and an optical image formed on the imaging surface is photoelectrically converted.
  • An image sensor 11 that outputs an image signal is provided.
  • the part in the bladder B illuminated by the illumination light of the light source device 3 is imaged by the image sensor 11. Therefore, the objective optical system 10 and the image sensor 11 are inserted into the subject to form an imaging unit (or an imaging device) 12 that images the inside of the subject.
  • An imaging signal obtained by the imaging element 11 is input to a subject image generation unit that generates a subject image or a processor 4 as a subject image generation device via a signal line in the universal cable 2c.
  • Image generation processing is performed in the image generation circuit 4a in the processor 4 to generate an endoscope image as a subject image.
  • the image generation circuit 4a in the processor 4 converts the optical image of the subject imaged on the imaging surface of the imaging device 11 of the imaging unit 12 mounted on the distal end 2d into an electrical imaging signal.
  • the object image corresponding to the optical image is generated by conversion, and the generated object image is displayed on the monitor 6 as an endoscope image.
  • the position of the imaging unit 12 for imaging the subject and the imaging direction for imaging are the viewpoint position and the line-of-sight direction when the subject image is generated by looking at the subject.
  • the processor 4 has a changeover switch 4b for switching the observation mode.
  • An observation mode signal designated by the changeover switch 4b is input to the image generation circuit 4a.
  • the image generation circuit 4a is an observation designated by the changeover switch 4b.
  • An endoscopic image corresponding to the mode is generated.
  • a normal light observation image captured under illumination of normal light (as white light) is generated, and the special light observation mode is specified In this case, a special light observation image (narrow band light observation image in a narrow sense) is generated.
  • the observation mode signal from the changeover switch 4b is input to the LED control circuit 3a of the light source device 3, and the LED control circuit 3a controls to generate illumination light according to the observation mode.
  • the LED control circuit 3a When the normal light observation mode is designated by the changeover switch 4b, the LED control circuit 3a performs control so that the white LED 3b serving as the light source for the normal light observation mode emits light, and the special light observation mode is designated. In this case, the LED control circuit 3a performs control so that the narrow-band blue LED 3c serving as the light source for the special light observation mode emits light.
  • the narrow-band blue LED 3c When the narrow-band blue LED 3c emits light, the narrow-band blue light is selectively reflected by the dichroic mirror 3d disposed at an angle of 45 degrees on the optical path in which the narrow-band blue light travels, and then is collected by the condenser lens 3e. The condensed light is incident on the base end of the light guide 9.
  • the narrow-band blue illumination light incident on the proximal end of the light guide 9 is transmitted by the light guide 9 and emitted from the illumination window to which the distal end of the light guide 9 is attached.
  • illumination for a narrow-band light observation mode is performed.
  • white light emitted from the white LED 3b is selectively transmitted by the dichroic mirror 3d disposed on the optical path, and most of the white light except for the narrow-band blue light is selectively transmitted by the condenser lens 3e.
  • Light is incident on the proximal end of the light guide 9.
  • White illumination light other than the narrow-band blue light incident on the base end of the light guide 9 is transmitted by the light guide 9 and emitted from the illumination window to which the tip of the light guide 9 is attached, for the normal light observation mode. Do the lighting.
  • the endoscopic image generated by the processor 4 (the image generation circuit 4 a thereof) is output from the processor 4 to the monitor 6, and the live endoscopic image is displayed on the monitor 6.
  • the operator who performs the examination can insert the distal end portion 2d of the insertion portion 2b from the urethra of the patient P and observe the inside of the bladder B (shown by a dotted line in FIG. 1) of the patient P.
  • a magnetic sensor 13 as a position sensor is disposed at the distal end portion 2d of the insertion portion 2b. Specifically, as shown in FIG. 2, a magnetic sensor 13 is provided in the vicinity of the objective optical system 10 and the imaging element 11 that constitute the imaging unit 12 of the distal end portion 2 d.
  • the magnetic sensor 13 is used to detect a three-dimensional position (simply a position) that is the viewpoint of the imaging unit 12 at the distal end portion 2d and the line-of-sight direction at that position.
  • a three-dimensional position that is the viewpoint of the imaging unit 12 at the distal end portion 2d and the line-of-sight direction at that position.
  • the optical axis direction of the objective optical system 10 constituting the imaging unit 12 mounted on the distal end portion 2d is parallel to the axial direction of the distal end portion 2d.
  • the position and the line-of-sight direction can be approximated to the position of the tip 2d and its axial direction (simply the direction).
  • an optical image of the subject is formed on the imaging surface of the imaging device 11 arranged at the tip 2d by the objective optical system 10 arranged at the tip 2d.
  • an optical image formed by the objective optical system 10 disposed at the distal end portion 2d is transmitted to the rear (base end) side of the insertion portion 2b by the optical image transmission system, and the insertion portion 2b
  • the present invention can also be applied to an endoscope in which an image is picked up by an image pickup element arranged on the base end side.
  • the viewpoint position (and the line-of-sight direction) of the objective optical system 10 (arranged at the tip 2d) is used rather than the expression of the viewpoint position (and the line-of-sight direction) of the imaging unit. Is more reasonable. Therefore, in the following description, the viewpoint position and the line-of-sight direction are mainly used as the viewpoint position and the line-of-sight direction of the objective optical system 10, or instead of the viewpoint position and the line-of-sight direction as an approximate expression (objective optical system In some cases, the position and direction (of 10 or the tip 2d) are used.
  • the magnetic sensor 13 includes, for example, two coils 2e.
  • the magnetic sensor 13 is a sensor that detects the position and direction of the tip 2d.
  • a signal line 2 f of the magnetic sensor 13 extends from the endoscope 2 and is connected to the image processing device 5 (internal position / direction acquisition circuit 25).
  • the magnetic field generator 7 generates a magnetic field at a predetermined position that is known, and the magnetic sensor 13 detects the magnetic field generated by the magnetic field generator 7.
  • the magnetic field detection signal is input from the endoscope 2 to the image processing device 5 (internal position / direction acquisition circuit 25) via the signal line 2f.
  • the position direction acquisition circuit 25 uses the amplitude and phase of the input detection signal as the viewpoint position information (viewpoint position information) as the position of the objective optical system 10 disposed at the distal end portion 2d and the viewpoint direction.
  • an information acquisition circuit 25a that forms an information acquisition unit that acquires line-of-sight direction information.
  • the subject to be examined is the inner surface of the bladder B, and the bladder B can be approximated by a sphere as will be described later.
  • a release button 14 is provided on the operation unit 2 a of the endoscope 2.
  • the release button 14 is a button to be pressed when a user such as an operator records an endoscopic image.
  • a release button operation signal is input to the processor 4, and the processor 4 generates a release signal and outputs it to the image processing device 5.
  • An endoscopic image when the release button 14 is pressed is recorded in a memory 22 described later of the image processing device 5.
  • the endoscope 2 includes an ID generation unit (simply abbreviated as “ID” in FIG. 2) configured by a ROM (read only memory) that generates identification information (abbreviated as “ID”) unique to each endoscope 2.
  • ID generation unit 15 is input to the image processing device 5 (inside the position / direction acquisition circuit 25) via the processor 4. As shown in FIG. 2, the ID may be input to the image processing device 5 (inside position / direction acquisition circuit) without going through the processor 4.
  • the position / direction acquisition circuit 25 is configured by the imaging unit 12 such as the focal length of the objective optical system 10 from the ID, the number of pixels of the image sensor 11 that captures an optical image by the objective optical system 10, the size of the pixel, and the angle of view (viewing angle).
  • a function of an imaging information acquisition unit (or imaging information acquisition circuit) 25b that acquires imaging information in the case of imaging is provided. The acquired imaging information is used when calculating the perspective relationship described later.
  • the image processing apparatus 5 includes a central processing unit (hereinafter referred to as a CPU) 21, a memory 22, a display interface (hereinafter abbreviated as display I / F) 23, an image capturing circuit 24, and a position / direction acquisition circuit. 25, a luminal organ extraction circuit 26, and a drive circuit 27.
  • the CPU 21, the memory 22, the display I / F 23, the image capture circuit 24, the position / direction acquisition circuit 25, and the luminal organ extraction circuit 26 are connected to each other via a bus 28.
  • the endoscope system 1 includes a CT (Computed Tomography) device 29 for acquiring three-dimensional information related to a patient P as a subject, and an image processing device 5 with various types of users.
  • CT Computer Tomography
  • the CPU 21 constitutes a control unit that controls processing of each unit in the image processing device 5 and is arranged at the distal end portion 2d using the viewpoint position information, the line-of-sight direction information, and the imaging information acquired by the position / direction acquisition circuit 25.
  • a perspective relation calculation circuit 21a for calculating a perspective relation corresponding to a magnitude relation of a distance from a position serving as a viewpoint of the objective optical system 10 to each point on the subject corresponding to each point in the subject image;
  • a scale image generation circuit 21b that generates two types of scale images to be superimposed on the specimen image and a superimposed image generation circuit 21c that forms an image processing unit that generates the superimposed image are provided.
  • the scale image generation circuit 21b is configured using the same scale in at least two different directions on the subject image, and reflects the lengths in different directions on the subject on the subject image.
  • the first scale image generation circuit 21d that generates a first scale image having a scale (scale) of 2 and a difference 2 calculated at least on the subject image in accordance with the perspective relationship calculated by the perspective relationship calculation circuit 21a.
  • a second scale image is generated by using different scales for one direction, and generates a second scale image having a scale (scale) reflecting the length in the different direction on the subject on the subject image.
  • Scale image generation circuit 21e. 3A shows a superimposed image Is obtained by superimposing the first scale image I1 on the endoscopic image Ien as the subject image, and FIG.
  • 3B shows a second scale image I2 superimposed on the endoscopic image Ien.
  • the superimposed image Is is shown.
  • 3A and 3B are shown in a state of being generated on the image display memory in the display I / F 23, for example, and the superimposed image on the image display memory is displayed in a size corresponding to the display size of the monitor 6.
  • the relative scale relationship between the endoscopic image Ien and the first scale image I1 or the second scale image I2 on the image display memory does not change.
  • the CPU 21 obtains the first coordinate system (X 0 Y 0 Z as a coordinate system based on the magnetic field generator 7 when the position information and the line-of-sight direction information acquired by the position / direction acquisition circuit 25 are acquired.
  • 0 (see FIG. 1) has a function of a coordinate conversion processing circuit 21f for converting into an intermediate coordinate system (X 1 Y 1 Z 1 ) (see FIG. 1) based on the entrance of the bladder B.
  • the coordinate conversion processing circuit 21f determines the position and direction of the entrance of the bladder B as the reference position and the reference direction, and uses the position / direction information of the position / direction acquisition circuit 25 in accordance with the following expressions (1) and (2).
  • the information is converted into position / direction information of an intermediate coordinate system (X 1 Y 1 Z 1 ) based on the entrance of B.
  • P 1 R 01 P 0 + M 01 (1)
  • V 1 R 01 V 0 ⁇ formula (2)
  • P 0 and V 0 are respectively a position (vector notation) in the first coordinate system (X 0 Y 0 Z 0 ), which is a coordinate system based on the magnetic field generator 7, and a magnitude of 1 Direction vector.
  • R 01 is a rotation matrix expressed by the following equation (3)
  • M 01 is a parallel progression sequence expressed by the following equation (4).
  • the rotation matrix R 01 is obtained so as to satisfy the following conditions.
  • the condition that the rotation matrix R 01 satisfies is that the Z 1 axis is parallel to the gravity direction, and that V ′ 0 is projected onto the X 1 Y 1 plane perpendicular to the Z 1 axis, and the projected vector direction is represented by Y One axis, a vector perpendicular to the Y 1 Z 1 plane is taken as the X 1 axis.
  • the coordinate conversion processing circuit 21f converts the position vector and the direction vector of the intermediate coordinate system (X 1 Y 1 Z 1 ) into the center of the spherical 3D model image M1 according to the following equations (7) and (8).
  • FIG. 4 is a diagram for explaining the relationship between the intermediate coordinate system (X 1 Y 1 Z 1 ) and the second coordinate system (X 2 Y 2 Z 2 ).
  • P 2 R 12 P 1 + M 02 (7)
  • V 2 R 12 V 1 (8)
  • P 1 and V 1 are a position (vector) and a direction vector at an arbitrary position in the intermediate coordinate system (X 1 Y 1 Z 1 ), respectively
  • P 2 and V 2 are the second A position vector and a direction vector when converted into the coordinate system (X 2 Y 2 Z 2 ).
  • P 0 and V 0 are set to a position (vector) representing the position of the viewpoint of the objective optical system 10 of the objective optical system 10 calculated from the position / direction acquisition circuit 25 and a direction vector in the line-of-sight direction
  • P 0 and V 0 are P 1 and V 1 are converted, and P 1 and V 1 are further converted into P 2 and V 2 . That is, when P 0 and V 0 are acquired as the viewpoint position and the direction vector in the line-of-sight direction, the corresponding P 2 and V 2 are the viewpoints of the objective optical system 10 in the second coordinate system (X 2 Y 2 Z 2 ).
  • Position vector (also used as Pv) and a direction vector in the line-of-sight direction V also used as V).
  • R 12 is a rotation matrix represented by the following equation (9), and M 02 is a parallel progression represented by the following equation (10).
  • Equation 9 [Equation 10] Therefore, a point on the intermediate coordinate system (X 1 Y 1 Z 1) (x 1, y 1, z 1) , as shown in the following equation (11), a second coordinate system (X 2 Y 2 Z 2 ) is converted to a point (x 2 , y 2 , z 2 ) above.
  • the position of (the inner surface of the bladder B) can also be handled using the second coordinate system (X 2 Y 2 Z 2 ).
  • the viewpoint position Pv and the line-of-sight direction V in the second coordinate system (X 2 Y 2 Z 2 ) of the objective optical system 10 of the distal end portion 2d are determined, the center position (center portion) of the imaging surface 11a of the imaging device 11 is determined.
  • the coordinate position (also referred to simply as position) Ps on the inner surface of the sphere (which represents the bladder B) to be imaged is obtained using the sphere radius R as follows.
  • a coefficient k satisfying the following equations (15) and (16) is calculated, and a position (or reference position) Ps as a coordinate position in the second coordinate system (X 2 Y 2 Z 2 ) is obtained.
  • Ps Pv + kV (15)
  • R
  • the perspective relation calculating circuit 21a can calculate the distance between the position Pv of the viewpoint and the position Ps on the inner surface by calculating the position Ps by Expressions (15) and (16).
  • the memory 22 shown in FIG. 2 is formed using a ROM, a RAM (Random Access Memory), a flash memory, or the like.
  • the memory 22 stores various processing programs executed by the CPU 21 and various data, and further generates an image.
  • the information of the endoscopic image generated by the circuit 4a, the position information acquired by the position / direction acquisition circuit 25, the line-of-sight direction information, and the like are also stored. That is, the memory 22 is acquired by the endoscope image information storage unit 22a that stores information of an endoscope image, the position / direction information storage unit 22b that stores viewpoint position information and line-of-sight direction information, and the CT apparatus 29.
  • a patient image information storage unit (or subject image information storage unit) 22c that stores three-dimensional image information including at least the bladder B of the patient P as a subject.
  • the endoscope image information storage unit 22a, the position / direction information storage unit 22b, and the patient image information storage unit 22c are formed by different storage areas in the memory 22, for example. Therefore, each of these storage units can also be called a storage area or a storage device.
  • the luminal organ extraction circuit 26 extracts a hollow three-dimensional image of the bladder B as a luminal organ from the three-dimensional image information of the patient P. That is, the luminal organ extraction circuit 26 has a function of the bladder extraction circuit 26a that extracts a three-dimensional image of the bladder B.
  • the extracted three-dimensional image information of the bladder B is stored in the patient image information storage unit 22c in the memory 22 as the 3D model image M1. Therefore, the patient image information storage unit 22c has a function of an organ model image storage unit.
  • the organ model image storage unit may be formed in a storage area in the memory 22 other than the patient image information storage unit 22c.
  • the 3D model image M1 as an organ model image stored in the memory 22 is read by, for example, the CPU 21 and displayed on the monitor 6 via the display I / F 23.
  • a composite image obtained by combining the endoscopic image generated by the image generation circuit 4a, the superimposed image generated by the image processing device 5, and the organ model image is input to the monitor 6, and the monitor 6 is shown in FIG. 5A.
  • the endoscope image Ien is displayed in the endoscope image display area A1
  • the 3D model image M1 is displayed in the organ model display area A3.
  • the endoscope image generated by the image generation circuit 4a is output to the monitor 6 as indicated by a dotted line in FIG. 2, and the endoscope image is displayed in the endoscope image display area A1.
  • the image Ien may be displayed.
  • it has the display mode change function which changes the 1st display form shown to FIG. 5A to a 2nd display form, and a user changes from the input device 30 comprised from a keypad etc. It can change so that a superimposition image may be displayed in endoscope image display area A1 by input. For example, when a change input for changing the display form of FIG. 5A is performed, the superimposed image Is is displayed in the endoscope image display area A1 as shown in FIG. 5B, and 3D is displayed in the organ model display area A3 on the right side thereof. A model image M1 is displayed.
  • the image capturing circuit 24 illustrated in FIG. 2 has a function of an image capturing unit that performs processing for capturing an endoscopic image generated by the processor 4 at a certain period.
  • the image capture circuit 24 acquires, for example, 30 endoscopic images per second, which are the same as the frame rate, from the processor 4.
  • the image capture circuit 24 also receives a release signal from the processor 4.
  • the image capturing circuit 24 captures a three-dimensional image of the patient P as a subject acquired in advance by the CT apparatus 29 described above, and stores the captured three-dimensional image information of the patient P in the memory 22. It memorize
  • the position / direction acquisition circuit 25 controls the drive circuit 27 that drives the magnetic field generator 7 to generate a predetermined magnetic field in the magnetic field generator 7, detects the magnetic field by the magnetic sensor 13, and detects the detected magnetic field. From the detection signal, the position coordinates (x, y, z) that is the viewpoint of the objective optical system 10 and the orientation (vector of magnitude 1) that is the line-of-sight direction, that is, the position information of the viewpoint and the line-of-sight direction information are the first. Generate in real time in the coordinate system (X 0 Y 0 Z 0 ).
  • the position / direction acquisition circuit 25 acquires the position information and direction information from the magnetic sensor 13, and the viewpoint position information and the line-of-sight direction information of the objective optical system 10 (simplified position line-of-sight). Also called direction information).
  • the CPU 21 obtains (the information thereof) the endoscopic image captured by the image capturing circuit 24 and the position / direction information calculated from the position / direction information detected by the position / direction acquisition circuit 25 (for example, a sphere by the coordinate conversion processing circuit 21f).
  • the association information associated with the second coordinate system (X 2 Y 2 Z 2 ) based on the center O 2 is stored in the memory 22.
  • the memory 22 stores association information that associates the endoscopic image captured by the image capturing circuit 24 with the position / direction information at the time of capturing the endoscopic image in, for example, the association information storage unit 22d in the memory 22. It may be stored (example shown in FIG. 2). Alternatively, the endoscope image information storage unit 22a or the position / direction information storage unit 22b in the memory 22 has the function of the association information storage unit 22d, and the endoscope image information storage unit 22a or the position / direction information storage unit 22b having this function. The association information may be stored.
  • the perspective relation calculation circuit (or distance calculation circuit) 21a of the CPU 21 is three-dimensional image information of the bladder B extracted by the bladder extraction circuit 26a, more specifically, a three-dimensional hollow. From the 3D model image information of the sphere and the association information to each point on the subject corresponding to each point on the endoscopic image as the subject image from the viewpoint (position) of the objective optical system 10 Calculate the perspective relationship (as the relationship of the distance to reach).
  • FIG. 6A shows an operation explanatory diagram for calculating the perspective relationship or the distance magnitude relationship by the perspective relationship calculation circuit 21a.
  • FIG. 6A shows a state in which the inner surface of the bladder B is observed by the objective optical system 10 and the image sensor 11 arranged at the distal end portion 2d of the insertion portion 2b inserted into the bladder B.
  • the inner surface of the bladder B is approximated by a sphere having a radius R with the center being O 2, and each position on the inner surface is a second coordinate system (X 2 Y 2 Z 2 ) with O 2 as a reference (origin). ) Makes it easier to handle.
  • the information on the viewpoint position Pv and the line-of-sight direction (optical axis direction) V of the objective optical system 10 disposed at the distal end portion 2d is acquired using the position / direction acquisition circuit 25, and the second coordinates After being converted into system (X 2 Y 2 Z 2 ) information, it is stored in association with the endoscopic image.
  • the position / direction acquisition circuit 25 (the imaging information acquisition unit 25b thereof) acquires imaging information such as the focal length f of the objective optical system 10, the number of pixels of the imaging element 11, and the viewing angle.
  • an optical image of the inner surface that is within the range of the viewing angle ⁇ with the position in the visual line direction V as the center is formed on the imaging surface 11a of the image sensor 11 arranged perpendicular to the visual line direction V.
  • the optical image is converted into an endoscopic image by the image generation circuit 4a.
  • This endoscopic image is captured by the image capturing circuit 24 in the image processing device 5, temporarily stored in the image memory 23 a provided in the memory 22 or the display I / F 23, read out, and displayed on the monitor 6. Is displayed as an endoscopic image (referred to as an endoscopic image on a monitor when it is necessary to distinguish from an endoscopic image equivalent to an optical image of the imaging surface 11a described below).
  • the optical center of the objective optical system 10 is the viewpoint position Pv
  • the position where the straight line along the visual line (optical axis) direction V from the viewpoint position Pv intersects the inner surface is the reference position Ps.
  • the reference position Ps is imaged at, for example, the center reference position Qs on the imaging surface 11a, and the positions Pa and Pb that are boundaries of the viewing angle ⁇ of the image sensor 11 are imaged at positions Qa and Qb on the imaging surface 11a, respectively.
  • the distance from the viewpoint position Pv to the position Ps is Ls
  • the length on the subject specifically, the inner surface of the bladder B
  • the above scale is highly accurate even when the position on the inner surface is different.
  • the optical image on the imaging surface 11a is, for example, an endoscopic image having the same scale as the optical image (not necessarily the same scale) by the image generation circuit 4a that forms the subject image generation unit. Are generated at the same scale). For this reason, the content described on the imaging surface 11a can be similarly applied to an endoscopic image generated by the image generation circuit 4a.
  • the size of the endoscopic image on the monitor as the endoscopic image on the display surface of the monitor 6 changes depending on the size of the area to be displayed on the monitor 6.
  • the length of the magnification is E times.
  • the contents described on the imaging surface 11 a can be similarly applied to the endoscopic image on the monitor displayed on the monitor 6.
  • a first scale image and a second scale image are generated for an endoscopic image having the same scale as the optical image of the imaging surface 11a, and a superimposed image is generated.
  • the observation state when the subject side (the inner surface side of the bladder B) is observed using the objective optical system 10 from the viewpoint position Pv is close to the state where the line of sight passes through the center O 2.
  • 1 scale image I1 is generated.
  • the viewing state is set so as not to pass through the vicinity of the center O 2
  • the length on the subject side (the inner surface side of the bladder B) as it deviates from the reference position Ps.
  • the reference position Ps can be calculated from the equation (15), and the value of the distance Ls can also be calculated from the following equation (17).
  • Ls
  • the positions Pa and Pb are also similar to the expressions (15) and (16) as the direction vectors Va and Vb obtained by rotating the direction vector V in the line-of-sight direction from the viewpoint position Pv by ⁇ / 2 in opposite directions.
  • the distances La and Lb can be calculated by applying a formula similar to the formula (17).
  • the length in the vicinity of each position Ps, Pa, Pb on the inner surface of the sphere is reduced to the length of f / Ls, f / La, f / Lb in the vicinity of each position Qs, Qa, Qb on the imaging surface 11a. Is done.
  • FIG. 6A for example, when a position Pc having a distance (or length) d from the position Ps on the inner surface is set, a position Qc on the imaging surface 11a that is on a straight line passing through the position Pc and the viewpoint position Pv is acquired. You can also In this case, the distance d on the inner surface is reduced to a distance (length) QsQc (a distance between the positions Qs and Qc) on the imaging surface 11a.
  • a process of setting the distance d on the inner surface as the reference length and setting the distance on the inner surface as the distance on the imaging surface may be applied to generate a second scale image to be described later.
  • the perspective relationship calculation circuit 21a starts from the viewpoint position Pv on the endoscope image (corresponding to the optical image of the imaging surface 11a) (or the endoscope) in accordance with the contents described in FIG. 6A.
  • the perspective relation including the distance to each point on the subject corresponding to each point in the image) is calculated, and the scale information on which the predetermined length on the subject is scaled on the endoscopic image is obtained. calculate.
  • the superimposed image generation circuit 21 c performs an endoscopic image as shown in FIG. 3B for an endoscopic image (observation state in which the scale value is changed on the endoscopic image).
  • a second scale image I2 reflecting a change in length or scale on Ien is generated, and a superimposed image Is is generated by superimposing the generated second scale image I2 on the endoscope image Ien.
  • the first scale image or the second scale is used as the scale image to be superimposed on the endoscope image as the subject image in accordance with the information representing the perspective relationship calculated by the perspective relationship calculation circuit 21a.
  • a determination circuit 21g that forms a scale image determination unit that automatically determines (or sets) one of the images is included.
  • the perspective relationship calculation circuit 21a is shown as having a function of the determination circuit 21g.
  • the determination circuit 21g uses information on a plurality of distances from the viewpoint calculated by the perspective relation calculation circuit 21a to a plurality of points on the inner surface of the bladder B forming the subject, so that the line-of-sight direction has an angle close to perpendicular to the inner surface.
  • a determination circuit 21h that determines whether or not the angle is smaller than an angle threshold is provided, and the determination circuit 21g automatically adds a scale image to be superimposed based on the determination result by the determination circuit 21h from the first scale image or the second scale image. To decide.
  • FIG. 6B shows an operation explanatory diagram of the determination circuit 21h.
  • FIG. 6B shows a state in which the inner surface of the bladder B is observed in a setting state in which the line-of-sight direction V at the viewpoint position Pv of the objective optical system 10 at the distal end portion 2d is nearly perpendicular to the inner surface of the bladder B as the observation state of FIG. .
  • a case where the inner surface is observed in a state where the line-of-sight direction V is nearly perpendicular to the inner surface of the bladder B is referred to as front view.
  • the perspective relation calculation circuit 21a has two positions Pc and Pd having a predetermined length d in, for example, two orthogonal directions from the reference position Ps (in FIG. 6B, Pc is in the paper surface and Pd is in the vertical direction of the paper surface).
  • the distance Ls from the viewpoint position Pv to the inner surface is set to an arbitrary value in a state where the line-of-sight direction V passes through the center O 2 in advance, that is, in an observation state where the line-of-sight direction V is perpendicular to the inner surface.
  • Lr (Ls) the value of the distance from the viewpoint to the position Pc (or Pd) in the case of the position of the predetermined length d is stored.
  • Lr (Ls) represents that the value of Lr changes depending on the value of Ls.
  • FIG. 6C is an explanatory diagram of the distance Lr (Ls) stored in the memory 22.
  • FIG. 6C shows Lr (Ls1) and Lr (Ls2) as distance values Lr (Ls) in the case of two viewpoint positions Pv1 and Pv2.
  • the distance value Lr (Ls) varies depending on the viewpoint position Pv on the line-of-sight direction V or the value of the distance Ls from the viewpoint position Pv to the inner surface.
  • distance values Lr (Ls1) and Lr (Ls2) indicate distance values from the viewpoint positions Pv1, Pv2 to the position Pc, but the same applies when the position Pd is used instead of the position Pc. Value.
  • the memory 22 stores a distance value Lr (Ls) corresponding to the distance Ls.
  • ⁇ for example, about several percent to 10% of Lr (Ls)
  • the determination circuit 21h determines that the distances Lc and Ld have thresholds Ta and Tb set according to the value of the distance Ls.
  • the determination circuit 21g determines to use the first scale image.
  • the condition of Expression (18) is not satisfied, it is determined that the viewing direction V is not nearly perpendicular to the inner surface as the observation state, and the determination circuit 21g uses the second scale image. To decide.
  • 6C also shows a state in which the inner surface is observed from the viewpoint position Pv3 deviating from the direction perpendicular to the inner surface, unlike the viewpoint positions Pv1 and Pv2.
  • the distance Ls3 from the viewpoint position Pv3 to the position Ps is indicated by the same value as the distance Ls1, but the distance value Lr (Ls3) from the viewpoint position Pv3 to the position Pc is Lr (Ls1). )
  • Lr (Ls1) Much larger than In such a case, it is determined that the condition of Expression (18) is not satisfied. Instead of using Equation (18), as shown in FIG.
  • an angle ⁇ formed by the line-of-sight direction V and a vector representing the reference position Ps from the center O 2 is calculated, and the determination circuit 21h Depending on whether ⁇ is within the angle threshold Tan set within 0 to 10 degrees, it may be determined whether or not the viewing direction V is nearly perpendicular to the inner surface as an observation state.
  • the viewing direction V is nearly perpendicular to the inner surface as the observation state. If the condition of the equation (19) is not satisfied, the viewing direction V is perpendicular to the inner surface as the observation state. It may be determined that the state is not close to.
  • the user can select whether or not to use the function of the determination circuit 21g. For example, when the scale automatic selection switch 30a provided in the input device 30 is turned on, the user automatically determines the scale image to be superimposed on the endoscope image as the subject image by the determination operation of the determination circuit 21g.
  • the threshold value when the determination circuit 21g is used can be specified (set) or selected from the input device 30.
  • the input device 30 has a function of a threshold setting unit (or a threshold setting device) that sets a threshold.
  • a threshold setting unit or a threshold setting device
  • the user can select or specify a scale image to be superimposed on the endoscope image as the subject image.
  • the user selects the scale image to be superimposed on the endoscope image from the input device 30.
  • the user such as an operator observes the inner surface of the bladder B using the endoscope 2 and, for example, when a lesion exists and wants to grasp the size of the lesion,
  • the size of the first scale image or the second scale image can be easily grasped by, for example, inputting from the input device 30 a selection instruction to superimpose the first scale image or the second scale image on the endoscope image.
  • the superimposed image generation circuit 21c performs processing for generating a first scale image and a second scale image, and stores the generated first scale image and second scale image in the memory 22, for example.
  • a memory other than the memory 22 may be used. Then, the first scale image or the second scale image instructed to be selected by the user can be quickly displayed. If the superimposed image generation circuit 21c that can generate the first scale image or the second scale image in a short time (having a processing function) is used after the selection instruction is given, the selection instruction The first scale image or the second scale image that is instructed to be selected after being generated may be generated, or only one scale image may be generated, and the other scale image may be You may make it produce
  • the endoscope system 1 of the present embodiment includes an image generation circuit 4a that forms a subject image generation unit configured to generate a subject image when a subject is viewed from a predetermined viewpoint, and the viewpoint for the subject.
  • Each position on the subject image from the viewpoint using the position / direction acquisition circuit 25 forming an information acquisition unit configured to acquire the position information and the line-of-sight direction information, and the position information and the line-of-sight direction information.
  • a perspective relationship calculation circuit 21a that forms a perspective relationship calculation unit configured to calculate a perspective relationship (information) to each point on the subject corresponding to, and using the position information and the line-of-sight direction information , Configured using the same scale for at least two different directions on the subject image, and reflecting lengths in the different directions on the subject on the subject image
  • the first scale image generation circuit 21d that forms the first scale image generation unit configured to generate the first scale image for the purpose, and the perspective relationship (information) calculated by the perspective relationship calculation unit.
  • the second image is configured using different scales for at least two different directions on the subject image, and reflects the lengths in the different directions on the subject image on the subject image.
  • a second scale image generation circuit 21e that forms a second scale image generation unit configured to generate a second scale image, and the first scale image or the second scale with respect to the subject image.
  • a superimposed image generation circuit 21c that forms an image processing unit configured to generate a superimposed image in which images are selectively superimposed. That.
  • FIG. 7 shows an operation when the inner surface of the bladder B is inspected or observed using the endoscope 2.
  • a user such as an operator performs initial settings in the first step S1. For example, when a scale image formed from the first scale image or the second scale image is displayed, the display mode in FIG. 5A or 5B is set. Thereafter, a scale image (superimposed image), which will be described later, is displayed according to this setting. The user can also reduce the scale of the displayed endoscopic image at different positions on the endoscopic image based on the perspective relation calculation result by the perspective relation calculating circuit 21a of the image processing apparatus 5.
  • the scale automatic selection switch 30a When it is desired to automatically determine the scale image to be superimposed on the endoscopic image depending on whether or not it is in a state close to frontal view with almost no change, the scale automatic selection switch 30a is turned ON. In addition, when the user desires that the user himself selects (or designates) a scale image to be superimposed on the endoscope image, the user turns off the scale automatic selection switch 30a.
  • step S2 the operator inserts the insertion portion 2b of the endoscope 2 into the bladder B (to be examined or observed) through the urethra of the patient P.
  • an imaging signal obtained by imaging the inner surface of the bladder B by the objective optical system 10 in the distal end portion 2d and the imaging element 11 arranged at the imaging position thereof is input to the image generation circuit 4a, and the image generation circuit 4a generates an endoscopic image.
  • the generated endoscopic image is displayed on the monitor 6.
  • step S4 the position / direction acquisition circuit 25 acquires information on the viewpoint position Pv and the line-of-sight direction V of the objective optical system 10 in the distal end portion 2d, and the coordinate conversion processing circuit 21f receives the second coordinate.
  • step S5 Convert to the system (X 2 Y 2 Z 2 ). Then, as shown in step S5, the memory 22 stores the endoscope image and the information on the viewpoint position Pv and the line-of-sight direction V of the objective optical system 10 acquired at the time when the endoscope image was acquired as the second coordinates. Convert to system (X 2 Y 2 Z 2 ) and store (store) it in association. This operation is performed by the CPU 21 forming the control unit.
  • step S ⁇ b> 6 the CPU 21 (the perspective relation calculation circuit 21 a) determines a plurality of representative plural images on the imaging surface 11 a (or in the endoscopic image) within the field of view or the angle of view of the imaging unit 12 from the viewpoint position Pv. The distance to a plurality of points on the inner surface of the bladder B corresponding to the point is calculated (in order to determine whether the point is close to the front view). Further, the CPU 21 (the perspective relation calculation circuit 21a) is in the endoscopic image (or the imaging surface 11a) with respect to the length on the inner surface in the vicinity of a plurality of representative points in the endoscopic image (or in the imaging surface 11a). Calculate the middle scale.
  • step S7 imaging information such as the focal length f of the objective optical system acquired by the position / direction acquisition circuit 25 is referred to.
  • the CPU 21 the scale image generation circuit 21b
  • step S6 the CPU 21 (the scale image generation circuit 21b) generates the first scale image and the second scale image by using the distance and scale information (at least a part thereof) calculated in step S6.
  • this processing is not performed in step S7, and processing may be performed so that the first scale image is generated immediately before step S10, which will be described later, and the second scale image is generated immediately before step S11, which will be described later. .
  • the CPU 21 determines whether or not the scale automatic selection switch 30a is ON.
  • the CPU 21 determines that the current endoscopic image observation state is based on the equation (18) or the equation (19). It is determined whether the front view or the current line-of-sight direction is nearly perpendicular to the inner surface.
  • the CPU 21 uses the first scale image generated by the first scale image generation circuit 21d as the endoscopic image. To generate a superimposed image.
  • the monitor 6 displays a superimposed image obtained by superimposing the first scale image on the endoscopic image.
  • the CPU 21 superimposed image generation circuit 21c
  • the monitor 6 uses the second scale image generation circuit 21e.
  • the generated second scale image is superimposed on the endoscope image to generate a superimposed image.
  • the monitor 6 displays a superimposed image obtained by superimposing the second scale image on the endoscopic image.
  • step S12 the CPU 21 determines whether or not the user has performed an input operation for ending the examination or observation in the bladder B from the input device 30. When the input operation to end is not performed, the process returns to the process of step S3, and when the operation input to end is performed, the process of FIG. 7 is ended. If the automatic scale selection switch 30a is determined to be OFF in step S8 (and the automatic scale selection switch 30a is determined to be ON), as shown in step S13, the CPU 21 sets the first scale. It is determined whether a superimposed image using the image is selected (or designated). In the case of a determination result in which a superimposed image using the first scale image is selected (or designated) by the user, the process proceeds to step S10. On the other hand, in the case of the determination result that the superimposed image using the second scale image is selected (or specified) without the user selecting (or specifying) the superimposed image using the first scale image, step S11. Move on to processing.
  • FIG. 8A shows the first scale image generation processing in FIG.
  • FIG. 8B shows an explanatory diagram of the operation of FIG. 8A and shows how the inner surface of the bladder B is observed by the endoscope 2.
  • FIG. 8B shows a state in which the line-of-sight direction V is close to perpendicular to the inner surface as indicated by O 2 at the center of the sphere.
  • the first scale image generation circuit 21d first observes the inner surface of the bladder B from the viewpoint position Pv and the line-of-sight direction V of the objective optical system 10 in step S21.
  • the corresponding position on the inner surface is set as the reference position Ps, and the scale value on the endoscopic image at the reference position Ps is acquired based on the acquisition result of the perspective relation by the perspective relation calculation circuit 21a.
  • the imaging device 11 images the inner surface of the bladder B as the subject in the viewpoint position Pv and the line-of-sight direction V from the viewpoint position Pv
  • the position of the inner surface on the extension line of the line-of-sight direction V is used as a reference.
  • the value G of the scale is obtained. As described with reference to FIG. 6A, the scale value G is f / Ls.
  • the first scale image generation circuit 21d sets the reference lengths Lf and Lf on both sides at the reference position Ps on the inner surface of the bladder B, and acquires the reference length 2 ⁇ Lf.
  • a first circle Sp1 having a length multiplied by the scale value G as a reference scale diameter Da (representing 5 mm on the inner surface in FIG. 3A) is generated.
  • the first scale image generating circuit 21d has a reference scale diameter Db that is twice the reference scale diameter Da outside the first circle Sp1, and is a second circle that is concentric with the first circle Sp1. Sp2 is generated. Even if the reference length Lf is set to the reference scale radius, the same result is obtained.
  • a first scale image I1 including the first circle Sp1 and the second circle Sp2 is generated.
  • the first scale image generation circuit 21d sends the generated first scale image I1 to the superimposed image generation circuit 21c, and ends the process of FIG. 8A.
  • the superimposed image generation circuit 21c to which the first scale image I1 is sent overlaps the first scale image I1 around the reference position Qs on the endoscopic image captured by the image sensor 11, as shown in FIG. 3A.
  • a superposed image Is is generated.
  • the superimposed image Is shown in FIG. 3A is, for example, a first scale composed of a first circle Sp1 and a second circle Sp2 centered on a reference position Qs on an endoscopic image Ien including lesions Id1, Id2, and Id3.
  • the image I1 is superimposed.
  • the first scale image I1 is along an intersecting surface (imaging surface 11a of the image sensor 11 that forms) that intersects the line-of-sight direction V substantially perpendicularly to an arbitrary direction including the case of two different directions. Formed.
  • the first scale image I1 is configured using the same scale in at least two different directions on the endoscopic image, and the bladder B (as the subject) on the endoscopic image is displayed.
  • the first scale image is a concentric circle scale (image) for reflecting the lengths in different directions on the inner surface. That is, the concentric scale (image) is configured using the same scale for any direction including two different directions, and reflects the length in any direction on the inner surface of the bladder B ( It is a scale that represents an isotropic scale without direction dependency. In FIG. 10 to be described later, it is configured using the same scale (that is, the same two scales) with respect to two directions orthogonal to each other, and has a scale for reflecting the lengths in the two directions on the inner surface of the bladder B. It becomes a scale. In addition, as shown in FIG.
  • the calculated scale value is used in the vicinity of the reference position Qs, which is the center of the endoscopic image Ien, or in the periphery and other positions.
  • a distance (for example, a distance Ls to the reference position Ps) or the like may be displayed.
  • the first scale image I1 has a circular scale for measurement along an arbitrary direction.
  • the generated superimposed image Is is output to the monitor 6.
  • the superimposed image Is is displayed in the superimposed image display area A2 of the monitor 6.
  • the surgeon can easily grasp the size of the lesioned part or the like from the first scale image displayed superimposed on the endoscopic image.
  • a display form for displaying the superimposed image Is in the endoscope image display area A1 can be selected. In this case, it can be displayed larger than FIG. 5A.
  • FIG. 9A shows the second scale image generation processing in FIG.
  • FIG. 9B is an explanatory diagram showing the operation of FIG.
  • the second scale image generation circuit 21e determines that the viewpoint position Pv of the objective optical system 10 and the line-of-sight direction V from the viewpoint position Pv are as follows.
  • a reference position Ps (see FIG. 9B, see FIG. 6A) that intersects the inner surface of the bladder B is set, and a position Qs (see FIG. 9B, see FIG. 6A) on the endoscopic image corresponding to the reference position Ps is acquired.
  • the reference position Ps on the inner surface corresponding to the position Qs is indicated by (Ps). Other positions on the inner surface are also indicated in the same manner.
  • the second scale image generation circuit 21e sets a first straight line (in the specific example, a straight line extending in the left-right direction) la that passes through the reference position Ps on the inner surface, and on the first straight line la.
  • positions Pl2, Pr2,... Of the reference length L from the reference position Ps to the reference length L are set on both sides of the reference position Ps, and the positions Pl1, Pr1, Pl2, Pr2,. , The positions Ql1, Qr1, Ql2, Qr2,... On the endoscopic image corresponding to.
  • the second scale image generation circuit 21e sets, for example, a second straight line (in the specific example, a straight line extending in the vertical direction) lb that passes through the reference position Ps and is orthogonal to the first straight line. Also on the straight line lb of FIG. 2, positions Pu1, Pd2,..., Positions Pu2, Pd2,...
  • the second scale image generation circuit 21e sets a straight line lu1 (not shown) that passes through the position Pu1 and is parallel to the first straight line la, and on both sides of the position Pu1 on the straight line lu1. From the position Pu1, the positions Pul1, Pur1, 2 of the reference length L, the positions Pul2, Pur2,... Of the reference length L are set, and on the endoscopic image corresponding to the positions Pul1, Pur1, Pul2, Pur2,. , Qul1, Qur1, Qul2, Qur2,.
  • the second scale image generation circuit 21e sets a straight line ld1 parallel to the first straight line la passing through the position Pd1, and on the straight line ld12 and on both sides of the position Pd1.
  • Positions Pdl1, Pdr1,..., Positions Pdl1, Pdr2,... Of the reference length L are set from the position Pd1, and endoscope images corresponding to the positions Pdl1, Pdr1, Pul2, Pur2,.
  • step S36 the second scale image generation circuit 21e detects the position Pu2 adjacent to the upper side of the position Pu1, the position Pd2 adjacent to the lower side of the position Pd1, and the position Pu3 adjacent to the upper side of the position Pu2.
  • step S34 is repeated for the positions Pd3,.
  • the second scale image generation circuit 21e draws a curve la ′ corresponding to the straight line la, a curve lu1 ′ corresponding to the straight line lu1, a curve ld1 ′ corresponding to the straight line ld1,.
  • the curve la ′ passes through the position Qs, the positions Ql1, Qrl on both sides thereof, the positions Ql2, Qr2,... On both sides of the positions Ql1, Qrl.
  • the position Qs and the positions existing on both sides in the horizontal direction are connected by the curve la ′.
  • the second scale image generation circuit 21e is configured to extend in the vertical direction passing through the position Qs, the positions Qu1, Qd1, the positions Qu1, Qd2, and the positions Qu2, Qd2,. Subtract lb '.
  • the second scale image generation circuit 21e also applies to the positions Ql1, Qr1, Ql2, Qr2,... In the vertical direction passing through the positions existing in the vertical direction as in step S38.
  • the extending curves ll1 ', lr1', ll2 ', lr2' ... are drawn.
  • the second scale image I2 is generated. Then, the process of FIG. 9A ends.
  • the distance between two positions adjacent to each other in the horizontal direction or the vertical direction on the inner surface is a reference length L, on the other hand, the horizontal direction or the vertical direction on the endoscopic image.
  • the distance between two positions adjacent to each other is a value L ′ obtained by reducing the reference length L by the length on the endoscopic image.
  • the second scale image I2 is a scale (scale) whose scale is changed in two different directions on the endoscopic image, so that the subject on the endoscopic image is measured. As an image having a scale reflecting the length on the inner surface of the bladder B.
  • the first scale image I1 is an isotropic scale image
  • the second scale image I2 is an anisotropic scale image having direction dependency.
  • the scale value L ′ shown in FIG. 9B is long on the inner surface of the bladder B. L may be displayed so as to indicate that it is L.
  • the generation of the second scale image I2 described above is summarized as follows. From a reference position Ps on the inner surface of the organ where the line-of-sight direction of the objective optical system 10 intersects, a plurality of positions Pl1, Pl2, etc.
  • the second scale image I2 is generated.
  • the second scale image I2 shown in FIG. 3B and FIG. 9B since the distance from the viewpoint is larger in the upper area than in the lower area, The interval between the scales is smaller than the area in the downward direction. Further, as shown in FIG. 3B, even when lesions Id1, Id2, and Id3 exist at a plurality of different positions on the endoscopic image Ien, the sizes are measured or grasped by the second scale image I2. can do.
  • any of the scales on the endoscopic image When a superimposed image using the first scale image having the same scale scale with respect to the direction is displayed, and the distance to the test surface changes according to different positions on the endoscopic image A superimposed image using a grid-shaped second scale image having different scales is displayed in at least two different directions on the endoscopic image. Then, when there is a site of interest such as a lesion on the endoscopic image, the user such as the surgeon uses the first scale image or the second scale image displayed with the size superimposed. Easy and accurate measurement.
  • the first scale image generated by generating the first scale image including the first circle and the second circle that are concentric in the observation state close to the front view is generated.
  • An example in which a superimposed image is generated using the above has been described.
  • a grid-shaped first scale image may be generated, and a superimposed image may be generated using the generated grid-shaped first scale image.
  • the superimposed image Is as shown in FIG. 10 is a first image formed along the first direction on the intersecting surface formed by the image capturing surface 11a of the image sensor 11 that intersects substantially perpendicularly to the line-of-sight direction when viewing the subject.
  • a scale of the same scale as the first scale along the second direction intersecting the first direction on the intersecting surface has a grid-shaped first scale image I1 ′ having a second scale (a scale that is substantially equally spaced in the horizontal direction in FIG. 10).
  • the grid-shaped first scale image I1 ′ can be generated by the processing procedure shown in FIG. 9A.
  • the user selects the first scale image
  • the user can select one circular scale image I1 and a grid-shaped first scale image I1 ′ from the input device 30.
  • the automatic scale selection is turned on
  • the first scale image I1 having a circular shape and the first scale image I1 having a grid shape are input by the user from the input device, as compared with the case where the first scale image is automatically selected. It is also possible to select one of '.
  • a viewpoint setting unit or a viewpoint setting device that virtually sets the viewpoint position Pv of the objective optical system 10 illustrated in FIG. 6A may be provided in the input device 30.
  • a viewpoint setting unit 30b provided in the input device 30 is indicated by a dotted line.
  • the CPU 21 generates an optical image using the optical characteristics of the objective optical system 10 from the viewpoint position Pv set by the viewpoint setting unit 30b and a virtual endoscope image corresponding to the optical image. It has the function of a mirror image generation unit.
  • the endoscope 2 uses the imaging unit 12 including the single objective optical system 10 and the imaging element 11 as shown in FIG. 2 and the like, but in FIG. 3D endoscope 42 may be used as shown in FIG.
  • left and right objective optical systems 10a and 10b are arranged at a predetermined interval in the left-right direction at the distal end portion 2d of the insertion portion 2b.
  • 11b is arranged, and left and right imaging units 12a and 12b are configured.
  • the light guide 9 and the magnetic sensor 13 are provided as in the case of the endoscope 2 indicated by the solid line.
  • the processor 4 includes an image generation circuit that performs signal processing on the left and right imaging units 12a and 12b.
  • the perspective relation calculation circuit 21a uses the viewpoint positions of the plurality of left and right objective optical systems 10a and 10b and the information on the line-of-sight direction corresponding to each viewpoint position in the left and right endoscopic images. The distance to each point on the inner surface of the bladder B corresponding to each point is calculated. Further, in the above-described embodiment, the example in which the image processing apparatus 5 constructs the three-dimensional image information based on the three-dimensional image captured from the CT apparatus as illustrated in FIG. You may make it construct
  • the 3D shape data constructing unit 42a corresponds to a 3D shape corresponding to one 2D image, for example, a method described in Japanese Patent No. 5354494 or a well-known Shape from Shading method. May be estimated.
  • a stereo method using two or more images, a three-dimensional shape estimation method using monocular movement vision, a SLAM method, or a method of estimating a 3D shape in combination with a position sensor may be used.
  • the 3D shape data may be constructed with reference to 3D image data acquired from a tomographic image acquisition apparatus such as an external CT apparatus.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

　内視鏡システムは、所定の視点から被検体を見た被検体画像を生成する被検体画像生成部と、被検体画像上において互いに異なる２つの方向に対して同じ縮尺と、異なる縮尺を用いて、被検体上での異なる方向における長さを反映するための第１及び第２のスケール画像を生成するスケール画像生成部と、被検体画像に対して第１又は第２のスケール画像を選択的に重畳した重畳画像を生成する画像処理部と、を有する。

Description

内視鏡システム
　本発明は、被検体の画像を表示する内視鏡システムに関する。
　近年、内視鏡は、医療分野等において広く用いられるようになっている。また、内視鏡を用いて体内の臓器等を観察し、病変部等の部位が存在したような場合、その大きさを計測（又は取得）できるようにスケールを重畳するようにした装置がある。 
　例えば、第１の従来例としての日本国特開２００５－１１８１０７号公報は、広角画像と、この広角画像の一部を拡大する拡大画像とを表示すると共に、広角画像上に広角画像用座標スケールと、拡大画像上に拡大画像用座標スケールとを重畳して表示することにより、広角画像と拡大画像との倍率の把握を容易にできるようにしている。また、拡大画像の場合には、直交する２方向の座標スケールとして、それぞれの方向の拡大率に基づいた数値が付けられている。また、座標スケールとして、格子スケールや、同心円スケールを用いることが開示されている。 
　また、第２の従来例としての日本国特開２００７－９００６０号公報は、対象物の画像に対して、円周の目盛りとグリッドとを選択できるようにしている。
　しかしながら、第１の従来例及び第２の従来例とも、表示される画像における各位置は、実質的に視点の位置からほぼ等距離に存在した場合のスケールの画像としてのスケール画像を表示する内容を開示している。 
　このため、病変部等の観察対象部位を、斜め方向から観察したような場合の画像を表示する場合のように、視点の位置から画像上の各位置に対応する（観察対象部位側の）各位置までの距離が変化するような場合において、上記の従来例を適用し、スケール画像により病変部等の大きさを計測した場合の大きさは、（画像上での縮尺が距離の変化を反映していない状態となるために）精度が低くなってしまう欠点がある。 
　本発明は上述した点に鑑みてなされたもので、病変部等の部位の大きさを精度良く計測することができる内視鏡システムを提供することを目的とする。
　本発明の一態様の内視鏡システムは、所定の視点から被検体を見た被検体画像を生成するよう構成された被検体画像生成部と、前記被検体画像上において少なくとも互いに異なる２つの方向に対して同じ縮尺を用いて構成され、前記被検体画像上においての前記被検体上での異なる方向における長さを反映するための第１のスケール画像を生成するよう構成された第１のスケール画像生成部と、前記被検体画像上において少なくとも互いに異なる２つの方向に対して、互いに異なる縮尺を用いて構成され、前記被検体画像上においての前記被検体上における異なる方向における長さを反映する第２のスケール画像を生成するよう構成された第２のスケール画像生成部と、前記被検体画像に対して、前記第１のスケール画像若しくは前記第２のスケール画像を選択的に重畳した重畳画像を生成するよう構成された画像処理部と、を有する。
図１は本発明の第１の実施形態の内視鏡システムの全体構成を示す図。 図２は図１における画像処理装置等の構成を示すブロック図。 図３Ａは内視鏡画像上における異なる方向の縮尺が同じとなる同心円形状の第１のスケール画像を重畳した重畳画像を示す図。 図３Ｂは内視鏡画像上おける互いに異なる２つの方向の縮尺が異なるグリッド形状の第２のスケール画像を重畳した重畳画像を示す図。 図４は膀胱を球体で近似した３Ｄモデルに設定した第２の座標系等を示す図。 図５Ａは内視鏡画像表示エリアの内視鏡画像と、重畳画像表示エリアの重畳画像とを隣接して表示したモニタ画面を示す図。 図５Ｂは内視鏡画像表示エリアの内視鏡画像にスケール画像を重畳した重畳画像を表示したモニタ画面を示す図。 図６Ａは遠近関係算出回路により、視点から内視鏡画像上における各点に対応する被検体上の各点に至る距離が変化する関係としての遠近関係を算出する様子の説明図。 図６Ｂは視線方向が膀胱の内面に垂直に近い観察状態で膀胱の内面の観察を行う様子を示す図。 図６Ｃは視線方向が膀胱の内面に垂直な方向に設定された状態で膀胱内面を観察する様子の説明図。 図７は第１の実施形態における画像処理装置による処理手順を含む動作を示すフローチャート。 図８Ａは第１のスケール画像生成の処理を示すフローチャート。 図８Ｂは、図８Ａの動作の説明図。 図９Ａは第２のスケール画像生成の処理を示すフローチャート。 図９Ｂは、図９Ａの動作を説明する説明図。 図１０はグリッド形状の第１のスケール画像が重畳された重畳画像を示す図。
　以下、図面を参照して本発明の実施形態を説明する。　
（第１の実施形態）
　図１に示すように本発明の第１の実施形態の内視鏡システム１は、被検体としての患者Ｐの内部を観察（又は検査）する内視鏡２と、光源装置３と、プロセッサ４と、画像処理装置５と、モニタ６と、磁場発生装置７とを備えて構成される。内視鏡システム１は、通常光観察と特殊光観察の２つの観察モードで観察する機能を有する。内視鏡システム１のユーザとなる術者は、ベッド８上に仰向け等で載置されている被検体としての患者Ｐにおける所定の管腔臓器としての膀胱Ｂ内部の内視鏡検査を行う。 
　内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、ユニバーサルケーブル２ｃとを有する。内視鏡２は、例えば膀胱検査用の内視鏡により構成される。 
　さらに、ユニバーサルケーブル２ｃ内には、図２に示すようなライトガイド９が挿通されており、内視鏡２は、光源装置３からの照明光を、ライトガイド９を通して挿入部２ｂの先端部２ｄの照明窓から出射し、挿入部２ｂの先端部２ｄが挿入された被検体（の膀胱Ｂ）内を照明する。
　また、図２に示すように、挿入部２ｂの先端部２ｄには、対物光学系１０と、その結像位置に撮像面が配置され、撮像面に結像された光学像を光電変換して撮像信号として出力する撮像素子１１とが設けられている。光源装置３の照明光により照明された膀胱Ｂ内の部位は、撮像素子１１により撮像される。従って、対物光学系１０と撮像素子１１は、被検体内に挿入され、被検体内を撮像する撮像部（又は撮像装置）１２を形成する。撮像素子１１により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を介して被検体画像を生成する被検体画像生成部又は被検体画像生成装置としてのプロセッサ４に入力され、撮像信号は、プロセッサ４内の画像生成回路４ａにおいて画像生成の処理が行われ、被検体画像としての内視鏡画像が生成される。 
　本実施形態においては、プロセッサ４内の画像生成回路４ａは、先端部２ｄに搭載された撮像部１２の撮像素子１１の撮像面に結像された被検体の光学像を電気的な撮像信号に変換して、光学像に対応する被検体画像を生成し、生成された被検体画像は内視鏡画像としてモニタ６で表示される。
　このため、被検体を撮像する撮像部１２の位置及び撮像する撮像方向（対物光学系１０の光軸方向）が、被検体を見て被検体画像を生成する場合の視点の位置及び視線方向となる。 
　プロセッサ４は、観察モードを切り換えるための切換スイッチ４ｂを有し、切換スイッチ４ｂにより指定された観察モード信号は画像生成回路４ａに入力され、画像生成回路４ａは、切換スイッチ４ｂにより指定された観察モードに応じた内視鏡画像を生成する。より具体的には、通常光観察モードが指定された場合には、通常光（としての白色光）の照明の下で撮像した通常光観察画像を生成し、特殊光観察モードが指定された場合には、特殊光観察画像（より狭義には狭帯域光観察画像）を生成する。 
　また、切換スイッチ４ｂによる観察モード信号は、光源装置３のＬＥＤ制御回路３ａに入力され、ＬＥＤ制御回路３ａは、観察モードに応じた照明光を生成するように制御する。
　切換スイッチ４ｂにより、通常光観察モードが指定された場合には、ＬＥＤ制御回路３ａは通常光観察モード用の光源となる白色ＬＥＤ３ｂを発光させるように制御し、特殊光観察モードが指定された場合には、ＬＥＤ制御回路３ａは特殊光観察モード用の光源となる狭帯域の青色ＬＥＤ３ｃを発光させるように制御する。 
　狭帯域の青色ＬＥＤ３ｃが発光した場合には、この狭帯域の青色の光が進行する光路上に４５度の角度で配置されたダイクロイックミラー３ｄにより選択的に反射された後、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射され、特殊光観察モード用の照明（より狭義には狭帯域光観察モード用の照明）を行う。 
　また、白色ＬＥＤ３ｂが発光した場合の白色光は、その光路上に配置されたダイクロイックミラー３ｄにより、狭帯域の青色の光を除く白色光の殆どが選択的に透過し、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色光を除く白色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射され、通常光観察モード用の照明を行う。
　また、プロセッサ４（の画像生成回路４ａ）により生成された内視鏡画像は、プロセッサ４からモニタ６へ出力され、ライブの内視鏡画像が、モニタ６上に表示される。検査を行う術者は、挿入部２ｂの先端部２ｄを患者Ｐの尿道から挿入し、患者Ｐの膀胱Ｂ（図１において点線で示す）内を観察することができる。 
　さらに、挿入部２ｂの先端部２ｄには、位置センサとしての磁気センサ１３が配置されている。具体的には、図２に示すように先端部２ｄの撮像部１２を構成する対物光学系１０と撮像素子１１の近傍には、磁気センサ１３が設けられている。この磁気センサ１３は、先端部２ｄにおける撮像部１２の視点となる３次元位置（単に位置）と、その位置での視線方向との検出に利用される。 
　図２に示す内視鏡２は、先端部２ｄに搭載された撮像部１２を構成する対物光学系１０の光軸方向が、先端部２ｄの軸方向と平行となるために、撮像部１２の位置及び視線方向は、先端部２ｄの位置及びその軸方向（単に方向）と近似できる。
　なお、本実施形態は、図２に示すように先端部２ｄに配置された対物光学系１０により、先端部２ｄに配置された撮像素子１１の撮像面に被検体の光学像を結像する内視鏡２の場合に限らず、先端部２ｄに配置された対物光学系１０により結像した光学像を光学像伝送系により挿入部２ｂの後方（基端）側に伝送し、挿入部２ｂの基端側に配置された撮像素子で撮像する内視鏡の場合にも適用できる。 
　この場合を含めた表現としては、撮像部の視点の位置（及び視線方向）の表現を用いるよりも（先端部２ｄに配置された）対物光学系１０の視点の位置（及び視線方向）を用いる方が妥当である。このため、以下においては、主に、視点の位置及び視線方向を対物光学系１０の視点の位置及び視線方向として用いたり、近似的な表現として視点の位置及び視線方向の代わりに（対物光学系１０又は先端部２ｄの）位置及び方向を用いる場合もある。 
　図１の拡大図に示すように、磁気センサ１３は、例えば２つのコイル２ｅを有する。磁気センサ１３は、先端部２ｄの位置及び方向を検出するセンサとなる。磁気センサ１３の信号線２ｆは、内視鏡２から延出され、画像処理装置５（内の位置方向取得回路２５）に接続される。
　磁場発生装置７は既知となる所定の位置において磁場を発生し、磁気センサ１３は、磁場発生装置７が発生する磁場を検出する。磁場の検出信号は、信号線２ｆを介して内視鏡２から画像処理装置５（内の位置方向取得回路２５）に入力される。 
　位置方向取得回路２５は、入力された検出信号の振幅と位相とから先端部２ｄに配置された対物光学系１０の視点となる位置及び視線方向の情報としての視点の位置情報（視点位置情報）と視線方向情報とを取得する情報取得部を形成する情報取得回路２５ａを備える。なお、本実施形態においては、検査対象となる被検体は、膀胱Ｂの内面であり、膀胱Ｂは、後述するように球体で近似することができる。つまり、膀胱Ｂは、球体で表される３Ｄモデル画像Ｍ１（図４，図５Ｂ）で近似される。 
　内視鏡２の操作部２ａには、レリーズボタン１４が設けられている。レリーズボタン１４は、術者等のユーザが内視鏡画像を記録するときに、押すためのボタンである。レリーズボタン１４が押されると、レリーズボタン操作信号がプロセッサ４へ入力され、プロセッサ４は、レリーズ信号を生成して、画像処理装置５へ出力する。レリーズボタン１４が押されたときの内視鏡画像は、画像処理装置５の後述するメモリ２２に記録される。
　また、内視鏡２には、各内視鏡２に固有の識別情報（ＩＤと略記）を発生するＲＯＭ（リードオンリメモリ）等により構成されるＩＤ発生部（図２では単にＩＤと略記）１５を有し、このＩＤ発生部１５は、プロセッサ４を経て画像処理装置５（内の位置方向取得回路２５）に入力される。 
　図２に示すように、ＩＤがプロセッサ４を介することなく、画像処理装置５（内の位置方向取得回路）に入力されるようにしても良い。位置方向取得回路２５は、ＩＤから対物光学系１０の焦点距離、対物光学系１０による光学像を撮像する撮像素子１１の画素数、ピクセルのサイズ、画角（視野角）等、撮像部１２が撮像する場合の撮像情報を取得する撮像情報取得部（又は撮像情報取得回路）２５ｂの機能を備える。取得された撮像情報は、後述する遠近関係を算出する場合に利用される。
　画像処理装置５は、中央処理装置（以下、ＣＰＵという）２１と、メモリ２２と、表示インターフュース（以下、表示Ｉ／Ｆと略す）２３と、画像取込回路２４と、位置方向取得回路２５と、管腔臓器抽出回路２６と、駆動回路２７を備える。ＣＰＵ２１と、メモリ２２と、表示Ｉ／Ｆ２３と、画像取込回路２４と、位置方向取得回路２５と、管腔臓器抽出回路２６は、バス２８を介して互いに接続されている。また、内視鏡システム１は、図２に示すように被検体としての患者Ｐに関する３次元情報を取得するためのＣＴ（Computed Tomography）装置２９と、画像処理装置５に対して、ユーザが各種の情報の入力や選択するための入力を行う入力装置３０とを有する。 
　ＣＰＵ２１は、画像処理装置５内の各部の処理を制御する制御部を構成すると共に、位置方向取得回路２５が取得した視点の位置情報と視線方向情報と撮像情報を用いて、先端部２ｄに配置された対物光学系１０の視点となる位置から被検体画像中の各点に対応する被検体上の各点に至る距離の大小関係に相当する遠近関係を算出する遠近関係算出回路２１ａと、被検体画像に重畳するための２種類のスケール画像を生成するスケール画像生成回路２１ｂと、重畳画像を生成する画像処理部を形成する重畳画像生成回路２１ｃとを備える。
　スケール画像生成回路２１ｂは、被検体画像上において少なくとも互いに異なる２つの方向に対して同じ縮尺を用いて構成され、前記被検体画像上においての被検体上での異なる方向における長さを反映するためのスケール（目盛り）を持つ第１のスケール画像を生成する第１のスケール画像生成回路２１ｄと、上記遠近関係算出回路２１ａにより算出された遠近関係に合わせて、被検体画像上において少なくとも互いに異なる２つの方向に対して、互いに異なる縮尺を用いて構成され、該被検体画像上においての被検体上における異なる方向における長さを反映するスケール（目盛り）を持つ第２のスケール画像を生成する第２のスケール画像生成回路２１ｅと、を有する。 
　図３Ａは、被検体画像としての内視鏡画像Ｉｅｎ上に第１のスケール画像Ｉ１を重畳した重畳画像Ｉｓを示し、図３Ｂは、内視鏡画像Ｉｅｎ上に第２のスケール画像Ｉ２を重畳した重畳画像Ｉｓを示す。なお、図３Ａ、図３Ｂは、例えば表示Ｉ／Ｆ２３における画像表示メモリ上に生成された状態で示し、画像表示メモリ上の重畳画像は、モニタ６の表示サイズに応じたサイズで表示される。この場合、画像表示メモリ上における内視鏡画像Ｉｅｎと第１のスケール画像Ｉ１又は第２のスケール画像Ｉ２との相対的な縮尺関係は、変化しない。
　また、ＣＰＵ２１は、位置方向取得回路２５が取得した視点の位置情報と視線方向情報を取得した際に、磁場発生装置７を基準とした座標系としての第１の座標系（X０Y０Z０）（図１参照）から膀胱Ｂの入口を基準とする中間座標系（X１Y１Z１）（図１参照）に変換する座標変換処理回路２１ｆの機能を持つ。 
　座標変換処理回路２１ｆは、膀胱Ｂの入口の位置と方向を基準位置と基準方向と決定し、次の式（１）と式（２）に従って、位置方向取得回路２５の位置方向情報を、膀胱Ｂの入口を基準とする中間座標系（X１Y１Z１）の位置方向情報に変換する。 
　　Ｐ１＝Ｒ０１Ｐ０＋Ｍ０１　　　　　　　　・・・式（１）
　　Ｖ１＝Ｒ０１Ｖ０　　　　　　　　　　・・・式（２）
　ここで、Ｐ０とＶ０は、それぞれ、磁場発生装置７を基準とする座標系である第１の座標系（X０Y０Z０）における位置（のベクトル表記）と（大きさが１の）方向ベクトルである。Ｒ０１は、次の式（３）で示される回転行列であり、Ｍ０１は、次の式（４）で示される並進行列である。
　［数３］
Figure JPOXMLDOC01-appb-I000001
　［数４］
Figure JPOXMLDOC01-appb-I000002
　よって、第１の座標系（X０Y０Z０）上の点（ｘ０，ｙ０，ｚ０）は、次の式（５）に示すように、中間座標系（X１Y１Z１）上の点（ｘ１，ｙ１，ｚ１）に変換される。 
　［数５］
Figure JPOXMLDOC01-appb-I000003
　内視鏡２の先端部２ｄ（の対物光学系１０）の膀胱Ｂ内への挿入が検出されたとき（膀胱Ｂの入り口）における位置方向取得回路２５により取得される位置と方向のベクトルをＰ´0、Ｖ´0とすると、並進行列Ｍ０１は以下の式（６）により求められる。
　　　　　Ｍ０１＝－Ｐ´0　　　　　　　　　・・・式（６）
　また、回転行列Ｒ０１は以下の条件を満たすように求める。回転行列Ｒ０１の満たす条件は、Ｚ1軸が重力方向と平行であること、及びＺ1軸に対して垂直なX1Y1平面にV´0を投影し、その投影したベクトル方向をY1軸、Y1Z1平面に垂直なベクトルをX1軸とする、ことである。 
　更に、上記座標変換処理回路２１ｆは、次の式（７）と式（８）に従って、中間座標系（X１Y１Z１）の位置ベクトルと方向ベクトルを、球形の３Ｄモデル画像Ｍ１の中心Ｏ２を基準とする第２の座標系（X２Y２Z２）における位置ベクトルと方向ベクトルに変換する。図４は、中間座標系（X１Y１Z１）と第２の座標系（X２Y２Z２）の関係を説明するための図である。 
　　Ｐ２＝Ｒ１２Ｐ１＋Ｍ０２　　　　　　　　・・・式（７）
　　Ｖ２＝Ｒ１２Ｖ１　　　　　　　　　　・・・式（８）
　ここで、Ｐ１、Ｖ１は、それぞれ、中間座標系（X１Y１Z１）における任意の位置における位置（ベクトル）と方向ベクトルであり、Ｐ２、Ｖ２は、それぞれ、第２の座標系（X２Y２Z２）に変換された場合の位置ベクトルと方向ベクトルである。
　Ｐ０、Ｖ０を位置方向取得回路２５から算出される先端部２ｄの対物光学系１０の視点の位置を表す位置（ベクトル）、視線方向の方向ベクトルに設定すると、Ｐ０、Ｖ０は、Ｐ１、Ｖ１に変換され、更に該Ｐ１、Ｖ１は、Ｐ２とＶ２に変換される。 
つまり、Ｐ０、Ｖ０を視点の位置、視線方向の方向ベクトルとして取得すると、対応するＰ２、Ｖ２は、第２の座標系（X２Y２Z２）における対物光学系１０の視点の位置ベクトル（Ｐｖで兼用）、視線方向Ｖの方向ベクトル（Ｖで兼用）となる。Ｒ１２は、次の式（９）で示される回転行列であり、Ｍ０２は、次の式（１０）で示される並進行列である。 
　［数９］
Figure JPOXMLDOC01-appb-I000004
［数１０］
Figure JPOXMLDOC01-appb-I000005
　よって、中間座標系（X１Y１Z１）上の点（ｘ１，ｙ１，ｚ１）は、次の式（１１）に示すように、第２の座標系（X２Y２Z２）上の点（ｘ２，ｙ２，ｚ２）に変換される。
　［数１１］
Figure JPOXMLDOC01-appb-I000006
　X1Y1Z1座標系をY1軸方向にR2移動した場合、並進M12と回転R12は、それぞれ、式（１２）と式（１３）のようになる。 
　［数１２］
Figure JPOXMLDOC01-appb-I000007
　［数１３］
Figure JPOXMLDOC01-appb-I000008
　以上のように、磁場発生装置７の第１の座標系（X０Y０Z０）における位置Ｐ０は、式（５）と式（１１）より、３Ｄモデル画像Ｍ１の中心Ｏ２を基準とする第２の座標系（X２Y２Z２）の位置Ｐ２に変換され、第１の座標系（X０Y０Z０）における方向V０は、次の式（１４）に従って、第２の座標系（X２Y２Z２）の方向V２に変換される。
　　　V２＝Ｒ１２Ｒ０１V０　　　　　　　　・・・式（１４）
　また、図４は、内視鏡２の挿入部２ｂが膀胱Ｂ内に挿入された様子を３Ｄモデル画像Ｍ１で示し、対物光学系１０の視点の位置Ｐｖから視線方向Ｖが交差する球体の内面（膀胱Ｂの内面）の位置も第２の座標系（X２Y２Z２）を用いて扱うことができる。 
　先端部２ｄの対物光学系１０の第２の座標系（X２Y２Z２）における視点の位置Ｐｖと視線方向Ｖが決定すると、撮像素子１１の撮像面１１ａの中心位置（中心部）に結像される（膀胱Ｂを表す）球体の内面上の座標位置（単に位置とも言う）Ｐｓは、以下のように球体の半径Ｒを用いて求める。次の式（１５）と式（１６）を満たす係数ｋを算出し、第２の座標系（X２Y２Z２）における座標位置としての位置（又は基準位置）Ｐｓを求める。 
　　Ｐｓ＝Ｐｖ＋ｋＶ　　　　　　　　・・・式（１５）
　　｜Ｐｓ｜＝Ｒ　　　　　　　　　　・・・式（１６）
　遠近関係算出回路２１ａは、式（１５）、式（１６）により位置Ｐｓを算出することにより、視点の位置Ｐｖと内面上の位置Ｐｓ間の距離を算出することができる。
　図２に示すメモリ２２は、ＲＯＭ、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリなどを用いて形成され、このメモリ２２は、ＣＰＵ２１により実行される各種処理プログラム及び各種データを記憶し、さらに、画像生成回路４ａにより生成された内視鏡画像の情報、位置方向取得回路２５により取得された位置情報と視線方向情報なども記憶する。 
　つまり、メモリ２２は、内視鏡画像の情報を記憶する内視鏡画像情報記憶部２２ａと、視点の位置情報及び視線方向情報を記憶する位置方向情報記憶部２２ｂと、ＣＴ装置２９により取得された被検体としての患者Ｐの少なくとも膀胱Ｂを含む３次元画像情報を記憶する患者画像情報記憶部（又は被検体画像情報記憶部）２２ｃとを有する。内視鏡画像情報記憶部２２ａ、位置方向情報記憶部２２ｂ及び患者画像情報記憶部２２ｃは、例えばメモリ２２におけるそれぞれ異なる記憶エリアにより形成される。従って、これらの記憶部をそれぞれ記憶エリア、又は記憶装置と言うこともできる。
　管腔臓器抽出回路２６は、患者Ｐの３次元画像情報から管腔臓器としての膀胱Ｂの中空形状の３次元画像を抽出する。つまり、管腔臓器抽出回路２６は、膀胱Ｂの３次元画像を抽出する膀胱抽出回路２６ａの機能を備える。抽出された膀胱Ｂの３次元画像情報は、３Ｄモデル画像Ｍ１として、メモリ２２内における患者画像情報記憶部２２ｃに格納される。このため、患者画像情報記憶部２２ｃは、臓器モデル画像記憶部の機能を持つ。なお、メモリ２２における患者画像情報記憶部２２ｃ以外の記憶エリアに臓器モデル画像記憶部を形成しても良い。
　メモリ２２内に格納された臓器モデル画像としての３Ｄモデル画像Ｍ１は、例えばＣＰＵ２１により読み出され、表示Ｉ／Ｆ２３を介してモニタ６に表示される。 
　モニタ６には、画像生成回路４ａが生成した内視鏡画像と、画像処理装置５が生成した重畳画像と、臓器モデル画像とが合成された合成画像が入力され、モニタ６は、図５Ａに示すように内視鏡画像表示エリアＡ１に内視鏡画像Ｉｅｎ、重畳画像表示エリアＡ２に上述したスケール画像を重畳した重畳画像Ｉｓ、臓器モデル表示エリアＡ３に３Ｄモデル画像Ｍ１を表示する。なお、図５Ａのように表示する場合には、画像生成回路４ａで生成した内視鏡画像を図２において点線で示すようにモニタ６に出力して内視鏡画像表示エリアＡ１に内視鏡画像Ｉｅｎを表示するようにしても良い。 
　また、本実施形態においては、図５Ａに示す第１の表示形態を、第２の表示形態に変更する表示モード変更機能を有し、ユーザは、キードード等から構成される入力装置３０からの変更入力により重畳画像を内視鏡画像表示エリアＡ１において表示するように変更することができる。例えば、図５Ａの表示形態を変更する変更入力を行った場合には、図５Ｂに示すように内視鏡画像表示エリアＡ１に重畳画像Ｉｓを表示し、その右側の臓器モデル表示エリアＡ３に３Ｄモデル画像Ｍ１を表示する。
　図２に示す画像取込回路２４は、プロセッサ４において生成された内視鏡画像を、一定の周期で取り込む処理を行う画像取込部の機能を有する。画像取込回路２４は、例えば、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、プロセッサ４から取得する。また、画像取込回路２４は、プロセッサ４からのレリーズ信号も受信する。 
　また、画像取込回路２４は、上述したＣＴ装置２９により予め取得した被検体としての患者Ｐの３次元画像を取り込み、取り込まれた患者Ｐの３次元画像情報をメモリ２２に形成した記憶エリアにより構成される患者画像情報記憶部２２ｃに記憶する。このため、患者画像情報記憶部２２ｃは、被検体に関する３次元画像情報を構築するための画像情報を記憶する記憶部を構成する。 
　位置方向取得回路２５は、磁場発生装置７を駆動する駆動回路２７を制御して、磁場発生装置７に所定の磁場を発生させ、その磁場を磁気センサ１３により検出し、その検出された磁場の検出信号から、対物光学系１０の視点となる位置座標（ｘ、ｙ、ｚ）と視線方向となる配向（大きさ１のベクトル）のデータ、すなわち視点の位置情報及び視線方向情報を第１の座標系（X０Y０Z０）においてリアルタイムで生成する。
　すなわち、位置方向取得回路２５（の情報取得回路２５ａ）は、磁気センサ１３からの位置情報及び方向情報を取得して、対物光学系１０の視点の位置情報と視線方向情報（簡略化して位置視線方向情報とも言う）とを取得する。 
　ＣＰＵ２１は、画像取込回路２４が取り込んだ内視鏡画像（の情報）と、位置方向取得回路２５が検出した位置方向情報から算出された位置方向情報とを（例えば座標変換処理回路２１ｆにより球体の中心Ｏ２を基準とした第２の座標系（X２Y２Z２）に変換した後）関連付けた関連付け情報を、メモリ２２に記憶する。なお、第２の座標系（X２Y２Z２）に変換しない状態でメモリ２２に記憶しても良い。 
　メモリ２２は、画像取込回路２４が取り込んだ上記内視鏡画像と、該内視鏡画像を取り込んだ際の位置方向情報とを関連付ける関連付け情報を、メモリ２２内の例えば関連付け情報記憶部２２ｄに記憶しても良い（図２の図示例）。又はメモリ２２における内視鏡画像情報記憶部２２ａ又は位置方向情報記憶部２２ｂが関連付け情報記憶部２２ｄの機能を持ち、その機能を持つ内視鏡画像情報記憶部２２ａ又は位置方向情報記憶部２２ｂが関連付け情報を記憶するようにしても良い。
　また、本実施形態においては、ＣＰＵ２１の遠近関係算出回路（又は距離算出回路）２１ａは、膀胱抽出回路２６ａにより抽出された膀胱Ｂの３次元画像情報、より具体的には３次元の中空となる球体の３Ｄモデル画像情報と、上記関連付け情報とから、対物光学系１０の視点（の位置）から被検体画像としての内視鏡画像上の各点に対応する被検体上の各点まで（に至る距離の大小関係として）の遠近関係を算出する。 
　図６Ａは遠近関係算出回路２１ａによる遠近関係又は距離大小関係を算出する動作説明図を示す。図６Ａは、膀胱Ｂ内に挿入された挿入部２ｂの先端部２ｄに配置された対物光学系１０及び撮像素子１１により、膀胱Ｂの内面を観察している様子を示す。 
　膀胱Ｂの内面は、中心をＯ２とした半径Ｒの球体で近似され、また、内面上の各位置は、Ｏ２を基準（原点）とした第２の座標系（X２Y２Z２）により扱い易くなる。 
　また、上述したように先端部２ｄに配置された対物光学系１０の視点の位置Ｐｖ及び視線方向（光軸方向）Ｖの情報は、位置方向取得回路２５を用いて取得され、第２の座標系（X２Y２Z２）の情報に変換された後、内視鏡画像と関連付けて記憶される。また、位置方向取得回路２５（の撮像情報取得部２５ｂ）は、対物光学系１０の焦点距離ｆ、撮像素子１１の画素数、視野角等の撮像情報を取得する。
　図６Ａに示すように視線方向Ｖに垂直に配置された撮像素子１１の撮像面１１ａには、視線方向Ｖ上の位置を中心として視野角θの範囲内となる内面の光学像が結像され、この光学像は、画像生成回路４ａにより内視鏡画像に変換される。この内視鏡画像は、画像処理装置５内の画像取込回路２４により取り込まれ、メモリ２２内又は表示Ｉ／Ｆ２３内に設けた画像メモリ２３ａに一時格納され、読み出されてモニタ６上には内視鏡画像（以下に説明する撮像面１１ａの光学像と等価な内視鏡画像と区別する必要がある場合にはモニタ上内視鏡画像と言う）として表示される。 
　図６Ａに示すように、対物光学系１０の光学中心を視点の位置Ｐｖとし、視点の位置Ｐｖから視線（光軸）方向Ｖに沿った直線が内面と交差する位置を基準位置Ｐｓとした場合、基準位置Ｐｓは、撮像面１１ａにおける例えば中心の基準位置Ｑｓに結像され、撮像素子１１の視野角θの境界となる位置Ｐａ，Ｐｂは撮像面１１ａにおける位置Ｑａ，Ｑｂにそれぞれ結像される。 
　視点の位置Ｐｖから位置Ｐｓまでの距離をＬｓとした場合、被検体（具体的には膀胱Ｂの内面）上における長さが撮像面１１ａ上では、ほぼｆ／Ｌｓの長さに縮尺される。
　図６Ａにおいて、視線方向が球体の中心Ｏ２近傍を通るように設定された場合（図６Ｂ，図８Ｂ参照）には、上記の縮尺は、内面上の位置が異なる場合にも、精度が高い近似となる。 
　撮像面１１ａの光学像は、被検体画像生成部を形成する画像生成回路４ａにより、例えば光学像と同じ縮尺の内視鏡画像（同じ縮尺で無くても良いが、説明を簡単にするために同じ縮尺とする）が生成される。このため、撮像面１１ａで説明する内容は、画像生成回路４ａにより生成される内視鏡画像においても同様に適用できる。 
　尤も、モニタ６の表示面上の内視鏡画像としてのモニタ上内視鏡画像は、モニタ６における表示するエリアの大きさに依存してそのサイズが変化する。 
　この場合には、撮像面１１ａの光学像（又は該光学像と同じ縮尺の内視鏡画像）における例えば単位の長さが、モニタ６の表示面において表示した場合にＥ倍の倍率の長さになる場合には、この倍率を用いることにより、撮像面１１ａ上で説明した内容をモニタ６上に表示されるモニタ上内視鏡画像においても同様に適用できる。
　つまり、撮像面１１ａでの長さの縮尺、例えば上記のｆ／Ｌｓは、モニタ６の表示面上の内視鏡画像中においては、（ｆ／Ｌｓ）×Ｅ＝（ｆ×Ｅ）／Ｌｓのようにｆを（ｆ×Ｅ）に置換することにより同様に適用できる。このため、撮像面１１ａで説明したことは、縮尺の係数の値を変更する（前記の場合には、ｆを（ｆ×Ｅ）に変更する）ことによりモニタ６に表示される（モニタ上）内視鏡画像の場合にも適用できる。 
　本実施形態においては、例えば撮像面１１ａの光学像と同じ縮尺の内視鏡画像に対して第１のスケール画像と第２のスケール画像を生成して、重畳画像を生成した後、この重畳画像をモニタ６に出力するようにしているので、モニタ６の表示サイズの影響を殆ど受けない。 
　また、本実施形態においては、視点の位置Ｐｖから被検体側（膀胱Ｂの内面側）を対物光学系１０を用いて観察した場合の観察状態が、視線が中心Ｏ２を通る状態に近い状態（換言すると、視線方向が、該視線方向上に対向する内面と垂直に近い状態）である場合（図６Ｂに示すような場合）に対応して、図３Ａで示したように同心円形状の第１のスケール画像Ｉ１を生成する。
　これに対して、図６Ａに示すように視線が中心Ｏ２の近傍を通らない観察状態に設定された場合には、基準位置Ｐｓからずれるに従って被検体側（膀胱Ｂの内面側）における長さが撮像面１１ａ上では、ｆ／Ｌｓの縮尺からずれる。 
　基準位置Ｐｓは、式（１５）から算出することができ、また、以下の式（１７）から距離Ｌｓの値も算出できる。 
　　　Ｌｓ＝｜Ｐｓ－Ｐｖ｜　　　　　　　　　・・・式（１７）
　位置Ｐａ，Ｐｂも、視点の位置Ｐｖから視線方向の方向ベクトルＶをθ／２だけ互いに逆となる方向に回転した方向ベクトルＶａ，Ｖｂとして、式（１５）、式（１６）と同様の式を適用することにより算出することができる。そして、式（１７）と同様の式を適用することにより距離Ｌａ，Ｌｂを算出することができる。 
　球体の内面における各位置Ｐｓ，Ｐａ，Ｐｂ近傍における長さは、撮像面１１ａ上において、各位置Ｑｓ、Ｑａ，Ｑｂ近傍において、それぞれｆ／Ｌｓ，ｆ／Ｌａ，ｆ／Ｌｂの長さに縮尺される。
　また、図６Ａにおいて、例えば内面上の位置Ｐｓから距離（又は長さ）ｄの位置Ｐｃを設定した場合、位置Ｐｃと視点の位置Ｐｖを通る直線上となる撮像面１１ａ上の位置Ｑｃを取得することもできる。この場合、内面上での距離ｄは、撮像面１１ａにおいては距離（長さ）ＱｓＱｃ（位置ＱｓとＱｃ間の距離）に縮尺される。内面上での距離ｄを基準長に設定して、内面上の距離を撮像面上の距離に設定する処理を適用して、後述する第２のスケール画像を生成しても良い。 
　本実施形態においては、遠近関係算出回路２１ａは、図６Ａにおいて説明した内容に沿って、視点の位置Ｐｖから、（撮像面１１ａの光学像に対応する）内視鏡画像上（又は内視鏡画像中）における各点に対応する被検体上での各点までの距離を含む遠近関係を算出すると共に、被検体上での所定長さが内視鏡画像上で縮尺される縮尺の情報を算出する。
　そして、重畳画像生成回路２１ｃは、内視鏡画像上において縮尺の値が変化する場合の内視鏡画像（が生成される観察状態）に対しては、図３Ｂに示すように内視鏡画像Ｉｅｎ上での長さ、又は縮尺の変化を反映した第２のスケール画像Ｉ２を生成し、生成した第２のスケール画像Ｉ２を内視鏡画像Ｉｅｎに重畳した重畳画像Ｉｓを生成する。
　また、本実施形態においては、遠近関係算出回路２１ａにより算出された遠近関係を表す情報に応じて被検体画像としての内視鏡画像に重畳するスケール画像として第１のスケール画像又は第２のスケール画像の１つを自動的に決定（又は設定）するスケール画像決定部を形成する決定回路２１ｇを有する。図２においては、遠近関係算出回路２１ａが決定回路２１ｇの機能を備える構成で示しているが、この場合の構成に限定されるものでない。 
　決定回路２１ｇは、遠近関係算出回路２１ａにより算出された視点から被検体を形成する膀胱Ｂの内面上における複数の点までの複数の距離の情報を用いて視線方向が内面と垂直に近い角度の角度閾値より小さいか否かを判定する判定回路２１ｈを備え、決定回路２１ｇは、この判定回路２１ｈによる判定結果に応じて重畳するスケール画像を第１のスケール画像又は第２のスケール画像から自動的に決定する。 
　図６Ｂは、判定回路２１ｈの動作説明図を示す。
　　図６Ｂは、図６Ａの観察状態として、先端部２ｄにおける対物光学系１０の視点の位置Ｐｖにおける視線方向Ｖが膀胱Ｂの内面に垂直に近い設定状態で膀胱Ｂの内面を観察する様子を示す。視線方向Ｖが膀胱Ｂの内面に垂直に近い状態で内面を観察する場合を正面視と言う。 
　遠近関係算出回路２１ａは、基準位置Ｐｓから、例えば直交する２つの方向に所定の長さｄの２つの位置Ｐｃ，Ｐｄ（図６ＢではＰｃは紙面内、Ｐｄは紙面の垂直方向となるために図示せず）を内面上に設定し、それぞれの場合における視点の位置Ｐｖからの距離Ｌｃ，Ｌｄを取得する。 
　また、例えばメモリ２２には、予め視線方向Ｖが中心Ｏ２を通る状態、つまり、視線方向Ｖが内面に垂直となる観察状態において、視点の位置Ｐｖから内面までの距離Ｌｓを任意の値に設定した場合において、上記所定の長さｄの位置の場合における視点から位置Ｐｃ（又はＰｄ）までの距離の値Ｌｒ（Ｌｓ）を格納している。なお、Ｌｒ（Ｌｓ）は、Ｌｓの値に依存してＬｒの値が変化することを表す。図６Ｃは、メモリ２２に格納される距離Ｌｒ（Ｌｓ）の説明図を示す。図６Ｃでは、２つの視点の位置Ｐｖ１，Ｐｖ２の場合の距離の値Ｌｒ（Ｌｓ）としてのＬｒ（Ｌｓ１），Ｌｒ（Ｌｓ２）を示す。
　図６Ｃから分かるように距離の値Ｌｒ（Ｌｓ）は視線方向Ｖ上となる視点の位置Ｐｖ又は視点の位置Ｐｖから内面までの距離Ｌｓの値に応じて変化する。図６Ｃでは距離の値Ｌｒ（Ｌｓ１）、Ｌｒ（Ｌｓ２）として、視点の位置Ｐｖ１，Ｐｖ２から位置Ｐｃまでの距離の値を示しているが、位置Ｐｃの代わりに位置Ｐｄとした場合にも同じ値となる。メモリ２２は、距離Ｌｓの値と共に、対応する距離の値Ｌｒ（Ｌｓ）を格納する。また、メモリ２２は、距離の値Ｌｒ（Ｌｓ）に対して、Ｌｒ（Ｌｓ）よりはかなり小さい値Δ（例えばＬｒ（Ｌｓ）の数％から１０％程度）として設定した閾値Ｔａ（＝Ｌｒ（Ｌｓ）－Δ），Ｔｂ（＝Ｌｒ（Ｌｓ）＋Δ）も、距離Ｌｓに応じて格納している。
　そして、判定回路２１ｈは、距離Ｌｃ，Ｌｄが、距離Ｌｓの値に応じて設定された閾値Ｔａ，Ｔｂに対して
　Ｔａ≦Ｌｃ≦Ｔｂ，Ｔａ≦Ｌｄ≦Ｔｂ　・・・式（１８）
　の条件を満たす場合には、観察状態として視線方向Ｖが内面と垂直に近い状態（正面視の状態）であると判定し、決定回路２１ｇは第１のスケール画像を使用するように決定する。 
　これに対して、式（１８）の条件を満たさない場合には、観察状態として視線方向Ｖが内面と垂直に近い状態でないと判定し、決定回路２１ｇは、第２のスケール画像を使用するように決定する。図６Ｃは、上記の視点の位置Ｐｖ１，Ｐｖ２とは異なり、内面に垂直な方向から外れた視点の位置Ｐｖ３から内面を観察する場合の様子も示す。この場合には、視点の位置Ｐｖ３から位置Ｐｓまでの距離Ｌｓ３は、距離Ｌｓ１と同じ値で示しているが、視点の位置Ｐｖ３から位置Ｐｃまでの距離の値Ｌｒ（Ｌｓ３）は、Ｌｒ（Ｌｓ１）よりも遥かに大きくなる。このような場合には、式（１８）の条件を満たさないと判定される。 
　なお、式（１８）を用いる代わりに、図６Ｂに示すように視線方向Ｖと、中心Ｏ２から基準位置Ｐｓを表すベクトルとのなす角αを算出し、判定回路２１ｈは、算出された角αが０から１０度以内に設定した角度閾値Ｔａｎ以内か否かにより観察状態として視線方向Ｖが内面と垂直に近い状態であるか否かを判定するようにしても良い。
　つまり、
　α≦Ｔａｎ　　・・・　式（１９）
　の条件を満たす場合には、観察状態として視線方向Ｖが内面と垂直に近い状態であると判定し、式（１９）の条件を満たさない場合には、観察状態として視線方向Ｖが内面と垂直に近い状態でないと判定するようにしても良い。 
　また、本実施形態においては、決定回路２１ｇの機能を用いるか否かをユーザが選択することができるようにしている。ユーザは、例えば入力装置３０に設けたスケール自動選択スイッチ３０ａをＯＮした場合には、決定回路２１ｇの決定動作により被検体画像としての内視鏡画像に重畳するスケール画像を自動的に決定する。また、入力装置３０から、決定回路２１ｇを用いる場合の上記閾値の値を指定（設定）したり、選択することもできるようにしている。このため、入力装置３０は、閾値を設定する閾値設定部（又は閾値設定装置）の機能を有する。 
　一方、スケール自動選択スイッチ３０ａをＯＦＦにした場合には、ユーザが被検体画像としての内視鏡画像に重畳するスケール画像を選択又は指定することができるようにしている。
　なお、決定回路２１ｇの決定動作により被検体画像としての内視鏡画像に重畳するスケール画像を自動的に決定した状態においても、ユーザが入力装置３０から内視鏡画像に重畳するスケール画像を選択又は指定することができるようにしても良い。 
　術者等のユーザは、内視鏡２を用いて膀胱Ｂの内面を観察し、例えば病変部が存在し、その大きさを把握したいと望む場合には、重畳画像生成回路２１ｃに対して、第１のスケール画像又は第２のスケール画像を内視鏡画像に重畳する選択の指示を例えば入力装置３０から行うことにより、簡単にその大きさを把握することができるようにしている。 
　重畳画像生成回路２１ｃは、第１のスケール画像と、第２のスケール画像とを生成する処理を行い、生成した第１のスケール画像と、第２のスケール画像とを例えばメモリ２２に格納する。なお、メモリ２２以外のメモリでも良い。そして、ユーザから選択指示された第１のスケール画像又は第２のスケール画像を速やかに表示することができるようにしている。 
　なお、選択の指示がされた後、第１のスケール画像又は第２のスケール画像を短時間に生成できる（処理機能を有する）重畳画像生成回路２１ｃを採用している場合には、選択の指示がされた後に選択の指示がされた第１のスケール画像又は第２のスケール画像を生成するようにしても良いし、又は一方のスケール画像のみを生成し、他方のスケール画像は、選択の指示がされた後に生成するようにしても良い。また、図２においてはＣＰＵ２１により遠近関係算出回路２１ａ、スケール画像生成回路２１ｂ、重畳画像生成回路２１ｃ、座標変換回路２１ｆ、決定回路２１ｇを形成する構成で示しているが、専用の電子回路を用いて構成しても良い。
　本実施形態の内視鏡システム１は、所定の視点から被検体を見た被検体画像を生成するよう構成された被検体画像生成部を形成する画像生成回路４ａと、前記被検体に対する前記視点の位置情報及び視線方向情報を取得するよう構成された情報取得部を形成する位置方向取得回路２５と、前記位置情報及び前記視線方向情報を用いて、前記視点から前記被検体画像上の各点に対応する前記被検体上の各点までの遠近関係（の情報）を算出するよう構成された遠近関係算出部を形成する遠近関係算出回路２１ａと、前記位置情報及び前記視線方向情報を用いて、前記被検体画像上において少なくとも互いに異なる２つの方向に対して同じ縮尺を用いて構成され、前記被検体画像上においての前記被検体上での異なる方向における長さを反映するための第１のスケール画像を生成するよう構成された第１のスケール画像生成部を形成する第１のスケール画像生成回路２１ｄと、前記遠近関係算出部により算出された遠近関係（の情報）に合わせて、前記被検体画像上において少なくとも互いに異なる２つの方向に対して、互いに異なる縮尺を用いて構成され、前記被検体画像上においての前記被検体上における異なる方向における長さを反映する第２のスケール画像を生成するよう構成された第２のスケール画像生成部を形成する第２のスケール画像生成回路２１ｅと、前記被検体画像に対して、前記第１のスケール画像若しくは前記第２のスケール画像を選択的に重畳した重畳画像を生成するよう構成された画像処理部を形成する重畳画像生成回路２１ｃと、を有することを特徴とする。
　次に図７を参照して本実施形態における代表的な動作を説明する。図７は、内視鏡２を用いて膀胱Ｂの内面を検査又は観察する場合の動作を示す。 
　内視鏡システム１の電源が投入され、動作状態になった後、最初のステップＳ１において術者等のユーザは、初期設定を行う。例えば第１のスケール画像又は第２のスケール画像から形成されるスケール画像を表示する場合、図５Ａ又は図５Ｂのいずれの表示モードで表示するかの設定を行う。以後、この設定に従って、後述するスケール画像（重畳画像）が表示されることになる。 
　また、ユーザは、画像処理装置５の遠近関係算出回路２１ａによる遠近関係の算出結果に基づいて、表示されている内視鏡画像の観察状態が、内視鏡画像上での異なる位置においても縮尺が殆ど変化しない正面視に近い状態であるか否かによって、内視鏡画像に重畳するスケール画像を自動的に決定することを望む場合には、スケール自動選択スイッチ３０ａをＯＮにする。また、ユーザは、内視鏡画像に重畳するスケール画像をユーザ自身が選択（又は指定）することを望む場合には、スケール自動選択スイッチ３０ａをＯＦＦにする。
　次のステップＳ２において術者は、内視鏡２の挿入部２ｂを患者Ｐの尿道を経て（検査又は観察対象の）膀胱Ｂ内に挿入する。ステップＳ３に示すように先端部２ｄ内の対物光学系１０及びその結像位置に配置された撮像素子１１により膀胱Ｂの内面を撮像した撮像信号は、画像生成回路４ａに入力され、画像生成回路４ａは、内視鏡画像を生成する。生成された内視鏡画像はモニタ６に表示される。 
　また、ステップＳ４に示すように位置方向取得回路２５は、先端部２ｄ内の対物光学系１０の視点の位置Ｐｖ及び視線方向Ｖの情報を取得し、座標変換処理回路２１ｆは、第２の座標系（X２Y２Z２）に変換する。 
　そして、ステップＳ５に示すようにメモリ２２は、内視鏡画像と、この内視鏡画像を取得した時間に取得した対物光学系１０の視点の位置Ｐｖ及び視線方向Ｖの情報を第２の座標系（X２Y２Z２）に変換して関連付けて格納（記憶）する。この動作は、制御部を形成するＣＰＵ２１が行う。
　ステップＳ６においてＣＰＵ２１（の遠近関係算出回路２１ａ）は、視点の位置Ｐｖから、撮像部１２の視野内又は画角内となる撮像面１１ａ上（又は内視鏡画像中）における代表的な複数の点に対応する膀胱Ｂの内面上における複数の点までの距離を（正面視に近いか否かを判定するために）算出する。 
　更にＣＰＵ２１（の遠近関係算出回路２１ａ）は、内視鏡画像中（又は撮像面１１ａ中）における代表的な複数の点近傍において、内面上の長さに対する内視鏡画像中（又は撮像面１１ａ中）の縮尺を算出する。この場合、位置方向取得回路２５により取得された対物光学系の焦点距離ｆ等の撮像情報が参照される。 
　ステップＳ７においてＣＰＵ２１（のスケール画像生成回路２１ｂ）は、ステップＳ６において算出された距離、縮尺の情報（の少なくとも一部）を利用して、第１のスケール画像と第２のスケール画像とを生成する。なお、この処理は、ステップＳ７において行わないで、第１のスケール画像を後述するステップＳ１０の直前、第２のスケール画像を後述するステップＳ１１の直前にそれぞれ生成するように処理をしても良い。
　次のステップＳ８においてＣＰＵ２１は、スケール自動選択スイッチ３０ａがＯＮか否かの判定を行う。 
　スケール自動選択スイッチ３０ａがＯＮされている場合には、次のステップＳ９においてＣＰＵ２１（の判定回路２１ｈ）は、　式（１８）、又は　式（１９）により、現在の内視鏡画像の観察状態が正面視、又は現在の視線方向が内面に垂直に近いか否かを判定する。 
　視線方向が内面に垂直に近い判定結果の場合には、ステップＳ１０においてＣＰＵ２１（の重畳画像生成回路２１ｃ）は、第１のスケール画像生成回路２１ｄにより生成した第１のスケール画像を内視鏡画像に重畳して重畳画像を生成する。そして、モニタ６は、内視鏡画像に第１のスケール画像を重畳した重畳画像を表示する。 
　一方、ステップＳ９の判定処理において、現在の視線方向が内面に垂直に近くない判定結果の場合には、ステップＳ１１においてＣＰＵ２１（の重畳画像生成回路２１ｃ）は、第２のスケール画像生成回路２１ｅにより生成した第２のスケール画像を内視鏡画像に重畳して重畳画像を生成する。そして、モニタ６は、内視鏡画像に第２のスケール画像を重畳した重畳画像を表示する。
　ステップＳ１０又はＳ１１の処理の後、ステップＳ１２においてＣＰＵ２１は、ユーザにより入力装置３０から膀胱Ｂ内の検査又は観察を終了する入力操作がされたか否かを判定する。終了する入力操作がされていない場合には、ステップＳ３の処理に戻り、終了する操作入力がされた場合には、図７の処理を終了する。 
　また、ステップＳ８においてスケール自動選択スイッチ３０ａがＯＦＦの判定結果の場合（更にスケール自動選択スイッチ３０ａがＯＮの判定結果の場合）には、ステップＳ１３に示すようにＣＰＵ２１は、ユーザにより第１のスケール画像を用いた重畳画像が選択（又は指定）されたか否かを判定する。ユーザにより第１のスケール画像を用いた重畳画像が選択（又は指定）された判定結果の場合には、ステップＳ１０の処理に移る。 
　一方、ユーザにより第１のスケール画像を用いた重畳画像が選択（又は指定）されないで、第２のスケール画像を用いた重畳画像が選択（又は指定）された判定結果の場合には、ステップＳ１１の処理に移る。
　図８Ａは、図７における第１のスケール画像生成の処理を示す。また、図８Ｂは、図８Ａの動作の説明図を示し、内視鏡２により膀胱Ｂの内面を観察する様子を示す。図８Ｂは、球体の中心をＯ２で示すように、視線方向Ｖが内面と垂直に近い状態で観察する様子を示す。 
　第１のスケール画像生成の処理が開始すると、最初のステップＳ２１において第１のスケール画像生成回路２１ｄは、対物光学系１０の視点の位置Ｐｖ，視線方向Ｖから膀胱Ｂの内面を観察した場合に対応する内面上の位置を基準位置Ｐｓに設定し、該基準位置Ｐｓにおいての内視鏡画像上での縮尺の値を、遠近関係算出回路２１ａによる遠近関係の取得結果に基づいて取得する。 
　例えば、視点の位置Ｐｖ、及びこの視点の位置Ｐｖからの視線方向Ｖで、被検体となる膀胱Ｂの内面を撮像素子１１により撮像した場合、視線方向Ｖの延長線上となる内面の位置を基準位置Ｐｓとし、この基準位置Ｐｓに対応する撮像面１１ａ上又は内視鏡画像上での基準位置（図８ＢではＱｓ）とし、基準位置Ｐｓに対する内視鏡画像上の基準位置Ｑｓ（近傍）での縮尺の値Ｇを取得する。図６Ａで説明したように、縮尺の値Ｇはｆ／Ｌｓとなる。
　次のステップＳ２２において第１のスケール画像生成回路２１ｄは、上記膀胱Ｂの内面上の基準位置Ｐｓにおいて、その両側に基準長Ｌｆ，Ｌｆを設定し、基準長２×Ｌｆに対して、取得した縮尺の値Ｇを乗算した長さを基準スケール直径Ｄａ（図３Ａでは内面上では５ｍｍに相当することを表す）とした第１の円Ｓｐ１を生成する。 
　次のステップＳ２３において第１のスケール画像生成回路２１ｄは、第１の円Ｓｐ１の外側に基準スケール直径Ｄａの２倍の基準スケール直径Ｄｂとなり、第１の円Ｓｐ１と同心となる第２の円Ｓｐ２を生成する。なお、基準長Ｌｆを基準スケール半径に設定しても同等の結果となる。 
　そして、第１の円Ｓｐ１と第２の円Ｓｐ２とからなる第１のスケール画像Ｉ１が生成される。次のステップＳ２４において第１のスケール画像生成回路２１ｄは、生成した第１のスケール画像Ｉ１を重畳画像生成回路２１ｃに送り、図８Ａの処理を終了する。 
　第１のスケール画像Ｉ１が送られた重畳画像生成回路２１ｃは、撮像素子１１により撮像した内視鏡画像上における基準位置Ｑｓを中心として第１のスケール画像Ｉ１を重畳して図３Ａに示すような重畳画像Ｉｓを生成する。
　図３Ａの重畳画像Ｉｓは、例えば病変部Ｉｄ１，Ｉｄ２，Ｉｄ３を含む内視鏡画像Ｉｅｎ上に、基準位置Ｑｓを中心とした第１の円Ｓｐ１，第２の円Ｓｐ２からなる第１のスケール画像Ｉ１が重畳された画像となる。第１のスケール画像Ｉ１は、互いに異なる２つの方向の場合を含む任意の方向に対して、視線方向Ｖとほぼ垂直に交差する交差面（を形成する撮像素子１１の撮像面１１ａ）に沿うように形成される。 
　また、第１のスケール画像Ｉ１は、内視鏡画像上において少なくとも互いに異なる２つの方向に対して同じ縮尺を用いて構成され、該内視鏡画像上においての（被検体としての）膀胱Ｂの内面上での異なる方向における長さを反映するための同心円スケール（画像）による第１のスケール画像となる。つまり、同心円スケール（画像）は、互いに異なる２つの方向を含む任意の方向に対して、同じ縮尺を用いて構成され、膀胱Ｂの内面上での任意の方向における長さを反映するための（方向依存性のない）等方性の縮尺を表すスケールとなる。後述する図１０においては、直交する２つの方向に対して、同じ縮尺（つまり同じ２つの縮尺）を用いて構成され、膀胱Ｂの内面上で２つの方向における長さを反映するための縮尺のスケールとなる。 
　なお、図３Ａに示すように内視鏡画像Ｉｅｎの中心部となる基準位置Ｑｓの付近又は、周辺部、その他の位置に、算出した縮尺の値を用いる等して、膀胱Ｂの内面までの距離（例えば基準位置Ｐｓまでの距離Ｌｓ）等を表示するようにしても良い。
　図３Ａに示すように第１のスケール画像Ｉ１は、任意の方向に沿って計測するための円形の目盛りを有する。 
　生成された重畳画像Ｉｓは、モニタ６に出力される。例えば図５Ａに示すように、モニタ６における重畳画像表示エリアＡ２には、重畳画像Ｉｓが表示される。術者は、内視鏡画像に重畳して表示される第１のスケール画像から、病変部等の大きさを把握することが簡単にできる。また、図５Ｂに示すように内視鏡画像表示エリアＡ１中に重畳画像Ｉｓを表示する表示形態を選択することもできる。この場合には、図５Ａよりも大きく表示できる。 
　図９Ａは、図７における第２のスケール画像生成の処理を示す。図９Ｂは、図９Ａの動作を内視鏡画像上で示す説明図を示す。第２のスケール画像生成の処理が開始すると、最初のステップＳ３１において第２のスケール画像生成回路２１ｅは、対物光学系１０の視点の位置Ｐｖ，及びこの視点の位置Ｐｖからの視線方向Ｖが、膀胱Ｂの内面と交わる基準位置Ｐｓ（図９Ｂ参照、図６Ａ参照）を設定し、該基準位置Ｐｓに対応する内視鏡画像上の位置Ｑｓ（図９Ｂ参照、図６Ａ参照）を取得する。
　なお、図９Ｂでは、位置Ｑｓに対応する内面上の基準位置Ｐｓを（Ｐｓ）で示している。内面上における他の位置も同様に表記する。 
　次のステップＳ３２において第２のスケール画像生成回路２１ｅは、内面上において、基準位置Ｐｓを通る第１の直線（具体例では左右方向に延びる直線）ｌａを設定し、該第１の直線ｌａ上で、基準位置Ｐｓの両側に、基準位置Ｐｓから基準長Ｌの位置Ｐｌ１，Ｐｒ１，２倍の基準長Ｌの位置Ｐｌ２，Ｐｒ２，…，を設定し、位置Ｐｌ１，Ｐｒ１，Ｐｌ２，Ｐｒ２，…，に対応する内視鏡画像上の位置Ｑｌ１，Ｑｒ１，Ｑｌ２，Ｑｒ２，…，をそれぞれ取得する。図６Ａにおいて説明した方法で位置Ｑｌ１，Ｑｒ１等を取得できる。図９Ｂでは内面上の第１の直線ｌａを点線で示す。なお、図９Ｂにおいては、内面上での直線は、ｌａ，ｌｂのみを示し、後述するｌｕ１等は（複雑になるため）図示しない。 
　次のステップＳ３３において第２のスケール画像生成回路２１ｅは、基準位置Ｐｓを通り、第１の直線に例えば直交する第２の直線（具体例では上下方向に延びる直線）ｌｂを設定し、該第２の直線ｌｂ上においても、基準位置Ｐｓの両側に、基準位置Ｐｓから基準長Ｌの位置Ｐｕ１，Ｐｄ１，２倍の基準長Ｌの位置Ｐｕ２，Ｐｄ２，…，を設定し、位置Ｐｕ１，Ｐｄ１，Ｐｕ２，Ｐｄ２，…，に対応する内視鏡画像上の位置Ｑｕ１，Ｑｄ１，Ｑｕ２，Ｑｄ２，…，をそれぞれ取得する。 
　次のステップＳ３４において第２のスケール画像生成回路２１ｅは、位置Ｐｕ１を通り、第１の直線ｌａと平行な直線ｌｕ１（図示略）を設定し、該直線ｌｕ１上で、位置Ｐｕ１の両側に、該位置Ｐｕ１から基準長Ｌの位置Ｐｕｌ１，Ｐｕｒ１，２倍の基準長Ｌの位置Ｐｕｌ２，Ｐｕｒ２，…，を設定し、位置Ｐｕｌ１，Ｐｕｒ１，Ｐｕｌ２，Ｐｕｒ２，…，に対応する内視鏡画像上の位置Ｑｕｌ１，Ｑｕｒ１，Ｑｕｌ２，Ｑｕｒ２，…，をそれぞれ取得する。
　同様に、次のステップＳ３５において第２のスケール画像生成回路２１ｅは、位置Ｐｄ１を通る第１の直線ｌａと平行な直線ｌｄ１を設定し、該直線ｌｄ１２上で、上で、位置Ｐｄ１の両側に、該位置Ｐｄ１から基準長Ｌの位置Ｐｄｌ１，Ｐｄｒ１，２倍の基準長Ｌの位置Ｐｄｌ２，Ｐｄｒ２，…，を設定し、位置Ｐｄｌ１，Ｐｄｒ１，Ｐｕｌ２，Ｐｕｒ２，…，に対応する内視鏡画像上の位置Ｑｄｌ１，Ｑｄｒ１，Ｑｕｌ２，Ｑｕｒ２，…，をそれぞれ取得する。 
　次のステップＳ３６において第２のスケール画像生成回路２１ｅは、位置Ｐｕ１の上側に隣接する位置Ｐｕ２，位置Ｐｄ１の下側に隣接する位置Ｐｄ２，位置Ｐｕ２の上側に隣接する位置Ｐｕ３，位置Ｐｄ２の下側に隣接する位置Ｐｄ３，…，に対してもステップＳ３４と同様の処理を繰り返し行う。
　次のステップＳ３７において第２のスケール画像生成回路２１ｅは、直線ｌａに対応する曲線ｌａ′，直線ｌｕ１に対応する曲線ｌｕ１′，直線ｌｄ１に対応する曲線ｌｄ１′，…を引く。この場合、例えば曲線ｌａ′は、位置Ｑｓ，その両側の位置Ｑｌ１，Ｑｒｌ，該位置Ｑｌ１，Ｑｒｌの両側の位置Ｑｌ２，Ｑｒ２，…を通る。他の曲線も同様である。換言すると、位置Ｑｓと、その水平方向の両側に存在する位置を曲線ｌａ′で結び、同様に位置Ｑｕ１，Ｑｄ１，Ｑｕ２、Ｑｄ２，…の各位置に対しても、各位置の水平方向の両側に存在する位置を通る曲線ｌｕ１′ｌｄ１′，ｌｕ２′ｌｄ２′，…を引く。 
　また、次のステップＳ３８において第２のスケール画像生成回路２１ｅは、位置Ｑｓ，その上下方向の両側の位置Ｑｕ１，Ｑｄ１，該位置Ｑｕ１，Ｑｄ１の位置Ｑｕ２，Ｑｄ２，…を通る垂直方向に延びる曲線ｌｂ′を引く。 
　同様に、第２のスケール画像生成回路２１ｅは、位置Ｑｌ１，Ｑｒ１，Ｑｌ２，Ｑｒ２，…の各位置に対しても、ステップＳ３８の場合と同様に垂直方向に存在する各位置を通る垂直方向に延びる曲線ｌｌ１′，ｌｒ１′、ｌｌ２′、ｌｒ２′…を引く。
　このようにして第２のスケール画像Ｉ２が生成される。そして、図９Ａの処理を終了する。図９Ｂに示すように（点線で示す）内面上における水平方向又は垂直方向に隣接する２つの位置間の距離は、基準長Ｌとなり、これに対して内視鏡画像上における水平方向又は垂直方向に隣接する２つの位置間の距離は、基準長Ｌを内視鏡画像上の長さで縮尺した値Ｌ′となる。 
　また、この第２のスケール画像Ｉ２は、内視鏡画像上においては、互いに異なる２つの方向に対して縮尺を変化させたスケール（目盛り）とすることにより、内視鏡画像上においての被検体としての膀胱Ｂの内面上での長さを反映したスケールを持つ画像となる。第１のスケール画像Ｉ１は、等方性のスケール画像であったのに対して、この第２のスケール画像Ｉ２は、方向依存性を有する異方性のスケール画像となる。 
　なお、図３Ｂのように内視鏡画像Ｉｅｎ上に第２のスケール画像Ｉ２を重畳した重畳画像Ｉｓを表示する場合には、図９Ｂで示す縮尺の値Ｌ′が膀胱Ｂの内面上では長さＬであることを示すようにＬを表示するようにしても良い。 
　なお、上述した第２のスケール画像Ｉ２の生成は、要約すると、以下のようになる。対物光学系１０の視線方向が交差する臓器内面上の基準位置Ｐｓから、臓器内面上において互いに直交する方向に沿って基準長Ｌの長さを単位として格子状に複数の位置Ｐｌ１，Ｐｌ２等を設定し、複数の位置Ｐｌ１，Ｐｌ２等に対応する被検体画像としての臓器画像上における複数の対応位置Ｑｉ１，Ｑｌ２等を取得し、取得した複数の対応位置Ｑｉ１，Ｑｌ２等を格子状に線で結んで第２のスケール画像Ｉ２を生成する。図３Ｂ，図９Ｂに示す第２のスケール画像Ｉ２の場合においては、上方向の領域では下方向の領域に対して、視点からの距離が大きくなっているために、内視鏡画像上でのスケールの間隔が下方向の領域と比較して小さくなっている。また、図３Ｂに示すように内視鏡画像Ｉｅｎ上における異なる複数の位置に病変部Ｉｄ１，Ｉｄ２，Ｉｄ３が存在したような場合においても第２のスケール画像Ｉ２によりそれらの大きさを計測又は把握することができる。
　このように動作する本実施形態によれば、内視鏡画像上に、該内視鏡画像に対応する被検体上での基準長をほぼ反映した縮尺の第１のスケール画像又は第２のスケール画像を重畳した重畳画像を表示できるようにしているので、術者等のユーザは、内視鏡画像上に病変部等の注目する部位が存在した場合、その大きさを第１のスケール画像又は第２のスケール画像のスケールから簡単に精度良く計測することができる。 
　また、本実施形態によれば、スケール自動選択スイッチをＯＮにする等して、スケール自動選択機能を動作状態に設定した場合には、膀胱Ｂの内面を観察している状態における遠近関係の情報から、第１のスケール画像及び第２のスケール画像における一方を自動的に選択して、重畳画像を生成することができる。 
　具体的には、内視鏡画像上における異なる位置における縮尺が、基準位置における縮尺から閾値以内に収まる場合や、視線方向が被検体面に垂直に近い場合は、内視鏡画像上におけるいずれの方向に対しても同じ縮尺のスケールを持つ第１のスケール画像を用いた重畳画像を表示し、内視鏡画像上における異なる位置に応じて被検対面までの距離が変化するような場合には、内視鏡画像上における少なくとも互いに異なる２つの方向に対しては異なる縮尺となるグリッド形状の第２のスケール画像を用いた重畳画像を表示する。 
　そして、術者等のユーザは、内視鏡画像上に病変部等の注目する部位が存在した場合、その大きさを重畳して表示されている第１のスケール画像又は第２のスケール画像から簡単に精度良く計測することができる。
　なお、上述した実施形態においては、正面視に近い観察状態においては同心となる第１の円と第２の円とを備えた第１のスケール画像を生成して、生成した第１のスケール画像を用いて重畳画像を生成する例を説明した。 
　これに対して、正面視に近い観察状態においても、グリッド形状の第１のスケール画像を生成し、生成したグリッド形状の第１のスケール画像を用いて重畳画像を生成するようにしても良い。この場合には、図１０に示すような重畳画像Ｉｓとなる。 
　図１０に示す重畳画像Ｉｓは、被検体を見る視線方向に対して略垂直に交差する撮像素子１１の撮像面１１ａにより形成される交差面上において第１の方向に沿って形成された第１の目盛り（図１０では水平方向にほぼ等間隔となる目盛り）と、前記前記交差面上において第１の方向に交差する第２の方向に沿って前記第１の目盛りと同じ縮尺で形成された第２の目盛り（図１０では水平方向にほぼ等間隔となる目盛り）を備えるグリッド形状の第１のスケール画像Ｉ１′を有する。
　グリッド形状の第１のスケール画像Ｉ１′は、図９Ａに示す処理手順で生成することができる。ユーザは、第１のスケール画像を選択する場合、入力装置３０から円形の１のスケール画像Ｉ１と、グリッド形状の第１のスケール画像Ｉ１′とを選択することができる。また、スケール自動選択をＯＮした場合、第１のスケール画像が自動的に選択される場合に対して、ユーザが入力装置から円形の１のスケール画像Ｉ１と、グリッド形状の第１のスケール画像Ｉ１′との一方を選択することもできる。 
　なお、上述した実施形態において、例えば図６Ａに示す対物光学系１０の視点の位置Ｐｖを仮想的に設定する視点設定部（又は視点設定装置）を入力装置３０に設けるようにしても良い。図２においては入力装置３０に設けたる視点設定部３０ｂを点線で示している。 
　この場合、ＣＰＵ２１は、視点設定部３０ｂにより設定された視点の位置Ｐｖから対物光学系１０の光学特性を用いた光学像と、該光学像に対応する仮想内視鏡画像を生成する仮想内視鏡画像生成部の機能を有する。
　また、上述した実施形態において、図２等に示すように内視鏡２は、単一の対物光学系１０及び撮像素子１１を備えた撮像部１２を用いているが、図２において２点鎖線で示すように３Ｄ内視鏡４２を用いるようにしても良い。 
　３Ｄ内視鏡４２は、挿入部２ｂの先端部２ｄには、左右方向に所定間隔だけ離間して左右の対物光学系１０ａ、１０ｂが配置され、それぞれの結像位置に左右の撮像素子１１ａ，１１ｂが配置されて、左右の撮像部１２ａ，１２ｂが構成される。その他、実線で示す内視鏡２の場合と同様に、ライトガイド９，磁気センサ１３を有する。 
　また、この３Ｄ内視鏡４２の場合、プロセッサ４は、左右の撮像部１２ａ，１２ｂに対する信号処理を行う画像生成回路を備える。上記遠近関係算出回路２１ａは、複数となる左右の対物光学系１０ａ、１０ｂのそれぞれの視点位置と、それぞれの視点位置に対応する視線方向の情報に基づき、各視点から左右の内視鏡画像における各点に対応する膀胱Ｂの内面の各点までの距離を算出する。 
　また、上述した実施形態に画像処理装置５おいて、図２等に示すようにCT装置から取り込んだ3次元画像に基づいて、３次元画像情報を構築する例を示したが、2次元の内視鏡画像から３次元画像情報を構築するようにしてもよい。 この場合、３Ｄ形状データ構築部４２ａは、例えば特許第５３５４４９４号の公報に記載された方法や、この公報以外に公知となるShape from Shading 法のように１枚の２次元画像から対応する３Ｄ形状を推定しても良い。また、２枚以上の画像を用いるステレオ法、単眼移動視による３次元形状推定法、ＳＬＡＭ法、位置センサと組み合わせて３Ｄ形状を推定する手法でも良い。また、３Ｄ形状を推定する場合、外部のＣＴ装置等の断層像取得装置から取得した３Ｄ画像データを参照して３Ｄ形状データを構築するようにしても良い。
　なお、上述した実施形態において、説明した内容の範囲内で一部の組み合わせを変更しても良い。
　本出願は、２０１４年９月１１日に日本国に出願された特願２０１４－１８５４５９号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (13)

  1. 　所定の視点から被検体を見た被検体画像を生成するよう構成された被検体画像生成部と、
    　前記被検体画像上において少なくとも互いに異なる２つの方向に対して同じ縮尺を用いて構成され、前記被検体画像上においての前記被検体上での異なる方向における長さを反映するための第１のスケール画像を生成するよう構成された第１のスケール画像生成部と、
    　前記被検体画像上において少なくとも互いに異なる２つの方向に対して、互いに異なる縮尺を用いて構成され、前記被検体画像上においての前記被検体上における異なる方向における長さを反映する第２のスケール画像を生成するよう構成された第２のスケール画像生成部と、
    　前記被検体画像に対して、前記第１のスケール画像若しくは前記第２のスケール画像を選択的に重畳した重畳画像を生成するよう構成された画像処理部と、
    　を有することを特徴とする内視鏡システム。
  2. 　前記第１のスケール画像生成部は、前記被検体画像上において互いに異なる２つの方向が、前記被検体を見る視線方向に対して略垂直に交差する交差面に沿うように形成して前記第１のスケール画像を生成することを特徴とする請求項１に記載の内視鏡システム。
  3. 　前記第１のスケール画像生成部は、前記被検体画像の中心部を基準位置とし、前記位置情報に基づき、前記被検体画像上においての前記被検体上での長さに対する縮尺を算出して前記基準位置からの距離を示すように形成して前記第１のスケール画像を生成することを特徴とする請求項２に記載の内視鏡システム。
  4. 　前記第１のスケール画像生成部は、前記第１のスケール画像が、前記交差面上において第１の方向に沿って形成された第１の目盛りと、前記前記交差面上において第１の方向に交差する第２の方向に沿って前記第１の目盛りと同じ縮尺で形成された第２の目盛りを備えるように生成することを特徴とする請求項２に記載の内視鏡システム。
  5. 　前記視点として前記被検体からの光を受け、前記被検体の光学像を結像する対物光学系を備え、
    　前記被検体画像生成部は、前記対物光学系が結像した光学像に対応する前記被検体画像を生成することを特徴とする請求項１に記載の内視鏡システム。
  6. 　予め取得した前記被検体に関する３次元画像情報を構築するための画像情報を記憶するよう構成された記憶部と、
    　前記３次元画像情報から当該３次元画像情報内に存在する所定の管腔臓器を抽出するよう構成された管腔臓器抽出部と、
    　前記管腔臓器抽出部によって抽出された前記所定の管腔臓器における視点を設定するよう構成された視点設定部と、を備え、
    　前記被検体画像生成部は、被検体画像として、前記視点設定部によって設定された前記視点から前記被検体を見た仮想管腔内画像を生成することを特徴とする請求項１に記載の内視鏡システム。
  7. 　前記被検体に対する前記視点の位置情報及び視線方向情報を取得する情報取得部と、
    　前記位置情報及び前記視線方向情報を用いて、前記視点から前記被検体画像上の各点に対応する前記被検体上の各点までの遠近関係を算出する遠近関係算出部と、をさらに備え、
    　前記第２のスケール画像生成部は、前記遠近関係算出部により算出された遠近関係に合せて、前記第２のスケール画像を生成することを特徴とする請求項５に記載の内視鏡システム。
  8. 　前記情報取得部は、前記対物光学系の位置及び視線方向を、前記位置情報及び前記視線方向情報として取得し、
    　前記遠近関係算出部は、前記対物光学系の異なる位置に対応する前記位置情報及び前記視線方向情報に基づき、前記視点から前記被検体上の各点までの距離を算出することで前記遠近関係を算出することを特徴とする請求項５に記載の内視鏡システム。
  9. 　前記対物光学系を複数備え、
    　前記遠近関係算出部は、複数の前記対物光学系の夫々の位置に対応する前記位置情報及び前記視線方向情報に基づき、前記視点から前記被検体上の各点までの距離を算出することで前記遠近関係を算出することを特徴とする請求項５に記載の内視鏡システム。
  10. 　前記被検体に対する前記視点の位置情報及び視線方向情報を取得する情報取得部と、
    　前記位置情報及び前記視線方向情報を用いて、前記視点から前記被検体画像上の各点に対応する前記被検体上の各点までの遠近関係を算出する遠近関係算出部と、
    　前記遠近関係算出部により算出された前記遠近関係の情報に応じて前記被検体画像に重畳する前記第１のスケール画像又は前記第２のスケール画像を自動的に決定するよう構成されたスケール画像決定部と、
    　を更に有することを特徴とする請求項１に記載の内視鏡システム。
  11. 　前記スケール画像決定部は、前記遠近関係算出部により算出された前記位置情報及び視線方向情報を用いて前記視線方向が、該視線方向に対向する前記被検体面に垂直に近いか否かに応じて、前記被検体画像に重畳するスケール画像を前記第１のスケール画像又は前記第２のスケール画像から自動的に決定することを特徴とする請求項１０に記載の内視鏡システム。
  12. 　先端部に前記対物光学系が設けられた内視鏡の挿入部は、前記被検体の球形の臓器内に挿入され、
    　前記情報取得部は、前記対物光学系の位置及び視線方向を、前記位置情報及び前記視線方向情報として取得し、
    　前記スケール画像決定部は、前記対物光学系の位置から前記球形の臓器内面に向かう前記対物光学系の視線方向と、前記球形の中心から前記対物光学系の視線方向が交差する前記臓器内面上の位置に向かう垂線方向とのなす角度が９０度に近い値に設定された閾値以上であると判定した場合には、前記第１のスケール画像を生成するように決定し、前記なす角度が前記閾値未満と判定した場合には、前記第２のスケール画像を生成するように決定することを特徴とする請求項１０に記載の内視鏡システム。
  13. 　先端部に前記対物光学系が設けられた内視鏡の挿入部は、前記被検体の臓器内に挿入され、
    　前記情報取得部は、前記対物光学系の位置及び視線方向を、前記位置情報及び前記視線方向情報として取得し、
    　　前記第２のスケール画像生成部は、前記対物光学系の視線方向が交差する前記臓器内面上の基準位置から、前記臓器内面上において互いに直交する方向に沿って基準長の長さを単位として格子状に複数の位置を設定し、前記複数の位置に対応する前記被検体画像としての臓器画像上における複数の対応位置を取得し、取得した前記複数の対応位置を格子状に線で結んで前記第２のスケール画像を生成することを特徴とする請求項１又は１０に記載の内視鏡システム。
    　
PCT/JP2015/075327 2014-09-11 2015-09-07 内視鏡システム Ceased WO2016039292A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016530258A JPWO2016039292A1 (ja) 2014-09-11 2015-09-07 内視鏡システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-185459 2014-09-11
JP2014185459 2014-09-11

Publications (1)

Publication Number Publication Date
WO2016039292A1 true WO2016039292A1 (ja) 2016-03-17

Family

ID=55459040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/075327 Ceased WO2016039292A1 (ja) 2014-09-11 2015-09-07 内視鏡システム

Country Status (2)

Country Link
JP (1) JPWO2016039292A1 (ja)
WO (1) WO2016039292A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002156212A (ja) * 2000-11-21 2002-05-31 Olympus Optical Co Ltd 目盛表示装置及びその方法
JP2005118107A (ja) * 2003-10-14 2005-05-12 Pentax Corp 画像表示システム
JP2010102113A (ja) * 2008-10-23 2010-05-06 Olympus Corp 画像処理装置、内視鏡装置、内視鏡システム、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002156212A (ja) * 2000-11-21 2002-05-31 Olympus Optical Co Ltd 目盛表示装置及びその方法
JP2005118107A (ja) * 2003-10-14 2005-05-12 Pentax Corp 画像表示システム
JP2010102113A (ja) * 2008-10-23 2010-05-06 Olympus Corp 画像処理装置、内視鏡装置、内視鏡システム、およびプログラム

Also Published As

Publication number Publication date
JPWO2016039292A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
US9516993B2 (en) Endoscope system
US9326660B2 (en) Endoscope system with insertion support apparatus
US9357945B2 (en) Endoscope system having a position and posture calculating portion
JP6242569B2 (ja) 医用画像表示装置及びｘ線診断装置
JP5977900B2 (ja) 画像処理装置
JP5750669B2 (ja) 内視鏡システム
JP3707830B2 (ja) 術式支援用画像表示装置
JP6141559B1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JP6022133B2 (ja) 医療装置
US10694929B2 (en) Medical equipment system and operation method of medical equipment system
JPWO2017212725A1 (ja) 医療用観察システム
WO2016076262A1 (ja) 医療装置
JP2017205343A (ja) 内視鏡装置、内視鏡装置の作動方法
JP5613353B2 (ja) 医療装置
US20240057847A1 (en) Endoscope system, lumen structure calculation system, and method for creating lumen structure information
EP3782529A1 (en) Systems and methods for selectively varying resolutions
WO2016039292A1 (ja) 内視鏡システム
JP6335839B2 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15840553

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016530258

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15840553

Country of ref document: EP

Kind code of ref document: A1