[go: up one dir, main page]

WO2016098665A1 - 医療機器システム、医療機器システムの作動方法 - Google Patents

医療機器システム、医療機器システムの作動方法 Download PDF

Info

Publication number
WO2016098665A1
WO2016098665A1 PCT/JP2015/084551 JP2015084551W WO2016098665A1 WO 2016098665 A1 WO2016098665 A1 WO 2016098665A1 JP 2015084551 W JP2015084551 W JP 2015084551W WO 2016098665 A1 WO2016098665 A1 WO 2016098665A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
information
image
unit
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/084551
Other languages
English (en)
French (fr)
Inventor
聡一 生熊
山本　達郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016544169A priority Critical patent/JP6017743B1/ja
Publication of WO2016098665A1 publication Critical patent/WO2016098665A1/ja
Priority to US15/389,543 priority patent/US10694929B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Definitions

  • the present invention relates to a medical device system that captures and displays a captured image of a subject in a luminal organ, and a method for operating the medical device system.
  • VBS image is a virtual endoscopic image of a body cavity in the subject generated based on CT image data that is image data of a three-dimensional region of the subject.
  • Japanese Patent Laid-Open No. 2002-17751 discloses a method in which the distance between the distal end of the rigid endoscope and the target region of the subject is calculated, and when the distal end of the rigid endoscope is closer to the target region than the predetermined distance, FIG. 10 shows a technique for enlarging and displaying the three-direction projection image related to the head shown in FIG. 10 to the state shown in FIG.
  • a plurality of captured images of an object to be observed (for example, a tumor) in the hollow organ may be acquired from different directions.
  • a method of displaying a plurality of captured images acquired in this way for confirmation a method of arranging and displaying them in time series is conventionally known.
  • the captured image of the predetermined object is not limited to be displayed continuously. There are cases where captured images of objects are sandwiched and displayed. In such a display, it takes more time to select a desired image from a plurality of images.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide a medical device system and a method for operating the medical device system that can quickly reach necessary information from a plurality of images. Yes.
  • a medical device system includes an objective optical window that forms a subject image in a predetermined luminal organ, an imaging unit that captures the subject image and obtains a captured image, and the objective optical window.
  • a position information acquisition unit that acquires position information; a position adjustment unit that aligns the position information acquired by the position information acquisition unit with the three-dimensional shape information of the predetermined luminal organ; and The position information is aligned with the three-dimensional shape information by the position alignment unit, and the image position calculation unit calculates the image position information in the three-dimensional shape information, and the image position information
  • An imaging information storage unit that associates and stores the captured image, a designation unit that designates a predetermined position or region in the three-dimensional shape information, and the designation based on a storage result of the imaging information storage unit All of the imaging position information that at least partially overlaps the position or region specified by, acquires all of the captured images related to the specified imaging position information from the imaging information storage unit, and acquires the acquired imaging
  • An image processing unit that generates an image sequence in which
  • An operation method of a medical device system includes a step in which an objective optical window forms a subject image in a predetermined luminal organ, and an imaging unit captures the subject image to obtain a captured image.
  • FIG. 5 is a flowchart showing processing when an object is observed by the medical device system according to the first embodiment.
  • FIG. which shows the example of a display of the map before a position or an area
  • FIG. 9 is a flowchart illustrating object observation processing when a predetermined luminal organ is a renal pelvis and a renal cup in Embodiment 2 of the present invention.
  • region is designated in the medical device system of the said Embodiment 2.
  • region is designated in the medical device system of the said Embodiment 2.
  • FIG. 1 is a block diagram showing the configuration of a medical device system.
  • This medical device system includes an endoscope 10, an image processing device 20, a magnetic generator 30, an operation unit 40, and a monitor 50.
  • the magnetism generating device 30 generates a magnetic field for position detection based on the control of the control unit 24 described later in the image processing device 20.
  • the operation unit 40 is for performing various operation inputs to the image processing apparatus 20 (and thus this medical device system), and includes devices such as a touch panel, a keyboard, a mouse, a trackball, and a foot switch as appropriate. ing.
  • the operation unit 40 is a designation unit for manually designating a predetermined position or region in the three-dimensional shape information described later (the designation unit for automatic designation corresponds to the control unit 24 described later). Function as.
  • the operation unit 40 is also used for selecting a three-dimensional model image, which will be described later.
  • the monitor 50 is a captured image 55 acquired from the endoscope 10 (see FIG. 3 and the like), and a predetermined luminal organ map 51 (see FIG. 3 and the like) generated by the image processing device 20 based on the three-dimensional shape information. ) Or various setting information related to the medical device system.
  • the endoscope 10 includes an objective optical window 11, an imaging unit 12, and a magnetic sensor 13.
  • the endoscope 10 may perform white light observation with normal white light, or in addition to white light observation or instead of white light observation, NBI (Narrow Band Imaging) light or the like. It may be capable of performing special light observation using special light.
  • special light observation using appropriate special light there is an advantage that a tumor or the like can be easily found.
  • the objective optical window 11 is configured to include an optical member such as a lens, for example, and forms a subject image (optical image of the subject) in a predetermined lumen organ on the imaging unit 12.
  • the predetermined luminal organ is described as being, for example, the urinary bladder 56 (see FIG. 3, FIG. 5 to FIG. 7, etc.), but of course other luminal organs may be used ( (Examples of other luminal organs (renal pelvis and renal cup) are shown in Embodiment 2 described later).
  • the imaging unit 12 captures the subject image formed by the objective optical window 11 and acquires the captured image 55.
  • the imaging unit 12 is provided in the endoscope 10 in the example shown in FIG. 1, but when the endoscope 10 is an optical endoscope having a relay optical system or the like, this optical endoscope is used. It may be a camera head or the like that is attached to the eyepiece of the mirror.
  • the magnetic sensor 13 is a position information acquisition unit that acquires position information of the objective optical window 11 by detecting a magnetic field generated by the magnetism generator 30. Although the magnetic sensor 13 is used here as the position information acquisition unit, other techniques may be used.
  • the image processing apparatus 20 includes an image processing unit 21, an imaging information storage unit 22, a three-dimensional shape information storage unit 23, and a control unit 24.
  • the control unit 24 includes a distance information acquisition unit 25, an alignment unit 26, and an imaging position calculation unit 27.
  • control unit 24 controls the entire medical device system including each unit in the image processing apparatus 20.
  • the 3D shape information storage unit 23 stores 3D shape information of a predetermined luminal organ.
  • the three-dimensional shape information is, for example, a three-dimensional model image of a luminal organ, or three-dimensional image information of a luminal organ acquired from the subject himself. It is assumed that it is a three-dimensional model image.
  • the size and shape of the luminal organ may vary depending on sex, age, and the like. Therefore, when a 3D model image is used as the 3D shape information, a plurality of 3D model images having different sizes and shapes are stored in the 3D shape information storage unit 23 in advance, and a selection operation from the operation unit 40 is performed. It is preferable that a desired three-dimensional model image can be selected based on the above.
  • the alignment unit 26 aligns the position information acquired by the magnetic sensor 13 with the three-dimensional shape information. That is, the alignment unit 26 determines which position of the objective optical window 11 when the endoscope 10 is inserted into a predetermined luminal organ in the three-dimensional shape information read from the three-dimensional shape information storage unit 23. Calculate whether it corresponds to a position.
  • the distance information acquisition unit 25 acquires distance information from the objective optical window 11 to a predetermined luminal organ.
  • the distance information acquisition by the distance information acquisition unit 25 may be performed, for example, by 3D distance measurement, may be performed by laser distance measurement, or other appropriate distance measurement techniques can be applied. It is not limited to a specific technology.
  • the imaging position calculation unit 27 aligns the position information of the objective optical window 11 at the time of acquiring the captured image 55 with the three-dimensional shape information by the alignment unit 26 as the imaging unit 12 acquires the captured image 55. Then, based on the registered position information and the distance information acquired from the distance information acquisition unit 25, the imaging range (that is, the three-dimensional shape information) in a predetermined luminal organ in the three-dimensional shape information of the captured image 55. The range shown in the captured image 55 in a predetermined luminal organ) is calculated as imaging position information in the three-dimensional shape information.
  • the image processing unit 21 performs various types of image processing such as white balance processing, synchronization processing, and gamma conversion on the captured image 55 acquired from the imaging unit 12 and outputs the processed image to the imaging information storage unit 22 for storage.
  • the imaging information storage unit 22 stores the imaging position information calculated by the imaging position calculation unit 27 and the captured image 55 image-processed by the image processing unit 21 in association with each other based on the control of the control unit 24.
  • the information stored in association with the captured image 55 by the imaging information storage unit 22 can include some other information such as a predetermined reference to be described later in addition to the imaging position information.
  • the image processing unit 21 described above further generates a map 51 of a predetermined luminal organ based on the three-dimensional shape information read from the three-dimensional shape information storage unit 23, and outputs the map 51 to the monitor 50 for display.
  • the user refers to the map 51 displayed on the monitor 50 and designates a predetermined position or region in the three-dimensional shape information by the operation unit 40 described above.
  • the image processing unit 21 specifies and specifies all the imaging position information at least partially overlapping the position or region specified by the operation unit 40 or the control unit 24 based on the storage result of the imaging information storage unit 22. All the captured images 55 related to the imaging position information are acquired from the imaging information storage unit 22, and the acquired captured images 55 are arranged on the basis of a predetermined criterion for each position or area (see FIGS. 3 and 7). ) Is generated.
  • the predetermined reference is that an image is taken from the objective optical window 11 acquired by the distance information acquisition unit 25 at an imaging position (subject is also referred to as a subject as appropriate because the subject is an inspection target by the endoscope 10).
  • Distance information to the specified range for example, the center
  • a specific position of the subject for example, the center (current imaging position) of the current imaging range (current observation range), or a specified position, or a specified region
  • a predetermined characteristic part in an organ can be given as an example, but is not limited thereto.
  • the acquired predetermined reference is stored in the imaging information storage unit 22 in association with the captured image 55 as described above.
  • the image processing unit 21 is configured to be able to selectively change which of the plurality of standards is a predetermined standard for arranging the captured images 55.
  • the predetermined reference may be automatically selected by the control unit 24 in accordance with a predetermined luminal organ to be examined, or manually by the user using the operation unit 40. It doesn't matter.
  • FIG. 2 is a flowchart showing processing when the subject is observed by the medical device system.
  • the three-dimensional shape information which is a three-dimensional model image of a predetermined luminal organ, for example, the bladder 56 in this case, is stored in the plurality of three-dimensional model images as described above. Is selected and read (step S1).
  • the insertion portion of the endoscope 10 is inserted into the subject, and the distal end of the insertion portion is inserted into the reference position of the subject, for example, the urethral opening 56a that is the boundary position between the bladder 56 and the urethra (FIGS. 3, 5 to 5).
  • the reference position of the subject is detected by detecting the position with the magnetic sensor 13 in the state of contact (see 7) (step S2).
  • step S3 the association between the position information (sensor coordinate information) detected by the magnetic sensor 13 and the coordinates (three-dimensional shape coordinates) in the three-dimensional shape information is calculated using the alignment unit 26 (step S3).
  • an example of associating with the three-dimensional shape coordinates using the sensor coordinate information of the reference position (urethral orifice 56a) acquired in step S2 specifically examples of association include sensor coordinate information, three-dimensional shape coordinates, However, the present invention is not limited to this, and other appropriate techniques can be used.
  • step S4 observation within the luminal organ by the endoscope 10 (that is, observation in which a real-time moving image is acquired by the imaging unit 12 and displayed on the monitor 50) is performed by the above-described white light observation or special light observation (step S4).
  • the control unit 24 determines whether or not the release switch is turned on (step S5).
  • the release switch corresponds to, for example, a foot switch of the operation unit 40 or a scope switch (not shown) provided in the endoscope 10.
  • step S4 If it is determined here that the release switch is not turned on, the process returns to step S4 to continue the endoscopic observation.
  • step S6 If it is determined in step S5 that the release switch is turned on, the captured image 55 as a still image is acquired by the imaging unit 12, and sensor coordinate information at the time when the release switch is turned on is obtained from the magnetic sensor 13. Obtain (step S6).
  • the sensor coordinate information acquired here can be handled as approximate tumor position information, but more accurate tumor position information is calculated using the sensor coordinate information and distance information acquired in step S8 described later. Then even better.
  • the alignment unit 26 calculates the three-dimensional shape coordinates of the objective optical window 11 based on the association calculated in step S3 (step S7).
  • the distance information acquisition unit 25 acquires distance information from the objective optical window 11 when the release switch is turned on to, for example, the center of the imaging range of the subject (step S8).
  • the imaging position calculation unit 27 acquires the size of an object on the captured image 55 (for example, a predetermined feature portion such as a tumor on the captured image 55) based on the acquired distance information (step) S9).
  • size of a target object is calculated based on distance information here, it is not restricted to this.
  • the position information is acquired by the magnetic sensor 13, the user traces the distal end of the insertion portion of the endoscope 10 along the outline of the object, and the size of the object is determined based on the trajectory obtained by this tracing. You may make it calculate, and you may use another appropriate technique.
  • step S9 is performed assuming that the size of the object (predetermined characteristic part) is used as a predetermined reference when displaying images side by side. If not used, the process of step S9 can be omitted.
  • the control unit 24 acquires from the endoscope 10 when connected to the image capturing range), based on the three-dimensional shape information of the captured image 55 acquired in step S6 (that is, as three-dimensional shape information). At least one (here, for example, both) of the imaging range on the inner wall surface of the predetermined luminal organ and the imaging position that is the center of the imaging range, for example (step S10).
  • the size information of the target object (predetermined characteristic part) is associated and stored in the imaging information storage unit 22 (step S11).
  • the imaging position, the imaging range, the distance information, and the size information of the target object are given as examples. May be omitted, and in addition to or instead of any of these, other information (for example, the distance from the specific position of the subject to the position indicated by the imaging position information) May be stored in association with the captured image 55.
  • the captured image 55 is stored in the imaging information storage unit 22, it is generally stored in a file format such as an image file, but the image file has a time such as an imaging time or a file storage time. Information is recorded. Therefore, it goes without saying that such time information is also one of information stored in association with the captured image 55.
  • the control unit 24 calculates and designates the current imaging position or imaging range based on the position information obtained from the magnetic sensor 13 (therefore, the control unit 24 selects a predetermined position or region in the three-dimensional shape information. Functioning as a designation unit for automatically designating the current imaging position (for example, the center of the current imaging range) or an image obtained by imaging the current imaging range in the past (for example, the current imaging position or imaging range, A captured image 55) in which at least a part of the imaging range overlaps is searched from the captured images 55 stored in the imaging information storage unit 22 (step S12).
  • FIG. 3 is a diagram illustrating an example of an image displayed on the monitor 50 during endoscopic observation in the medical device system.
  • a predetermined luminal organ map 51 created from three-dimensional shape information and an image sequence 52 are displayed on the monitor 50, for example, adjacent to the left and right.
  • a lower hemisphere diagram 56b and an upper hemisphere diagram 56t which are two-dimensional development views of the inner wall of the bladder 56, which is a predetermined luminal organ, are displayed as the map 51.
  • the urethral opening 56a used as the reference position in step S2 is also displayed.
  • the control unit 24 further adds a past imaging position 53 and a current imaging position or imaging range (in the example shown in FIG. 3, a current imaging range 54 that is a designated predetermined area) to the map 51. indicate.
  • control unit 24 displays a list of past captured images 55 in which at least a part of the imaging position 53 overlaps the current imaging range 54 as an image sequence 52 based on any of the predetermined criteria as described above. (In the example shown in FIG. 3, three captured images 55 are displayed in the vertical direction).
  • the distance from the specific part of the subject to the imaging position is used as a predetermined reference, the specific part is set as the current imaging position, and the imaging position of the captured image 55 is the current imaging position.
  • the list is displayed in order from the closest (center of the current observation range). In this case, past captured images 55 are displayed as a list in descending order of the ratio of overlapping the current imaging range 54.
  • the captured image 55 displayed as a list is an image captured by operating the release switch by the user who has found the tumor 56c in step S5, and thus shows the tumor 56c.
  • the user acquires more images in the current imaging range 54, moves the imaging range, or further observes it. It is possible to immediately and appropriately determine whether or not to end.
  • the image sequence 52 includes a captured image 55 (upper and center captured images 55) overlooking a plurality of tumors 56 c and one of the plurality of tumors 56 c. And a captured image 55 (lower captured image 55) in which only the tumor 56c is viewed in close proximity to each other.
  • the user can determine from the features displayed in the captured image 55 of the image sequence 52 that, for example, the proximity image is acquired even for the other tumor 56c that has not been subjected to the proximity imaging.
  • further acquisition of the proximity image acquisition of a further enlarged image, acquisition of an image from a different direction, or acquisition of an overhead image when no overhead image is included, or blurring of the tumor 56c.
  • the user can determine reacquisition of the generated image or reacquisition of the image by changing the light source from white light to special light, for example.
  • step S14 it is determined whether or not to end the observation.
  • the process returns to step S4 to continue the endoscopic observation. Finish the process.
  • FIG. 4 is a flowchart showing processing when reviewing an image for diagnosis or the like after the observation by the endoscope 10 is completed in the medical device system.
  • a default sort order (arrangement order) in the image sequence 52 is set (step S21).
  • the default sort order is the sort order set as a basic in the medical device system, the sort order used last time, or the like. This sort order is set according to a predetermined standard when images are displayed side by side as described above.
  • the imaging position, imaging range, distance information, size information, etc. associated with each captured image 55 are read (step S22).
  • a predetermined luminal organ map 51 created from the three-dimensional shape information of the subject is displayed on the monitor 50, and is further stored in the imaging information storage unit 22 in the map 51.
  • the imaging position 53 of each captured image 55 is displayed (step S23).
  • FIG. 5 is a diagram showing a display example of the map 51 before the position or area is designated in the medical device system.
  • a map 51 shown in FIG. 5 is a two-dimensional development view of the inner wall of the bladder 56 as in the example shown in FIG. 3, and displays a lower hemisphere figure 56b, an upper hemisphere figure 56t, and a urethral orifice 56a.
  • step S24 the user who has viewed the monitor display in FIG. 5 specifies the position or area as the part where the diagnostic image is to be selected using, for example, the mouse or the trackball of the operation unit 40 which is the specification unit.
  • step S24 when the process of step S24 is performed for the first time, one or more desired number of positions or areas are designated. In the second and subsequent times, the position or area is added. If it is not specified (or cancels the existing specification and newly), the process proceeds to the next processing based on the already specified position or region.
  • FIG. 6 is a diagram showing a display example when a position or region is designated on the map 51 in the medical device system.
  • the areas A, B, and C including one or more imaging positions 53 are specified, but they may be specified as positions (points) instead of the areas.
  • control unit 24 searches the captured image 55 stored in the imaging information storage unit 22 for a captured image 55 in which at least a part of the imaging range overlaps the designated position or region (step S25).
  • the image processing unit 21 arranges the retrieved captured images 55 in the sort order based on a predetermined criterion for each designated position or region, and next to the map 51 on the monitor 50.
  • a list is displayed as the image sequence 52 (step S26).
  • FIG. 7 is a diagram showing an example when a map 51 and an image sequence 52 are displayed in the medical device system.
  • captured images 55 in which the imaging positions 53 overlap at least a part of each of the areas A, B, and C are arranged and displayed in the vertical direction.
  • the user can make the following determinations and selections from the features displayed in the captured images 55 belonging to the areas A, B, and C.
  • the image sequence 52 of the region A is a front-view view of only a captured image 55 (first to fourth captured images 55 from the top) of the plurality of tumors 56c and one of the plurality of tumors 56c.
  • a captured image 55 (the fifth (bottom) captured image 55 from the top).
  • the image sequence 52 of the region B includes only the captured image 55 overlooking one or more tumors 56c.
  • the image sequence 52 of the region C includes captured images 55 obtained by observing one tumor 56c in different directions and different magnifications.
  • the whole of the plurality of tumors 56c can be seen from above.
  • the second captured image 55 can be selected as a diagnostic image and left in the medical chart.
  • the lowermost captured image 55 is selected to be deleted because one of the two tumors 56c is lost due to the imaging direction of the endoscope 10 being blurred. Is possible.
  • the lower captured image 55 is an enlarged image from the front, and the tissue property can be grasped, so that it can be selected as a diagnostic image and left in the chart.
  • step S27 it is determined whether or not the user has changed the sort order. If it is determined that the change operation has been performed, the changed sort order is set (step S28). Then, the process proceeds to step S26 described above to display a list in a new sort order. As a result, the user can change the desired reference and observe the captured images 55 rearranged based on the changed reference.
  • step S29 If it is determined whether or not to end the observation (step S29). If it is determined not to end, the process returns to step S24 and described above. If it is determined that the process is to be terminated, this process is terminated.
  • all of the imaging position information that at least partially overlaps the position or area in the specified three-dimensional shape information is specified, and the captured image 55 related to the specified imaging position information is captured. Since all the images acquired from the information storage unit 22 and the acquired captured images 55 are arranged for each position or area based on a predetermined reference are generated, the user can obtain necessary information from a plurality of images ( As an example, it is possible to quickly reach a captured image 55 or the like suitable for determining the tissue properties of the tumor 56c.
  • the imaging position information includes information regarding the imaging range in the three-dimensional shape information, the imaging range can be easily grasped visually.
  • the predetermined standard can be selectively changed from a plurality of standards, the image sequence can be rearranged in the order that makes it easy to reach the necessary information.
  • the distance information as a predetermined reference, it is possible to immediately grasp the magnitude relationship of the imaging distance from the objective optical window 11 to the tumor at the time of imaging.
  • the distance from the specific position of the subject to the position indicated by the imaging position information as the predetermined reference, for example, when there are a plurality of tumors, it can be easily assumed which is the same tumor. It becomes possible.
  • the designation unit designates the imaging position information as a designated position or region, it is easy to designate and it is possible to capture tumors and the like as a group.
  • observation status is reviewed during the observation to determine whether or not further images need to be acquired, and after the observation is completed, the images are reviewed, and an imaging range is provided in at least a part of the designated region in the luminal organ.
  • An image suitable for diagnosis can be selected from the group of overlapping captured images 55.
  • FIGS. 8 to 11 show Embodiment 2 of the present invention
  • FIG. 8 is a flowchart showing an object observation process when a predetermined luminal organ is a renal pelvis and a renal cup.
  • the bladder 56 is taken as an example of the predetermined luminal organ, but in this embodiment, the renal pelvis and the renal cup are taken as examples.
  • the three-dimensional image information of the subject is acquired from the three-dimensional shape information storage unit 23 (step S31). That is, in Embodiment 1 described above, a three-dimensional model image of a luminal organ is assumed as the three-dimensional shape information. However, in this embodiment, three-dimensional image information of a luminal organ obtained from the subject himself / herself is used. Is assumed.
  • the three-dimensional image information of the subject is acquired in advance from the subject himself by, for example, a CT apparatus or an MRI apparatus.
  • the three-dimensional image information acquired in this way is managed by, for example, a hospital workstation.
  • FIG. 1 shows an example in which the three-dimensional shape information storage unit 23 is provided in the image processing apparatus 20, but the three-dimensional shape information storage unit 23 is provided outside the image processing apparatus 20, for example, in the hospital. It may be a workstation or the like.
  • a predetermined luminal organ here, for example, a renal pelvis and a renal cup (these renal pelvis and renal cup are collected together).
  • the three-dimensional shape information (shown by reference numeral 57 in FIGS. 9 to 11) is extracted and read (step S32). This reading is performed as data download when the three-dimensional shape information storage unit 23 is, for example, a hospital workstation.
  • the read three-dimensional shape information is stored in the image processing unit 21 under the control of the control unit 24. 9 is displayed on the monitor 50 as a map 51 as shown in FIG. 9, for example.
  • the acquisition method of the 3D image information is not limited to this.
  • the image processing unit 21 uses a three-dimensional image corresponding to a captured image captured (observed) by the imaging unit 12 of the endoscope 10 using observation position and gaze direction data based on the captured image captured by the imaging unit 12. Image information may be generated.
  • the image processing unit 21 estimates a corresponding three-dimensional shape from one two-dimensional image, such as the method described in Japanese Patent No. 5354494 or the other known Shape from Shading method. You may do it.
  • a stereo method using two or more images a three-dimensional shape estimation method using monocular movement vision, a SLAM method, or a method of estimating a three-dimensional shape in combination with a position sensor may be used.
  • the three-dimensional shape data may be constructed with reference to three-dimensional image data acquired from a tomographic image acquisition device such as an external CT device.
  • FIG. 9 is a diagram showing a display example of the map 51 before the position or area is designated in the medical device system.
  • the monitor 50 displays a map 51 of a predetermined luminal organ created from the three-dimensional shape information (here, a two-dimensional map of the renal pelvis and kidney cup 57).
  • a map 51 of a predetermined luminal organ created from the three-dimensional shape information here, a two-dimensional map of the renal pelvis and kidney cup 57.
  • a renal pelvis 57a, a renal cup 57b, and a ureter 58 are displayed.
  • the default sort order (arrangement order) in the image sequence 52 is set in the same manner as in the first embodiment (step S33).
  • step S34 the user waits for one or more positions or areas where the user wants to display the captured image 55 to be designated on the map 51 shown in FIG. 9 (step S34).
  • the position or area is designated, the designated position or area is superimposed on the map 51 displayed on the monitor 50.
  • FIG. 10 is a diagram showing a display example of the map 51 when the position or area is designated in the medical device system.
  • six positions A to F are designated, but they may be designated as regions.
  • the timing at which the position or area from the user is designated may be other timing.
  • the magnetic sensor 13 is inserted in a state in which the insertion portion of the endoscope 10 is inserted into the subject, and the distal end of the insertion portion is brought into contact with a reference position of the subject, here, a predetermined reference position in the renal pelvis and kidney cup 57.
  • position detection is performed (step S35).
  • the association between the position information (sensor coordinate information) detected by the magnetic sensor 13 and the coordinates (three-dimensional shape coordinates) in the three-dimensional shape information is calculated using the alignment unit 26 (step S36).
  • the sensor coordinate information and the three-dimensional shape coordinates may be associated with each other using another appropriate technique, as in the first embodiment.
  • step S37 the inside of the luminal organ is observed with the endoscope 10 (step S37), and the control unit 24 determines whether or not the release switch is turned on (step S38).
  • step S37 If it is determined here that the release switch is not turned on, the process returns to step S37 to continue endoscopic observation.
  • step S38 If it is determined in step S38 that the release switch is turned on, the captured image 55 is acquired by the imaging unit 12, and sensor coordinate information at the time when the release switch is turned on is acquired from the magnetic sensor 13 (step S38). S39).
  • the alignment unit 26 calculates the three-dimensional shape coordinates of the objective optical window 11 (step S40).
  • the distance information acquisition unit 25 acquires distance information from the objective optical window 11 to, for example, the center of the imaging range of the subject when the release switch is turned on (step S41).
  • the three-dimensional image of the captured image 55 acquired in step S39 Based on the three-dimensional shape coordinates of the objective optical window 11 calculated in step S40, the distance information acquired in step S41, and the angle-of-view information of the endoscope 10, the three-dimensional image of the captured image 55 acquired in step S39. At least one (here, for example, both) of the imaging range in the shape information and the imaging position that is the center of this imaging range is calculated (step S42).
  • the distance is calculated to calculate the imaging range and the imaging position.
  • the field of view is calculated from the three-dimensional shape coordinates of the objective optical window and the angle-of-view information of the endoscope 10 without calculating the distance.
  • the three-dimensional shape coordinates of the range and the visual field center line may be obtained, and a portion where the visual field range and the visual field center line intersect with the three-dimensional image information may be calculated as the imaging range and the imaging position.
  • the captured image 55 image-processed by the image processing unit 21, the imaging position / imaging range calculated by the imaging position calculating unit 27, and the distance information acquired by the distance information acquiring unit 25 are associated with each other to acquire imaging information. It preserve
  • the control unit 24 searches the captured image 55 stored in the imaging information storage unit 22 for a captured image 55 in which at least a part of the imaging range overlaps the position or region specified in step S34 (step S44). .
  • FIG. 11 is a diagram illustrating an example in which the captured image 55 for each designated position or region is displayed on the monitor 50 together with the map 51 in the medical device system.
  • a map 51 of a predetermined luminal organ (here, renal pelvis and kidney cup 57) created from the three-dimensional shape information and an image sequence 52 are displayed adjacent to each other on the left and right, for example. Is done.
  • the map 51 displayed in FIG. 11 is a map in which designated positions A to F are displayed, similar to the map 51 shown in FIG.
  • the image sequence 52 acquires the captured image 55 including the specified position in the imaging range from the imaging information storage unit 22 for each of the specified positions A to F, and uses the acquired captured image 55 as the above-described predetermined reference.
  • the list is displayed in a sorted order based on the list.
  • the size of the hole of the renal pelvis and the renal cup 57 may be adopted as the predetermined standard.
  • the size information of the hole is acquired as the size information of the object (predetermined characteristic part) on the captured image 55.
  • size information of the target object (predetermined characteristic part) on the captured image 55 for example, size information such as a small kidney cup 57c or a calculus is acquired, and the captured information storage unit is associated with the captured image 55. 22 and may be used as a predetermined reference when images are displayed side by side.
  • These captured images 55 include, for example, a small kidney cup 57c.
  • the image processing unit 21 captures a captured image 55 in a display region that displays the image sequence 52 when there is no imaging position information that overlaps any one of a plurality of positions or regions.
  • the suggestion information 59 suggesting that there is no is superimposed.
  • “No data” is displayed as the suggestion information 59 to indicate that the captured image 55 does not exist. So that it can be easily grasped.
  • the user can make the following judgments and selections from the features displayed on the captured images 55 associated with the positions A to F.
  • each image row 52 at positions A to C includes an image in which a plurality of small kidney cups 57c are looked down on.
  • the captured image 55 is not acquired.
  • an image obtained by imaging the small kidney cup 57c from a close position and an image obtained by imaging the small kidney cup 57c from a distant position are acquired.
  • the image row 52 at the position F includes an image obtained by overlooking the plurality of small kidney cups 57c and an image obtained by observing the small kidney cups 57c at close positions.
  • the user when observing with the endoscope 10, for example, for the positions A to C, the user can make a determination to additionally acquire a close image of each small renal cup 57c.
  • the user can make a determination to acquire an image of the small renal cup 57c on the assumption that an observation omission of the small renal cup 57c has occurred.
  • the user can overlook the entire three small kidney cups 57c, and diagnoses the second captured image 55 from the top. It is possible to select as an image and leave it in the chart, and for the position E, it is possible to select only the image of the small kidney cup 57c imaged at a close position as a diagnostic image in the chart.
  • step S46 it is determined whether or not the user has changed the sort order. If it is determined that the change operation has been performed, the changed sort order is set (step S47). Then, the process goes to step S45 described above to display a list in a new sort order. As a result, the user can change the desired reference and observe the captured images 55 rearranged based on the changed reference.
  • step S46 If it is determined in step S46 that the change operation has not been performed, it is determined whether or not to end the observation (step S48). If it is determined not to end, the process returns to step S37 and described above. If it is determined that the process is to be terminated, this process is terminated.
  • the observation status is looked back during the observation by the endoscope 10, and there is no need for further image acquisition or observation omission such as the renal cup.
  • the image is reviewed, and an image suitable for diagnosis can be selected from the captured images 55 classified for each designated position or region. It becomes.
  • the 3D image information acquired from the subject himself is used as the 3D shape information, it is possible to perform more accurate positioning and display a more accurate map 51.
  • an operation method for operating the medical device system as described above may be used, or a processing program for causing a computer to operate the medical device system as described above, It may be a non-temporary recording medium readable by a computer for recording the processing program.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various aspects of the invention can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components from all the components shown by embodiment.
  • the constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

　取得された撮像系の位置情報を管腔臓器の３Ｄ情報に位置合わせする位置合わせ部（２６）と、画像取得時の３Ｄ情報中における撮像位置を、位置合わせされた位置情報に基づき算出する撮像位置算出部（２７）と、撮像位置と画像を関連付けて記憶する撮像情報記憶部（２２）と、３Ｄ情報中の領域等を指定する操作部（４０）と、撮像情報記憶部（２２）の記憶結果から、指定領域に重なる撮像位置の画像を取得して領域毎に所定の基準で並べる画像処理部（２１）と、を有する医療機器システム。

Description

医療機器システム、医療機器システムの作動方法
　本発明は、管腔臓器内の被写体像を撮像して撮像画像を取得し表示する医療機器システム、医療機器システムの作動方法に関する。
　管腔臓器内の被写体像を撮像して撮像画像を取得し表示する医療機器システムは、従来より、種々のものが提案されている。
　例えば、日本国特許４００９６３９号公報の図１２等には、ナビゲーション画面に、気管支のライブ画像およびＶＢＳ画像を表示すると共に、ルートの全ての分岐点でのＶＢＳ画像を縮小して分岐サムネイルＶＢＳ画像として表示することが記載されている。ここに、ＶＢＳ画像は、被検体の３次元領域の画像データであるＣＴ画像データに基づき生成された、被検体内の体腔路の仮想の内視鏡像である。
　また、日本国特開２００２－１７７５１号公報には、硬性鏡の先端と被検体の対象部位との距離を算出して、硬性鏡の先端が対象部位に所定距離よりも近付いたときに、図１０に示されている頭部に係る３方向投影画像を、図１１に示すような状態へ拡大表示する技術が記載されている。
　ところで、内視鏡により管腔臓器内を観察する際に、管腔臓器内における観察の対象物（例えば、腫瘍など）に対する撮像画像を、異なる方向から複数取得する場合がある。こうして取得された複数の撮像画像を確認するために表示する方法として、従来より、時系列に並べて表示する方法が知られている。
　しかしながら、従来のような単に時系列に並べて表示する方法では、対象物が複数ある場合に、所定の対象物の撮像画像が連続して表示されると限られるものではなく、途中に他の対象物の撮像画像が挟まって表示される等が生じることがある。そして、このような表示では、複数の画像の中から所望の画像を選択しようとする際に、より多くの時間を要してしまう。
　本発明は上記事情に鑑みてなされたものであり、複数の画像の中から必要な情報に速やかに到達することが可能となる医療機器システム、医療機器システムの作動方法を提供することを目的としている。
　本発明のある態様による医療機器システムは、所定の管腔臓器内の被写体像を結像する対物光学窓と、前記被写体像を撮像して撮像画像を取得する撮像部と、前記対物光学窓の位置情報を取得する位置情報取得部と、前記位置情報取得部で取得した前記位置情報を前記所定の管腔臓器の３次元形状情報に位置合わせする位置合わせ部と、前記撮像部が前記撮像画像を取得することに伴い、前記位置情報を前記位置合わせ部によって前記３次元形状情報に位置合わせし、前記３次元形状情報中における撮像位置情報を算出する撮像位置算出部と、前記撮像位置情報と前記撮像画像を関連付けて記憶する撮像情報記憶部と、前記３次元形状情報中の所定の位置または領域を指定する指定部と、前記撮像情報記憶部の記憶結果に基づき、前記指定部によって指定された前記位置または領域に少なくとも一部が重なる前記撮像位置情報を全て特定し、特定した前記撮像位置情報に関連する前記撮像画像を前記撮像情報記憶部から全て取得し、取得した前記撮像画像を前記位置または領域毎に所定の基準に基づき並べた画像列を生成する画像処理部と、を有している。
　本発明のある態様による医療機器システムの作動方法は、対物光学窓が、所定の管腔臓器内の被写体像を結像するステップと、撮像部が、前記被写体像を撮像して撮像画像を取得するステップと、位置情報取得部が、前記対物光学窓の位置情報を取得するステップと、位置合わせ部が、前記位置情報取得部で取得した前記位置情報を前記所定の管腔臓器の３次元形状情報に位置合わせするステップと、撮像位置算出部が、前記撮像部が前記撮像画像を取得することに伴い、前記位置情報を前記位置合わせ部によって前記３次元形状情報に位置合わせし、前記３次元形状情報中における撮像位置情報を算出するステップと、撮像情報記憶部が、前記撮像位置情報と前記撮像画像を関連付けて記憶するステップと、指定部が、前記３次元形状情報中の所定の位置または領域を指定するステップと、画像処理部が、前記撮像情報記憶部の記憶結果に基づき、前記指定部によって指定された前記位置または領域に少なくとも一部が重なる前記撮像位置情報を全て特定し、特定した前記撮像位置情報に関連する前記撮像画像を前記撮像情報記憶部から全て取得し、取得した前記撮像画像を前記位置または領域毎に所定の基準に基づき並べた画像列を生成するステップと、を有している。
本発明の実施形態１における医療機器システムの構成を示すブロック図。 上記実施形態１における医療機器システムにより被写体を観察するときの処理を示すフローチャート。 上記実施形態１の医療機器システムにおいて、内視鏡観察時にモニタに表示される画像の例を示す図。 上記実施形態１の医療機器システムにおいて、内視鏡による観察が終了した後に、診断等を行うために画像を見直すときの処理を示すフローチャート。 上記実施形態１の医療機器システムにおいて、位置または領域が指定される前のマップの表示例を示す図。 上記実施形態１の医療機器システムにおいて、マップに位置または領域が指定されたときの表示例を示す図。 上記実施形態１の医療機器システムにおいて、マップおよび画像列が表示されているときの例を示す図。 本発明の実施形態２において、所定の管腔臓器を腎盂および腎杯としたときの被写体の観察処理を示すフローチャート。 上記実施形態２の医療機器システムにおいて、位置または領域が指定される前のマップの表示例を示す図。 上記実施形態２の医療機器システムにおいて、位置または領域が指定されたときのマップの表示例を示す図。 上記実施形態２の医療機器システムにおいて、指定された位置または領域毎の撮像画像がマップと共にモニタに表示される例を示す図。
　以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
　図１から図７は本発明の実施形態１を示したものであり、図１は医療機器システムの構成を示すブロック図である。
　この医療機器システムは、内視鏡１０と、画像処理装置２０と、磁気発生装置３０と、操作部４０と、モニタ５０と、を備えている。
　磁気発生装置３０は、画像処理装置２０内の後述する制御部２４の制御に基づき、位置検出用の磁場を発生させるものである。
　操作部４０は、画像処理装置２０（ひいては、この医療機器システム）に対する各種の操作入力を行うためのものであり、タッチパネル、キーボード、マウス、トラックボール、フットスイッチ等のデバイスを適宜含んで構成されている。この操作部４０は、後述する３次元形状情報中の、所定の位置または領域を手動で指定するための指定部（自動で指定するための指定部は、後述する制御部２４などが該当する）として機能する。また、操作部４０は、後述する３次元モデル画像の選択操作などにも用いられる。
　モニタ５０は、内視鏡１０から取得された撮像画像５５（図３等参照）、３次元形状情報に基づいて画像処理装置２０により生成された所定の管腔臓器のマップ５１（図３等参照）、あるいはこの医療機器システムに係る各種の設定情報などを表示する表示装置である。
　内視鏡１０は、対物光学窓１１と、撮像部１２と、磁気センサ１３と、を有している。ここに、内視鏡１０は、通常の白色光による白色光観察を行うものであっても良いし、白色光観察に加えて、あるいは白色光観察に代えて、ＮＢＩ（Narrow Band Imaging）光等の特殊光を用いた特殊光観察を行うことができるものであっても良い。ここに、適切な特殊光を用いた特殊光観察を行うと、腫瘍等の発見が容易になる利点がある。
　対物光学窓１１は、例えばレンズ等の光学部材を含んで構成され、所定の管腔臓器内の被写体像（被写体の光学像）を撮像部１２に結像する。なお、本実施形態においては所定の管腔臓器が例えば膀胱５６（図３、図５～図７等参照）であるものとして説明を行うが、もちろんその他の管腔臓器であっても構わない（後述する実施形態２に他の管腔臓器の例（腎盂および腎杯）を示す）。
　撮像部１２は、対物光学窓１１により結像された被写体像を撮像して撮像画像５５を取得する。撮像部１２は、この図１に示す例においては内視鏡１０内に設けられているが、内視鏡１０がリレー光学系等を有する光学内視鏡である場合には、この光学内視鏡の接眼部に取り付けて使用するカメラヘッド等であっても構わない。
　磁気センサ１３は、磁気発生装置３０により発生された磁場を検出することにより、対物光学窓１１の位置情報を取得する位置情報取得部である。なお、位置情報取得部として、ここでは磁気センサ１３を用いたが、その他の技術を用いても構わない。
　画像処理装置２０は、画像処理部２１と、撮像情報記憶部２２と、３次元形状情報記憶部２３と、制御部２４と、を備えている。ここに、制御部２４は、距離情報取得部２５と、位置合わせ部２６と、撮像位置算出部２７と、を含んでいる。
　まず、制御部２４は、この画像処理装置２０内の各部を含む、この医療機器システム全体を制御するものである。
　３次元形状情報記憶部２３は、所定の管腔臓器の３次元形状情報を記憶している。ここに、３次元形状情報は、例えば、管腔臓器の３次元モデル画像、あるいは被検者自身から取得した管腔臓器の３次元画像情報などであるが、本実施形態においては管腔臓器の３次元モデル画像であるものとする。ただし、管腔臓器の大きさや形状は、性別や年齢等に応じて異なる場合がある。そこで、３次元形状情報として３次元モデル画像を用いる場合には、大きさや形状が異なる複数の３次元モデル画像を３次元形状情報記憶部２３に予め記憶させておき、操作部４０からの選択操作に基づいて、所望の３次元モデル画像を選択することができるようにすると良い。
　位置合わせ部２６は、磁気センサ１３で取得した位置情報を３次元形状情報に位置合わせする。すなわち、位置合わせ部２６は、内視鏡１０が所定の管腔臓器内に挿入されているときの対物光学窓１１の位置が、３次元形状情報記憶部２３から読み出した３次元形状情報におけるどの位置に対応するかを算出する。
　距離情報取得部２５は、対物光学窓１１から所定の管腔臓器までの距離情報を取得する。この距離情報取得部２５による距離情報の取得は、例えば、３Ｄ測距により行っても良いし、レーザ測距により行っても構わないし、その他の適宜の測距技術を適用することが可能であって特定の技術に限定されるものではない。
　撮像位置算出部２７は、撮像部１２が撮像画像５５を取得することに伴い、撮像画像５５取得時における対物光学窓１１の位置情報を、位置合わせ部２６によって３次元形状情報に位置合わせする。そして位置合わせされた位置情報と、距離情報取得部２５から取得された距離情報とに基づいて、撮像画像５５の３次元形状情報中の所定の管腔臓器における撮像範囲（つまり、３次元形状情報中の所定の管腔臓器において、撮像画像５５に写っている範囲）を、３次元形状情報中における撮像位置情報として算出する。
　画像処理部２１は、撮像部１２から取得された撮像画像５５にホワイトバランス処理や同時化処理、ガンマ変換などの各種の画像処理を行って、撮像情報記憶部２２へ出力し記憶させる。
　撮像情報記憶部２２は、制御部２４の制御に基づき、撮像位置算出部２７により算出された撮像位置情報と、画像処理部２１により画像処理された撮像画像５５と、を関連付けて記憶する。なお、撮像情報記憶部２２が撮像画像５５に関連付けて記憶する情報は、この撮像位置情報以外にも、後述する所定の基準等のその他の幾つかの情報を含めることが可能となっている。
　上述した画像処理部２１は、さらに、３次元形状情報記憶部２３から読み出した３次元形状情報に基づいて、所定の管腔臓器のマップ５１を生成してモニタ５０へ出力し表示させる。ユーザは、モニタ５０に表示されたマップ５１を参照して、上述した操作部４０による３次元形状情報中の所定の位置または領域の指定を行う。
　そして、画像処理部２１は、撮像情報記憶部２２の記憶結果に基づき、操作部４０または制御部２４によって指定された位置または領域に少なくとも一部が重なる撮像位置情報を全て特定し、特定された撮像位置情報に関連する撮像画像５５を撮像情報記憶部２２から全て取得して、取得した撮像画像５５を位置または領域毎に所定の基準に基づき並べた画像列５２（図３、図７等参照）を生成する。
　ここに、所定の基準は、距離情報取得部２５により取得された対物光学窓１１から撮像位置（被写体（被写体は内視鏡１０による検査対象であるために、適宜、被検体ともいう）において撮像された範囲の例えば中心）までの距離情報、被検体の特定位置（例えば、現在の撮像範囲（現在の観察範囲）の中心（現在の撮像位置）、または指定された位置、あるいは指定された領域の中心、被検体における特定の部位（例えば膀胱５６における尿道口５６ａ）など）から撮像位置情報で示される位置までの距離、撮像画像５５が取得された時刻順である時系列、所定の管腔臓器内の所定の特徴部位（腫瘍等）の大きさ、などの何れかが例として挙げられるが、これらに限るものではない。そして、取得された所定の基準は、上述したように、撮像画像５５に関連付けて撮像情報記憶部２２に記憶される。
　また、画像処理部２１は、これら複数の基準の中のどれを、撮像画像５５を並べるための所定の基準とするかを選択的に変更可能に構成されている。ここに、所定の基準は、検査対象となる所定の管腔臓器などに応じて制御部２４が自動的に選択しても良いし、ユーザが操作部４０を用いて手動で選択するようにしても構わない。
　次に、図２は医療機器システムにより被写体を観察するときの処理を示すフローチャートである。
　この処理を開始すると、３次元形状情報記憶部２３から所定の管腔臓器、ここでは例えば膀胱５６の３次元モデル画像である３次元形状情報を、上述したような複数の３次元モデル画像の中から選択して読み出す（ステップＳ１）。
　次に、内視鏡１０の挿入部を被検体に挿入し、挿入部先端を、被検体の基準位置、例えば膀胱５６と尿道との境界位置である尿道口５６ａ（図３、図５～図７等参照）に接触させた状態で、磁気センサ１３により位置検出を行うことで、被検体の基準位置の検出を行う（ステップＳ２）。
　そして、磁気センサ１３により検出する位置情報（センサ座標情報）と、３次元形状情報における座標（３次元形状座標）との関連付けを、位置合わせ部２６を用いて算出する（ステップＳ３）。なお、ここではステップＳ２で取得した基準位置（尿道口５６ａ）のセンサ座標情報を用いて３次元形状座標との関連付けを行う例（関連付けの具体例としては、センサ座標情報と３次元形状座標との座標変換法則の算出など）を示したが、これに限定されるものではなく、その他の適宜の技術を利用することができる。この関連付けが一旦算出されれば、その後は、任意の時点で磁気センサ１３により検出した位置情報を、３次元形状情報に位置合わせすることが可能となる。
　そして、内視鏡１０による管腔臓器内の観察（つまり、撮像部１２によりリアルタイム動画像を取得しモニタ５０に表示しての観察）を上述した白色光観察または特殊光観察により行い（ステップＳ４）、観察中に腫瘍を発見した場合には、ユーザはレリーズスイッチをオンすることで腫瘍発見を医療機器システムに入力する。これに対応するために、制御部２４は、レリーズスイッチがオンされたか否かを判定している（ステップＳ５）。ここにレリーズスイッチは、例えば操作部４０のフットスイッチ、あるいは内視鏡１０に設けられた図示しないスコープスイッチなどが該当する。
　ここでレリーズスイッチがオンされていないと判定された場合には、ステップＳ４へ戻って、内視鏡観察を引き続いて行う。
　また、ステップＳ５においてレリーズスイッチがオンされたと判定された場合には、撮像部１２により静止画像としての撮像画像５５を取得すると共に、レリーズスイッチがオンされた時点におけるセンサ座標情報を磁気センサ１３から取得する（ステップＳ６）。
　ここで取得したセンサ座標情報は、近似的な腫瘍位置情報として扱うことが可能であるが、このセンサ座標情報と後述するステップＳ８において取得する距離情報とを用いてより正確な腫瘍位置情報を算出するとさらに良い。
　そして、取得したセンサ座標情報に基づき、位置合わせ部２６が、ステップＳ３で算出した関連付けに基づき、対物光学窓１１の３次元形状座標を算出する（ステップＳ７）。
　また、距離情報取得部２５が、レリーズスイッチがオンされたときの、対物光学窓１１から、被検体における撮像範囲の例えば中心までの距離情報を取得する（ステップＳ８）。
　続いて、撮像位置算出部２７が、取得された距離情報に基づいて、撮像画像５５上の対象物（例えば、撮像画像５５上の腫瘍などの所定の特徴部位）の大きさを取得する（ステップＳ９）。
　なお、ここでは対象物（所定の特徴部位）の大きさを、距離情報に基づいて算出しているが、これに限るものではない。例えば、磁気センサ１３による位置情報の取得を行いながら、ユーザが内視鏡１０の挿入部先端を対象物の輪郭に沿ってトレースし、このトレースによって得られる軌跡に基づいて対象物の大きさを算出するようにしても良いし、その他の適宜の技術を用いても構わない。
　また、ここでは、画像を並べて表示する際の所定の基準として対象物（所定の特徴部位）の大きさを用いることを想定してこのステップＳ９の処理を行っているが、もし所定の基準として用いない場合にはこのステップＳ９の処理を省略することも可能である。
　ステップＳ７において算出した対物光学窓１１の３次元形状座標と、ステップＳ８において取得した距離情報と、内視鏡１０の画角情報（この画角情報は、例えば、内視鏡１０が画像処理装置２０に接続されたときに、制御部２４が内視鏡１０から取得する）と、に基づいて、ステップＳ６において取得した撮像画像５５の３次元形状情報における撮像範囲（つまり、３次元形状情報としての所定の管腔臓器の内壁面における撮像範囲）と、この撮像範囲の例えば中心である撮像位置と、の少なくとも一方（ここでは、例えば両方）を算出する（ステップＳ１０）。
　そして、画像処理部２１により画像処理された撮像画像５５と、撮像位置算出部２７により算出された撮像位置・撮像範囲と、距離情報取得部２５により取得された距離情報と、ステップＳ９において取得された対象物（所定の特徴部位）の大きさ情報と、を関連付けて撮像情報記憶部２２に保存する（ステップＳ１１）。
　なお、ここでは撮像画像５５に関連付けて記憶する情報として、撮像位置、撮像範囲、距離情報、および対象物（所定の特徴部位）の大きさ情報を例に挙げたが、これらの内の幾つかを省略しても構わないし、これらに加えて、またはこれらの内の何れかに代えて、その他の情報（例えば、上述した被検体の特定位置から撮像位置情報で示される位置までの距離など）を撮像画像５５に関連付けて記憶するようにしても良い。
　また、撮像画像５５を撮像情報記憶部２２に保存する際には、例えば画像ファイル等のファイル形式で保存されるのが一般的であるが、画像ファイルには撮像時刻あるいはファイル保存時刻等の時刻情報が記録される。従って、こうした時刻情報も、撮像画像５５に関連付けて記憶される情報の１つとなることはいうまでもない。
　制御部２４は、磁気センサ１３から得られる位置情報に基づいて、現在の撮像位置または撮像範囲を算出して指定し（従って、制御部２４は、３次元形状情報中の、所定の位置または領域を自動で指定するための指定部として機能する）、現在の撮像位置（現在の撮像範囲の例えば中心）または現在の撮像範囲を過去に撮像した画像（例えば、現在の撮像位置または撮像範囲に、撮像範囲の少なくとも一部が重なる撮像画像５５）を、撮像情報記憶部２２に記憶されている撮像画像５５の中から検索する（ステップＳ１２）。
　そして、制御部２４は、図３に示すような表示を行う（ステップＳ１３）。ここに図３は、医療機器システムにおいて、内視鏡観察時にモニタ５０に表示される画像の例を示す図である。
　図示のように、モニタ５０には、３次元形状情報から作成される所定の管腔臓器のマップ５１と、画像列５２とが、例えば左右に隣接して表示される。
　図３に示す例においては、マップ５１として、所定の管腔臓器である膀胱５６の内壁の２次元展開図である下半球図５６ｂと上半球図５６ｔとが表示される。この膀胱５６の２次元展開図には、さらに、ステップＳ２において基準位置として用いた尿道口５６ａも表示されている。
　制御部２４は、このマップ５１に、過去の撮像位置５３と、現在の撮像位置または撮像範囲（図３に示す例では、指定された所定の領域である現在の撮像範囲５４）と、をさらに表示する。
　そして、制御部２４は、画像列５２として、現在の撮像範囲５４に撮像位置５３の少なくとも一部が重なる過去の撮像画像５５を、上述したような所定の基準の何れかに基づき、並べて一覧表示する（図３に示す例では、３つの撮像画像５５が縦方向に配列して表示されている）。
　このステップＳ１３では、例えば、所定の基準として被検体における特定の部位から撮像位置までの距離を用い、特定の部位を現在の撮像位置に設定して、撮像画像５５の撮像位置が現在の撮像位置（現在の観察範囲の中心）に近い順に並べて一覧表示している。この場合には、現在の撮像範囲５４に重なる割合が大きい順に過去の撮像画像５５を一覧表示していることになる。そして、一覧表示される撮像画像５５は、ステップＳ５において、腫瘍５６ｃを発見したユーザがレリーズスイッチを操作して撮像された画像であるために、腫瘍５６ｃが写っている。
　こうして、現在の撮像範囲５４における過去の撮像画像５５が配列して表示されるために、ユーザは、現在の撮像範囲５４においてさらに画像を取得するか、あるいは撮像範囲を移動させるか、さらにあるいは観察を終了するかを、即時に適切に判断することが可能となる。
　具体的に、図３に示されている例においては、画像列５２が、複数の腫瘍５６ｃを俯瞰した撮像画像５５（上および中央の撮像画像５５）と、複数の腫瘍５６ｃの内の１つの腫瘍５６ｃのみを近接して正面視した撮像画像５５（下の撮像画像５５）と、を含んでいる。
　そこで、ユーザは、画像列５２の撮像画像５５に表示されている特徴から、例えば、近接撮影されていないその他の腫瘍５６ｃに関しても、近接画像を取得する、といった判断を行うことが可能となる。このように、腫瘍５６ｃに対する、近接画像の更なる取得、またはより一層の拡大画像の取得、あるいは異なる方向からの画像取得、さらにあるいは俯瞰画像が含まれていない場合の俯瞰画像の取得、ブレが発生している画像の再取得、光源を例えば白色光から特殊光へ変更しての画像の再取得、などをユーザが判断することが可能となる。
　そして、観察を終了するか否かを判定して（ステップＳ１４）、終了しないと判定された場合にはステップＳ４へ戻って内視鏡観察を引き続いて行い、終了すると判定された場合にはこの処理を終える。
　次に、図４は医療機器システムにおいて、内視鏡１０による観察が終了した後に、診断等を行うために画像を見直すときの処理を示すフローチャートである。
　この処理を開始すると、画像列５２におけるデフォルトのソート順序（並び順）を設定する（ステップＳ２１）。ここに、デフォルトのソート順序は、医療機器システムにおいて基本として設定されているソート順序、または、前回使用したソート順序、等である。このソート順序は、上述したような、画像を並べて表示する際の所定の基準により設定される。
　続いて、各撮像画像５５に関連付けられた撮像位置、撮像範囲、距離情報、大きさ情報などを読み込む（ステップＳ２２）。
　そして図５に示すように、モニタ５０に、被検体の３次元形状情報から作成された所定の管腔臓器のマップ５１を表示し、さらに、マップ５１に、撮像情報記憶部２２に記憶されている各撮像画像５５の撮像位置５３を表示する（ステップＳ２３）。
　ここに、図５は、医療機器システムにおいて、位置または領域が指定される前のマップ５１の表示例を示す図である。図５に示すマップ５１は、図３に示した例と同様に膀胱５６の内壁の２次元展開図であって、下半球図５６ｂと上半球図５６ｔと尿道口５６ａとが表示される。
　その後、図５のモニタ表示を見たユーザにより、診断画像の選択を行いたい部分としての位置または領域が、指定部である操作部４０の例えばマウスやトラックボール等を用いて指定される（ステップＳ２４）。ここに、このステップＳ２４の処理を最初に行う場合には１つ以上の所望の数の位置または領域が指定されることになり、２回目以降の場合には、もし位置または領域が追加して（もしくは既存の指定をキャンセルして新たに）指定されなければ、既に指定されている位置または領域に基づいて次の処理に進むことになる。
　図６は、医療機器システムにおいて、マップ５１に位置または領域が指定されたときの表示例を示す図である。この図６に示す例では、１つ以上の撮像位置５３を含む領域Ａ，Ｂ，Ｃが指定されているが、領域に代えて位置（点）として指定されても構わない。
　すると、制御部２４は、撮像情報記憶部２２に記憶されている撮像画像５５の中から、指定された位置または領域に撮像範囲の少なくとも一部が重なる撮像画像５５を検索する（ステップＳ２５）。
　そして、制御部２４の制御に基づいて、画像処理部２１が、指定された位置または領域毎に、検索された撮像画像５５を所定の基準に基づくソート順に並べ、モニタ５０におけるマップ５１の隣に画像列５２として一覧表示する（ステップＳ２６）。
　図７は、医療機器システムにおいて、マップ５１および画像列５２が表示されているときの例を示す図である。この図７に示す例では、それぞれの領域Ａ，Ｂ，Ｃの少なくとも一部に撮像位置５３が重なる撮像画像５５が、縦方向に配列して表示されている。
　この図７に示されている例においては、ユーザは、各領域Ａ，Ｂ，Ｃに属する撮像画像５５に表示されている特徴から、以下のような判断や選択を行うことができる。
　まず、領域Ａの画像列５２は、複数の腫瘍５６ｃを俯瞰した撮像画像５５（上から１～４番目の撮像画像５５）と、複数の腫瘍５６ｃの内の１つの腫瘍５６ｃのみを正面視した撮像画像５５（上から５番目（一番下）の撮像画像５５）と、を含んでいる。
　領域Ｂの画像列５２は、１つまたは複数の腫瘍５６ｃを俯瞰した撮像画像５５のみを含んでいる。
　領域Ｃの画像列５２は、１つの腫瘍５６ｃを異なる方向および異なる拡大率で観察した撮像画像５５を含んでいる。
　そこで、この図４に示すような内視鏡１０による観察が終了した後の段階の場合には、例えば、領域Ａの場合には、複数の腫瘍５６ｃ全体を俯瞰することができている上から２番目の撮像画像５５を診断画像として選択してカルテに残す、という選択が可能となる。また、領域Ｂの場合には、一番下の撮像画像５５が、２つある腫瘍５６ｃの内の１つが内視鏡１０の撮像方向がぶれる等により見失われているために、削除するという選択が可能となる。さらに、領域Ｃの場合には、下側の撮像画像５５が、正面からの拡大画像であって組織性状を把握することができるとして、診断画像として選択しカルテに残すといった選択が可能となる。
　続いて、ユーザにより、ソート順序の変更操作がされたか否かを判定し（ステップＳ２７）、変更操作がされたと判定された場合には、変更されたソート順序を設定してから（ステップＳ２８）、上述したステップＳ２６へ行って新たなソート順序による一覧表示を行う。これにより、ユーザは、所望の基準への変更を行って、変更された基準に基づき並び替えられた撮像画像５５を観察することが可能となる。
　また、ステップＳ２７において、変更操作がされていないと判定された場合には、観察を終了するか否かを判定し（ステップＳ２９）、終了しないと判定された場合にはステップＳ２４へ戻って上述したような処理を行い、終了すると判定された場合にはこの処理を終える。
　このような実施形態１によれば、指定された３次元形状情報中の位置または領域に少なくとも一部が重なる撮像位置情報を全て特定して、特定した撮像位置情報に関連する撮像画像５５を撮像情報記憶部２２から全て取得し、取得した撮像画像５５を位置または領域毎に所定の基準に基づき並べた画像列を生成するようにしたために、ユーザが、複数の画像の中から必要な情報（一例を挙げれば、腫瘍５６ｃの組織性状を判断するのに適した撮像画像５５等）に速やかに到達することが可能となる。
　そして、複数の位置または領域を指定してそれぞれに画像列を表示する表示領域を生成するようにしたために、所望の対象物の画像選択が容易になると共に、各位置または領域内における画像同士の比較や、各位置または領域同士の比較を一目で容易に行うことが可能となる。
　また、撮像位置情報が３次元形状情報中における撮像範囲に関する情報を含むようにしたために、撮像範囲を視覚的に簡単に把握することができる。
　さらに、所定の基準を複数の基準の中から選択的に変更可能としたために、必要な情報に最も到達し易い順序に画像列を並び替えることができる。
　このとき、所定の基準として距離情報を用いることで、撮像時の対物光学窓１１から腫瘍までの撮影距離の大小関係を直ちに把握することができる。
　また、所定の基準として被写体の特定位置から撮像位置情報で示される位置までの距離を用いることで、例えば複数の腫瘍が存在する場合にどれとどれが同じ腫瘍かなどを容易に想定することが可能となる。
　さらに、所定の基準として時系列を採用することで、内視鏡１０による観察時の手順や様子を思い出しながらの画像確認が可能となる。
　加えて、所定の基準として所定の管腔臓器内の所定の特徴部位の大きさを用いることで、腫瘍等の大小関係を容易に把握することができる。
　そして、指定部が、撮像位置情報を、指定された位置または領域として指定するようにしたために、指定が容易であると共に、腫瘍等を群として捉えることが可能となる。
　こうして、観察中に観察状況を振り返って、画像をさらに取得する必要があるか否かを判断し、観察が終了した後に画像を見直して、管腔臓器における指定領域の少なくとも一部に撮像範囲が重なる撮像画像５５群の中から、診断を行うのに適切な画像を選択することが可能となる。
［実施形態２］
　図８から図１１は本発明の実施形態２を示したものであり、図８は所定の管腔臓器を腎盂および腎杯としたときの被写体の観察処理を示すフローチャートである。
　この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
　上述した実施形態１では、所定の管腔臓器として膀胱５６を例に挙げたが、本実施形態は腎盂および腎杯を例に挙げたものとなっている。
　この処理を開始すると、３次元形状情報記憶部２３から、被検者の３次元画像情報を取得する（ステップＳ３１）。すなわち、上述した実施形態１では、３次元形状情報として、管腔臓器の３次元モデル画像を想定していたが、本実施形態は、被検者自身から取得した管腔臓器の３次元画像情報を想定したものとなっている。
　ここに、被検者の３次元画像情報は、例えば、ＣＴ装置、あるいはＭＲＩ装置等によって、被験者自身から予め取得されたものである。こうして取得された３次元画像情報は、例えば院内ワークステーション等により管理されている。従って、図１においては３次元形状情報記憶部２３が画像処理装置２０内に設けられている例を示したが、３次元形状情報記憶部２３は、画像処理装置２０外に設けられた例えば院内ワークステーション等であっても構わない。
　次に、取得されて３次元形状情報記憶部２３に記憶されている被検者の３次元画像情報から、所定の管腔臓器、ここでは例えば腎盂および腎杯（これら腎盂および腎杯をまとめて、図９～図１１においては符号５７を付している）の３次元形状情報を抽出して読み出す（ステップＳ３２）。この読み出しは、３次元形状情報記憶部２３が例えば院内ワークステーションである場合にはデータのダウンロードとして行われ、読み出された３次元形状情報は、制御部２４の制御に基づいて画像処理部２１により処理された後に、モニタ５０に例えば図９に示すようなマップ５１として表示される。
　尚、ここでは被検者の３次元画像情報は、ＣＴ装置等によって、予め取得されたものであるをことを説明したが、３次元画像情報の取得方法はこれに限られるものではない。例えば、画像処理部２１が撮像部１２が撮像した撮像画像に基づいた観察位置、視線方向データを用いて、内視鏡１０の撮像部１２により撮像（観察）された撮像画像に対応する３次元画像情報を生成するようにしても良い。
　この場合、画像処理部２１は例えば特許第５３５４４９４号の公報に記載された方法や、この公報以外に公知となるShape from Shading 法のように１枚の２次元画像から対応する３次元形状を推定しても良い。また、２枚以上の画像を用いるステレオ法、単眼移動視による３次元形状推定法、ＳＬＡＭ法、位置センサと組み合わせて３次元形状を推定する手法でも良い。また、３次元形状を推定する場合、外部のＣＴ装置等の断層像取得装置から取得した３次元画像データを参照して３次元形状データを構築するようにしても良い。
　ここに、図９は、医療機器システムにおいて、位置または領域が指定される前のマップ５１の表示例を示す図である。
　図示のように、モニタ５０には、３次元形状情報から作成される所定の管腔臓器のマップ５１（ここでは、腎盂および腎杯５７の２次元マップ）が表示され、マップ５１内には、腎盂５７ａと、腎杯５７ｂと、尿管５８とが表示される。
　そして、画像列５２におけるデフォルトのソート順序（並び順）を上述した実施形態１と同様に設定する（ステップＳ３３）。
　その後、ユーザが撮像画像５５を表示したい位置または領域が、図９に示すマップ５１上において１つ以上指定されるのを待つ（ステップＳ３４）。そして、位置または領域が指定されたら、指定された位置または領域をモニタ５０に表示しているマップ５１に重畳表示する。
　ここに、図１０は、医療機器システムにおいて、位置または領域が指定されたときのマップ５１の表示例を示す図である。この図１０に示す例では、６つの位置Ａ～Ｆが指定されているが、領域として指定されても構わない。なお、ユーザからの位置または領域が指定されるタイミングは、その他のタイミングであっても構わない。
　次に、内視鏡１０の挿入部を被検体に挿入し、挿入部先端を、被検体の基準位置、ここでは腎盂および腎杯５７における所定の基準位置に接触させた状態で、磁気センサ１３により位置検出を行う（ステップＳ３５）。
　そして、磁気センサ１３により検出する位置情報（センサ座標情報）と、３次元形状情報における座標（３次元形状座標）との関連付けを、位置合わせ部２６を用いて算出する（ステップＳ３６）。なお、その他の適宜の技術を利用してセンサ座標情報と３次元形状座標との関連付けを行っても良いことは上述した実施形態１と同様である。
　そして、内視鏡１０による管腔臓器内の観察を行い（ステップＳ３７）、レリーズスイッチがオンされたか否かを制御部２４が判定する（ステップＳ３８）。
　ここでレリーズスイッチがオンされていないと判定された場合には、ステップＳ３７へ戻って、内視鏡観察を引き続いて行う。
　また、ステップＳ３８においてレリーズスイッチがオンされたと判定された場合には、撮像部１２により撮像画像５５を取得すると共に、レリーズスイッチがオンされた時点におけるセンサ座標情報を磁気センサ１３から取得する（ステップＳ３９）。
　そして、取得したセンサ座標情報に基づき、位置合わせ部２６が対物光学窓１１の３次元形状座標を算出する（ステップＳ４０）。
　また、距離情報取得部２５が、レリーズスイッチがオンされたときの、対物光学窓１１から、被検体における撮像範囲の例えば中心までの距離情報を取得する（ステップＳ４１）。
　ステップＳ４０において算出した対物光学窓１１の３次元形状座標と、ステップＳ４１において取得した距離情報と、内視鏡１０の画角情報と、に基づいて、ステップＳ３９において取得した撮像画像５５の３次元形状情報における撮像範囲と、この撮像範囲の例えば中心である撮像位置と、の少なくとも一方（ここでは、例えば両方）を算出する（ステップＳ４２）。
　尚、このステップＳ４１，Ｓ４２では距離を算出して撮像範囲や撮像位置を算出したが、距離を算出せずに対物光学窓の３次元形状座標と、内視鏡１０の画角情報とから視野範囲や視野中心線の３次元形状座標を求め、視野範囲や視野中心線が３次元画像情報と交わる部分を撮像範囲や撮像位置として算出しても良い。
　そして、画像処理部２１により画像処理された撮像画像５５と、撮像位置算出部２７により算出された撮像位置・撮像範囲と、距離情報取得部２５により取得された距離情報と、を関連付けて撮像情報記憶部２２に保存する（ステップＳ４３）。
　制御部２４は、ステップＳ３４において指定された位置または領域に撮像範囲の少なくとも一部が重なる撮像画像５５を、撮像情報記憶部２２に記憶されている撮像画像５５の中から検索する（ステップＳ４４）。
　そして、制御部２４は、図１１に示すような表示を行う（ステップＳ４５）。ここに図１１は、医療機器システムにおいて、指定された位置または領域毎の撮像画像５５がマップ５１と共にモニタ５０に表示される例を示す図である。
　図示のように、モニタ５０には、３次元形状情報から作成される所定の管腔臓器（ここでは腎盂および腎杯５７）のマップ５１と、画像列５２とが、例えば左右に隣接して表示される。
　ここに、図１１に表示されるマップ５１は、図１０に示したマップ５１と同様の、指定された位置Ａ～Ｆが表示されているマップである。
　また、画像列５２は、指定された位置Ａ～Ｆ毎に、指定位置を撮像範囲に含む撮像画像５５を撮像情報記憶部２２から取得して、取得した撮像画像５５を上述した所定の基準に基づくソート順に並べて、一覧表示したものである。
　ここに所定の基準は、本実施形態のような腎盂および腎杯５７の場合には、上述した例の他に、さらに腎盂および腎杯５７の孔部の大きさなどを採用しても良い。このときには、撮像画像５５上の対象物（所定の特徴部位）の大きさ情報として、孔部の大きさ情報を取得することになる。なお、撮像画像５５上の対象物（所定の特徴部位）の大きさ情報として、さらに、例えば小腎杯５７ｃや結石などの大きさ情報を取得して、撮像画像５５に関連付けて撮像情報記憶部２２に保存し、画像を並べて表示する際の所定の基準としても構わない。
　これらの撮像画像５５には、例えば、小腎杯５７ｃが写っている。また、画像処理部２１は、制御部２４の制御に基づいて、複数の内の何れかの位置または領域に重なる撮像位置情報がない場合には、画像列５２を表示する表示領域に撮像画像５５が存在しないことを示唆する示唆情報５９を重畳する。ここでは、指定された位置Ｄに撮像範囲が重なる撮像画像５５が存在しないために、その旨の示唆情報５９として、例えば「Ｎｏ　ｄａｔａ」を表示することにより、撮像画像５５が存在しないことを一目で容易に把握することができるようにしている。
　この図１１に示されている例においては、ユーザは、各位置Ａ～Ｆに係る撮像画像５５に表示されている特徴から、以下のような判断や選択を行うことができる。
　まず、位置Ａ～Ｃの各画像列５２は、複数の小腎杯５７ｃを俯瞰した画像を含んでいる。
　また、位置Ｄについては、撮像画像５５が取得されていない。
　さらに、位置Ｅの画像列５２は、近い位置から小腎杯５７ｃを撮像した画像と、遠い位置から小腎杯５７ｃを撮像した画像と、が取得されている。
　そして、位置Ｆの画像列５２は、複数の小腎杯５７ｃを俯瞰した画像と、それぞれの小腎杯５７ｃを近接位置で観察した画像と、を含んでいる。
　従って、内視鏡１０による観察中の場合には、例えば、位置Ａ～Ｃについては、それぞれの小腎杯５７ｃの近接画像を追加で取得する判断をユーザが行うことが可能であり、また、位置Ｄについては、小腎杯５７ｃの観察漏れが発生しているとして小腎杯５７ｃの画像を取得する判断をユーザが行うことが可能となる。
　一方、内視鏡１０による観察が終了した後であれば、ユーザは、例えば、位置Ａについては３つの小腎杯５７ｃ全体を俯瞰することができている上から２番目の撮像画像５５を診断画像として選択しカルテに残す選択が可能となり、また、位置Ｅについては近接位置で撮像された小腎杯５７ｃの画像のみを診断画像としてカルテに残す選択が可能となる。
　続いて、ユーザにより、ソート順序の変更操作がされたか否かを判定し（ステップＳ４６）、変更操作がされたと判定された場合には、変更されたソート順序を設定してから（ステップＳ４７）、上述したステップＳ４５へ行って新たなソート順序による一覧表示を行う。これにより、ユーザは、所望の基準への変更を行って、変更された基準に基づき並び替えられた撮像画像５５を観察することが可能となる。
　また、ステップＳ４６において、変更操作がされていないと判定された場合には、観察を終了するか否かを判定し（ステップＳ４８）、終了しないと判定された場合にはステップＳ３７へ戻って上述したような処理を行い、終了すると判定された場合にはこの処理を終える。
　このような実施形態２によれば、上述した実施形態１とほぼ同様に、内視鏡１０による観察中に観察状況を振り返って、さらなる画像取得の必要性や腎杯等の観察漏れがないかを判断し、内視鏡１０による観察を終了した後に画像を見直して、指定した位置または領域毎に分類された撮像画像５５の中から、診断を行うのに適切な画像を選択することが可能となる。
　そして、３次元形状情報として、被験者自身から取得した３次元画像情報を用いるようにしたために、より精度の高い位置合わせを行い、より正確なマップ５１を表示することが可能となる。
　なお、上述では主として医療機器システムについて説明したが、医療機器システムを上述したように作動させる作動方法であっても良いし、コンピュータに医療機器システムを上述したように作動させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
　また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
　本出願は、２０１４年１２月１５日に日本国に出願された特願２０１４－２５３２７６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (7)

  1. 　所定の管腔臓器内の被写体像を結像する対物光学窓と、
    　前記被写体像を撮像して撮像画像を取得する撮像部と、
    　前記対物光学窓の位置情報を取得する位置情報取得部と、
    　前記位置情報取得部で取得した前記位置情報を前記所定の管腔臓器の３次元形状情報に位置合わせする位置合わせ部と、
    　前記撮像部が前記撮像画像を取得することに伴い、前記位置情報を前記位置合わせ部によって前記３次元形状情報に位置合わせし、前記３次元形状情報中における撮像位置情報を算出する撮像位置算出部と、
    　前記撮像位置情報と前記撮像画像を関連付けて記憶する撮像情報記憶部と、
    　前記３次元形状情報中の所定の位置または領域を指定する指定部と、
    　前記撮像情報記憶部の記憶結果に基づき、前記指定部によって指定された前記位置または領域に少なくとも一部が重なる前記撮像位置情報を全て特定し、特定した前記撮像位置情報に関連する前記撮像画像を前記撮像情報記憶部から全て取得し、取得した前記撮像画像を前記位置または領域毎に所定の基準に基づき並べた画像列を生成する画像処理部と、
    　を有することを特徴とする医療機器システム。
  2. 　前記指定部は、前記位置または領域を複数指定可能に構成されており、
    　前記画像処理部は、前記指定部によって指定された複数の前記位置または領域毎に前記画像列を表示する表示領域を生成することを特徴とする請求項１に記載の医療機器システム。
  3. 　前記画像処理部は、複数の内の何れかの前記位置または領域に重なる前記撮像位置情報がない場合には、前記表示領域に前記撮像画像が存在しないことを示唆する示唆情報を重畳することを特徴とする請求項２に記載の医療機器システム。
  4. 　前記撮像位置情報は、前記３次元形状情報中における撮像範囲に関する情報を含むことを特徴とする請求項１に記載の医療機器システム。
  5. 　前記所定の基準は、前記対物光学窓から前記所定の管腔臓器までの距離、前記被写体の特定位置から撮像位置情報で示される位置までの距離、時系列、前記所定の管腔臓器内の所定の特徴部位の大きさの何れかであり、
    　前記画像処理部は、前記所定の基準を複数の基準の中から選択的に変更可能に構成されていることを特徴とする請求項１に記載の医療機器システム。
  6. 　前記指定部は、前記撮像部による現在の撮像位置または撮像範囲を、前記位置または領域として指定することを特徴とする請求項４に記載の医療機器システム。
  7. 　対物光学窓が、所定の管腔臓器内の被写体像を結像するステップと、
    　撮像部が、前記被写体像を撮像して撮像画像を取得するステップと、
    　位置情報取得部が、前記対物光学窓の位置情報を取得するステップと、
    　位置合わせ部が、前記位置情報取得部で取得した前記位置情報を前記所定の管腔臓器の３次元形状情報に位置合わせするステップと、
    　撮像位置算出部が、前記撮像部が前記撮像画像を取得することに伴い、前記位置情報を前記位置合わせ部によって前記３次元形状情報に位置合わせし、前記３次元形状情報中における撮像位置情報を算出するステップと、
    　撮像情報記憶部が、前記撮像位置情報と前記撮像画像を関連付けて記憶するステップと、
    　指定部が、前記３次元形状情報中の所定の位置または領域を指定するステップと、
    　画像処理部が、前記撮像情報記憶部の記憶結果に基づき、前記指定部によって指定された前記位置または領域に少なくとも一部が重なる前記撮像位置情報を全て特定し、特定した前記撮像位置情報に関連する前記撮像画像を前記撮像情報記憶部から全て取得し、取得した前記撮像画像を前記位置または領域毎に所定の基準に基づき並べた画像列を生成するステップと、
    　を有することを特徴とする医療機器システムの作動方法。
PCT/JP2015/084551 2014-12-15 2015-12-09 医療機器システム、医療機器システムの作動方法 Ceased WO2016098665A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016544169A JP6017743B1 (ja) 2014-12-15 2015-12-09 医療機器システム、医療機器システムの作動方法
US15/389,543 US10694929B2 (en) 2014-12-15 2016-12-23 Medical equipment system and operation method of medical equipment system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014253276 2014-12-15
JP2014-253276 2014-12-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/389,543 Continuation US10694929B2 (en) 2014-12-15 2016-12-23 Medical equipment system and operation method of medical equipment system

Publications (1)

Publication Number Publication Date
WO2016098665A1 true WO2016098665A1 (ja) 2016-06-23

Family

ID=56126557

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/084551 Ceased WO2016098665A1 (ja) 2014-12-15 2015-12-09 医療機器システム、医療機器システムの作動方法

Country Status (3)

Country Link
US (1) US10694929B2 (ja)
JP (1) JP6017743B1 (ja)
WO (1) WO2016098665A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024045237A (ja) * 2020-01-21 2024-04-02 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2024202789A1 (ja) * 2023-03-28 2024-10-03 富士フイルム株式会社 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
US12266127B2 (en) 2019-03-25 2025-04-01 Sony Group Corporation Medical system, signal processing device, and signal processing method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018179610A1 (ja) * 2017-03-27 2020-02-06 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置、内視鏡システム、処理方法およびプログラム
US10799090B1 (en) 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
JPWO2022202520A1 (ja) * 2021-03-26 2022-09-29

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4009639B2 (ja) * 2002-07-31 2007-11-21 オリンパス株式会社 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
JP2007325742A (ja) * 2006-06-07 2007-12-20 Olympus Medical Systems Corp 医療画像管理方法ならびにそれを利用した医療画像管理装置およびレポート作成方法
JP2013085593A (ja) * 2011-10-14 2013-05-13 Toshiba Corp 医用画像表示装置
JP5197892B2 (ja) * 2011-03-30 2013-05-15 オリンパスメディカルシステムズ株式会社 画像管理装置、画像管理装置の作動方法、画像管理プログラム、及びカプセル型内視鏡システム
WO2013132880A1 (ja) * 2012-03-06 2013-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002017751A (ja) 2000-07-06 2002-01-22 Olympus Optical Co Ltd 手術ナビゲーション装置
EP2413777B1 (en) * 2009-04-03 2014-12-31 Koninklijke Philips N.V. Associating a sensor position with an image position
JP6345487B2 (ja) * 2013-07-11 2018-06-20 キヤノンメディカルシステムズ株式会社 医用レポート作成装置、及び医用画像診断装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4009639B2 (ja) * 2002-07-31 2007-11-21 オリンパス株式会社 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
JP2007325742A (ja) * 2006-06-07 2007-12-20 Olympus Medical Systems Corp 医療画像管理方法ならびにそれを利用した医療画像管理装置およびレポート作成方法
JP5197892B2 (ja) * 2011-03-30 2013-05-15 オリンパスメディカルシステムズ株式会社 画像管理装置、画像管理装置の作動方法、画像管理プログラム、及びカプセル型内視鏡システム
JP2013085593A (ja) * 2011-10-14 2013-05-13 Toshiba Corp 医用画像表示装置
WO2013132880A1 (ja) * 2012-03-06 2013-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12266127B2 (en) 2019-03-25 2025-04-01 Sony Group Corporation Medical system, signal processing device, and signal processing method
JP2024045237A (ja) * 2020-01-21 2024-04-02 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2024202789A1 (ja) * 2023-03-28 2024-10-03 富士フイルム株式会社 医療支援装置、内視鏡システム、医療支援方法、及びプログラム

Also Published As

Publication number Publication date
US20170100019A1 (en) 2017-04-13
JPWO2016098665A1 (ja) 2017-04-27
US10694929B2 (en) 2020-06-30
JP6017743B1 (ja) 2016-11-02

Similar Documents

Publication Publication Date Title
JP6017743B1 (ja) 医療機器システム、医療機器システムの作動方法
US10835344B2 (en) Display of preoperative and intraoperative images
US9516993B2 (en) Endoscope system
JP5715311B2 (ja) 内視鏡システム
JP6382802B2 (ja) ロボット操作される内視鏡を使用した血管可視化の向上
US10772684B2 (en) Spatial visualization of internal mammary artery during minimally invasive bypass surgery
CN103957832B (zh) 血管树图像的内窥镜配准
US20050261550A1 (en) System, apparatus, and method for supporting insertion of endoscope
US20190043215A1 (en) Endoscope apparatus
EP2904958A1 (en) Endoscopic system
JPWO2014156378A1 (ja) 内視鏡システム
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
JP6022133B2 (ja) 医療装置
JPWO2017006708A1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JP2017205343A (ja) 内視鏡装置、内視鏡装置の作動方法
JPWO2017212725A1 (ja) 医療用観察システム
JP5554028B2 (ja) 医用画像処理装置、医用画像処理プログラム、及びｘ線ｃｔ装置
JP5613353B2 (ja) 医療装置
EP3782529A1 (en) Systems and methods for selectively varying resolutions
JP6211239B1 (ja) 内視鏡装置
CN119136756A (zh) 解剖结构测量
JP4354353B2 (ja) 挿入支援システム
JPWO2016039292A1 (ja) 内視鏡システム
JP2008113852A (ja) Ｃｔ装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016544169

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15869870

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15869870

Country of ref document: EP

Kind code of ref document: A1