[go: up one dir, main page]

WO2020044523A1 - 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム - Google Patents

記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム Download PDF

Info

Publication number
WO2020044523A1
WO2020044523A1 PCT/JP2018/032248 JP2018032248W WO2020044523A1 WO 2020044523 A1 WO2020044523 A1 WO 2020044523A1 JP 2018032248 W JP2018032248 W JP 2018032248W WO 2020044523 A1 WO2020044523 A1 WO 2020044523A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
dimensional image
biological information
information
generates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/032248
Other languages
English (en)
French (fr)
Inventor
原 堀江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to PCT/JP2018/032248 priority Critical patent/WO2020044523A1/ja
Priority to CN201880096645.6A priority patent/CN112584738B/zh
Priority to JP2020539972A priority patent/JP6988001B2/ja
Publication of WO2020044523A1 publication Critical patent/WO2020044523A1/ja
Priority to US17/173,602 priority patent/US11653815B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Definitions

  • the present invention relates to a recording device, an image observation device, an observation system, a control method of the observation system, and an operation program of the observation system.
  • the present invention has been made in view of the above, and when acquiring and observing an image captured using an endoscope from a recording device, a recording device that is easier to observe, an image observation device, an observation system, An object of the present invention is to provide a control method of an observation system and an operation program of the observation system.
  • a recording device includes a biometric information generation unit that generates biometric information of a subject, and a time-series generated by an endoscope.
  • a recording unit that records the image data associated with the biological information, and a tertiary image generating unit that selects image data based on the biological information from the image data recorded in the recording unit to generate three-dimensional image data.
  • an original image generation unit includes a biometric information generation unit that generates biometric information of a subject, and a time-series generated by an endoscope.
  • the recording device performs at least one of correction for reducing a change in a different shape according to the biological information or correction for enhancing a change in a different color tone according to the biological information.
  • the image processing apparatus further includes an image correction unit for performing the image correction.
  • the biometric information generation unit generates the biometric information based on a temporal change of the image data.
  • the image observation device is generated by selecting image data based on biological information of a subject from a plurality of image data generated by an endoscope and arranged in time series.
  • An acquisition unit that acquires the three-dimensional image data
  • an angle-of-view information generation unit that generates angle-of-view information based on information received by an input device that receives an input of a position and an angle at which the subject is observed
  • a two-dimensional image generation unit that generates two-dimensional image data obtained by observing an image based on the biological information and the angle-of-view information.
  • the observation system relates to a biological information generation unit that generates biological information of a subject, and associates image data generated by an endoscope and arranged in time series with the biological information.
  • a recording unit that records the data
  • a three-dimensional image generation unit that generates three-dimensional image data by selecting image data based on the biological information from images recorded in the recording unit, and observes the subject.
  • An angle-of-view information generation unit that generates angle-of-view information based on information received by an input device that receives position and angle inputs, and an image obtained by observing the three-dimensional image based on the biological information and the angle-of-view information.
  • a two-dimensional image generation unit that generates two-dimensional image data to be obtained.
  • observation system further includes an imaging control unit that controls a timing at which the endoscope performs imaging according to the biological information.
  • the biological information generating unit generates biological information of the subject
  • the three-dimensional image generating unit is generated by the endoscope and arranged in chronological order.
  • 3D image data is generated by selecting image data from the image data based on the biometric information, and an input device that receives an input of a position and an angle at which the view angle information generation unit observes the subject is received by the input device. And generating two-dimensional image data obtained by observing the three-dimensional image based on the biological information and the angle of view information.
  • the biological information generating unit generates biological information of the subject
  • the three-dimensional image generating unit is generated by the endoscope and arranged in chronological order.
  • 3D image data is generated by selecting image data from the image data based on the biometric information, and an input device that receives an input of a position and an angle at which the view angle information generation unit observes the subject is received by the input device.
  • the two-dimensional image generating unit generates two-dimensional image data obtained by observing the three-dimensional image based on the biological information and the angle-of-view information, Is performed by the observation system.
  • the recording device when acquiring and observing an image captured using an endoscope from a recording device, the recording device, the image observation device, the observation system, the control method of the observation system, and the observation system that are easier to observe are obtained.
  • Operating program can be realized.
  • FIG. 1 is a block diagram illustrating a configuration of an observation system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart of observation using the observation system.
  • FIG. 3 is a diagram illustrating a state where the recording apparatus generates three-dimensional image data.
  • FIG. 4 is a diagram illustrating a state in which the image observation device generates two-dimensional image data.
  • FIG. 5 is a block diagram illustrating a configuration of an observation system according to the first modification.
  • FIG. 6 is a block diagram illustrating a configuration of an observation system according to the second modification.
  • FIG. 7 is a block diagram illustrating a configuration of an observation system according to the third modification.
  • FIG. 8 is a diagram illustrating a state in which biological information is generated from signal values of feature points.
  • FIG. 9 is a diagram illustrating a state in which biological information is generated from coordinate values of feature points.
  • FIG. 1 is a block diagram illustrating a configuration of an observation system according to an embodiment of the present invention.
  • an observation system 1 includes an endoscope observation system 10 connected via a network 2 such as an Internet line, a recording device 20, an image observation device 30, Is provided.
  • the endoscope observation system 10 includes an endoscope 11 that captures an image of the inside of a subject that is a living body, a sensor unit 12 that detects biological information of the subject, and performs image processing on image data captured by the endoscope 11.
  • the image processing apparatus 13 includes an image processing device 13 for performing the image processing and a display device 14 that displays an image corresponding to the image data generated by the image processing device 13.
  • the endoscope 11 has an insertion section to be inserted into the subject, and an operation section connected to the base end side of the insertion section, and is disposed at the distal end of the insertion section according to an input to the operation section.
  • An imaging element images the inside of the subject.
  • the image sensor is an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device).
  • the sensor unit 12 acquires information such as a pulse and respiration as biological information.
  • the sensor unit 12 is a blood flow sensor fixed so as to hold a fingertip of the subject.
  • the sensor unit 12 may be a respiratory sensor attached to the mouth, nose, chest, or the like of the subject.
  • the image processing apparatus 13 is a general-purpose processor such as a CPU (Central Processing Unit), or a processor for executing a specific function such as an ASIC (Application Specific Integrated Circuit) or a processor dedicated to executing a specific circuit such as an FPGA (Field Programmable Gate Array). It is configured by using a workstation or a personal computer.
  • a CPU Central Processing Unit
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the display device 14 is configured using a liquid crystal or an organic EL (Electro Luminescence) or the like.
  • the recording device 20 is a server connected to a plurality of endoscope observation systems including the endoscope observation system 10 and the image observation device 30 and devices such as image observation devices via the network 2.
  • the recording device 20 includes, for example, a general-purpose processor such as a CPU, a dedicated processor such as an arithmetic circuit that executes a specific function such as an ASIC or an FPGA, a flash memory, a RAM (Random Access Memory), and a ROM (Read Only Memory).
  • a recording medium memory element
  • a driving device that drives the recording medium.
  • the recording device 20 includes a biometric information generating unit 21 that generates biometric information of the subject, a recording unit 22 that records image data generated by the endoscope 11 and arranged in time series in association with the biometric information, And a three-dimensional image generation unit 23 that generates three-dimensional image data by selecting image data from image data recorded in the recording unit 22 based on biological information.
  • the image observation device 30 includes an input device 31 that receives an input of a position and an angle at which a subject is observed, an image processing device 32 that reads out three-dimensional image data recorded in the recording device 20 to generate image data, and an image processing device.
  • a display device 33 for displaying an image corresponding to the image data generated by the device 32.
  • the input device 31 has the same configuration as the operation unit of the endoscope 11, and receives an input of a position and an angle at which the subject is observed.
  • the input device 31 may be configured by a mouse, a keyboard, a touch pad, a touch panel, or the like.
  • the image processing device 32 is configured using a workstation or personal computer including a general-purpose processor such as a CPU, or a dedicated processor such as an arithmetic circuit that executes a specific function such as an ASIC or an FPGA.
  • a general-purpose processor such as a CPU
  • a dedicated processor such as an arithmetic circuit that executes a specific function such as an ASIC or an FPGA.
  • the image processing device 32 includes an acquisition unit 321 that acquires the three-dimensional image data generated by the three-dimensional image generation unit, an angle-of-view information generation unit 322 that generates angle-of-view information based on information received by the input device 31, And a two-dimensional image generation unit 323 that generates two-dimensional image data obtained by observing the three-dimensional image based on the biological information and the angle of view information.
  • the display device 33 is configured using a liquid crystal or an organic EL (Electro Luminescence) or the like.
  • FIG. 2 is a flowchart of observation using the observation system. As shown in FIG. 2, the first doctor captures an image of the inside of the subject using the endoscope 11 (step S1).
  • the sensor unit 12 detects blood flow information while the endoscope 11 is capturing an image (Step S2).
  • the image processing device 13 performs predetermined image processing on the image data generated by the endoscope 11 (step S3).
  • the endoscope observation system 10 transmits the image data and the blood flow information to the recording device 20 via the network 2, and records the image data and the blood flow information in the recording device 20 (step S4). ).
  • FIG. 3 is a diagram illustrating a state where the recording apparatus generates three-dimensional image data.
  • the biological information generation unit 21 determines whether each image captured by the endoscope 11 is an image captured during the systole based on the information on the blood flow detected by the sensor unit 12, It is determined whether the image is captured during the diastole. This determination result is the pulse information of each image.
  • the systole is a period during which the heart contracts and blood is sent from the heart.
  • the diastolic period is a period in which the heart expands and the arterial pressure decreases according to the body vascular resistance.
  • the color tone of the organs differs.
  • the recording unit 22 records the image data and the biological information in association with each other (Step S6). Specifically, each image included in the image data is associated with the pulse information of the image and recorded.
  • the three-dimensional image generation unit 23 generates three-dimensional image data by selecting image data from the image data based on biological information (step S7: three-dimensional image generation step). Specifically, as illustrated in FIG. 3, the three-dimensional image generation unit 23 selects an image of a systole frame captured in the systole from the image data, and generates a three-dimensional image of the systole. Further, the three-dimensional image generation unit 23 selects an image of the diastolic frame captured in the diastolic period from the image data, and generates a three-dimensional image in the diastolic period.
  • the three-dimensional image generation unit 23 generates a three-dimensional image by extracting feature points in each image and connecting the feature points of the preceding and following images in chronological order.
  • the three-dimensional systolic image and the three-dimensional diastolic image generated by the three-dimensional image generating unit 23 are recorded in the recording unit 22.
  • the acquisition unit 321 of the image observation device 30 acquires the three-dimensional image data and the biological information (Step S8). Specifically, the acquisition unit 321 acquires a systolic 3D image and a diastolic 3D image from the recording unit 22 of the recording device 20.
  • the view angle information generation unit 322 generates view angle information based on the information received by the input device 31 (step S9: view angle information generation step). Specifically, the angle-of-view information generating unit 322 generates time-varying angle-of-view information based on an operation on the input device 31 by the second doctor.
  • the two-dimensional image generation unit 323 generates two-dimensional image data obtained by observing the three-dimensional image based on the biological information and the angle-of-view information (step S10: two-dimensional image generation step).
  • FIG. 4 is a diagram illustrating a state in which the image observation device generates two-dimensional image data. As shown in FIG. 4, the two-dimensional image generation unit 323 generates a virtual pulse phase based on the pulse information. This phase may use pulse information, or may be obtained by calculating an average value such as a period or amplitude based on the pulse information.
  • the two-dimensional image generation unit 323 determines the position designated by the second doctor from the three-dimensional image whose phase corresponds to the systolic three-dimensional image or the diastolic three-dimensional image. And two-dimensional image data of angles.
  • the second doctor can observe the inside of the subject, which is virtually pulsating and has a changed blood flow.
  • the second doctor can observe the body of the subject in a state close to directly observing the inside of the subject directly using the endoscope 11, so that the second doctor is easier to observe.
  • the second doctor can virtually observe the inside of the subject moving by respiration.
  • the second doctor can observe the body of the subject in a state close to directly observing the inside of the subject directly using the endoscope 11, so that the second doctor is easier to observe.
  • FIG. 5 is a block diagram illustrating a configuration of an observation system according to the first modification.
  • the recording device 20A includes an image correction unit 24A that reduces a change in a different shape according to the biological information and performs a correction to emphasize a change in a different color tone according to the biological information. Further provision.
  • the image correction unit 24A corrects the shape information and the color tone information of the systolic 3D image and the diastolic 3D image shown in FIG.
  • the shape information is, for example, a three-dimensional coordinate value of a feature point extracted when generating a three-dimensional image
  • the color tone information is, for example, an RGB signal value of the feature point.
  • the shape information of the systolic 3D image is Ss
  • the shape information of the diastolic 3D image is Se
  • the shape information of the corrected systolic 3D image is Ss ′
  • the shape information of the corrected diastolic 3D image is Se.
  • the three-dimensional image can be corrected to reduce the change in shape by the following equations (1) and (2).
  • Ss ′ Ss + ks (Se ⁇ Ss), where 0 ⁇ ks ⁇ 0.5 ...
  • Se ′ Se ⁇ ks (Se ⁇ Ss), where 0 ⁇ ks ⁇ 0.5 ...
  • the color tone information of the systolic three-dimensional image is Ts
  • the color tone information of the diastolic three-dimensional image is Te
  • the color tone information of the systolic three-dimensional image after correction is Ts ′
  • the color tone information of the diastolic three-dimensional image after correction Is Te ′ and the correction coefficient is kt
  • a correction that emphasizes a change in the color tone of the three-dimensional image can be performed by the following equations (3) and (4).
  • Ts ′ Ts + ks (Te ⁇ Ts), where kt ⁇ 0 (3)
  • Te ′ Te ⁇ ks (Te ⁇ Ts), where kt ⁇ 0 (4)
  • the image correction unit 24A performs the correction, the change in shape between the systolic 3D image and the diastolic 3D image generated by the 3D image generating unit 23 is reduced, When the second doctor observes, the two-dimensional image data is easy to observe without unnecessary movement due to pulsation or the like. Further, since the image correction unit 24A performs the correction, the change in the color tone between the systolic three-dimensional image and the diastolic three-dimensional image becomes large, so that when the second doctor observes the two-dimensional image data, In this case, it is easy to observe a portion having a different color tone such as redness or a tumor.
  • the example in which the image correction unit 24A corrects the shape and the color tone of the systolic three-dimensional image and the diastolic three-dimensional image, respectively, is not limited thereto.
  • the three-dimensional image generation unit 23 generates a shape of the three-dimensional image using all the images, and generates a systolic three-dimensional image using the systolic color tone information for the generated shape of the three-dimensional image.
  • a three-dimensional diastolic image may be generated using the color tone information of the diastolic period with respect to the shape of the generated three-dimensional image.
  • the image correction unit 24A may correct only the tone of the systolic three-dimensional image and the diastolic three-dimensional image using the above-described equations (3) and (4). Similarly, the image correction unit 24A may correct only the shape of the three-dimensional image generated by the three-dimensional image generation unit 23.
  • the image correction unit 24A may correct image data generated by the endoscope 11, for example, and the three-dimensional image generation unit 23 may generate three-dimensional image data using the corrected image data.
  • FIG. 6 is a block diagram illustrating a configuration of an observation system according to the second modification.
  • the image processing device 13B of the endoscope observation system 10B further includes an imaging control unit 131B that controls the timing at which the endoscope 11 performs imaging according to the biological information.
  • an imaging control unit 131B controls the timing at which the endoscope 11 performs imaging according to the biological information.
  • the second doctor can perform the observation in a state where the difference between the systole and the diastole is large, and thus the second doctor is easy to observe.
  • FIG. 7 is a block diagram illustrating a configuration of an observation system according to the third modification. As shown in FIG. 7, in the observation system 1C, the endoscope observation system 10C does not have a sensor unit.
  • the biometric information generation unit 21 generates biometric information based on a temporal change of the image data recorded in the recording unit 22.
  • FIG. 8 is a diagram illustrating a state in which biological information is generated from signal values of feature points.
  • the color tone in the body of the subject changes with time due to the blood flow.
  • the biometric information generation unit 21 generates biometric information based on a temporal change in the RGB signal values of the feature points extracted when generating a three-dimensional image.
  • the biological information generation unit 21 generates pulse information as shown in FIG. 3 as biological information based on a time change of the signal values of the R component and the B component of the feature point.
  • the biological information generation unit 21 may generate pulse information based on a time change of the color tone of the entire image, a time change of the color tone of an area extracted by predetermined image processing, and the like.
  • the biological information generation unit 21 may generate pulse information based on information on any one of the color components such as the R component and the B component. However, the biological information generation unit 21 performs a predetermined operation on the signal value of each color component.
  • the pulse information may be generated by performing the application.
  • FIG. 9 is a diagram illustrating a state in which biological information is generated from the coordinate values of the feature points.
  • the biometric information generation unit 21 generates biometric information based on a temporal change in the coordinates of the feature points extracted when the three-dimensional image is generated.
  • the biological information generation unit 21 generates pulse information as shown in FIG. 3 as biological information based on a temporal change in the coordinates of the feature points.
  • the biometric information generation unit 21 may generate pulse information based on a time change of coordinates such as a contour detected from an image, not limited to the feature points.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Cardiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Vascular Medicine (AREA)
  • Hematology (AREA)
  • Endoscopes (AREA)

Abstract

記録装置は、被検体の生体情報を生成する生体情報生成部と、内視鏡により生成されて時系列に並べられている画像データを、前記生体情報と関連づけて記録する記録部と、前記記録部に記録されている画像データから前記生体情報に基づいて画像データを選択して三次元画像データを生成する三次元画像生成部と、を備える。これにより、記録装置から内視鏡を用いて撮像した画像を取得して観察する際に、より観察しやすい記録装置を提供する。

Description

記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
　本発明は、記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラムに関する。
　従来、医療分野において、生体である被検体の体内を内視鏡を用いた観察が行われている（例えば、特許文献１参照）。内視鏡が撮像した画像は、内視鏡を操作している第１の医師による診断に用いられる。
　また、内視鏡が撮像した画像を記録装置に保存し、空間的又は時間的に離れた場所にいる第２の医師による診断（セカンドオピニオン）に用いることが検討されている。
特開２０１６－０６２４８８号公報
　しかしながら、第２の医師が記録装置に記録された画像を閲覧する場合、被検体の脈拍や呼吸等の生体情報を活用することができないため、被検体に直接内視鏡を導入して観察する場合に比べて、観察しづらいという課題があった。
　本発明は、上記に鑑みてなされたものであって、記録装置から内視鏡を用いて撮像した画像を取得して観察する際に、より観察しやすい記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明の一態様に係る記録装置は、被検体の生体情報を生成する生体情報生成部と、内視鏡により生成されて時系列に並べられている画像データを、前記生体情報と関連づけて記録する記録部と、前記記録部に記録されている画像データから前記生体情報に基づいて画像データを選択して三次元画像データを生成する三次元画像生成部と、を備える。
　また、本発明の一態様に係る記録装置は、前記生体情報に応じて異なる形状の変化を低減させる補正、又は、前記生体情報に応じて異なる色調の変化を強調する補正の少なくともいずれか一方を施す画像補正部を更に備える。
　また、本発明の一態様に係る記録装置は、前記生体情報生成部は、前記画像データの時間変化に基づいて前記生体情報を生成する。
　また、本発明の一態様に係る画像観察装置は、内視鏡により生成されて時系列に並べられている複数の画像データから被検体の生体情報に基づいて画像データを選択することにより生成された三次元画像データを取得する取得部と、前記被検体を観察する位置及び角度の入力を受け付ける入力装置が受け付けた情報に基づいて画角情報を生成する画角情報生成部と、前記三次元画像を前記生体情報及び前記画角情報に基づいて観察することにより得られる二次元画像データを生成する二次元画像生成部と、を備える。
　また、本発明の一態様に係る観察システムは、被検体の生体情報を生成する生体情報生成部と、内視鏡により生成されて時系列に並べられている画像データを、前記生体情報と関連づけて記録する記録部と、前記記録部に記録されている画像から前記生体情報に基づいて画像データを選択することにより三次元画像データを生成する三次元画像生成部と、前記被検体を観察する位置及び角度の入力を受け付ける入力装置が受け付けた情報に基づいて画角情報を生成する画角情報生成部と、前記三次元画像を前記生体情報及び前記画角情報に基づいて観察することにより得られる二次元画像データを生成する二次元画像生成部と、を備える。
　また、本発明の一態様に係る観察システムは、前記生体情報に応じて前記内視鏡が撮像するタイミングを制御する撮像制御部を更に備える。
　また、本発明の一態様に係る観察システムの制御方法は、生体情報生成部が、被検体の生体情報を生成し、三次元画像生成部が、内視鏡により生成されて時系列に並べられている画像データから前記生体情報に基づいて画像データを選択することにより三次元画像データを生成し、画角情報生成部が、前記被検体を観察する位置及び角度の入力を受け付ける入力装置が受け付けた情報に基づいて画角情報を生成し、二次元画像生成部が、前記三次元画像を前記生体情報及び前記画角情報に基づいて観察することにより得られる二次元画像データを生成する。
　また、本発明の一態様に係る観察システムの作動プログラムは、生体情報生成部が、被検体の生体情報を生成し、三次元画像生成部が、内視鏡により生成されて時系列に並べられている画像データから前記生体情報に基づいて画像データを選択することにより三次元画像データを生成し、画角情報生成部が、前記被検体を観察する位置及び角度の入力を受け付ける入力装置が受け付けた情報に基づいて画角情報を生成し、二次元画像生成部が、前記三次元画像を前記生体情報及び前記画角情報に基づいて観察することにより得られる二次元画像データを生成すること、を観察システムに実行させる。
　本発明によれば、記録装置から内視鏡を用いて撮像した画像を取得して観察する際に、より観察しやすい記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラムを実現することができる。
図１は、本発明の実施の形態に係る観察システムの構成を示すブロック図である。 図２は、観察システムを用いた観察のフローチャートである。 図３は、記録装置が三次元画像データを生成する様子を表す図である。 図４は、画像観察装置が二次元画像データを生成する様子を表す図である。 図５は、変形例１に係る観察システムの構成を示すブロック図である。 図６は、変形例２に係る観察システムの構成を示すブロック図である。 図７は、変形例３に係る観察システムの構成を示すブロック図である。 図８は、特徴点の信号値から生体情報を生成する様子を表す図である。 図９は、特徴点の座標値から生体情報を生成する様子を表す図である。
　以下に、図面を参照して本発明に係る記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、医療用の内視鏡を用いる記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム一般に適用することができる。
　また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
（実施の形態）
　図１は、本発明の実施の形態に係る観察システムの構成を示すブロック図である。図１に示すように、本実施の形態に係る観察システム１は、インターネット回線等のネットワーク２を経由して接続された内視鏡観察システム１０と、記録装置２０と、画像観察装置３０と、を備える。
　内視鏡観察システム１０は、生体である被検体の体内を撮像する内視鏡１１と、被検体の生体情報を検出するセンサ部１２と、内視鏡１１が撮像した画像データに画像処理を施す画像処理装置１３と、画像処理装置１３が生成した画像データに応じた画像を表示する表示装置１４と、を備える。
　内視鏡１１は、被検体に挿入される挿入部と、挿入部の基端側に連設された操作部とを有し、操作部に対する入力に応じて、挿入部の先端に配置された撮像素子が被検体の体内を撮像する。撮像素子は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等のイメージセンサである。
　センサ部１２は、生体情報として、脈拍、呼吸等の情報を取得する。具体的には、センサ部１２は、被検体の指先を把持するように固定された血流センサである。また、センサ部１２は、被検体の口や鼻、胸部等に装着された呼吸センサであってもよい。
　画像処理装置１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の汎用プロセッサ、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の特定の機能を実行する各種演算回路等の専用プロセッサを含むワークステーションやパーソナルコンピュータを用いて構成される。
　表示装置１４は、液晶又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いて構成されている。
　記録装置２０は、ネットワーク２を経由して内視鏡観察システム１０及び画像観察装置３０を含む複数の内視鏡観察システムや画像観察装置等の機器に接続されているサーバである。記録装置２０は、例えばＣＰＵ等の汎用プロセッサ、又はＡＳＩＣやＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサ、フラッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の半導体メモリ、ＨＤＤ、ＭＯ、ＣＤ－Ｒ、ＤＶＤ－Ｒ等の記録媒体（メモリ素子）と、該記録媒体を駆動する駆動装置等によって実現される。
　記録装置２０は、被検体の生体情報を生成する生体情報生成部２１と、内視鏡１１により生成されて時系列に並べられている画像データを、生体情報と関連づけて記録する記録部２２と、記録部２２に記録されている画像データから生体情報に基づいて画像データを選択することにより三次元画像データを生成する三次元画像生成部２３と、を備える。
　画像観察装置３０は、被検体を観察する位置及び角度の入力を受け付ける入力装置３１と、記録装置２０に記録された三次元画像データを読み出して画像データを生成する画像処理装置３２と、画像処理装置３２が生成した画像データに応じた画像を表示する表示装置３３と、を備える。
　入力装置３１は、内視鏡１１の操作部と同様の構成であり、被検体を観察する位置及び角度の入力を受け付ける。ただし、入力装置３１は、マウス、キーボード、タッチパッド、又はタッチパネル等によって構成されていてもよい。
　画像処理装置３２は、例えばＣＰＵ等の汎用プロセッサ、又はＡＳＩＣやＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサを含むワークステーションやパーソナルコンピュータを用いて構成される。
　画像処理装置３２は、三次元画像生成部が生成した三次元画像データを取得する取得部３２１と、入力装置３１が受け付けた情報に基づいて画角情報を生成する画角情報生成部３２２と、三次元画像を生体情報及び画角情報に基づいて観察することにより得られる二次元画像データする二次元画像生成部３２３と、を有する。
　表示装置３３は、液晶又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いて構成されている。
　次に、内視鏡観察システム１０を用いて第１の医師が撮像した画像を、画像観察装置３０を用いて第２の医師が観察する動作を説明する。図２は、観察システムを用いた観察のフローチャートである。図２に示すように、第１の医師が内視鏡１１を用いて、被検体の体内の画像を撮像する（ステップＳ１）。
　同時に、センサ部１２は、内視鏡１１が画像を撮像している間の血流の情報を検出する（ステップＳ２）。
　続いて、内視鏡１１が生成した画像データに画像処理装置１３が所定の画像処理を施す（ステップＳ３）。
　その後、内視鏡観察システム１０は、ネットワーク２を経由して記録装置２０に画像データと血流の情報とを送信し、画像データと血流の情報とを記録装置２０に記録する（ステップＳ４）。
　続いて、生体情報生成部２１は、血流の情報を用いて生体情報として脈拍の情報を生成する（ステップＳ５：生体情報生成ステップ）。図３は、記録装置が三次元画像データを生成する様子を表す図である。図３に示すように、生体情報生成部２１は、センサ部１２が検出した血流の情報に基づいて、内視鏡１１が撮像した各画像が、収縮期に撮像された画像であるか、拡張期に撮像された画像であるかを判定する。この判定結果が各画像の脈拍の情報である。なお、収縮期とは、心臓が収縮して心臓から血液が送出されている期間である。一方、拡張期は、心臓が拡張して体血管抵抗に従って動脈圧が低下している期間である。収縮期と拡張期とでは、体内の臓器において血流量が異なるため、臓器の色調が異なる。
　そして、記録部２２は、画像データと生体情報とを関連づけて記録する（ステップＳ６）。具体的には、画像データに含まれる各画像と、その画像の脈拍の情報とを紐づけて記録する。
　更に、三次元画像生成部２３は、画像データから生体情報に基づいて画像データを選択することにより三次元画像データを生成する（ステップＳ７：三次元画像生成ステップ）。具体的には、図３に示すように、三次元画像生成部２３は、画像データから収縮期に撮像された収縮期フレームの画像を選択し、収縮期の三次元画像を生成する。更に、三次元画像生成部２３は、画像データから拡張期に撮像された拡張期フレームの画像を選択し、拡張期の三次元画像を生成する。なお、三次元画像生成部２３は、各画像において特徴点を抽出し、時系列順に前後の画像の特徴点をつなぎ合わせることにより三次元画像を生成する。三次元画像生成部２３が生成した収縮期三次元画像及び拡張期三次元画像は、記録部２２に記録される。
　続いて、画像観察装置３０の取得部３２１は、三次元画像データと生体情報とを取得する（ステップＳ８）。具体的には、取得部３２１は、記録装置２０の記録部２２から収縮期三次元画像及び拡張期三次元画像を取得する。
　そして、画角情報生成部３２２は、入力装置３１が受け付けた情報に基づいて画角情報を生成する（ステップＳ９：画角情報生成ステップ）。具体的には、画角情報生成部３２２は、第２の医師による入力装置３１に対する操作に基づいて、時間変化する画角情報を生成する。
　更に、二次元画像生成部３２３は、三次元画像を生体情報及び画角情報に基づいて観察することにより得られる二次元画像データを生成する（ステップＳ１０：二次元画像生成ステップ）。図４は、画像観察装置が二次元画像データを生成する様子を表す図である。図４に示すように、二次元画像生成部３２３は、脈拍の情報に基づいて仮想的な脈拍の位相を生成する。この位相は、脈拍の情報を用いてもよいし、脈拍の情報に基づいて周期や振幅等の平均値を算出して得られるものであってもよい。そして、二次元画像生成部３２３は、位相と画角情報とに基づいて、収縮期三次元画像又は拡張期三次元画像のうち位相が対応する三次元画像から、第２の医師が指示した位置及び角度の二次元画像データを生成する。
　以上説明したように、実施の形態によれば、第２の医師は、仮想的に脈動しており血流も変化している被検体の体内を観察することができる。すなわち、第２の医師は、被検体の体内を直接内視鏡１１を用いて観察しているのに近い状態で観察を行うことができるためより観察しやすい。
　また、生体情報として、呼吸の情報を用いる場合、第２の医師は、仮想的に呼吸で動く被検体の体内を観察することができる。すなわち、第２の医師は、被検体の体内を直接内視鏡１１を用いて観察しているのに近い状態で観察を行うことができるためより観察しやすい。
　なお、上述した実施の形態では、仮想的な脈拍を生成して被検体の体内を観察する例を説明したが、収縮期三次元画像又は拡張期三次元画像をそのまま観察してもよい。
（変形例１）
　図５は、変形例１に係る観察システムの構成を示すブロック図である。図５に示すように、観察システム１Ａにおいて記録装置２０Ａは、生体情報に応じて異なる形状の変化を低減させるとともに、生体情報に応じて異なる色調の変化を強調する補正を施す画像補正部２４Ａを更に備える。具体的には、画像補正部２４Ａは、図３に示す収縮期三次元画像及び拡張期三次元画像の形状情報及び色調情報に対して補正を施す。なお、形状情報は、例えば三次元画像を生成する際に抽出された特徴点の三次元の座標値であり、色調情報は、例えば特徴点のＲＧＢ信号値である。
　収縮期三次元画像の形状情報をＳｓ、拡張期三次元画像の形状情報をＳｅ、補正後の収縮期三次元画像の形状情報をＳｓ’、補正後の拡張期三次元画像の形状情報をＳｅ’、補正の係数をｋｓとすると、以下の式（１）及び（２）により三次元画像に対して形状の変化を低減させる補正を施すことができる。
　Ｓｓ’＝Ｓｓ＋ｋｓ（Ｓｅ－Ｓｓ）、ただし０＜ｋｓ＜０．５
                                                  ・・・（１）
　Ｓｅ’＝Ｓｅ－ｋｓ（Ｓｅ－Ｓｓ）、ただし０＜ｋｓ＜０．５
                                                  ・・・（２）
　また、収縮期三次元画像の色調情報をＴｓ、拡張期三次元画像の色調情報をＴｅ、補正後の収縮期三次元画像の色調情報をＴｓ’、補正後の拡張期三次元画像の色調情報をＴｅ’、補正の係数をｋｔとすると、以下の式（３）及び（４）により三次元画像の色調の変化を強調させる補正を施すことができる。
　Ｔｓ’＝Ｔｓ＋ｋｓ（Ｔｅ－Ｔｓ）、ただしｋｔ＜０・・・（３）
　Ｔｅ’＝Ｔｅ－ｋｓ（Ｔｅ－Ｔｓ）、ただしｋｔ＜０・・・（４）
　以上説明したように、画像補正部２４Ａが補正を施すことにより、三次元画像生成部２３が生成した収縮期三次元画像と拡張期三次元画像との間で、形状の変化が少なくなるため、第２の医師が観察する際に二次元画像データにおいて脈動等による不要な動きがなく観察しやすい。更に、画像補正部２４Ａが補正を施すことにより、収縮期三次元画像と拡張期三次元画像との間で、色調の変化が大きくなるため、第２の医師が観察する際に二次元画像データにおいて発赤や腫瘍等の色調が異なる部分が観察しやすい。
　なお、上述した変形例１では、画像補正部２４Ａが収縮期三次元画像と拡張期三次元画像との形状及び色調をそれぞれ補正する例を説明したがこれに限られない。三次元画像生成部２３は、全ての画像を用いて三次元画像の形状を生成し、生成した三次元画像の形状に対して収縮期の色調情報を用いて収縮期三次元画像を生成するとともに、生成した三次元画像の形状に対して拡張期の色調情報を用いて拡張期三次元画像を生成してもよい。そして、画像補正部２４Ａは、収縮期三次元画像と拡張期三次元画像との色調のみ上述した式（３）及び（４）を用いて補正してもよい。同様に、画像補正部２４Ａは、三次元画像生成部２３が生成した三次元画像の形状のみを補正してもよい。
　また、上述した変形例１では、画像補正部２４Ａが、収縮期三次元画像及び拡張期三次元画像に補正を施す例を説明したがこれに限られない。画像補正部２４Ａは、例えば内視鏡１１が生成した画像データに補正を施し、三次元画像生成部２３が、補正された画像データを用いて三次元画像データを生成してもよい。
（変形例２）
　図６は、変形例２に係る観察システムの構成を示すブロック図である。図６に示すように、観察システム１Ｂにおいて内視鏡観察システム１０Ｂの画像処理装置１３Ｂは、生体情報に応じて内視鏡１１が撮像するタイミングを制御する撮像制御部１３１Ｂを更に備える。その結果、例えば血流が最大や最小になるタイミングで撮像することができる。すると、第２の医師は、収縮期と拡張期との差が大きい状態で観察を行うことができるため観察しやすい。
（変形例３）
　図７は、変形例３に係る観察システムの構成を示すブロック図である。図７に示すように、観察システム１Ｃにおいて内視鏡観察システム１０Ｃは、センサ部を有しない。
　生体情報生成部２１は、記録部２２に記録されている画像データの時間変化に基づいて生体情報を生成する。
　図８は、特徴点の信号値から生体情報を生成する様子を表す図である。図８に示すように、被検体の体内は血流によって色調が時間変化する。生体情報生成部２１は、三次元画像を生成する際に抽出された特徴点のＲＧＢ信号値の時間変化に基づいて生体情報を生成する。具体的には、生体情報生成部２１は、特徴点のＲ成分やＢ成分の信号値の時間変化に基づいて、生体情報として図３に示すような脈拍の情報を生成する。なお、生体情報生成部２１は、画像全体の色調の時間変化や所定の画像処理により抽出した領域の色調の時間変化等に基づいて脈拍の情報を生成してもよい。また、生体情報生成部２１は、Ｒ成分やＢ成分等のいずれか１つの色成分の情報に基づいて脈拍の情報を生成してもよいが、各色成分の信号値に対して所定の演算を施すことにより脈拍の情報を生成してもよい。
　図９は、特徴点の座標値から生体情報を生成する様子を表す図である。図９に示すように、被検体内の臓器の位置は脈動によって時間変化する。生体情報生成部２１は、三次元画像を生成する際に抽出された特徴点の座標の時間変化に基づいて生体情報を生成する。具体的には、生体情報生成部２１は、特徴点の座標の時間変化に基づいて、生体情報として図３に示すような脈拍の情報を生成する。なお、生体情報生成部２１は、特徴点に限らず、画像から検出した輪郭線等の座標の時間変化に基づいて脈拍の情報を生成してもよい。
　さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
　１、１Ａ、１Ｂ、１Ｃ　観察システム
　２　ネットワーク
　１０、１０Ｂ、１０Ｃ　内視鏡観察システム
　１１　内視鏡
　１２　センサ部
　１３、１３Ｂ、３２　画像処理装置
　１４、３３　表示装置
　２０、２０Ａ　記録装置
　２１　生体情報生成部
　２２　記録部
　２３　三次元画像生成部
　２４Ａ　画像補正部
　３０　画像観察装置
　３１　入力装置
　１３１Ｂ　撮像制御部
　３２１　取得部
　３２２　画角情報生成部
　３２３　二次元画像生成部

Claims (8)

  1. 　被検体の生体情報を生成する生体情報生成部と、
    　内視鏡により生成されて時系列に並べられている画像データを、前記生体情報と関連づけて記録する記録部と、
    　前記記録部に記録されている画像データから前記生体情報に基づいて画像データを選択して三次元画像データを生成する三次元画像生成部と、
    　を備える記録装置。
  2. 　前記生体情報に応じて異なる形状の変化を低減させる補正、又は、前記生体情報に応じて異なる色調の変化を強調する補正の少なくともいずれか一方を施す画像補正部を更に備える請求項１に記載の記録装置。
  3. 　前記生体情報生成部は、前記画像データの時間変化に基づいて前記生体情報を生成する請求項１又は２に記載の記録装置。
  4. 　内視鏡により生成されて時系列に並べられている複数の画像データから被検体の生体情報に基づいて画像データを選択することにより生成された三次元画像データを取得する取得部と、
    　前記被検体を観察する位置及び角度の入力を受け付ける入力装置が受け付けた情報に基づいて画角情報を生成する画角情報生成部と、
    　前記三次元画像を前記生体情報及び前記画角情報に基づいて観察することにより得られる二次元画像データを生成する二次元画像生成部と、
    　を備える画像観察装置。
  5. 　被検体の生体情報を生成する生体情報生成部と、
    　内視鏡により生成されて時系列に並べられている画像データを、前記生体情報と関連づけて記録する記録部と、
    　前記記録部に記録されている画像から前記生体情報に基づいて画像データを選択することにより三次元画像データを生成する三次元画像生成部と、
    　前記被検体を観察する位置及び角度の入力を受け付ける入力装置が受け付けた情報に基づいて画角情報を生成する画角情報生成部と、
    　前記三次元画像を前記生体情報及び前記画角情報に基づいて観察することにより得られる二次元画像データを生成する二次元画像生成部と、
    　を備える観察システム。
  6. 　前記生体情報に応じて前記内視鏡が撮像するタイミングを制御する撮像制御部を更に備える請求項５に記載の観察システム。
  7. 　生体情報生成部が、被検体の生体情報を生成し、
    　三次元画像生成部が、内視鏡により生成されて時系列に並べられている画像データから前記生体情報に基づいて画像データを選択することにより三次元画像データを生成し、
    　画角情報生成部が、前記被検体を観察する位置及び角度の入力を受け付ける入力装置が受け付けた情報に基づいて画角情報を生成し、
    　二次元画像生成部が、前記三次元画像を前記生体情報及び前記画角情報に基づいて観察することにより得られる二次元画像データを生成する観察システムの制御方法。
  8. 　生体情報生成部が、被検体の生体情報を生成し、
    　三次元画像生成部が、内視鏡により生成されて時系列に並べられている画像データから前記生体情報に基づいて画像データを選択することにより三次元画像データを生成し、
    　画角情報生成部が、前記被検体を観察する位置及び角度の入力を受け付ける入力装置が受け付けた情報に基づいて画角情報を生成し、
    　二次元画像生成部が、前記三次元画像を前記生体情報及び前記画角情報に基づいて観察することにより得られる二次元画像データを生成すること、
    　を観察システムに実行させる観察システムの作動プログラム。
PCT/JP2018/032248 2018-08-30 2018-08-30 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム Ceased WO2020044523A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/032248 WO2020044523A1 (ja) 2018-08-30 2018-08-30 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
CN201880096645.6A CN112584738B (zh) 2018-08-30 2018-08-30 记录装置、图像观察装置、观察系统、观察系统的控制方法及存储介质
JP2020539972A JP6988001B2 (ja) 2018-08-30 2018-08-30 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
US17/173,602 US11653815B2 (en) 2018-08-30 2021-02-11 Recording device, image observation device, observation system, control method of observation system, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/032248 WO2020044523A1 (ja) 2018-08-30 2018-08-30 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/173,602 Continuation US11653815B2 (en) 2018-08-30 2021-02-11 Recording device, image observation device, observation system, control method of observation system, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2020044523A1 true WO2020044523A1 (ja) 2020-03-05

Family

ID=69644009

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/032248 Ceased WO2020044523A1 (ja) 2018-08-30 2018-08-30 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム

Country Status (4)

Country Link
US (1) US11653815B2 (ja)
JP (1) JP6988001B2 (ja)
CN (1) CN112584738B (ja)
WO (1) WO2020044523A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090234220A1 (en) * 2008-03-12 2009-09-17 Simens Aktiengesellschaft Catheter and associated medical examination and treatment device
JP2010279500A (ja) * 2009-06-03 2010-12-16 Toshiba Corp 超音波診断装置およびその制御プログラム
JP2017153953A (ja) * 2016-02-26 2017-09-07 東芝メディカルシステムズ株式会社 超音波診断装置及び画像処理プログラム

Family Cites Families (212)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19732125C1 (de) * 1997-07-25 1999-02-11 Tomtec Imaging Syst Gmbh Verfahren zur Aufnahme von Ultraschallbildern bewegter Objekte
US6674879B1 (en) * 1998-03-30 2004-01-06 Echovision, Inc. Echocardiography workstation
US6295465B1 (en) * 1999-02-17 2001-09-25 Siemens Medical Systems, Inc. Myocardial perfusion studies using magnetic resonance imaging
US6447454B1 (en) * 2000-12-07 2002-09-10 Koninklijke Philips Electronics N.V. Acquisition, analysis and display of ultrasonic diagnostic cardiac images
US6889071B2 (en) * 2000-12-19 2005-05-03 General Electric Company Acquisition of high-temporal free-breathing MR images
US6611701B2 (en) * 2000-12-30 2003-08-26 Ge Medical Systems Global Technology Company, Llc Method and apparatus for fast breath-held 3D MR data acquisition using variable sampling
JP2002282213A (ja) 2001-03-22 2002-10-02 Olympus Optical Co Ltd 内視鏡画像ファイリングシステム
US20030038802A1 (en) * 2001-08-23 2003-02-27 Johnson Richard K. Automatic delineation of heart borders and surfaces from images
US20030160786A1 (en) * 2002-02-28 2003-08-28 Johnson Richard K. Automatic determination of borders of body structures
US7450746B2 (en) * 2002-06-07 2008-11-11 Verathon Inc. System and method for cardiac imaging
US20060025689A1 (en) * 2002-06-07 2006-02-02 Vikram Chalana System and method to measure cardiac ejection fraction
US7175598B2 (en) * 2002-06-18 2007-02-13 Kabushiki Kaisha Toshiba Ultrasound diagnosis apparatus that adjusts a time phase between a plurality of image series
US20040077952A1 (en) * 2002-10-21 2004-04-22 Rafter Patrick G. System and method for improved diagnostic image displays
US6628743B1 (en) * 2002-11-26 2003-09-30 Ge Medical Systems Global Technology Company, Llc Method and apparatus for acquiring and analyzing cardiac data from a patient
JP4517619B2 (ja) * 2002-12-05 2010-08-04 オムロンヘルスケア株式会社 脈波測定装置
CN1725978A (zh) * 2002-12-13 2006-01-25 皇家飞利浦电子股份有限公司 用于处理一系列表示心动周期的图像帧的系统和方法
DE10260762A1 (de) * 2002-12-23 2004-07-22 Pulsion Medical Systems Ag Vorrichtung zur Bestimmung kardiovaskulärer Parameter
US7693563B2 (en) * 2003-01-30 2010-04-06 Chase Medical, LLP Method for image processing and contour assessment of the heart
US20050043609A1 (en) * 2003-01-30 2005-02-24 Gregory Murphy System and method for facilitating cardiac intervention
JP3810381B2 (ja) * 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US20050018890A1 (en) * 2003-07-24 2005-01-27 Mcdonald John Alan Segmentation of left ventriculograms using boosted decision trees
US7689261B2 (en) * 2003-11-26 2010-03-30 General Electric Company Cardiac display methods and apparatus
US20070014452A1 (en) * 2003-12-01 2007-01-18 Mitta Suresh Method and system for image processing and assessment of a state of a heart
US20050137661A1 (en) * 2003-12-19 2005-06-23 Sra Jasbir S. Method and system of treatment of cardiac arrhythmias using 4D imaging
JP2005342006A (ja) * 2004-05-31 2005-12-15 Toshiba Corp 超音波診断装置、超音波画像処理装置、及び超音波信号処理プログラム
JP2006061581A (ja) * 2004-08-30 2006-03-09 Toshiba Corp 医用運動解析装置、医用運動解析方法および医用運動解析プログラム
US8083679B1 (en) * 2004-09-03 2011-12-27 Hitachi Medical Corporation Ultrasonic imaging apparatus
DE602005003628T2 (de) * 2004-10-20 2008-12-11 Fujifilm Corp. Verfahren zur Regelung der Helligkeit und Bildbearbeitungsvorrichtung
CN100496407C (zh) * 2004-12-13 2009-06-10 株式会社日立医药 超声波诊断装置
JP4713917B2 (ja) * 2005-04-12 2011-06-29 株式会社東芝 超音波診断装置、画像表示装置、及び画像表示方法
US10143398B2 (en) * 2005-04-26 2018-12-04 Biosense Webster, Inc. Registration of ultrasound data with pre-acquired image
US7689021B2 (en) * 2005-08-30 2010-03-30 University Of Maryland, Baltimore Segmentation of regions in measurements of a body based on a deformable model
US7613496B2 (en) * 2005-09-22 2009-11-03 Kabushiki Kaisha Toshiba Magnetic resonance imaging apparatus and magnetic resonance imaging method
US7918793B2 (en) * 2005-10-28 2011-04-05 Biosense Webster, Inc. Synchronization of ultrasound imaging data with electrical mapping
JP5037075B2 (ja) * 2005-12-22 2012-09-26 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 磁気共鳴イメージング装置
JP4805669B2 (ja) * 2005-12-27 2011-11-02 株式会社東芝 超音波画像処理装置及び超音波画像処理装置の制御プログラム
US8731367B2 (en) * 2006-03-01 2014-05-20 Kabushiki Kaisha Toshiba Image processing apparatus
EP1998671A1 (en) * 2006-03-20 2008-12-10 Koninklijke Philips Electronics N.V. Ultrasonic diagnosis by quantification of myocardial performance
JP4495109B2 (ja) * 2006-04-06 2010-06-30 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Ｘ線ｃｔ装置
US9247865B2 (en) * 2006-05-31 2016-02-02 National University Corporation Chiba University Three-dimensional-image forming device, three dimensional-image forming method and program
US8150128B2 (en) * 2006-08-30 2012-04-03 The Trustees Of Columbia University In The City Of New York Systems and method for composite elastography and wave imaging
JP5366370B2 (ja) * 2006-09-06 2013-12-11 株式会社東芝 磁気共鳴イメージング装置
US7996060B2 (en) * 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
JP5575356B2 (ja) * 2006-11-17 2014-08-20 株式会社東芝 画像表示方法及びその装置並びに画像表示プログラム
US8175350B2 (en) * 2007-01-15 2012-05-08 Eigen, Inc. Method for tissue culture extraction
US8099158B2 (en) * 2007-05-07 2012-01-17 Siemens Medical Solutions Usa, Inc. System and method for selecting end of diastole and end of systole frames
JP4690361B2 (ja) * 2007-05-28 2011-06-01 富士フイルム株式会社 心臓機能解析装置、方法およびそのプログラム
JP5095304B2 (ja) * 2007-08-21 2012-12-12 株式会社東芝 超音波診断装置
US7660383B2 (en) * 2007-08-23 2010-02-09 Kabushiki Kaisha Toshiba Three dimensional image processing apparatus and X-ray diagnosis apparatus
JP5366385B2 (ja) * 2007-09-26 2013-12-11 株式会社東芝 超音波診断装置及び超音波走査プログラム
JP5269376B2 (ja) * 2007-09-28 2013-08-21 株式会社東芝 画像表示装置及びｘ線診断治療装置
US8909321B2 (en) * 2007-12-07 2014-12-09 Kabushiki Kaisha Toshiba Diagnostic imaging apparatus, magnetic resonance imaging apparatus, and X-ray CT apparatus
US8571288B2 (en) * 2007-12-07 2013-10-29 Kabushiki Kaisha Toshiba Image display apparatus and magnetic resonance imaging apparatus
US8167807B2 (en) * 2007-12-20 2012-05-01 Toshiba Medical Systems Corporation Ultrasonic diagnosis device, ultrasonic image analysis device, and ultrasonic image analysis method
EP2296537B1 (en) * 2008-02-15 2018-05-30 Université Paris Sud Device and process for calculating new indices of arterial stiffness, and/or for stroke volume monitoring
JP5085370B2 (ja) * 2008-02-19 2012-11-28 オリンパス株式会社 画像処理装置および画像処理プログラム
US20090287303A1 (en) * 2008-05-13 2009-11-19 Edwards Lifesciences Corporation Physiologically harmonized tricuspid annuloplasty ring
JP5188879B2 (ja) * 2008-05-23 2013-04-24 オリンパスメディカルシステムズ株式会社 医療機器
US9396669B2 (en) * 2008-06-16 2016-07-19 Microsoft Technology Licensing, Llc Surgical procedure capture, modelling, and editing interactive playback
US8145293B2 (en) * 2008-06-16 2012-03-27 Siemens Medical Solutions Usa, Inc. Adaptive medical image acquisition system and method
US8170312B2 (en) * 2008-06-17 2012-05-01 Siemens Medical Solutions Usa, Inc. Respiratory motion compensated cardiac wall motion determination system
US8391950B2 (en) * 2008-09-30 2013-03-05 Siemens Medical Solutions Usa, Inc. System for multi-dimensional anatomical functional imaging
EP2348954A1 (en) * 2008-10-20 2011-08-03 Koninklijke Philips Electronics N.V. Image-based localization method and system
JP5371703B2 (ja) * 2008-11-27 2013-12-18 株式会社東芝 医用画像生成装置、医用画像保管装置、医用画像表示装置及び医用画像表示システム
TWI399195B (zh) * 2008-12-16 2013-06-21 Ind Tech Res Inst 動態立體血管超音波影像系統及其操作方法
JP5295805B2 (ja) * 2009-02-05 2013-09-18 株式会社東芝 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
US11826559B2 (en) * 2009-04-22 2023-11-28 Alton Reich Cardiac output control apparatus and method of use thereof
US20210068683A1 (en) * 2009-04-22 2021-03-11 Alton Reich Cardiovascular state monitoring - drug delivery apparatus and method of use thereof
US11363994B2 (en) * 2009-04-22 2022-06-21 Alton Reich Cardiovascular state determination apparatus and method of use thereof
JP5220705B2 (ja) * 2009-07-23 2013-06-26 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
SE534636C2 (sv) * 2009-12-12 2011-11-01 Anna Bjaellmark Ett system för kvantifiering och visualisering av hjärtats rotationsmönster
US20110160849A1 (en) * 2009-12-22 2011-06-30 Edwards Lifesciences Corporation Bimodal tricuspid annuloplasty ring
WO2011090089A1 (ja) * 2010-01-22 2011-07-28 株式会社 日立メディコ 磁気共鳴イメージング装置及び血管画像撮像方法
JP5850861B2 (ja) * 2010-01-29 2016-02-03 エドワーズ ライフサイエンシーズ コーポレイションＥｄｗａｒｄｓ Ｌｉｆｅｓｃｉｅｎｃｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 心血管系パラメータの決定における不規則な心周期の影響の排除
JP4981938B2 (ja) * 2010-03-08 2012-07-25 富士フイルム株式会社 診断支援装置、冠動脈解析プログラムおよび冠動脈解析方法
CN102821698B (zh) * 2010-03-31 2015-05-20 株式会社日立医疗器械 医用图像诊断装置以及医用图像的测量值再输入方法
US9063207B2 (en) * 2010-04-20 2015-06-23 Hitachi Medical Corporation Magnetic resonance imaging apparatus and blood vessel image capturing method
JP5486432B2 (ja) * 2010-07-28 2014-05-07 富士フイルム株式会社 画像処理装置、その作動方法およびプログラム
JP5675227B2 (ja) * 2010-08-31 2015-02-25 富士フイルム株式会社 内視鏡画像処理装置および作動方法、並びに、プログラム
US8805045B2 (en) * 2010-10-12 2014-08-12 Siemens Aktiengesellschaft Interaction method for regions of-interest in time series images
JP5323795B2 (ja) * 2010-10-12 2013-10-23 富士フイルム株式会社 診断支援装置、診断支援プログラムおよび診断支援方法
US8798227B2 (en) * 2010-10-15 2014-08-05 Kabushiki Kaisha Toshiba Medical image processing apparatus and X-ray computed tomography apparatus
JP4937397B2 (ja) * 2010-10-25 2012-05-23 富士フイルム株式会社 医用画像診断支援装置および方法、並びにプログラム
JP5663283B2 (ja) * 2010-12-02 2015-02-04 オリンパス株式会社 内視鏡画像処理装置及びプログラム
US9245091B2 (en) * 2011-03-09 2016-01-26 Siemens Aktiengesellschaft Physically-constrained modeling of a heart in medical imaging
WO2012165572A1 (ja) * 2011-06-01 2012-12-06 株式会社 東芝 医用画像表示装置及び医用画像診断装置
JP5791976B2 (ja) * 2011-06-16 2015-10-07 オリンパス株式会社 画像処理装置、画像処理方法、およびプログラム
US9375132B2 (en) * 2011-06-23 2016-06-28 Kabushiki Kaisha Toshiba Medical image processing apparatus and medical image diagnosis apparatus
CN103118595B (zh) * 2011-07-06 2015-09-16 株式会社东芝 医用图像诊断装置
TWI445520B (zh) * 2011-07-08 2014-07-21 私立中原大學 Methods of comparison of non - invasive cardiovascular status
JP6001280B2 (ja) * 2012-03-09 2016-10-05 学校法人金沢医科大学 心臓矯正ネットの製造方法
US20150145953A1 (en) * 2012-03-17 2015-05-28 Waseda University Image completion system for in-image cutoff region, image processing device, and program therefor
US9510772B2 (en) * 2012-04-10 2016-12-06 Cardionxt, Inc. System and method for localizing medical instruments during cardiovascular medical procedures
DE102012205935B4 (de) * 2012-04-12 2018-11-15 Siemens Healthcare Gmbh Verfahren zur Aufnahme eines vierdimensionalen Angiographie-Datensatzes
JP5984258B2 (ja) * 2012-04-27 2016-09-06 東芝メディカルシステムズ株式会社 磁気共鳴イメージング装置及び画像処理装置
WO2014027229A1 (en) * 2012-08-15 2014-02-20 Ludovic Angot Method and apparatus for converting 2d images to 3d images
JP5961504B2 (ja) * 2012-09-26 2016-08-02 富士フイルム株式会社 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP5934070B2 (ja) * 2012-09-26 2016-06-15 富士フイルム株式会社 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP6242072B2 (ja) * 2012-09-27 2017-12-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
CN103767705B (zh) * 2012-10-23 2017-12-22 三星电子株式会社 磁共振成像系统和磁共振成像方法
US9207300B2 (en) * 2012-10-26 2015-12-08 Siemens Medical Solutions Usa, Inc. Automatic system for timing in imaging
JP6139116B2 (ja) * 2012-11-30 2017-05-31 東芝メディカルシステムズ株式会社 医用画像処理装置
JP6125281B2 (ja) * 2013-03-06 2017-05-10 東芝メディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置及び制御プログラム
WO2014156378A1 (ja) * 2013-03-27 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2014165646A1 (en) * 2013-04-03 2014-10-09 The General Hospital Corporation Mapping cardiac tissue architecture systems and methods
GB2527247A (en) * 2013-04-04 2015-12-16 Healthstats Int Pte Ltd Method and system for detecting heartbeat irregularities
CN108992058A (zh) * 2013-07-30 2018-12-14 哈特弗罗公司 为优化诊断性能利用边界条件模型化血流的方法和系统
US9406142B2 (en) * 2013-10-08 2016-08-02 The Trustees Of The University Of Pennsylvania Fully automatic image segmentation of heart valves using multi-atlas label fusion and deformable medial modeling
WO2015111263A1 (ja) * 2014-01-24 2015-07-30 オリンパス株式会社 立体内視鏡画像処理装置
US10776998B1 (en) * 2014-02-28 2020-09-15 University Of Louisville Research Foundation, Inc. Method and system for analysis of 3D deformations and regional function of a heart with 3D SinMod
JP6282887B2 (ja) * 2014-02-28 2018-02-21 国立大学法人広島大学 血圧測定装置および血圧測定方法
JP6196922B2 (ja) * 2014-03-17 2017-09-13 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6351323B2 (ja) * 2014-03-20 2018-07-04 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN106231986B (zh) * 2014-06-18 2018-08-28 奥林巴斯株式会社 图像处理装置
CN106413516B (zh) * 2014-07-30 2018-01-23 奥林巴斯株式会社 图像处理装置
JP6463038B2 (ja) * 2014-08-27 2019-01-30 富士フイルム株式会社 画像位置合せ装置、方法およびプログラム
FR3025112A1 (fr) * 2014-09-02 2016-03-04 Univ Bordeaux Methode de controle d'une zone ciblee du cœur, methode d'ablation d'une zone ciblee du cœur, systemes associes
US9668700B2 (en) * 2014-09-09 2017-06-06 Heartflow, Inc. Method and system for quantifying limitations in coronary artery blood flow during physical activity in patients with coronary artery disease
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
CN112190236A (zh) * 2014-09-17 2021-01-08 卡纳里医疗公司 用于使用和监测医疗设备的设备、系统和方法
JP6129421B2 (ja) * 2014-09-19 2017-05-17 オリンパス株式会社 医療用観察システム
JP2016062488A (ja) 2014-09-19 2016-04-25 オリンパス株式会社 内視鏡業務支援システム
JP6493680B2 (ja) * 2014-10-09 2019-04-03 パナソニックＩｐマネジメント株式会社 非接触血圧測定装置、及び、非接触血圧測定方法
KR101652046B1 (ko) * 2014-11-03 2016-08-29 삼성전자주식회사 의료 영상 장치 및 의료 영상을 처리하는 방법
EP3242605A4 (en) * 2015-01-06 2018-08-29 CardioVascular BioTherapeutics, Inc. Angiogenic treatment of ischemic heart disease
US10588577B2 (en) * 2015-01-29 2020-03-17 Siemens Healthcare Gmbh Patient signal analysis based on affine template matching
US10390718B2 (en) * 2015-03-20 2019-08-27 East Carolina University Multi-spectral physiologic visualization (MSPV) using laser imaging methods and systems for blood flow and perfusion imaging and quantification in an endoscopic design
JP6371729B2 (ja) 2015-03-25 2018-08-08 富士フイルム株式会社 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
WO2016175773A1 (en) * 2015-04-29 2016-11-03 Siemens Aktiengesellschaft Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data
JP2018514340A (ja) * 2015-05-11 2018-06-07 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ ２ｄ／２．５ｄ腹腔鏡画像データまたは２ｄ／２．５ｄ内視鏡画像データを３ｄボリュメトリック画像データに位置合わせするための方法とシステム
US11047935B2 (en) * 2015-05-14 2021-06-29 Ohio State Innovation Foundation Systems and methods for estimating complex B1+ fields of transmit coils of a magnetic resonance imaging (MRI) system
WO2016191298A1 (en) * 2015-05-22 2016-12-01 Intuitive Surgical Operations, Inc. Systems and methods of registration for image guided surgery
US10420515B2 (en) * 2015-06-15 2019-09-24 Vital Labs, Inc. Method and system for acquiring data for assessment of cardiovascular disease
WO2017008202A1 (zh) * 2015-07-10 2017-01-19 深圳迈瑞生物医疗电子股份有限公司 一种监护系统、方法及装置
WO2017047117A1 (ja) * 2015-09-18 2017-03-23 オリンパス株式会社 信号処理装置及び内視鏡システム
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
JP6095879B1 (ja) 2015-10-29 2017-03-15 オリンパス株式会社 内視鏡装置
WO2017073181A1 (ja) 2015-10-29 2017-05-04 オリンパス株式会社 内視鏡装置
CN108601509B (zh) * 2015-11-26 2020-07-07 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录有程序的介质
JP6763719B2 (ja) * 2015-12-07 2020-09-30 パナソニック株式会社 生体情報測定装置、生体情報測定方法及びプログラム
JP6639523B2 (ja) * 2015-12-22 2020-02-05 オリンパス株式会社 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム
CN108697310B (zh) * 2015-12-24 2020-12-11 奥林巴斯株式会社 图像处理装置、图像处理方法和记录了程序的介质
CN108430302B (zh) * 2015-12-25 2020-11-17 奥林巴斯株式会社 图像处理装置、图像处理方法和存储介质
US10292684B2 (en) * 2016-02-26 2019-05-21 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus and image processing method
US10813621B2 (en) * 2016-03-04 2020-10-27 Canon Medical Systems Corporation Analyzer
CN108882878B (zh) * 2016-04-15 2021-04-23 欧姆龙株式会社 生物体信息分析装置、系统以及程序
CA3020896A1 (en) * 2016-04-27 2017-11-02 Myocardial Solutions, Inc. Rapid quantitative evaluations of heart function with strain measurements from mri
WO2017199408A1 (ja) * 2016-05-19 2017-11-23 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP6578058B2 (ja) * 2016-05-27 2019-09-18 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP7133474B2 (ja) * 2016-05-31 2022-09-08 コーニンクレッカ フィリップス エヌ ヴェ 内視鏡画像及び超音波画像の画像ベースの融合
WO2017210440A1 (en) * 2016-06-01 2017-12-07 The Trustees Of Columbia University In The City Of New York Methods and systems for ultrasound elastography
US10410365B2 (en) * 2016-06-02 2019-09-10 Verily Life Sciences Llc System and method for 3D scene reconstruction with dual complementary pattern illumination
US10159448B2 (en) * 2016-06-06 2018-12-25 Toshiba Medical Systems Corporation X-ray CT apparatus, medical information processing apparatus, and medical information processing method
US11337657B2 (en) * 2016-06-24 2022-05-24 Philips Healthcare Informatics, Inc. Dynamic calibration of a blood pressure measurement device
US11350825B2 (en) * 2016-08-25 2022-06-07 Vivonics, Inc. Contactless system and method for measuring and continuously monitoring arterial blood pressure
US10732246B2 (en) * 2016-08-30 2020-08-04 Canon Medical Systems Corporation Magnetic resonance imaging apparatus
CN110049709B (zh) * 2016-12-07 2022-01-11 奥林巴斯株式会社 图像处理装置
US20180184920A1 (en) * 2017-01-05 2018-07-05 Livemetric (Medical) S.A. System and method for providing user feeedback of blood pressure sensor placement and contact quality
EP3375364B1 (en) * 2017-01-23 2024-08-28 Shanghai United Imaging Healthcare Co., Ltd. System and method for analyzing blood flow state
WO2018142664A1 (ja) * 2017-02-02 2018-08-09 オリンパス株式会社 内視鏡画像観察支援システム
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
JP6801073B2 (ja) * 2017-02-24 2020-12-16 富士フイルム株式会社 付加情報表示装置、方法およびプログラム
JP6894730B2 (ja) * 2017-03-16 2021-06-30 日本光電工業株式会社 循環動態測定装置、循環動態測定方法、および循環動態測定プログラム
IL258461A (en) * 2017-04-06 2018-06-28 Continuse Biometrics Ltd Blood pressure monitoring system
US11471065B2 (en) * 2017-05-12 2022-10-18 Canon Medical Systems Corporation Medical image diagnosis apparatus
EP3403574A1 (en) * 2017-05-18 2018-11-21 Preventicus GmbH Device for reliable acquisition of photoplethysmographic data
CN110944566B (zh) * 2017-05-19 2021-12-21 奥林巴斯株式会社 3d内窥镜装置和3d影像处理装置
WO2018221048A1 (ja) * 2017-05-31 2018-12-06 シャープ株式会社 ３次元画像素子および光レーダー装置
US11779464B2 (en) * 2017-06-13 2023-10-10 Wake Forest University Health Sciences Customized ventricular support device
WO2018230098A1 (ja) * 2017-06-15 2018-12-20 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
CN107644454B (zh) * 2017-08-25 2020-02-18 北京奇禹科技有限公司 一种图像处理方法及装置
WO2019048492A1 (en) * 2017-09-08 2019-03-14 Sony Corporation IMAGING DEVICE, METHOD AND PROGRAM FOR PRODUCING IMAGES OF A SCENE
CN107909609B (zh) * 2017-11-01 2019-09-20 欧阳聪星 一种图像处理方法及装置
JP6885545B2 (ja) * 2018-01-13 2021-06-16 株式会社デルタツーリング 血圧推定装置、血圧推定方法、コンピュータプログラム及び記録媒体
US20190239861A1 (en) * 2018-02-07 2019-08-08 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus
EP3527123B1 (en) * 2018-02-15 2022-08-31 Leica Instruments (Singapore) Pte. Ltd. Image processing method and apparatus using elastic mapping of vascular plexus structures
US20190247127A1 (en) * 2018-02-15 2019-08-15 Covidien Lp 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking
US11373330B2 (en) * 2018-03-27 2022-06-28 Siemens Healthcare Gmbh Image-based guidance for device path planning based on penalty function values and distances between ROI centerline and backprojected instrument centerline
JP7151125B2 (ja) * 2018-03-29 2022-10-12 コニカミノルタ株式会社 撮影支援装置、放射線撮影システム及びプログラム
CN111937377B (zh) * 2018-04-09 2022-06-21 奥林巴斯株式会社 内窥镜业务辅助系统、内窥镜业务辅助方法和记录介质
EP3553740A1 (en) * 2018-04-13 2019-10-16 Koninklijke Philips N.V. Automatic slice selection in medical imaging
CN110584775A (zh) * 2018-06-13 2019-12-20 凯勋国际股份有限公司 气道模型生成系统及插管辅助系统
JP7049220B2 (ja) * 2018-08-30 2022-04-06 オリンパス株式会社 画像取得装置および画像取得装置の作動方法
KR102605900B1 (ko) * 2018-09-18 2023-11-23 삼성전자주식회사 생체정보 추정 장치 및 방법
EP3626176B1 (de) * 2018-09-19 2020-12-30 Siemens Healthcare GmbH Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
KR20200054723A (ko) * 2018-11-12 2020-05-20 삼성전자주식회사 혈압 측정 장치 및 방법
JP7258538B2 (ja) * 2018-12-14 2023-04-17 キヤノンメディカルシステムズ株式会社 超音波診断装置、医用情報処理装置、医用情報処理プログラム
US10733745B2 (en) * 2019-01-07 2020-08-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for deriving a three-dimensional (3D) textured surface from endoscopic video
JP2020126208A (ja) * 2019-02-06 2020-08-20 オリンパス株式会社 ３次元画像表示方法、３次元画像表示装置、およびプログラム
US20200345291A1 (en) * 2019-05-01 2020-11-05 Stuart M. Bradley Systems and methods for measuring volumes and dimensions of objects and features during swallowing observation
CN113226170B (zh) * 2019-05-20 2024-03-08 深圳市大耳马科技有限公司 一种心脏舒张功能评估方法、设备和系统
US10929669B2 (en) * 2019-06-04 2021-02-23 Magentiq Eye Ltd Systems and methods for processing colon images and videos
US12059281B2 (en) * 2019-08-19 2024-08-13 Covidien Lp Systems and methods of fluoro-CT imaging for initial registration
US20210052146A1 (en) * 2019-08-19 2021-02-25 Covidien Lp Systems and methods for selectively varying resolutions
KR102830101B1 (ko) * 2019-09-19 2025-07-03 삼성전자주식회사 폴더블 전자 장치 및, 폴더블 전자 장치를 이용한 생체정보 추정 방법
US20220020166A1 (en) * 2019-09-27 2022-01-20 Asensus Surgical Us, Inc. Method and System for Providing Real Time Surgical Site Measurements
CA3156519A1 (en) * 2019-10-01 2021-04-08 Sirona Medical, Inc. AI-ASSISTED MEDICAL IMAGE INTERPRETATION AND REPORT GENERATION
JP2021065451A (ja) * 2019-10-24 2021-04-30 日本光電工業株式会社 循環動態測定装置
US12023133B2 (en) * 2019-11-21 2024-07-02 Gb Soft Co., Ltd. Method of measuring physiological parameter of subject in contactless manner
GB2589566B (en) * 2019-11-27 2022-03-23 Directed Systems Ltd Cardiovascular analytic system and method
US11832996B2 (en) * 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11232570B2 (en) * 2020-02-13 2022-01-25 Olympus Corporation System and method for diagnosing severity of gastritis
US11918178B2 (en) * 2020-03-06 2024-03-05 Verily Life Sciences Llc Detecting deficient coverage in gastroenterological procedures
EP4164477A4 (en) * 2020-06-16 2024-07-17 Grant Hocking A method to quantify the hemodynamic and vascular properties in vivo from arterial waveform measurements
CA3182998A1 (en) * 2020-07-15 2022-01-20 Paul R. Hallen Digital image optimization for ophthalmic surgery
KR20220017667A (ko) * 2020-08-05 2022-02-14 삼성전자주식회사 생체정보 추정 장치 및 방법
US20220104790A1 (en) * 2020-10-02 2022-04-07 Caption Health, Inc. Continuous and dynamic ejection fraction determination
US20220296111A1 (en) * 2020-12-18 2022-09-22 Movano Inc. Method for operating a wearable device that includes an optical sensor system and an rf sensor system
US11676280B2 (en) * 2021-01-10 2023-06-13 DiA Imaging Analysis Automated right ventricle medical imaging and computation of clinical parameters
KR102580271B1 (ko) * 2021-02-25 2023-09-20 삼성전자주식회사 이미지센서를 이용한 다중 생체신호 측정 장치 및 방법과, 전자장치
JP7716873B2 (ja) * 2021-04-02 2025-08-01 キヤノンメディカルシステムズ株式会社 超音波診断装置、画像処理装置、及び画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090234220A1 (en) * 2008-03-12 2009-09-17 Simens Aktiengesellschaft Catheter and associated medical examination and treatment device
JP2010279500A (ja) * 2009-06-03 2010-12-16 Toshiba Corp 超音波診断装置およびその制御プログラム
JP2017153953A (ja) * 2016-02-26 2017-09-07 東芝メディカルシステムズ株式会社 超音波診断装置及び画像処理プログラム

Also Published As

Publication number Publication date
CN112584738A (zh) 2021-03-30
JP6988001B2 (ja) 2022-01-05
JPWO2020044523A1 (ja) 2021-08-12
US11653815B2 (en) 2023-05-23
CN112584738B (zh) 2024-04-23
US20210192836A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
JP6173751B2 (ja) 医用画像処理装置、ｘ線診断装置及び医用画像処理プログラム
CN108324246B (zh) 医疗诊断辅助系统及方法
CN109938759B (zh) 医用图像处理装置以及x射线诊断装置
JP5408399B1 (ja) 画像生成装置
CN104703539B (zh) 图像处理装置和程序
US10600183B2 (en) Detection of blood vessels
US11741602B2 (en) Heartbeat based selection of images for cardiovascular model
EP3188650B1 (en) Method and apparatus for the continous estimation of human blood pressure using video images
CN103957806B (zh) 医用图像处理装置
JP2015173856A (ja) 画像処理装置、およびプログラム
CN117858671A (zh) 无电路心动周期确定
US8858443B2 (en) System for cardiac ultrasound image acquisition
JP2016116774A (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
CN101663691B (zh) 不同预采集医学图像的时空扭曲
JP2015211829A (ja) 動脈拍動波伝搬時間のｖｐｇおよびｅｃｇ／ｅｋｇ信号からの判定
JP6866399B2 (ja) カメラ及びパルスオキシメータを使用した高解像度血液灌流撮像
US20170186181A1 (en) Registering First Image Data of a First Stream with Second Image Data of a Second Stream
CN105616003B (zh) 一种基于径向样条插值的软组织三维视觉跟踪方法
JPWO2018193955A1 (ja) ３ｄカメラを用いた摂食嚥下機能検査システム
JP6988001B2 (ja) 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
JP5195924B2 (ja) 画像表示装置およびプログラムおよび画像表示方法
JPWO2022181154A5 (ja)
JP7106096B2 (ja) 心機能解析装置、解析方法、プログラムおよび記録媒体
JP2021194268A (ja) 血管観察システムおよび血管観察方法
CN118591345A (zh) 用于交替地显示图形表示的方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18931614

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020539972

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18931614

Country of ref document: EP

Kind code of ref document: A1