WO2019074077A1 - 眼科システム、画像信号出力方法、画像信号出力装置、プログラム、及び三次元眼底画像生成方法 - Google Patents
眼科システム、画像信号出力方法、画像信号出力装置、プログラム、及び三次元眼底画像生成方法 Download PDFInfo
- Publication number
- WO2019074077A1 WO2019074077A1 PCT/JP2018/037998 JP2018037998W WO2019074077A1 WO 2019074077 A1 WO2019074077 A1 WO 2019074077A1 JP 2018037998 W JP2018037998 W JP 2018037998W WO 2019074077 A1 WO2019074077 A1 WO 2019074077A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- eye
- dimensional
- fundus
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/1005—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring distances inside the eye, e.g. thickness of the cornea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0066—Optical coherence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/10—Eye inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Definitions
- the present disclosure relates to an ophthalmologic system, an image signal output method, an image signal output device, a program, and a three-dimensional fundus image generation method.
- Japanese Patent Application Laid-Open No. 2004-24739 creates an eyeball template that is a three-dimensional eyeball model and pastes a plurality of two-dimensional images onto the eyeball template, even when the eyeball is deformed from an accurate spherical surface.
- a technique for generating a three-dimensional image of the fundus and displaying it on a display Specifically, in Japanese Patent Application Laid-Open No. 2004-24739, the eyeball size (the depth from the corneal surface to the fundus) and the curvature of the fundus are measured, and an eyeball template is created based on these measured values. .
- a first aspect of the present disclosure is based on outputting a first image signal for displaying an eye model selection screen for selecting one of a plurality of different types of eye models, and based on the selected eye model And converting the two-dimensional fundus image of the eye to be examined to generate a three-dimensional fundus image, and outputting a second image signal for displaying a fundus image display screen including the three-dimensional fundus image. It is a signal output method.
- a first output unit configured to output a first image signal for displaying an eye model selection screen for selecting one of a plurality of different types of eye model, and a selected eye
- a generation unit configured to convert a two-dimensional fundus image based on a model to generate a three-dimensional fundus image
- a second output unit configured to output a second image signal for displaying a fundus image display screen including the three-dimensional fundus image
- An image signal output device including the
- a second image generation unit generates an eye model selection screen for selecting one of a plurality of different types of eye model, and a second image generation unit based on the selected eye model.
- a three-dimensional image generator for converting a three-dimensional fundus image to generate a three-dimensional fundus image
- a second image generator for generating a fundus image display screen including the three-dimensional fundus image, the eyeball model selection screen or the fundus image
- an image signal output unit that outputs an image signal corresponding to a display screen.
- a fourth aspect of the present disclosure is to output a first image signal to cause a computer to display an eye model selection screen for selecting one of a plurality of different types of eye model, and a selected eye Processing including converting a two-dimensional fundus image to generate a three-dimensional fundus image based on the model, and outputting a second image signal for displaying a fundus image display screen including the three-dimensional fundus image It is a program to make it run.
- a computer which generates an eye model selection screen for selecting one of a plurality of different types of eye models, and a two-dimensional based on the selected eye model. Converting a fundus image to generate a three-dimensional fundus image, generating a fundus image display screen including the three-dimensional fundus image, and outputting an image signal corresponding to the eye model selection screen or the fundus image display screen And a program for executing processing including:
- an ophthalmologic imaging apparatus and outputting a first image signal for displaying an eye model selection screen for selecting one of a plurality of different types of eye models are selected.
- Generating a three-dimensional fundus image by converting a two-dimensional fundus image obtained by being photographed by the ophthalmologic photographing apparatus based on the selected eyeball model, and displaying a fundus oculi image display screen including the three-dimensional fundus image
- an image signal output device that performs processing including: outputting a second image signal.
- an eye model of the subject's eye is generated based on an MRI apparatus, and eye shape information of the subject's eye based on three-dimensional information obtained by the MRI apparatus.
- the two-dimensional fundus image based on the plurality of biological feature points in the two-dimensional fundus image of the subject eye obtained by photographing, and the positions of the plurality of biological feature points in the eye model
- An image generating apparatus that executes processing including: aligning the eyeball model with the eyeball model; and converting the two-dimensional fundus image based on the alignment to generate a three-dimensional fundus image.
- Ophthalmic system including.
- FIG. 1 is a diagram showing an example of a schematic configuration of a fundus oculi image display system according to a first embodiment of the present disclosure.
- BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows an example of the whole structure of the ophthalmologic imaging device which concerns on 1st Embodiment. It is a figure which shows an example of schematic structure of the scanning apparatus contained in an ophthalmologic imaging device.
- BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows an example of the whole structure of the eye axis length measuring apparatus which concerns on 1st Embodiment. It is a block diagram which shows the principal part structure of the electric system of the image viewer which concerns on 1st Embodiment.
- FIG. 8A is a view in the case of a fixation position in which the visual axis of the subject's eye coincides with the axis of the measurement light from the axial length measurement device.
- FIG. 8B is a diagram in the case of a fixation position in which the LCD is positioned in the positive direction of X rather than the fixation position.
- 8C is a diagram in the case of a fixation position in which the LCD is positioned in the negative direction of X more than the fixation position. It is a figure which shows the other example of a measurement of "eyeball length" in this indication. It is a flowchart which shows an example of the program which CPU of the image viewer which concerns on 1st Embodiment runs. It is a flowchart which shows the content of the eyeball model production
- the fundus oculi image display system 100 includes an ophthalmologic imaging apparatus 110 for capturing a fundus image of an eye to be examined, an axial length measuring apparatus 120 for measuring the axial length of the subject eye, and the ophthalmologic imaging apparatus 110.
- An image management server 140 for storing received fundus image data and axial length data received from the axial length measuring device 120, and an image viewer 150 for displaying the fundus image and the axial length acquired from the image management server 140 And.
- the ophthalmologic imaging device 110, the axial length measurement device 120, the image management server 140, and the image viewer 150 are mutually connected via the network 130.
- the image viewer 150 is an example of the image signal output device of the present disclosure.
- the image management server 140 is an example of the image signal output device or the image generation device of the present disclosure.
- the ophthalmologic imaging apparatus 110 includes an apparatus main body 14 for imaging the fundus of an eye to be examined and a control apparatus 16.
- the control device 16 is configured by a computer having a CPU, a RAM, a ROM, and an input / output (I / O) port, and is connected to the network 130 via a communication interface (I / F) not shown.
- a single CPU is illustrated here, the technology of the present disclosure is not limited thereto, and a plurality of CPUs may be applied.
- shooting means that the user acquires an image indicating a subject using the ophthalmologic photographing apparatus 110, and may be referred to as “imaging”.
- the device body 14 operates under the control of the control device 16.
- the device body 14 includes an SLO unit 18, a scanning device 19, and an OCT unit 20.
- the scanning device 19 includes a common optical system 28 including a first optical scanner 22, a second optical scanner 24, a dichroic mirror 26, and a third optical scanner 29.
- the horizontal direction when the ophthalmologic imaging apparatus 110 is installed on a horizontal plane is "X direction”
- the vertical direction to the horizontal plane is “Y direction”
- the eye center O from the anterior eye of the subject eye 12 The direction toward the fundus through the eye is referred to as "Z direction”. Therefore, the direction perpendicular to both the Y direction and the Z direction is the “X direction”.
- the ophthalmologic photographing apparatus 110 has two functions as an example of main functions that can be realized by the ophthalmologic photographing apparatus 110.
- the first function is a function (hereinafter referred to as an SLO imaging system function) for operating the ophthalmic imaging apparatus 110 as a scanning laser ophthalmoscope (Scanning Laser Ophthalmoscope, hereinafter referred to as “SLO”) and performing imaging by SLO.
- SLO scanning Laser Ophthalmoscope
- the second function is a function (hereinafter referred to as an OCT imaging system function) that operates the ophthalmologic imaging apparatus 110 as an optical coherence tomography (hereinafter referred to as "OCT”) and performs imaging according to OCT.
- OCT optical coherence tomography
- the SLO imaging system function is realized by the scanning device 19 including the control device 16, the SLO unit 18 and the first optical scanner 22 in the configuration of the ophthalmologic imaging device 110.
- the SLO unit 18 includes a light source, a detection element, and the like, and is configured to image the fundus of the eye 12 to be examined.
- the ophthalmologic imaging apparatus 110 is operated as an SLO imaging system function, whereby the fundus of the eye 12 to be examined 12 (for example, the imageable area 12A) is imaged as a subject.
- SLO light light from the SLO unit 18
- scanning is performed in the X direction (horizontal direction) by the first optical scanner 22 and in the Y direction (vertical direction) by the third optical scanner 29, and a fundus image by the reflected light is acquired by the SLO unit 18.
- the SLO imaging system function is a known function, the detailed description is omitted.
- the OCT imaging system function is realized by the scanning device 19 including the control device 16, the OCT unit 20 and the second optical scanner 24.
- the OCT unit 20 includes a light source, a spectroscope, a sensor, a reference optical system, and the like, and is configured to capture a plurality of tomographic regions in the film thickness direction of the fundus. That is, the ophthalmologic imaging apparatus 110 operates as an OCT imaging system function to image a tomographic area which is an area in the film thickness direction of the fundus oculi (for example, the imaging available area 12A).
- the light from the OCT unit 20 passes through the pupil of the subject eye 12 by the scanning device 19 with respect to the image captureable area 12A by the second optical scanner 24 in the X direction
- the light is scanned in the Y direction (vertical direction) by the third optical scanner 29 and interference light is generated by causing the reflected light of the measurement light to interfere with the reference light.
- the OCT unit 20 detects each spectral component of the interference light, and the control device 16 acquires a physical quantity (for example, a tomographic image) indicating a tomographic region using the detection result.
- a physical quantity for example, a tomographic image
- the present invention is not limited to an ophthalmologic imaging apparatus including a function using scanning light. It may have an observable function.
- the present invention is applicable to an ophthalmologic imaging apparatus including a function capable of observing the fundus of the subject eye 12 by irradiating the light toward the fundus of the subject eye 12 without being limited to the irradiation of scanning light. That is, the present invention is not limited to the use of the reflected light from the subject's eye 12 when scanning the scanning light, but includes a function of simply irradiating light to observe the subject's eye 12.
- the light to the to-be-tested eye 12 includes a function of observing the subject's eye 12 using light such as fluorescence generated in the subject's eye 12. For this reason, hereinafter, as light including light reflected from the fundus and light emission from the fundus as light when observing the eye to be examined 12, it will be referred to as "light from the subject's eye 12".
- the common optical system 28 includes, in addition to the third optical scanner 29, a slit mirror 30 and an elliptical mirror 32.
- the dichroic mirror 26, the slit mirror 30, and the elliptical mirror 32 are shown in a side view end view.
- the common optical system 28 may be configured to use a plurality of lens groups instead of the slit mirror 30 and the elliptical mirror 32.
- the slit mirror 30 has an elliptical first reflection surface 30A.
- the first reflective surface 30A has a first focal point P1 and a second focal point P2.
- the elliptical mirror 32 also has an elliptical second reflection surface 32A.
- the second reflective surface 32A has a first focus P3 and a second focus P4.
- the slit mirror 30, the elliptical mirror 32, and the third optical scanner 29 are arranged such that the first focal point P3 and the second focal point P2 are at the same position in the third optical scanner 29.
- the slit mirror 30, the elliptical mirror 32, and the third optical scanner 29 are disposed such that the second focal point P4 is located at the center of the pupil of the eye 12 to be examined.
- the first optical scanner 22, the second optical scanner 24, and the slit mirror 30 are arranged such that the first focal point P 1 is located at the first optical scanner 22 and the second optical scanner 24.
- the first optical scanner 22, the second optical scanner 24, and the third optical scanner 29 are disposed at positions conjugate with the center of the pupil of the eye 12 to be examined.
- the basic configuration of the scanning device 19 is the same as the configurations disclosed in Japanese Patent Nos. 3490088 and 5330236.
- the field of view (FOV) of the fundus can be made larger than that of the prior art, and a wide range of fundus area can be observed by the prior art.
- the wide range of the fundus area will be described by distinguishing the external irradiation angle with respect to the irradiation light from the outside by the ophthalmologic imaging apparatus 110 and the internal irradiation angle as the irradiation angle inside the eye to be irradiated by this.
- the external irradiation angle is a light irradiation angle from the side of the ophthalmologic imaging apparatus 110, that is, from the outside of the eye 12 to be examined. That is, the angle at which the irradiation light travels to the pupil center point 27 of the eye 12 to be examined (that is, the pupil's face-to-face viewing center point (see also FIG. 2)) with respect to the fundus of the eye 12 is the external irradiation angle. The angle is also equal to the angle of light reflected from the fundus and exiting the eye 12 from the pupil center point 27 toward the ophthalmologic imaging device 110.
- the internal irradiation angle refers to a light irradiation angle at which the fundus of the subject's eye 12 is irradiated with the scanning light and substantially captured, with the eyeball center O of the subject's eye 12 as a reference position.
- the external irradiation angle A and the internal irradiation angle B have a correspondence relationship, but in the following description, the external irradiation angle is used as the irradiation angle corresponding to the viewing angle of the fundus since it is the explanation as the ophthalmologic imaging apparatus.
- the ophthalmologic photographing apparatus 110 picks up an image of a photographable area 12A (see also FIG. 2) which is a fundus area of the eye 12 under the external irradiation angle.
- the photographable area 12A is, for example, the largest area that can be scanned by the scanning device 19 with scanning light.
- An example of the imageable area 12A includes an area that provides a field of view of about 120 degrees at the external irradiation angle A.
- the internal irradiation angle in this case corresponds to about 160 degrees.
- the shootable area 12A can be roughly divided into a first shootable area 12A1 and a second shootable area 12A2.
- the first shootable area 12A1 is a range of the visual field in the vicinity of the visual axis CL passing through the pupil center point 27 of the eye 12 to be examined and the center O
- the second shootable area 12A2 is the one of the first shootable area 12A1.
- In the peripheral region it is the range of peripheral vision away from the visual axis CL.
- An example of the external irradiation angle corresponding to the first imageable area 12A1 is about 30 degrees (the internal irradiation angle is equivalent to about 45 degrees), and an example of the external irradiation angle corresponding to the second imageable area 12A2 is about One example is 120 degrees (corresponding to an internal irradiation angle of about 160 degrees).
- the fundus oculi image obtained by imaging the imageable region 12A of the eye 12 to be examined by the ophthalmologic imaging apparatus 110 is wider than in the related art, and is hereinafter referred to as a UWF (Ultra-Widefield: ultra-wide-angle) fundus image.
- UWF Ultra-Widefield: ultra-wide-angle
- the axial length measuring device 120 includes an optical interferometer 42, a light source 44, a light receiving device 46, an ultrasonic probe 48, a display 50, an input device 52, a communication interface (I / F) 54 and these. And a controller 40 for controlling the devices (42 to 52).
- the control device 40 is configured by a computer including a CPU, a ROM, a RAM, a secondary storage device, and the like (not shown). Although a single CPU is illustrated here, the technology of the present disclosure is not limited thereto, and a plurality of CPUs may be applied.
- the ultrasonic probe 48 has a configuration that can be gripped by the user, and is connected to the control device 40 via a cable (not shown).
- the axial length measuring device 120 has two modes for measuring the axial length which is the axial length of the subject eye 12.
- the first mode is a mode in which the axial length is measured using the light interferometer 42, the light source 44, and the light receiving device 46.
- the light interferometer 42 guides the light from the light source 44 to the eye 12, for example, and then adjusts the optical path length to cause the reflected light from the fundus and the reflected light from the cornea to interfere.
- the light interferometer 42 causes the light receiving device 46 to receive the interfered light (interference light).
- the control device 40 measures the axial length based on the interference signal output from the light receiving device 46.
- the second mode is a mode in which the axial length of the eye is measured using the ultrasonic probe 48.
- the first mode and the second mode can be set by the input from the input device 52.
- the axial length measurement device 120 transmits the axial length measured in the first mode or the second mode to the image management server 140 via the communication interface (I / F) 54 and the network 130.
- the axial length may be measured by the first mode and the second mode. In this case, the average of the axial lengths measured in both modes is transmitted to the image management server 140 as the axial length.
- the axial length measuring device 120 is known as described in Japanese Patent No. 6094 483 and Japanese Patent Laid-Open No. 2010-184048.
- an LCD Liquid Crystal Display
- the LCD displays a fixation target for fixing the line of sight of the subject's eye in a specific direction when the axial length measurement device 120 measures the axial length.
- the light from the LCD is incident on the subject's eye 12 via an optical system 58 including a lens and a mirror, whereby a fixation target is projected on the fundus of the subject's eye 12.
- the definition of the direction of the eye 12 to be examined and the like are the same as in the case of the ophthalmologic imaging apparatus 110, and thus the description thereof is omitted.
- the axial length refers to the distance from the anterior surface of the cornea of the subject eye 12 to the surface of the retina on a straight line passing through the pupil center point 27.
- the optical axial length measurement is performed in the axial length measurement device 120, when the measurement light from the light source 44 is incident on the eye 12, the position on the front of the cornea where the measurement light is incident And, depending on the angle of incidence, axial lengths based on different measurement positions of the fundus are measured (see FIG. 7).
- the image viewer 150 includes a computer main body 152 configured to include a CPU 162, a RAM 166, a ROM 164, and an input / output (I / O) port 168.
- a single CPU is illustrated here, the technology of the present disclosure is not limited thereto, and a plurality of CPUs may be applied.
- a secondary storage device 154, a display 156, a mouse 155M, a keyboard 155K, and a communication interface (I / F) 158 are connected to an input / output (I / O) port 168 of the computer main body 152.
- An input / output (I / O) port 168 of the computer main body 152 is connected to the network 130 via a communication interface (I / F) 158, and can communicate with the ophthalmologic imaging apparatus 110 and the image management server 140.
- the ROM 164 or the secondary storage unit 154 stores a three-dimensional fundus image generation program described later.
- the three-dimensional fundus oculi image generation program is an example of a program of the technology of the present disclosure.
- the three-dimensional fundus oculi image generation program includes a data acquisition function, a model generation function, an image generation function, and an image transmission function.
- the CPU 162 of the image viewer 150 executes the three-dimensional fundus oculi image generation program having these functions, whereby the CPU 162 of the image viewer 150 executes a data acquisition unit 172, a model generation unit 174, an image generation unit 176, and an image transmission unit.
- the model generation unit 174 is an example of the first output unit or the first image generation unit of the present disclosure.
- the image generation unit 176 is an example of a generation unit, a second output unit, or a second image generation unit of the present disclosure.
- the image transmission unit 179 is an example of the image signal output unit of the present disclosure.
- the configuration of the electrical system of the image management server 140 is the same as the configuration of the electrical system of the image viewer 150, so the description thereof will be omitted.
- the system configuration of the first embodiment has been described above as being composed of four independent hardware, the system configuration is not limited to this.
- the ophthalmologic imaging device 110 and the axial length measuring device 120 may be integrated.
- the axial length of the subject eye 12 is measured from the corneal tomographic image and the retinal tomographic image obtained by OCT imaging of the ophthalmologic imaging device 110.
- the ophthalmologic imaging apparatus 110, the axial length measurement apparatus 120, and the image management server 140 may be integrated.
- the ophthalmologic imaging apparatus 110 captures a two-dimensional fundus oculi image of the subject eye 12 to create fundus oculi image data, and the fundus oculi image data as an image management server via the network 130 Send to 140
- the axial length measurement device 120 measures axial lengths of the subject eye 12 to create axial length data, and transmits the axial length data to the image management server 140 via the network 130.
- the image viewer 150 receives fundus image data and axial length data of the subject's eye 12 from the image management server 140, and generates a three-dimensional fundus image of the subject's eye 12.
- processing of generation and recording of a three-dimensional fundus image (1) photographing of a two-dimensional fundus image, (2) measurement of axial length, and (3) processing executed by the image viewer 150 Divided into
- the two-dimensional fundus oculi image in the first embodiment is described as being a two-dimensional image of a certain area in the photographable area 12A of the subject eye 12 photographed by the SLO photographing system function of the ophthalmologic photographing apparatus 110 Do.
- FIG. 6 schematically shows an example of a two-dimensional image of the fundus of the eye 12 to be examined.
- the image in FIG. 6 is obtained by capturing an image of a certain area in the image captureable area 12A of the eye 12 by the SLO imaging system function of the ophthalmologic imaging apparatus 110.
- the ophthalmologic imaging apparatus 110 can capture a UWF fundus image, and by using the UWF fundus image, a blood vessel V, optic papilla ONH, and macular M of the retina, which are examples of biological feature points of the eye 12 to be examined. And the central fovea etc. of the macula M can be determined.
- the SLO photographing apparatus 110 When the ophthalmologic photographing apparatus 110 executing the SLO photographing system function acquires a two-dimensional image of a certain area in the photographable area 12A of the eye 12 to be examined, the SLO light can be photographed in the photographable area 12A as described above.
- scanning is performed in the X direction (horizontal direction) by the first optical scanner 22 and in the Y direction (vertical direction) by the third optical scanner 29. Then, in scanning in these two directions, the points in the image captureable area 12A correspond to the two angle pairs ( ⁇ X , ⁇ Y ).
- the horizontal angle formed by SLO light incident on eye 12 toward pupil center 27 and the reference axis is ⁇ X.
- the vertical angle is phi Y.
- the ophthalmologic photographing apparatus 110 stores values of ( ⁇ X , ⁇ Y ) when the SLO light is scanned in the horizontal direction and the vertical direction.
- the values of ( ⁇ X , ⁇ Y ) are stored in the RAM of the controller 16 as an example.
- the stored ( ⁇ x , ⁇ y ) values are used in the positioning process described below.
- the control device 16 of the ophthalmologic imaging apparatus 110 transmits data of the captured SLO fundus image to the image management server 140 via the network 130.
- the control device (not shown) of the image management server 140 associates the received data of the SLO fundus image with the ID of the subject to be examined 12 and records it in a secondary storage device (not shown).
- the value of ( ⁇ X , ⁇ Y ) corresponding to each pixel in the SLO fundus image is linked with the data of the fundus image, transmitted from the ophthalmologic imaging apparatus 110 to the image management server 140, and recorded.
- the fundus image data is associated with the value of ( ⁇ X , ⁇ Y ) corresponding to each pixel in the fundus image.
- the two-dimensional fundus image has been described above as an SLO image.
- the two-dimensional fundus image is not limited to the SLO image, and is a two-dimensional flat image (for example, a tomographic image of the retina and the like created using OCT volume data) captured by the OCT imaging system function of the ophthalmologic imaging apparatus 110 And / or an enface image).
- the axial length is the distance from the anterior surface of the cornea of the eye 12 to the surface of the retina, which passes through the pupil center point 27.
- the eye axis length measuring device 120 will be described as operating in the first mode in which the optical eye axis length measurement is performed.
- FIG. 7 shows an example of the eye axial length in the first embodiment.
- FIG. 7 shows, for the eye 12 to be examined, an axis of measurement light from the axial length measuring device 120, an incident point P1 which is the intersection of the measurement light and the front of the cornea, and a reflection point which is the intersection of the retinal surface of the measurement light. P2 is shown.
- the axial length D is defined as the distance between the incident point P1 and the reflection point P2.
- the axial length in the first embodiment is an amount determined by the position of the incident point P1 and the incident angle of measurement light at the incident point P1 on the retina surface, and in the present disclosure, shape information representing the shape of the eye 12 to be examined. It is one.
- the shape of the subject eye 12 can be estimated by measuring the plurality of eye axis lengths by changing the position of the incident point P1 and the incident angle of the measurement light at the incident point P1.
- the shape of the eye 12 to be examined can be approximated by any of five predetermined eyeball models (see FIG. 12). Therefore, it is considered sufficient to measure the axial length by appropriately setting at least three sets of incident points P1 and incident angles.
- FIG. 8 shows an example of measurement of three axial lengths of the eye 12 using three sets of incident points P and incident angles.
- FIG. 8 shows a cross-sectional view of the subject eye 12 cut along the XZ plane.
- the position of the origin that is, the horizontal plane for measuring the axial length
- FIG. 8 shows an LCD 60 for projecting a fixation target onto the fundus of the eye 12 to be examined.
- the light from the LCD 60 is incident on the subject's eye 12, whereby a fixation target is projected onto the fundus of the subject's eye 12.
- the illustration of the LCD 60 is omitted in FIG.
- the LCD 60 is configured to be capable of lighting a plurality of fixation positions in the X direction on the horizontal plane (XZ plane) shown in FIGS. 8A to 8C.
- the LCD 60 turns on a fixation position 62 which is a fixation position where the visual axis of the eye 12 to be examined 12 coincides with the axis L of the measurement light from the axial length measurement device 120.
- the axial length measured by the axial length measuring device 120 is taken as the axial length D1.
- LCD 60 is by turning on the fixation position 64 located in the positive direction of X than fixation position 62, the visual axis of the eye 12 is at an axial L and the angle theta 1 of the measuring light .
- FIG. 8C by LCD60 is lighting the fixation position 66 located in the negative direction of X from fixation position 62, the visual axis of the eye 12 forms a shaft L and the angle - [theta] 2 of the measuring light ing.
- the axial lengths measured by the axial length measuring device 120 are set as axial lengths D2 and D3, respectively.
- the direction facing the positive direction of the X axis is taken as the positive direction of the angle ⁇ .
- the fixation position at which the LCD 60 is turned on by changing the fixation position at which the LCD 60 is turned on, the position of the incident point P1 and the incident angle ⁇ of the measurement light at the incident point P1 on the retina surface are changed on the XZ plane.
- Three axial lengths D1, D2, D3 based on the measurement position are obtained.
- the axial lengths D1, D2, and D3 are examples of eye shape information according to the present disclosure.
- the three eye axial lengths are measured on the same horizontal plane by changing the fixation position on the LCD on the XZ plane (horizontal plane), but the plural eye axial lengths in the first embodiment
- the measuring method is not limited to this.
- the fixation position at which the LCD 60 is turned on may be changed on the Y axis (that is, the vertical direction) to measure a plurality of eye axial lengths. It is only necessary to be able to measure an axial length which can be an aid for estimating which of the five eyeball models described later corresponds to the eye 12 to be examined.
- the control device 40 of the axial length measurement device 120 transmits axial length data related to the three measured axial lengths to the image management server 140 via the network 130.
- the axial length data includes the value of the angle ⁇ and the ID of the subject in addition to the values of the three axial lengths D1, D2, and D3.
- the control device (not shown) of the image management server 140 associates the received axial length data with the ID of the subject of the subject's eye 12 and records the data in a secondary storage device (not shown).
- the measuring method of axial length is not restricted to what utilizes OCT.
- the eye axial length measuring device 120 operates in the second mode using ultrasonic signals, it is possible to measure the axial length of the subject eye 12 using the ultrasonic signals.
- the axial length of the eye 12 to be examined can be measured by using the OCT and the ultrasonic wave signal in combination.
- a three-dimensional eye model is generated as a result determined by the user with the assistance of the fundus image display system 100.
- the image viewer 150 simultaneously displays the axial length measurement result of the axial length measurement device 120 received from the image management server 140 and a plurality of eye model candidates on the display 156 and is currently observed. The user is prompted to select one eye model candidate suitable for the subject eye 12.
- a three-dimensional eye model is determined by the user examining the display contents of the display 156 and selecting an eye model candidate that seems appropriate.
- the CPU 162 of the image viewer 150 performs image processing to paste the two-dimensional fundus image photographed by the ophthalmologic imaging device 110 on the three-dimensional eyeball model, whereby a three-dimensional fundus image is generated.
- the three-dimensional fundus image is, for example, generated by performing image processing of attaching a two-dimensional fundus image taken by the SLO unit of the ophthalmologic imaging apparatus 110 to the surface of the three-dimensional eye model, I say an image.
- the three-dimensional fundus image is not limited to this.
- the OCT imaging system function of the ophthalmologic imaging apparatus 110 may be an image expressing the three-dimensional structure of the retina using OCT volume data obtained for a certain region of the fundus of the eye 12 to be examined.
- the three-dimensional structure of the retina obtained using OCT volume data can be set as an eye model.
- FIGS. 10, 11, and 15 are flowcharts showing an example of a processing program for displaying a three-dimensional fundus image in the first embodiment. 10, 11 and 15 show an example of a processing program executed by the image viewer 150.
- the processing program executed by the image viewer 150 is specifically executed by the CPU 162 of the image viewer 150 functioning as the data acquisition unit 172, the model generation unit 174, the image generation unit 176, and the image transmission unit 179. Further, communication between the image viewer 150 and the image management server 140 is performed via the network 130.
- FIG. 10 is a flowchart showing the entire processing process.
- the entire three-dimensional fundus image display processing is divided into three parts of (A) determination of eyeball model, (B) position determination, and (C) creation and display of three-dimensional fundus image.
- ⁇ A: Generation of eyeball model> In steps S1002 and S1004 of FIG. 10, the data acquisition unit 172 executes the process. Further, in step S1006 of FIG. 10, the model generation unit 174 executes the process.
- step S1002 the data acquiring unit 172 uses two-dimensional fundus oculi image data and axial length data of the eye 12 to be diagnosed by the ophthalmologist using the ID of the subject input to the image viewer 150 and the like. Sends a request for acquiring the image to the image management server 140.
- the request includes the ID of the subject related to the subject eye 12.
- the control unit of the image management server 140 specifies data corresponding to the subject's eye 12 of the subject based on the ID. Then, the control unit of the image management server 140 reads out the two-dimensional fundus oculi image data and eye axis length data corresponding to the ID, which are recorded in the secondary storage device, and transmits them to the image viewer 150.
- the data acquisition unit 172 determines in step S1004 that
- the received two-dimensional fundus image data and axial length data are recorded in the secondary storage unit 154.
- values of ( ⁇ X , ⁇ Y ) corresponding to each pixel in the two-dimensional fundus image are associated with the two-dimensional fundus image data.
- step S1006 the model generation unit 174 executes the process.
- FIG. 11 is a subroutine showing an example of a processing program executed by the CPU 162 of the image viewer 150 as the model generation unit 174.
- step S1102 the model generation unit 174 reads out the axial length data from the secondary storage device 154, and sets the three axial lengths D1, D2, and D3 of the subject's eye 12 to be examined on the display screen of the display 156. indicate.
- the model generation unit 174 displays five eye model candidates on the display screen of the display 156 together with the three eye axial lengths D1, D2, and D3 (see FIGS. 13 and 14).
- the first is a nasal projection type in which the retina is asymmetrical with respect to the central axis parallel to the Z axis when observed in a cross-sectional view on the XZ plane, and the retina protrudes in the direction of the nose It is also called a type).
- the ear-side projection type in which the retina protrudes in the direction of the ear asymmetry with respect to the central axis parallel to the Z axis Say).
- the third is a spindle type (also referred to as a strawberry type) that is symmetrical about a central axis parallel to the Z axis when observed in a cross-sectional view on the XZ plane, and the periphery of the central fovea of the retina is sharp .
- the fourth is a barrel shape that is symmetrical with respect to a central axis parallel to the Z-axis when observed in a cross-sectional view on the XZ plane, and the periphery of the central fovea of the retina protrudes in a circle.
- FIG. 12 is a view of the eyeball of the left eye of the subject observed from the positive direction of the Y axis (that is, vertically upward), where A is normal type, B is nose side projection type, C is ear side projection type, D is Spindle type, E is barrel type.
- A normal type
- B nose side projection type
- C ear side projection type
- D Spindle type
- E barrel type.
- the subject eye 12 will be described as the eyeball of the subject's left eye.
- FIG. 13 shows an example of the selection image 70 to be displayed on the display screen of the display 156 by the model generation unit 174 in step S1102.
- the selection image 70 of FIG. 13 includes an eye axis length display area 72 and an eye model candidate display area 74.
- the selection image 70 is an example of the eyeball model selection screen of the present disclosure.
- the signal output by the model generation unit 174 to display the selected image 70 on the display screen of the display 156 is an example of the first image signal of the present disclosure.
- the eye model candidate display area 74 of FIG. 13 displays the five eye types shown in FIG.
- the eye model candidate display area 74 further displays a selection frame 76.
- the selection frame 76 is for selecting and highlighting one of the eye types in the eye model candidate display area 74.
- the user moves the selection frame 76 up and down on the display screen of the display 156 by operating the mouse 155 M or the keyboard 155 K of the image viewer 150, and from the five eye model candidates displayed in the eye model candidate display area 74 One can be selected.
- eye model candidate display area 74 five figures indicating five types of eye models may be displayed, or a character string indicating a name (eye model name) of five types of eye models (normal type, nose side protrusion)
- a display of a mold, an ear side projection, a spindle and a barrel, or a display in which a graphic and a character string are combined may be performed.
- the eye axis length display area 72 of FIG. 13 is a contour of the eye model candidate highlighted by the selection frame 76 in the eye model candidate display area 74, and is measured by the eye axis length measuring device 120 within the outline.
- An eyeball image in which three eye axial lengths D1, D2 and D3 are arranged is displayed.
- the model generation unit 174 determines the size of the contour of the eyeball image displayed in the eye axis length display area 72 based on the size of the eye axis length D1.
- the axial length D1 passes through the eye center O, and the end points are disposed at a portion corresponding to the cornea and a position corresponding to the retina (that is, the axial length D1 falls within the contour).
- the model generation unit 174 uses the angle ⁇ included in the eye axial length data stored in the secondary storage device 154 to make the eyeball image such that the angle formed with D1 is ⁇ and ⁇ , respectively.
- the eye axial lengths D2 and D3 are arranged in the contour of. As an example, starting points of eye axial lengths D2 and D3 are set at locations corresponding to the cornea of the contour, and eye axial lengths D2 and D3 are arranged.
- the spindle model D is highlighted by the selection frame 76 in the eye model candidate display area 74. Then, in the eye axis length display area 72, the outline of the spindle model D whose size is determined based on the size of the eye axis length D1, and the three eye axis lengths D1, D2, D3 in the outline are displayed It is done.
- the retina side end point of the axial length D2 protrudes from a portion corresponding to the retina of the outline of the eyeball image.
- the user who has observed the eye axis length display area 72 shown in FIG. 13 can estimate that the eye 12 has the retina protruding in the direction of the nose, and the spindle model D is not suitable.
- the user moves the selection frame 76 up and down on the eye model candidate display area 74 by operating the mouse 155 M or the keyboard 155 K of the image viewer 150 to highlight other eye model candidates.
- the nose-side protruding model B is highlighted by the selection frame 76 in the eye model candidate display area 74.
- the outline of the nose side protruding model B whose size is determined based on the size of the eye axis length D1, and three eye axis lengths D1, D2, and D3 in the outline. And are displayed.
- the eye axis length D2 does not protrude from the inside of the outline of the eyeball image, and is appropriately contained within the outline.
- the user who observes the eye axis length display area 72 shown in FIG. 14 is considered to be suitable as an eye model of the eye 12 to be examined because the eye axis lengths D2 and D3 are properly contained in the outline. It can be estimated.
- the user who is viewing the display screen of the display 156 of the image viewer 150 operates the mouse 155M or the keyboard 155K to vertically move the selection frame 76 on the eye model candidate display area 74
- the user who is viewing the display screen of the display 156 of the image viewer 150 operates the mouse 155M or the keyboard 155K to vertically move the selection frame 76 on the eye model candidate display area 74
- step S1102 the model generation unit 174 reads out the eye axis length data from the secondary storage unit 154, and as shown in FIGS. 13 and 14, the eye axis length display area 72 and the eye model candidate display area 74 It is displayed on the display screen of the display 156 of 150.
- the normal model A is selected at the start of the subroutine. That is, at the start time of the subroutine, the normal model A is highlighted by the selection frame 76 in the eyeball model candidate display area 74 in step S1102, and the size is determined based on the size of the eye axis length D1 in the eye axis length display area 72.
- the contour of the normal type model A for which is determined and the three eye axis lengths D1, D2, and D3 in the contour are displayed.
- the user who has observed the axial length display area 72 operates the mouse 155M or the keyboard 155K to input a selection instruction or a determination instruction.
- the selection instruction is an instruction to select another eye model candidate instead of the eye model candidate currently selected (that is, highlighted by the selection frame 76 in the eye model candidate display area 74). For example, it is an instruction to select the ear side protruding model C instead of the normal model A.
- the determination instruction is an instruction to determine the currently selected eye model candidate as an eye model suitable for the subject eye 12.
- the user operates the mouse 155M to move the cursor displayed on the display screen of the display 156 to the position of the eye model candidate to be selected, and inputs the selection instruction by left clicking the mouse 155M. it can. Also, the user can input a determination instruction, for example, by pressing the RETURN key of the keyboard 155K.
- step S1104 the model generation unit 174 acquires the instruction input by the user.
- step S1106 the model generation unit 174 determines whether the acquired instruction is a determination instruction. If the determination in step S1106 is a negative determination, the process of FIG. 11 proceeds to step S1110.
- step S1100 the model generation unit 174 sets the eye model candidate specified in the selection instruction as one to be highlighted by the selection frame 76. Then, the process of FIG. 11 returns to S1102, and the axial length display area 72 and the eye model candidate display area 74 are displayed again on the display screen of the display 156 of the image viewer 150. In this case, the selected eye model candidate is changed from the normal model A selected at the start of the subroutine. For example, when the spindle model D is specified in the selection instruction, the spindle model D is highlighted in the eye model candidate display area 74, and the outline of the spindle model D and the outline in the eye axis length display area 72. The three eye axis lengths D1, D2 and D3 are displayed.
- step S1106 the process of FIG. 11 proceeds to step S1108.
- step S1108 the model generation unit 174 records one eye model candidate selected by the user as a three-dimensional eye model of the eye 12 to the secondary storage unit 154 of the image viewer 150. Then, the model generation unit 174 ends the eyeball model generation subroutine (RETURN in FIG. 11).
- the normal model A is highlighted by the selection frame 76 in the eyeball model candidate display area 74 in the eyeball model candidate display area 74 in step S 1102.
- the eyeball model candidate whose outline is displayed by the above has been described as being selected as one of (for example, normal model A) for convenience.
- the model generation unit 174 predicts the eye model candidate corresponding to the contour that seems most appropriate based on the values of the eye axial lengths D1, D2, D3 and the angle ⁇ included in the eye axial length data, and performs prediction.
- the candidate eyeball model may be set at the start of the subroutine of FIG. In this case, the model generation unit 174 may perform prediction using machine learning.
- model generation unit 174 may predict an appropriate eye model candidate using personal information of the subject included in the axial length data, such as gender, age, race and / or medical history.
- the personal information of the subject such as gender, age, race and / or medical history is an example of patient information of the present disclosure.
- the determination of the eye model by the user is assisted.
- the shape information of the subject's eye is not limited to a plurality of axial lengths. An amount indicating the shape of the subject's eye 12 that can be measured by the axial length measuring device 120, which can help the user decide which of the five eye model candidates is suitable as the eye model of the subject's eye 12 I hope there is.
- step S1008 and subsequent steps is executed by the CPU 162 of the image viewer 150 functioning as the image generation unit 176 and the image transmission unit 179.
- step S1008 of FIG. 10 the image generation unit 176 performs position determination.
- position determination refers to determining a correspondence between a plurality of points on a two-dimensional fundus image and a position on a three-dimensional eye model.
- FIG. 15 is a subroutine showing an example of a processing program executed by the CPU 162 of the image viewer 150 as the image generation unit 176.
- step S1502 the image generation unit 176 reads out the two-dimensional fundus oculi image data recorded in the secondary storage device 154 in step S1004 of FIG. Then, the image generation unit 176 designates three pixels A1, A2, and A3 in the two-dimensional fundus image, as an example.
- the number of pixels individually designated is not limited to three, and may be an appropriate number for performing position determination.
- step S1504 the image generation unit 176 acquires, from the secondary storage device 154, sets of three angles ( ⁇ X , ⁇ Y ) respectively corresponding to the three designated pixels A1, A2, and A3.
- step S1506 the image generation unit 176 reads the three-dimensional eye model recorded in the secondary storage device 154 in step S1108 of FIG. Then, the image generation unit 176 calculates three positions B1, B2, and B3 corresponding to three sets of angles ( ⁇ X , ⁇ Y ) on the retina surface of the three-dimensional eyeball model.
- B1, B2 and B3 are incident on the retina plane of the three-dimensional eye model, assuming that light is incident from the angle ( ⁇ X , ⁇ Y ) toward the pupil center point 27 of the three-dimensional eye model It represents the position where light is reflected.
- step S1508 the image generation unit 176 calculates position information based on the pixels A1, A2, and A3 in the two-dimensional fundus image and the positions B1, B2, and B3 on the retinal surface of the three-dimensional eye model.
- the pixels A1, A2 and A3 in the two-dimensional fundus image correspond to three points of the imageable area 12A of the eye 12 to be examined, the pixels A1, A2 and A3 correspond to the positions B1, B2 and B3, respectively.
- the position information of the first embodiment includes information sufficient for performing the above alignment.
- step S1510 the image generation unit 176 records the generated position information in the secondary storage device 154 of the image viewer 150. Then, the image generation unit 176 ends the position determination subroutine (RETURN in FIG. 15).
- step S1008 in FIG. 10 When step S1008 in FIG. 10 is completed, the secondary storage unit 154 of the image viewer 150, for the eye 12 to be examined, the two-dimensional fundus image data acquired in The position information generated in step S1008 is recorded.
- step S1010 the image generation unit 176 reads two-dimensional fundus image data, a three-dimensional eyeball model, and position information from the secondary storage device 154 of the image viewer 150, performs image processing, and performs three-dimensional processing of the eye 12 to be examined.
- a fundus image is generated and recorded in the secondary storage unit 154. Specifically, after determining the positions of a plurality of points on the two-dimensional fundus image on the three-dimensional eye model based on the position information, image processing is performed to paste the two-dimensional fundus image on the three-dimensional eye model Thus, a three-dimensional fundus image of the subject eye 12 is generated. Also, the anterior segment area and the eyeball area that can not be covered by the two-dimensional image may be patched with a predetermined image.
- step S1012 the image generation unit 176 outputs an image signal for displaying a fundus oculi image display screen 80 including a three-dimensional fundus oculi image on the display screen of the display 156 of the image viewer 150.
- the display 156 displays the fundus oculi image display screen 80 based on the image signal output from the CPU 162.
- the fundus oculi image display screen 80 may simultaneously display a two-dimensional fundus oculi image.
- the fundus oculi image display screen 80 of FIG. 16 is a two-dimensional image display including a subject information display area 82, a right eye / left eye switching button 84, a two-dimensional fundus image display area 86A and a first tool button 86B.
- a region 86 and a three-dimensional image display region 88 including a three-dimensional fundus image display region 88A and a second tool button 88B are included.
- the subject information display area 82 displays information identifying the subject, including the ID of the subject. This information includes, by way of example, the date of birth, name, sex, disease name, and the comment of the ophthalmologist as an example of the user.
- the switching button 84 is for switching the right eye / left eye of the subject with respect to the subject eye 12 related to the display of the fundus oculi image display screen 80.
- the subject's eye 12 is described as the left eye of the subject, and thus further description of the switching button 84 is omitted.
- the two-dimensional fundus oculi image display area 86A a two-dimensional fundus oculi image of the eye 12 photographed by the ophthalmologic imaging apparatus 110 is displayed based on the two-dimensional fundus oculi image data recorded in the secondary storage device 154 of the image viewer 150. Be done.
- the first tool button 86B is for performing display size change, color adjustment, and the like of the two-dimensional fundus oculi image display area 86A.
- the three-dimensional fundus oculi image display area 88A In the three-dimensional fundus oculi image display area 88A, the three-dimensional fundus oculi image of the subject eye 12 generated in step S1010, which is recorded in the secondary storage device 154 of the image viewer 150, is displayed.
- the second tool button 88B is for performing display size change, color adjustment, and the like of the three-dimensional fundus oculi image display area 88A.
- the two-dimensional fundus oculi image display area 86A and the three-dimensional fundus oculi image display area 88A in FIG. 16 correspond to the two-dimensional fundus oculi image of the eye 12 to be examined taken by the ophthalmologic imaging apparatus 110; And a three-dimensional fundus image in which the three-dimensional eyeball model is attached to the three-dimensional eyeball model.
- the ophthalmologist who is the user can compare and observe the two images by looking at each display area on the display screen of the display 156 of the image viewer 150 in step S1012. Then, the ophthalmologist who is the user can input the observed result of the shop diagnosis in the comment column of the subject information display area 82. For example, the user may input in the comment column the disease name and / or symptoms, etc. of the subject eye 12 estimated from the observation result of the fundus image.
- step S1014 the image transmission unit 179 associates the data of the three-dimensional fundus image of the subject's eye 12 generated in step S1010 with the information for identifying the subject displayed in the subject information display area, It is sent to the image management server 140.
- the processing program executed by the CPU 162 of the image viewer 150 shown in FIG. 10 ends (END in FIG. 10).
- control unit of the image management server 140 When data is received from the image viewer 150, the control unit of the image management server 140 records the received data in the secondary storage unit of the image management server 140.
- FIG. 17 is a sequence diagram showing exchange of information between the ophthalmologic imaging apparatus 110, the axial length measurement apparatus 120, the image management server 140, and the image viewer 150 in the first embodiment of the present disclosure described above. Each step shown in FIG. 17 corresponds to each step in FIG.
- the eye length of an eye to be examined is measured, the eye length is appropriately combined with a predetermined eye model candidate, effective display is performed, and the user is prompted to make a selection.
- Three-dimensional eyeball model suitable for Furthermore, the generated three-dimensional eyeball model can be used to generate and display a three-dimensional fundus image.
- the fundus oculi image display screen 80 may be provided with an OCT image display area for displaying an OCT tomographic image or an OCT three-dimensional image obtained by the OCT unit of the ophthalmologic imaging apparatus 110.
- the fundus oculi image display system 100 according to the first embodiment can be used for follow-up observation of a specific part of the fundus.
- the fundus oculi image display system 100 according to the first embodiment can be used for follow-up observation of a specific part of the fundus.
- the ophthalmologic photographing apparatus 110 photographs a specific part of the eye 12 to be examined a plurality of times at predetermined intervals, and creates a plurality of two-dimensional fundus images.
- the plural times is twice.
- the entire process according to the first embodiment is performed on the subject's eye 12 of the subject (first process). After a predetermined period (for example, three months) has elapsed, the entire process according to the first embodiment is executed again for the same eye to be examined 12 (second process). In this case, each process itself is the same as that of the first embodiment. However, it should be noted that the site of the fundus imaged by the ophthalmologic imaging apparatus 110 and recorded as fundus image data in the image management server is the same site in the first and second times.
- the eyeball model determined in step S1006 of FIG. 10 in the first process is set. This corresponds to setting the eyeball model used in the first process as a first candidate for the eyeball model in the second process.
- the nose-side protruding model B is determined as the eyeball model of the eye 12 to be examined.
- the eyeball model generation subroutine of the second process is started, the following display is performed on the display screen of the display 156 of the image viewer 150 in step S1102.
- the nose-side protruding model B (that is, the model used in the first process) is highlighted by the selection frame 76 among the five eye model candidates.
- the eye axis length display area 72 the outline of the nose side protruding model B and the three eye axis lengths D1, D2, and D3 in the outline are displayed.
- step S1108 of FIG. 11 in the second process it is assumed that a model candidate different from the model referred to in the first process (the nose-side protruding model B in the above example) is recorded as an eye model.
- a change in eye shape may be evaluated by MRI using an MRI apparatus (not shown), and the result may be recorded in the secondary storage device 154 of the image viewer 150.
- the CPU 162 of the image viewer 150 changes the area of the affected area between the three-dimensional fundus image obtained in the second process and the three-dimensional fundus image obtained in the first process. May be calculated and recorded in the secondary storage unit 154.
- step S1014 in FIG. 10 in the second process change information as evaluation results of changes in eye shape and / or data indicating changes in the area of a lesion site is obtained.
- the image transmission unit 179 adds change information to information specifying the subject, and then links it with the data of the three-dimensional fundus image of the eye 12 to be examined. It may be sent to the management server 140. Then, the processing program executed by the CPU 162 of the image viewer 150 ends. (END in FIG. 10 in the second processing).
- FIG. 17 is a sequence diagram showing exchange of information between the ophthalmologic imaging apparatus 110, the axial length measuring apparatus 120, the image management server 140, and the image viewer 150 in the modification of the first embodiment of the present disclosure described above. Indicates
- step S1012 of FIG. 10 in the second processing the image generation unit 176 replaces the fundus oculi image display screen 80 shown in FIG. 16 with the fundus image comparison display screen 90 shown in FIG.
- the image signal may be output to be displayed on the display screen of the display 156 of 150.
- the fundus oculi image comparison display screen 90 of FIG. 19 includes a subject information display area 82, a past two-dimensional fundus image display area 96A, a past three-dimensional fundus image display area 96B, and a new two-dimensional fundus image display area 98A. And a new three-dimensional fundus oculi image display area 98B.
- a new two-dimensional fundus image display area 96A and the past three-dimensional fundus image display area 96B a two-dimensional fundus image and a three-dimensional fundus image according to the first process are displayed.
- a two-dimensional fundus image and a three-dimensional fundus image according to the second process are displayed.
- the fundus oculi image comparison display screen 90 is equivalent to the first tool button 86B and the second tool button 88B shown in FIG. You may include the tool button for performing etc.
- the eye model generated in the first process is the normal model A
- the eye model generated in the second process is the spindle model D.
- the eyeball shape of the eye 12 to be examined changes during the period between the first and second times, and it is estimated that some disease has occurred in the eye 12 to be examined.
- follow-up may be possible using two or more fundus images taken at the time of the patient's hospital visit.
- two or more display areas for displaying the past two-dimensional / three-dimensional fundus image and one display area for displaying the newly obtained two-dimensional / three-dimensional fundus image are displayed on the fundus image comparison display screen 90. It may be provided in
- the past three-dimensional fundus oculi image display area 96B and the new three-dimensional fundus oculi image display area 98B may not be display areas having the same size, but may be display areas having different sizes. Further, the present invention is not limited to the above example, and various display screen specifications can be taken within the scope of design.
- an OCT image display area for displaying an OCT tomographic image or an OCT three-dimensional image obtained by the OCT unit of the ophthalmologic imaging apparatus 110 may be provided on the fundus oculi image comparison display screen 90.
- the follow-up observation of the eye to be examined can be effectively performed.
- the configuration of a fundus oculi image display system 200 according to the second embodiment will be described with reference to FIG.
- the fundus oculi image display system 200 includes an MRI apparatus 220 instead of the axial length measurement apparatus 120. Further, the fundus oculi image display system 200 includes an image viewer 250 instead of the image viewer 150 of the first embodiment.
- the image viewer 250 includes a CPU 262 in place of the CPU 162. Although a single CPU is illustrated here, the technology of the present disclosure is not limited thereto, and a plurality of CPUs may be applied.
- the image viewer 250 is an example of the three-dimensional fundus oculi image generation device of the present disclosure.
- the fundus oculi image display system 200 performs three-dimensional MRI imaging with the MRI apparatus 220 for the eye 12 in place of the axial length measurement by the axial length measurement device 120.
- MRI imaging The fundus oculi image display system 200 performs three-dimensional MRI imaging with the MRI apparatus 220 for the eye 12 in place of the axial length measurement by the axial length measurement device 120.
- a control device (not shown) of the MRI apparatus 220 transmits, to the image management server 140, the MRI shape data and the ID of the subject related to the shape of the subject's eye 12 acquired by three-dimensional MRI imaging via the network 130.
- the control device (not shown) of the image management server 140 associates the received MRI shape data with the ID of the subject of the subject's eye 12 and records the data in a secondary storage device (not shown).
- the three-dimensional eyeball model is determined by the CPU 262 of the image viewer 250 functioning as the model generation unit 274 based on the MRI shape data related to the shape of the subject eye 12 acquired by the MRI apparatus 220. Then, the CPU 262 of the image viewer 250 pastes the two-dimensional fundus image photographed by the ophthalmologic photographing apparatus 110 on the three-dimensional eyeball model to generate a three-dimensional fundus image.
- FIGS. 21 and 22 are flowcharts showing an example of a processing program for displaying a three-dimensional fundus image in the second embodiment.
- 21 and 22 show an example of a processing program executed by the image viewer 250.
- the processing program executed by the image viewer 250 is specifically executed by the CPU 262 of the image viewer 250 functioning as the data acquisition unit 272, the model generation unit 274, the image generation unit 276, and the image transmission unit 279.
- FIG. 21 is a flowchart showing the entire processing process.
- ⁇ A: Generation of eyeball model> In steps S2102 and S2104 of FIG. 21, the data acquisition unit 272 executes the process. In step S2106 of FIG. 21, the model generation unit 274 executes the process.
- Steps S2102 and S2104 are the same as the steps S1002 and S1004 in FIG. 10 of the first embodiment, except that the axial length data in the data to be transmitted and received is replaced with the MRI shape data. Therefore, detailed explanation is omitted.
- step S2106 the model generation unit 274 executes the process.
- step S2106 the model generation unit 274 generates a three-dimensional eye model of the subject eye 12 from the MRI shape data of the subject eye 12 using a known three-dimensional MRI technique, and sends it to the secondary storage unit 154 of the image viewer 250. Record. Therefore, in the eye model generation of the second embodiment, there are no processes of assumption of five models based on medical knowledge in the first embodiment and user selection / determination.
- step S2108 are executed by the CPU 262 of the image viewer 250 functioning as the image generation unit 276 and the image transmission unit 279.
- step S2108 of FIG. 21 the image generation unit 276 performs position determination.
- FIG. 22 is a subroutine showing an example of a processing program executed by the CPU 262 of the image viewer 250 as the image generation unit 276.
- the position determination in the second embodiment is performed using the positions of two biological feature points in the fundus. Specifically, position determination is performed so that the positions of the first feature point and the second feature point in the three-dimensional eyeball model match the positions of the first feature point and the second feature point in the two-dimensional fundus image, respectively. .
- the first feature point can be the fovea centralis
- the second feature point can be the optic disc position.
- step S2202 the image generation unit 276 detects the optic nerve head position in the three-dimensional eyeball model. Since the MRI shape data (acquired by the MRI apparatus 220 and recorded in the secondary storage unit 154 of the image viewer 250) contains detailed information on the shape of the eye 12 to be examined, the known three-dimensional MRI technique Using the MRI shape data, a point at which the eye and optic nerve cross in the back eye part in the three-dimensional eye model is detected, and this is specified as the optic disc position in the three-dimensional eye model.
- step S2204 the image generation unit 276 detects the fovea in the three-dimensional eye model. Since the MRI shape data contains detailed information on the shape of the eye 12 to be examined, a known three-dimensional MRI technique can be used to detect the fovea in the three-dimensional eye model from the MRI shape data.
- FIG. 23 shows an example of detection of the optic disc position and the fovea in the three-dimensional eyeball model.
- the point at which the eye axis passing through the eyeball center O and parallel to the Z axis intersects the posterior eye portion is identified as the fovea centralis.
- step S2206 the image generation unit 276 detects the fovea centralis and the optic disc position in the two-dimensional planar image by a known image processing technique.
- FIG. 24 shows an example of detection of the fovea centralis and the optic disc position in a two-dimensional plane image.
- steps S2202, S2204 and S2206 can be exchanged with each other.
- step S2208 the image generation unit 276 performs position determination so that the fovea centralis and the optic disc position in the three-dimensional eyeball model are respectively aligned with the fovea central position and the optic disc position in the two-dimensional fundus image. Then, the image generation unit 276 ends the position determination subroutine (RETURN in FIG. 22).
- Step S1010 Creation and display of a three-dimensional fundus image>
- the processing of the image generation unit 276 proceeds to step S1010 in FIG. Steps S1010 and S1014 are the same as the processing of the first embodiment shown in FIG.
- FIG. 25 shows an example of a fundus oculi image display screen 280 displayed on the display screen of the display 156 of the image viewer 250 based on the image signal generated by the image generation unit 276 in step S2012.
- the fundus oculi image display screen 280 shown in FIG. 25 includes a two-dimensional fundus oculi image display area 286, a three-dimensional fundus oculi image display area 288, and an eyeball model display area 290.
- the fundus oculi image display screen 280 of the second embodiment is different from the three-dimensional eyeball model itself generated from the MRI shape data acquired by the MRI apparatus 220.
- the point displayed in the eyeball model display area 290 is different.
- the two biological feature points which concern on position determination of 2nd Embodiment were demonstrated as what is a fovea centralis and an optic disc.
- the biological feature points are not limited to these, and may be included in the fundus area photographed by the ophthalmologic photographing apparatus 110 and can be used for position determination.
- proper three-dimensional eyeball model based on three-dimensional MRI imaging can be properly positioned using a plurality of biological feature points in the fundus of the eye to be examined.
- image processing to which a two-dimensional fundus image is attached, a three-dimensional fundus image closer to reality can be obtained.
- process is merely an example. Therefore, needless to say, unnecessary steps may be deleted, new steps may be added, or the processing order may be changed without departing from the spirit of the technology of the present disclosure.
- the processing process is realized by the software configuration using a computer, but the technology of the present disclosure is not limited to this.
- the processing process may be executed only by a hardware configuration such as an application specific integrated circuit (FPGA) or an application specific integrated circuit (ASIC).
- the processing process may be performed by a combination of software and hardware configurations.
- Examples of hardware resources that execute processing processes include a CPU, which is a general-purpose processor that functions as a hardware resource that executes various processes by executing programs. Further, as another hardware resource, for example, a dedicated electric circuit which is a processor having a circuit configuration such as an FPGA designed for a dedicated purpose, a PLD (Programmable Logic Device), or an ASIC may be mentioned. In addition, as a hardware structure of these processors, an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
- the hardware resources for executing various processes may be one of the above-described plurality of types of processors, or may be a combination of two or more processors of the same type or different types.
- a and / or B is synonymous with “at least one of A and B”. In other words, “A and / or B” may mean only A, only B, or a combination of A and B. Further, in the present specification, the same concept as “A and / or B” is applied also in the case where three or more matters are expressed by “and / or” in a linked manner.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Radiology & Medical Imaging (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Hardware Design (AREA)
- Physiology (AREA)
- Architecture (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Computer Networks & Wireless Communication (AREA)
- Eye Examination Apparatus (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Processing Or Creating Images (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
画像信号出力方法は、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力することと、選択された眼球モデルに基づいて、前記被検眼の二次元眼底画像を変換し、三次元眼底画像を生成することと、前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力すること、を含む。
Description
本開示は、眼科システム、画像信号出力方法、画像信号出力装置、プログラム、及び三次元眼底画像生成方法に関する。
従来、眼底の複数の二次元画像から、眼底の三次元画像を生成する技術が知られている。例えば、特開2004-24739号公報は、眼球が正確な球面から変形している場合であっても、三次元の眼球モデルである眼球テンプレートを作成し、複数の二次元画像を眼球テンプレートに張り付けて眼底の三次元画像を生成し、ディスプレイ上に表示する技術を開示している。具体的には、特開2004-24739号公報では、眼球の大きさ(角膜表面から眼底までの奥行き)と眼底の曲率とを測定し、これらの測定値に基づいて眼球テンプレートを作成している。
本開示の第1の態様は、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力することと、選択された眼球モデルに基づいて、被検眼の二次元眼底画像を変換し、三次元眼底画像を生成することと、前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力することと、を含む画像信号出力方法である。
本開示の第2の態様は、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力する第1出力部と、選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成する生成部と、前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力する第2出力部と、を含む画像信号出力装置である。
本開示の第3の態様は、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を生成する第1画像生成部と、選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成する三次元画像生成部と、前記三次元眼底画像を含む眼底画像表示画面を生成する第2画像生成部と、前記眼球モデル選択画面あるいは前記眼底画像表示画面に対応する画像信号を出力する画像信号出力部と、を含む画像信号出力装置である。
本開示の第4の態様は、コンピュータに、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力することと、選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成することと、前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力することと、を含む処理を実行させるためのプログラムである。
本開示の第5の態様は、コンピュータに、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を生成することと、選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成することと、前記三次元眼底画像を含む眼底画像表示画面を生成することと、前記眼球モデル選択画面あるいは前記眼底画像表示画面に対応する画像信号を出力することと、を含む処理を実行させるためのプログラムである。
本開示の第6の態様は、眼科撮影装置と、複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力することと、選択された眼球モデルに基づいて、前記眼科撮影装置により撮影されることで得られた二次元眼底画像を変換し三次元眼底画像を生成することと、前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力することと、を含む処理を実行する画像信号出力装置と、を含む眼科システムである。
本開示の第7の態様は、被検眼の眼球形状情報に基づいて、前記被検眼の眼球モデルを生成することと、前記被検眼の二次元眼底画像における複数の生物学的特徴点と、前記眼球モデルにおける複数の前記生物学的特徴点の位置とに基づいて、前記二次元眼底画像と前記眼球モデルとの位置合わせを行うことと、前記位置合わせに基づいて、前記二次元眼底画像を変換し、三次元眼底画像を生成することと、を含む三次元眼底画像生成方法である。
本開示の第8の態様は、MRI装置と、前記MRI装置で得られた三次元情報による被検眼の眼球形状情報に基づいて、前記被検眼の眼球モデルを生成することと、眼科撮影装置で撮影されることで得られた前記被検眼の二次元眼底画像における複数の生物学的特徴点と、前記眼球モデルにおける複数の前記生物学的特徴点の位置とに基づいて、前記二次元眼底画像と前記眼球モデルとの位置合わせを行うことと、前記位置合わせに基づいて、前記二次元眼底画像を変換し、三次元眼底画像を生成することと、を含む処理を実行する画像生成装置と、を含む眼科システム。
以下、図面を参照して、本開示の各実施形態の詳細を述べる。
<第1実施形態>
<システムの概要>
図1を参照して、眼底画像表示システム100の構成を説明する。図1に示すように、眼底画像表示システム100は、被検眼の眼底画像を撮影する眼科撮影装置110と、被検眼の眼軸長を測定する眼軸長測定装置120と、眼科撮影装置110から受信した眼底画像データと眼軸長測定装置120から受信した眼軸長データとを記憶する画像管理サーバ140と、画像管理サーバ140から取得した眼底画像及び眼軸長とを表示する画像ビューワ150と、を備えている。眼科撮影装置110、眼軸長測定装置120、画像管理サーバ140、画像ビューワ150は、ネットワーク130を介して、相互に接続されている。なお、画像ビューワ150は、本開示の画像信号出力装置の一例である。また、画像管理サーバ140は、本開示の画像信号出力装置あるいは画像生成装置の一例である。
<システムの概要>
図1を参照して、眼底画像表示システム100の構成を説明する。図1に示すように、眼底画像表示システム100は、被検眼の眼底画像を撮影する眼科撮影装置110と、被検眼の眼軸長を測定する眼軸長測定装置120と、眼科撮影装置110から受信した眼底画像データと眼軸長測定装置120から受信した眼軸長データとを記憶する画像管理サーバ140と、画像管理サーバ140から取得した眼底画像及び眼軸長とを表示する画像ビューワ150と、を備えている。眼科撮影装置110、眼軸長測定装置120、画像管理サーバ140、画像ビューワ150は、ネットワーク130を介して、相互に接続されている。なお、画像ビューワ150は、本開示の画像信号出力装置の一例である。また、画像管理サーバ140は、本開示の画像信号出力装置あるいは画像生成装置の一例である。
次に、図2を参照して、眼科撮影装置110の構成の一例を説明する。図2に示すように、眼科撮影装置110は、被検眼の眼底を撮影する装置本体14および制御装置16を含む。制御装置16は、CPU、RAM、ROM、および入出力(I/O)ポートを備えたコンピュータで構成され、図示しない通信インターフェース(I/F)を介して、ネットワーク130に接続される。ここでは、単一のCPUを例示しているが、本開示の技術はこれに限らず、複数のCPUを適用してもよい。なお、以下の説明では、「撮影」とは、ユーザが眼科撮影装置110を用いて被写体を示す画像を取得することをいい、「撮像」と称する場合がある。装置本体14は、制御装置16の制御下で作動する。装置本体14は、SLOユニット18、走査装置19、およびOCTユニット20を含む。
走査装置19は、第1光学スキャナ22と、第2光学スキャナ24と、ダイクロイックミラー26と、第3光学スキャナ29を含む共通光学系28と、を備えている。
なお、以下の説明では、眼科撮影装置110が水平面に設置された場合の水平方向を「X方向」、水平面に対する垂直方向を「Y方向」とし、被検眼12の前眼部から眼球中心Oを介して眼底に向かう方向を「Z方向」とする。従って、Y方向およびZ方向の双方に対して垂直な方向が「X方向」となる。
第1実施形態に係る眼科撮影装置110は、眼科撮影装置110で実現可能な主要な機能の一例として、2つの機能を有している。第1機能は、眼科撮影装置110を走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope。以下、「SLO」という。)として作動させ、SLOによる撮影を行う機能(以下、SLO撮影系機能という。)である。第2機能は、眼科撮影装置110を光干渉断層計(Optical Coherence Tomography。以下、「OCT」という。)として作動させ、OCTによる撮影を行う機能(以下、OCT撮影系機能という。)である。
SLO撮影系機能は、眼科撮影装置110の構成のうち、制御装置16、SLOユニット18および第1光学スキャナ22を含む走査装置19によって実現される。SLOユニット18は、光源、および検出素子等を含んで、被検眼12の眼底を撮像するように構成されている。つまり、眼科撮影装置110は、SLO撮影系機能として作動されることで、被検眼12の眼底(例えば撮影可能領域12A)が被写体として撮像される。具体的には、SLOユニット18からの光(以下、「SLO光」という。)が走査装置19によって被検眼12の瞳孔(具体的には、後述する瞳孔中心点27)を通して撮影可能領域12Aに対して、第1光学スキャナ22によるX方向(水平方向)、および第3光学スキャナ29によるY方向(鉛直方向)に走査され、その反射光による眼底画像がSLOユニット18で取得される。なお、SLO撮影系機能は、周知の機能であるため、詳細な説明は省略する。
OCT撮影系機能は、制御装置16、OCTユニット20および第2光学スキャナ24を含む走査装置19によって実現される。OCTユニット20は、光源、分光器、センサ、および参照光学系等を含んで、眼底の膜厚方向に複数の断層領域を撮像するように構成されている。つまり、眼科撮影装置110は、OCT撮影系機能として作動されることで、眼底(例えば撮影可能領域12A)の膜厚方向の領域である断層領域が撮像される。具体的には、OCTユニット20からの光(以下、「測定光」という。)が走査装置19によって被検眼12の瞳孔を通して撮影可能領域12Aに対して、第2光学スキャナ24によるX方向(水平方向)、および第3光学スキャナ29によるY方向(鉛直方向)に走査され、測定光の反射光と参照光とを干渉させて干渉光が生成される。OCTユニット20は、干渉光の各スペクトル成分を検出し、検出結果を用いて制御装置16が断層領域を示す物理量(例えば断層画像)を取得する。なお、OCT撮影系機能は、周知の機能であるため、詳細な説明は省略する。
以下の説明では、SLO光および測定光は共にX方向およびY方向に二次元的に走査される光であるので、SLO光および測定光を区別して説明する必要がない場合には、SLO光および測定光を総称して「走査光」という。
なお、第1実施形態では、走査光を用いた機能を含む眼科撮影装置110の一例を説明するが、走査光を用いた機能を含む眼科撮影装置に限定されるものではなく、被検眼12を観察可能な機能を有していればよい。例えば、走査光の照射に限らず、被検眼12の眼底へ向けて光を照射して被検眼12の眼底観察可能な機能を含む眼科撮影装置への適用が可能である。つまり、走査光を走査した際の被検眼12からの反射光を用いることに限定されず、単に光を照射して被検眼12を観察する機能を含むものである。また、被検眼12への光の照射にも限定されない。例えば、被検眼12に生じさせた蛍光などの光を用いて被検眼12を観察する機能を含むものである。このため、以下、被検眼12を観察する場合の光として、眼底からの反射光および眼底における発光を含む概念として、「被検眼12からの光」と称して説明する。
次に、図3を参照して、眼科撮影装置110に含まれる走査装置19の構成を説明する。図3に示すように、共通光学系28は、第3光学スキャナ29の他に、スリットミラー30および楕円鏡32を含む。なお、ダイクロイックミラー26、スリットミラー30、および楕円鏡32が側面視端面図で表されている。なお、共通光学系28は、スリットミラー30および楕円鏡32に代えて、複数のレンズ群を用いた構成でもよい。
スリットミラー30は、楕円状の第1反射面30Aを有する。第1反射面30Aは、第1焦点P1および第2焦点P2を有する。楕円鏡32も、楕円状の第2反射面32Aを有する。第2反射面32Aは、第1焦点P3および第2焦点P4を有する。
スリットミラー30、楕円鏡32、および第3光学スキャナ29は、第1焦点P3および第2焦点P2が第3光学スキャナ29で共通の位置になるように配置されている。また、スリットミラー30、楕円鏡32、および第3光学スキャナ29は、第2焦点P4が被検眼12の瞳孔の中心部に位置するように配置されている。更に、第1光学スキャナ22、第2光学スキャナ24、およびスリットミラー30は、第1焦点P1が第1光学スキャナ22および第2光学スキャナ24に位置するように配置されている。
つまり、第1光学スキャナ22、第2光学スキャナ24、および第3光学スキャナ29は、被検眼12の瞳孔の中心部と共役な位置に配置されている。
なお、走査装置19に係る基本構成は、特許第3490088号および特許第5330236号に開示されている構成と同一である。
本実施の形態では、図3に示す走査装置により、眼底の視野角(FOV:Field of View)を従来の技術より大きな角度とし、従来の技術より広範囲の眼底領域を観察できる。当該広範囲の眼底領域を、眼科撮影装置110による外部からの照射光についての外部照射角と、これにより照射させる被検眼の内部での照射角としての内部照射角とを区別して説明する。
外部照射角とは、眼科撮影装置110側から、すなわち被検眼12の外部からの光照射角である。つまり、被検眼12の眼底に対して照射光が被検眼12の瞳孔中心点27(すなわち、瞳孔の正対視中央点(図2も参照)へ向かう角度を外部照射角とする。この外部照射角はまた眼底から反射して瞳孔中心点27から被検眼12を射出して眼科撮影装置110へ向かう光の角度に等しい。
一方、内部照射角とは、被検眼12の眼球中心Oを基準位置として、被検眼12の眼底が走査光により照射されて実質的に撮影される光照射角を表している。外部照射角Aと内部照射角Bとは、対応関係にあるが、以下の説明では、眼科撮影装置としての説明であるため、眼底の視野角に対応する照射角として、外部照射角を用いる。
眼科撮影装置110は、外部照射角による被検眼12の眼底領域である撮影可能領域12A(図2も参照)内を撮像する。この撮影可能領域12Aは、例えば、走査装置19による走査光の走査可能な最大領域である。撮影可能領域12Aの一例には、外部照射角Aで、約120度の視野を提供する範囲が挙げられる。この場合の内部照射角は160度程度に対応する。
例えば、撮影可能領域12Aは、第1撮影可能領域12A1および第2撮影可能領域12A2に大別することができる。第1撮影可能領域12A1とは、被検眼12の瞳孔中心点27と中心Oとを通る視軸CL近傍の視野の範囲であり、第2撮影可能領域12A2とは、第1撮影可能領域12A1の周辺領域で、視軸CLから離れた周辺視野の範囲である。第1撮影可能領域12A1に対応する外部照射角の一例としては約30度(内部照射角は45度程度に相当)が挙げられ、第2撮影可能領域12A2に対応する外部照射角の一例として約120度(内部照射角160度程度に相当)が挙げられる。
眼科撮影装置110が被検眼12の撮影可能領域12Aを撮像して得た眼底画像は、従来の技術より広範であるので、以下、UWF(Ultra-Widefield:超広角)眼底画像という。
次に、図4を参照して、眼軸長測定装置120の一例を説明する。
図4に示すように、眼軸長測定装置120は、光干渉計42、光源44と、受光装置46、超音波プローブ48、ディスプレイ50、入力装置52、通信インターフェース(I/F)54及びこれらの装置(42~52)を制御する制御装置40を備えている。制御装置40は、図示しないCPU、ROM、RAM、及び2次記憶措置等を備えてコンピュータにより構成される。ここでは、単一のCPUを例示しているが、本開示の技術はこれに限らず、複数のCPUを適用してもよい。超音波プローブ48は、ユーザに把持可能な構成を有し、制御装置40に図示しないケーブルを介して接続されている。
眼軸長測定装置120は、被検眼12の軸方向長さである眼軸長を測定する2つのモードを有する。第1モードは、光干渉計42、光源44と、及び受光装置46を用いて眼軸長を測定するモードである。具体的には、光干渉計42は、例えば、光源44からの光を被検眼12に導光した後、光路長を調整することにより眼底からの反射光と角膜からの反射光を干渉させる。光干渉計42は、干渉された光(干渉光)を受光装置46に受光させる。制御装置40は、受光装置46から出力される干渉信号に基づいて眼軸長を測定する。第2モードは、超音波プローブ48を用いて眼軸長を測定するモードである。超音波プローブ48の先端を被検眼12に接触させた状態で、超音波プローブ48から超音波を被検眼12に導き、超音波の送受信間の時間から眼軸長を測定する。第1モードと第2モードは、入力装置52からの入力により設定可能である。
眼軸長測定装置120は、第1モード又は第2モードにより測定された眼軸長を、通信インターフェース(I/F)54及びネットワーク130を介して画像管理サーバ140に送信する。第1モード及び第2モードにより眼軸長を測定してもよく、この場合には、双方のモードで測定された眼軸長の平均を眼軸長として画像管理サーバ140に送信する。
なお、眼軸長測定装置120は、特許第6094483号公報及び特開2010-184048号公報に記載されているように、周知である。
さらに眼軸長測定装置120には、図4には図示しないLCD(液晶ディスプレイ:Liquid Crystal Display)が内蔵されている。LCDは、眼軸長測定装置120によって眼軸長の測定が行われる際に被検眼の視線を特定の向きに固定させるための固視標を表示する。LCDからの光は、レンズ及びミラーを含む光学系58を経由して被検眼12に入射され、これにより、被検眼12の眼底に固視標が投影される。
被検眼12の方向の定義等は、眼科撮影装置110の場合と同じであるため、説明を省略する。
なお、本開示において眼軸長とは、瞳孔中心点27を通る直線上における、被検眼12の角膜前面から網膜面までの距離をいう。眼軸長測定装置120において光学式眼軸長測定を行う上述の第1モードの場合は、光源44からの測定光が被検眼12に入射する際に、測定光が入射する角膜前面上の位置、及び入射角度に依存して、眼底の異なる測定位置に基づく眼軸長が測定される(図7を参照)。
次に、図5Aを参照して、画像ビューワ150の電気系の構成を説明する。図5Aに示すように、画像ビューワ150は、CPU162、RAM166、ROM164、入出力(I/O)ポート168を備えて構成されたコンピュータ本体152を備えている。ここでは、単一のCPUを例示しているが、本開示の技術はこれに限らず、複数のCPUを適用してもよい。コンピュータ本体152の入出力(I/O)ポート168には、二次記憶装置154、ディスプレイ156、マウス155M、キーボード155K、および通信インターフェース(I/F)158が接続されている。コンピュータ本体152の入出力(I/O)ポート168は、通信インターフェース(I/F)158を介して、ネットワーク130に接続され、眼科撮影装置110および画像管理サーバ140と通信する事ができる。ROM164または二次記憶装置154には、後述する三次元眼底画像生成プログラムが記憶されている。なお、三次元眼底画像生成プログラムは、本開示の技術のプログラムの一例である。
次に、図5Bを参照して、画像ビューワ150のCPU162が実行する三次元眼底画像生成プログラムの機能の構成を説明する。図5Bに示すように、三次元眼底画像生成プログラムは、データ取得機能、モデル生成機能、画像生成機能、画像送信機能、を備えている。画像ビューワ150のCPU162がこれらの各機能を有する三次元眼底画像生成プログラムを実行することで、画像ビューワ150のCPU162は、データ取得部172、モデル生成部174、画像生成部176、及び画像送信部179として機能する。なお、モデル生成部174は本開示の第1出力部あるいは第1画像生成部の一例である。また、画像生成部176は、本開示の生成部、第2出力部、あるいは、第2画像生成部の一例である。また、画像送信部179は、本開示の画像信号出力部の一例である。
画像管理サーバ140の電気系の構成は、画像ビューワ150の電気系の構成と同様であるので、その説明を省略する。
<システム構成の変形例>
以上では、第1実施形態のシステム構成は4つの独立したハードウェアから成るものとして説明したが、システム構成はこれに限定されるものではない。例えば、眼科撮影装置110と眼軸長測定装置120とが一体であってもよい。この場合、眼科撮影装置110のOCT撮影により得られた角膜断層画像と網膜断層画像から被検眼12の眼軸長を測定する。また、眼科撮影装置110と眼軸長測定装置120と画像管理サーバ140とが一体であってもよい。
以上では、第1実施形態のシステム構成は4つの独立したハードウェアから成るものとして説明したが、システム構成はこれに限定されるものではない。例えば、眼科撮影装置110と眼軸長測定装置120とが一体であってもよい。この場合、眼科撮影装置110のOCT撮影により得られた角膜断層画像と網膜断層画像から被検眼12の眼軸長を測定する。また、眼科撮影装置110と眼軸長測定装置120と画像管理サーバ140とが一体であってもよい。
<三次元眼底画像の生成・記録プロセス>
以下、第1実施形態における眼底三次元画像の生成及び記録の詳細を説明する。
以下、第1実施形態における眼底三次元画像の生成及び記録の詳細を説明する。
第1実施形態に係る眼底画像表示システム100においては、眼科撮影装置110は被検眼12の二次元眼底画像を撮影して眼底画像データを作成し、ネットワーク130を介して眼底画像データを画像管理サーバ140へ送信する。次に、眼軸長測定装置120は、被検眼12の複数の眼軸長を測定して眼軸長データを作成し、ネットワーク130を介して眼軸長データを画像管理サーバ140へ送信する。画像ビューワ150は、画像管理サーバ140から被検眼12の眼底画像データ及び眼軸長データを受信して、被検眼12の三次元眼底画像を生成する。
以下では、説明の便宜上、三次元眼底画像の生成及び記録の処理を(1)二次元眼底画像の撮影、(2)眼軸長の測定、(3)画像ビューワ150が実行する処理、の3つに分けて述べる。
[眼底画像の撮影]
一例として、第1実施形態における二次元眼底画像は、眼科撮影装置110のSLO撮影系機能によって撮影された、被検眼12の撮影可能領域12A内の一定の領域の二次元画像であるものとして説明する。
一例として、第1実施形態における二次元眼底画像は、眼科撮影装置110のSLO撮影系機能によって撮影された、被検眼12の撮影可能領域12A内の一定の領域の二次元画像であるものとして説明する。
図6に、被検眼12の眼底の二次元画像の一例を模式的に示す。図6の画像は、眼科撮影装置110のSLO撮影系機能によって、被検眼12の撮影可能領域12A内の一定の領域を撮影したものである。上述のように眼科撮影装置110はUWF眼底画像を撮影することができ、UWF眼底画像を用いることにより被検眼12の生物学的特徴点の一例である網膜の血管V、視神経乳頭ONHおよび黄斑M、そして黄斑Mの中心の中心窩等を判別することができる。
なお、SLO撮影系機能を実行する眼科撮影装置110が被検眼12の撮影可能領域12A内の一定の領域について二次元画像を取得する際には、上述のようにSLO光が撮影可能領域12Aに対して、第1光学スキャナ22によるX方向(水平方向)、および第3光学スキャナ29によるY方向(鉛直方向)に走査される。そして、これらの2方向における走査において、撮影可能領域12A内の点は、2つの角度の組(φX,φY)と対応する。例えば瞳孔中心点27と眼球中心Oとを結ぶ直線を基準軸とすると、瞳孔中心点27に向かって被検眼12に入射したSLO光と基準軸とが成す水平方向の角度がφXであり、鉛直方向の角度がφYである。
2つの角度の組(φX,φY)の値を指定すると、これらの値に対応する撮影可能領域12A内の点が撮影される。第1実施形態に係る眼科撮影装置110は、SLO光が水平方向および鉛直方向に走査される際に、(φX,φY)の値を記憶していく。(φX,φY)の値は、一例として、制御装置16のRAMに記憶される。記憶された(φX,φY)の値は、後述する位置決定プロセスにおいて用いられる。
眼科撮影装置110の制御装置16は、ネットワーク130を介して、撮影したSLO眼底画像のデータを画像管理サーバ140へ送信する。画像管理サーバ140の図示しない制御装置は、受信したSLO眼底画像のデータを被検眼12に係る被検者のIDと紐付けて、図示しない二次記憶装置に記録する。
なお、SLO眼底画像内の各画素に対応する(φX,φY)の値は、眼底画像のデータと紐付けられて、眼科撮影装置110から画像管理サーバ140へ送信され、記録される。繰り返しを避けるため一々説明しないが、以降では、眼底画像データは眼底画像内の各画素に対応する(φX,φY)の値と紐付けられているものとする。
以上では、二次元眼底画像は、SLO画像であるものとして説明した。しかし、二次元眼底画像はSLO画像に限られるものではなく、眼科撮影装置110のOCT撮影系機能によって撮影された、OCTボリュームデータを用いて作った二次元平面画像(例えば、網膜の断層画像及び/又はenface画像)であってもよい。
[眼軸長の測定]
上述した通り、本開示において眼軸長とは、瞳孔中心点27を通る、被検眼12の角膜の前面から網膜面までの距離である。以下、一例として、眼軸長測定装置120が光学式眼軸長測定を行う第1モードで動作するものとして説明する。
上述した通り、本開示において眼軸長とは、瞳孔中心点27を通る、被検眼12の角膜の前面から網膜面までの距離である。以下、一例として、眼軸長測定装置120が光学式眼軸長測定を行う第1モードで動作するものとして説明する。
図7に、第1実施形態における眼軸長の一例を示す。図7は、被検眼12について、眼軸長測定装置120からの測定光の軸と、測定光と角膜前面との交点である入射点P1と、測定光の網膜面との交点である反射点P2を示している。眼軸長Dは、入射点P1と反射点P2との距離として定義される。
第1実施形態における眼軸長は、入射点P1の位置と、入射点P1における測定光の網膜面への入射角度とによって定まる量であり、本開示において被検眼12の形状を表す形状情報の一つである。入射点P1の位置と入射点P1における測定光の入射角度とを変化させて、複数の眼軸長を測定することにより、被検眼12の形状を推定することができる。
特に第1実施形態では、後述するように、医学的知見に基づき、所定の5つの眼球モデル(図12参照)のいずれかによって被検眼12の形状が近似できることを仮定する。そのため、少なくとも3組の入射点P1と入射角度の組を適当に設定して眼軸長を測定すれば十分であると考えられる。
図8に、3組の入射点P及び入射角の組を用いた、被検眼12の3つの眼軸長の測定の一例を示す。図8は、被検眼12をX-Z平面で切断した断面図を示している。上述の座標系の定義においては座標軸の原点を特定していなかったが、図8及び以降の説明では、一例として、被検眼12の眼球中心OがY=0の平面上にあるものとする。しかし、原点の位置(つまり、眼軸長を測定する水平面)はこれに限られるものではなく、被検眼12の形状を推定するために適当な眼軸長を測定しうる断面であればよい。
図8には、被検眼12の眼底に固視標を投影するためのLCD60が示されている。LCD60からの光は被検眼12に入射され、これにより、被検眼12の眼底に固視標が投影される。なお、上述の通り図4においてはLCD60の図示を省略している。
LCD60は、図8A~図8Cに示された水平面(X-Z平面)上において、X方向に複数の固視位置を点灯することができるように構成されている。図8Aにおいて、LCD60は、被検眼12の視軸が眼軸長測定装置120からの測定光の軸Lと一致する固視位置である固視位置62を点灯させる。図8Aの設定の下で、眼軸長測定装置120によって測定される眼軸長を眼軸長D1とする。
図8Bにおいては、LCD60が固視位置62よりもXの正方向に位置する固視位置64を点灯させることにより、被検眼12の視軸は測定光の軸Lと角度θ1をなしている。一方、図8Cにおいては、LCD60が固視位置62よりXの負方向に位置する固視位置66を点灯させることにより、被検眼12の視軸は測定光の軸Lと角度-θ2をなしている。図8B及び図8Cの設定の下で、眼軸長測定装置120によって測定される眼軸長をそれぞれ眼軸長D2、D3とする。
なお、便宜上、X軸の正方向を向く方向を角度θの正方向としている。
以上のようにLCD60の点灯させる固視位置を変化させることにより、入射点P1の位置と、入射点P1における測定光の網膜面への入射角度θをX-Z平面上で変更した、3つの測定位置に基づく3つの眼軸長D1、D2、D3が得られる。なお、眼軸長D1、D2、D3は、本開示の眼球形状情報の一例である。
一例として、図9に示すように、θ1=θ2=θとなるように固視位置64及び66を定めてもよい。この場合、被検眼12の形状について、水平面上での対称性が分かり易くなる。後述する5つの眼球モデル(図12参照)の判別において、被検眼の水平面上での対称性に関する情報は有益だと考えられる。以下では、θ1=θ2=θであるものとして説明する。
なお、以上ではLCDの点灯させる固視位置をX-Z平面(水平面)上で変更することにより3つの眼軸長を同一水平面上で測定したが、第1実施形態における複数の眼軸長の測定方法はこれに限られるものではない。例えば、LCD60の点灯させる固視位置をY軸(つまり、鉛直方向)上で変更して、複数の眼軸長を測定してもよい。被検眼12が後述する5つの眼球モデルのうち何れに該当するかを推定するための補助となり得る眼軸長が測定できればよい。
眼軸長測定装置120の制御装置40は、ネットワーク130を介して、測定した3つの眼軸長に係る眼軸長データを画像管理サーバ140へ送信する。眼軸長データには、3つの眼軸長D1、D2、D3の値に加えて、角度θの値および被検者のIDが含まれている。画像管理サーバ140の図示しない制御装置は、受信した眼軸長データを被検眼12に係る被検者のIDと紐付けて、図示しない二次記憶装置に記録する。
また、眼軸長の測定方法はOCTを利用するものに限られない。眼軸長測定装置120が超音波信号を利用する第2モードで動作する場合には、超音波信号を利用して被検眼12の眼軸長を測定することが可能である。
また、眼軸長測定装置120が第1モードおよび第2モードの双方で動作する場合には、OCTと超音波信号を併用して被検眼12の眼軸長を測定することができる。
[画像ビューワ150が実行する処理]
第1実施形態では、三次元の眼球モデルは、眼底画像表示システム100の支援の下で、ユーザによって決定された結果として生成される。具体的には、画像ビューワ150は、画像管理サーバ140から受信した眼軸長測定装置120の眼軸長測定結果と、複数の眼球モデル候補とをディスプレイ156に同時に表示し、現在観察されている被検眼12にふさわしい1つの眼球モデル候補を選択するようユーザに促す。ユーザがディスプレイ156の表示内容を検討して適当と思われる眼球モデル候補を選択することにより、三次元眼球モデルが決定される。そして、画像ビューワ150のCPU162が三次元眼球モデルに眼科撮影装置110で撮影された二次元眼底画像を貼り付ける画像処理を行うことにより、三次元眼底画像が生成される。
第1実施形態では、三次元の眼球モデルは、眼底画像表示システム100の支援の下で、ユーザによって決定された結果として生成される。具体的には、画像ビューワ150は、画像管理サーバ140から受信した眼軸長測定装置120の眼軸長測定結果と、複数の眼球モデル候補とをディスプレイ156に同時に表示し、現在観察されている被検眼12にふさわしい1つの眼球モデル候補を選択するようユーザに促す。ユーザがディスプレイ156の表示内容を検討して適当と思われる眼球モデル候補を選択することにより、三次元眼球モデルが決定される。そして、画像ビューワ150のCPU162が三次元眼球モデルに眼科撮影装置110で撮影された二次元眼底画像を貼り付ける画像処理を行うことにより、三次元眼底画像が生成される。
なお三次元眼底画像とは、一例として、眼科撮影装置110のSLOユニットにより撮影された二次元眼底画像を三次元眼球モデルの表面に貼り付ける画像処理を行うことにより生成された、立体感のある画像をいう。ただし、三次元眼底画像はこれに限られるものではない。例えば、眼科撮影装置110のOCT撮影系機能により、被検眼12の眼底の一定の領域について得られたOCTボリュームデータを用いて、網膜の立体構造を表現した画像でもよい。さらに、OCTボリュームデータを用いて得られた網膜の立体構造を眼球モデルとして設定することができる。
図10、11、15は、第1実施形態において三次元眼底画像表示を行う処理プログラムの一例を示すフローチャートである。図10、11、15は、画像ビューワ150の実行する処理プログラムの一例を示している。
ここで、画像ビューワ150の実行する処理プログラムは、具体的にはデータ取得部172、モデル生成部174、画像生成部176、画像送信部179として機能する画像ビューワ150のCPU162によって実行される。また、画像ビューワ150と画像管理サーバ140との間の通信は、ネットワーク130を介して行われる。
被検者の被検眼12について、眼科撮影装置110による二次元眼底画像の撮影と眼軸長測定装置120による3つの眼軸長の測定とは既に終了しており、画像管理サーバ140の図示しない二次記憶装置には、二次元眼底画像データと眼軸長データとが記録されているとする。三次元眼底画像の生成および表示を希望するユーザは、その旨を、マウス155Mまたはキーボード155Kの操作により、画像ビューワ150に入力する。これにより、図10、11、15に示された画像ビューワ150の処理プログラムの実行が開始され、第1実施形態に係る三次元眼底画像表示を行う処理プロセスが開始される。図10は、当該処理プロセスの全体を示すフローチャートである。
以下では、説明の便宜上、三次元眼底画像表示処理の全体を(A)眼球モデルの決定、(B)位置決定、(C)三次元眼底画像の作成・表示、の3つに分けて述べる。
<A:眼球モデルの生成>
図10のステップS1002、S1004においては、データ取得部172が処理を実行する。また図10のステップS1006においては、モデル生成部174が処理を実行する。
図10のステップS1002、S1004においては、データ取得部172が処理を実行する。また図10のステップS1006においては、モデル生成部174が処理を実行する。
ステップS1002において、データ取得部172は、画像ビューワ150に入力された被検者のIDなどを用いて、眼科医による診断対象となる被検眼12に係る二次元眼底画像データと眼軸長データとを取得するためのリクエストを画像管理サーバ140へ送信する。当該リクエストには、被検眼12に係る被検者のIDが含まれている。
画像管理サーバ140が画像ビューワ150から上記リクエストを受信すると、画像管理サーバ140の制御部は、IDに基づき被検者の被検眼12に対応するデータを特定する。そして画像管理サーバ140の制御部は、二次記憶装置に記録されている、IDに対応する二次元眼底画像データと眼軸長データとを読み出して、画像ビューワ150へ送信する。
画像ビューワ150が画像管理サーバ140から被検眼12に係る二次元眼底画像データと眼軸長データとを受信すると、ステップS1004においてデータ取得部172は、
受信した二次元眼底画像データと眼軸長データとを二次記憶装置154に記録する。なお、上述した通り、二次元眼底画像データには、二次元眼底画像内の各画素に対応する(φX,φY)の値が紐付けられている。
次に、処理はステップS1006へ移行する。以下、モデル生成部174が処理を実行する。
第1実施形態における眼球モデル生成プロセスは、サブルーチンとして図11に示されている。図11は、モデル生成部174としての画像ビューワ150のCPU162が実行する処理プログラムの一例を示すサブルーチンである。
ステップS1102において、モデル生成部174は、二次記憶装置154から眼軸長データを読み出して、被検者の被検眼12に係る3つの眼軸長D1、D2、D3をディスプレイ156の表示画面に表示する。
この際に、モデル生成部174は、3つの眼軸長D1、D2、D3(図13及び14を参照)とともに、5つの眼球モデル候補をディスプレイ156の表示画面に表示する。
ここで、医学的知見に基づき、少なくとも日本人の眼球については、病的近視による眼球の変形は、以下の4つのタイプに分類可能であることが知られている。この点について説明する。
第1は、X-Z平面上の断面図で観察した場合に、Z軸に平行な中心軸について左右非対称であり、網膜が鼻の方向に向かって突出した鼻側突出型(鼻側偏位型ともいう)である。第2は、X-Z平面上の断面図で観察した場合に、Z軸に平行な中心軸について左右非対称で網膜が耳の方向に向かって突出した耳側突出型(耳側偏位型ともいう)である。第3は、X-Z平面上の断面図で観察した場合に、Z軸に平行な中心軸について左右対称であり、網膜の中心窩周辺が尖っている紡錘型(イチゴ型ともいう)である。第4は、X-Z平面上の断面図で観察した場合に、Z軸に平行な中心軸について左右対称であり、網膜の中心窩周辺が丸く突出している樽型である。
以上の4つの形状に、疫病等による変形が無い正常な眼球を加えると、眼球は5つのタイプに分類可能であることになる。図12はこれらの5つのタイプを示している。図12は被検者の左目の眼球をY軸の正方向(つまり、鉛直上方)から観察した図であり、Aが正常型、Bが鼻側突出型、Cが耳側突出型、Dが紡錘型、Eが樽型である。以下では、被検眼12は被検者の左目の眼球であるものとして説明する。
図11に示されたサブルーチンの説明に戻る。図13は、ステップS1102において、モデル生成部174がディスプレイ156の表示画面に表示させる選択画像70の一例を示している。図13の選択画像70は、眼軸長表示領域72と、眼球モデル候補表示領域74と含んでいる。なお、選択画像70は、本開示の眼球モデル選択画面の一例である。また、ディスプレイ156の表示画面に選択画像70を表示させるためにモデル生成部174が出力する信号は、本開示の第1画像信号の一例である。
図13の眼球モデル候補表示領域74は、図12に示された5つの眼球タイプを表示する。眼球モデル候補表示領域74は、さらに選択枠76を表示する。選択枠76は、眼球モデル候補表示領域74内で、眼球タイプの1つを選択して強調表示するものである。ユーザは、画像ビューワ150のマウス155Mまたはキーボード155Kを操作することにより選択枠76をディスプレイ156の表示画面上で上下に移動させて、眼球モデル候補表示領域74に表示された5つの眼球モデル候補から1つを選択することができる。
眼球モデル候補表示領域74には、5種類の眼球モデルを示す5つの図形を表示してもよいし、5種類の眼球モデルの名称(眼球モデル名)を示す文字列(正常型、鼻側突出型、耳側突出型、紡錘型、及び樽型)の表示、あるいは、図形と文字列とを組み合わせた表示を行ってもよい。
図13の眼軸長表示領域72は、眼球モデル候補表示領域74において選択枠76により強調表示されている眼球モデル候補を輪郭として、輪郭内に眼軸長測定装置120により測定した被検眼12の3つの眼軸長D1、D2、D3を配置した眼球画像を表示する。ここで眼軸長表示領域72に表示される輪郭は、眼球中心OがY=0の平面上にあるとした場合のX-Z平面で切断した断面図における被検眼12の眼球の輪郭に相当する。
具体的には、モデル生成部174は、眼軸長D1の大きさに基づいて、眼軸長表示領域72に表示する眼球画像の輪郭の大きさを決定する。一例として、眼軸長D1が眼球中心Oを通り、端点が角膜に対応する部分と網膜に対応する箇所に配置されるように(つまり、眼軸長D1がちょうど輪郭内に収まるように)、眼球画像の輪郭を決定する。そして、モデル生成部174は、二次記憶装置154に記憶されている眼軸長データに含まれている角度θを用いて、D1となす角度がそれぞれθ、-θとなるように、眼球画像の輪郭内に眼軸長D2及びD3を配置する。一例として、眼軸長D2及びD3の始点を輪郭の角膜に相当する箇所に設定して、眼軸長D2及びD3を配置する。
図13に示す例では、眼球モデル候補表示領域74において選択枠76により紡錘型モデルDが強調表示されている。そして、眼軸長表示領域72において、眼軸長D1の大きさに基づいて大きさが決定された紡錘型モデルDの輪郭と、輪郭内の3つの眼軸長D1、D2、D3とが表示されている。
ここで、図13の眼軸長表示領域72において、眼軸長D2の網膜側端点は眼球画像の輪郭の網膜に相当する箇所から突出していることに注意されたい。図13に示す眼軸長表示領域72を観察したユーザは、被検眼12は網膜が鼻の方向に向かって突出しており、紡錘型モデルDは適当ではないと推定することができる。
そこでユーザは、画像ビューワ150のマウス155Mまたはキーボード155Kを操作することにより選択枠76を眼球モデル候補表示領域74上で上下に移動させて、他の眼球モデル候補を強調表示させると考えられる。図14に示す例では、眼球モデル候補表示領域74において、鼻側突出型モデルBが選択枠76によって強調表示されている。
図14の眼軸長表示領域72では、眼軸長D1の大きさに基づいて大きさが決定された鼻側突出型モデルBの輪郭と、輪郭内の3つの眼軸長D1、D2、D3とが表示されている。ここで、図13に示す例と異なり、図13の眼軸長表示領域72においては眼軸長D2が眼球画像の輪郭内から突出せず、輪郭内に適当に収まっている。図14に示す眼軸長表示領域72を観察したユーザは、輪郭内に眼軸長D2及びD3が適当に収まっていることから、鼻側突出型モデルBは被検眼12の眼球モデルとしてふさわしいと推定することができる。
以上説明した方法により、画像ビューワ150のディスプレイ156の表示画面を見ているユーザは、マウス155Mまたはキーボード155Kを操作して選択枠76を眼球モデル候補表示領域74上で上下移動させつつ、眼軸長表示領域72における輪郭と眼軸長D2及びD3との位置関係を観察することにより、5つの眼球モデル候補のうちいずれが被検眼12の眼球モデルとしてふさわしいか決定することができる。
改めて、図11に即してモデル生成部174が実行する処理プログラムの一例を示すサブルーチンを説明する。
ステップS1102において、モデル生成部174は、二次記憶装置154から眼軸長データを読み出して、図13及び図14に示したように眼軸長表示領域72及び眼球モデル候補表示領域74を画像ビューワ150のディスプレイ156の表示画面に表示させる。一例として、サブルーチンの開始時点では、正常型モデルAが選択されているとする。つまり、サブルーチンの開始時点ではステップS1102において、眼球モデル候補表示領域74において正常型モデルAが選択枠76によって強調表示され、眼軸長表示領域72において眼軸長D1の大きさに基づいて大きさが決定された正常型モデルAの輪郭と、輪郭内の3つの眼軸長D1、D2、D3とが表示されている。
眼軸長表示領域72を観察したユーザは、マウス155Mまたはキーボード155Kを操作して、選択指示または決定指示を入力する。選択指示とは、現在選択されている(つまり、眼球モデル候補表示領域74において選択枠76によって強調表示されている)眼球モデル候補に代えて、他の眼球モデル候補を選択する指示である。例えば、正常型モデルAに代えて耳側突出型モデルCを選択する指示である。また決定指示とは、現在選択されている眼球モデル候補を、被検眼12にふさわしい眼球モデルとして決定する指示である。
例えばユーザは、マウス155Mを操作して、ディスプレイ156の表示画面に表示されているカーソルを選択する眼球モデル候補の位置に移動させ、マウス155Mを左クリックすることにより、選択指示を入力することができる。またユーザは、例えば、キーボード155KのRETURNキーを押すことにより、決定指示を入力することができる。
ユーザからいずれかの指示が入力されると、処理はステップS1104に移行する。ステップS1104において、モデル生成部174はユーザによって入力された指示を取得する。
ステップS1106において、モデル生成部174は、取得した指示が決定指示であるか否かについての判断を行う。ステップS1106の判断が否定判断である場合、図11の処理はステップS1110へ移行する。
ステップS1100において、モデル生成部174は、選択指示において指定された眼球モデル候補を、選択枠76により強調表示すべきものとして設定する。そして、図11の処理はS1102に戻り、再び画像ビューワ150のディスプレイ156の表示画面に眼軸長表示領域72及び眼球モデル候補表示領域74が表示される。この場合、選択されている眼球モデル候補は、サブルーチンの開始時点で選択されていた正常型モデルAから変更されている。例えば、選択指示において紡錘型モデルDが指定されていた場合には、眼球モデル候補表示領域74において紡錘型モデルDが強調表示され、眼軸長表示領域72において紡錘型モデルDの輪郭と、輪郭内の3つの眼軸長D1、D2、D3とが表示される。
一方、ステップS1106において肯定判断であった場合、図11の処理はステップS1108に移行する。ステップS1108において、モデル生成部174は、ユーザが選択した1つの眼球モデル候補を、被検眼12の三次元眼球モデルとして画像ビューワ150の二次記憶装置154へ記録する。そしてモデル生成部174は、眼球モデル生成サブルーチンを終了する(図11のRETURN)
なお、以上では、図11のサブルーチンの開始時点において選択されている(つまり、ステップS1102において、眼球モデル候補表示領域74において正常型モデルAが選択枠76によって強調表示され、眼軸長表示領域72によって輪郭が表示される)眼球モデル候補は、便宜上いずれか(例えば、正常型モデルA)に選択されるものとして説明した。しかしながら、モデル生成部174は、眼軸長データに含まれる眼軸長D1、D2、D3及び角度θの値に基づいて、最も適当と思われる輪郭に対応する眼球モデル候補を予測して、予測された眼球モデル候補を図11のサブルーチンの開始時点において設定するものとしてもよい。この場合、モデル生成部174は、機械学習を用いて予測をおこなってもよい。またモデル生成部174は、眼軸長データに含まれる被検者の個人情報、例えば性別、年齢、人種及び/又は病歴等を利用してふさわしい眼球モデル候補を予測してもよい。なお、性別、年齢、人種及び/又は病歴等の被検者の個人情報は、本開示の患者情報の一例である。
また以上では、眼軸長D1、D2、D3を被検眼12の形状情報として用いて、ユーザによる眼球モデル決定を支援した。しかしながら、被検眼の形状情報は、複数の眼軸長に限られるものではない。眼軸長測定装置120によって測定可能な被検眼12の形状を示す量であって、ユーザが5つの眼球モデル候補のうちいずれが被検眼12の眼球モデルとしてふさわしいか決定することを支援できるものであればよい。
<B:位置決定>
図10において、ステップS1008以降の処理は、画像生成部176および画像送信部179として機能する画像ビューワ150のCPU162によって実行される。
図10において、ステップS1008以降の処理は、画像生成部176および画像送信部179として機能する画像ビューワ150のCPU162によって実行される。
図10のステップS1008において、画像生成部176は位置決定を行う。本開示において位置決定とは、二次元眼底画像上の複数の点と三次元眼球モデル上の位置との対応関係を決定することをいう。
第1実施形態における位置決定プロセスは、サブルーチンとして図15に示されている。図15は、画像生成部176としての画像ビューワ150のCPU162が実行する処理プログラムの一例を示すサブルーチンである。
ステップS1502において、画像生成部176は、先行する図10のステップS1004において二次記憶装置154に記録されている二次元眼底画像データを読み出す。そして画像生成部176は、一例として二次元眼底画像内の3つの画素A1、A2、A3を指定する。個々で指定する画素の数は3に限られるものではなく、位置決定を実行する上で適切な数であればよい。
ステップS1504において、画像生成部176は、指定された3つの画素A1、A2、A3にそれぞれ対応する3組の角度の組(φX,φY)を二次記憶装置154から取得する。
ステップS1506において、画像生成部176は、先行する図11のステップS1108において二次記憶装置154に記録されている三次元眼球モデルを読み出す。そして画像生成部176は、三次元眼球モデルの網膜面上において、3組の角度の組(φX,φY)に対応する3つの位置B1、B2、B3を算出する。ここでB1、B2、B3は、三次元眼球モデルの瞳孔中心点27に向かって角度(φX,φY)から光が入射されたと仮定した場合に、三次元眼球モデルの網膜面上で入射光が反射される位置を表している。
ステップS1508において、画像生成部176は、二次元眼底画像内の画素A1、A2、A3と、三次元眼球モデルの網膜面上の位置B1、B2、B3とに基づいて、位置情報を算出する。ここで二次元眼底画像内の画素A1、A2、A3は被検眼12の撮影可能領域12Aの3点に対応するものであるから、画素A1、A2、A3がそれぞれ位置B1、B2、B3に一致するように二次元眼底画像と三次元眼球モデルの網膜面とを位置合わせすることで、二次元眼底画像と三次元眼球モデルとの対応関係を決定することができる。第1実施形態の位置情報は、上記の位置合わせを行うために十分な情報を含んでいるものとする。
ステップS1510において、画像生成部176は、生成された位置情報を画像ビューワ150の二次記憶装置154に記録する。そして画像生成部176は、位置決定サブルーチンを終了する(図15のRETURN)。
<C:三次元眼底画像の作成・表示>
図10のステップS1008が終了した時点で、画像ビューワ150の二次記憶装置154には、被検眼12について、ステップS1004で取得した二次元眼底画像データと、ステップS1006で生成した三次元眼球モデルと、ステップS1008で生成した位置情報とが記録されている。
図10のステップS1008が終了した時点で、画像ビューワ150の二次記憶装置154には、被検眼12について、ステップS1004で取得した二次元眼底画像データと、ステップS1006で生成した三次元眼球モデルと、ステップS1008で生成した位置情報とが記録されている。
ステップS1010において、画像生成部176は、画像ビューワ150の二次記憶装置154から二次元眼底画像データと、三次元眼球モデルと、位置情報とを読み出し、画像処理を行って被検眼12の三次元眼底画像を生成し、二次記憶装置154に記録する。具体的には、位置情報に基づいて二次元眼底画像上の複数の点の三次元眼球モデル上の位置を決定した上で、二次元眼底画像を三次元眼球モデルに貼り付ける画像処理を行うことにより、被検眼12の三次元眼底画像が生成される。また、前眼部領域と二次元画像でカバーしきれない眼球領域とに対しては、所定の画像でパッチするようにしてもよい。
次にステップS1012において、画像生成部176は、画像ビューワ150のディスプレイ156の表示画面に三次元眼底画像を含む眼底画像表示画面80を表示させるための画像信号を出力する。ディスプレイ156は、CPU162から出力された画像信号に基づいて、眼底画像表示画面80を表示する。この場合、眼底画像表示画面80には、二次元眼底画像を同時に表示してもよい。
図16に眼底画像表示画面80の一例を示す。図16の眼底画像表示画面80は、被検者情報表示領域82と、右眼/左眼の切替ボタン84と、二次元眼底画像表示領域86Aと第1ツールボタン86Bとを含む二次元画像表示領域86と、三次元眼底画像表示領域88Aと第2ツールボタン88Bとを含む三次元画像表示領域88とを含んでいる。
被検者情報表示領域82は、被検者のIDを始めとして、被検者を特定する情報を表示する。この情報は、一例として、生年月日、氏名、性別、病名、ユーザの一例としての眼科医のコメントを含む。
切替ボタン84は、眼底画像表示画面80の表示に係る被検眼12について、被検者の右眼/左眼を切り替えるためのものである。便宜上、上述の通り第1実施形態では被検眼12は被検者の左眼として説明しているため、切替ボタン84に関するこれ以上の説明は省略する。
二次元眼底画像表示領域86Aには、画像ビューワ150の二次記憶装置154に記録されている二次元眼底画像データに基づき、眼科撮影装置110により撮影された被検眼12の二次元眼底画像が表示される。第1ツールボタン86Bは、二次元眼底画像表示領域86Aの表示のサイズ変更、色調整などを行うためのものである。
三次元眼底画像表示領域88Aには、画像ビューワ150の二次記憶装置154に記録されている、ステップS1010で生成された被検眼12の三次元眼底画像が表示される。第2ツールボタン88Bは、三次元眼底画像表示領域88Aの表示のサイズ変更、色調整などを行うためのものである。
以上説明したように、図16の二次元眼底画像表示領域86Aと三次元眼底画像表示領域88Aとは、眼科撮影装置110により撮影された被検眼12の二次元眼底画像と、当該に次元眼底画像を三次元眼球モデルに貼り付けた三次元眼底画像とがそれぞれ表示される。ユーザである眼科医は、ステップS1012において画像ビューワ150のディスプレイ156の表示画面上の各表示領域を見ることにより、2つの画像を比較観察することができる。そして、ユーザである眼科医は観察した結果屋診断結果を被検者情報表示領域82のコメント欄に入力することができる。例えば、ユーザは、眼底画像の観察結果から推定した被検眼12に係る病名及び/又は症状等を、コメント欄に入力してもよい。
マウス155Mまたはキーボード155Kの操作によりユーザからの処理終了指示が画像ビューワ150に入力されると、処理はステップS1014に移行する。画像送信部179は、ステップS1014において、ステップS1010で生成された被検眼12の三次元眼底画像のデータを、被検者情報表示領域に表示された被検者を特定する情報と紐付けて、画像管理サーバ140へ送信する。これにより、図10に示された画像ビューワ150のCPU162が実行する処理プログラムは終了する(図10のEND)。
画像ビューワ150からデータを受信すると、画像管理サーバ140の制御部は受信したデータを画像管理サーバ140の二次記憶部に記録する。
以上に説明した本開示の第1実施形態に関し、図17に眼科撮影装置110、眼軸長測定装置120、画像管理サーバ140、画像ビューワ150の間での情報のやり取りを示すシーケンス図を示す。図17に示した各ステップは、図10中の各ステップに対応する。
本開示の第1実施形態によれば、被検眼の少数の眼軸長を測定し、所定の眼球モデル候補と適切に組み合わせて効果的な表示を行い、ユーザに選択を促すことで、被検眼にふさわしい三次元眼球モデルを容易に生成することができる。さらに、生成された三次元眼球モデルを用いて、三次元眼底画像を生成し、表示することができる。
また、眼底画像表示画面80に、眼科撮影装置110のOCTユニットにより得られたOCT断層画像あるいはOCT三次元画像を表示するOCT画像表示領域を設けてもよい。
<第1実施形態の変形例:経過観察>
本開示の第1実施形態の変形例として、第1実施形態に係る眼底画像表示システム100を眼底の特定部位の経過観察に利用することができる。以下で、第1実施形態と相違する点についてのみ説明する。
本開示の第1実施形態の変形例として、第1実施形態に係る眼底画像表示システム100を眼底の特定部位の経過観察に利用することができる。以下で、第1実施形態と相違する点についてのみ説明する。
本変形例では、眼科撮影装置110により、被検眼12の特定部位を所定の期間を空けて複数回撮影し、複数の二次元眼底画像を作成する。一例として、複数回とは2回である。
まず、被検者の被検眼12について、第1実施形態に係る処理の全体を実行する(第1回目の処理)。一定の期間(例えば3ヶ月)が経過した後、再び同一の被検眼12について、第1実施形態に係る処理の全体を実行する(第2回目の処理)。この場合、それぞれの処理自体は第1実施形態と同様である。ただし、眼科撮影装置110によって撮影され、画像管理サーバに眼底画像データとして記録される眼底の部位は、第1回目と第2回目とで同じ部位であることに注意されたい。
また、第2回目の処理における図11のサブルーチンの開始時点では、第1回目の処理における図10のステップS1006で決定された眼球モデルが設定されている。これは、第1回目の処理で使用した眼球モデルを、第2回目の処理における眼球モデルの第1候補として設定することに対応する。
例えば、第1回目の処理において、鼻側突出型モデルBが被検眼12の眼球モデルとして決定されたとする。この場合には、第2回目の処理の眼球モデル生成サブルーチンが開始されると、ステップS1102において画像ビューワ150のディスプレイ156の表示画面には以下の表示が行われる。眼球モデル候補表示領域74において、5つの眼球モデル候補のうち、鼻側突出型モデルB(つまり、第1回目の処理で使用されたモデル)が選択枠76によって強調表示される。また眼軸長表示領域72において、鼻側突出型モデルBの輪郭と、輪郭内の3つの眼軸長D1、D2、D3とが表示される。
第2回目の処理における図11のステップS1108において、第1回目の処理で称されたモデル(上述の例では鼻側突出型モデルB)とは異なるモデル候補が眼球モデルとして記録されたとする。これは、第1回目と第2回目との間の期間に、被検眼12の眼球形状が変化したことを意味する。ユーザは、この事実から被検眼12に何らかの疾病が生じたことを推定することができる。さらに、この場合、被検眼12について、図示しないMRI装置を用いて、MRIにより眼球形状の変化を評価し、その結果を画像ビューワ150の二次記憶装置154に記録してもよい。
さらに、第1回目の処理において眼科撮影装置110によって撮影された二次元眼底画像に、病変部位が含まれていたとする。この場合、画像ビューワ150のCPU162は、第2回目の処理において得られた三次元眼底画像と、第1回目の処理において得られた三次元眼底画像との間での当該病変部位の面積の変化を算出し、二次記憶装置154に記録してもよい。
第1実施形態の本変形例では、第2回目の処理において、眼球形状の変化の評価結果、及び/又は病変部位の面積の変化を示すデータとしての変化情報が得られる。第2回目の処理における図10のステップS1014において、画像送信部179は、被検者を特定する情報へ変化情報を追加した上で被検眼12の三次元眼底画像のデータと紐付けて、画像管理サーバ140へ送信してもよい。そして、画像ビューワ150のCPU162が実行する処理プログラムは終了する。(第2回目の処理における図10のEND)。
以上に説明した本開示の第1実施形態の変形例に関し、図17に眼科撮影装置110、眼軸長測定装置120、画像管理サーバ140、画像ビューワ150の間での情報のやり取りを示すシーケンス図を示す。
また、第2回目の処理における図10のステップS1012において、画像生成部176は、図16に示された眼底画像表示画面80に代えて、図19に示される眼底画像比較表示画面90を画像ビューワ150のディスプレイ156の表示画面に表示させるように画像信号を出力してもよい。
図19の眼底画像比較表示画面90は、被検者情報表示領域82と、過去二次元眼底画像表示領域96Aと、過去三次元眼底画像表示領域96Bと、新規二次元眼底画像表示領域98Aと、新規三次元眼底画像表示領域98Bとを含んでいる。過去二次元眼底画像表示領域96Aと、過去三次元眼底画像表示領域96Bは、それぞれ第1回目の処理に係る二次元眼底画像と三次元眼底画像とが表示される。また、新規二次元眼底画像表示領域98Aと、新規三次元眼底画像表示領域98Bは、それぞれ第2回目の処理に係る二次元眼底画像と三次元眼底画像とが表示される。
また図19には図示されていないが、眼底画像比較表示画面90は、図16に示された第1ツールボタン86B及び第2ツールボタン88Bに相当する、眼底画像の表示のサイズ変更、色調整などを行うためのツールボタンを含んでいてもよい。
なお、図19に示した例では、第1回目の処理で生成された眼球モデルは正常型モデルAであるのに対して、第2回目の処理で生成された眼球モデルは紡錘型モデルDであることに注意されたい。この場合、第1回目と第2回目との間の期間に被検眼12の眼球形状が変化しており、被検眼12に何らかの疾病が生じたことが推定される。
また、過去と新規の二つの異なる時点で撮影された二次元眼底画像による経過観察だけでなく、患者の来院時に撮影された、2以上の眼底画像を用いて経過観察をできるようにしてもよい。この場合、過去の二次元/三次元眼底画像を表示する2以上の表示領域と、今回の新規に得られた二次元/三次元眼底画像を表示する1つの表示領域を眼底画像比較表示画面90に設けてもよい。
さらに、過去三次元眼底画像表示領域96Bと新規三次元眼底画像表示領域98Bとについて、同じ大きさの表示領域ではなく、異なる大きさの表示領域としてもよい。また、上述の例に限らず、設計の範囲で様々な表示画面の仕様をとることができる。
また、眼科撮影装置110のOCTユニットにより得られたOCT断層画像あるいはOCT3次元画像を表示するOCT画像表示領域を、眼底画像比較表示画面90に設けてもよい。
本開示の第1実施形態の変形例によれば、被検眼の経過観察を効果的に行うことができる。
<第2実施形態>
次に、本開示の第2実施形態について説明する。なお、第1実施形態と同様の構成である部分については、同一符号を付して説明を省略する。
次に、本開示の第2実施形態について説明する。なお、第1実施形態と同様の構成である部分については、同一符号を付して説明を省略する。
<システムの概要>
図20を参照して、第2実施形態に係る眼底画像表示システム200の構成を説明する。眼底画像表示システム200は、眼軸長測定装置120に代えて、MRI装置220を備える。また眼底画像表示システム200は、第1実施形態の画像ビューワ150に代えて、画像ビューワ250を備える。画像ビューワ250は、CPU162に代えて、CPU262を備えている。ここでは、単一のCPUを例示しているが、本開示の技術はこれに限らず、複数のCPUを適用してもよい。なお、画像ビューワ250は本開示の三次元眼底画像生成装置の一例である。
図20を参照して、第2実施形態に係る眼底画像表示システム200の構成を説明する。眼底画像表示システム200は、眼軸長測定装置120に代えて、MRI装置220を備える。また眼底画像表示システム200は、第1実施形態の画像ビューワ150に代えて、画像ビューワ250を備える。画像ビューワ250は、CPU162に代えて、CPU262を備えている。ここでは、単一のCPUを例示しているが、本開示の技術はこれに限らず、複数のCPUを適用してもよい。なお、画像ビューワ250は本開示の三次元眼底画像生成装置の一例である。
<三次元眼底画像の生成・記録プロセス>
以下、第2実施形態における眼底三次元画像の生成及び記録の詳細を説明する。
以下、第2実施形態における眼底三次元画像の生成及び記録の詳細を説明する。
[眼底画像の撮影]
第1実施形態と同様であるため、説明を省略する。ただし、後述する位置決定との関係から、第2実施形態において眼科撮影装置110によって撮影される二次元眼底画像は、2つの生物学的特徴点を含んでいる必要がある。
第1実施形態と同様であるため、説明を省略する。ただし、後述する位置決定との関係から、第2実施形態において眼科撮影装置110によって撮影される二次元眼底画像は、2つの生物学的特徴点を含んでいる必要がある。
[MRI撮影]
眼底画像表示システム200は、眼軸長測定装置120による眼軸長測定に代えて、被検眼12についてMRI装置220による三次元MRI撮影を行う。これにより、眼軸長にとどまらず、被検眼12の形状について詳細な情報が得られる。
眼底画像表示システム200は、眼軸長測定装置120による眼軸長測定に代えて、被検眼12についてMRI装置220による三次元MRI撮影を行う。これにより、眼軸長にとどまらず、被検眼12の形状について詳細な情報が得られる。
MRI装置220の図示しない制御装置は、ネットワーク130を介して、三次元MRI撮影により取得した被検眼12の形状に係るMRI形状データ及び被検者のIDを画像管理サーバ140へ送信する。画像管理サーバ140の図示しない制御装置は、受信したMRI形状データを被検眼12に係る被検者のIDと紐付けて、図示しない二次記憶装置に記録する。
[画像ビューワ250が実行する処理]
第2実施形態では、三次元の眼球モデルは、MRI装置220により取得した被検眼12の形状に係るMRI形状データに基づき、モデル生成部274として機能する画像ビューワ250のCPU262によって決定される。そして、画像ビューワ250のCPU262が三次元眼球モデルに眼科撮影装置110で撮影された二次元眼底画像を貼り付けることにより、三次元眼底画像が生成される。
第2実施形態では、三次元の眼球モデルは、MRI装置220により取得した被検眼12の形状に係るMRI形状データに基づき、モデル生成部274として機能する画像ビューワ250のCPU262によって決定される。そして、画像ビューワ250のCPU262が三次元眼球モデルに眼科撮影装置110で撮影された二次元眼底画像を貼り付けることにより、三次元眼底画像が生成される。
図21、22は、第2実施形態において三次元眼底画像表示を行う処理プログラムの一例を示すフローチャートである。図21、22は、画像ビューワ250の実行する処理プログラムの一例を示している。
ここで、画像ビューワ250の実行する処理プログラムは、具体的にはデータ取得部272、モデル生成部274、画像生成部276、及び画像送信部279として機能する画像ビューワ250のCPU262によって実行される。
被検者の被検眼12について、眼科撮影装置110による二次元眼底画像の撮影とMRI装置220による三次元MRI撮影とは既に終了しており、画像管理サーバ140の図示しない二次記憶装置には、二次元眼底画像データとMRI形状データとが記憶されているとする。三次元眼底画像の生成を希望するユーザは、その旨を、マウス155Mまたはキーボード155Kの操作により、画像ビューワ150に入力する。これにより、図21、22に示された画像ビューワ150の処理プログラムの実行が開始され、第2実施形態に係る三次元眼底画像表示を行う処理プロセスが開始される。図21は、当該処理プロセスの全体を示すフローチャートである。
<A:眼球モデルの生成>
図21のステップS2102、S2104においては、データ取得部272が処理を実行する。また図21のステップS2106においては、モデル生成部274が処理を実行する。
図21のステップS2102、S2104においては、データ取得部272が処理を実行する。また図21のステップS2106においては、モデル生成部274が処理を実行する。
ステップS2102及びS2104は、第1実施形態の図10のステップS1002及びS1004に対して、送受信されるデータのうち眼軸長データがMRI形状データに代わっただけである。よって、詳しい説明は省略する。
次に、処理はステップS2106へ移行する。以下、モデル生成部274が処理を実行する。
ステップS2106において、モデル生成部274は、既知の三次元MRI技術を用いて、被検眼12のMRI形状データから被検眼12の三次元眼球モデルを生成し、画像ビューワ250の二次記憶装置154へ記録する。したがって、第2実施形態の眼球モデル生成には、第1実施形態での医学的知見に基づく5つのモデルの仮定、及びユーザの選択・決定というプロセスは存在しない。
<B:位置決定>
図21において、ステップS2108以降の処理は、画像生成部276および画像送信部279として機能する画像ビューワ250のCPU262によって実行される。
図21において、ステップS2108以降の処理は、画像生成部276および画像送信部279として機能する画像ビューワ250のCPU262によって実行される。
図21のステップS2108において、画像生成部276は位置決定を行う。
第2実施形態における位置決定プロセスは、サブルーチンとして図22に示されている。図22は、画像生成部276としての画像ビューワ250のCPU262が実行する処理プログラムの一例を示すサブルーチンである。
第2実施形態における位置決定は、眼底における2つの生物学的な特徴点の位置を用いて行われる。具体的には、三次元眼球モデルにおける第1特徴点及び第2特徴点の位置が、それぞれ二次元眼底画像における第1特徴点及び第2特徴点の位置に整合するように、位置決定を行う。
一例として、第2実施形態の眼科撮影装置110によって、眼底の中心付近の眼底画像が撮影されたとする。この場合、第1特徴点を中心窩、第2特徴点を視神経乳頭位置とすることができる。
ステップS2202において、画像生成部276は、三次元眼球モデルにおける視神経乳頭位置を検出する。(MRI装置220により取得され画像ビューワ250の二次記憶装置154に記録されている)MRI形状データには被検眼12の形状に関する詳細な情報が含まれているため、既知の三次元MRI技術を用いて、MRI形状データから三次元眼球モデルにおいて後眼部で眼球と視神経とが交わる点を検出し、これを三次元眼球モデルにおける視神経乳頭位置として特定する。
次にステップS2204において、画像生成部276は、三次元眼球モデルにおける中心窩を検出する。MRI形状データには被検眼12の形状に関する詳細な情報が含まれているため、既知の三次元MRI技術を用いて、MRI形状データから三次元眼球モデルにおける中心窩を検出することができる。
図23に、三次元眼球モデルにおける視神経乳頭位置と中心窩の検出の例を示す。眼球中心Oを通りZ軸に平行な眼軸が後眼部と交わる点を、中心窩として特定する。
次に、ステップS2206において、画像生成部276は、既知の画像処理技術によって、二次元平面画像内の中心窩及び視神経乳頭位置を検出する。
図24に、二次元平面画像における中心窩及び視神経乳頭位置の検出の例を示す。
なお、ステップS2202、S2204、S2206の順序は互いに交換可能である。
ステップS2208において、画像生成部276は、三次元眼球モデルにおける中心窩及び視神経乳頭位置が、それぞれ二次元眼底画像における中心窩及び視神経乳頭位置に整合するように、位置決定を行う。そして画像生成部276は、位置決定サブルーチンを終了する(図22のRETURN)。
<C:三次元眼底画像の作成・表示>
画像生成部276の処理は、図21のステップS1010に移行する。ステップS1010及びS1014は、図10に示された第1実施形態の処理と同様であるため、説明を省略する。
画像生成部276の処理は、図21のステップS1010に移行する。ステップS1010及びS1014は、図10に示された第1実施形態の処理と同様であるため、説明を省略する。
ただし、図21のステップS2112におけるディスプレイへの表示は、図16に示した第1実施例の表示とは異なるので、この点について説明する。図25は、ステップS2012において画像生成部276が生成する画像信号に基づき、画像ビューワ250のディスプレイ156の表示画面に表示させる眼底画像表示画面280の一例を示す。
図25に示された眼底画像表示画面280は、二次元眼底画像表示領域286と、三次元眼底画像表示領域288と、眼球モデル表示領域290を含んでいる。図16に示された第1実施形態の眼底画像表示画面80と比較すると、第2実施形態の眼底画像表示画面280は、MRI装置220により取得したMRI形状データから生成した三次元眼球モデル自体を眼球モデル表示領域290に表示する点が異なる。
以上において、第2実施形態の位置決定に係る2つの生物学的な特徴点は、中心窩及び視神経乳頭であるものとして説明した。しかしながら生物学的な特徴点はこれらに限られるものでなく、眼科撮影装置110によって撮影される眼底領域に含まれており、位置決定に利用できるものであればよい。
本開示の第2実施形態によれば、三次元MRI撮影に基づく正確な三次元眼球モデルに対し、被検眼の眼底における複数の生物学的特徴点を利用して適切な位置決定をした上で二次元眼底画像を貼り付ける画像処理を行うことにより、現実により近い三次元眼底画像を得ることができる。
上記各実施形態で説明した処理プロセス、すなわち、図10、図11、図15、図21、及び図22に示す処理プロセス(以下、単に「処理プロセス」と称する)は、あくまでも一例である。従って、本開示の技術の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記各実施形態では、コンピュータを利用したソフトウェア構成により処理プロセスが実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Application Specific Integrated Circuit)又はASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、処理プロセスが実行されるようにしてもよい。処理プロセスがソフトウェア構成とハードウェア構成との組み合わせた構成によって実行されるようにしてもよい。
処理プロセスを実行するハードウェア資源としては、例えば、プログラムを実行することで各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、他のハードウェア資源としては、例えば、専用に設計されたFPGA、PLD(Programmable Logic Device)、又はASICなどの回路構成を有するプロセッサである専用電気回路が挙げられる。また、これらのプロセッサのハードウェア的な構造としては、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。各種処理を実行するハードウェア資源は、上述した複数種類のプロセッサのうちの1つであってもよいし、同種または異種の2つ以上のプロセッサの組み合わせであってもよい。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、かつ、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本出願は、2017年10月13日出願の日本出願である特願2017-199485の優先権を主張するものであり、この出願の全内容は参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (13)
- 複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力することと、
選択された眼球モデルに基づいて、被検眼の二次元眼底画像を変換し、三次元眼底画像を生成することと、
前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力することと、
を含む画像信号出力方法。 - 前記眼球モデル選択画面は、
前記被検眼の眼軸長を表示する眼軸長表示領域と、
複数の前記眼球モデルを表示する眼球モデル表示領域と、を含む
請求項1に記載の画像信号出力方法。 - 前記眼軸長表示領域には、異なる固視位置で測定された複数の眼軸長が表示される
請求項2に記載の画像信号出力方法。 - 前記眼球モデル表示領域には、
前記眼球モデルを示す図形、前記眼球モデルの名称を示す文字列、あるいは、前記図形と前記文字列との組み合わせが表示される
請求項2又は請求項3に記載の画像信号出力方法。 - 前記眼底画像表示画面は、
前記二次元眼底画像を表示する二次元眼底画像表示領域と、
前記三次元眼底画像を表示する三次元眼底画像表示領域と、
を含む請求項1から請求項4の何れか1項に記載の画像信号出力方法。 - 複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力する第1出力部と、
選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成する生成部と、
前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力する第2出力部と、
を含む画像信号出力装置。 - 複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を生成する第1画像生成部と、
選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成する三次元画像生成部と、
前記三次元眼底画像を含む眼底画像表示画面を生成する第2画像生成部と、
前記眼球モデル選択画面あるいは前記眼底画像表示画面に対応する画像信号を出力する画像信号出力部と、
を含む画像信号出力装置。 - コンピュータに、
複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力することと、
選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成することと、
前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力すること、
を含む処理を実行させるためのプログラム。 - コンピュータに、
複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を生成することと、
選択された眼球モデルに基づいて、二次元眼底画像を変換し三次元眼底画像を生成することと、
前記三次元眼底画像を含む眼底画像表示画面を生成することと、
前記眼球モデル選択画面あるいは前記眼底画像表示画面に対応する画像信号を出力することと、
を含む処理を実行させるためのプログラム。 - 眼科撮影装置と、
複数の異なる型の眼球モデルの中から一つを選択するための眼球モデル選択画面を表示させる第1画像信号を出力することと、
選択された眼球モデルに基づいて、前記眼科撮影装置により撮影されることで得られた二次元眼底画像を変換し三次元眼底画像を生成することと、
前記三次元眼底画像を含む眼底画像表示画面を表示させる第2画像信号を出力することと、を含む処理を実行する画像信号出力装置と、
を含む眼科システム。 - 被検眼の眼球形状情報に基づいて、前記被検眼の眼球モデルを生成することと、
前記被検眼の二次元眼底画像における複数の生物学的特徴点と、前記眼球モデルにおける複数の前記生物学的特徴点の位置とに基づいて、前記二次元眼底画像と前記眼球モデルとの位置合わせを行うことと、
前記位置合わせに基づいて、前記二次元眼底画像を変換し、三次元眼底画像を生成することと、
を含む三次元眼底画像生成方法。 - 前記眼球形状情報は、MRIで得られた三次元情報に基づいた眼球形状を含む、
請求項11に記載の三次元眼底画像生成方法。 - MRI装置と、
前記MRI装置で得られた三次元情報による被検眼の眼球形状情報に基づいて、前記被検眼の眼球モデルを生成することと、
眼科撮影装置で撮影されることで得られた前記被検眼の二次元眼底画像における複数の生物学的特徴点と、前記眼球モデルにおける複数の前記生物学的特徴点の位置とに基づいて、前記二次元眼底画像と前記眼球モデルとの位置合わせを行うことと、
前記位置合わせに基づいて、前記二次元眼底画像を変換し、三次元眼底画像を生成することと、を含む処理を実行する画像生成装置と、
を含む眼科システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/753,149 US11900533B2 (en) | 2017-10-13 | 2018-10-11 | Ophthalmic system, image signal output method, image signal output device, program, and three-dimensional fundus image generation method |
| JP2019548246A JP7334621B2 (ja) | 2017-10-13 | 2018-10-11 | 眼科システム、画像処理方法、画像処理装置及びプログラム |
| JP2023132632A JP2023164834A (ja) | 2017-10-13 | 2023-08-16 | 眼科システム、画像処理方法、画像処理装置及びプログラム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-199485 | 2017-10-13 | ||
| JP2017199485 | 2017-10-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019074077A1 true WO2019074077A1 (ja) | 2019-04-18 |
Family
ID=66100916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/037998 Ceased WO2019074077A1 (ja) | 2017-10-13 | 2018-10-11 | 眼科システム、画像信号出力方法、画像信号出力装置、プログラム、及び三次元眼底画像生成方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11900533B2 (ja) |
| JP (2) | JP7334621B2 (ja) |
| WO (1) | WO2019074077A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021079504A1 (ja) * | 2019-10-25 | 2021-04-29 | ||
| WO2023038359A1 (ko) * | 2021-09-10 | 2023-03-16 | 가톨릭대학교 산학협력단 | Mri 영상과 oct 영상의 병합을 이용한 안구 및 시신경의 3차원 모델링 방법 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2968270T3 (es) * | 2017-07-19 | 2024-05-08 | Univ Berlin Charite | Procedimiento y programa informático para estimar los parámetros de forma de la fóvea mediante tomografía de coherencia óptica |
| US11744455B2 (en) * | 2017-08-01 | 2023-09-05 | Nikon Corporation | Image signal output device and method, and image data conversion device, method, and program |
| US12379586B2 (en) * | 2021-03-08 | 2025-08-05 | Oregon Health & Science University | Techniques for sensorless adaptive optics optical coherence tomography |
| SE2151198A1 (en) * | 2021-09-30 | 2023-03-31 | Tobii Ab | Gaze defect compensation |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000210260A (ja) * | 1999-01-22 | 2000-08-02 | Mitsubishi Electric Corp | 眼底画像システム |
| JP2006061196A (ja) * | 2004-08-24 | 2006-03-09 | Institute Of Physical & Chemical Research | 3次元眼底画像の構築・表示装置 |
| JP2013048696A (ja) * | 2011-08-30 | 2013-03-14 | Dainippon Printing Co Ltd | 眼科疾患の画像解析装置、眼科疾患の画像解析方法及び眼科疾患の画像解析プログラム |
| WO2016039187A1 (ja) * | 2014-09-08 | 2016-03-17 | 株式会社トプコン | 眼科撮影装置および眼科情報処理装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3625064B2 (ja) | 2002-06-28 | 2005-03-02 | 独立行政法人理化学研究所 | 眼底の立体表示および座標計測装置 |
| JP5601613B2 (ja) * | 2010-07-05 | 2014-10-08 | 株式会社ニデック | 眼底撮影装置 |
| JP5794664B2 (ja) * | 2011-01-20 | 2015-10-14 | キヤノン株式会社 | 断層画像生成装置及び断層画像生成方法 |
| JP5728302B2 (ja) * | 2011-06-14 | 2015-06-03 | キヤノン株式会社 | 眼科装置、眼科システム、眼科装置の制御方法、及び該制御方法のプログラム |
| US8992232B2 (en) * | 2011-09-20 | 2015-03-31 | Orca Health, Inc. | Interactive and educational vision interfaces |
| GB201307990D0 (en) | 2013-05-02 | 2013-06-12 | Optos Plc | Improvements in and relating to imaging of the eye |
-
2018
- 2018-10-11 JP JP2019548246A patent/JP7334621B2/ja active Active
- 2018-10-11 US US16/753,149 patent/US11900533B2/en active Active
- 2018-10-11 WO PCT/JP2018/037998 patent/WO2019074077A1/ja not_active Ceased
-
2023
- 2023-08-16 JP JP2023132632A patent/JP2023164834A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000210260A (ja) * | 1999-01-22 | 2000-08-02 | Mitsubishi Electric Corp | 眼底画像システム |
| JP2006061196A (ja) * | 2004-08-24 | 2006-03-09 | Institute Of Physical & Chemical Research | 3次元眼底画像の構築・表示装置 |
| JP2013048696A (ja) * | 2011-08-30 | 2013-03-14 | Dainippon Printing Co Ltd | 眼科疾患の画像解析装置、眼科疾患の画像解析方法及び眼科疾患の画像解析プログラム |
| WO2016039187A1 (ja) * | 2014-09-08 | 2016-03-17 | 株式会社トプコン | 眼科撮影装置および眼科情報処理装置 |
Non-Patent Citations (1)
| Title |
|---|
| ZANET, SANDRO I: "De, Landmark Detection for Fusion of Fundus and MRI Toward a Patient-Specific Multimodal Eye Model", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, vol. 62, no. 2, February 2015 (2015-02-01), pages 532 - 540, XP011570471, DOI: doi:10.1109/TBME.2014.2359676 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021079504A1 (ja) * | 2019-10-25 | 2021-04-29 | ||
| WO2021079504A1 (ja) * | 2019-10-25 | 2021-04-29 | 株式会社ニコン | 画像処理方法、画像処理装置、及びプログラム |
| US20230000337A1 (en) * | 2019-10-25 | 2023-01-05 | Nikon Corporation | Image processing method, image processing device, and program |
| JP7472914B2 (ja) | 2019-10-25 | 2024-04-23 | 株式会社ニコン | 画像処理方法、画像処理装置、及びプログラム |
| WO2023038359A1 (ko) * | 2021-09-10 | 2023-03-16 | 가톨릭대학교 산학협력단 | Mri 영상과 oct 영상의 병합을 이용한 안구 및 시신경의 3차원 모델링 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200258295A1 (en) | 2020-08-13 |
| JPWO2019074077A1 (ja) | 2020-11-26 |
| US11900533B2 (en) | 2024-02-13 |
| JP7334621B2 (ja) | 2023-08-29 |
| JP2023164834A (ja) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7334621B2 (ja) | 眼科システム、画像処理方法、画像処理装置及びプログラム | |
| JP7381671B2 (ja) | スリットランプ顕微鏡 | |
| JP7466607B2 (ja) | スリットランプ顕微鏡 | |
| JP5058627B2 (ja) | 眼底観察装置 | |
| JP7622154B2 (ja) | スリットランプ顕微鏡 | |
| US9980643B2 (en) | Ophthalmologic apparatus | |
| JP5975126B2 (ja) | 眼底観察装置及び眼底観察プログラム | |
| JP7057186B2 (ja) | 眼科装置、及び眼科情報処理プログラム | |
| JP5324839B2 (ja) | 光画像計測装置 | |
| EP2786700B1 (en) | Ophthalmologic apparatus | |
| EP2786699B1 (en) | Ophthalmologic apparatus | |
| JP7154044B2 (ja) | スリットランプ顕微鏡及び眼科システム | |
| US11918286B2 (en) | Ophthalmic instrument, management method, and management device | |
| JP7345594B2 (ja) | スリットランプ顕微鏡及び眼科システム | |
| JP2017169602A (ja) | 眼科装置 | |
| JP2024152821A (ja) | スリットランプ顕微鏡 | |
| JP7585800B2 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
| JP2006061196A (ja) | 3次元眼底画像の構築・表示装置 | |
| JP6723843B2 (ja) | 眼科装置 | |
| JP7163921B2 (ja) | 画像信号出力装置及び方法、画像データ変換装置及び方法、およびプログラム | |
| JP2021069818A (ja) | 撮影装置、撮影装置の制御方法、及びプログラム | |
| JP2022087264A (ja) | 眼科システム、眼科情報処理装置、プログラム、及び記録媒体 | |
| JP2021052862A (ja) | 眼科装置、眼科システム、及び眼科装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18865756 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2019548246 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18865756 Country of ref document: EP Kind code of ref document: A1 |