WO2019044075A1 - 画像生成装置および作動方法 - Google Patents
画像生成装置および作動方法 Download PDFInfo
- Publication number
- WO2019044075A1 WO2019044075A1 PCT/JP2018/020264 JP2018020264W WO2019044075A1 WO 2019044075 A1 WO2019044075 A1 WO 2019044075A1 JP 2018020264 W JP2018020264 W JP 2018020264W WO 2019044075 A1 WO2019044075 A1 WO 2019044075A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- photoacoustic
- photoacoustic image
- sound velocity
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
- A61B5/0095—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
- A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
- A61B5/6848—Needles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient; User input means
- A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
- A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
Definitions
- the present invention relates to an image generating apparatus that generates a photoacoustic image based on a detection signal obtained by detecting by a acoustic wave detection unit a photoacoustic wave emitted from a tip portion of an insert inserted into a subject And an operation method of the image generation apparatus.
- Ultrasonography is known as a type of imaging that can noninvasively inspect the internal condition of a living body.
- an ultrasonic probe capable of transmitting and receiving ultrasonic waves is used.
- the ultrasonic waves travel inside the living body and are reflected at the tissue interface.
- the internal appearance can be imaged by calculating the distance based on the time it takes for the reflected ultrasound to be received by the ultrasound probe and for the reflected ultrasound to return to the ultrasound probe. .
- photoacoustic imaging which image-forms the inside of a biological body using a photoacoustic effect is known.
- pulsed laser light is applied to the inside of a living body.
- living tissue absorbs the energy of the pulsed laser light, and adiabatic expansion by the energy generates an ultrasonic wave (photoacoustic wave).
- photoacoustic wave ultrasonic wave
- Visualization of the inside of the living body based on the photoacoustic wave is possible by detecting the photoacoustic wave by an ultrasonic probe or the like and constructing a photoacoustic image based on the detection signal.
- a puncture needle in which a photoacoustic wave generating unit for absorbing light and generating a photoacoustic wave is provided in the vicinity of the tip.
- a photoacoustic wave generating unit for absorbing light and generating a photoacoustic wave is provided in the vicinity of the tip.
- an optical fiber is provided up to the tip of the puncture needle, and the light guided by the optical fiber is irradiated to the photoacoustic wave generation unit.
- the photoacoustic wave generated in the photoacoustic wave generation unit is detected by the ultrasonic probe, and a photoacoustic image is generated based on the detection signal.
- a portion of the photoacoustic wave generation unit appears as a bright spot, and the position of the puncture needle can be confirmed using the photoacoustic image.
- Patent Document 1 discloses that an area in a predetermined range including pixels having the highest luminance or contrast in an image is set as an attention area, and the sound velocity correction processing is performed only on the attention area. Can be reduced.
- the pixel in the noise portion may be higher in luminance or contrast than the pixel indicating the tip portion of the puncture needle.
- the tip area of the puncture needle to be most accurately confirmed in the photoacoustic image is There is a risk that the resolution of the tip area of the puncture needle may be degraded out of the sound velocity correction range.
- the present invention in photoacoustic imaging using an insert such as a puncture needle, insertion in a photoacoustic image when sound velocity correction is performed on only a partial region of the photoacoustic image to reduce processing load. It is an object of the present invention to provide an image generation device in which the reduction in resolution of a tip region of an object is suppressed and an operation method of the image generation device.
- the image generating apparatus comprises a detection signal obtained by detecting by means of an acoustic wave detection means a photoacoustic wave emitted from a tip portion of an insert inserted into a subject, an acoustic velocity in the subject and
- a high signal value pixel assembly unit having a region size larger than the reference region size Among the photoacoustic images for each speed of sound generated by changing the speed of sound in the predetermined range of sound velocity for the tip region, the velocity of the photoacoustic image at which the image evaluation value is maximized is extracted as the tip region.
- an acoustic velocity setting unit configured to set the acoustic velocity in the subject.
- the image evaluation value means an evaluation value for evaluating the image quality of the photoacoustic image.
- the image evaluation value indicates that the higher the evaluation value, the better the image quality.
- the image evaluation value is, for example, an evaluation value indicating the smallness of the intensity variation of the signal phase-adjusted based on the sharpness of the photoacoustic image, the contrast of the photoacoustic image, or the speed of sound at the time of image generation in the tip region. be able to.
- This image evaluation value may be calculated based on the pixel arrangement in both directions of the horizontal direction and the depth direction (longitudinal direction) of the photoacoustic image, or may be calculated based on the pixel arrangement only in the horizontal direction.
- the sound velocity correction in the image generation apparatus of the present invention is particularly effective in improving the image quality in the lateral direction of the photoacoustic image in the lateral direction and the depth direction (longitudinal direction). It is preferable to calculate the image evaluation value of a photoacoustic image based on it.
- the reference area size is the type of the insert, the generation condition of the photoacoustic wave, the type of the acoustic wave detection means, the frequency characteristic of the acoustic wave detection means, the reception detection frequency band for the acoustic wave detection means, or the photoacoustic image It may be adjusted based on the display size.
- the sound speed setting unit specifies a high signal value pixel group portion having a larger area size than the reference area size by image recognition, and extracts a predetermined range area including the extracted high signal value pixel group portion as a tip area. It is also good.
- the sound velocity setting unit performs reduction processing for reducing the signal intensity of the high signal value pixel group portion having a region size smaller than the reference region size in the photoacoustic image generated based on the assumed sound velocity and the detection signal, In the photoacoustic image subjected to the reduction processing, a region of a predetermined range including the pixel with the highest signal value may be extracted as the tip region.
- the reduction processing may be low-pass filter processing having a half-value width of 0.5 times or more and 2 times or less of the reference area size, or may be smoothing filter processing.
- the smoothing filter process it is preferable that the smoothing effect in the depth direction in the photoacoustic image is larger than the smoothing effect in the lateral direction.
- a detection signal obtained by detecting the photoacoustic wave emitted from the tip of the insert inserted into the subject by the acoustic wave detection means, and the speed of sound in the subject A method of operating an image generation apparatus comprising: a photoacoustic image generation unit for generating a photoacoustic image; and a sound velocity setting unit for setting a sound velocity in a subject, the sound velocity setting unit being an assumed sound velocity.
- a region of a predetermined range including a high signal value pixel aggregate portion of a region size larger than the reference region size is extracted as a tip region, and the tip region is in a predetermined sound velocity range.
- the speed of sound of the photoacoustic image at which the image evaluation value is maximum is set as the speed of sound in the subject.
- the image evaluation value may be a small intensity variation of the phase-adjusted signal based on the sharpness of the photoacoustic image, the contrast of the photoacoustic image, or the speed of sound at the time of image generation in the tip region. It can be the evaluation value shown.
- the reference area size is the type of the insert, the generation condition of the photoacoustic wave, the type of the acoustic wave detection means, the frequency characteristic of the acoustic wave detection means, the reception detection frequency band for the acoustic wave detection means, or the photoacoustic image It may be adjusted based on the display size.
- the sound speed setting unit specifies a high signal value pixel group portion having a larger area size than the reference area size by image recognition, and extracts a predetermined range area including the extracted high signal value pixel group portion as a tip area. It is also good.
- the sound velocity setting unit performs reduction processing for reducing the signal intensity of the high signal value pixel group portion having a region size smaller than the reference region size in the photoacoustic image generated based on the assumed sound velocity and the detection signal, In the photoacoustic image subjected to the reduction processing, a region of a predetermined range including the pixel with the highest signal value may be extracted as the tip region.
- the reduction processing may be low-pass filter processing having a half-value width of 0.5 times or more and 2 times or less of the reference area size, or may be smoothing filter processing.
- the smoothing filter process it is preferable that the smoothing effect in the depth direction in the photoacoustic image is larger than the smoothing effect in the lateral direction.
- the image generation apparatus and operation method according to the present invention include a detection signal obtained by detecting a photoacoustic wave emitted from an end of an insert inserted into a subject by an acoustic wave detection unit, and an inside of the subject
- the image generation apparatus including a photoacoustic image generation unit that generates a photoacoustic image and a sound velocity setting unit that sets the sound velocity in the subject based on the sound velocity in the image
- the sound velocity setting unit is detected as the assumed sound velocity.
- an area of a predetermined range including a high signal value pixel aggregate portion of an area size larger than the reference area size is extracted as a tip area, and the speed of sound in the predetermined speed range of the tip area Setting the speed of sound of the photoacoustic image at which the image evaluation value is maximum among the photoacoustic images generated at different speeds of sound as the speed of sound in the object, the processing load is low. Because the tip region of the insert is appropriately selected as the sound velocity correction range when the sound velocity correction is performed for only a partial region of the photoacoustic image, the tip region of the insert in the photoacoustic image is It is possible to suppress the reduction in resolution.
- a block diagram showing a schematic configuration of a photoacoustic image generation apparatus which is an embodiment of the image generation apparatus of the present invention
- Cross-sectional view showing the configuration of the tip portion of the puncture needle
- a diagram showing an example of an image in which an ultrasonic image and a photoacoustic image are superimposed The figure which shows only a photoacoustic image among the superimposed images shown in FIG. Flow chart for explaining the method of sound velocity correction processing of photoacoustic image
- Enlarged view of the tip of the puncture needle in the photoacoustic image shown in FIG. 4 Enlarged view of the noise part of the photoacoustic image shown in FIG.
- FIG. 1 is a block diagram showing a schematic configuration of the photoacoustic image generation apparatus.
- the photoacoustic image generation apparatus 10 includes an ultrasonic probe 11 as an acoustic wave detection unit, an ultrasonic unit 12, a laser unit 13, and a puncture needle 15 as an insert. Have.
- the puncture needle 15 and the laser unit 13 are connected by an optical cable 16 having an optical fiber.
- the puncture needle 15 is attachable to and detachable from the optical cable 16 and configured to be disposable.
- an ultrasonic wave is used as the acoustic wave.
- the present invention is not limited to the ultrasonic wave, and if an appropriate frequency is selected according to an object to be detected or a measurement condition, an acoustic wave of audible frequency is used. You may use.
- the laser unit 13 includes a solid-state laser light source using, for example, YAG (yttrium aluminum garnet) and alexandrite.
- the laser beam emitted from the solid state laser light source of the laser unit 13 is guided by the optical cable 16 and is incident on the puncture needle 15.
- the laser unit 13 of the present embodiment emits pulsed laser light in the near infrared wavelength range.
- the near infrared wavelength range means a wavelength range of about 700 nm (nanometers) to 2500 nm (nanometers).
- the solid-state laser light source is used, but another laser light source such as a gas laser light source may be used, or a light source other than the laser light source may be used.
- the puncture needle 15 is an embodiment of the insert of the present invention, and is a needle to be punctured by a subject.
- FIG. 2 is a cross-sectional view including a central axis extending in the longitudinal direction of the puncture needle 15.
- the puncture needle 15 has an opening at the tip formed at an acute angle, and guides the laser light emitted from the hollow needle body 15a and the laser unit 13 to the vicinity of the opening of the puncture needle 15 It includes an optical fiber 15b and a photoacoustic wave generation unit 15c that absorbs laser light emitted from the optical fiber 15b to generate a photoacoustic wave.
- the optical fiber 15b and the photoacoustic wave generation unit 15c are disposed in the hollow portion 15d of the puncture needle main body 15a.
- the optical fiber 15b is connected to the optical fiber in the optical cable 16 (see FIG. 1), for example, via an optical connector provided at the proximal end of the puncture needle 15. For example, 0.2 mJ (millijoules) of laser light is emitted from the light emitting end of the optical fiber 15b.
- the photoacoustic wave generation unit 15c is provided at the light emitting end of the optical fiber 15b, and is provided near the tip of the puncture needle 15 and on the inner wall of the puncture needle main body 15a.
- the photoacoustic wave generation unit 15c absorbs the laser light emitted from the optical fiber 15b to generate a photoacoustic wave.
- the photoacoustic wave generation unit 15 c is formed of, for example, an epoxy resin mixed with a black pigment, a polyurethane resin, a fluorine resin, a silicone rubber, or the like.
- FIG. 2 although the direction of the photoacoustic wave generation part 15c is drawn larger than the optical fiber 15b, it is not limited to this, The photoacoustic wave generation part 15c is comparable as the diameter of the optical fiber 15b. The size of the
- the photoacoustic wave generation unit 15 c is not limited to the above-described one, and a metal film or an oxide film having light absorbability with respect to the wavelength of laser light may be used as the photoacoustic wave generation unit.
- a film of an oxide such as iron oxide, chromium oxide, manganese oxide or the like having high light absorbability with respect to the wavelength of the laser light can be used.
- a metal film such as Ti (titanium) or Pt (platinum) having a light absorbability lower than that of an oxide but having high biocompatibility may be used as the photoacoustic wave generation unit 15c.
- the position at which the photoacoustic wave generation unit 15c is provided is not limited to the inner wall of the puncture needle main body 15a.
- a metal film or oxide film which is the photoacoustic wave generation unit 15c, is formed on the light emitting end of the optical fiber 15b with a film thickness of, for example, about 100 nm (nanometers) by evaporation or the like.
- the light emitting end may be covered.
- at least a portion of the laser light emitted from the light emitting end of the optical fiber 15b is absorbed by the metal film or oxide film covering the light emitting end, and the photoacoustic wave is transmitted from the metal film or oxide film. It occurs.
- the ultrasound probe 11 detects the photoacoustic wave emitted from the photoacoustic wave generation unit 15 c after the puncture needle 15 punctures the subject.
- the ultrasound probe 11 includes an acoustic wave detection unit 20 that detects a photoacoustic wave.
- the acoustic wave detection unit 20 includes a piezoelectric element array in which a plurality of piezoelectric elements for detecting photoacoustic waves are arranged in one dimension, and a multiplexer.
- the piezoelectric element is an ultrasonic transducer, for example, a piezoelectric element or a piezoelectric element composed of a polymer film such as polyvinylidene fluoride (PVDF).
- the acoustic wave detection unit 20 includes an acoustic lens, an acoustic matching layer, a backing material, a control circuit of a piezoelectric element array, and the like.
- the ultrasonic probe 11 transmits the acoustic wave (ultrasound) to the subject in addition to the detection of the photoacoustic wave by the piezoelectric element array of the acoustic wave detection unit 20, and the reflected acoustic wave to the transmitted ultrasonic wave ( Reception of reflected ultrasound).
- the transmission and reception of ultrasonic waves may be performed at separate positions.
- ultrasonic waves may be transmitted from a position different from that of the ultrasonic probe 11, and reflected ultrasonic waves to the transmitted ultrasonic waves may be received by the piezoelectric element array of the ultrasonic probe 11.
- a linear ultrasonic probe, a convex ultrasonic probe, a sector ultrasonic probe, or the like can be used.
- the ultrasound unit 12 includes a reception circuit 21, a reception memory 22, a data separation unit 23, a photoacoustic image generation unit 24, an ultrasound image generation unit 25, an image output unit 26, a transmission control circuit 27, and a control unit 28.
- the control unit 28 has a function as a sound speed setting unit 29 that sets the sound speed in the subject.
- the ultrasound unit 12 typically includes a processor, a memory, a bus, and the like. In the ultrasonic unit 12, programs relating to photoacoustic image generation processing, ultrasonic image generation processing, sound velocity setting processing, and the like are incorporated in a memory.
- control unit 28 configured by a processor
- the functions of the data separation unit 23, the photoacoustic image generation unit 24, the ultrasonic image generation unit 25, the sound velocity setting unit 29, and the like are realized. That is, these units are configured by a memory and a processor in which a program is incorporated.
- the hardware configuration of the ultrasound unit 12 is not particularly limited, and a plurality of integrated circuits (ICs), processors, application specific integrated circuits (ASICs), field-programmable gate arrays (FPGAs), memories, etc. are appropriately combined. Can be realized by
- the receiving circuit 21 receives the detection signal output from the ultrasound probe 11 and stores the received detection signal in the reception memory 22.
- the receiving circuit 21 typically includes a low noise amplifier, a variable gain amplifier, a low pass filter, and an analog to digital converter.
- the detection signal of the ultrasonic probe 11 is amplified by a low noise amplifier, then gain adjusted according to the depth by a variable gain amplifier, high frequency components are cut by a low pass filter, and then converted to a digital signal by an AD converter. It is converted and stored in the reception memory 22.
- the receiving circuit 21 is configured of, for example, one IC.
- the ultrasonic probe 11 outputs a detection signal of the photoacoustic wave and a detection signal of the reflected ultrasonic wave
- the reception memory 22 detects detection signals of the photoacoustic wave and the reflected ultrasonic wave subjected to AD conversion (sampling data) Is stored.
- the data separation unit 23 reads the detection signal of the photoacoustic wave from the reception memory 22 and transmits the detection signal to the photoacoustic image generation unit 24. Further, the data separation unit 23 reads the detection signal of the reflected ultrasonic wave from the reception memory 22 and transmits it to the ultrasonic image generation unit 25.
- the photoacoustic image generation unit 24 generates a photoacoustic image based on the detection signal of the photoacoustic wave detected by the ultrasound probe 11.
- the photoacoustic image generation process includes, for example, image reconstruction such as phase matching addition, detection, logarithmic conversion, and the like.
- the ultrasonic image generation unit 25 generates an ultrasonic image based on the detection signal of the reflected ultrasonic wave detected by the ultrasonic probe 11.
- the ultrasonic image generation process also includes image reconstruction such as phase matching addition, detection, logarithmic conversion, and the like.
- the image output unit 26 outputs the photoacoustic image, the ultrasonic image, and the like to an image display unit 30 such as a display device.
- the control unit 28 controls each unit in the ultrasonic unit 12.
- the control unit 28 transmits a trigger signal to the laser unit 13 and causes the laser unit 13 to emit laser light. Further, according to the emission of the laser light, the sampling trigger signal is transmitted to the receiving circuit 21 to control the sampling start timing of the photoacoustic wave and the like.
- the sampling data received by the receiving circuit 21 is stored in the receiving memory 22.
- the photoacoustic image generation unit 24 receives the sampling data of the detection signal of the photoacoustic wave through the data separation unit 23, and performs detection at a predetermined detection frequency to generate a photoacoustic image.
- the photoacoustic image generated by the photoacoustic image generation unit 24 is input to the image output unit 26.
- the control unit 28 transmits an ultrasonic wave transmission trigger signal indicating that the ultrasonic wave transmission is instructed to the transmission control circuit 27.
- the transmission control circuit 27 transmits an ultrasonic wave from the ultrasonic probe 11 when receiving the ultrasonic wave transmission trigger signal.
- the ultrasonic probe 11 scans the receiving area of the piezoelectric element group while shifting the line by area, for example, under the control of the control unit 28 to detect a reflected ultrasonic wave.
- the control unit 28 transmits a sampling trigger signal to the reception circuit 21 in accordance with the timing of ultrasonic wave transmission, and starts sampling of reflected ultrasonic waves.
- the sampling data received by the receiving circuit 21 is stored in the receiving memory 22.
- the ultrasonic image generation unit 25 receives sampling data of a detection signal of ultrasonic waves via the data separation unit 23, and generates an ultrasonic image by detection at a predetermined detection frequency.
- the ultrasound image generated by the ultrasound image generation unit 25 is input to the image output unit 26.
- the image output unit 26 combines the photoacoustic image generated by the photoacoustic image generation unit 24 and the ultrasound image generated by the ultrasound image generation unit 25 to generate a display image, and displays an image such as a display device. Output to the unit 30. Note that it is also possible to individually output and display the image on the image display unit 30 without combining the photoacoustic image and the ultrasonic image.
- FIG. 3 is a view showing an example of an image in which an ultrasonic image and a photoacoustic image are superimposed
- FIG. 4 is a view showing only a photoacoustic image among the superimposed images shown in FIG.
- the photoacoustic image generation device 10 can display an image in which an ultrasound image and a photoacoustic image are superimposed.
- the ultrasound image and the photoacoustic image are generated based on the detection signal output from the ultrasound probe 11 and the sound velocity set in advance (for example, the average sound velocity in the object).
- the photoacoustic wave generation unit 15 c is provided at the distal end portion of the puncture needle 15, as shown in FIG. 4, in the photoacoustic image, selective imaging of the distal end portion of the puncture needle 15 may be performed. it can.
- this photoacoustic image it is necessary to be able to accurately confirm the tip position of the puncture needle 15 in the subject, so an image with a particularly high resolution is required.
- a predetermined portion of the photoacoustic image includes the tip portion of the puncture needle 15
- the load on the sound velocity correction process can be reduced by specifying the range region (hereinafter, the tip region) and performing the sound velocity correction process only on the tip region.
- FIG. 5 is a flowchart for explaining the method of sound velocity correction processing of the photoacoustic image in the photoacoustic image generation apparatus 10 of the present embodiment.
- a photoacoustic image is generated based on the assumed sound velocity and the detection signal acquired by the ultrasonic probe 11 (step S1).
- the assumed sound velocity may be set to any velocity, for example, 1530 m / s (meters / second) or 1540 m / s (meters / second), which is the average sound velocity in the subject.
- the “assumed sound velocity” refers to any sound velocity in a sound velocity range that can be considered as “sound velocity in the subject”.
- a region of a predetermined range including a high signal value pixel group portion having a region size larger than the reference region size is extracted as a tip region (step S2).
- high signal value pixel assembly means an assembly of pixels representing a region where the signal value of the detection signal acquired by the ultrasound probe 11 is high, and indicates the tip portion of the puncture needle 15 It means an aggregation of a group of pixels having a signal value equal to or greater than a predetermined threshold, such as a pixel or a pixel indicating noise. That is, as shown in FIG. 4, in the case of an image displayed with higher luminance as the signal value is higher, it is a collection of high luminance pixels. On the contrary, in the case of an image displayed with high luminance as the signal value is lower, it is a collection of low luminance pixels.
- the high-intensity pixel aggregation portion indicated by IT indicates the tip portion of the puncture needle 15, and the other high-intensity pixel aggregation portions are merely noise.
- the time that noise appears on the photoacoustic image is often short.
- sound ray data (raw data) acquired by the ultrasonic probe 11 generally has a low information density in the lateral direction (azimuth direction) compared to the longitudinal direction (depth direction), and is displayed as an ultrasonic image At this time, interpolation processing is usually performed on image information in the horizontal direction. For this reason, on the sound ray data, the noise of one point is spread and displayed in the lateral direction.
- the tip portion of the puncture needle 15 has a certain length in both the depth direction (longitudinal direction in FIG. 6) and the lateral direction.
- the noise has a length in the lateral direction, it does not have such a length in the depth direction (vertical direction in FIG. 7).
- step S2 since the size of the high signal value pixel group portion indicating the tip portion of the puncture needle 15 tends to be larger than the size of the high signal value pixel group portion indicating noise, in step S2, the size is larger than the reference area size. An area of a predetermined range including the high signal value pixel group portion of the area size is extracted as the tip area.
- the reference area size in step S2 may be set in both the depth direction (longitudinal direction) and the lateral direction, or may be set only in the depth direction (longitudinal direction).
- the noise has a length in the lateral direction, but the length in the depth direction is so long There will be no condition. For this reason, it is possible to distinguish between the tip portion of the puncture needle 15 and the noise only by the size in the depth direction, but in order to make it more accurate, the size in the lateral direction is also compared
- One having a length of 10 may be specified as the tip portion of the puncture needle 15.
- the reference area size is the type of needle as the insert, the generation condition of the photoacoustic wave, the type of acoustic wave detection means, the frequency characteristic of the acoustic wave detection means, the reception detection frequency band for the acoustic wave detection means, or light You may adjust based on the display size of an acoustic image. For example, an initial value may be set for the reference area size, and the reference area size may be adjusted based on each item condition.
- the reference area size is adjusted based on the type of the needle which is the insert.
- the reference area size may be increased as the photoacoustic wave generation unit is larger.
- the type of needle is input via the input unit 40.
- the reference area it is possible to set an optimum reference area size according to the type of needle.
- a part of the needle may be provided with an identification unit for identifying the type of needle, and the type of needle may be automatically identified in the apparatus.
- the reference area size may be increased as the number of pulses of the laser beam irradiated to the photoacoustic wave generation unit 15c increases. For example, when the number of pulses is changed to 1 and the number of pulses is 3, the reference area size may be tripled in the transmission / reception direction (longitudinal direction in the image) of the ultrasonic wave.
- the reference area size is adjusted based on the type of acoustic wave detection means. If the frequency characteristics of the acoustic wave detection means are the same, the resolution is high in the linear type and the received signal from the needle is small, so the reference area size may be reduced. Since the sector type and the convex type have low resolution and the signal received from the needle becomes large, the reference area size may be increased.
- the reference area size is adjusted based on the frequency characteristic of the acoustic wave detection means. If the frequency characteristic of the acoustic wave detection means is low, the received signal from the needle will be large. Therefore, the lower the frequency characteristic of the acoustic wave detection means, the larger the reference area size.
- the reference area size is adjusted based on the reception detection frequency band for the acoustic wave detection means.
- the reception detection frequency band for example, the center frequency
- the reference area size may be increased as the reception detection frequency band to the acoustic wave detection means is lower.
- the reference area size is adjusted based on the display size of the photoacoustic image.
- the display size of the area of the needle is increased. Therefore, the reference area size may be increased as the area of the needle is displayed larger.
- a reference area size management table in which each item condition and the reference area size are associated and recorded. May be stored in advance in a memory (not shown), and a matching reference area size may be extracted and set in the reference area size management table according to each item condition.
- type of acoustic wave detection means linear type / convex type
- type of needle thickness 22 gauge / 27 gauge
- generation condition of photoacoustic wave (2 pulses / 4 pulses)
- reception detection center frequency (2 MHz)
- a reference area size management table in which each item condition of (megahertz) / 4 MHz (megahertz) / 8 MHz (megahertz) is recorded in association with the reference area size (only in the depth direction of the photoacoustic image) is not shown
- the reference area size may be extracted and set in the reference area size management table according to each item condition.
- the gauge of the needle is 22 gauge
- the number of pulses of the photoacoustic wave is 2
- the reception detection center frequency is 8 MHz (megahertz)
- the reference area size is 0.
- the reference area size is 1.09 mm (mm) when 13 mm (mm)
- linear probe is used, needle gauge 22 gauge, photoacoustic wave pulse number 2 and reception detection center frequency 4 MHz (megahertz) And it is sufficient.
- the reference area size is 0.25 mm (millimeter) and convex type
- the gauge of the needle is 22 gauge
- the pulse number of the photoacoustic wave is 2
- the reception detection center frequency is 2 MHz (megahertz)
- the reference area size may be 2.19 mm (millimeter).
- a reference area size that completely matches each item condition can not be extracted after providing a reference area size management table, the reference area size closest to each item condition is extracted, and the reference area size is initialized.
- items that are different from the reference area size management table may be finely adjusted for each item as described above.
- a method of extracting a region of a predetermined range including a high signal value pixel group portion having a region size larger than the reference region size as the tip region is particularly There is no limitation, and any method may be used.
- a high signal value pixel aggregation portion having an area size larger than the reference area size may be identified by image recognition, and an area of a predetermined range including the extracted high signal value pixel aggregation portion may be extracted as a tip area.
- reduction processing is performed to reduce the signal strength of the high signal value pixel group portion of the area size smaller than the reference area size, and the reduction process is performed.
- an area of a predetermined range including the pixel with the highest signal value may be extracted as the tip area.
- the reduction processing may be low-pass filter processing having a half-value width of 0.5 times or more and 2 times or less of the reference area size, or may be smoothing filter processing.
- smoothing filter processing moving average filter processing or Gaussian filter processing can be used.
- the tip portion of the puncture needle 15 has a certain length in the depth direction while the noise is horizontal. Although there is a length in the direction, it does not tend to be so long in the depth direction. Therefore, the smoothing filter process reduces the signal strength of the noise portion while preventing the resolution in the lateral direction by reducing the smoothing effect in the depth direction in the photoacoustic image more than the smoothing effect in the lateral direction.
- a moving average filter of five lines 1, 1, 1] / 5 may be used.
- a two-dimensional smoothing filter may be used such that the smoothing effect in the depth direction is larger than the smoothing effect in the lateral direction.
- the signal intensity of the pixel assembly IT showing the tip of the puncture needle 15 is maintained while the signal of the noise portion is maintained.
- the intensity can provide a reduced image.
- cut-off filter processing for setting the signal value of pixels below a predetermined signal intensity to 0 to this image, as shown in FIG. 9, only a part of pixels at the tip portion of the puncture needle 15 are bright spots It is possible to obtain an image which remains as PT and in which all noise parts are eliminated.
- the area of the tip portion of the puncture needle 15 can be accurately extracted as the tip area by extracting the area of the predetermined range including the pixel having the highest signal value as the tip area.
- the parameters in the reduction process are not appropriate, the noise portion can not be completely eliminated and the area of the tip portion of the puncture needle 15 can not be accurately extracted as the tip area.
- the parameters may be appropriately adjusted manually or automatically based on the display size of the photoacoustic image.
- a range that can be considered as the sound velocity in the subject may be set, for example, in the range of 1350 m / s (meters / second) to 1550 m / s (meters / second), preferably 1350 m / s (meters)
- the range can be appropriately set according to the imaging site, for example, in the range of 1 / s to 1650 m / s (meters / s).
- the speed of sound of the photoacoustic image for which the image evaluation value is maximum is estimated to be the actual speed of sound in the subject, and this speed of sound is set as the speed of sound in the subject Step S4).
- the image evaluation value is an evaluation value indicating the smallness of the intensity variation of the signal phase-adjusted based on the sharpness of the photoacoustic image, the contrast of the photoacoustic image, or the speed of sound at the time of image generation in the tip region.
- the present invention is not limited thereto, and any evaluation value may be used as long as the evaluation value indicates the image quality of the photoacoustic image.
- This image evaluation value may be calculated based on the pixel arrangement in both directions of the horizontal direction and the depth direction (longitudinal direction) of the photoacoustic image, or may be calculated based on the pixel arrangement only in the horizontal direction. It may be calculated based on the pixel arrangement only in the depth direction (vertical direction).
- the sound velocity correction in the image generation apparatus of the present invention is particularly effective in improving the image quality in the lateral direction of the photoacoustic image in the lateral direction and the depth direction (longitudinal direction). It is preferable to calculate the image evaluation value of a photoacoustic image based on it. As described above, by calculating the image evaluation value of the photoacoustic image based on the pixel arrangement in only one direction, it is possible to suppress the amount of calculation when calculating the image evaluation value.
- an image evaluation value may be calculated for each pixel in one horizontal row of the photoacoustic image to be evaluated, and a value obtained by totaling all of two-dimensional areas of the photoacoustic image to be evaluated may be used as the image evaluation value.
- a value obtained by averaging the total number of two-dimensional regions of the photoacoustic image to be evaluated by the number of pixels in the vertical direction may be used as the image evaluation value.
- the image evaluation value may be calculated for each pixel in one vertical column, and may be the total value or the average value of the entire two-dimensional area of the photoacoustic image as described above.
- the calculation method of an evaluation value is not limited above, You may calculate using what kind of method.
- step S4 will be described in detail by taking an example.
- a graph showing the sharpness (image evaluation value) of the photoacoustic image generated for each sound velocity is shown in FIG.
- the vertical axis indicates the width of the tip portion of the puncture needle 15 in the photoacoustic image, and the lower the numerical value of the vertical axis, the higher the sharpness.
- steps S3 and S4 When the processing in steps S3 and S4 is performed for the entire area of the photoacoustic image, when only the tip area is performed, the calculation load is significantly reduced as described below, and real-time processing can also be performed.
- the display area size of the entire image is 100 cm 2 (square centimeters) (10 cm (centimeters) ⁇ 10 cm (centimeters)
- the display area size of the tip area of the puncture needle 15 is 0.1 cm 2 (square centimeters) 0.3 cm (centimeter) x 0.3 cm (centimeter) is sufficient, and the area ratio of these is 1000: 1. Therefore, when the above processing is performed only in the tip region, the calculation load can be suppressed to 1/1000.
- step S5 a photoacoustic image is generated at the speed of sound set in step S4 (step S5), and the photoacoustic image generation process is ended.
- FIG. 13 shows an example of an image generated at 1540 m / s (meters / second) substantially equal to the assumed sound speed in step S1. It can be understood that the resolution of the tip portion of the puncture needle 15 is higher in the image shown in FIG. 12 than in the image shown in FIG.
- the image deformation processing is performed on the sound ray data image obtained by beamforming the detection signal acquired in the ultrasonic probe 11 at a predetermined sound velocity.
- the sound velocity correction processing is performed on the final image subjected to various image processing such as, the sound velocity correction processing may be directly performed on the sound ray data image as an example shown in FIG.
- the horizontal direction of the sound ray data image in FIG. 14 corresponds to a sound ray and is 0.16 mm / line (millimeters / sound ray), and the vertical direction (corresponding to the depth direction) corresponds to a sample point of sound ray data.
- Condition 1 Assuming that the reception detection frequency for the acoustic wave detection means is 8 Mhz (megahertz) and the number of light emissions is 2 (the number of pulses of laser light is 2), the half width of the signal intensity at the tip of the puncture needle 15 is 0.91 mm ( Mm), which is about 4.7 times the wavelength of 0.193 mm at 8 Mhz (megahertz). This is considered to be the effect of two light emission and multiple reflection at the tip of the needle.
- Condition 2 Assuming that the reception detection frequency for the acoustic wave detection means is 4 Mhz (megahertz) and the number of light emissions is 2 (the number of pulses of laser light is 2), the half width of the signal intensity at the tip of the puncture needle 15 is 1.64 mm Mm), which is about 4.2 times the wavelength 0.386 mm at 4 Mhz (megahertz). This is considered to be the effect of two light emission and multiple reflection at the tip of the needle.
- the half value width of the condition 2 is substantially the same ratio as the ratio of the two wavelengths in comparison with the half value width of the condition 1.
- Condition 3 Assuming that the reception detection frequency for the acoustic wave detection means is 8 Mhz (megahertz) and the number of light emissions is 4 (the number of pulses of the laser light is 4), the half width of the signal intensity at the tip of the puncture needle 15 is 1.46 mm Mm), which is about 7.6 times the wavelength of 0.193 mm at 8 Mhz (megahertz). This is considered to be the influence of four light emission and multiple reflections at the tip of the needle.
- the half value width of the condition 3 is substantially the same ratio as the ratio of the numbers of light emission of the two as compared with the half value width of the condition 1.
- the half bandwidth is roughly proportional to the wavelength of the receiving frequency and the number of light emissions.
- the filter in the reduction process is designed to reduce the signal of the half width or less in size and leave the signal of the half width or more in size.
- the signal strength of the noise portion is that of the puncture needle 15 by using a moving average filter (line 18) of sample points 18 in the depth direction corresponding to a half width 1.64 mm (millimeter)
- a moving average filter line 18
- sample points 18 in the depth direction corresponding to a half width 1.64 mm (millimeter)
- the signal strength of the noise portion is the tip portion of the puncture needle 15 by using a moving average filter (16 lines) with 16 sample points in the depth direction corresponding to a half width of 1.46 mm (millimeters). Even in the image higher than the signal strength of the above, only the noise portion was reduced, and even when the relatively light cut-off filter of 70% was used, only the signal of the tip portion of the puncture needle 15 could be extracted.
- the puncture needle 15 was used as one embodiment of an insert, as an insert, it is not limited to this.
- the insert may be a radiofrequency ablation needle containing an electrode used for radiofrequency ablation, or a catheter inserted into a blood vessel.
- the catheter may be inserted into a blood vessel. It may be a guide wire of Alternatively, it may be an optical fiber for laser treatment.
- the insert is not limited to a needle such as an injection needle, and may be a biopsy needle used for a biopsy.
- the biopsy needle may be a biopsy needle which can be punctured into a subject to be examined in a living body to collect a tissue at a biopsy site in the subject.
- the photoacoustic wave may be generated in a collection unit (suction port) for suctioning and collecting the tissue at the biopsy site.
- the needle may also be used as a guiding needle for deep puncture, such as subcutaneous and intra-abdominal organs.
- the photoacoustic measuring device of the present invention is not limited only to the above-mentioned embodiment, and various corrections and changes are given from composition of the above-mentioned embodiment Also included within the scope of the present invention.
- An acoustic velocity setting processor for setting, as the acoustic velocity in the object, the acoustic velocity of the photoacoustic image at which the image evaluation value is maximum among the photoacoustic images generated at different acoustic velocities in the acoustic velocity range of apparatus.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Quality & Reliability (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
挿入物を用いた光音響イメージングにおいて、光音響画像における挿入物の先端領域の解像度低下を抑制した画像生成装置およびこの画像生成装置の作動方法を提供する。検出信号と被検体内における音速とに基づいて光音響画像を生成する光音響画像生成部(24)と、被検体内における音速を設定する音速設定部(29)とを備えた光音響画像生成装置(10)において、音速設定部(29)を、仮定の音速と検出信号とに基づいて生成された光音響画像において、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出し、先端領域について所定の音速範囲において音速を変化させて生成した音速毎の光音響画像のうち、画像評価値が最大となる光音響画像の音速を被検体内における音速として設定する。
Description
本発明は、被検体内に挿入された挿入物の先端部分から発せられた光音響波を音響波検出手段により検出することにより取得された検出信号に基づいて光音響画像を生成する画像生成装置およびこの画像生成装置の作動方法に関する。
生体内部の状態を非侵襲によって検査できる画像検査法の一種として、超音波検査法が知られている。超音波検査では、超音波の送信および受信が可能な超音波探触子が用いられる。超音波探触子から被検体(生体)に超音波を送信させると、その超音波は生体内部を進んでいき、組織界面において反射する。その反射超音波を超音波探触子によって受信し、反射超音波が超音波探触子に戻ってくるまでの時間に基づいて距離を計算することにより、内部の様子を画像化することができる。
また、光音響効果を利用して生体の内部を画像化する光音響イメージングが知られている。一般に光音響イメージングでは、パルスレーザ光を生体内に照射する。生体内部では、生体組織がパルスレーザ光のエネルギーを吸収し、そのエネルギーによる断熱膨張により超音波(光音響波)が発生する。この光音響波を超音波探触子などによって検出し、検出信号に基づいて光音響画像を構成することにより、光音響波に基づく生体内の可視化が可能である。
また、光音響イメージングに関し、光を吸収して光音響波を発生する光音響波発生部を先端付近に設けた穿刺針が提案されている。この穿刺針においては、穿刺針の先端まで光ファイバが設けられ、その光ファイバによって導光された光が光音響波発生部に照射される。光音響波発生部において発生した光音響波は超音波探触子によって検出され、その検出信号に基づいて光音響画像が生成される。光音響画像では、光音響波発生部の部分が輝点として現れ、光音響画像を用いて穿刺針の位置の確認が可能となる。
上記のような穿刺針を用いた光音響イメージングでは、生体内における穿刺針の先端位置を正確に確認できる必要があるため、特に解像度の高い画像が要求される。
超音波(光音響波)を用いて生体内の画像化を行う場合、通常は生体内における平均的な音速を用いて画像が生成されるが、生体内における音速は一定ではなく、個体差および部位により音速が変化する。そのため、画像生成時に用いた音速と実際の音速が離れていた場合、画像の解像度が劣化するという問題がある。
このような問題を解消するため、従来より、超音波画像生成時に用いた音速と実際の音速との不一致による画質劣化を抑制する方法が提案されている。具体的には、超音波画像を構成する画素毎に、生体内において考え得る音速範囲において音速を変化させて生成した音速毎の画像のうち、輝度またはコントラストが最大となる音速を画像化時の音速として設定する音速補正方法が提案されている。
この音速補正処理は、超音波画像を構成する画素毎に、複数の画像を生成して最適な音速を割り出さなければならないため、膨大な処理能力が要求される。特許文献1では、画像内の輝度またはコントラストが最も高い画素を含む所定範囲の領域を注目領域として設定し、注目領域のみ音速補正処理を行うことが開示されており、これにより音速補正処理の負荷を軽減させることができる。
しかしながら、上記のような穿刺針を用いた光音響イメージングでは、光音響画像中において、穿刺針の先端部分を示す画素よりもノイズ部分の画素の方が、輝度またはコントラストが高くなる場合があり、特許文献1に記載の技術のように、画像内の輝度またはコントラストが最も高い画素に着目して音速補正を行う領域を決定すると、光音響画像中において最も正確に確認したい穿刺針の先端領域が音速補正範囲から外れ、穿刺針の先端領域の解像度が低下するおそれがある。
本発明は、上記事情に鑑み、穿刺針のような挿入物を用いた光音響イメージングにおいて、処理負荷低減のため光音響画像の一部の領域のみ音速補正をする場合に、光音響画像における挿入物の先端領域の解像度低下を抑制した画像生成装置およびこの画像生成装置の作動方法を提供することを目的とする。
本発明の画像生成装置は、被検体内に挿入された挿入物の先端部分から発せられた光音響波を音響波検出手段により検出することにより取得された検出信号と、被検体内における音速とに基づいて、光音響画像を生成する光音響画像生成部と、仮定の音速と検出信号とに基づいて生成された光音響画像において、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出し、先端領域について所定の音速範囲において音速を変化させて生成した音速毎の光音響画像のうち、画像評価値が最大となる光音響画像の音速を被検体内における音速として設定する音速設定部とを備える。
本発明の画像生成装置において、画像評価値とは、光音響画像の画質を評価するための評価値を意味する。この画像評価値は、評価値が高いほど画質が良いことを示す。画像評価値は、例えば、光音響画像の鮮鋭度、光音響画像のコントラスト、または、先端領域において画像生成時の音速に基づいて位相調整された信号の強度バラツキの少なさを示す評価値とすることができる。この画像評価値は、光音響画像の横方向および深さ方向(縦方向)のうち、両方向の画素配列に基づいて算出してもよいし、横方向のみの画素配列に基づいて算出してもよいし、深さ方向(縦方向)のみの画素配列に基づいて算出してもよい。なお、本発明の画像生成装置における音速補正は、光音響画像の横方向および深さ方向(縦方向)のうち、特に横方向の画質向上に効果的であるため、横方向のみの画素配列に基づいて光音響画像の画像評価値を算出することが好ましい。
また、基準領域サイズは、挿入物の種類、光音響波の発生条件、音響波検出手段の種類、音響波検出手段の周波数特性、音響波検出手段に対する受信検波周波数帯域、または、光音響画像の表示サイズに基づいて調整されてもよい。
また、音速設定部は、画像認識により基準領域サイズよりも大きい領域サイズの高信号値画素集合部を特定し、抽出した高信号値画素集合部を含む所定範囲の領域を先端領域として抽出してもよい。
また、音速設定部は、仮定の音速と検出信号に基づいて生成された光音響画像において、基準領域サイズよりも小さい領域サイズの高信号値画素集合部の信号強度を低減する低減処理を行い、低減処理を行った光音響画像において、最も信号値が高い画素を含む所定範囲の領域を先端領域として抽出してもよい。
この場合、低減処理は、基準領域サイズの0.5倍以上2倍以下のサイズの半値幅を有するローパスフィルタ処理としてもよいし、平滑化フィルタ処理としてもよい。
低減処理を平滑化フィルタ処理とした場合、平滑化フィルタ処理は、光音響画像における深さ方向の平滑化効果が横方向の平滑化効果より大きいことが好ましい。
本発明の作動方法は、被検体内に挿入された挿入物の先端部分から発せられた光音響波を音響波検出手段により検出することにより取得された検出信号と、被検体内における音速とに基づいて、光音響画像を生成する光音響画像生成部と、被検体内における音速を設定する音速設定部とを備えた画像生成装置の作動方法であって、音速設定部は、仮定の音速と検出信号とに基づいて生成された光音響画像において、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出し、先端領域について所定の音速範囲において音速を変化させて生成した音速毎の光音響画像のうち、画像評価値が最大となる光音響画像の音速を被検体内における音速として設定する。
本発明の作動方法において、画像評価値は、光音響画像の鮮鋭度、光音響画像のコントラスト、または、先端領域において画像生成時の音速に基づいて位相調整された信号の強度バラツキの少なさを示す評価値とすることができる。
また、基準領域サイズは、挿入物の種類、光音響波の発生条件、音響波検出手段の種類、音響波検出手段の周波数特性、音響波検出手段に対する受信検波周波数帯域、または、光音響画像の表示サイズに基づいて調整されてもよい。
また、音速設定部は、画像認識により基準領域サイズよりも大きい領域サイズの高信号値画素集合部を特定し、抽出した高信号値画素集合部を含む所定範囲の領域を先端領域として抽出してもよい。
また、音速設定部は、仮定の音速と検出信号に基づいて生成された光音響画像において、基準領域サイズよりも小さい領域サイズの高信号値画素集合部の信号強度を低減する低減処理を行い、低減処理を行った光音響画像において、最も信号値が高い画素を含む所定範囲の領域を先端領域として抽出してもよい。
この場合、低減処理は、基準領域サイズの0.5倍以上2倍以下のサイズの半値幅を有するローパスフィルタ処理としてもよいし、平滑化フィルタ処理としてもよい。
低減処理を平滑化フィルタ処理とした場合、平滑化フィルタ処理は、光音響画像における深さ方向の平滑化効果が横方向の平滑化効果より大きいことが好ましい。
本発明の画像生成装置および作動方法は、被検体内に挿入された挿入物の先端部分から発せられた光音響波を音響波検出手段により検出することにより取得された検出信号と、被検体内における音速とに基づいて、光音響画像を生成する光音響画像生成部と、被検体内における音速を設定する音速設定部とを備えた画像生成装置において、音速設定部を、仮定の音速と検出信号とに基づいて生成された光音響画像において、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出し、先端領域について所定の音速範囲において音速を変化させて生成した音速毎の光音響画像のうち、画像評価値が最大となる光音響画像の音速を被検体内における音速として設定するようにして、処理負荷低減のため光音響画像の一部の領域のみ音速補正をする場合に、挿入物の先端領域が音速補正を行う範囲として適切に選択されるようにしたので、光音響画像における挿入物の先端領域の解像度低下を抑制することができる。
以下、本発明の画像生成装置の一実施形態である光音響画像生成装置について、図面を参照しながら詳細に説明する。図1はこの光音響画像生成装置の概略構成を示すブロック図である。
本実施形態の光音響画像生成装置10は、図1に示すように、音響波検出手段としての超音波探触子11、超音波ユニット12、レーザユニット13、および挿入物としての穿刺針15を備えている。穿刺針15とレーザユニット13とは、光ファイバを有する光ケーブル16によって接続されている。穿刺針15は、光ケーブル16に対して着脱可能であり、ディスポーザブルに構成される。なお、本実施形態では、音響波として超音波を用いるが、超音波に限定されず、被検対象または測定条件等に応じて適切な周波数を選択してさえいれば、可聴周波数の音響波を用いても良い。
レーザユニット13は、たとえばYAG(イットリウム・アルミニウム・ガーネット)およびアレキサンドライトなどを用いた固体レーザ光源を備えている。レーザユニット13の固体レーザ光源から出射されたレーザ光は、光ケーブル16によって導光され、穿刺針15に入射される。本実施形態のレーザユニット13は、近赤外波長域のパルスレーザ光を出射する。近赤外波長域とは、700nm(ナノメートル)~2500nm(ナノメートル)程度の波長域を意味する。なお、本実施形態においては、固体レーザ光源を用いるようにしたが、気体レーザ光源などその他のレーザ光源を用いるようにしてもよいし、レーザ光源以外の光源を用いるようにしてもよい。
穿刺針15は、本発明の挿入物の一実施形態であり、被検体に穿刺される針である。図2は、穿刺針15の長さ方向に伸びる中心軸を含む断面図である。穿刺針15は、鋭角に形成された先端に開口を有し、中空状に形成された穿刺針本体15aと、レーザユニット13から出射されたレーザ光を穿刺針15の開口の近傍まで導光する光ファイバ15bと、光ファイバ15bから出射したレーザ光を吸収して光音響波を発生する光音響波発生部15cとを含む。
光ファイバ15bおよび光音響波発生部15cは、穿刺針本体15aの中空部15dに配置される。光ファイバ15bは、たとえば穿刺針15の基端部に設けられた光コネクタを介して光ケーブル16(図1を参照)内の光ファイバに接続される。光ファイバ15bの光出射端からは、たとえば0.2mJ(ミリジュール)のレーザ光が出射される。
光音響波発生部15cは、光ファイバ15bの光出射端に設けられており、穿刺針15の先端近傍かつ穿刺針本体15aの内壁に設けられる。光音響波発生部15cは、光ファイバ15bから出射されるレーザ光を吸収して光音響波を発生する。光音響波発生部15cは、たとえば黒顔料を混合したエポキシ樹脂、ポリウレタン樹脂、フッ素樹脂およびシリコーンゴムなどから形成されている。なお、図2では、光ファイバ15bよりも光音響波発生部15cの方が大きく描かれているが、これには限定されず、光音響波発生部15cは、光ファイバ15bの径と同程度の大きさであってもよい。
光音響波発生部15cは、上述したものに限定されず、レーザ光の波長に対して光吸収性を有する金属膜または酸化物の膜を、光音響波発生部としてもよい。たとえば光音響波発生部15cとして、レーザ光の波長に対して光吸収性が高い酸化鉄、酸化クロムおよび酸化マンガンなどの酸化物の膜を用いることができる。あるいは、光吸収性は酸化物よりも低いが生体適合性が高いTi(チタン)またはPt(白金)などの金属膜を光音響波発生部15cとして用いてもよい。また、光音響波発生部15cが設けられる位置は穿刺針本体15aの内壁には限定されない。たとえば光音響波発生部15cである金属膜または酸化物の膜を、蒸着などにより光ファイバ15bの光出射端上に例えば100nm(ナノメートル)程度の膜厚により製膜し、酸化物の膜が光出射端を覆うようにしてもよい。この場合、光ファイバ15bの光出射端から出射されたレーザ光の少なくとも一部は、光出射端を覆う金属膜または酸化物の膜により吸収され、金属膜または酸化物の膜から光音響波が生じる。
図1に戻り、超音波探触子11は、被検体に穿刺針15が穿刺された後に、光音響波発生部15cから発せられた光音響波を検出する。超音波探触子11は、光音響波を検出する音響波検出部20を備えている。
音響波検出部20は、光音響波を検出する複数の圧電素子が一次元に配列された圧電素子アレイと、マルチプレクサとを備えている。圧電素子は、超音波振動子であり、たとえば圧電セラミクス、またはポリフッ化ビニリデン(PVDF)のような高分子フィルムから構成される圧電素子である。また、音響波検出部20は、図示省略しているが、音響レンズ、音響整合層、バッキング材、および圧電素子アレイの制御回路などを備えている。
超音波探触子11は、音響波検出部20の圧電素子アレイによって、光音響波の検出に加えて、被検体に対する音響波(超音波)の送信、及び送信した超音波に対する反射音響波(反射超音波)の受信を行う。なお、超音波の送信と受信とは分離した位置において行ってもよい。たとえば超音波探触子11とは異なる位置から超音波の送信を行い、その送信された超音波に対する反射超音波を超音波探触子11の圧電素子アレイにより受信してもよい。超音波探触子11としては、リニア超音波探触子、コンベクス超音波探触子、またはセクター超音波探触子などを用いることができる。
超音波ユニット12は、受信回路21、受信メモリ22、データ分離部23、光音響画像生成部24、超音波画像生成部25、画像出力部26、送信制御回路27、および制御部28を有する。制御部28は、被検体内における音速を設定する音速設定部29としての機能を備える。超音波ユニット12は、典型的にはプロセッサ、メモリ、およびバスなどを有する。超音波ユニット12には、光音響画像生成処理、超音波画像生成処理、および音速設定処理などに関するプログラムがメモリに組み込まれている。プロセッサによって構成される制御部28によってそのプログラムが動作することにより、データ分離部23、光音響画像生成部24、超音波画像生成部25、および音速設定部29などの機能が実現する。すなわち、これらの各部は、プログラムが組み込まれたメモリとプロセッサにより構成されている。
なお、超音波ユニット12のハードウェアの構成は特に限定されず、複数のIC(Integrated Circuit)、プロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、およびメモリなどを適宜組み合わせることによって実現することができる。
受信回路21は、超音波探触子11が出力する検出信号を受信し、受信した検出信号を受信メモリ22に格納する。受信回路21は、典型的には、低ノイズアンプ、可変ゲインアンプ、ローパスフィルタ、およびAD変換器(Analog to Digital Convertor)を含む。超音波探触子11の検出信号は、低ノイズアンプにより増幅された後に、可変ゲインアンプにより深度に応じたゲイン調整がなされ、ローパスフィルタにより高周波成分がカットされた後にAD変換器によりデジタル信号に変換され、受信メモリ22に格納される。受信回路21は、例えば1つのICにより構成される。
超音波探触子11は、光音響波の検出信号と反射超音波の検出信号とを出力し、受信メモリ22には、AD変換された光音響波および反射超音波の検出信号(サンプリングデータ)が格納される。データ分離部23は、受信メモリ22から光音響波の検出信号を読み出し、光音響画像生成部24に送信する。また、データ分離部23は、受信メモリ22から反射超音波の検出信号を読み出し、超音波画像生成部25に送信する。
光音響画像生成部24は、超音波探触子11により検出された光音響波の検出信号に基づいて光音響画像を生成する。光音響画像の生成処理は、たとえば位相整合加算などの画像再構成、検波および対数変換などを含む。超音波画像生成部25は、超音波探触子11により検出された反射超音波の検出信号に基づいて超音波画像を生成する。超音波画像の生成処理も、位相整合加算などの画像再構成、検波および対数変換などを含む。画像出力部26は、光音響画像および超音波画像などをディスプレイ装置などの画像表示部30に出力する。
制御部28は、超音波ユニット12内の各部を制御する。制御部28は、光音響画像を取得する場合は、レーザユニット13にトリガ信号を送信し、レーザユニット13からレーザ光を出射させる。また、レーザ光の出射に合わせて、受信回路21にサンプリングトリガ信号を送信し、光音響波のサンプリング開始タイミングなどを制御する。受信回路21によって受信されたサンプリングデータは、受信メモリ22に格納される。
光音響画像生成部24は、データ分離部23を介して光音響波の検出信号のサンプリングデータを受信し、所定の検波周波数により検波して光音響画像を生成する。光音響画像生成部24が生成した光音響画像は、画像出力部26に入力される。
また、制御部28は、Bモード超音波画像を取得する場合は、送信制御回路27に超音波送信を指示する旨の超音波送信トリガ信号を送信する。送信制御回路27は、超音波送信トリガ信号を受けると、超音波探触子11から超音波を送信させる。超音波探触子11は、超音波画像を取得する場合には、制御部28による制御によって、たとえば圧電素子群の受信領域を一ラインずつずらしながら走査して反射超音波の検出を行う。制御部28は、超音波送信のタイミングに合わせて受信回路21にサンプリングトリガ信号を送信し、反射超音波のサンプリングを開始させる。受信回路21によって受信されたサンプリングデータは、受信メモリ22に格納される。
超音波画像生成部25は、データ分離部23を介して超音波の検出信号のサンプリングデータを受信し、所定の検波周波数により検波して超音波画像を生成する。超音波画像生成部25が生成した超音波画像は、画像出力部26に入力される。
画像出力部26は、光音響画像生成部24が生成した光音響画像と、超音波画像生成部25が生成した超音波画像とを合成して表示用画像を生成し、ディスプレイ装置などの画像表示部30に出力する。なお、光音響画像と超音波画像とを合成せずに、個別に画像表示部30に出力して表示させることも可能である。
ここで、本実施形態の光音響画像生成装置10における光音響画像の音速補正の方法について詳細に説明する。図3は超音波画像と光音響画像とを重畳した画像の一例を示す図、図4は図3に示す重畳画像のうち光音響画像のみを示す図である。
図3に示すように、光音響画像生成装置10では、超音波画像と光音響画像とを重畳した画像を表示することができる。超音波画像および光音響画像は、超音波探触子11が出力する検出信号と、予め設定された音速(例えば、被検体内における平均的な音速)とに基づいて生成される。また、穿刺針15の先端部分には光音響波発生部15cが設けられているため、図4に示すように、光音響画像では、穿刺針15の先端部分を選択的に画像化することができる。この光音響画像については、被検体内における穿刺針15の先端位置を正確に確認できる必要があるため、特に解像度の高い画像が要求される。
そこで、光音響画像に対して音速補正処理を行うことが考えられるが、光音響画像全体に音速補正処理を行うと負荷が極めて大きいため、光音響画像のうち穿刺針15の先端部分を含む所定範囲の領域(以下、先端領域)を特定し、先端領域のみに音速補正処理を行うことにより、音速補正処理に掛かる負荷を低減させることができる。
しかしながら、上記特許文献1のように、画像内の輝度またはコントラストが最も高い画素を含む所定範囲の領域を注目領域として設定し、注目領域のみ音速補正処理を行うようにすると、穿刺針15の先端部分を示す画素よりもノイズ部分の画素の方が、輝度またはコントラストが高くなった場合に、先端領域が音速補正範囲から外れ、穿刺針15の先端領域の解像度が低下するおそれがある。
そのため、本実施形態においては、光音響画像のうち穿刺針15の先端部分を含む所定範囲の領域(先端領域)を正確に抽出し、先端領域に対して確実に音速補正処理を行うようにしている。図5は本実施形態の光音響画像生成装置10における光音響画像の音速補正処理の方法を説明するためのフローチャートである。
図5に示すように、先ず、仮定の音速と超音波探触子11により取得された検出信号とに基づいて光音響画像を生成する(ステップS1)。仮定の音速については、例えば被検体内における平均的な音速である1530m/s(メートル/秒)または1540m/s(メートル/秒)とするなど、どのような速度を設定してもよい。本実施形態において、「仮定の音速」とは、「被検体内における音速」として考え得る音速範囲のうち、任意の音速をいう。
次に、仮定の音速に基づいて生成した光音響画像のうち、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出する(ステップS2)。
ここで、「高信号値画素集合部」とは、超音波探触子11により取得された検出信号の信号値が高い領域を表す画素の集合部を意味し、穿刺針15の先端部分を示す画素またはノイズを示す画素のように、所定の閾値以上の信号値を有する画素の一塊の集合部を意味する。すなわち、図4に示すように、信号値が高いほど高輝度で表示する画像の場合には、高輝度画素の集合部となる。反対に、信号値が低いほど高輝度で表示する画像の場合には、低輝度画素の集合部となる。
図4に示す光音響画像において、ITにより示す高輝度画素集合部は穿刺針15の先端部分を示しており、それ以外の高輝度画素集合部は単なるノイズである。ノイズが光音響画像上に出現する時間は、短いことが多い。また、超音波探触子11により取得された音線データ(生データ)は、一般に縦方向(深さ方向)と比べて横方向(方位方向)の情報密度が低く、超音波画像として表示する際に、通常は横方向の画像情報については補間処理が行われる。このため、音線データ上では1点のノイズが横方向に広がって表示されることになる。その結果、図6に示す拡大図のように、穿刺針15の先端部分は深さ方向(図6の縦方向)および横方向の両方向においてある程度の長さを有する。一方、図7に示す拡大図のように、ノイズは横方向については長さはあるものの、深さ方向(図7の縦方向)についてはそれ程長さはない状態となる。
このように、穿刺針15の先端部分を示す高信号値画素集合部のサイズはノイズを示す高信号値画素集合部のサイズよりも大きい傾向にあるため、ステップS2では、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出している。
なお、ステップS2における基準領域サイズは、深さ方向(縦方向)と横方向の両方向に設定してもよいし、深さ方向(縦方向)のみに設定してもよい。上記の通り、穿刺針15の先端部分は深さ方向および横方向の両方向においてある程度の長さを有するのに対し、ノイズは横方向については長さはあるものの、深さ方向についてはそれ程長さはない状態となる。このため、深さ方向のサイズだけでも穿刺針15の先端部分とノイズとを識別することが可能であるが、より正確を期すために、横方向のサイズも比較して、横方向についてもある程度の長さを有するものを穿刺針15の先端部分として特定するようにしてもよい。
また、基準領域サイズは、挿入物である針の種類、光音響波の発生条件、音響波検出手段の種類、音響波検出手段の周波数特性、音響波検出手段に対する受信検波周波数帯域、または、光音響画像の表示サイズに基づいて調整してもよい。例えば、基準領域サイズについて初期値を設定しておき、各項目条件に基づいて基準領域サイズを調整してもよい。
先ず、挿入物である針の種類に基づいて、基準領域サイズを調整する場合について説明する。一般に針の径が太いほど光音響波発生部が大きくなり、また針からの反射距離も大きくなることから、針先からの受信信号が大きくなる。従って、針の径が太いほど、基準領域サイズを大きくすればよい。また、針の径が同じであっても、光音響波発生部が大きいほど、針先からの受信信号が大きくなる。従って、光音響波発生部が大きいほど、基準領域サイズを大きくすればよい。このように、針の種類(針の径および/または光音響波発生部の大きさが異なる)により、針先からの受信信号の大きさが変化するため、針の種類を入力部40を介して設定することで、針の種類に応じて最適な基準領域サイズとすることができる。なお、針の一部に針の種類を識別するための識別部を設け、針の種類を装置において自動的に識別するようにしてもよい。
次に、光音響波の発生条件に基づいて、基準領域サイズを調整する場合について説明する。例えば、光音響波発生部15cに照射するレーザ光を発生させるレーザユニット13の駆動条件であり、光音響波発生部15cに照射するレーザ光のパルス数が多いほど、針先からの受信信号が大きくなる。従って、光音響波発生部15cに照射するレーザ光のパルス数が多いほど、基準領域サイズを大きくすればよい。例えば、パルス数1からパルス数3に変更した場合には、超音波の送受信方向(画像における縦方向)に3倍の基準領域サイズとすればよい。
次に、音響波検出手段の種類に基づいて、基準領域サイズを調整する場合について説明する。音響波検出手段の周波数特性が同じ場合、リニア型は解像度が高く、針からの受信信号が小さくなるため、基準領域サイズを小さくすればよい。セクタ型およびコンベックス型は解像度が低く、針からの受信信号が大きくなるため、基準領域サイズを大きくすればよい。
次に、音響波検出手段の周波数特性に基づいて、基準領域サイズを調整する場合について説明する。音響波検出手段の周波数特性が低いと、針からの受信信号が大きくなる。従って、音響波検出手段の周波数特性が低いほど、基準領域サイズを大きくすればよい。
次に、音響波検出手段に対する受信検波周波数帯域に基づいて、基準領域サイズを調整する場合について説明する。音響波検出手段に対する受信検波周波数帯域(例えば中心周波数)が低いと、針からの受信信号が大きくなる。従って、音響波検出手段に対する受信検波周波数帯域が低いほど、基準領域サイズを大きくすればよい。
次に、光音響画像の表示サイズに基づいて、基準領域サイズを調整する場合について説明する。ズーム等により針の領域を拡大すると、針の領域の表示サイズは大きくなる。従って、針の領域を大きく表示するほど、基準領域サイズを大きくすればよい。
また、基準領域サイズについて初期値を設定しておき、各項目条件に基づいて基準領域サイズを調整する態様の他にも、各項目条件と基準領域サイズとを関連付けて記録した基準領域サイズ管理テーブルを予め不図示のメモリに記憶しておき、各項目条件に応じて基準領域サイズ管理テーブル中において合致する基準領域サイズを抽出して設定してもよい。
例えば、音響波検出手段の種類(リニア型/コンベックス型)、針の種類(太さ22ゲージ/27ゲージ)、光音響波の発生条件(2パルス/4パルス)、および受信検波中心周波数(2MHz(メガヘルツ)/4MHz(メガヘルツ)/8MHz(メガヘルツ))の各項目条件と、基準領域サイズ(光音響画像の深さ方向のみ)とを関連付けて記録した基準領域サイズ管理テーブルを予め不図示のメモリに記憶しておき、各項目条件に応じて、基準領域サイズ管理テーブル中において合致する基準領域サイズを抽出して設定してもよい。
この場合の数値を一例として挙げると、リニア型プローブ使用、針の太さ22ゲージ、光音響波のパルス数2、および受信検波中心周波数8MHz(メガヘルツ)としたときは、基準領域サイズを0.13mm(ミリメートル)とし、リニア型プローブ使用、針の太さ22ゲージ、光音響波のパルス数2、および受信検波中心周波数4MHz(メガヘルツ)としたときは、基準領域サイズを1.09mm(ミリメートル)とすればよい。また、コンベックス型プローブ使用、針の太さ22ゲージ、光音響波のパルス数2、および受信検波中心周波数4MHz(メガヘルツ)としたときは、基準領域サイズを0.25mm(ミリメートル)とし、コンベックス型プローブ使用、針の太さ22ゲージ、光音響波のパルス数2、および受信検波中心周波数2MHz(メガヘルツ)としたときは、基準領域サイズを2.19mm(ミリメートル)とすればよい。
また、基準領域サイズ管理テーブルを設けた上で、各項目条件に完全に合致する基準領域サイズが抽出できない場合には、各項目条件に最も近い基準領域サイズを抽出し、その基準領域サイズを初期値として、基準領域サイズ管理テーブルと異なる項目については上記の通り項目毎に微調整するようにしてもよい。
ステップS2において、仮定の音速に基づいて生成した光音響画像のうち、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出する方法については、特に制限はなく、どのような方法を用いてもよい。
例えば、画像認識により基準領域サイズよりも大きい領域サイズの高信号値画素集合部を特定し、抽出した高信号値画素集合部を含む所定範囲の領域を先端領域として抽出するようにしてもよい。
また、仮定の音速と検出信号に基づいて生成された光音響画像において、基準領域サイズよりも小さい領域サイズの高信号値画素集合部の信号強度を低減する低減処理を行い、低減処理を行った光音響画像において、最も信号値が高い画素を含む所定範囲の領域を先端領域として抽出するようにしてもよい。
ここで、低減処理は、基準領域サイズの0.5倍以上2倍以下のサイズの半値幅を有するローパスフィルタ処理としてもよいし、平滑化フィルタ処理としてもよい。
平滑化フィルタ処理としては、移動平均フィルタ処理またはガウシアンフィルタ処理などを用いることができる。
上記の通り、ノイズが光音響画像上に出現する時間は短いことが多いため、光音響画像において、穿刺針15の先端部分は深さ方向においてある程度の長さを有するのに対し、ノイズは横方向については長さはあるものの、深さ方向についてはそれ程長さはない傾向にある。従って、平滑化フィルタ処理は、光音響画像における深さ方向の平滑化効果を横方向の平滑化効果より大きくすることによって、ノイズ部分の信号強度は低減しつつ、横方向の解像度は落とさないようにすることができる。
例えば、簡単な例として、図6に示すように、穿刺針15の先端部分を示す高信号値画素集合部における信号強度の半値幅が5ピクセルだった場合、深さ方向に[1,1,1,1,1]/5の5行の移動平均フィルタを用いればよい。なお、これは極端な例であり、深さ方向の平滑化効果が横方向の平滑化効果より大きくなるような2次元平滑化フィルタとしてもよい。
図4に示す光音響画像に対し上記のような低減処理を施すと、図8に示すように、穿刺針15の先端部分を示す画素集合部ITの信号強度は維持しつつ、ノイズ部分の信号強度は低減した画像を得ることができる。この画像に対し、所定の信号強度以下の画素の信号値を0にするカットオフフィルタ処理を行うことにより、図9に示すように、穿刺針15の先端部分の一部の画素のみが輝点PTとして残り、ノイズ部分が全て消えた画像を得ることができる。この画像において、最も信号値が高い画素を含む所定範囲の領域を先端領域として抽出することにより、正確に穿刺針15の先端部分の領域を先端領域として抽出することができる。
なお、低減処理におけるパラメータが適切でないと、ノイズ部分を完全に消すことができず、正確に穿刺針15の先端部分の領域を先端領域として抽出することができなくなるため、低減処理のパラメータは、上記の基準領域サイズの調整と同様に、挿入物である針の種類、光音響波の発生条件、音響波検出手段の種類、音響波検出手段の周波数特性、音響波検出手段に対する受信検波周波数帯域、または、光音響画像の表示サイズに基づいて、手動または自動で適切にパラメータを調整すればよい。
次に、先端領域について所定の音速範囲において音速を変化させて音速毎の光音響画像を生成する(ステップS3)。所定の音速範囲については、被検体内における音速として考え得る範囲を設定すればよく、例えば1350m/s(メートル/秒)から1550m/s(メートル/秒)の範囲、好ましくは1350m/s(メートル/秒)から1650m/s(メートル/秒)の範囲とするなど、撮影部位に応じて適宜設定可能である。
次に、音速毎に生成した光音響画像のうち、画像評価値が最大となる光音響画像の音速を被検体内における実際の音速と推定し、この音速を被検体内における音速として設定する(ステップS4)。
ここで、画像評価値は、光音響画像の鮮鋭度、光音響画像のコントラスト、または、先端領域において画像生成時の音速に基づいて位相調整された信号の強度バラツキの少なさを示す評価値などとすることができるが、これらに限定されず、光音響画像の画質を示す評価値であれば、どのような評価値を用いてもよい。この画像評価値は、光音響画像の横方向および深さ方向(縦方向)のうち、両方向の画素配列に基づいて算出してもよいし、横方向のみの画素配列に基づいて算出してもよいし、深さ方向(縦方向)のみの画素配列に基づいて算出してもよい。なお、本発明の画像生成装置における音速補正は、光音響画像の横方向および深さ方向(縦方向)のうち、特に横方向の画質向上に効果的であるため、横方向のみの画素配列に基づいて光音響画像の画像評価値を算出することが好ましい。このように、一つの方向のみの画素配列に基づいて光音響画像の画像評価値を算出することにより、画像評価値を算出する際の演算量を抑えることができる。
横方向および深さ方向(縦方向)のうち一つの方向のみの画素配列に基づいて光音響画像の画像評価値を算出する方法について、横方向のみの画素配列に基づいて算出する場合を例に説明すると、評価対象の光音響画像の横1列の画素毎に画像評価値を算出し、評価対象の光音響画像の2次元領域分全て合計した値を画像評価値としてもよい。または、評価対象の光音響画像の2次元領域分全て合計した値を縦方向の画素数で平均化した値を画像評価値としてもよい。縦方向のみを考慮する場合も、縦1列の画素毎に画像評価値を算出し、上記と同様に、光音響画像の2次元領域全体の合計値または平均値とすればよい。なお、評価値の算出方法は上記に限定されず、どのような方法を用いて算出してもよい。
ステップS4の処理について一例を挙げて詳細に説明する。所定の音速範囲について1350m/s(メートル/秒)から1550m/s(メートル/秒)の範囲とし、50m/s(メートル/秒)毎に光音響画像を生成したときの、横方向の画像プロファイルを示すグラフを図10に示す。また、音速毎に生成した光音響画像の鮮鋭度(画像評価値)を示すグラフを図11に示す。なお、図11のグラフは、縦軸が光音響画像における穿刺針15の先端部分の幅を示しており、縦軸の数値が低いほど鮮鋭度が高いことを意味する。
図10および図11に示す例では1450m/s(メートル/秒)の音速により生成した光音響画像の鮮鋭度(画像評価値)が最大であるため、1450m/s(メートル/秒)を被検体内における音速として設定する。
ステップS3およびS4の処理について、光音響画像の全領域に対して行う場合と比較して、先端領域のみ行う場合は、下記の通り著しく計算負荷が下がり、リアルタイム処理を行うことも可能となる。
例えば、画像全体の表示領域サイズを100cm2(平方センチメートル)(10cm(センチメートル)×10cm(センチメートル))としたとき、穿刺針15の先端領域の表示領域サイズは0.1cm2(平方センチメートル)(0.3cm(センチメートル)×0.3cm(センチメートル))で充分であり、これらの面積比は1000:1となる。そのため、先端領域のみ上記処理を行う場合は、演算負荷を1/1000に抑えることができる。
最後に、ステップS4において設定された音速により光音響画像を生成し(ステップS5)、光音響画像生成処理を終了する。
例えば、図10および図11に示す例では1450m/s(メートル/秒)の音速により生成した光音響画像の鮮鋭度(画像評価値)が最大であり、被検体内における音速を1450m/s(メートル/秒)として生成した画像の例を図12に示す。これに対して、ステップS1における仮定の音速とほぼ同等の1540m/s(メートル/秒)により生成した画像の例を図13に示す。図12に示す画像の方が図13に示す画像と比べて、穿刺針15の先端部分の解像度が高いことが分かる。
なお、上記実施形態の説明では、音速補正処理を行う光音響画像について、超音波探触子11において取得した検出信号を所定の音速によりビームフォーミングしただけの音線データ画像に対して画像変形処理等の各種画像処理を施した最終画像について、音速補正処理を行っているが、図14に一例を示すような音線データ画像に対して直接音速補正処理を行うようにしてもよい。図14の音線データ画像の横方向は音線に対応し、0.16mm/line(ミリメートル/音線)であり、縦方向(深さ方向に対応)は音線データのサンプル点に対応し、0.091mm/sample(ミリメートル/サンプル)であり、検出信号を対数圧縮し、フレーム内を255階調でマッピングし、輝度データにしたものである。このような音線データ画像に対して音速補正処理を行った場合でも、上記と同等の効果を得ることができる。
ここで、この音線データ画像を用いて、上記低減処理におけるパラメータについてシミュレーションにより検討した結果を示す。
条件1:音響波検出手段に対する受信検波周波数を8Mhz(メガヘルツ)とし、発光数2(レーザ光のパルス数2)とした場合、穿刺針15の先端部分の信号強度の半値幅は0.91mm(ミリメートル)となり、8Mhz(メガヘルツ)における波長0.193mmの4.7倍程度となった。これは、2発光および針先における多重反射等の影響と考えられる。
条件2:音響波検出手段に対する受信検波周波数を4Mhz(メガヘルツ)とし、発光数2(レーザ光のパルス数2)とした場合、穿刺針15の先端部分の信号強度の半値幅は1.64mm(ミリメートル)となり、4Mhz(メガヘルツ)における波長0.386mmの4.2倍程度となった。これは、2発光および針先における多重反射等の影響と考えられる。条件2の半値幅は、条件1の半値幅と比較して、おおむね両者の波長の比と同程度の比となっている。
条件3:音響波検出手段に対する受信検波周波数を8Mhz(メガヘルツ)とし、発光数4(レーザ光のパルス数4)とした場合、穿刺針15の先端部分の信号強度の半値幅は1.46mm(ミリメートル)となり、8Mhz(メガヘルツ)における波長0.193mmの7.6倍程度となった。これは、4発光および針先における多重反射等の影響と考えられる。条件3の半値幅は、条件1の半値幅と比較して、おおむね両者の発光数の比と同程度の比となっている。
このように、半値幅は、受信周波数の波長および発光数に、おおむね比例することが分かった。低減処理におけるフィルタは、半値幅以下のサイズの信号は低減し、半値幅以上のサイズの信号は残すように設計する。
シミュレーションの結果、条件2については、半値幅1.64mm(ミリメートル)に対応する深さ方向のサンプル点数18の移動平均フィルタ(18行)を用いることにより、ノイズ部分の信号強度が穿刺針15の先端部分の信号強度よりも高い画像においても、ノイズ部分のみを低減し、70%の比較的軽めのカットオフフィルタを用いた場合でも穿刺針15の先端部分の信号のみを抽出することができた。
また、条件3については、半値幅1.46mm(ミリメートル)に対応する深さ方向のサンプル点数16の移動平均フィルタ(16行)を用いることにより、ノイズ部分の信号強度が穿刺針15の先端部分の信号強度よりも高い画像においても、ノイズ部分のみを低減し、70%の比較的軽めのカットオフフィルタを用いた場合でも穿刺針15の先端部分の信号のみを抽出することができた。
また、上記実施形態では、挿入物の一実施形態として穿刺針15を用いるようにしたが、挿入物としては、これには限定されない。挿入物は、内部にラジオ波焼灼術に用いられる電極を収容するラジオ波焼灼用針であってもよいし、血管内に挿入されるカテーテルであってもよいし、血管内に挿入されるカテーテルのガイドワイヤであってもよい。あるいは、レーザ治療用の光ファイバであってもよい。
また、挿入物は注射針のような針には限定されず、生体検査に用いられる生検針であってもよい。すなわち、生体の検査対象物に穿刺して検査対象物中の生検部位の組織を採取可能な生検針であってもよい。その場合には、生検部位の組織を吸引して採取するための採取部(吸入口)において光音響波を発生させればよい。また、針は、皮下および腹腔内臓器など、深部までの穿刺を目的とするガイディングニードルとして使用されてもよい。
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の光音響計測装置は、上記実施形態にのみ限定されず、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
上記記載から、以下の付記項1に記載の画像生成装置を把握することができる。
[付記項1]
被検体内に挿入された挿入物の先端部分から発せられた光音響波を音響波検出手段により検出することにより取得された検出信号と、被検体内における音速とに基づいて、光音響画像を生成する光音響画像生成プロセッサと、
仮定の音速と検出信号とに基づいて生成された光音響画像において、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出し、先端領域について所定の音速範囲において音速を変化させて生成した音速毎の光音響画像のうち、画像評価値が最大となる光音響画像の音速を被検体内における音速として設定する音速設定プロセッサとを備えた画像生成装置。
[付記項1]
被検体内に挿入された挿入物の先端部分から発せられた光音響波を音響波検出手段により検出することにより取得された検出信号と、被検体内における音速とに基づいて、光音響画像を生成する光音響画像生成プロセッサと、
仮定の音速と検出信号とに基づいて生成された光音響画像において、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出し、先端領域について所定の音速範囲において音速を変化させて生成した音速毎の光音響画像のうち、画像評価値が最大となる光音響画像の音速を被検体内における音速として設定する音速設定プロセッサとを備えた画像生成装置。
10 光音響画像生成装置
11 超音波探触子
12 超音波ユニット
13 レーザユニット
15 穿刺針
15a 穿刺針本体
15b 光ファイバ
15c 光音響波発生部
15d 中空部
16 光ケーブル
20 音響波検出部
21 受信回路
22 受信メモリ
23 データ分離部
24 光音響画像生成部
25 超音波画像生成部
26 画像出力部
27 送信制御回路
28 制御部
29 音速設定部
30 画像表示部
40 入力部
IT 穿刺針の先端部分を示す画素集合部
PT 輝点
11 超音波探触子
12 超音波ユニット
13 レーザユニット
15 穿刺針
15a 穿刺針本体
15b 光ファイバ
15c 光音響波発生部
15d 中空部
16 光ケーブル
20 音響波検出部
21 受信回路
22 受信メモリ
23 データ分離部
24 光音響画像生成部
25 超音波画像生成部
26 画像出力部
27 送信制御回路
28 制御部
29 音速設定部
30 画像表示部
40 入力部
IT 穿刺針の先端部分を示す画素集合部
PT 輝点
Claims (16)
- 被検体内に挿入された挿入物の先端部分から発せられた光音響波を音響波検出手段により検出することにより取得された検出信号と、前記被検体内における音速とに基づいて、光音響画像を生成する光音響画像生成部と、
仮定の音速と前記検出信号とに基づいて生成された光音響画像において、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出し、前記先端領域について所定の音速範囲において音速を変化させて生成した音速毎の光音響画像のうち、画像評価値が最大となる光音響画像の音速を前記被検体内における音速として設定する音速設定部とを備えた画像生成装置。 - 前記画像評価値は、光音響画像の鮮鋭度、光音響画像のコントラスト、または、前記先端領域において画像生成時の音速に基づいて位相調整された信号の強度バラツキの少なさを示す評価値である
請求項1記載の画像生成装置。 - 前記基準領域サイズは、前記挿入物の種類、前記光音響波の発生条件、前記音響波検出手段の種類、前記音響波検出手段の周波数特性、前記音響波検出手段に対する受信検波周波数帯域、または、光音響画像の表示サイズに基づいて調整される
請求項1または2記載の画像生成装置。 - 前記音速設定部は、
画像認識により前記基準領域サイズよりも大きい領域サイズの高信号値画素集合部を特定し、抽出した高信号値画素集合部を含む所定範囲の領域を先端領域として抽出する
請求項1から3のいずれか1項記載の画像生成装置。 - 前記音速設定部は、
仮定の音速と前記検出信号に基づいて生成された光音響画像において、前記基準領域サイズよりも小さい領域サイズの高信号値画素集合部の信号強度を低減する低減処理を行い、
前記低減処理を行った光音響画像において、最も信号値が高い画素を含む所定範囲の領域を前記先端領域として抽出する
請求項1から3のいずれか1項記載の画像生成装置。 - 前記低減処理は、前記基準領域サイズの0.5倍以上2倍以下のサイズの半値幅を有するローパスフィルタ処理である
請求項5記載の画像生成装置。 - 前記低減処理は、平滑化フィルタ処理である
請求項5記載の画像生成装置。 - 前記平滑化フィルタ処理は、前記光音響画像における深さ方向の平滑化効果が横方向の平滑化効果より大きい
請求項7記載の画像生成装置。 - 被検体内に挿入された挿入物の先端部分から発せられた光音響波を音響波検出手段により検出することにより取得された検出信号と、前記被検体内における音速とに基づいて、光音響画像を生成する光音響画像生成部と、前記被検体内における音速を設定する音速設定部とを備えた画像生成装置の作動方法であって、
前記音速設定部は、
仮定の音速と前記検出信号とに基づいて生成された光音響画像において、基準領域サイズよりも大きい領域サイズの高信号値画素集合部を含む所定範囲の領域を先端領域として抽出し、
前記先端領域について所定の音速範囲において音速を変化させて生成した音速毎の光音響画像のうち、画像評価値が最大となる光音響画像の音速を前記被検体内における音速として設定する作動方法。 - 前記画像評価値は、光音響画像の鮮鋭度、光音響画像のコントラスト、または、前記先端領域において画像生成時の音速に基づいて位相調整された信号の強度バラツキの少なさを示す評価値である
請求項9記載の作動方法。 - 前記基準領域サイズは、前記挿入物の種類、前記光音響波の発生条件、前記音響波検出手段の種類、前記音響波検出手段の周波数特性、前記音響波検出手段に対する受信検波周波数帯域、または、光音響画像の表示サイズに基づいて調整される
請求項9または10記載の作動方法。 - 前記音速設定部は、
画像認識により前記基準領域サイズよりも大きい領域サイズの高信号値画素集合部を特定し、抽出した高信号値画素集合部を含む所定範囲の領域を先端領域として抽出する
請求項9から11のいずれか1項記載の作動方法。 - 前記音速設定部は、
仮定の音速と前記検出信号に基づいて生成された光音響画像において、前記基準領域サイズよりも小さい領域サイズの高信号値画素集合部の信号強度を低減する低減処理を行い、
前記低減処理を行った光音響画像において、最も信号値が高い画素を含む所定範囲の領域を前記先端領域として抽出する
請求項9から11のいずれか1項記載の作動方法。 - 前記低減処理は、前記基準領域サイズの0.5倍以上2倍以下のサイズの半値幅を有するローパスフィルタ処理である
請求項13記載の作動方法。 - 前記低減処理は、平滑化フィルタ処理である
請求項13記載の作動方法。 - 前記平滑化フィルタ処理は、前記光音響画像における深さ方向の平滑化効果が横方向の平滑化効果より大きい
請求項15記載の作動方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019538973A JP7127034B2 (ja) | 2017-08-31 | 2018-05-28 | 画像生成装置および作動方法 |
| US16/796,076 US11779223B2 (en) | 2017-08-31 | 2020-02-20 | Image generation apparatus and operation method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017167899 | 2017-08-31 | ||
| JP2017-167899 | 2017-08-31 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US16/796,076 Continuation US11779223B2 (en) | 2017-08-31 | 2020-02-20 | Image generation apparatus and operation method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019044075A1 true WO2019044075A1 (ja) | 2019-03-07 |
Family
ID=65527444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/020264 Ceased WO2019044075A1 (ja) | 2017-08-31 | 2018-05-28 | 画像生成装置および作動方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11779223B2 (ja) |
| JP (1) | JP7127034B2 (ja) |
| WO (1) | WO2019044075A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7479684B2 (ja) | 2020-08-19 | 2024-05-09 | 株式会社Luxonus | 画像生成方法、画像生成プログラムおよび画像生成装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008264531A (ja) * | 2007-03-28 | 2008-11-06 | Toshiba Corp | 超音波イメージング装置及び超音波速度最適化プログラム |
| JP2014147825A (ja) * | 2014-04-15 | 2014-08-21 | Canon Inc | 画像生成装置、画像生成方法、及び、プログラム |
| WO2016051738A1 (ja) * | 2014-09-29 | 2016-04-07 | 富士フイルム株式会社 | 光音響画像生成装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5933540A (en) * | 1995-05-11 | 1999-08-03 | General Electric Company | Filter system and method for efficiently suppressing noise and improving edge definition in a digitized image |
| US7245789B2 (en) * | 2002-10-07 | 2007-07-17 | Vascular Imaging Corporation | Systems and methods for minimally-invasive optical-acoustic imaging |
| JP5416900B2 (ja) * | 2007-11-22 | 2014-02-12 | 株式会社東芝 | 超音波診断装置及び穿刺支援用制御プログラム |
| JP5946427B2 (ja) * | 2012-09-28 | 2016-07-06 | 富士フイルム株式会社 | 超音波検査装置、超音波検査方法、プログラム及び記録媒体 |
| JP6223129B2 (ja) * | 2013-10-31 | 2017-11-01 | キヤノン株式会社 | 被検体情報取得装置、表示方法、被検体情報取得方法、及びプログラム |
| JP6390145B2 (ja) * | 2014-04-09 | 2018-09-19 | コニカミノルタ株式会社 | 超音波画像診断装置及び超音波画像診断装置の作動方法 |
| JP6525565B2 (ja) * | 2014-11-28 | 2019-06-05 | キヤノン株式会社 | 被検体情報取得装置および被検体情報取得方法 |
-
2018
- 2018-05-28 JP JP2019538973A patent/JP7127034B2/ja active Active
- 2018-05-28 WO PCT/JP2018/020264 patent/WO2019044075A1/ja not_active Ceased
-
2020
- 2020-02-20 US US16/796,076 patent/US11779223B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008264531A (ja) * | 2007-03-28 | 2008-11-06 | Toshiba Corp | 超音波イメージング装置及び超音波速度最適化プログラム |
| JP2014147825A (ja) * | 2014-04-15 | 2014-08-21 | Canon Inc | 画像生成装置、画像生成方法、及び、プログラム |
| WO2016051738A1 (ja) * | 2014-09-29 | 2016-04-07 | 富士フイルム株式会社 | 光音響画像生成装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7479684B2 (ja) | 2020-08-19 | 2024-05-09 | 株式会社Luxonus | 画像生成方法、画像生成プログラムおよび画像生成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200187783A1 (en) | 2020-06-18 |
| US11779223B2 (en) | 2023-10-10 |
| JP7127034B2 (ja) | 2022-08-29 |
| JPWO2019044075A1 (ja) | 2020-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10238299B2 (en) | Photoacoustic image-generating apparatus and light source control method | |
| US11304607B2 (en) | Photoacoustic image generation apparatus, signal processing device, and photoacoustic image generation method | |
| US11504007B2 (en) | Photoacoustic image generation apparatus | |
| US20190307421A1 (en) | Photoacoustic image generation apparatus | |
| US20190216425A1 (en) | Photoacoustic image generation apparatus | |
| US11779223B2 (en) | Image generation apparatus and operation method | |
| US11921202B2 (en) | Photoacoustic image generation apparatus | |
| JP6667649B2 (ja) | 光音響画像生成装置 | |
| JP4909132B2 (ja) | 光トモグラフィ装置 | |
| US11344205B2 (en) | Photoacoustic measurement device | |
| US11642030B2 (en) | Photoacoustic image generation apparatus for detecting a tip portion of an insert | |
| JP6847234B2 (ja) | 光音響画像生成装置 | |
| US11406350B2 (en) | Photoacoustic measurement device | |
| WO2019044212A1 (ja) | 光音響画像生成装置および画像取得方法 | |
| WO2016051764A1 (ja) | 光音響画像生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18850522 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2019538973 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18850522 Country of ref document: EP Kind code of ref document: A1 |