[go: up one dir, main page]

WO2016208322A1 - 画像取得装置および画像取得方法 - Google Patents

画像取得装置および画像取得方法 Download PDF

Info

Publication number
WO2016208322A1
WO2016208322A1 PCT/JP2016/065610 JP2016065610W WO2016208322A1 WO 2016208322 A1 WO2016208322 A1 WO 2016208322A1 JP 2016065610 W JP2016065610 W JP 2016065610W WO 2016208322 A1 WO2016208322 A1 WO 2016208322A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
illumination light
modulated
signal
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/065610
Other languages
English (en)
French (fr)
Inventor
兼太郎 井元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to DE112016002209.3T priority Critical patent/DE112016002209T5/de
Priority to JP2017524774A priority patent/JP6720165B2/ja
Publication of WO2016208322A1 publication Critical patent/WO2016208322A1/ja
Priority to US15/813,444 priority patent/US20180073976A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G02B21/0084—Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G01N2201/06113—Coherent sources; lasers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0048—Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors

Definitions

  • the present invention relates to an image acquisition device and an image acquisition method.
  • a plurality of illumination lights having different irradiation patterns are generated by the DMD, irradiated to a plurality of different positions on the specimen, and the fluorescence from the plurality of positions detected by the detector is mixed and given to the illumination light by the DMD.
  • a microscope that restores fluorescence emitted from each irradiation position based on the irradiation pattern (see, for example, Patent Document 1).
  • Patent Document 1 is for irradiating illumination light generated by DMD to a specific position of a specimen. If this technique is applied to image acquisition, the response speed of DMD is higher than that of optical scanning. There is an inconvenience that a sufficient frame rate cannot be secured due to the slow problem. Further, if a device capable of high-speed modulation such as EOM is used instead of DMD, the above problem can be solved. However, there is a disadvantage that the system becomes very expensive because modulation devices corresponding to the number of multiplexing are required. is there.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide an image acquisition apparatus and an image acquisition method capable of improving the frame rate without requiring multiple devices. Yes.
  • One embodiment of the present invention is an image acquisition device that separately acquires a local signal corresponding to each illumination region while simultaneously illuminating a plurality of regions, and modulates the intensity of light emitted from a light source to each other.
  • An illumination light generation unit that generates a plurality of illumination lights including a modulated modulated illumination light and a non-modulated unmodulated illumination light, and a plurality of the illumination light generation units generated by the illumination light generation unit
  • An illumination optical system that irradiates the illumination light at different positions on the sample, and detects and synthesizes the combined signal light generated by combining the signal light generated at the plurality of illumination positions irradiated with the illumination light by the illumination optical system Corresponding to the modulated illumination light by using the time integration of the product of the demodulated signal corresponding to the modulated illumination light and the synthesized signal from the combined signal output by the light detection unit that outputs a signal and the synthesized signal The modulated local signal And an image acquisition apparatus and a demodulator for
  • the illumination light generation unit modulates the intensity of the light emitted from the light source and has a mutually independent primary pattern.
  • the modulated modulated illumination light and the unmodulated non-modulated illumination light are A plurality of illumination lights are generated, and the generated illumination lights are irradiated to different positions of the sample by the illumination optical system. Since the signal light is generated simultaneously at the irradiation positions of the illumination lights, the combined signal light of the plurality of signal lights generated at the plurality of irradiation positions is detected by the photodetector, and the combined signal is output.
  • the output combined signal is input to the demodulator, so that the modulated local signal corresponding to the modulated illumination light is obtained from the combined signal using the time integration of the product of the demodulated signal corresponding to the modulated illumination light and the combined signal.
  • the signal light generated at each irradiation position is demodulated by separating the unmodulated local signal corresponding to the unmodulated illumination light by subtracting the sum of the modulated local signals from the time integration of the combined signal.
  • each signal light demodulator performs demodulation processing using the demodulated signal synchronized with the pattern of each illumination light, each signal light is accurately obtained from the combined signal light using the mutual primary independence of the illumination light. Can be extracted well. Therefore, it is possible to accurately separate and detect signal lights emitted simultaneously from a plurality of irradiation positions, and to improve the frame rate without requiring multiple devices.
  • the time integration of the product of the demodulated signal not corresponding to the modulated illumination light and the modulated local signal and the unmodulated local signal not corresponding to the modulated illumination light may be zero.
  • the time integration of the product of the demodulated signal and the combined signal corresponding to the unmodulated illumination light may be the time integration of the combined signal.
  • a modulator that modulates light intensity may be provided in at least one optical path of the plurality of illumination lights generated by the illumination light generation unit.
  • each modulator may generate the modulated illumination light having the demodulated signals orthogonal to each other.
  • two or more illumination lights having demodulated signals orthogonal to each other can be generated by a plurality of modulators, and the amount of signal obtained by using demodulated signals having orthogonality increases.
  • the frame rate can be further improved.
  • a function of arranging a plurality of irradiation positions at arbitrary positions in the sample may be provided.
  • a plurality of modulated modulated illumination light and unmodulated non-modulated illumination light having a mutually independent primary pattern by modulating the intensity of light emitted from the light source.
  • An illumination light generating step for generating the illumination light, an irradiation step for irradiating a plurality of the illumination lights generated by the illumination light generation step to different positions of the sample, and a plurality of the illumination light irradiated by the irradiation step A light detection step of detecting a combined signal light generated by combining the signal light generated at the irradiation position and outputting a combined signal; and a demodulation corresponding to the modulated illumination light from the combined signal output by the light detection step Separating a modulated local signal corresponding to the modulated illumination light using a time integration of a product of the signal and the combined signal, and subtracting a sum of the modulated local signals from a time integration of the combined signal
  • FIG. 2 is a diagram illustrating an example of a modulation signal having a pattern subjected to modulation by an electro-optic modulator in the image acquisition apparatus of FIG. 1. It is a figure which shows an example of the modulation signal of the pattern which has not received the modulation
  • FIG. 2 is a diagram illustrating an example of a demodulated signal of a pattern that has been modulated by an electro-optic modulator in the image acquisition device of FIG. 1.
  • FIG. 9 is a schematic diagram showing a modification of the image acquisition device of FIG. 1 and an example applied to a confocal microscope. It is a modification of the image acquisition apparatus of FIG. 1, Comprising: It is a figure which shows the other method of combining several illumination light. It is a modification of the image acquisition device of FIG. 1, and is a diagram showing a method of arranging a pair of mirrors at the position of the broken line portion S in FIG. 5A.
  • FIG. 1 is a figure which shows the case where four illumination lights are multiplexed using two acousto-optic deflection elements.
  • FIG. 5 is a diagram showing a modification of the image acquisition device in FIG. 1 and showing a case where four illumination lights are multiplexed by effectively using light bounced by an electro-optic modulator.
  • FIG. 13 is a diagram showing a light pattern used in the image acquisition apparatus of FIG. 12 and a pattern of a modulated signal of light from a light source.
  • FIG. 13 is a diagram showing a pattern of light used in the image acquisition device of FIG. 12 and a modulation signal pattern of first illumination light immediately after being output from the electro-optic modulator.
  • FIG. 13 is a diagram illustrating a pattern of light used in the image acquisition apparatus of FIG. 12 and a pattern of a modulation signal of second illumination light immediately after being output from the electro-optic modulator.
  • FIG. 13 is a diagram showing a light pattern used in the image acquisition apparatus of FIG. 12 and a third illumination light modulation signal pattern immediately after being branched by the beam splitter. It is a light pattern used in the image acquisition apparatus of FIG. 12, Comprising: It is a figure which shows the pattern of the modulation signal of the 4th illumination light immediately after being branched by the beam splitter.
  • FIG. 13 is a light pattern used in the image acquisition apparatus of FIG. 12, and a demodulated signal of light from a light source FIG.
  • FIG. 13 is a diagram showing a light pattern used in the image acquisition apparatus of FIG. 12 and a pattern of a demodulated signal of the first illumination light just after being output from the electro-optic modulator.
  • FIG. 13 is a diagram showing a pattern of light used in the image acquisition device of FIG. 12 and a pattern of a demodulated signal of second illumination light just after being output from the electro-optic modulator.
  • FIG. 13 is a diagram showing a light pattern used in the image acquisition apparatus of FIG. 12 and a pattern of a demodulated signal of third illumination light immediately after being branched by the beam splitter.
  • FIG. 13 is a diagram showing a pattern of a demodulated signal of fourth illumination light that is used in the image acquisition device of FIG.
  • FIG. 6 is a diagram showing a modification of the image acquisition device of FIG.
  • FIG. 1 shows a case where four illumination lights are multiplexed by effectively using light bounced when combined by a beam splitter. It is a modification of the image acquisition apparatus of FIG. 1, Comprising: It is a schematic diagram which shows the case where sheet
  • the image acquisition apparatus 1 is a multiphoton excitation scanning fluorescence microscope, and emits an ultrashort pulse laser beam having a constant peak intensity at predetermined time intervals as shown in FIG. Illumination that has a light source 2 and two illumination lights L1 and L2 having a pattern that is linearly independent from each other from the light source 2 and including modulated modulated illumination light and unmodulated unmodulated illumination light
  • the light generation unit 3, the illumination optical system 4 that irradiates the generated illumination lights L1 and L2 to different positions of the sample A, and the fluorescence (signal light) generated at the illumination positions of the illumination lights L1 and L2.
  • a light detection unit 5 that detects the combined fluorescence (synthetic signal light) and outputs a combined signal
  • a demodulation unit (signal light demodulation unit) 6 that demodulates the fluorescence generated at each irradiation position from the output combined signal. I have.
  • the illumination light generation unit 3 is provided in a first beam splitter (light branching unit) 7 that branches the light from the light source 2 into two optical paths, and one of the branched optical paths, and changes the intensity of light passing therethrough over time.
  • An electro-optic modulator (modulator) 8 that modulates a pattern, imaging lenses 9a and 9b, mirrors 10a and 10b, and a second beam splitter (multiplexing unit) 11 that multiplexes light in two optical paths.
  • the mirror 10a is a position that shifts the primary imaging position by the imaging lens 9a provided in one optical path in a direction perpendicular to the optical axis with respect to the primary imaging position by the imaging lens 9b provided in the other optical path. Is arranged.
  • a signal control unit 12 is connected to the electro-optic modulator 8.
  • the signal control unit 12 sends a modulation signal as shown in FIG. 2A, for example, to the electro-optic modulator 8 to block every other pulsed light from the light source, resulting in a 50% duty. So that it can be modulated.
  • the electro-optic modulator 8 modulates the intensity of the light from the light source 2 to generate 40 MHz illumination light L1. .
  • the illumination light L1 output from the electro-optic modulator 8 has a modulation pattern whose intensity changes at 40 MHz.
  • the electro-optic modulator 8 is not provided in the other optical path, and the light emitted from the light source 2 has a pattern as it is, that is, a pattern that is not modulated by a pulse train having a constant peak intensity.
  • Light L2 is generated.
  • the illumination light L1 of the modulation pattern that has passed through the two optical paths and the illumination light L2 of the pattern that has not undergone modulation have an intensity that changes with time in a pattern that is primarily independent of each other.
  • the illumination optical system 4 includes a pupil projection lens 13 that projects the two illumination lights L1 and L2 combined by the second beam splitter 11 onto the scanner 14, and the two illumination lights L1 and L2 simultaneously in the same direction (XY direction).
  • An objective lens 16 that irradiates a plurality of irradiation positions A and collects fluorescence generated at each irradiation position of the sample A is provided.
  • the scanner 14 is a galvanometer mirror, for example.
  • the scanner 14 and the pupil position of the objective lens 16 are arranged at optically conjugate positions.
  • the inter-lens distance between the imaging lenses 9a and 9b and the pupil projection lens 13 is set to be equal in the two optical paths.
  • a dichroic mirror 17 having characteristics of transmitting the illumination lights L1 and L2 and reflecting the fluorescence is disposed.
  • the light detection unit 5 includes, for example, a light detector 5a such as a photomultiplier tube, and an amplifier 5b that amplifies the fluorescence intensity signal detected by the light detector 5a.
  • the demodulator 6 receives the demodulated signal synchronized with the modulation signal from the signal controller 12, and demodulates the fluorescence generated at each irradiation position from the combined fluorescence detected by the photodetector 5a. Specifically, the modulation local signal corresponding to the modulated illumination light is separated using the time integration of the product of the demodulated signal corresponding to the modulated illumination light and the combined signal, and the sum of the modulated local signals is calculated from the time integration of the combined signal. The unmodulated local signal corresponding to the unmodulated illumination light is separated as a difference.
  • the time integration of the product of the demodulated signal that does not correspond to the modulated illumination light and the modulated local signal and the unmodulated local signal that does not correspond to the modulated illumination light becomes zero, and the demodulated code corresponding to the unmodulated illumination light and the combined signal
  • the time integration of the product becomes the time integration of the composite signal.
  • the demodulation signal is synchronized with the modulation ON / OFF, and is 1 when ON and -1 when OFF.
  • Each code length corresponds to the exposure time of one pixel.
  • code and optical modulation correspond to each pulse, but modulation may be performed for each pulse train having an arbitrary length.
  • the demodulating unit 6 multiplies the intensity of the fluorescence of the modulation pattern by the intensity of the synthetic fluorescence detected by the photodetector 5a by the demodulated signal code1 synchronized with the modulation timing and integrates it over the exposure time, thereby modulating the illumination light.
  • the modulation local signal corresponding to is separated and demodulated.
  • the intensity of the fluorescence of the pattern that has not been modulated is obtained by integrating the intensity of the combined fluorescence detected by the photodetector 5a over the exposure time and integrating the intensity of the combined fluorescence that has been demodulated (modulation).
  • the unmodulated local signal corresponding to the unmodulated illumination light is separated and demodulated.
  • Multiplying the demodulated signal code2 is equivalent to not multiplying anything, so that it is only necessary to subtract the intensity of the fluorescence of the modulation pattern from the integrated value of the detected synthesized fluorescence.
  • the fluorescence signal intensity corresponding to one pulse of the illumination light L1 is ⁇
  • the fluorescence signal corresponding to one pulse of the illumination light L2 is ⁇ .
  • the time series data D1 of the fluorescence signal during the exposure time corresponding to the illumination light L1 is (0, ⁇ , 0, ⁇ ).
  • the light generation step S1, the irradiation step S2 for irradiating the generated illumination lights L1 and L2 to different positions of the sample A, and the fluorescence generated at the irradiation positions irradiated with the illumination lights L1 and L2 are combined.
  • the image acquisition device 1 and the image acquisition method according to the present embodiment configured as described above, it is only necessary to provide the electro-optic modulator 8 in one of the optical paths branched into two.
  • the two illumination lights L1 and L2 can be multiplexed only by the device 8, and the apparatus can be configured simply and inexpensively.
  • the sample A is irradiated with the two multiplexed illumination lights L1 and L2 at the same time, two different areas in the sample are simultaneously scanned by scanning the spot of the two illumination lights L1 and L2 on the sample A by the scanner 14. Since imaging can be performed, there is an advantage that the frame rate for acquiring an image in the observation range can be doubled without requiring multiple devices.
  • the obtained signal amount is 1 at the maximum as compared with the case where the two illumination lights L1 and L2 are generated by the two electro-optic modulators. There is an advantage that it can be improved 5 times.
  • the multi-photon excitation type fluorescence microscope is illustrated as the image acquisition device 1, and therefore the dichroic mirror 17 that divides the fluorescence from the illumination lights L1 and L2 is provided between the objective lens 16 and the relay lens 15b.
  • a dichroic mirror 17 is arranged on the light source 2 side of the scanner 14, and each illumination light L1 by the objective lens 16 is provided.
  • the pinhole member 18 may be disposed at a position optically conjugate with the focal position of L2.
  • the number and interval of the through holes 18a in the pinhole member 18 are set according to the number of illumination lights L1 and L2 and the distance between the focal positions.
  • the light source 2 may be one that emits continuous light having a certain intensity.
  • a beam splitter is adopted as the light branching unit 7
  • a polarization beam splitter may be adopted.
  • the beam splitter is adopted as the multiplexing unit 11
  • a polarization beam splitter or a combination of a triangular prism 19 and mirrors 20a and 20b as shown in FIG. 5A may be adopted. In this case, when the triangular prism 19 and the mirrors 20a and 20b are relatively moved in the direction of the arrow B, the interval between the illumination lights L1 and L2 in the X direction can be changed.
  • multiplexing is performed on the light source 2 side with respect to the imaging lens 9, thereby forming the imaging lens. 9 may be shared. Further, branching and multiplexing may be performed by other arbitrary methods.
  • the mirror 10a is fixed and the shift amount of the primary image formation position is fixed, instead, the mirror 10a is moved in the direction of the arrow C shown in FIG. It may be adjustable.
  • the electro-optic modulator 8 is exemplified as the modulator, a modulator such as an acousto-optic modulator may be employed instead.
  • a pair of mirrors 37a and 37b may be introduced.
  • the beam can be moved in the Y direction (perpendicular to the adjacent beam) on a plane perpendicular to the optical axis.
  • the lenses 9a and 9b are provided so as to be movable in the direction along the optical axis, and the lenses 9a and 9b are moved along the optical axis to adjust the Z-direction position of each condensing point in the sample A. Also good.
  • the respective focal points can be arranged at arbitrary positions.
  • it is possible to clarify the interaction between regions having different functions by using simultaneous imaging of a plurality of regions in elucidation of brain functions and the like.
  • the light from the light source 2 is branched into two, but it may be branched into three or more instead. Since the number of arrival pulses can be considered to be the same as the dimension of the vector space used for demodulation, multiplexing of illumination light can be performed by the same number as the number of arrival pulses during the exposure time. This can further increase the speed.
  • FIG. 8 illustrates a case where the light is branched into three optical paths.
  • the branching into the three optical paths is a beam splitter 7a that splits the light from the light source 2 into the optical path of the illumination lights L1 and L2 and the optical path of the illumination light L3, and the branched illumination that is arranged downstream of the beam splitter 7a.
  • the beam splitter 7b further branches the optical paths of the lights L1 and L2 into an optical path of the illumination light L1 and an optical path of the illumination light L2.
  • Imaging lenses 9a, 9b, and 9c are arranged in the three optical paths, respectively.
  • electro-optic modulator 8 There is no electro-optic modulator 8 in one optical path, and electro-optic modulators (modulators) 8a that generate illumination lights (modulated illumination lights) L1 and L2 having modulation patterns orthogonal to each other in the other two optical paths. , 8b are arranged.
  • the fluorescence signal corresponding to one pulse of the illumination light L1 is ⁇
  • the fluorescence signal corresponding to one pulse of the illumination light L2 is ⁇
  • the fluorescence signal corresponding to one pulse of the illumination light L3 is ⁇ .
  • the time-series data D1 of the fluorescence signal during the exposure time corresponding to the illumination light L1 is (0, ⁇ , 0, ⁇ ).
  • the time-series data D2 of the fluorescence signal during the exposure time corresponding to the illumination light L2 is ( ⁇ , 0, 0, ⁇ )
  • the inner product of the time series data D and code1 of the synthetic fluorescence signal is taken, 2 ⁇ corresponding to the integral value of D1, and 2 ⁇ corresponding to the integral value of D2 if the inner product of the time series data D and code2 of the synthetic fluorescence signal is taken. Can be calculated. Further, the inner product of the time series data D and code3 of the synthetic fluorescence signal becomes the integral value 2 ⁇ + 2 ⁇ + 4 ⁇ of the synthetic fluorescence signal, and the fluorescence signal intensity 2 ⁇ corresponding to the previously obtained illumination light L1 and the fluorescence corresponding to the illumination light L2 are obtained. By subtracting the signal intensity 2 ⁇ , a fluorescence signal 4 ⁇ corresponding to the illumination light L3 can be obtained.
  • the fluorescence corresponding to the illumination light L1 of the first modulation pattern can be demodulated by multiplying and integrating the detected intensity of the synthesized fluorescence by the demodulation signal code1 synchronized with the modulation.
  • the fluorescence corresponding to the illumination light L2 of the second modulation pattern can be demodulated by multiplying and integrating the detected intensity of the synthesized fluorescence by the demodulation signal code2 synchronized in timing with the modulation. Then, by subtracting the fluorescence corresponding to the first and second modulation patterns from the integrated value of the detected intensity of the synthesized fluorescence, the fluorescence corresponding to the illumination light L3 of the pattern that has not been modulated is demodulated. Can do.
  • the combination of the illumination lights L1 and L2 of the two modulation patterns and the combination of the illumination lights L1 and L2 of the combined modulation pattern and the illumination light L3 of the pattern not subjected to modulation are respectively performed by the mirrors 21a and 21b.
  • the combination with the triangular prism 22 is performed. Thereby, three or more illumination lights L1, L2, and L3 can be efficiently combined. In this case, the distance between the illumination lights L1, L2, and L3 can be changed by relative movement of the mirrors 21a and 21b and the triangular prism 22 in the arrow D direction.
  • the modulation code in which the demodulation codes corresponding to the illumination lights L1 and L2 are orthogonal to each other has been described.
  • the present invention is not limited to this and corresponds to the illumination lights L1 and L2. It is also possible to employ a modulation pattern in which the demodulation codes to be performed are not orthogonal to each other.
  • the demodulated signal code1 (1, 0, 0, ⁇ 1) of the modulation pattern corresponding to one electro-optic modulator 8a
  • the demodulated signal code2 of the modulation pattern corresponding to the other electro-optic modulator 8b.
  • a demodulated signal code3 (1, 1, 1, 1) of a pattern not subjected to modulation by the electro-optic modulators 8a and 8b.
  • the light modulation corresponding to 0 is OFF.
  • the fluorescence signal corresponding to one pulse of the illumination light L1 is ⁇
  • the fluorescence signal corresponding to one pulse of the illumination light L2 is ⁇
  • the fluorescence signal corresponding to one pulse of the illumination light L3 is ⁇ .
  • the time-series data D1 of the fluorescence signal during the exposure time corresponding to the illumination light L1 is ( ⁇ , 0, 0, 0).
  • a resonant electro-optic modulator (not shown) may be employed instead of the electro-optic modulator 8.
  • the resonant electro-optic modulator since it can be driven at a low voltage, there is an advantage that the cost can be kept low because a power amplifier is unnecessary.
  • the resonance period of the resonant electro-optic modulator By making the resonance period of the resonant electro-optic modulator the same as the repetition period, an arbitrary pattern can be created during the exposure time.
  • the electro-optic modulator 8 modulates the intensity of the light in one optical path, instead of this, as shown in FIG. 10, the acousto-optic deflection element 23, the lens 24, the prism 25, The mirrors 26a and 26b and the beam splitter 27 may be combined to modulate to a beat frequency due to interference of light having different frequencies.
  • alteration of frequency YMHz, and the illumination light L2 of the modulation pattern of frequency 40MHz can be irradiated to the different position of the sample A.
  • the signal control unit 12 can arbitrarily adjust the frequencies of the light L2a and L2b of the two modulation patterns by controlling the driver 28 of the acousto-optic deflection element 23, and the emission direction depends on the frequency.
  • the irradiation position of the illumination light L2 on the sample A can be arbitrarily adjusted by electrical control of the acoustooptic deflection element 23.
  • the sample A may be irradiated with a total of four illumination lights L1, L2, and L3 having three types of modulation patterns and illumination light L4 having a pattern that has not been modulated.
  • the sample A may be irradiated with a total of four illumination lights L1, L2, and L3 having three types of modulation patterns and illumination light L4 having a pattern that has not been modulated.
  • two sets of acousto-optic deflection elements 23a and 23b, lenses 24a and 24b, prisms 25a and 25b, mirror 26, and beam splitters 27a and 27b are used.
  • one polarization direction for example, P-polarized light is incident on one acousto-optic deflection element 23a.
  • the acoustooptic deflection element 23a splits the incident light into four lights of X MHz, Y MHz, X + 20 MHz, and Y + 20 MHz.
  • the branched light passes through the lens 24a, the prism 25a, and the mirror 26, respectively, so that the XMHz light and the X + 20MHz light, the YHMz light, and the Y + 20MHz light are respectively combined by the beam splitter 27a. Be made.
  • two illumination lights L1 and L2 having a beat frequency of 20 MHz are generated.
  • the phases of the two illumination lights L1 and L2 on the beat frequency are shifted by 90 ° by adjusting the phase of the drive voltage waveform input to the driver 28 of the acousto-optic deflection element 23a. This makes it possible to create patterns that are orthogonal to each other.
  • the other acousto-optic deflection element 23b receives light of another polarization direction, for example, S-polarized light out of the light from the light source 2.
  • the branched light passes through the lens 24b, the prism 25b, and the mirror 26, and is interfered by combining the Z + 40 MHz light and the Z MHz light by the beam splitter 27b.
  • illumination light L3 having a beat frequency of 40 MHz is generated.
  • the ⁇ MHz light is directly guided to the beam splitter 27b via the lens 24b, the prism 25b, and the mirror 26, and becomes the illumination light L4 having a pattern that is not modulated.
  • These four illumination lights L1 to L4 are combined by the polarization beam splitter 29 via the mirror 36 and irradiated to different positions on the sample A. By doing so, there is an advantage that the four illumination lights L1 to L4 are multiplexed and irradiated onto the sample A, and the frame rate can be further improved.
  • multiplexing may be performed using light blocked by the polarization element in the electro-optic element. That is, since the two illumination lights L1 and L2 whose phases are inverted are emitted from the electro-optic modulator 8, the optical path length of one of the illumination lights L2 is adjusted to reduce the time delay of half the oscillation period of the laser light. By giving, illumination light L1 and L2 with different detection timings can be generated.
  • the beam splitter 30 is arranged on the optical path that does not have the electro-optic modulator 8 and branches, and the optical path length of the branched light is adjusted to give a time delay that is half the oscillation period of the laser light, thereby detecting the detection timing. Can generate different illumination lights L3 and L4.
  • a light source 2 that emits pulsed laser light having a frequency of 80 MHz and a constant peak intensity is assumed as the light source 2.
  • the electro-optic modulator 8 modulates the duty to 50%, the first illumination light L1 that is turned on / off at 40 MHz shown in FIGS. 13B and 13G and the second inversion of the phases shown in FIGS. 13C and 13H Two illumination lights L1 and L2 of the illumination light L2 are generated.
  • the light that passes through the optical path that does not have the electro-optic modulator 8 is branched by the beam splitter 30, thereby turning on and off at a frequency of 80 MHz as shown in FIGS. 13D, 13E, 13I, and 13J. 3, 4th illumination light L3, L4 is produced
  • the optical path length is adjusted so as to give a time delay of 6.25 ns, which is half of the oscillation period 12.5 ns of the laser light.
  • the pair of the first illumination light L1 and the third illumination light L3 and the pair of the second illumination light L2 and the fourth illumination light L4 are irradiated on the sample A at different times. Therefore, the fluorescence generated corresponding to the pair of illumination lights L1 and L3 or the pair of illumination lights L2 and L4 can be temporally separated. Since the two illumination lights L1, L3 and illumination lights L2, L4 constituting each pair have a primary independent relationship with each other, they can be demodulated in the same manner as described above.
  • reference numeral 31 denotes a ⁇ / 2 plate
  • reference numeral 32 denotes a mirror
  • reference numeral 33 denotes a relay lens
  • reference numeral 34 denotes a folding mirror.
  • the mirror 32 is deviated from the optical path of the light that has passed through the ⁇ / 2 plate 31, and is disposed at a position that reflects only the light reflected by the folding mirror 34.
  • the X + 40 MHz light reflected by the beam splitter 27 and the X MHz light transmitted through the beam splitter 27 are combined to become 40 MHz illumination light L1 and transmitted through the beam splitter 27.
  • the X + 40 MHz light that is transmitted without being reflected by the beam splitter 27 and the X MHz light that is reflected without being transmitted through the beam splitter 27 are combined to become 40 MHz illumination light L3 and enter the delay optical path. Is done.
  • the polarization direction is changed by the ⁇ / 2 plate 31, deflected by the mirror 32 on the way back through the relay lens 33 and the folding mirror 34, and passed through the polarization beam splitter 35.
  • the Y 80 MHz illumination light L4 reflected without passing through the beam splitter 27 has its polarization direction changed by the ⁇ / 2 plate 31 in the delay optical path, and returns via the relay lens 33 and the folding mirror 34. On the way, it is deflected by the mirror 32 and passed through the polarization beam splitter 35.
  • the epi-illumination type image acquisition apparatus 1 has been described, but the present invention is not limited to this.
  • the sheet-like illumination lights L ⁇ b> 1 and L ⁇ b> 2 having primary and independent patterns are orthogonal to the optical axis of the objective lens 16 at positions separated in the direction along the optical axis of the objective lens 16.
  • the present invention may be applied to the light sheet microscope 40 that simultaneously enters from the direction.
  • the illumination light is scanned by scanning in two planes separated in the direction along the optical axis of the objective lens 16 by switching the intensity of one illumination light L1, L2 for each frame of the camera 41.
  • L1 and L2 are generated in a pseudo sheet form.
  • the light from the sample A at each scanning position is condensed by the microscope lens 42 and the imaging lens 43, and when multiple images are produced by the camera 41, for example, when four pulses come during the exposure time, double multiplexing is performed. , 4 images are acquired for each pulse arrival, and the images acquired using the primary independence of the illumination lights L1 and L2 are calculated to demodulate the two fluorescent images corresponding to the respective irradiation positions. Can be acquired. If this is used, phenomena occurring in different places at the same time can be captured at the same time.Instead of pseudo sheet-like illumination light, sheet-like illumination light generated using a cylindrical lens is adopted. May be.

Landscapes

  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

フレームレートを向上することを目的として、本発明に係る画像取得装置（１）は、光源（２）から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光（Ｌ１，Ｌ２）を生成する照明光生成部（３）と、照明光生成部により生成された複数の照明光を試料（Ａ）の異なる位置に照射する照明光学系（４）と、照明光学系により照明光が照射された複数の照射位置において発生した信号光が合成された合成信号光を検出して合成信号を出力する光検出部（５）と、該光検出部により出力された合成信号から、変調照明光に対応した復調信号と合成信号との積の時間積分を用いて変調照明光に対応する変調局所信号を分離し、合成信号の時間積分から変調局所信号の総和を差分して非変調照明光に対応する非変調局所信号を分離する復調部（６）とを備える。

Description

画像取得装置および画像取得方法
　本発明は、画像取得装置および画像取得方法に関するものである。
　ＤＭＤによって照射パターンの異なる複数の照明光を生成して標本上の複数の異なる位置に照射し、検出器によって検出された複数位置からの蛍光が混合された蛍光から、ＤＭＤによって照明光に付与された照射パターンに基づいて、各照射位置から発せられた蛍光を復元する顕微鏡が知られている（例えば、特許文献１参照。）。
ＷＯ２０１１／０２３５９３号パンフレット
　特許文献１の技術は、ＤＭＤによって生成された照明光を標本の特定位置に照射するためのものであり、仮にこの技術を画像取得に応用する場合には、ＤＭＤの応答速度が光走査よりも遅いという問題から十分なフレームレートを確保することができないという不都合がある。
　また、ＤＭＤの変わりにＥＯＭのような高速変調可能なデバイスを使用すれば上記課題を解決することができるが、多重数分の変調デバイスが必要となるためシステムが非常に高価になるという不都合がある。
　本発明は、上述した事情に鑑みてなされたものであって、多重数分のデバイスを必要とすることなくフレームレートを向上することができる画像取得装置および画像取得方法を提供することを目的としている。
　本発明の一態様は、複数の領域を同時に照明しながら、各々の照明領域に対応する局所信号を分離して取得する画像取得装置であって、光源から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光を生成する照明光生成部と、該照明光生成部により生成された複数の前記照明光を試料の異なる位置に照射する照明光学系と、該照明光学系により前記照明光が照射された複数の照射位置において発生した信号光が合成された合成信号光を検出して合成信号を出力する光検出部と、該光検出部により出力された前記合成信号から、前記変調照明光に対応した復調信号と前記合成信号との積の時間積分を用いて前記変調照明光に対応する変調局所信号を分離し、前記合成信号の時間積分から前記変調局所信号の総和を差分して前記非変調照明光に対応する非変調局所信号を分離する復調部とを備える画像取得装置である。
　本態様によれば、照明光生成部により、光源から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光が生成され、生成された複数の照明光が、照明光学系によって試料の異なる位置に照射される。各照明光の照射位置においては、信号光が同時にそれぞれ発生するので、光検出器において複数の照射位置において発生した複数の信号光の合成信号光が検出されて合成信号を出力する。そして、出力された合成信号が復調部に入力されることにより、合成信号から、変調照明光に対応した復調信号と合成信号との積の時間積分を用いて変調照明光に対応する変調局所信号を分離し、合成信号の時間積分から変調局所信号の総和を差分して非変調照明光に対応する非変調局所信号を分離して各照射位置において発生した信号光が復調される。
　この場合において、信号光復調部は、各照明光のパターンに同期する復調信号を用いて復調処理を行うので、照明光の相互の一次独立性を利用して合成信号光から各信号光を精度よく抽出することができる。したがって、複数の照射位置から同時に発せられた信号光を精度よく分離して検出することができ、多重数分のデバイスを必要とすることなくフレームレートを向上することができる。
　上記態様においては、前記変調照明光に対応しない前記復調信号と前記変調照明光に対応しない前記変調局所信号および前記非変調局所信号との積の時間積分がゼロであってもよい。
　また、上記態様においては、前記非変調照明光に対応する前記復調信号と前記合成信号との積の時間積分が前記合成信号の時間積分であってもよい。
　また、上記態様においては、前記照明光生成部が生成した複数の前記照明光の少なくとも一つの光路に光の強度を変調する変調器を備えていてもよい。
　また、上記態様においては、前記変調器を２以上備え、各該変調器が、相互に直交する前記復調信号を有する前記変調照明光をそれぞれ生成してもよい。
　このようにすることで、複数の変調器によって、相互に直交する復調信号を有する２以上の照明光を生成することができ、直交性を有する復調信号を用いることによって得られる信号量が増加し、フレームレートをさらに向上することができる。
　また、上記態様においては、複数の前記照射位置を前記試料中の任意位置に配置する機能を有していてもよい。
　また、本発明の他の態様は、光源から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光を生成する照明光生成ステップと、該照明光生成ステップにより生成された複数の前記照明光を試料の異なる位置に照射する照射ステップと、該照射ステップにより前記照明光が照射された複数の照射位置において発生した信号光が合成された合成信号光を検出して合成信号を出力する光検出ステップと、該光検出ステップにより出力された前記合成信号から、前記変調照明光に対応した復調信号と前記合成信号との積の時間積分を用いて前記変調照明光に対応する変調局所信号を分離し、前記合成信号の時間積分から前記変調局所信号の総和を差分して前記非変調照明光に対応する非変調局所信号を分離する信号光復調ステップとを含む画像取得方法である。
　本発明によれば、多重数分のデバイスを必要とすることなくフレームレートを向上することができるという効果を奏する。
本発明の一実施形態に係る画像取得装置を示す模式図である。 図１の画像取得装置における電気光学変調器による変調を受けたパターンの変調信号の一例を示す図である。 図１の画像取得装置における電気光学変調器による変調を受けていないパターンの変調信号の一例を示す図である。 図１の画像取得装置における電気光学変調器による変調を受けたパターンの復調信号の一例を示す図である。 図１の画像取得装置における電気光学変調器による変調を受けていないパターンの復調信号の一例を示す図である。 本発明の一実施形態に係る画像取得方法を説明するフローチャートである。 図１の画像取得装置の変形例であって、共焦点顕微鏡に適用した例を示す模式図である。 図１の画像取得装置の変形例であって、複数の照明光を合波する他の方法を示す図である。 図１の画像取得装置の変形例であって、図５Ａにおける破線部Ｓの位置に一対のミラーを配置した方法を示す図である。 図１の画像取得装置の変形例であって、複数の照明光を合波する他の方法を示す図である。 図１の画像取得装置の変形例であって、複数の照明光の間隔を調節する方法を示す図である。 図１の画像取得装置の変形例であって、３つの照明光を多重化する場合を示す図である。 図８の画像取得装置における第１の変調パターンの変調信号の一例を示す図である。 図８の画像取得装置における第２の変調パターンの変調信号の一例を示す図である。 図８の画像取得装置における変調を受けていないパターンの変調信号の一例を示す図である。 図８の画像取得装置における第１の変調パターンの復調信号の一例を示す図である。 図８の画像取得装置における第２の変調パターンの復調信号の一例を示す図である。 図８の画像取得装置における変調を受けていないパターンの復調信号の一例を示す図である。 図１の画像取得装置の変形例であって、音響光学偏向素子を用いて変調する場合を示す図である。 図１の画像取得装置の変形例であって、２つの音響光学偏向素子を用いて４つの照明光を多重化する場合を示す図である。 図１の画像取得装置の変形例であって、電気光学変調器による変調の際に弾かれる光を有効利用して４つの照明光を多重化する場合を示す図である。 図１２の画像取得装置において使用される光のパターンであって、光源からの光の変調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、電気光学変調器から出力された直後の第１の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、電気光学変調器から出力された直後の第２の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、ビームスプリッタにより分岐された直後の第３の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、ビームスプリッタにより分岐された直後の第４の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、光源からの光の復調信号 図１２の画像取得装置において使用される光のパターンであって、電気光学変調器から出力された直後の第１の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、電気光学変調器から出力された直後の第２の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、ビームスプリッタにより分岐された直後の第３の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置において使用される光のパターンであって、ビームスプリッタにより分岐された直後の第４の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第１の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第２の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第３の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第４の照明光の変調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第１の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第２の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第３の照明光の復調信号のパターンを示す図である。 図１２の画像取得装置においてビームスプリッタにより合波された直後の第４の照明光の復調信号のパターンを示す図である。 図１の画像取得装置の変形例であって、ビームスプリッタによる合波の際に弾かれる光を有効利用して４つの照明光を多重化する場合を示す図である。 図１の画像取得装置の変形例であって、シート照明を利用した場合を示す模式図である。
　以下、本発明の一実施形態に係る画像取得装置１および画像取得方法について、図面を参照して以下に説明する。
　本実施形態に係る画像取得装置１は、多光子励起型の走査型蛍光顕微鏡であって、図１に示されるように、一定のピーク強度を有する極短パルスレーザ光を所定時間間隔で射出する光源２と、該光源２からの光から相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む２つの照明光Ｌ１，Ｌ２を生成する照明光生成部３と、生成された複数の照明光Ｌ１，Ｌ２を試料Ａの異なる位置に照射する照明光学系４と、照明光Ｌ１，Ｌ２の複数の照射位置において発生した蛍光（信号光）の合成蛍光（合成信号光）を検出して合成信号を出力する光検出部５と、出力された合成信号から、各照射位置において発生した蛍光を復調する復調部（信号光復調部）６とを備えている。
　照明光生成部３は、光源２からの光を２つの光路に分岐する第１ビームスプリッタ（光分岐部）７と、分岐された一方の光路に設けられ、通過する光の強度の時間変化のパターンを変調する電気光学変調器（変調器）８と、結像レンズ９ａ，９ｂと、ミラー１０ａ，１０ｂと、２つの光路の光を合波する第２ビームスプリッタ（合波部）１１とを備えている。ミラー１０ａは、一方の光路に設けられた結像レンズ９ａによる一次結像位置を他方の光路に設けられた結像レンズ９ｂによる一次結像位置に対して光軸に直交する方向にシフトする位置に配置されている。
　電気光学変調器８には、信号制御部１２が接続されている。信号制御部１２は、電気光学変調器８に対して、例えば、図２Ａに示されるような変調信号を送ることにより、光源からのパルス光を１つ置きに遮断して、５０％デューティとなるように変調させるようになっている。例えば、光源２から射出される光が８０ＭＨｚの繰り返し周波数である場合に、電気光学変調器８は、光源２からの光の強度を変調して４０ＭＨｚの照明光Ｌ１を生成するようになっている。これにより、電気光学変調器８から出力される照明光Ｌ１は、４０ＭＨｚで強度が変化する変調パターンを有している。
　また、他方の光路には電気光学変調器８は設けられておらず、光源２から発せられた光がそのままのパターン、すなわち、一定のピーク強度を有するパルス列からなる変調を受けていないパターンの照明光Ｌ２が生成されるようになっている。
　これにより、２つの光路を通過した変調パターンの照明光Ｌ１と変調を受けていないパターンの照明光Ｌ２とは、相互に一次独立なパターンで時間変化する強度を有するようになる。
　照明光学系４は、第２ビームスプリッタ１１により合波された２つの照明光Ｌ１，Ｌ２をスキャナ１４に投影する瞳投影レンズ１３と、２つの照明光Ｌ１，Ｌ２を同時に同一方向（ＸＹ方向）に２次元的に走査するスキャナ１４と、該スキャナ１４により走査された照明光Ｌ１，Ｌ２をリレーするリレーレンズ１５ａ，１５ｂと、該リレーレンズ１５ａ，１５ｂによりリレーされた照明光Ｌ１，Ｌ２を試料Ａの複数の照射位置に照射する一方、試料Ａの各照射位置において発生した蛍光を集光する対物レンズ１６とを備えている。スキャナ１４は、例えば、ガルバノミラーである。
　スキャナ１４と対物レンズ１６の瞳位置とは、光学的に共役な位置に配置されている。また、結像レンズ９ａ，９ｂと瞳投影レンズ１３との間のレンズ間距離は２つの光路で等しくなるように設定されている。
　照明光学系４のリレーレンズ１５ａ，１５ｂと対物レンズ１６との間には、照明光Ｌ１，Ｌ２を透過し、蛍光を反射する特性を有するダイクロイックミラー１７が配置されている。光検出部５は、例えば、光電子増倍管等の光検出器５ａと、該光検出器５ａにより検出された蛍光の強度信号を増幅する増幅器５ｂとを備えている。
　復調部６は、信号制御部１２から変調信号に同期した復調信号を受けて、光検出器５ａにより検出された合成蛍光から各照射位置において発生した蛍光を復調するようになっている。具体的には、変調照明光に対応した復調信号と合成信号との積の時間積分を用いて変調照明光に対応する変調局所信号を分離し、合成信号の時間積分から変調局所信号の総和を差分して非変調照明光に対応する非変調局所信号を分離するようになっている。この場合、変調照明光に対応しない復調信号と変調照明光に対応しない変調局所信号および非変調局所信号との積の時間積分はゼロとなり、非変調照明光に対応する復調符号と合成信号との積の時間積分が合成信号の時間積分となる。
　この例では、復調用信号が変調のＯＮ／ＯＦＦに同期しており、ＯＮ時を１、ＯＦＦ時を－１とする。上記例においては、光源２からの光の強度を変調して変調パターンの照明光Ｌ１を生成するための図２Ａに示す変調信号に同期する図２Ｃに示す復調信号はｃｏｄｅ１＝（―１，１，―１，１）と表現できる。一方、図２Ｂに示されるように変調を行わない場合の復調信号は、図２Ｄに示されるように、ｃｏｄｅ２＝（１，１，１，１）と表現できる。各ｃｏｄｅ長は一画素の露光時間に対応している。この例では、ｃｏｄｅと光変調が各パルスに対応しているが、任意長さのパルス列ごとに変調を行ってもよい。
　復調部６においては、変調パターンの蛍光の強度を、光検出器５ａにより検出された合成蛍光の強度に、変調タイミングに同期した復調信号ｃｏｄｅ１を乗算して露光時間にわたって積分することにより変調照明光に対応する変調局所信号を分離して復調するようになっている。他方、変調を受けていないパターンの蛍光の強度は、光検出器５ａにより検出された合成蛍光の強度を露光時間にわたって積分した合成蛍光の積分値から、復調された変調パターンの蛍光の強度（変調局所信号の総和）を減算することにより非変調照明光に対応する非変調局所信号を分離して復調するようになっている。復調信号ｃｏｄｅ２を乗算することは何も乗算しないことに等しいので、検出された合成蛍光の積分値から変調パターンの蛍光の強度を減算するだけで済む。
　具体的な一例として、照明光Ｌ１のパルス一つに対応する蛍光信号強度をα、照明光Ｌ２のパルス一つに対応する蛍光信号をβとする。
　また、露光時間をパルス４つ分とすると、照明光Ｌ１に対応する露光時間中の蛍光信号の時系列データＤ１は（０，α，０，α）となる。一方、照明光Ｌ２に対応する露光時間中の蛍光信号の時系列データＤ２は（β，β，β，β）となる。そのため合成蛍光信号の時系列データＤはＤ＝Ｄ１＋Ｄ２＝（β，α＋β，β，α＋β）となる。
　合成蛍光信号の時系列データＤとｃｏｄｅ１との内積（乗算して積分するのと同一）を取ると、Ｄ１の積分値に相当する２αを算出することができる。さらに合成蛍光信号の時系列データＤとｃｏｄｅ２との内積が合成蛍光信号の積分値２α＋４βとなり、これに対して先に求めた照明光Ｌ１に対応する蛍光信号強度２αを減算することにより、照明光Ｌ２に対応する蛍光信号４βを得ることができる。
　このように構成された本実施形態に係る画像取得装置１を用いた画像取得方法について、以下に説明する。
　本実施形態に係る画像取得方法は、図３に示されるように、光源２から射出された極短パルスレーザ光から、相互に一次独立なパターンを有する複数の照明光Ｌ１，Ｌ２を生成する照明光生成ステップＳ１と、生成された複数の照明光Ｌ１，Ｌ２を試料Ａの異なる位置に照射する照射ステップＳ２と、照明光Ｌ１，Ｌ２が照射された複数の照射位置において発生した蛍光が合成された合成蛍光を検出する光検出ステップＳ３と、検出された合成蛍光から、各照明光Ｌ１，Ｌ２のパターンに同期する復調信号を用いて、各照射位置において発生した蛍光を復調する蛍光復調ステップ（信号光復調ステップ）Ｓ４とを含んでいる。
　このように構成された本実施形態に係る画像取得装置１および画像取得方法によれば、２つに分岐した光路の一方に電気光学変調器８を設ければ済むので、単一の電気光学変調器８だけで２つの照明光Ｌ１，Ｌ２を多重化させることができ、装置を簡易かつ安価に構成することができるという利点がある。
　そして、多重化された２つの照明光Ｌ１，Ｌ２を試料Ａに同時に照射するので、スキャナ１４によって２つの照明光Ｌ１，Ｌ２のスポットを試料Ａにおいて走査することによりサンプルにおける二つの異なる領域を同時にイメージングすることができるため、多重数分のデバイスを必要とすることなく観察範囲の画像を取得するフレームレートを２倍に向上することができるという利点がある。
　また、一方の光路を通過する照明光Ｌ２に変調を掛けずに済むので、２つの電気光学変調器によって２つの照明光Ｌ１，Ｌ２を生成する場合と比較して、取得信号量を最大で１．５倍向上することができるという利点がある。
　なお、本実施形態においては、画像取得装置１として、多光子励起型の蛍光顕微鏡を例示したので、照明光Ｌ１，Ｌ２から蛍光を分岐するダイクロイックミラー１７を対物レンズ１６とリレーレンズ１５ｂとの間に配置したが、これに代えて、図４に示されるように、共焦点顕微鏡に適用し、スキャナ１４よりも光源２側にダイクロイックミラー１７を配置し、かつ、対物レンズ１６による各照明光Ｌ１，Ｌ２の焦点位置と光学的に共役な位置にピンホール部材１８を配置することにしてもよい。
　ピンホール部材１８における透孔１８ａの数および間隔は照明光Ｌ１，Ｌ２の数および焦点位置間の距離に応じて設定されている。
　また、この場合、光源２としては一定の強度を有する連続光を射出するものを採用すればよい。
　また、光分岐部７としてビームスプリッタを採用したが、偏光ビームスプリッタを採用してもよい。また、合波部１１としてビームスプリッタを採用したが、偏光ビームスプリッタあるいは、図５Ａに示されるように三角プリズム１９とミラー２０ａ，２０ｂとの組み合わせを採用してもよい。この場合に、矢印Ｂの方向に三角プリズム１９とミラー２０ａ，２０ｂとを相対移動させると、照明光Ｌ１，Ｌ２のＸ方向における間隔を変更することができる。
　また、結像レンズ９ａ，９ｂと瞳投影レンズ１３との間で合波することに代えて、図６に示されるように結像レンズ９よりも光源２側において合波して、結像レンズ９を共通化してもよい。また、他の任意の方法により分岐および合波を行うことにしてもよい。
　また、ミラー１０ａを固定して一次結像位置のシフト量を固定したが、これに代えて、ミラー１０ａを図７に示す矢印Ｃの方向に移動させることにより、一次結像位置のシフト量を調節可能にしてもよい。
　また、変調器として電気光学変調器８を例示したが、これに代えて音響光学変調器等の変調器を採用してもよい。
　また、図５Ｂに示されるように、三角プリズム１９とミラー２０ａ，２０ｂとの組み合わせに加えて照明光Ｌ１の光線高さを変化させるために、光路中に照明光Ｌ１，Ｌ２のＹ方向における間隔を可変可能な一対のミラー３７ａ，３７ｂを導入してもよい。これにより、ミラー３７ａ，３７ｂ間の間隔を狭めるまたは広げることによって、光軸に垂直な面においてＹ方向（隣り合うビームに対して垂直方向）にビームを移動することができる。
　また、レンズ９ａ，９ｂを光軸に沿う方向に移動可能に設け、光軸に沿ってレンズ９ａ，９ｂを移動させることにより、試料Ａにおける各集光点のＺ方向位置を調整するようにしてもよい。
　このようにすることにより、光軸に対して垂直なＸＹ方向への移動および光軸に沿うＺ方向への移動を組み合わせることにより、各々の焦点を任意位置に配置することができる。これにより、離れた任意ボリュームのイメージングを時間的同時性を有して行うことができる。その結果、脳の機能解明等において、複数領域の同時イメージングを用いて、異なる機能を持つ領域の相互作用を明らかにすることができる。
　また、本実施形態においては、光源２からの光を２つに分岐したが、これに代えて、３以上に分岐することにしてもよい。到着パルス数は復調に使用するベクトル空間の次元と同じと考えることができるので、照明光の多重化は、露光時間中の到着パルス数と同数だけ行うことができる。これによりさらなる高速化を図ることができる。
　図８に３つの光路に分岐する場合について例示する。
　３つの光路への分岐は、光源２からの光を照明光Ｌ１，Ｌ２の光路と照明光Ｌ３の光路とに分岐するビームスプリッタ７ａと、ビームスプリッタ７ａの下流側に配置され、分岐された照明光Ｌ１，Ｌ２の光路を照明光Ｌ１の光路と照明光Ｌ２の光路とにさらに分岐するビームスプリッタ７ｂとによりなされる。３つの光路には、結像レンズ９ａ，９ｂ，９ｃがそれぞれ配置されている。
　１つの光路には電気光学変調器８がなく、他の２つの光路には、相互に直交する変調パターンの照明光（変調照明光）Ｌ１，Ｌ２を生成する電気光学変調器（変調器）８ａ，８ｂをそれぞれ配置している。
　具体的には、図９Ａおよび図９Ｄに示すように、一方の電気光学変調器８ａに対応する変調信号および変調パターンの復調信号ｃｏｄｅ１＝（－１，１，－１，１）、図９Ｂおよび図９Ｅに示すように、他方の電気光学変調器８ｂに対応する変調信号および変調パターンの復調信号ｃｏｄｅ２＝（１，－１，－１，１）、図９Ｃおよび図９Ｆに示すように、電気光学変調器８ａ，８ｂによる変調をうけていない変調信号および変調パターンの復調信号ｃｏｄｅ３＝（１，１，１，１）とする。
　照明光Ｌ１のパルス一つに対応する蛍光信号をα、照明光Ｌ２のパルス一つに対応する蛍光信号をβ、照明光Ｌ３のパルス一つに対応する蛍光信号をγとする。
　また、露光時間をパルス４つ分とすると、照明光Ｌ１に対応する露光時間中の蛍光信号の時系列データＤ１は（０，α，０，α）となる。そして、照明光Ｌ２に対応する露光時間中の蛍光信号の時系列データＤ２は（β，０，０，β）となり、照明光Ｌ３に対応する露光時間中の蛍光信号の時系列データＤ３は（γ，γ，γ，γ）となる。そのため合成蛍光信号の時系列データＤはＤ＝Ｄ１＋Ｄ２＋Ｄ３＝（β＋γ，α＋γ，γ，α＋β＋γ）となる。
　合成蛍光信号の時系列データＤとｃｏｄｅ１との内積を取るとＤ１の積分値に相当する２α、合成蛍光信号の時系列データＤとｃｏｄｅ２との内積を取るとＤ２の積分値に相当する２βを算出することができる。さらに合成蛍光信号の時系列データＤとｃｏｄｅ３との内積が合成蛍光信号の積分値２α＋２β＋４γとなり、これに対して先に求めた照明光Ｌ１に対応する蛍光信号強度２αと照明光Ｌ２に対応する蛍光信号強度２βを減算することにより、照明光Ｌ３に対応する蛍光信号４γを得ることができる。
　検出された合成蛍光の強度に変調に同期した復調信号ｃｏｄｅ１を乗算して積分することにより、第１の変調パターンの照明光Ｌ１に対応する蛍光を復調することができる。また、検出された合成蛍光の強度に変調にタイミング同期した復調信号ｃｏｄｅ２を乗算して積分することにより、第２の変調パターンの照明光Ｌ２に対応する蛍光を復調することができる。そして、検出された合成蛍光の強度の積分値から第１，第２の変調パターンに対応する蛍光をそれぞれ減算することにより、変調を受けていないパターンの照明光Ｌ３に対応する蛍光を復調することができる。
　２つの変調パターンの照明光Ｌ１，Ｌ２の合波、および合波された変調パターンの照明光Ｌ１，Ｌ２と変調を受けていないパターンの照明光Ｌ３との合波は、それぞれミラー２１ａ，２１ｂと三角プリズム２２との組み合わせにより行うことにしている。これにより、３以上の照明光Ｌ１，Ｌ２，Ｌ３を効率よく合波することができる。この場合、ミラー２１ａ，２１ｂと三角プリズム２２との矢印Ｄ方向への相対移動により、照明光Ｌ１，Ｌ２，Ｌ３の間隔を変更することができる。
　また、３つの光路に分岐する場合において、照明光Ｌ１，Ｌ２に対応する復調Ｃｏｄｅが相互に直交する変調パターンのものを説明したが、これに限られるものではなく、照明光Ｌ１，Ｌ２に対応する復調Ｃｏｄｅが相互に直交しない変調パターンのものを採用してもよい。
　具体的には、一方の電気光学変調器８ａに対応する変調パターンの復調信号ｃｏｄｅ１＝（１，０，０，－１）、他方の電気光学変調器８ｂに対応する変調パターンの復調信号ｃｏｄｅ２＝（０，１，０，－１）、電気光学変調器８ａ，８ｂによる変調を受けていないパターンの復調信号ｃｏｄｅ３＝（１，１，１，１）とする。この場合、０に対応する光変調はＯＦＦである。
　照明光Ｌ１のパルス一つに対応する蛍光信号をα、照明光Ｌ２のパルス一つに対応する蛍光信号をβ、照明光Ｌ３のパルス一つに対応する蛍光信号をγとする。
　また、露光時間をパルス４つ分とすると、照明光Ｌ１に対応する露光時間中の蛍光信号の時系列データＤ１は（α，０，０，０）となる。そして、照明光Ｌ２に対応する露光時間中の蛍光信号の時系列データＤ２は（０，β，０，０）となり、照明光Ｌ３に対応する露光時間中の蛍光信号の時系列データＤ３は（γ，γ，γ，γ）となる。そのため合成蛍光信号の時系列データＤはＤ＝Ｄ１＋Ｄ２＋Ｄ３＝（α＋γ，β＋γ，γ，γ）となる。
　合成蛍光信号の時系列データＤとｃｏｄｅ１との内積を取るとＤ１の積分値に相当するα、合成蛍光信号の時系列データＤとｃｏｄｅ２との内積を取るとＤ２の積分値に相当するβを算出することができる。さらに合成蛍光信号の時系列データＤとｃｏｄｅ３との内積が合成蛍光信号の積分値α＋β＋４γとなり、これに対して先に求めた照明光Ｌ１に対応する蛍光信号強度αと照明光Ｌ２に対応する蛍光信号強度βを減算することにより、照明光Ｌ３に対応する蛍光信号４γを得ることができる。
　また、本実施形態においては、電気光学変調器８に代えて、共振電気光学変調器（図示略）を採用してもよい。共振電気光学変調器によれば、低電圧で駆動できるため、電力増幅器が不要のためコストを低く抑えることができるという利点がある。共振電気光学変調器の共振周期を繰り返し周期と同じにすることにより、露光時間中で任意のパターンを作り出すことができる。
　また、電気光学変調器８によって一方の光路の光の強度を変調することとしたが、これに代えて、図１０に示されるように、音響光学偏向素子２３と、レンズ２４と、プリズム２５と、ミラー２６ａ，２６ｂと、ビームスプリッタ２７とを組み合わせて周波数の異なる光の干渉によるビート周波数に変調することにしてもよい。
　例えば、図１０に示される例では、音響光学偏向素子２３によって、周波数変調しない光（光源周波数ＹＭＨｚの変調を受けていないパターン）Ｌ１、周波数ＸＭＨｚに周波数変調した光（第１の変調パターン）Ｌ２ａ、周波数Ｘ＋４０ＭＨｚに周波数変調した光（第２の変調パターン）Ｌ２ｂを生成する。生成された第１，第２の変調パターンの光Ｌ２ａ，Ｌ２ｂは、レンズ２４、プリズム２５、およびミラー２６ａ，２６ｂを経由して同一光路長の異なる光路を導かれた後にビームスプリッタ２７で合波されることにより干渉によって両者の差分周波数（４０ＭＨｚ）の照明光Ｌ２となる。ミラー２６ａは、光路長を調整するために矢印Ｅの方向に移動可能に設けられている。
　これにより、周波数ＹＭＨｚの変調を受けていないパターンの照明光Ｌ１と、周波数４０ＭＨｚの変調パターンの照明光Ｌ２とを試料Ａの異なる位置に照射することができる。
　この場合に、信号制御部１２は、音響光学偏向素子２３のドライバ２８を制御して、２つの変調パターンの光Ｌ２ａ，Ｌ２ｂの周波数を任意に調節することができ、周波数に応じて射出方向が異なることを利用して試料Ａにおける照明光Ｌ２の照射位置を音響光学偏向素子２３の電気的な制御によって任意に調節することができる。
　また、図１１に示されるように３種類の変調パターンの照明光Ｌ１，Ｌ２，Ｌ３と、変調を受けていないパターンの照明光Ｌ４の合計４つを試料Ａに同時に照射することにしてもよい。
　例えば、図１１に示される例では、２組の音響光学偏向素子２３ａ，２３ｂ、レンズ２４ａ，２４ｂ、プリズム２５ａ，２５ｂ、ミラー２６およびビームスプリッタ２７ａ，２７ｂを利用している。
　一方の音響光学偏向素子２３ａには、光源２からの光の内、一偏光方向、例えば、Ｐ偏光の光が入射される。この音響光学偏向素子２３ａは、入射された光を、ＸＭＨｚ，ＹＭＨｚ，Ｘ＋２０ＭＨｚ，Ｙ＋２０ＭＨｚの４つの光に分岐する。分岐された光は、それぞれ、レンズ２４ａ、プリズム２５ａ、ミラー２６を経由することにより、ＸＭＨｚの光とＸ＋２０ＭＨｚの光、ＹＨＭｚの光とＹ＋２０ＭＨｚの光がそれぞれビームスプリッタ２７ａで合波されることによって干渉させられる。これにより、ビート周波数２０ＭＨｚの２つの照明光Ｌ１，Ｌ２が生成される。２つの照明光Ｌ１，Ｌ２は、音響光学偏向素子２３ａのドライバ２８に入力する駆動電圧波形の位相を調整することでビート周波数上での位相が９０°ずれるようにしている。これにより相互に直交するパターン作成することができる
　他方の音響光学偏向素子２３ｂは、光源２からの光の内、他の偏光方向、例えば、Ｓ偏光の光が入射される。この音響光学偏向素子２３ｂは、入射された光を、Ω＝８０ＭＨｚ，Ｚ＋４０ＭＨｚ，ＺＭＨｚの３つの光に分岐する。分岐された光は、それぞれ、レンズ２４ｂ、プリズム２５ｂ、ミラー２６を経由することにより、Ｚ＋４０ＭＨｚの光とＺＭＨｚの光とがビームスプリッタ２７ｂで合波されることによって干渉させられる。これにより、ビート周波数４０ＭＨｚの照明光Ｌ３が生成される。ΩＭＨｚの光は、レンズ２４ｂ、プリズム２５ｂ、ミラー２６を経由してそのままビームスプリッタ２７ｂに導かれ、変調を受けていないパターンの照明光Ｌ４となる。
　これら４つの照明光Ｌ１からＬ４は、ミラー３６を経由して偏光ビームスプリッタ２９により合波され、試料Ａの異なる位置に照射される。
　このようにすることで、４つの照明光Ｌ１からＬ４を多重化して試料Ａに照射し、さらにフレームレートを向上することができるという利点がある。
　また、図１２に示されるように、電気光学変調器８により５０％デューティで変調する際に、電気光学素子内の偏光素子により遮断された光を利用して多重化することにしてもよい。
　すなわち、電気光学変調器８からは、位相が反転した２つの照明光Ｌ１，Ｌ２が射出されるので、一方の照明光Ｌ２の光路長を調節してレーザ光の発振周期の半分の時間遅延を与えることで、検出タイミングが異なる、照明光Ｌ１，Ｌ２を生成することができる。また、電気光学変調器８を有しない光路にビームスプリッタ３０を配置して分岐し、分岐された光の光路長を調節してレーザ光の発振周期の半分の時間遅延を与えることで、検出タイミングが異なる照明光Ｌ３，Ｌ４を生成することができる。
　具体的には、図１３Ａおよび図１３Ｆに示されるように、光源２として周波数８０ＭＨｚで、ピーク強度一定のパルスレーザ光を射出する光源２を想定する。
　そして、電気光学変調器８により５０％デューティに変調すると、図１３Ｂおよび図１３Ｇに示される４０ＭＨｚでオンオフされる第１の照明光Ｌ１と、図１３Ｃおよび図１３Ｈに示される位相が反転した第２の照明光Ｌ２の２つの照明光Ｌ１，Ｌ２が生成される。
　一方、電気光学変調器８を有しない光路を通過する光がビームスプリッタ３０により分岐されることにより、図１３Ｄ、図１３Ｅ、図１３Ｉおよび図１３Ｊに示されるように、周波数８０ＭＨｚでオンオフされる第３、第４の照明光Ｌ３，Ｌ４が生成される。
　そして、第２の照明光Ｌ２および第４の照明光Ｌ４については、レーザ光の発振周期１２．５ｎｓの半分の時間遅延６．２５ｎｓを与えるように光路長を調節することにより、図１４Ａから図１４Ｈに示されるように、第１の照明光Ｌ１と第３の照明光Ｌ３のペアと、第２の照明光Ｌ２と第４の照明光Ｌ４のペアとは異なる時刻に試料Ａに照射されるので、照明光Ｌ１，Ｌ３のペアまたは照明光Ｌ２，Ｌ４のペアに対応して発生する蛍光は時間的に分離することができる。各ペアを構成する２つの照明光Ｌ１，Ｌ３および照明光Ｌ２，Ｌ４は相互に一次独立の関係を有しているので、上記と同様にして復調することができる。
　このようにすることで、照明光Ｌ１からＬ４の一次独立性と時間的な変調とを組み合わせて、より多くの多重化を行うことができ、さらにフレームレートを向上することができるという利点がある。電気光学変調部８において変調する際に弾かれた光も利用するので、エネルギーを効率よく利用することができるという利点もある。
　さらに、図１５に示されるように、図１０に示される音響光学偏向素子２３を用いた変調を行う画像取得装置１において、ビームスプリッタ２７により合波する際に弾かれた光を遅延光路に導くことによって遅延させ、時間的に多重化することにしてもよい。図中、符号３１はλ／２板、符号３２はミラー、符号３３はリレーレンズ、符号３４は折り返しミラーである。ミラー３２は、λ／２板３１を通過してきた光の光路からは外れており、折り返しミラー３４によって折り返された光のみを反射する位置に配置されている。
　図１０と同様にして、ビームスプリッタ２７において反射されたＸ＋４０ＭＨｚの光と、ビームスプリッタ２７を透過したＸＭＨｚの光とが合波されることにより、４０ＭＨｚの照明光Ｌ１となり、ビームスプリッタ２７を透過したＹ＝８０ＭＨｚの照明光Ｌ２とともに、偏光ビームスプリッタ３５において反射される。
　ビームスプリッタ２７において反射されずに透過したＸ＋４０ＭＨｚの光と、ビームスプリッタ２７を透過せずに反射されたＸＭＨｚの光とが合波されることにより、４０ＭＨｚの照明光Ｌ３となって遅延光路に入射される。遅延光路においては、λ／２板３１によって偏光方向を変更され、リレーレンズ３３および折り返しミラー３４を経由して戻る途中でミラー３２により偏向され、偏光ビームスプリッタ３５を通過させられる。
　一方、ビームスプリッタ２７を透過せずに反射されたＹ＝８０ＭＨｚの照明光Ｌ４は、遅延光路において、λ／２板３１によって偏光方向を変更され、リレーレンズ３３および折り返しミラー３４を経由して戻る途中でミラー３２により偏向され、偏光ビームスプリッタ３５を通過させられる。
　これにより、相互に一次独立な４０ＭＨｚの照明光Ｌ１と８０ＭＨｚの照明光Ｌ２のペアおよび、相互に一次独立な４０ＭＨｚの照明光Ｌ３と８０ＭＨｚの照明光Ｌ４のペアが、時刻を異ならせて試料Ａの異なる位置に照射される。これにより、照明光Ｌ１からＬ４の一次独立性と時間的な変調とを組み合わせて、より多くの多重化を行うことができ、さらにフレームレートを向上することができるという利点がある。ビームスプリッタ２７において弾かれた光も利用するので、エネルギーを効率よく利用することができるという利点もある。
　また、上記各実施形態においては、落射型の画像取得装置１について説明したが、これに限定されるものではない。例えば、図１６に示されるように、相互に一次独立なパターンを有するシート状の照明光Ｌ１，Ｌ２を対物レンズ１６の光軸に沿う方向に離間した位置に対物レンズ１６の光軸に直交する方向から同時に入射させるライトシート顕微鏡４０に適用してもよい。
　図１６に示す例では、カメラ４１の１フレーム毎に一方の照明光Ｌ１，Ｌ２の強度を切り替えて対物レンズ１６の光軸に沿う方向に離れた２つの平面内において走査することにより、照明光Ｌ１，Ｌ２を擬似的にシート状に生成している。各走査位置における試料Ａからの光を顕微鏡レンズ４２および結像レンズ４３により集光し、カメラ４１によって画像を複数枚、例えば、露光時間中に４つのパルスがくる場合に２多重を行う場合は，パルス到着毎に画像を４枚取得し、照明光Ｌ１，Ｌ２の一次独立性を利用して取得された画像を演算することにより、各照射位置に対応する２枚の蛍光画像を復調して取得することができる。これを用いれば同じ時間に異なる場所で起きている現象を同時に捉えることができる
　なお、擬似的なシート状の照明光に代えて、シリンドリカルレンズを用いて生成されたシート状の照明光を採用してもよい。
　１　画像取得装置
　２　光源
　３　照明光生成部
　４　照明光学系
　５　光検出部
　６　復調部（信号光復調部）
　７，７ａ，７ｂ　第１ビームスプリッタ（光分岐部）
　８，８ａ，８ｂ　電気光学変調器（変調器）
　Ｓ１　照明光生成ステップ
　Ｓ２　照射ステップ
　Ｓ３　光検出ステップ
　Ｓ４　蛍光復調ステップ（信号光復調ステップ）
　Ｌ１，Ｌ２，Ｌ２ａ，Ｌ２ｂ，Ｌ３，Ｌ４　照明光の主光線
　Ａ　試料
 

Claims (7)

  1. 　複数の領域を同時に照明しながら、各々の照明領域に対応する局所信号を分離して取得する画像取得装置であって、
    　光源から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光を生成する照明光生成部と、
    　該照明光生成部により生成された複数の前記照明光を試料の異なる位置に照射する照明光学系と、
    　該照明光学系により前記照明光が照射された複数の照射位置において発生した信号光が合成された合成信号光を検出して合成信号を出力する光検出部と、
    　該光検出部により出力された前記合成信号から、前記変調照明光に対応した復調信号と前記合成信号との積の時間積分を用いて前記変調照明光に対応する変調局所信号を分離し、前記合成信号の時間積分から前記変調局所信号の総和を差分して前記非変調照明光に対応する非変調局所信号を分離する復調部とを備える画像取得装置。
  2. 　前記変調照明光に対応しない前記復調信号と前記変調照明光に対応しない前記変調局所信号および前記非変調局所信号との積の時間積分がゼロである請求項１に記載の画像取得装置。
  3. 　前記非変調照明光に対応する前記復調信号と前記合成信号との積の時間積分が前記合成信号の時間積分である請求項２に記載の画像取得装置。
  4. 　前記照明光生成部が生成した複数の前記照明光の少なくとも一つの光路に光の強度を変調する変調器を備える請求項１から請求項３のいずれかに記載の画像取得装置。
  5. 　前記変調器を２以上備え、
    　各該変調器が、相互に直交する前記復調信号を有する前記変調照明光をそれぞれ生成する請求項４に記載の画像取得装置。
  6. 　複数の前記照射位置を前記試料中の任意位置に配置する機能を有する請求項１から請求項３のいずれかに記載の画像取得装置。
  7. 　光源から射出された光の強度を変調し相互に一次独立なパターンを有し、変調された変調照明光と変調されていない非変調照明光とを含む複数の照明光を生成する照明光生成ステップと、
    　該照明光生成ステップにより生成された複数の前記照明光を試料の異なる位置に照射する照射ステップと、
    　該照射ステップにより前記照明光が照射された複数の照射位置において発生した信号光が合成された合成信号光を検出して合成信号を出力する光検出ステップと、
    　該光検出ステップにより出力された前記合成信号から、前記変調照明光に対応した復調信号と前記合成信号との積の時間積分を用いて前記変調照明光に対応する変調局所信号を分離し、前記合成信号の時間積分から前記変調局所信号の総和を差分して前記非変調照明光に対応する非変調局所信号を分離する信号光復調ステップとを含む画像取得方法。
PCT/JP2016/065610 2015-06-23 2016-05-26 画像取得装置および画像取得方法 Ceased WO2016208322A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112016002209.3T DE112016002209T5 (de) 2015-06-23 2016-05-26 Bilderlangungsvorrichtung und Bilderlangungsverfahren
JP2017524774A JP6720165B2 (ja) 2015-06-23 2016-05-26 画像取得装置および画像取得方法
US15/813,444 US20180073976A1 (en) 2015-06-23 2017-11-15 Image-obtaining device and image-obtaining method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562183227P 2015-06-23 2015-06-23
US62/183,227 2015-06-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/813,444 Continuation US20180073976A1 (en) 2015-06-23 2017-11-15 Image-obtaining device and image-obtaining method

Publications (1)

Publication Number Publication Date
WO2016208322A1 true WO2016208322A1 (ja) 2016-12-29

Family

ID=57586319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065610 Ceased WO2016208322A1 (ja) 2015-06-23 2016-05-26 画像取得装置および画像取得方法

Country Status (4)

Country Link
US (1) US20180073976A1 (ja)
JP (1) JP6720165B2 (ja)
DE (1) DE112016002209T5 (ja)
WO (1) WO2016208322A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251133A1 (ja) * 2020-06-10 2021-12-16 浜松ホトニクス株式会社 観察装置及び観察方法
WO2023095442A1 (ja) * 2021-11-29 2023-06-01 浜松ホトニクス株式会社 観察装置および観察方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10006852B2 (en) * 2016-09-13 2018-06-26 Becton, Dickinson And Company Flow cytometer with optical equalization
FR3066862A1 (fr) * 2017-05-23 2018-11-30 Centre National D'etudes Spatiales Dispositif de spectroscopie a distance a une source laser complexe et procede de spectroscopie a distance associe
US12320747B2 (en) * 2021-11-08 2025-06-03 Electronics And Telecommunications Research Institute Apparatus and method for PCR diagnosis based on multi-wavelength light source and orthogonal code signals
KR102849392B1 (ko) 2023-03-21 2025-08-22 한국전자통신연구원 초분광 이미징 장치 및 그의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023387A (ja) * 2004-07-06 2006-01-26 Olympus Corp 顕微鏡
JP2012078802A (ja) * 2010-10-01 2012-04-19 Carl Zeiss Microimaging Gmbh 顕微鏡および顕微鏡検査法
JP2012208442A (ja) * 2011-03-30 2012-10-25 Olympus Corp 走査型顕微鏡および走査型顕微鏡システム
JP2013019908A (ja) * 2005-07-22 2013-01-31 Carl Zeiss Microscopy Gmbh 解像度を高めたルミネセンス顕微鏡検査

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009027102A2 (en) * 2007-08-29 2009-03-05 Eppendorf Ag Device and method for radiometric measurement of a plurality of samples
WO2011023593A1 (en) * 2009-08-24 2011-03-03 INSERM (Institut National de la Santé et de la Recherche Médicale) Method of and apparatus for imaging a cellular sample

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023387A (ja) * 2004-07-06 2006-01-26 Olympus Corp 顕微鏡
JP2013019908A (ja) * 2005-07-22 2013-01-31 Carl Zeiss Microscopy Gmbh 解像度を高めたルミネセンス顕微鏡検査
JP2012078802A (ja) * 2010-10-01 2012-04-19 Carl Zeiss Microimaging Gmbh 顕微鏡および顕微鏡検査法
JP2012208442A (ja) * 2011-03-30 2012-10-25 Olympus Corp 走査型顕微鏡および走査型顕微鏡システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021251133A1 (ja) * 2020-06-10 2021-12-16 浜松ホトニクス株式会社 観察装置及び観察方法
WO2023095442A1 (ja) * 2021-11-29 2023-06-01 浜松ホトニクス株式会社 観察装置および観察方法
JP2023079446A (ja) * 2021-11-29 2023-06-08 浜松ホトニクス株式会社 観察装置および観察方法
JP7671233B2 (ja) 2021-11-29 2025-05-01 浜松ホトニクス株式会社 観察装置および観察方法

Also Published As

Publication number Publication date
US20180073976A1 (en) 2018-03-15
JPWO2016208322A1 (ja) 2018-04-19
DE112016002209T5 (de) 2018-03-01
JP6720165B2 (ja) 2020-07-08

Similar Documents

Publication Publication Date Title
JP6720165B2 (ja) 画像取得装置および画像取得方法
US9356413B2 (en) Laser source apparatus and laser microscope
JP5554965B2 (ja) 位相変調型空間光変調器を用いたレーザ顕微鏡
US10209502B2 (en) Microscope and microscopy method
JP2011191496A (ja) 光源装置およびレーザ走査型顕微鏡装置
WO2014057998A1 (ja) 照明装置及び顕微鏡、並びに照明方法及び観察方法
JP2014507627A (ja) 誘導ラマン散乱検出装置
WO2014129650A1 (ja) ビームスプリッタ装置、走査型観察装置、レーザ走査型顕微鏡およびレーザ走査型内視鏡
WO2017094184A1 (ja) 走査型顕微鏡および顕微鏡画像取得方法
US10942345B2 (en) Image acquisition method and image acquisition device
JP6598437B2 (ja) 光パルス同期装置および顕微鏡システム
JP6803196B2 (ja) 顕微鏡装置
US10261299B2 (en) Image-acquisition apparatus and image-acquisition method
JPWO2018084271A1 (ja) 蛍光観察装置
WO2017175374A1 (ja) 画像取得装置
WO2016006224A1 (en) Light pulse synchronizer, illumination apparatus, optical microscope, and light pulse synchronization method
KR101523173B1 (ko) 탈 축 홀로그램 레코딩 장치
JP2018091833A (ja) ノイズ低減装置およびそれを有する検出装置
JP5831782B2 (ja) 顕微鏡装置
KR20130083258A (ko) 전기광학 변조기를 이용한 공간적 위상 변조기 및 이를 이용한 공초점 현미경
JP2016033676A (ja) 顕微鏡装置
KR101727832B1 (ko) 헤테로다인 간섭을 이용한 초고분해능 촬영 장치
JP2016145718A (ja) 光パルス列同期装置、光パルス列同期方法、照明装置、検出装置およびプログラム
JP6643896B2 (ja) 光パルス列同期装置、光学顕微鏡及び光パルス列同期方法
JP5568991B2 (ja) 走査型顕微鏡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814093

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017524774

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112016002209

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16814093

Country of ref document: EP

Kind code of ref document: A1