WO2025187690A1 - 顕微鏡、方法、及びプログラム - Google Patents
顕微鏡、方法、及びプログラムInfo
- Publication number
- WO2025187690A1 WO2025187690A1 PCT/JP2025/007692 JP2025007692W WO2025187690A1 WO 2025187690 A1 WO2025187690 A1 WO 2025187690A1 JP 2025007692 W JP2025007692 W JP 2025007692W WO 2025187690 A1 WO2025187690 A1 WO 2025187690A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- micro
- macro
- optical system
- observation optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
Definitions
- the present invention relates to a microscope, a method, and a program.
- Patent Document 1 a method for aligning images acquired with a microscope is known.
- the technology disclosed herein provides a novel method for image registration.
- One embodiment of the present invention is a microscope comprising a first observation optical system that acquires macro images, a second observation optical system that acquires micro images different from the first observation optical system, and a control unit, wherein the control unit executes the following processes: acquiring a first macro image of a first specimen using the first observation optical system; acquiring first position information that indicates the position of a first region of interest within the first macro image; controlling the positional relationship between a stage on which the first specimen is placed and the second observation optical system based on the first position information, and acquiring a first micro image of the first region of interest using the second observation optical system; acquiring a second macro image of a second specimen that is different from the first specimen using the first observation optical system; acquiring second position information that indicates the position of a second region of interest in the second macro image that corresponds to the first position information, based on the first macro image and the second macro image; and controlling the positional relationship between the stage on which the second specimen is placed and the second observation optical system based on the second position information, and acquiring
- Another embodiment of the present invention is a method for a microscope equipped with a first observation optical system for acquiring macro images, a second observation optical system for acquiring micro images different from the first observation optical system, and a control unit, the method being executed by the control unit, and includes: a process of acquiring a first macro image of a first specimen using the first observation optical system; an acquisition process of acquiring first position information indicating the position of a first region of interest within the first macro image; a process of controlling the positional relationship between a stage on which the first specimen is placed and the second observation optical system based on the first position information, and acquiring a first micro image of the first region of interest using the second observation optical system; a process of acquiring a second macro image of a second specimen different from the first specimen using the first observation optical system; a process of calculating a macro shift amount, which is the amount of positional shift between the first macro image and the second macro image, based on the macro shift amount; a process of acquiring second position information indicating the position of a second region
- a further embodiment of the present invention is a program for a microscope including a first observation optical system for acquiring macro images, a second observation optical system different from the first observation optical system for acquiring micro images, and a control unit, the program causing the control unit to execute the following processes: acquiring a first macro image of a first specimen using the first observation optical system; acquiring first position information indicating the position of a first region of interest within the first macro image; controlling the positional relationship between a stage on which the first specimen is placed and the second observation optical system based on the first position information, and acquiring a first micro image of the first region of interest using the second observation optical system; acquiring a second macro image of a second specimen different from the first specimen using the first observation optical system; calculating a macro shift amount, which is the amount of positional shift between the first macro image and the second macro image, based on the macro shift amount; acquiring second position information indicating the position of a second region of interest in the second macro image that corresponds to the first position information, and controlling the positional relationship between
- FIG. 1 is a diagram showing the overall configuration of a system according to an embodiment, illustrating a situation in which an optical system P1 is used.
- 1 is a diagram showing the overall configuration of a system according to an embodiment, illustrating a situation in which an optical system P2 is used.
- FIG. 2 is a diagram showing the hardware configuration of an information processing apparatus.
- 1A is a block diagram showing the overall configuration of the system
- FIG. 1B is a block diagram showing the hardware configuration of an information processing device
- FIG. 1C is a block diagram showing the functional configuration (software configuration) of the information processing device.
- 1A and 1B are diagrams illustrating the configuration of biological tissues and specimens.
- FIG. 1 is a diagram showing the configuration of a specimen and a region of interest.
- FIG. 1 is a diagram showing the configuration of biological tissue and micro-images.
- 1 is a flowchart of a process executed in an embodiment.
- 1 is a flowchart of a process executed in an embodiment.
- 1 is a flowchart of a process executed in an embodiment.
- FIG. 1 is a diagram illustrating an outline of alignment performed on a macro image and a micro image.
- 1 is an example of a screen displayed on an output device, showing a situation in which one micro image is displayed.
- 1 is an example of a screen displayed on an output device, showing two micro images displayed superimposed on each other.
- 1 is an example of a screen displayed on an output device, showing two micro images displayed side by side.
- 1 is an example of a screen displayed on an output device, showing a situation in which a plurality of micro images are displayed side by side.
- 1 is an example of a screen displayed on an output device, showing a situation in which a plurality of micro images are displayed side by side.
- 1 is an example of a screen displayed on an output device, showing a situation in which a plurality of micro images are displayed side by side.
- ⁇ composition ⁇ 1 and 2 show the configuration of a system 1 according to an embodiment of the present invention.
- the system 1 includes a microscope device 30 incorporating an information processing device 10, an output device 40, and an input device 50.
- the output device 40, the input device 50, and the microscope device 30 are connected via communication means such as a bus (not shown) so as to be able to send and receive data to and from each other.
- the output device 40 acquires images captured by the microscope device 30 and processes the images for display.
- the output device 40 is an interface that outputs various types of information, and is, for example, a screen display device (liquid crystal monitor, LCD (Liquid Crystal Display)), a printer, etc.
- the input device 50 is an interface that accepts information input, and may be, for example, a keyboard, mouse, touch panel, card reader, voice input device (microphone, etc.), voice recognition device, etc.
- the microscope device 30 is a device that uses a microscope to capture (or photograph) biological tissue BT ( Figure 4) as a subject.
- a subject is biological tissue such as a cell.
- the microscope device 30 includes an information processing device 10 and an optical device 20.
- the optical device 20 includes an objective lens 31 (which includes multiple objective lenses with different magnifications and is switchable), a second objective lens 34, a stage 32, a light source 35 that illuminates the specimen, reflecting mirrors 36 and 37, and an imaging unit 39 (including a CCD sensor, CMOS sensor, etc.), and is capable of capturing images of the specimen placed on the stage 32.
- the stage 32 is a member with a flat upper surface, and can move in the directions of the X and Y axes in Figures 1 and 2.
- the X and Y axes are parallel to the upper surface of the stage 32 and are perpendicular to each other.
- optical device 20 is equipped with two optical systems P1 and P2.
- optical system P1 has a reduction lens (not shown) and is used to form a macro image of the entire specimen on the imaging unit 39.
- optical system P1 guides light from the specimen placed on the stage 32 to the imaging unit 39 via a reduction lens (not shown) and a reflecting mirror 36.
- Optical system P2 is used to magnify a portion of the specimen and form a micro-image in the imaging unit 39. As shown by the dashed line in Figure 2, optical system P2 guides light from the specimen placed on the stage 32 to the imaging unit 39 via the objective lens 31, reflecting mirror 37, and second objective lens 34, in that order.
- the magnification of the optical system P2 varies depending on the magnification of the objective lens 31 used, and is, for example, 4x, 10x, 20x, or 40x.
- optical device 20 is equipped with two optical systems P1 and P2 to acquire macro and micro images, but it is also possible to change the observable range of a single optical system by switching the lenses that make up that optical system.
- the macro image is obtained by the imaging unit 39 capturing an optical image of the entire specimen formed by the optical system P1, and in a single capture.
- the macro image is not formed by combining multiple images of the specimen captured in each specified region (each divided region), but rather the entire specimen is captured all at once.
- the volume of a macro image is approximately 1/the number of images combined (e.g., 40 to 100) compared to when multiple images are combined to form the image, and since image compositing is not required, processing by the information processing device 10 (described below) (including image display on the output device 40) can be performed at high speed.
- Micro images are captured by objective lens 31 and second objective lens 34 as images that are optically enlarged compared to macro images. Micro images are also acquired at a higher resolution than macro images.
- the imaging unit 39 is switchable between a low-resolution mode and a high-resolution mode, and the resolution of the macro image is 10 to 80 ⁇ m/px, depending on which mode is selected.
- the resolution of the micro image is 0.1 to 4 ⁇ m/px, depending on the combination of the selected mode of the imaging unit 39 and the magnification (observable range) of the objective lens used.
- step S7 to step S15 is a minimum of 20 seconds if there is one area of interest (one micro image).
- the information processing device 10 has the function of controlling the optical device 20 and acquiring images.
- Figure 3(b) shows an example of hardware used to implement the information processing device 10.
- the information processing device 10 comprises a processor 101, a main memory device 102, an auxiliary memory device 103, and a communication device 106. These are connected to each other so that they can communicate with each other via communication means such as a bus (not shown).
- the information processing device 10 does not necessarily need to have all of its components realized in hardware; all or part of its components may be realized by virtual resources such as a cloud server in a cloud system.
- the processor 101 is configured using a CPU (Central Processing Unit), MPU (Micro Processing Unit), etc.
- the processor 101 reads and executes programs stored in the main memory device 102, thereby realizing the functions of the information processing device 10.
- the main memory device 102 is a device that stores programs and data, and may be ROM (Read Only Memory), RAM (Random Access Memory), or non-volatile semiconductor memory (NVRAM (Non Volatile RAM)).
- the auxiliary memory device 103 may be various types of non-volatile memory (NVRAM) such as SSDs (Solid State Drives) and SD memory cards, hard disk drives, optical storage devices (CDs (Compact Discs), DVDs (Digital Versatile Discs), etc.), or storage areas on cloud servers.
- the communication device 106 is a wired or wireless communication interface that enables communication with other devices, such as a NIC (Network Interface Card), a wireless communication module, a USB (Universal Serial Interface) module, or a serial communication module.
- NIC Network Interface Card
- wireless communication module such as a Wi-Fi module
- USB Universal Serial Interface
- the information processing device 10 communicates information with the optical device 20, output device 40, and input device 50 via the communication device 106, and performs various controls.
- [Functional configuration] 3C shows the main functional configuration of the information processing device 10. As shown in the figure, the information processing device 10 includes a storage area 110 and a management unit 120.
- the memory area 110 is formed in the main memory device 102 or the auxiliary memory device 103 of the information processing device 10.
- Various information is stored in the memory area 110. Specific examples include images acquired by the system 1, image coordinates, the amount of misalignment between images, and the position of the area of interest (all of which will be described in detail later).
- the information processing device 10 also has functions such as an operating system, file system, device drivers, and a DBMS (Database Management System).
- functions such as an operating system, file system, device drivers, and a DBMS (Database Management System).
- the management unit 120 performs processes executed by the information processing device 10, such as image acquisition and management.
- the functions of the management unit 120 are realized by the processor 101 of the information processing device 10 reading and executing programs stored in the main memory device 102 or auxiliary memory device 103 of the information processing device 10.
- the management unit 120 communicates with the optical device 20, output device 40, and input device 50 via the communication device 106, and performs various controls over these devices.
- a program stored in the main memory device 102 of the information processing device 10 is launched, and the management unit 120 executes the processing of the system 1 as follows. Note that, below, the processing executed by the management unit 120 of the server 10 may be simply described as being executed by the "information processing device 10."
- a user places a glass slide holding the first specimen SP1 on the stage 32.
- a specimen is created by embedding biological tissue BT in paraffin RF to form a block, slicing this block, and staining each of the slices.
- the process of creating a specimen from biological tissue BT is not limited to the above; for example, a method of freezing biological tissue BT and slicing the block may be selected. Therefore, multiple glass slides are usually prepared according to the number of stains.
- biological tissue BT held on one glass slide is referred to as one specimen. In other words, specimens are prepared according to the number of stains.
- Staining is performed using at least one of the following methods: hematoxylin-eosin staining (HE staining) and "immunostaining," which uses an antigen-antibody reaction with the target substance to obtain distribution information on specific substances that make up biological tissue.
- HE staining hematoxylin-eosin staining
- immunoostaining uses an antigen-antibody reaction with the target substance to obtain distribution information on specific substances that make up biological tissue.
- FISH fluorescence in situ hybridization
- DISH dual color in situ hybridization
- CISH chromogenic in situ hybridization
- SISH silver-enhanced in situ hybridization
- Each slide holds a specimen SP1, SP2, ... that has been sliced and stained as described above.
- the shape of the specimen on each slide is approximately the same, but not necessarily perfectly identical.
- the position and orientation (angle) of the specimen on each slide usually differs from one slide to another, influenced by the shape of the biological tissue BT and the slicing and staining processes.
- step S2 the management unit 120 controls the imaging unit 39 via the optical system P1 to capture the first image of the entire specimen SP1.
- the specimen SP1 is captured in one shot, that is, one image is formed by capturing the image once.
- a macro image MA1 is acquired and saved in the memory area 110.
- a region of interest (also referred to as a position of interest) is set in the specimen SP1 or macro image MA1.
- the region of interest is set by the user specifying a position on the macro image MA1 displayed on the output device 40.
- the region of interest is set by the user operating the input device 50.
- Regions of interest are set in n locations (n is an integer greater than or equal to 1) at the user's desired locations, and there is no limit to the number of regions of interest that can be set.
- the management unit 120 stores in the memory area 110 the coordinates (X and Y coordinates) indicating the positions of the areas of interest A11-A13 in the specimen SP1 or macro image MA1 set by the user, using the macro image MA1 as a reference.
- the areas of interest A11-A13 are not specific to specimen SP1, but are areas that are also set in each of specimens SP2, SP3, etc. They can also be thought of as areas set in the biological tissue BT. As mentioned above, each specimen is cut out from the biological tissue BT, and therefore the areas of interest A11-A13 are set in each specimen in the same locations as in specimen SP1. Details will be described later, but by acquiring images of, for example, the area of interest A11 in each specimen via the microscope device 30 and comparing the differences between the images, it becomes possible to compare common areas in specimens stained using different staining techniques, which can be used for diagnosis, etc.
- step S4 the imaging unit 39 images each of the areas of interest A11-A13 of the specimen SP1 once via the optical system P2, thereby obtaining micro-images MC11-MC13, which are then stored in the memory area 110 ( Figure 5).
- the magnification of the objective lens used is also stored in the memory area 110.
- the management unit 120 controls the positional relationship with the optical system P2 by moving the stage 32 on which the specimen SP1 is placed within the XY plane based on the coordinates indicating the positions of the areas of interest A11-A13 stored in the memory area 110, focuses the objective lens 31 on the specimen SP1, and images the areas of interest A11-A13 using the imaging unit 39.
- the management unit 120 When the management unit 120 stores the micro images MC11-MC13 in the memory area 110, it adds each focus position (Z coordinate) as position information for the attention areas A11-13 and stores them in the memory area 110.
- the entire optical system P2 may be configured to be movable in the X and Y directions.
- micro-images MC11-MC13 are acquired for each of the attention areas A11-A13, but this is not limitative.
- micro-image MC11 is acquired and saved in memory area 110.
- micro-image MC12 is acquired and saved in memory area 110.
- micro-image MC13 is acquired and saved in memory area 110.
- the management unit 120 displays the macro image MA1 read from the memory area 110 on the output device 40 and moves the stage carrying the specimen SP1 a predetermined amount in the Y direction to align it with the optical path of the optical system P2.
- the management unit 120 controls the positional relationship with the optical system P2 by moving the stage carrying the specimen SP1 within the XY plane based on the coordinates indicating the specified position, and adjusts the focus of the objective lens 31 to the specimen SP1.
- the management unit 120 acquires a micro image of the area corresponding to the specified position of the specimen SP1 via the optical system P2 using the imaging unit 39 and displays it on the output device 40.
- the user checks the micro image displayed on the output device 40, determines whether it is appropriate, and, if appropriate, operates the input device 50 to register the specified position (XY position, focus position). The magnification of the objective lens used is also registered.
- the management unit 120 sets the coordinates (XY coordinates, Z coordinate indicating the focus position) indicating the registered designated position as the attention area A11, and saves the micro image displayed on the output device 40 as a micro image MC11 in the memory area 110. Note that the setting of attention area A12, A13, etc. is also performed in a similar manner.
- Micro images MC11-MC13 are images obtained by capturing images of attention areas A11-A13, respectively.
- Micro images MC11-MC13 are images obtained at a higher magnification than macro images, and therefore are acquired as images that are enlarged more than macro image MA1.
- Micro images MC11-MC13 are also acquired at a higher resolution than macro image MA1.
- the slide glass holding specimen SP1 is removed from stage 32 (S5), and a second slide glass holding specimen SP2 is placed on stage 32 (S6).
- step S7 the imaging unit 39, controlled by the management unit 120, captures an image of the specimen SP2 via the optical system P1.
- the image of the specimen SP2 is captured in one shot, that is, by forming a single image in one shot.
- a macro image MA2 is acquired and saved in the memory area 110.
- the method for calculating the amount of deviation of the macro image MA2 relative to the macro image MA1 is not limited to this, and the amount of deviation may also be calculated using, for example, the outline of the specimen displayed in the macro image or the area of the specimen.
- the management unit 120 corrects the position of the macro image MA2 relative to the macro image MA1 using the acquired amount of deviation, thereby making it possible to align the position of any region of interest in the macro image MA2 with the same region of interest in the macro image MA1.
- the coordinate deviation (shift) in the X-axis and Y-axis directions between the images, the image rotation (angle) deviation, and the scaling (magnification) deviation are obtained, as shown in Figure 10.
- Figure 10 shows micro images MC11 and MC12, the same applies to macro images; the amount of deviation is determined in the X-axis and Y-axis directions and the rotation (angle) deviation between specimen SP1 displayed in macro image MA1 and SP2 displayed in macro image MA2.
- the management unit 120 calculates IoU (Intersection over Union) based on the amount of misalignment calculated in step S8 (S9).
- the management unit 120 binarizes the macro images MA1 and MA2, and then quantifies the overlapping area of the specimens SP1 and S2 displayed in the macro images MA1 and MA2 by calculating IoU.
- the method for calculating the degree of alignment is not limited to IoU; for example, it may be calculated based on the overlap of the contours (lines) of the specimens SP1 and S2 displayed in the macro images MA1 and MA2.
- the management unit 120 compares the IoU with a predetermined reference value (S9A).
- the management unit 120 switches to manual correction mode ("macro alignment" in Figure 8), reads out macro images MA1 and MA2 from the memory area 110, and displays them on the output device 40 (S10).
- the user sets the transparency (greater than 0% and less than 100%) of macro images MA1 and MA2 based on input to the input device 50. It is also possible to change (increase) the transparency of only one of macro images MA1 or MA2. In that case, the macro image with changed (increased) transparency is placed on top of the macro image with unchanged transparency. This transparency needs to be set so that the overlap between specimen SP1 displayed in macro image MA1 and specimen SP2 displayed in macro image MA2 is clearly visible. Therefore, the transparency is set according to the state of the specimen.
- the user While viewing the macro images MA1 and MA2 displayed on the output device 40 and changed to a predetermined transparency (e.g., 50%), the user manually aligns the macro images MA1 and MA2 via the input device 50 (S11). At this time, the management unit 120 changes the relative position, angle, and enlargement/reduction (magnification) of the macro images MA1 and MA2 based on the input to the input device 50, and displays them on the output device 40. While viewing the display on the output device 40, the user continues to perform operations until the positions of the specimens SP1 and SP2 shown in the macro images MA1 and MA2 are sufficiently aligned.
- a predetermined transparency e.g. 50%
- the management unit 120 recalculates the amount of misalignment between the aligned macro images MA1 and MA2, overwrites the amount of misalignment obtained in step S8, and saves it in the memory area 110 (S12).
- the management unit 120 acquires coordinates indicating the position of the areas of interest A11-A13 relative to the macro image MA2 or specimen SP2 based on the amount of deviation between the macro images MA1 and MA2, and stores these in the memory area 110.
- step S14 a second macro image MA2 displaying the positions of the attention areas A11-A13 acquired in step S13 is displayed on the output device 40.
- step S14 may be omitted.
- the management unit 120 controls the positional relationship with the optical system P2 by moving the stage 32 on which the specimen SP2 is placed within the XY plane, focuses the objective lens 31 on the specimen SP2, and uses the imaging unit 39 to capture an image of the area of interest A11 in the specimen SP2. By capturing the image of the area of interest A11, a micro image MC21 is acquired and saved in the memory area 110.
- step S16 the management unit 120 calculates the overlapping area between micro-images MC11 and MC21 stored in the memory area 110 using IoU (S16).
- the calculation is the same as in step S9.
- the management unit 120 binarizes the micro-images MC11 and MC21, and then quantifies the overlapping areas of the specimens SP1 and SP2 displayed in the micro-images MC11 and MC21 using IoU calculations.
- IoU is calculated using the same process as for micro-images MC11 and MC21.
- the management unit 120 compares IoU with a predetermined reference value (S16A).
- the reference value used in step S16A does not necessarily match the reference value used in step S9A. It is preferable that the reference value in step S16A be a stricter value (a value closer to 1) than the reference value used in step S9A, i.e., the allowable deviation amount is smaller.
- the reference value may also be changed depending on the magnification of the objective lens 31 used to acquire the micro image. The higher the magnification, the stricter the reference value.
- the amount of deviation between micro-images MC11 and MC21 stored in memory area 110 is calculated (S17).
- the management unit 120 extracts multiple feature points (coordinates indicating positions within the image) predicted to be common to micro-images MC1 and MC2, and measures the deviation between the multiple feature points (coordinates indicating positions within the image) of micro-image MC1 and the multiple feature points (coordinates indicating positions within the image) predicted to correspond to these in micro-image MC2, thereby obtaining the amount of deviation and storing the obtained amount of deviation in memory area 110.
- the method for calculating the amount of deviation between the micro-images is the same as in step S8. Based on the amount of deviation, the management unit 120 corrects the coordinates of the position indicating the region of interest A11 in specimen SP2, and controls the positional relationship with optical system P2 by moving stage 32, on which specimen SP2 is placed, within the XY plane.
- the management unit 120 focuses the objective lens 31 on the specimen SP2, and uses the imaging unit 39 to capture an image of the area of interest A11 in the specimen SP2 corrected in step S17, thereby reacquiring a micro image MC21 and storing it in the memory area 110 (S18).
- the management unit 120 calculates IoU as the degree of alignment between the micro image MC11 and the micro image MC21 acquired in step S18.
- the calculation method is the same as in step S9.
- the management unit 120 binarizes the micro image MC11 and the micro image MC21 acquired in step S18, and further quantifies the overlapping area of the specimens SP1 and SP2 displayed in the micro images MC11 and MC21 by calculating IoU.
- the management unit 120 compares the IoU with a predetermined reference value (S19A).
- a predetermined reference value S19A
- the reference value used in step S19A does not necessarily match the reference value used in steps S9A and S16A. It is preferable that the reference value in step S19A be stricter than the reference value used in step S9A, i.e., the allowable deviation is smaller.
- steps S17 to S19 may not be performed (omitted) and step S20 may be performed.
- step S20 manual alignment is performed in step S20 and subsequent steps (S20).
- the management unit 120 switches to manual correction mode, reads out micro image MC11 from the memory area 110, and outputs it to the output device 40.
- the management unit 120 also captures an image of the area of interest A11 of the specimen SP2 placed on the stage 32 using the imaging unit 30 via the optical system P2, obtains micro image MC21, and displays it on the output device 40 in real time. At this time, as shown in FIG. 11, the micro images MC11 and MC21 are displayed side by side on the output device 40.
- the management unit 120 tilts and displays micro image MC11 by the amount of angle deviation, corresponding to the orientation (angle) of micro image MC12, as shown in FIG. 6, to make it easier for the user to compare the micro images displayed on the output device 40.
- microimage MC21 While viewing microimages MC11 and MC21 on output device 40, the user uses input device 50 to drag or otherwise move microimage MC21, which is displayed in real time on output device 40, a predetermined amount so that the area of interest A11 shown in microimage MC11 and the area of interest A11 shown in microimage MC21 are the same (S21).
- management unit 120 moves stage 32 in the XY plane in conjunction with this (the amount of movement of the image is converted into the amount of movement of the stage).
- stage 32 (specimen SP2) and optical system P2 changes, and therefore area of interest A11 in specimen SP2 imaged by imaging unit 30 via optical system P2 changes, i.e., microimage MC21 changes.
- the user changes (rotates) the micro image MC11 by a predetermined angle by dragging it using the input device 50 so that the orientation of the attention area A11 shown in the micro image MC11 and the orientation of the attention area A11 shown in the changed micro image MC21 are the same.
- the management unit 120 changes the angle of the micro image MC11 in conjunction with this.
- the stage 32 may be provided with not only a movement mechanism within the XY plane but also a rotation mechanism, so that when the micro image MC21 is dragged by a predetermined amount using the input device 50, the management unit 120 moves and rotates the stage 32 within the XY plane in conjunction with this.
- the management unit 120 calculates the amount of deviation between the area of interest A11 shown in the micro image MC11 and the area of interest A11 shown in the new micro image MC21. (S22)
- the management unit 120 reacquires the micro image MC21 and stores it in the memory area 110 (S23). In this way, a micro image MC21 of the new area of interest A11 in the specimen SP2 is reacquired.
- step S24A a determination is made as to whether micro images of all regions of interest (n locations) have been acquired. For example, if only micro image MC21 of region of interest A11 has been acquired, and if the management unit 120 determines in step S16A that IoU is greater than or equal to the reference value, the deviation amounts of macro images MA1 and MA2 calculated in step S8 or overwritten in step S12 are overwritten as they are. On the other hand, if the deviation amounts of micro images MC11 and MC21 are calculated in step S17 or step S22, the deviation amounts of macro images MA1 and MA2 calculated in step S8 or overwritten in step S12 are overwritten with the deviation amounts (S24).
- the deviation amounts of macro images MA1 and MA2 calculated in step S8 or overwritten in step S12 are corrected using the smaller deviation amount ( Figure 8 "Reflected in macro alignment"). Note that although the amount of deviation calculated for the first region of interest A11 is overwritten, the average value of the amounts of deviation calculated for the first and second (multiple) regions of interest may also be overwritten as the amount of deviation.
- the management unit 120 returns the process to step S14, increments the value of N, and starts the process of acquiring a micro image corresponding to the next area of interest.
- the management unit 120 returns the process to step S14, sets N to 3, and starts the process of acquiring the third micro image MC23 corresponding to area of interest A13.
- step S24A when micro images of all regions of interest (n locations) have been acquired in step S24A, in this example, when all micro images MC21-MC23 of regions of interest A11-A13 have been acquired, the slide glass holding the second specimen SP2 is removed from the stage 32.
- step S25A If it is determined in step S25A that specimen SP2 is not the last specimen, the management unit 120 returns the process to step S6, sets m to 3, and starts image acquisition processing for the third specimen S3. In this way, the value of m is incremented each time the process passes from step S25A to step S6, and the processing from steps S6 to S25 is executed sequentially for each specimen SP3, SP4, SP5, etc.
- step S25A If it is determined in step S25A that processing has been performed on the last specimen, the management unit 120 executes processing to display the micro images side by side on the output device 40 (S26), as shown in FIG. 12.
- micro images MC11-MC101 of the area of interest A11 in each of specimens SP1-S10 are displayed side by side. Note that each of the micro images MC11-MC101 can be digitally zoomed at any position within the image.
- the management unit 120 executes processing to display the micro images superimposed on the output device 40, as shown in FIG. 10.
- the micro images MC11 and MC21 are displayed superimposed in the depth direction of the screen of the output device 40 (the depth direction of the paper in the figure).
- microimages MC21-MC101 are images acquired of the area of interest A11 of the mth specimen SPm corresponding to the area of interest A11 shown in microimage MC11, through correction or alignment based on the amount of deviation described above. Furthermore, taking into account the angular (rotational) deviation between the orientation of the first specimen SP1 and the orientation of the mth specimen SPm, the angles of each are changed relative to microimage MC11 and displayed. Therefore, each microimage is displayed with no or reduced deviation in the area of interest between the images. The user can accurately compare each microimage MC11-101 while viewing the display on the output device 40.
- the management unit 120 displays on the output device 40 all of the micro images (MC11-MC101) of the area of interest A11 (the number 1 displayed on the macro image MA1) specified by the user via the input device 50, out of the areas of interest A11, A12, and A13 (corresponding to the numbers 1, 2, and 3 displayed on the macro image MA1, respectively) of the first macro image MA1 displayed in the lower right corner of the output device 40. Also, as shown in FIG.
- the management unit 120 when the management unit 120 displays on the output device 50 all of the micro images (MC11-MC101) corresponding to the area of interest specified by the user via the input device 50, it executes a process of displaying a mask (a rectangular mask that covers the display range of the micro image) over the number displayed on the first macro image MA1 that corresponds to that area of interest (S27).
- a mask a rectangular mask that covers the display range of the micro image
- the process of indicating the positions of the attention areas A11, A12, and A13 on the macro image MA1 and superimposing a rectangular graphic mask display MS that covers the display range of the micro image on one of the attention areas A11, A12, and A13 may be performed on the attention areas micro-observed (image acquired) by the user.
- the user can, for example, distinguish between areas of interest for which image display (or observation) has been performed and areas of interest for which image display (or observation) has not yet been completed.
- Annotations AN can display numerical values indicating the distance between two points, or various shapes. It is also possible to allow the user to display notes on each micro image and write text.
- step S8 in Figures 7A to 7C steps S9 to S12 are not performed (omitted), and the process proceeds to step S13.
- step S15 step S16 is not performed (omitted), and the process proceeds to step S17, and after step S18, step S19 is not performed (omitted), and the process proceeds to step S20.
- step S15 steps S16 to S23 are not performed (omitted), and the process proceeds to step S24A.
- step S16 is not performed (omitted), and the process proceeds to step S17, and after step S18, step S19 is not performed (omitted), and the process proceeds to step S24A.
- step S24A in step S24, the management unit 120 overwrites the deviation amounts of macro images MA1 and MA2 calculated in step S8 as they are.
- the microscope device 30 includes an optical system P1 (corresponding to the first observation optical system) that acquires macro images, an optical system P2 (corresponding to the second observation optical system) that is different from the optical system P1 and acquires micro images, and an information processing device 10 (corresponding to the control unit) that activates the management unit 120.
- an optical system P1 corresponding to the first observation optical system
- an optical system P2 corresponding to the second observation optical system
- an information processing device 10 corresponding to the control unit
- the management unit 120 executes the following processes: a process (S1) of acquiring a macro image MA1 of the specimen SP1 using the optical system P1; a process (S3) of acquiring first position information indicating the position of the areas of interest A11-A13 within the macro image MA1; and a process (S4) of controlling the positional relationship between the stage 32 on which the specimen SP1 is placed and the optical system P2 based on the first position information, and acquiring micro images MC11-MC13 of the areas of interest A11-A13 using the optical system P2.
- the management unit 120 performs a process (S6) of acquiring a macro image MA2 of a specimen SP2 different from specimen SP1 using the optical system P1, and a process (S13) of acquiring second position information in the macro image MA2 based on the macro images MA1 and MA2, the second position information indicating the position of the regions of interest A11-A13 corresponding to the first position information.
- the management unit 120 controls the relative position between the stage 32 on which the specimen SP2 is placed and the optical system P2 based on the second position information, and executes processing (S15, S18) to acquire micro-images MC21-MC23 of the regions of interest A11-A13 in the specimen SP2 using the optical system P2.
- the position of the areas of interest A11-A13 in the specimen SP2 can be accurately determined based on the positional shift between the macro images MA1 and MA2. Therefore, the micro images MC21-MC23 can be captured without or with only a small amount of shift relative to the micro images MC11-MC13. In this way, accurate image acquisition is possible.
- the management unit 120 executes a process (S8, S12) to calculate the macro shift amount, which is the amount of positional shift between macro image MA1 and macro image MA2, and acquires second position information based on the macro shift amount (S13).
- the positions of the areas of interest A11-A13 in the specimen SP2 can be accurately determined based on the positional shift between the macro images MA1 and MA2.
- the management unit 120 acquires the first location information in response to an instruction from the input device 50 (corresponding to the input unit) during the acquisition process.
- the user can easily specify the areas of interest A11-A13 using the input device 50.
- macro images MA1 and MA2 are acquired in a lump, each image can be acquired quickly with the above configuration. Furthermore, since the size of macro images MA1 and MA2 acquired in a lump is smaller than that of macro images acquired in parts, it is possible to quickly calculate the amount of deviation between macro images MA1 and MA2 and correct the position of macro image MA2 relative to macro image MA1 (information processing) based on the calculated amount of deviation.
- the management unit 120 calculates the amount of misalignment (micro-misalignment) between the micro images MC11 and MC21, and further executes processing (S24) to correct the amount of misalignment (macro-misalignment) between the macro images MA1 and MA2 based on this amount of misalignment.
- the highly accurate micro-shift amount from the micro-images MC11 and MC21 is used, so the macro-shift of the macro-images MA1 and MA2 can be corrected more accurately.
- At least attention area A11 (first attention area 1) and attention area A12 (first attention area 2) are present in macro image MA1.
- the management unit 120 acquires first position information 1 indicating the position of attention area A11 and first position information 2 indicating the position of attention area A12 (S3).
- the management unit 120 further acquires second position information 1 indicating the position of attention area A11 (second attention area 1) corresponding to the first position information 1 from macro image MA2, and second position information 2 indicating the position of attention area A12 (second attention area 2) corresponding to the first position information 2 (S13).
- the micro-shift amount is calculated based on the micro image MC11 of the first attention area 1 and the micro image MC12 of the second attention area 1.
- the process (S13) corrects the position information (second position information part 2) of the area of interest A12 in the macro image MA2, and based on this corrected position information, the process (S15) acquires a micro image MC22 corresponding to the second position information part 2.
- the management unit 120 calculates the micro-shift amount, which is the amount of positional shift between the micro-image MC11 and the micro-image MC21, and further performs processing to control the positional relationship between the stage 32 on which the specimen SP2 is placed and the second optical system P2 based on the micro-shift amount. (S17)
- micro images MC11 and MC21 can be acquired with minimal misalignment.
- the management unit 120 reads out the micro image MC11 stored in the memory area 110 of the main memory device 102 or the auxiliary memory device 103, displays it on the output device 40 (corresponding to the display unit), and also executes a process (S20) to display on the output device 40 the micro image MC21 that is currently being acquired by the optical system P2.
- the user can easily align the two micro images MC11 and MC21 while checking the alignment on the screen.
- the management unit 120 controls the positional relationship between the stage 32 on which the specimen SP2 is placed and the optical system P2 in response to instructions from the input device 50 (corresponding to the input unit), and further executes a process (S21) to move the area of interest A11 of the micro image MC21 displayed on the output device 40.
- the area of interest A11 of the micro image MC21 can be moved quickly.
- the management unit 120 in response to instructions from the input device 50, further executes processes (S10, S11) to increase the transparency of at least one of the macro images MA1 and MA2 and display it on the output device 40, and change the overlap of the specimens SP1 and SP2 displayed on the macro images MA1 and MA2.
- the misalignment between the macro images MA1 and MA2 can be easily visually confirmed and corrected.
- the management unit 120 executes a process to calculate IoU, which is the degree of alignment between macro images MA1 and MA2, based on the amount of misalignment between the macro images (macro misalignment amount) (S9).
- the degree of alignment can be measured by calculating IoU.
- the management unit 120 increases the transparency of at least one of the macro images MA1 and MA2 in response to instructions from the input device 50, displays them on the output device 40, and further executes processing (S10, S11) to display the specimens SP1 and SP2 displayed in the macro images MA1 and MA2 so that they overlap, and then recalculates the post-processing macro shift amount.
- processing S10, S11
- the degree of alignment can be measured by calculating IoU.
- the management unit 120 further executes a process (S16, S19) to calculate IoU, which is the degree of alignment of micro-images MC11, MC21, micro-images MC12, MC22, or micro-images MC13, MC23.
- the management unit 120 reads out the micro image MC11 stored in the memory area 110 and displays it on the output device 40, and also displays the micro image MC21 being acquired by the optical system P2 on the output device 40. In response to instructions from the input device 50, the management unit 120 controls the positional relationship between the stage 32 on which the specimen SP2 is placed and the optical system P2, and further executes processing to move the area of interest A11 of the micro image MC21 displayed on the output device 40 (S20, S21).
- the area of interest A11 of the micro image MC21 can be easily moved.
- the management unit 120 further executes a process (S26) of displaying the micro images side by side.
- the user can easily compare and confirm the areas of interest A11-A13 between specimens.
- the user can, for example, distinguish between areas of interest that have been observed and areas of interest that have not yet been observed.
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Microscoopes, Condenser (AREA)
Abstract
マクロ画像を取得する第1観察光学系と、前記第1観察光学系とは異なる、ミクロ画像を取得する第2観察光学系と、制御部と、を備え、前記制御部は、前記第1観察光学系を用いて、第1標本の第1マクロ画像を取得する処理と、前記第1マクロ画像内の第1注目領域の位置を示す第1位置情報を取得する取得処理と、前記第1位置情報に基づき、前記第1標本を載置するステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第1注目領域の第1ミクロ画像を取得する処理と、前記第1観察光学系を用いて、前記第1標本とは異なる第2標本の第2マクロ画像を取得する処理と、前記第1マクロ画像と前記第2マクロ画像とに基づき、前記第2マクロ画像において、前記第1位置情報に対応する第2注目領域の位置を示す第2位置情報を取得する処理と、前記第2位置情報に基づき、前記第2標本を載置する前記ステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第2注目領域の第2ミクロ画像を取得する処理と、を実行する顕微鏡。
Description
本発明は、顕微鏡、方法、及びプログラムに関する。
従来、顕微鏡で取得した画像の位置合わせを実行する方法が知られている(特許文献1)。
本開示の技術は、新規な画像位置合わせ方法を提供する。
本発明の一実施態様は、マクロ画像を取得する第1観察光学系と、前記第1観察光学系とは異なる、ミクロ画像を取得する第2観察光学系と、制御部と、を備え、前記制御部は、前記第1観察光学系を用いて、第1標本の第1マクロ画像を取得する処理と、前記第1マクロ画像内の第1注目領域の位置を示す第1位置情報を取得する取得処理と、前記第1位置情報に基づき、前記第1標本を載置するステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第1注目領域の第1ミクロ画像を取得する処理と、前記第1観察光学系を用いて、前記第1標本とは異なる第2標本の第2マクロ画像を取得する処理と、前記第1マクロ画像と前記第2マクロ画像とに基づき、前記第2マクロ画像において、前記第1位置情報に対応する第2注目領域の位置を示す第2位置情報を取得する処理と、前記第2位置情報に基づき、前記第2標本を載置する前記ステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第2注目領域の第2ミクロ画像を取得する処理と、を実行する顕微鏡である。
また、本発明の一実施態様は、マクロ画像を取得する第1観察光学系と、前記第1観察光学系とは異なる、ミクロ画像を取得する第2観察光学系と、制御部と、を備えた顕微鏡において前記制御部に実行させる方法であって、前記第1観察光学系を用いて、第1標本の第1マクロ画像を取得する処理と、前記第1マクロ画像内の第1注目領域の位置を示す第1位置情報を取得する取得処理と、前記第1位置情報に基づき、前記第1標本を載置するステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第1注目領域の第1ミクロ画像を取得する処理と、前記第1観察光学系を用いて、前記第1標本とは異なる第2標本の第2マクロ画像を取得する処理と、前記第1マクロ画像と前記第2マクロ画像との位置ずれ量であるマクロずれ量を算出する処理と、前記マクロずれ量に基づき、前記第2マクロ画像において、前記第1位置情報に対応する第2注目領域の位置を示す第2位置情報を取得する処理と、前記第2位置情報に基づき、前記第2標本を載置する前記ステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第2注目領域の第2ミクロ画像を取得する処理と、を含む方法である。
本発明のさらなる一実施態様は、マクロ画像を取得する第1観察光学系と、前記第1観察光学系とは異なる、ミクロ画像を取得する第2観察光学系と、制御部と、を備えた顕微鏡において前記制御部に対し、前記第1観察光学系を用いて、第1標本の第1マクロ画像を取得する処理と、前記第1マクロ画像内の第1注目領域の位置を示す第1位置情報を取得する取得処理と、前記第1位置情報に基づき、前記第1標本を載置するステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第1注目領域の第1ミクロ画像を取得する処理と、前記第1観察光学系を用いて、前記第1標本とは異なる第2標本の第2マクロ画像を取得する処理と、前記第1マクロ画像と前記第2マクロ画像との位置ずれ量であるマクロずれ量を算出する処理と、前記マクロずれ量に基づき、前記第2マクロ画像において、前記第1位置情報に対応する第2注目領域の位置を示す第2位置情報を取得する処理と、前記第2位置情報に基づき、前記第2標本を載置する前記ステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第2注目領域の第2ミクロ画像を取得する処理と、を実行させるプログラムである。
以下、本発明をその一実施形態に即して図面を参照しつつ説明する。
〔構成〕
図1及び図2に本発明の一実施形態に係るシステム1の構成を示す。システム1は、情報処理装置10を内蔵した顕微鏡装置30と、出力装置40と、入力装置50とを備える。出力装置40、入力装置50、及び顕微鏡装置30は、図示しないバス等の通信手段を介して互いにデータの送受信が可能となるように接続されている。
図1及び図2に本発明の一実施形態に係るシステム1の構成を示す。システム1は、情報処理装置10を内蔵した顕微鏡装置30と、出力装置40と、入力装置50とを備える。出力装置40、入力装置50、及び顕微鏡装置30は、図示しないバス等の通信手段を介して互いにデータの送受信が可能となるように接続されている。
出力装置40は、顕微鏡装置30で撮影された画像の取得、ならびに画像の表示処理を行う。出力装置40は、各種の情報を出力するインタフェースであり、例えば、画面表示装置(液晶モニタ、LCD(Liquid Crystal Display))、印字装置などである。
入力装置50は、情報の入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置(マイクロフォン等)、音声認識装置等である。
顕微鏡装置30は、顕微鏡を用いて生物組織BT(図4)を被写体として撮像(撮影ともいう)する装置である。被写体の一例としては、細胞などの生物組織が想定される。
顕微鏡装置30は、図3に示すように、情報処理装置10と、光学装置20とを備える。
光学装置20は、対物レンズ31(複数の異なる倍率の対物レンズを含み、切り替え可能となっている)、第2対物レンズ34、ステージ32、標本を照らす光源35、反射ミラー36、37、及び撮像部39(CCDセンサー、CMOSセンサーなど含む)を備えており、ステージ32に載置された標本を撮影することができる。
ステージ32は、上面が平面状に形成された部材であり、図1、図2におけるX軸、Y軸の方向に移動することができる。X軸、Y軸は、ステージ32の上面と平行な軸であり、互いに直交する。
光学装置20は、2つの光学系P1、P2を備えている。図1に示すように、光学系P1は、不図示の縮小レンズを有し、標本の全体のマクロ像を撮像部39に形成することを目的として使用される。図1において一点鎖線で図示するように、光学系P1は、ステージ32に載置された標本からの光を、不図示の縮小レンズ、反射ミラー36を経由して撮像部39へ導く。
光学系P2は、標本の一部を拡大してミクロ像を撮像部39に形成することを目的として使用される。図2において一点鎖線で図示するように、光学系P2は、ステージ32に載置された標本からの光を、対物レンズ31、反射ミラー37、第2対物レンズ34の順に経由して撮像部39へ導く。
光学系P2の拡大倍率は、使用する対物レンズ31の倍率によって変わり、例えば、4倍、10倍、20倍、40倍である。
なお、光学装置20は、マクロ画像、ミクロ画像を取得するために、2つの光学系P1、P2を備えているが、1つの光学系で、その光学系を構成するレンズを切り替えることにより、観察可能範囲を変更するようにしてもよい。
マクロ画像は、撮像部39が光学系P1によって形成された標本全体の光学的な像を撮像することにより、また、1度の撮影によって取得される。つまり、マクロ画像は、標本を所定領域毎(分割領域毎)に取得した複数の画像を合成して形成されることなく、標本全体が一括で取得される。
そのため、マクロ画像の容量は、複数の画像を合成して形成する場合に比べて、約1/合成した画像枚数 (例えば、40枚~100枚)となり、画像の合成も不要となるため、後述する情報処理装置10での処理(出力装置40への画像表示を含む)を高速に行うことができる。
ミクロ画像は、対物レンズ31、第2対物レンズ34によってマクロ画像よりも光学的に拡大された画像として撮像される。また、ミクロ画像は、マクロ画像よりも高い解像度で取得される。
撮像部39は、低解像モードと高解像モードとが切り換え可能となっており、マクロ画像の解像度は、いずれを選択するかにも依るが、10~80μm/pxである。
ミクロ画像の解像度は、撮像部39の選択モードと使用する対物レンズの倍率(観察可能範囲)との組み合わせにも依るが、0.1~4μm/pxである。
ミクロ画像の解像度は、撮像部39の選択モードと使用する対物レンズの倍率(観察可能範囲)との組み合わせにも依るが、0.1~4μm/pxである。
後述する図7A-Cに示されるステップS7からステップS15(m枚目標本のマクロ画像の取得からm枚目標本のミクロ画像の取得)までに所要時間は、注目領域が1箇所(ミクロ画像が1枚)の場合は最短で20秒以内である。
情報処理装置10は、光学装置20を制御し、画像を取得する機能を有する。
図3(b)は、情報処理装置10の実現に用いるハードウェアの一例である。同図に示すように、情報処理装置10は、プロセッサ101、主記憶装置102、補助記憶装置103、および通信装置106を備える。これらは図示しないバス等の通信手段を介して互いに通信可能に接続されている。
尚、情報処理装置10は、その全ての構成が必ずしもハードウェアで実現されている必要はなく、構成の全部又は一部が、例えば、クラウドシステム(cloud system)のクラウドサーバ(cloud server)のような仮想的な資源によって実現されていてもよい。
プロセッサ101は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等を用いて構成される。プロセッサ101が、主記憶装置102に格納されているプログラムを読み出して実行することにより、情報処理装置10の機能が実現される。
主記憶装置102は、プログラムやデータを記憶する装置であり、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性半導体メモリ(NVRAM(Non Volatile RAM))等である。補助記憶装置103は、SSD(Solid State Drive)、SDメモリカード等の各種不揮発性メモリ(NVRAM:Non-volatile memory)、ハードディスクドライブ、光学式記憶装置(CD(Compact Disc)、DVD(Digital Versatile Disc)等)、クラウドサーバの記憶領域等である。
通信装置106は、他の装置との間の通信を実現する有線方式又は無線方式の通信インタフェースであり、例えば、NIC(Network Interface Card)、無線通信モジュール、USB(Universal Serial Interface)モジュール、シリアル通信モジュール等である。
情報処理装置10は、通信装置106を介して光学装置20、出力装置40及び入力装置50との間で情報の通信を行い、各種制御を実行する。
〔機能構成〕
情報処理装置10が備える主な機能構成を図3(c)に示す。同図に示すように、情報処理装置10は記憶領域110及び管理部120を備える。
情報処理装置10が備える主な機能構成を図3(c)に示す。同図に示すように、情報処理装置10は記憶領域110及び管理部120を備える。
記憶領域110は、情報処理装置10の主記憶装置102または補助記憶装置103に形成される。記憶領域110には、様々な情報が保存される。具体例としては、システム1で取得された画像、画像の座標、画像間のずれ量、及び注目領域の位置(いずれも詳細は後述)などである。
また情報処理装置10は、上記の機能に加えて、オペレーティングシステム、ファイルシステム、デバイスドライバ、DBMS(DataBase Management System)等の機能を備える。
管理部120は、画像の取得や管理等、情報処理装置10が実行する処理を行う。管理部120の機能は、情報処理装置10のプロセッサ101が情報処理装置10の主記憶装置102または補助記憶装置103に格納されているプログラムを読み出して実行することにより実現される。
管理部120は、通信装置106を介して光学装置20、出力装置40及び入力装置50との間で通信し、これらの装置に対する各種制御を実行する。
〔処理詳細〕
システム1において実行される処理の詳細を、図7A-図7Cのフローチャートを参照しつつ、以下に説明する。
システム1において実行される処理の詳細を、図7A-図7Cのフローチャートを参照しつつ、以下に説明する。
情報処理装置10の主記憶装置102に保存されたプログラムが起動され、管理部120によって、システム1の処理が以下のように実行される。なお、以下ではサーバ10の管理部120によって実行される処理を、簡略に「情報処理装置10」が実行するものとして記載する場合がある。
ステップS1において、ユーザ(例えば、病理医)は、1枚目の標本SP1が保持されたスライドガラスをステージ32上に載置する。標本は、図4に示すように生物組織BTをパラフィンRFに包埋してブロックとし、このブロックを薄切りにして、薄切りされたものがそれぞれ染色されて作成される。生体組織BTから標本を作成する過程は上記によらず、例えば生体組織BTを凍結させて、このブロックを薄切りにする方法を選択してもよい。そのため通常、スライドガラスは、染色数に合わせては複数枚準備される。ここでは、1つのスライドガラスに保持される生物組織BTを1つの標本と称する。つまり、染色の種類数に合わせて標本が用意される。
染色は、ヘマトキシリン・エオシン染色(HE染色)、生体組織を構成する特定物質の分布情報の取得を目的とし、検出対象物質に対する抗原抗体反応を用いて染色する「免疫染色」の少なくとも1つが行われる。また、これらの染色方法に限らず、FISH(Fluorescence in situ Hybridization) 法、DISH(dual color in situ hybridization)法,CISH(chromogenic in situ hybridization)法,SISH(silver―enhanced in situ hybridization)法などを用いてもよい。
以下においては、図4に示すように各スライドガラスに保持された標本に対してSP1、SP2、SP3、・・・と個別の参照符号を付し、説明に用いるものとする。
各スライドガラスには、上述の通り薄切り、及び染色された標本SP1、SP2、・・・が保持される。各スライドガラスにおける標本の形状はほぼ同一となるが、完全に一致するとは限らない。また、各スライドガラスにおける標本の位置、向き(角度)は、生体組織BTの形、薄切り及び染色工程の影響を受けて、スライドガラス毎に通常異なる。また、ステージ32に載置した際、各スライドガラスの設置位置にずれが生じる場合もある。そのため、光学装置20が取得する各画像における標本の位置(位置を示す座標ともいえる)は、ずれを生じ得る。
ステップS2において、管理部120は、光学系P1を介し、撮像部39を制御して1枚目の標本SP1全体の撮像を実施する。標本SP1の撮像は一括(ワンショット)で、つまり1度の撮影による1枚の画像形成によって実施される。撮像の結果、マクロ画像MA1が取得され、記憶領域110に保存される。
ステップS3において、標本SP1またはマクロ画像MA1における注目領域(注目位置とも称する)が設定される。注目領域は、出力装置40に表示されたマクロ画像MA1上でユーザが位置を指定することによって設定される。注目領域の設定は、ユーザが入力装置50を操作することによって行われる。注目領域はユーザの所望する箇所に対してn箇所(nは1以上の整数)設定され、設定可能な注目領域数の制約はない。
なお、この例においては、ユーザが3つの注目領域A11-A13を設定するものとする(図5)。管理部120は、マクロ画像MA1を基準として、ユーザが設定した標本SP1またはマクロ画像MA1における注目領域A11-A13の位置を示す座標(XY座標)を、記憶領域110に保存する。
ここで注目領域A11-A13は、標本SP1固有の領域ではなく、標本SP2、SP3、……の各標本においても設定される領域である。生物組織BTにおいて設定される領域であると考えてもよい。上述の様に、各標本は、生体組織BTから切り出されたものであるため、各標本においても標本SP1と同様の箇所に、注目領域A11-A13がそれぞれ設定される。詳細は後述するが、ユーザは顕微鏡装置30を介して各標本における例えば注目領域A11の画像を取得し、各画像の差異を比較することで、異なる染色手法の各標本の共通領域を比較することが可能となり、診断等に活用できる。
ステップS4では、光学系P2を介して、標本SP1の注目領域A11-A13それぞれを1回ずつ撮像部39が撮像することにより、ミクロ画像MC11-MC13が取得され、記憶領域110に保存される(図5)。このとき、使用した対物レンズの倍率も記憶領域110に保存される。このとき管理部120は、記憶領域110に保存された注目領域A11-A13の位置を示す座標に基づき、標本SP1を載置するステージ32をXY面内で移動させることにより光学系P2との位置関係を制御し、対物レンズ31のフォーカスを標本SP1に合わせ、撮像部39を用いて注目領域A11-A13の撮像を行う。
管理部120は、ミクロ画像MC11-MC13を記憶領域110に保存する際、注目領域A11-13の位置情報として、各フォーカス位置(Z座標)を追加して、記憶領域110に保存する。
なお、光学系P2全体をXY方向に移動可能な構成とし、移動させてもよい。
注目領域A11‐A13をすべて登録した後、注目領域A11-A13それぞれについて、ミクロ画像MC11-MC13を取得する例を説明したが、これに限らない。
例えば、注目領域A11を設定する際、ミクロ画像MC11を取得し、記憶領域110に保存し、次に、注目領域A12を設定する際、ミクロ画像MC12を取得し、記憶領域110に保存し、次に、注目領域A13を設定する際、ミクロ画像MC13を取得し、記憶領域110に保存する。(ステップS3とステップS4との併合)
管理部120は、記憶領域110から読み出したマクロ画像MA1を出力装置40に表示し、光学系P2の光路に合わせて、標本SP1を載置したステージをY方向に所定量移動させる。ユーザが、入力装置50を操作して、マクロ画像MA1上の所定位置を指定すると、管理部120は、指定位置を示す座標に基づき、標本SP1を載置したステージをXY平面内で移動させることにより、光学系P2との位置関係を制御し、対物レンズ31のフォーカスを標本SP1に合わせる。また、図9に示すように、管理部120は、光学系P2を介して、標本SP1の指定位置に対応する領域のミクロ画像を撮像部39で取得し、出力装置40に表示する。ユーザが出力装置40に表示されたミクロ画像を確認し、適否を判断のうえ、適切な場合は、入力装置50を操作して、指定位置の登録(XY位置、フォーカス位置)を行う。また、使用した対物レンズの倍率も登録する。管理部120は、登録された指定位置を示す座標(XY座標、フォーカス位置を示すZ座標)を、注目領域A11として設定するとともに、出力装置40に表示されたミクロ画像を、ミクロ画像MC11として、記憶領域110に保存する。なお、注目領域A12の設定等、注目領域A13の設定等についても同様な方法で行う。
ミクロ画像MC11-MC13は、それぞれ注目領域A11-A13を撮像して得られる画像である。ミクロ画像MC11-MC13は、マクロ画像よりも高倍率で得られる画像であり、そのため、マクロ画像MA1よりも拡大された画像として取得される。また、ミクロ画像MC11-MC13は、マクロ画像MA1よりも高い解像度で取得される。
ミクロ画像MC11-MC13取得の後、標本SP1を保持したスライドガラスはステージ32から取り外され(S5)、2枚目の標本SP2を保持したスライドガラスがステージ32に載置される(S6)。
なお、図7AのステップS6以降では、m枚目(mは2以上の整数)の標本に対する処理について一般化して記載されている。以下のステップS6からS25Aまでの説明においては、理解を容易にするため、具体例としてm=2、すなわち2枚目の標本SP2に対する処理を行う場合について説明する。
ステップS7においては、光学系P1を介して、管理部120に制御された撮像部39が標本SP2の撮像を実施する。標本SP2の撮像は一括(ワンショット)で、つまり1度の撮影による1枚の画像形成によって実施される。撮像の結果、マクロ画像MA2が取得され、記憶領域110に保存される。
ステップS8において、記憶領域110に保存されたマクロ画像MA1とマクロ画像MA2のずれ量が取得される。管理部120は、マクロ画像MA1、MA2それぞれにおいて、標本SP1及び標本SP2に共通すると予測される複数の特徴点(画像内の位置を示す座標)を抽出し、マクロ画像MA1の複数の特徴点(画像内の位置を示す座標)と、これに対応すると予測されるマクロ画像MA2の複数の特徴点(画像内の位置を示す座標)との間のずれを計測することによって、ずれ量を取得し、取得したずれ量を記憶領域110に保存する。なお、マクロ画像MA1に対するマクロ画像MA2のずれ量の算出の手法は、これに限らず、例えばマクロ画像に表示されたる標本の輪郭、又は標本の面積を用いてずれ量を算出してもよい。
管理部120は、取得したずれ量を用いてマクロ画像MA1に対するマクロ画像MA2の位置を補正することにより、マクロ画像MA1の任意の注目領域に対するマクロ画像MA2における同注目領域の位置を合わせることができる。
管理部120は、取得したずれ量を用いてマクロ画像MA1に対するマクロ画像MA2の位置を補正することにより、マクロ画像MA1の任意の注目領域に対するマクロ画像MA2における同注目領域の位置を合わせることができる。
ずれ量の取得においては、図10のように画像同士におけるX軸、Y軸の各方向への座標のずれ(シフト)、画像回転(角度)のずれ、拡大縮小(倍率)のずれが取得される。これにより、2画像間のX、Yの座標移動行列と、回転行列と、拡大縮小行列の3つの行列によって画像間のずれ量が把握される。なお、図10ではミクロ画像MC11、12を示しているが、マクロ画像においても、マクロ画像MA1に表示される標本SP1とマクロ画像MA2に表示されるSP2との間のX軸方向及びY軸方向ずれ(シフト)と、回転(角度)ずれとからなるずれ量を把握することは同じである。
次に管理部120は、ステップS8で計算したずれ量に基づき、IoU(Intersection over Union)を計算する(S9)。詳細に述べると、管理部120は、マクロ画像MA1、MA2を二値化し、さらにマクロ画像MA1、MA2に表示された標本SP1、S2の重なり合う面積をIoUの計算によって数値化する。一般的にIoUの値が0から1に近づくほど位置合わせの度合いが高いとされる。なお、位置合わせの度合いの算出方法は、IoUに限らず、例えば、マクロ画像MA1、MA2に表示された標本SP1、S2の輪郭(線)の重なり合いなどにより算出してよい。
次に管理部120は、IoUを予め定めた基準値と比較する(S9A)。
IoUが基準値以下の場合、管理部120は、手動補正モード(図8「マクロ位置合わせ」)に切り替え、記憶領域110からマクロ画像MA1、MA2を読み出し、出力装置40に表示させる(S10)。
なお、IoUが基準値以下か否かに拘わらず、ユーザが入力装置40を操作することによって、手動補正モードに切り替えることができるようにしてもよい。
また、ステップS7の後、ステップS8、ステップS9を実施せず(省略して)、ユーザが入力装置40を操作することによって、手動補正モードに切り替えることができるようにしてもよい。つまり、管理部120は、入力装置40からの指示を受領した場合には、手動補正モードに切り替える。
また、ステップS7の後、ステップS8、ステップS9を実施せず(省略して)、ユーザが入力装置40を操作することによって、手動補正モードに切り替えることができるようにしてもよい。つまり、管理部120は、入力装置40からの指示を受領した場合には、手動補正モードに切り替える。
ユーザは、入力装置50への入力に基づき、マクロ画像MA1、MA2の透明度(0%を超え、100%未満)を設定する。なお、マクロ画像MA1、MA2のいずれか一方のみの透明度を変更(向上)するようにしてもよい。その場合、透明度を変更(向上)したマクロ画像は、透明度を変更しないマクロ画像の上に配置されるようになっている。この透明度は、マクロ画像MA1に表示された標本SP1と、マクロ画像MA2に表示された標本SP2との重なりが十分視認できるように設定する必要がある。そのため、透明度は、標本の状態に応じて設定される。
ユーザは、出力装置40に表示された、所定の透明度(例えば50%)に変更されたマクロ画像MA1、MA2を見ながら、マクロ画像MA1、MA2の位置合わせを、入力装置50を介して手動で実行する(S11)。このとき管理部120は、入力装置50への入力に基づき、マクロ画像MA1とマクロ画像MA2の相対位置、角度、及び拡大縮小(倍率)を変え、出力装置40に表示させる。ユーザは、出力装置40の表示を見ながら、マクロ画像MA1、MA2に示された標本SP1、SP2の位置が十分に合わさった状態になるまで操作を実行する。
手動による位置合わせ完了後、管理部120は、位置合わせされたマクロ画像MA1、MA2のずれ量を再計算し、ステップS8で取得したずれ量に上書きし、記憶領域110に保存する(S12)。
ステップS9AにおいてIoUが基準値以上である場合、または、ステップS12の完了後、管理部120は、マクロ画像MA1、MA2のずれ量に基づき、マクロ画像MA2または標本SP2に対する注目領域A11-A13の位置を示す座標を取得し、記憶領域110に保存する。
ステップS14において、ステップS13で取得した注目領域A11-A13の位置を表示した2枚目のマクロ画像MA2を出力装置40に表示する。なお、このステップS14は省略してもよい。
ステップS15において、管理部120は、標本SP2におけるミクロ画像の取得を行う。詳細に述べると、標本SP2における注目領域A11-A13を、光学系P2を介して、撮像部39で撮像し、記憶領域110に保存する。ステップS15を経る度に、注目領域A11-A13(n=3で3箇所)のうちN箇所目(Nは1~nの整数)のミクロ画像が1枚ずつ取得される。最終的に注目領域A11-A13にそれぞれ対応する3枚のミクロ画像MC21-MC23が、処理がステップS15を経る度に1つずつ取得される。
ステップS15において、管理部120は、標本SP2におけるミクロ画像の取得を行う。詳細に述べると、標本SP2における注目領域A11-A13を、光学系P2を介して、撮像部39で撮像し、記憶領域110に保存する。ステップS15を経る度に、注目領域A11-A13(n=3で3箇所)のうちN箇所目(Nは1~nの整数)のミクロ画像が1枚ずつ取得される。最終的に注目領域A11-A13にそれぞれ対応する3枚のミクロ画像MC21-MC23が、処理がステップS15を経る度に1つずつ取得される。
理解を容易にするため、ステップS14からS24までに関する以下の説明では、1箇所目(N=1)のミクロ画像MC21を撮像する場合を具体例として説明に用いる。
この具体例を用いると、ステップS15の処理で管理部120は、標本SP2を載置するステージ32をXY平面内で移動させることにより、光学系P2との位置関係を制御し、対物レンズ31のフォーカスを標本SP2に合わせ、撮像部39を用いて標本SP2における注目領域A11の撮像を行う。注目領域A11の撮像により、ミクロ画像MC21が取得され、記憶領域110に保存される。
ステップS16において、管理部120は、記憶領域110に保存されたミクロ画像MC11とミクロ画像MC21との重なり合う面積をIoUによって計算する(S16)。計算の内容は、ステップS9と同様である。例えばミクロ画像MC11とミクロ画像MC21との位置合わせ度合いとしてIoUを計算する場合、管理部120は、ミクロ画像MC11、MC21を二値化し、さらにミクロ画像MC11、ミクロ画像MC21に表示された標本SP1、SP2の重なり合う面積をIoUの計算によって数値化する。なお、N=2とした処理で実行されるミクロ画像MC12とミクロ画像MC22の場合、及び、N=3とした処理で実行されるミクロ画像MC13とミクロ画像MC23の場合も、ミクロ画像MC11、MC21と同様の処理でIoUが計算される。
次に管理部120は、IoUを予め定めた基準値と比較する(S16A)。なお、ステップS16Aで用いる基準値は、ステップS9Aで用いる基準値と必ずしも一致しない。ステップS16Aにおける基準値は、ステップS9Aで用いられる基準値よりも厳しい値(1に近い値)、すなわち許容されるずれ量が小さいことが好ましい。また、ミクロ画像を取得する対物レンズ31の倍率に応じて、基準値を変更してもよい。高倍になるほど、基準値はより厳しい値となる。
IoUが基準値以下である場合、記憶領域110に保存されたミクロ画像MC11とミクロMC21とのずれ量が算出される(S17)。管理部120は、ミクロ画像MC1、MC2それぞれにおいて共通すると予測される複数の特徴点(画像内の位置を示す座標)を抽出し、ミクロ画像MC1の複数の特徴点(画像内の位置を示す座標)と、これに対応すると予測されるミクロ画像MC2の複数の特徴点(画像内の位置を示す座標)との間のずれを計測することによって、ずれ量を取得し、取得したずれ量を記憶領域110に保存する。なお、ミクロ画像のずれ量の算出方法は、ステップS8と同等である。管理部120は、ずれ量に基づき、標本SP2における注目領域A11を示す位置の座標を修正し、標本SP2を載置するステージ32をXY平面内で移動させることにより、光学系P2との位置関係を制御する。
さらに管理部120は、対物レンズ31のフォーカスを標本SP2に合わせ、撮像部39を用いて、ステップS17で修正された標本SP2における注目領域A11の撮像を行い、ミクロ画像MC21を再度取得し、記憶領域110に保存する(S18)。
次のステップS19において管理部120は、ミクロ画像MC11、ステップS18で取得したミクロ画像MC21との位置合わせ度合いとしてIoUを計算する。計算の方法はステップS9と同様である。管理部120は、ミクロ画像MC11、ステップS18で取得したミクロ画像MC21を二値化し、さらにミクロ画像MC11、MC21に表示された標本SP1、SP2の重なり合う面積をIoUの計算によって数値化する。
次に管理部120は、IoUを予め定めた基準値と比較する(S19A)。なお、ステップS19Aで用いる基準値は、ステップS9A、S16Aで用いる基準値と必ずしも一致しない。ステップS19Aにおける基準値は、ステップS9Aで用いられる基準値よりも厳しい値とすること、すなわち許容されるずれ量が小さいことが好ましい。
なお、ステップS16Aの後、ステップS17からステップS19を実施せず(省略して)、ステップS20を実施するようにしてもよい。
IoUが基準値以下である場合、ステップS20以降において、手動による位置合わせが行われる(S20)。管理部120は、手動補正モードに切り替え、記憶領域110からミクロ画像MC11を読み出し、出力装置40にするとともに、ステージ32に載置された標本SP2の注目領域A11を、光学系P2を介して撮像部30で撮像し、ミクロ画像MC21を取得し、リアルタイムに出力装置40に表示する。このとき、図11に示すように、ミクロ画像MC11、MC21は、出力装置40に並べて表示される。さらに、スライドガラスにおける標本の向き(角度)はスライドガラス毎に異なるので、ユーザが出力装置40に表示されたミクロ画像を比較し易くなるように、図6に示すように、管理部120は、ミクロ画像MC12の向き(角度)に対応させて、ミクロ画像MC11を、角度ずれ量分、傾けて表示する。
ユーザは、ミクロ画像MC11、MC21を出力装置40で視認しつつ、ミクロ画像MC11に示される注目領域A11と、ミクロ画像MC21に示される注目領域とが、互いに同じになるように、出力装置40にリアルタイムに表示されたミクロ画像MC21を入力装置50でドラック等して所定量移動させる。(S21)。管理部120は、ミクロ画像MC21が入力装置50によって所定量ドラック等されると、それに連動してステージ32をXY面内で移動させる(画像の移動量が、ステージの移動量に変換されている)。その結果、ステージ32(標本SP2)と光学系P2との位置関係が変化するので、光学系P2を介して撮像部30で撮像される標本SP2における注目領域A11が変化する、つまり、ミクロ画像MC21が変化する。さらに、ユーザは、ミクロ画像MC11に示される注目領域A11の向きと、変化したミクロ画像MC21に示される注目領域A11の向きとが、互いに同じになるように、ミクロ画像MC11を入力装置50でドラック等して所定角度、変更(回転)させる。管理部120は、ミクロ画像MC11が入力装置50によって所定角度ドラック等されると、それに連動してミクロ画像MC11の角度を変更する。ユーザは、ミクロ画像MC11に示される注目領域A11と、ミクロ画像MC21に示される注目領域A11とが同じになるまで操作を実行する。なお、ステージ32にXY面内の移動機構だけでなく、回転機構も設けて、管理部120は、ミクロ画像MC21が入力装置50によって所定量ドラック等されると、それに連動してステージ32をXY面内で移動、回転させるようにしてもよい。
管理部120は、ステップS21におけるユーザによる手動の位置合わせ後、ミクロ画像MC11に示される注目領域A11と新たなミクロ画像MC21に示される注目領域A11とのずれ量を計算する。(S22)
さらに管理部120は、ミクロ画像MC21を再度取得し、記憶領域110に保存する(S23)。このようにして、標本SP2における新たな注目領域A11のミクロ画像MC21が再取得される。
ステップS24Aでは、全ての注目領域(n箇所)のミクロ画像が取得されているかの判断が行われる。例えば、注目領域A11のミクロ画像MC21のみが取得されていた場合、管理部120は、ステップS16AでIoUが基準値以上であると判断された場合、ステップS8で算出した又はステップS12で上書したマクロ画像MA1、MA2のずれ量がそのまま上書きされる。一方、ステップS17又はステップS22でミクロ画像MC11、MC21のずれ量を算出した場合、そのずれ量を、ステップS8で算出した又はステップS12で上書したマクロ画像MA1、MA2のずれ量に対し、上書きする(S24)。このように、より少ないずれ量を用いて、ステップS8で算出した又はステップS12で上書したマクロ画像MA1、MA2のずれ量が補正される(図8「マクロ位置合わせに反映」)。なお、1箇所目の注目領域A11にて算出したずれ量を上書きしたが、1箇所目、2箇所目(複数個所)の注目領域それぞれについて算出したずれ量の平均値をずれ量として上書きしてもよい。
管理部120は、この処理で計算されたずれ量をステップS13で上書きすることにより、記憶領域110に保存されたずれ量を更新する。これにより、標本SP2における注目領域A11-13の登録位置が更新される。その後、ステップS14以降においてNの値をインクリメントしてN=2とし、次の注目領域A12に対応するミクロ画像M22を取得する処理を開始する。
2箇所以上のミクロ画像が取得されていた場合、管理部120は、処理をステップS14に戻してNの値をインクリメントし、次の注目領域に対応するミクロ画像を取得する処理を開始する。一例としてステップS24Aにおいて2箇所目のミクロ画像MC22が取得されていた場合、管理部120は、処理をステップS14に戻し、N=3として、注目領域A13に対応する3枚目のミクロ画像MC23を取得する処理を開始する。
また、ステップS24Aにおいて全ての注目領域(n箇所)のミクロ画像が取得されていた場合、この例においては、注目領域A11―A13のミクロ画像MC21-MC23の全てが取得されていた場合、2枚目の標本SP2が保持されたスライドガラスがステージ32から取り外される。
ステップS25Aにおいて標本SP2が最後の標本ではないと判断された場合、管理部120は、処理をステップS6に戻し、m=3として3枚目の標本S3に対する画像取得処理を開始する。このようにして、処理がステップS25AからステップS6を経由するごとにmの値がインクリメントされ、ステップS6からS25までの処理が、各標本SP3、SP4、SP5・・・に対して順次実行される。
ステップS25Aにおいて、最後の標本に対する処理が実行済みであると判断された場合、図12に示すように、管理部120は、ミクロ画像を出力装置40に並べて表示する処理を実行する(S26)。図12においては、標本SP1-S10それぞれにおける注目領域A11のミクロ画像MC11-MC101が、並べて表示されている。なお、ミクロ画像MC11-MC101は、それぞれ画像内の任意の位置において、デジタルズームが可能である。
または、管理部120はS26において、図10に示すようにミクロ画像を出力装置40に重ねて表示する処理を実行する。図10においてはミクロ画像MC11、MC21が出力装置40の画面奥行き方向(図における紙面奥行き方向)に重ねて表示されている。
図12に示すように、ミクロ画像MC21-MC101は、前述したずれ量に基づく修正、又は位置合わせにより、ミクロ画像MC11に示された注目領域A11に対応するm枚目の標本SPmの注目領域A11について取得された画像であり、また1枚目の標本SP1の向きとm枚目の標本SPmの向きとの角度(回転)ずれをそれぞれ考慮して、ミクロ画像MC11を基準にしてそれぞれ角度が変更されて表示される。そのため、各ミクロ画像は、画像間での注目領域のずれが無い、または低減された状態で表示される。ユーザは、出力装置40の表示を見ながら、正確に各ミクロ画像MC11-101を比較することができる。
また、図12に示すように、管理部120は、出力装置40の右下に表示された1枚目のマクロ画像MA1の注目領域A11、A12、A13(マクロ画像MA1上に表示された数字1、2、3がそれぞれ対応する)のうち、ユーザによって入力装置50を介して指定された注目領域A11(マクロ画像MA1上に表示された数字1)のミクロ画像のすべて(MC11-MC101)を出力装置40に表示する。また、図12に示すように、管理部120は、入力装置50を介して、ユーザに指定された注目領域に対応するミクロ画像のすべて(MC11-MC101)を出力装置50に表示した場合、その注目領域に対応する、1枚目のマクロ画像MA1に表示された番号の上にマスク表示(ミクロ画像の表示範囲をカバーするような矩形マスク)する処理を実行する(S27)。
なお、マクロ画像MA1の上に注目領域A11、A12、A13の位置を示すとともに、ミクロ画像の表示範囲をカバーするような矩形の図形マスク表示MSを注目領域A11、A12、A13(マクロ画像MA1上に表示された数字1、2、3にそれぞれ対応する)のいずれかに重ねて表示する処理は、ユーザによってミクロ観察(画像取得)された注目領域に対して行ってもよい。
ユーザは、マスク表示MSを確認することにより、例えば、画像表示(又は観察)を実行した注目領域と、画像表示(又は観察)を終えていない注目領域とを区別して確認することができる。
また、図13、図14などに示すように、ユーザは、各種のアノテーションANを表示させることも可能である。アノテーションANには、2点間の距離を示す数値の表示や各種の図形などが用いられる。なお、ユーザが各ミクロ画像の上でノートを表示させてテキストを書き込むことができるようにしてもよい。
なお、図7A~Cに示す処理のうち、IoUの計算(評価)を省略するように、ユーザが事前設定できるようにしてもよい。つまり、ユーザは入力装置40を操作することによって、管理部120がIoU(Intersection over Union)の計算を行わないように事前設定できるにしてもよい。その場合、図7A~CのステップS8の後、ステップS9~ステップS12まで実施せず(省略し)、ステップS13に進む。次に、一の方法として、ステップS15の後、ステップS16を実施せず(省略し)、ステップS17に進み、ステップS18の後、ステップS19を実施せず(省略し)、ステップS20に進む。他の方法として、ステップS15の後、ステップS16からステップS23を実施せず(省略し)、ステップS24Aに進む。さらに、別の他の方法として、ステップS15の後、ステップS16を実施せず(省略し)、ステップS17に進み、ステップS18の後、ステップS19を実施せず(省略し)、ステップS24Aに進む。ステップS24Aの後、ステップS24において、管理部120は、ステップS8で算出したマクロ画像MA1、MA2のずれ量をそのまま上書きする。
<効果>
実施形態においては以下の態様が開示される。
実施形態においては以下の態様が開示される。
(態様1)顕微鏡装置30は、マクロ画像を取得する光学系P1(第1観察光学系に相当)と、光学系P1とは異なる、ミクロ画像を取得する光学系P2(第2観察光学系に相当)と、管理部120が起動される情報処理装置10(制御部に相当)と、を備える。
管理部120は、光学系P1を用いて、標本SP1のマクロ画像MA1を取得する処理(S1)と、マクロ画像MA1内の注目領域A11-A13の位置を示す第1位置情報を取得する取得処理(S3)と、第1位置情報に基づき、標本SP1を載置するステージ32と光学系P2との位置関係を制御し、光学系P2を用いて注目領域A11-A13のミクロ画像MC11-MC13を取得する処理(S4)と、を実行する。
加えて管理部120は、光学系P1を用いて、標本SP1とは異なる標本SP2のマクロ画像MA2を取得する処理(S6)と、マクロ画像MA1とマクロ画像MA2とに基づき、マクロ画像MA2において、第1位置情報に対応する注目領域A11-A13の位置を示す第2位置情報を取得する処理(S13)と、を実行する。
また、管理部120は、第2位置情報に基づき、標本SP2を載置するステージ32と光学系P2との相対位置を制御し、光学系P2を用いて標本SP2における注目領域A11-A13のミクロ画像MC21-MC23を取得する処理(S15、S18)を実行する。
上記構成では、マクロ画像MA1、MA2の位置ずれに基づいて、標本SP2における注目領域A11-A13の位置を正確に把握することができる。そのため、ミクロ画像MC21-MC23を、ミクロ画像MC11-MC13それぞれに対してずれることなく、または少ないずれ量で、撮像することができる。このように、正確な画像取得が可能となる。
(態様2)態様1において、管理部120は、マクロ画像MA1とマクロ画像MA2との位置ずれ量であるマクロずれ量を算出する処理(S8、S12)を実行し、マクロずれ量に基づいて、第2位置情報を取得する(S13)。
上記構成では、マクロ画像MA1、MA2の位置ずれに基づいて、標本SP2における注目領域A11-A13の位置を正確に把握することができる。
(態様3)態様1または2において、管理部120は、取得処理において入力装置50(入力部に相当)からの指示により第1位置情報を取得する。
上記構成では、ユーザが入力装置50を用いて、注目領域A11-A13を容易に指示することができる。
(態様4)態様1から3のいずれかにおいて、マクロ画像MA1、MA2のそれぞれの解像度は、ミクロ画像MC11-MC13、MC21-MC23のいずれの解像度よりも低い。
上記構成では、マクロ画像を素早く取得し、素早く情報処理することができる。そのため標本SP1、S2等の全体像を迅速に把握することが可能となる。
(態様5)態様1から4のいずれかにおいて、マクロ画像MA1、MA2は、それぞれ、光学系P1により一括で取得される。
マクロ画像MA1、MA2それぞれが一括で取得されるため、それぞれの画像は上記構成では、素早く取得される。また、分割取得して得られるマクロ画像に比べて、一括取得されたマクロ画像MA1、MA2は、容量が小さいので、マクロ画像MA1とマクロ画像MA2とのずれ量算出、算出したずれ量に基づく、マクロ画像MA1に対するマクロ画像MA2の位置補正(情報処理)を迅速に行うことができる。
(態様6)態様1から5のいずれかにおいて、管理部120は、ミクロ画像MC11、MC21におけるずれ量(ミクロずれ量)を算出し、このずれ量に基づき、マクロ画像MA1、MA2間におけるずれ量(マクロずれ量)を補正する処理(S24)をさらに実行する。
上記構成では、ミクロ画像MC11、MC21による精度の高いミクロずれ量を用いるため、マクロ画像MA1、MA2のマクロずれをより正確に補正できる。
(態様7)態様1から6のいずれかにおいて、少なくとも、注目領域A11(第1注目領域その1)と注目領域A12(第1注目領域その2)がマクロ画像MA1に存在する。管理部120は、注目領域A11の位置を示す第1位置情報その1と、注目領域A12の位置を示す第1位置情報その2を取得する(S3)。管理部120は、さらにマクロ画像MA2から第1位置情報その1に対応する注目領域A11(第2注目領域その1)の位置を示す第2位置情報その1、及び、第1位置情報その2に対応する注目領域A12(第2注目領域その2)の位置を示す第2位置情報その2を取得する(S13)。ミクロずれ量は、第1注目領域その1のミクロ画像MC11と第2注目領域その1のミクロ画像MC12とに基づき算出される。補正されたマクロずれ量に基づき、マクロ画像MA2において、注目領域A12の位置情報(第2位置情報その2)を修正する処理(S13)と、この修正した位置情報に基づき、第2位置情報その2に対応するミクロ画像MC22を取得する処理(S15)と、を実行する。
(態様8)態様1から7のいずれかにおいて、管理部120は、ミクロ画像MC11とミクロ画像MC21との位置ずれ量であるミクロずれ量を算出し、ミクロずれ量に基づき、標本SP2を載置するステージ32と第2光学系P2との位置関係を制御する処理をさらに実行する。(S17)
上記構成では、ずれの少ないミクロ画像MC11、MC21を取得できる。
(態様9)態様1から8のいずれかにおいて、管理部120は、主記憶装置102または補助記憶装置103の記憶領域110に保存されたミクロ画像MC11を読み出し、出力装置40(表示部に相当)に表示するとともに、光学系P2によって取得している最中のミクロ画像MC21を出力装置40に表示する処理(S20)をさらに実行する。
上記構成では、ユーザは、2つのミクロ画像MC11、MC21の位置合わせを画面で確認しながら容易に実行できる。
(態様10)態様1から9のいずれかにおいて、管理部120は、入力装置50(入力部に相当)からの指示により、標本SP2を載置するステージ32と光学系P2との位置関係を制御し、出力装置40に表示されるミクロ画像MC21の注目領域A11を移動させる処理(S21)をさらに実行する。
上記構成では、迅速にミクロ画像MC21の注目領域A11を移動できる。
(態様11)態様1から10のいずれかにおいて、管理部120は、入力装置50からの指示により、マクロ画像MA1、MA2の少なくとも一つの透明度を向上させて出力装置40に表示し、マクロ画像MA1、MA2に表示された標本SP1、SP2の重なりを変化させる処理(S10、S11)をさらに実行する。
上記構成では、容易にマクロ画像MA1、MA2のずれを視認でき、補正できる。
(態様12)態様1から11のいずれかにおいて、管理部120は、マクロ画像同士のずれ量(マクロずれ量)に基づき、マクロ画像MA1、MA2の位置合わせの度合いであるIoUを算出する処理を実行する(S9)。
上記構成では、IoUを計算することにより、位置合わせの度合いを計測することができる。
(態様13)態様1から12のいずれかにおいて、管理部120は、算出したIoUが予め設定した基準値以下の場合、入力装置50からの指示によりマクロ画像MA1、MA2の少なくとも一つの透明度を向上させて出力装置40に表示し、、マクロ画像MA1、MA2に表示された標本SP1、SP2を重なり合うように表示する処理(S10、S11)をさらに実行し、再度、処理した後のマクロずれ量を算出する。(S12)
上記構成では、IoUを計算することにより、位置合わせの度合いを計測することができる。
(態様14)態様1から13のいずれかにおいて、管理部120は、ミクロ画像MC11、MC21、ミクロ画像MC12、MC22、またはミクロ画像MC13、MC23の位置合わせの度合いであるIoUを算出する処理(S16、S19)をさらに実行する。
(態様15)態様1から14のいずれかにおいて、管理部120は、算出したIoUが予め設定した基準値以下の場合、記憶領域110に保存されたミクロ画像MC11を読み出し、出力装置40に表示するとともに、光学系P2によって取得している最中のミクロ画像MC21を出力装置40に表示し、入力装置50からの指示により、標本SP2を載置するステージ32と光学系P2との位置関係を制御し、出力装置40に表示されるミクロ画像MC21の注目領域A11を移動させる処理をさらに実行する(S20、S21)。
上記構成では、容易にミクロ画像MC21の注目領域A11を移動できる。
(態様16)態様1から15のいずれかにおいて、管理部120は、ミクロ画像を並べて表示する処理(S26)をさらに実行する。
上記構成では、ユーザは、注目領域A11-A13を標本間で比較し、容易に確認することができる。
(態様17)態様1から16のいずれかにおいて、管理部120は、ミクロ画像MC11、MC21を取得する処理又はミクロ画像を並べて表示する処理を受け付けた場合、表示部に表示されたマクロ画像MA1上の注目領域A11に対し、所定の表示を行う処理をさらに実行する(S27)。
上記構成では、ユーザは、例えば観察を実行した注目領域と、観察を終えていない注目領域とを区別して確認することができる。
1 システム
10 情報処理装置
20 光学装置
30 顕微鏡装置
10 情報処理装置
20 光学装置
30 顕微鏡装置
Claims (19)
- マクロ画像を取得する第1観察光学系と、
前記第1観察光学系とは異なる、ミクロ画像を取得する第2観察光学系と、
制御部と、を備え、
前記制御部は、
前記第1観察光学系を用いて、第1標本の第1マクロ画像を取得する処理と、
前記第1マクロ画像内の第1注目領域の位置を示す第1位置情報を取得する取得処理と、
前記第1位置情報に基づき、前記第1標本を載置するステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第1注目領域の第1ミクロ画像を取得する処理と、
前記第1観察光学系を用いて、前記第1標本とは異なる第2標本の第2マクロ画像を取得する処理と、
前記第1マクロ画像と前記第2マクロ画像とに基づき、前記第2マクロ画像において、前記第1位置情報に対応する第2注目領域の位置を示す第2位置情報を取得する処理と、
前記第2位置情報に基づき、前記第2標本を載置する前記ステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第2注目領域の第2ミクロ画像を取得する処理と、
を実行する顕微鏡。 - 前記制御部は、
前記取得処理において前記第1マクロ画像と前記第2マクロ画像との位置ずれ量であるマクロずれ量を算出し、前記マクロずれ量に基づき、前記第2注目領域の位置を示す前記第2位置情報を取得する、
請求項1記載の顕微鏡。 - 前記制御部は、
前記取得処理において入力部からの指示により前記第1位置情報を取得する、
請求項1に記載の顕微鏡。 - 前記第1マクロ画像及び前記第2マクロ画像のそれぞれの解像度は、前記第1ミクロ画像及び前記第2ミクロ画像のどちらの解像度よりも低い、
請求項1から3のいずれか1項に記載の顕微鏡。 - 前記第1マクロ画像及び前記第2マクロ画像は、それぞれ、前記第1観察光学系により一括取得される、
請求項1から4のいずれか1項に記載の顕微鏡。 - 前記制御部は、
前記第1ミクロ画像と第2ミクロ画像との位置ずれ量であるミクロずれ量を算出し、
前記ミクロずれ量に基づき、前記第1マクロ画像と前記第2マクロ画像との位置ずれ量であるマクロずれ量を補正する処理をさらに実行する、
請求項1から5のいずれか1項に記載の顕微鏡。 - 前記第1注目領域は、少なくとも、第1注目領域その1、第1注目領域その2として、前記第1マクロ画像内に複数存在し、
前記制御部は、前記第1注目領域その1の位置を示す第1位置情報その1、及び前記第1注目領域その2の位置を示す第1位置情報その2を取得し、
前記第2マクロ画像において、前記第1位置情報その1に対応する第2注目領域その1の位置を示す第2位置情報その1、及び前記第1位置情報その2に対応する第2注目領域その2の位置を示す第2位置情報その2を取得し、
前記ミクロずれ量は、前記第1注目領域その1の前記第1ミクロ画像と、前記第2注目領域その1の前記第2ミクロ画像とに基づき算出され、
前記補正されたマクロずれ量に基づき、前記第2マクロ画像において、前記第2位置情報その2を修正する処理と、
前記修正した第2位置情報その2に基づき、前記第2注目領域その2の前記第2ミクロ画像を取得する処理と、を実行する、
請求項6に記載の顕微鏡。 - 制御部は、
前記第1ミクロ画像と前記第2ミクロ画像との位置ずれ量であるミクロずれ量を算出し、
前記ミクロずれ量に基づき、前記第2標本を載置する前記ステージと前記第2観察光学系との位置関係を制御する処理をさらに実行する、
請求項1から5のいずれか1項に記載の顕微鏡。 - 前記制御部は、
記憶部に保存された前記第1ミクロ画像を読み出し、表示部に表示するとともに、前記第2観察光学系によって取得している最中の前記第2ミクロ画像を前記表示部に表示する処理をさらに実行する、
請求項1から8のいずれか1項に記載の顕微鏡。 - 前記制御部は、
入力部からの指示により、前記第2標本を載置するステージと前記第2観察光学系との位置関係を制御し、前記表示部に表示される前記第2ミクロ画像の前記第2注目領域を移動させる処理をさらに実行する、
請求項9に記載の顕微鏡。 - 前記制御部は、
入力部からの指示により、前記第1マクロ画像及び前記第2マクロ画像の少なくとも一つの透明度を向上させて表示部に表示し、前記第1マクロ画像に表示された前記第1標本と前記第2マクロ画像に表示された前記第2標本との重なりを変化させる処理をさらに実行する、
請求項1から10のいずれか1項に記載の顕微鏡。 - 前記制御部は
前記マクロずれ量に基づき、前記第1マクロ画像と前記第2マクロ画像との位置合わせの度合いを算出する処理をさらに実行する、
請求項2に記載の顕微鏡。 - 前記制御部は、
前記算出した値が、予め設定した基準値以下の場合、入力部からの指示により、前記第1マクロ画像及び前記第2マクロ画像の少なくとも1つの透明度を向上させて表示部に表示し、前記第1マクロ画像に表示された前記第1標本と前記第2マクロ画像に表示された前記第2標本とが重なり合うようにする表示処理をさらに実行し、前記表示処理した後の前記マクロずれ量を算出する、
請求項12に記載の顕微鏡。 - 前記制御部は、
前記第1ミクロ画像と前記第2ミクロ画像との位置合わせの度合いを算出する処理をさらに実行する、
請求項6または7に記載の顕微鏡。 - 前記制御部は、
前記算出した値が、予め設定した基準値以下の場合、記憶部に保存された前記第1ミクロ画像を読み出し、表示部に表示するとともに、前記第2観察光学系によって取得している最中の前記第2ミクロ画像を前記表示部に表示し、
入力部の指示により、前記第2標本を載置するステージと前記第2観察光学系との位置関係を制御し、前記表示部に表示される前記第2ミクロ画像の前記第2注目領域を移動させる処理をさらに実行する、
請求項1から14のいずれか1項に記載の顕微鏡。 - 前記制御部は、
前記第1ミクロ画像及び前記第2ミクロ画像を並べて表示する処理をさらに実行する、
請求項1から15のいずれか1項に記載の顕微鏡。 - 前記制御部は、
前記第1ミクロ画像及び前記第2ミクロ画像を取得する処理又は前記並べて表示する処理を受け付けた場合、表示部に表示された前記第1マクロ画像上の前記第1注目領域に対し、所定の表示を行う処理をさらに実行する、
請求項1から16のいずれか1項に記載の顕微鏡。 - マクロ画像を取得する第1観察光学系と、
前記第1観察光学系とは異なる、ミクロ画像を取得する第2観察光学系と、
制御部と、を備えた顕微鏡において前記制御部に実行させる方法であって、
前記第1観察光学系を用いて、第1標本の第1マクロ画像を取得する処理と、
前記第1マクロ画像内の第1注目領域の位置を示す第1位置情報を取得する取得処理と、
前記第1位置情報に基づき、前記第1標本を載置するステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第1注目領域の第1ミクロ画像を取得する処理と、
前記第1観察光学系を用いて、前記第1標本とは異なる第2標本の第2マクロ画像を取得する処理と、
前記第1マクロ画像と前記第2マクロ画像との位置ずれ量であるマクロずれ量を算出する処理と、
前記マクロずれ量に基づき、前記第2マクロ画像において、前記第1位置情報に対応する第2注目領域の位置を示す第2位置情報を取得する処理と、
前記第2位置情報に基づき、前記第2標本を載置する前記ステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第2注目領域の第2ミクロ画像を取得する処理と、
を含む方法。 - マクロ画像を取得する第1観察光学系と、
前記第1観察光学系とは異なる、ミクロ画像を取得する第2観察光学系と、
制御部と、を備えた顕微鏡において前記制御部に対し、
前記第1観察光学系を用いて、第1標本の第1マクロ画像を取得する処理と、
前記第1マクロ画像内の第1注目領域の位置を示す第1位置情報を取得する取得処理と、
前記第1位置情報に基づき、前記第1標本を載置するステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第1注目領域の第1ミクロ画像を取得する処理と、
前記第1観察光学系を用いて、前記第1標本とは異なる第2標本の第2マクロ画像を取得する処理と、
前記第1マクロ画像と前記第2マクロ画像との位置ずれ量であるマクロずれ量を算出する処理と、
前記マクロずれ量に基づき、前記第2マクロ画像において、前記第1位置情報に対応する第2注目領域の位置を示す第2位置情報を取得する処理と、
前記第2位置情報に基づき、前記第2標本を載置する前記ステージと前記第2観察光学系との位置関係を制御し、前記第2観察光学系を用いて前記第2注目領域の第2ミクロ画像を取得する処理と、
を実行させるプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024033900A JP2025135870A (ja) | 2024-03-06 | 2024-03-06 | 顕微鏡、方法、及びプログラム |
| JP2024-033900 | 2024-03-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| WO2025187690A1 true WO2025187690A1 (ja) | 2025-09-12 |
| WO2025187690A8 WO2025187690A8 (ja) | 2025-10-02 |
Family
ID=96990997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/007692 Pending WO2025187690A1 (ja) | 2024-03-06 | 2025-03-04 | 顕微鏡、方法、及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2025135870A (ja) |
| WO (1) | WO2025187690A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0464245A (ja) * | 1990-07-04 | 1992-02-28 | Hitachi Ltd | 光学顕微鏡付電子顕微鏡およびそれを用いた外観検査装置 |
| WO2006033273A1 (ja) * | 2004-09-22 | 2006-03-30 | Nikon Corporation | 顕微鏡システムおよび画像処理方法 |
| JP2018097870A (ja) * | 2016-12-08 | 2018-06-21 | 株式会社モルフォ | 画像処理装置、電子機器、画像処理方法及びプログラム |
-
2024
- 2024-03-06 JP JP2024033900A patent/JP2025135870A/ja active Pending
-
2025
- 2025-03-04 WO PCT/JP2025/007692 patent/WO2025187690A1/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0464245A (ja) * | 1990-07-04 | 1992-02-28 | Hitachi Ltd | 光学顕微鏡付電子顕微鏡およびそれを用いた外観検査装置 |
| WO2006033273A1 (ja) * | 2004-09-22 | 2006-03-30 | Nikon Corporation | 顕微鏡システムおよび画像処理方法 |
| JP2018097870A (ja) * | 2016-12-08 | 2018-06-21 | 株式会社モルフォ | 画像処理装置、電子機器、画像処理方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2025135870A (ja) | 2025-09-19 |
| WO2025187690A8 (ja) | 2025-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4937850B2 (ja) | 顕微鏡システム、そのvs画像生成方法、プログラム | |
| US8000560B2 (en) | Virtual slide generation device, virtual slide generation method, virtual slide generation program product and virtual slide generation program transmission medium | |
| US7630113B2 (en) | Microscope optical system, microscope, and virtual slide forming system | |
| EP2339389B1 (en) | Microscope system, storage medium storing control program, and control method | |
| US7929738B2 (en) | Microscope apparatus and microscope system | |
| EP2941663B1 (en) | A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope | |
| US11112952B2 (en) | Interface for display of multi-layer images in digital microscopy | |
| JP4878913B2 (ja) | 顕微鏡システム、顕微鏡画像の合成方法、及びプログラム | |
| CN111788508A (zh) | 数码显微镜和用于改变数码显微镜的放大率的方法 | |
| US20140036058A1 (en) | Information processing apparatus, information processing method, program, and image display apparatus | |
| US20040105000A1 (en) | Microscopic image capture apparatus | |
| US8837790B2 (en) | Medical diagnosis support device | |
| WO2025187690A1 (ja) | 顕微鏡、方法、及びプログラム | |
| JP4878815B2 (ja) | 顕微鏡装置 | |
| JP4979464B2 (ja) | 顕微鏡装置、該制御プログラム、及び該制御方法 | |
| CN112017123A (zh) | 一种虚拟显微镜的成像方法 | |
| US7102815B2 (en) | Optical microscope system and optical axis correcting method | |
| JPS62130305A (ja) | 画像処理式測定装置 | |
| JP2001201694A (ja) | 顕微鏡装置 | |
| JP3152747B2 (ja) | 巨視的映像機能を備えた顕微鏡システム | |
| JP5581785B2 (ja) | 顕微鏡、位置制御方法及び位置制御プログラム | |
| JP2007108223A (ja) | 顕微鏡システム | |
| JPH08338705A (ja) | 顕微鏡の測定部位位置合せ装置 | |
| US12366741B2 (en) | Control device for a microscope | |
| JP2010256724A (ja) | 観察装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25767686 Country of ref document: EP Kind code of ref document: A1 |