JP2008139489A

JP2008139489A - Microscope equipment

Info

Publication number: JP2008139489A
Application number: JP2006324603A
Authority: JP
Inventors: Nobuhiko Yonetani; 信彦米谷
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-11-30
Filing date: 2006-11-30
Publication date: 2008-06-19

Abstract

【課題】被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置において、タイムラプス撮影時の生育環境の変化を容易に把握可能とすること。
【解決手段】被観察物の生育環境を示す値を測定するセンサと、被観察物の特定領域を繰り返し異なる時点で撮像して複数の画像を生成する撮像部と、撮像部により繰り返し撮像を行った各時点での画像を記録するとともに、各時点の撮像開始前及び終了後の少なくとも一方の所定期間におけるセンサによる測定結果を画像に関連付けて記録する記録部とを備える。
【選択図】図１PROBLEM TO BE SOLVED: To easily grasp a change in a growth environment during time-lapse photography in a microscope apparatus provided with an imaging unit that repeatedly captures an image of an object to be observed and generates a plurality of images.
A sensor that measures a value indicating a growth environment of an object to be observed, an image capturing unit that repeatedly captures a specific area of the object to be observed at different time points to generate a plurality of images, and an image capturing unit performs repeated image capturing. And a recording unit that records the measurement result of the sensor in at least one predetermined period before and after the start of imaging at each time point in association with the image.
[Selection] Figure 1

Description

本発明は、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置に関する。 The present invention relates to a microscope apparatus including an imaging unit that repeatedly captures an image of an object to be observed to generate a plurality of images.

培養容器の培地等の環境を制御しながら、培地で成育中の培養細胞を拡大撮影する顕微鏡システムが実用化されている（特許文献１などを参照）。この顕微鏡システムでは、培養細胞に生じる緩やかな時間変化を視覚的に捉えるため、タイムラプス撮影が有効である（特許文献２などを参照）。
このような顕微鏡システムにおいて、特に、長時間に亘って上述したタイムラプス撮影を行う場合には、生育環境の変化を正しく把握する必要がある。
特開２００５−３２６４９５号公報特開２００６−２２０９０４号公報 A microscope system for enlarging and photographing cultured cells growing in a culture medium while controlling the environment such as the culture medium in the culture vessel has been put into practical use (see Patent Document 1 and the like). In this microscope system, time-lapse imaging is effective in order to visually grasp a gradual time change that occurs in cultured cells (see Patent Document 2 and the like).
In such a microscope system, it is necessary to correctly grasp the change in the growth environment, particularly when the above-described time-lapse photography is performed for a long time.
JP 2005-326495 A JP 2006-220904 A

しかし、上述した顕微鏡システムでは、タイムラプス撮影時の生育環境の変化を把握する方法についての技術はなく、ユーザが、その都度手作業で生育環境の測定や、該当するデータの参照を行っていた。
本発明の顕微鏡装置は、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置において、タイムラプス撮影時の生育環境の変化を容易に把握可能とすることを目的とする。 However, in the above-described microscope system, there is no technique for grasping a change in the growth environment during time-lapse photography, and the user manually measures the growth environment and refers to the corresponding data each time.
An object of the microscope apparatus of the present invention is to make it possible to easily grasp changes in the growth environment during time-lapse photography in a microscope apparatus having an imaging unit that repeatedly captures an image of an object to be observed and generates a plurality of images. And

本発明の顕微鏡装置は、被観察物の生育環境を示す値を測定するセンサと、前記被観察物の特定領域を繰り返し異なる時点で撮像して複数の画像を生成する撮像部と、前記撮像部により繰り返し撮像を行った前記各時点での画像を記録するとともに、前記各時点の前記撮像開始前及び終了後の少なくとも一方の所定期間における前記センサによる測定結果を前記画像に関連付けて記録する記録部とを備える。 The microscope apparatus of the present invention includes a sensor that measures a value indicating a growth environment of an object to be observed, an image capturing unit that repeatedly captures a specific region of the object to be observed at different time points, and generates a plurality of images, and the image capturing unit A recording unit that records the image at each time point at which the repeated imaging is performed and records the measurement result by the sensor in at least one predetermined period before and after the imaging at each time point in association with the image With.

なお、好ましくは、前記記録部に記録された情報に基づいて、前記測定結果に基づく前記生育環境を示す値の変化を、前記撮像部の撮像開始前後の時間を示す情報とともに表示する表示部を備えても良い。
また、好ましくは、前記センサは、前記生育環境を示す値として、温度、湿度、炭素ガス濃度、ｐＨのうち少なくとも１つを測定しても良い。 Preferably, on the basis of information recorded in the recording unit, a display unit that displays a change in the value indicating the growth environment based on the measurement result together with information indicating the time before and after the start of imaging of the imaging unit. You may prepare.
Preferably, the sensor may measure at least one of temperature, humidity, carbon gas concentration, and pH as a value indicating the growth environment.

本発明の顕微鏡装置によれば、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置において、タイムラプス撮影時の生育環境の変化を容易に把握可能とすることができる。 According to the microscope apparatus of the present invention, in a microscope apparatus provided with an imaging unit that repeatedly captures an image of an observation object and generates a plurality of images, it is possible to easily grasp a change in the growth environment during time-lapse photography. Can do.

以下、図面を用いて本発明の実施形態を説明する。
図１は、本実施形態の顕微鏡装置１の構成図である。図１に示すように、顕微鏡装置１は、装置本体１０と、コンピュータ１７０と、モニタ１６０と、入力器１８０とを備える。装置本体１０には、顕微鏡部１５０と、透過照明部４０と、冷却カメラ３００と、励起用光源７０と、光ファイバ７とが備えられる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram of a microscope apparatus 1 according to the present embodiment. As shown in FIG. 1, the microscope apparatus 1 includes an apparatus main body 10, a computer 170, a monitor 160, and an input device 180. The apparatus body 10 includes a microscope unit 150, a transmission illumination unit 40, a cooling camera 300, an excitation light source 70, and an optical fiber 7.

顕微鏡部１５０には、ステージ２３と、対物レンズ部２７と、蛍光フィルタ部３４と、結像レンズ部３８と、偏向ミラー４５２と、フィールドレンズ４１１と、コレクタレンズ４１とが備えられ、透過照明部４０には、透過照明用光源４７と、フィールドレンズ４４と、偏向ミラー４５とが備えられる。
ステージ２３には、透明な培養容器２０を収めたチャンバ１００が載置される。培養容器２０は培地で満たされており、蛍光物質で標識された培養細胞がその培地内で生育している。その培養細胞をチャンバ１００の外側から観察するため、チャンバ１００の底面の一部ａと、チャンバ１００の上面の一部ｂとはそれぞれ透明部になっている。ここでは簡単のため、培養容器２０の上面が開放されている場合を説明するが、必要があれば培養容器２０の上面は培養容器２０と同質の蓋で覆われる。 The microscope unit 150 includes a stage 23, an objective lens unit 27, a fluorescent filter unit 34, an imaging lens unit 38, a deflection mirror 452, a field lens 411, and a collector lens 41, and a transmission illumination unit. 40 includes a transmission illumination light source 47, a field lens 44, and a deflection mirror 45.
On the stage 23, the chamber 100 containing the transparent culture vessel 20 is placed. The culture vessel 20 is filled with a medium, and cultured cells labeled with a fluorescent substance are grown in the medium. In order to observe the cultured cells from the outside of the chamber 100, a part a of the bottom surface of the chamber 100 and a part b of the top surface of the chamber 100 are transparent portions. Here, for the sake of simplicity, the case where the upper surface of the culture vessel 20 is opened will be described. However, if necessary, the upper surface of the culture vessel 20 is covered with a lid of the same quality as the culture vessel 20.

対物レンズ部２７には、図１のＸ方向に亘り複数種類の対物レンズが装着されており、対物レンズ部２７が不図示の機構によりＸ方向へ駆動されると、装置本体１０の光路に配置される対物レンズの種類が切り替わる。この切り替えはコンピュータ１７０の制御下で行われる。
蛍光フィルタ部３４には、図１のＸ方向に亘り複数種類のフィルタブロックが装着されており、蛍光フィルタ部３４が不図示の機構によりＸ方向へ駆動されると、装置本体１０の光路に配置されるフィルタブロックの種類が切り替わる。この切り替えもコンピュータ１７０の制御下で行われる。 A plurality of types of objective lenses are attached to the objective lens unit 27 in the X direction of FIG. 1. When the objective lens unit 27 is driven in the X direction by a mechanism (not shown), the objective lens unit 27 is arranged in the optical path of the apparatus main body 10. The type of objective lens to be switched is switched. This switching is performed under the control of the computer 170.
A plurality of types of filter blocks are mounted on the fluorescent filter unit 34 in the X direction of FIG. 1. When the fluorescent filter unit 34 is driven in the X direction by a mechanism (not shown), it is arranged in the optical path of the apparatus main body 10. The type of filter block to be switched is switched. This switching is also performed under the control of the computer 170.

コンピュータ１７０は、光路に配置される対物レンズの種類と、光路に配置されるフィルタブロックの種類との組み合わせを、装置本体１０に設定されるべき観察方法に応じて切り替える。以下では、この切り替えによって装置本体１０の観察方法が位相差観察と２種類の蛍光観察との間で切り替わるのものとする。
このうち位相差観察と蛍光観察との間では、光路に配置されるフィルタブロックの種類と、光路に配置されうる対物レンズの種類との双方が異なり、２種対の蛍光観察の間では、光路に配置されるフィルタブロックの種類のみが異なる。また、位相差観察と蛍光観察との間では、照明方法も異なる。 The computer 170 switches the combination of the type of objective lens arranged in the optical path and the type of filter block arranged in the optical path according to the observation method to be set in the apparatus main body 10. Hereinafter, it is assumed that the observation method of the apparatus main body 10 is switched between phase difference observation and two types of fluorescence observation by this switching.
Among these, between the phase difference observation and the fluorescence observation, both the type of the filter block arranged in the optical path and the kind of the objective lens that can be arranged in the optical path are different, and the optical path between the two types of fluorescence observations. Only the types of filter blocks arranged in are different. Further, the illumination method is different between the phase difference observation and the fluorescence observation.

コンピュータ１７０は、位相差観察時には、透過照明部４０の光路を有効とするべく透過照明用光源４７をオンし、蛍光観察時には、落射照明部の光路（励起用光源７０、光ファイバ７、コレクタレンズ４１、フィールドレンズ４１１、偏向ミラー４５２、蛍光フィルタ部３４、対物レンズ部２７を順に経由する光路）を有効とするべく、励起用光源７０をオンする。なお、透過照明用光源４７がオンされるときに励起用光源７０はオフされ、励起用光源７０がオンされるときに透過照明用光源４７はオフされる。 During phase difference observation, the computer 170 turns on the transmission illumination light source 47 to make the optical path of the transmission illumination unit 40 effective, and during fluorescence observation, the optical path of the epi-illumination unit (excitation light source 70, optical fiber 7, collector lens). 41, an optical path passing through the field lens 411, the deflecting mirror 452, the fluorescent filter unit 34, and the objective lens unit 27 in this order) is turned on. The excitation light source 70 is turned off when the transmission illumination light source 47 is turned on, and the transmission illumination light source 47 is turned off when the excitation light source 70 is turned on.

位相差観察時、透過照明用光源４７から射出した光は、フィールドレンズ４４、偏向ミラー４５、チャンバ１００の透明部ｂを介して培養容器２０の中の観察ポイントｃを照明する。その観察ポイントｃを透過した光は、培養容器２０の底面、チャンバ１００の透明部ａ、対物レンズ部２７、蛍光フィルタ部３４、結像レンズ３８を介して冷却カメラ３００の受光面に達し、観察ポイントｃの位相差像を形成する。この状態で冷却カメラ３００が駆動されると、位相差像が撮像され、画像データが生成される。この画像データ（位相差画像の画像データ）は、コンピュータ１７０へ取り込まれる。 During phase difference observation, the light emitted from the transmitted illumination light source 47 illuminates the observation point c in the culture vessel 20 through the field lens 44, the deflection mirror 45, and the transparent part b of the chamber 100. The light transmitted through the observation point c reaches the light receiving surface of the cooling camera 300 through the bottom surface of the culture vessel 20, the transparent part a of the chamber 100, the objective lens part 27, the fluorescent filter part 34, and the imaging lens 38, and is observed. A phase difference image of point c is formed. When the cooling camera 300 is driven in this state, a phase difference image is captured and image data is generated. This image data (image data of the phase difference image) is taken into the computer 170.

蛍光観察時、励起用光源７０から射出した光は、光ファイバ７、コレクタレンズ４１、フィールドレンズ４１１、偏向ミラー４５２，蛍光フィルタ部３４、対物レンズ部２７、チャンバ１００の透明部ａ、培養容器２０の底面を介して培養容器２０の中の観察ポイントｃを照明する。これによって、観察ポイントｃに存在する蛍光物質が励起され、蛍光を発する。この蛍光は、培養容器２０の底面、チャンバ１００の透明部ａ、対物レンズ部２７、蛍光フィルタ部３４、結像レンズ３８を介して冷却カメラ１３０の受光面に達し、観察ポイントｃの蛍光像を形成する。この状態で冷却カメラ３００が駆動されると、蛍光像が撮像され、画像データが生成される。この画像データ（蛍光画像の画像データ）は、コンピュータ１７０へ取り込まれる。 During fluorescence observation, the light emitted from the excitation light source 70 is the optical fiber 7, the collector lens 41, the field lens 411, the deflection mirror 452, the fluorescence filter unit 34, the objective lens unit 27, the transparent portion a of the chamber 100, and the culture vessel 20. The observation point c in the culture vessel 20 is illuminated through the bottom surface of the. As a result, the fluorescent material present at the observation point c is excited and emits fluorescence. This fluorescence reaches the light receiving surface of the cooling camera 130 via the bottom surface of the culture vessel 20, the transparent part a of the chamber 100, the objective lens part 27, the fluorescent filter part 34, and the imaging lens 38, and a fluorescent image at the observation point c is obtained. Form. When the cooling camera 300 is driven in this state, a fluorescent image is captured and image data is generated. This image data (fluorescent image data) is taken into the computer 170.

なお、コンピュータ１７０は、ステージ２３のＸＹ座標及び対物レンズ部２７のＺ座標を制御することにより、培養容器２０における観察ポイントｃのＸＹＺ座標を制御する。
また、チャンバ１００には、不図示のシリコーンチューブを介して不図示の加湿器が接続されており、チャンバ１００の内部の湿度及びＣＯ₂濃度は、予め決められた値の近傍にそれぞれ制御される。また、チャンバ１００の周辺の雰囲気は、不図示の熱交換器によって適度に循環され、それによってチャンバ１００の内部温度も予め決められた値の近傍に制御される。このようなチャンバ１００の内部の湿度、ＣＯ₂濃度、温度は、センサ１５１により測定される。そして、センサ１５１による測定結果は、コンピュータ１７０へ取り込まれる。その一方で、冷却カメラ３００は装置本体１０との他の部分とは別の筐体に収められており、チャンバ１００の内部温度に拘わらず装置本体１０の外気温度と同程度に保たれる。 The computer 170 controls the XYZ coordinates of the observation point c in the culture vessel 20 by controlling the XY coordinates of the stage 23 and the Z coordinates of the objective lens unit 27.
In addition, a humidifier (not shown) is connected to the chamber 100 via a silicone tube (not shown), and the humidity and CO ₂ concentration inside the chamber 100 are controlled in the vicinity of predetermined values, respectively. . In addition, the atmosphere around the chamber 100 is appropriately circulated by a heat exchanger (not shown), whereby the internal temperature of the chamber 100 is also controlled in the vicinity of a predetermined value. The humidity, CO ₂ concentration, and temperature inside the chamber 100 are measured by the sensor 151. Then, the measurement result by the sensor 151 is taken into the computer 170. On the other hand, the cooling camera 300 is housed in a housing separate from the other parts of the apparatus main body 10, and is maintained at the same level as the outside air temperature of the apparatus main body 10 regardless of the internal temperature of the chamber 100.

次に、タイムラプス撮影に関するコンピュータ１７０の動作を説明する。
コンピュータ１７０には、観察用のプログラムがインストールされており、コンピュータ１７０はそのプログラムに従って動作するものとする。ユーザからコンピュータ１７０への情報入力は、何れも入力器１８０を介して行われるものとする。
図２は、コンピュータ１７０の動作フローチャートである。図２に示すとおり、最初にコンピュータ１７０は、装置本体１０の観察方法を位相差観察（正確には低倍率の位相差観察）に設定し、その状態でバードビュー画像の画像データを取得し、それをモニタ１６０へ表示する（ステップＳ１１）。バードビュー画像とは、培養容器２０の比較的広い領域の画像である。 Next, the operation of the computer 170 relating to time-lapse shooting will be described.
An observation program is installed in the computer 170, and the computer 170 operates according to the program. Information input from the user to the computer 170 is assumed to be performed via the input device 180.
FIG. 2 is an operation flowchart of the computer 170. As shown in FIG. 2, first, the computer 170 sets the observation method of the apparatus main body 10 to phase difference observation (precisely, low-magnification phase difference observation), acquires image data of a bird view image in that state, It is displayed on the monitor 160 (step S11). The bird view image is an image of a relatively wide area of the culture vessel 20.

バードビュー画像の画像データを取得するに当たって、コンピュータ１７０は、培養容器２０における観察ポイントｃをＸＹ方向へ移動させながら位相差画像の画像データを繰り返し取得し、取得された複数の画像データを１枚の画像の画像データに合成する。個々の画像データは、所謂タイル画像の画像データであり、合成後の画像データがバードビュー画像の画像データである。 In acquiring the image data of the bird view image, the computer 170 repeatedly acquires the image data of the phase difference image while moving the observation point c in the culture vessel 20 in the XY direction, and acquires the acquired plurality of image data as one sheet. To the image data of the image. Each piece of image data is so-called tile image image data, and the combined image data is bird view image data.

ユーザは、モニタ１６０に表示されたバードビュー画像を観察しながら、タイムラプス撮影の条件（インターバル、ラウンド数、観察ポイント、観察方法など）を決定する。
コンピュータ１７０は、ユーザから条件が入力されると（ステップＳ１１ＹＥＳ）、その条件が書き込まれたレシピを作成する（ステップＳ１３）。レシピの格納先は、例えばコンピュータ１７０のハードディスクである。以下、レシピに書き込まれたインターバル、ラウンド数、観察ポイント、観察方法をそれぞれ「指定インターバル」、「指定ラウンド数」、「指定ポイント」、「指定観察方法」と称す。 While observing the bird view image displayed on the monitor 160, the user determines time-lapse shooting conditions (interval, number of rounds, observation point, observation method, etc.).
When a condition is input from the user (YES in step S11), the computer 170 creates a recipe in which the condition is written (step S13). The recipe storage destination is, for example, the hard disk of the computer 170. Hereinafter, the interval written in the recipe, the number of rounds, the observation point, and the observation method are referred to as “designated interval”, “designated round number”, “designated point”, and “designated observation method”, respectively.

その後、コンピュータ１７０は、ユーザからタイムラプス撮影の開始指示が入力されると（ステップＳ１４）、タイムラプス撮影を開始する（ステップＳ１５）。
タイムラプス撮影では、コンピュータ１７０は、培養容器２０の観察ポイントｃを指定ポイントに一致させると共に、装置本体１０の観察方法を指定観察方法に設定し、その状態で画像データを取得する。指定観察方法が３種類であった場合は、装置本体１０の観察方法を３種類の指定観察方法の間で切り替えながら３種類の画像データを連続的に取得する。これによって、第１ラウンドの撮影が終了する。 Thereafter, when an instruction to start time-lapse shooting is input from the user (step S14), the computer 170 starts time-lapse shooting (step S15).
In time-lapse photography, the computer 170 matches the observation point c of the culture vessel 20 with the designated point, sets the observation method of the apparatus body 10 to the designated observation method, and acquires image data in that state. When there are three designated observation methods, three types of image data are continuously acquired while switching the observation method of the apparatus main body 10 between the three designated observation methods. This completes the first round of shooting.

その後、コンピュータ１７０は、第１ラウンドの撮影開始時刻から指定インターバルだけ待機時間をおき、第２ラウンドの撮影を開始する。第２ラウンドの撮影方法は、第１ラウンドのそれと同じである。
さらに、以下の撮影は、実行済みのラウンド数が指定ラウンド数に達するまで（ステップＳ１８ＹＥＳとなるまで）繰り返される。 Thereafter, the computer 170 waits for a specified interval from the shooting start time of the first round, and starts shooting of the second round. The shooting method for the second round is the same as that for the first round.
Further, the following photographing is repeated until the number of executed rounds reaches the designated number of rounds (until YES in step S18).

さて、タイムラプス撮影の期間中（ステップＳ１８ＮＯとなる期間中）、コンピュータ１７０は、装置本体１０から取り込んだ画像データを図３に示すとおり実施経過ファイルへ逐次蓄積する。この実施経過ファイルの格納先は、例えばコンピュータ１７０のハードディスクである。
また、タイムラプス撮影の期間中（ステップＳ１８ＮＯとなる期間中）、コンピュータ１７０は、培養容器２０の生育環境（チャンバ１００の内部の湿度、ＣＯ₂濃度、温度）を監視し、撮影タイミングであると判定されると（ステップＳ１６ＹＥＳ）、その時点でのセンサ１５１による測定結果を、該当タイミングで生成した画像データと関連付けて実施経過ファイルへ書き込む（ステップＳ１７）。なお、センサ１５１による測定は、タイムラプス撮影の期間中（ステップＳ１８ＮＯとなる期間中）だけでなく、タイムラプス撮影の開始前及び終了後の所定時間中は、同様に行われるものとする。 Now, during the time-lapse shooting period (during step S18 NO), the computer 170 sequentially stores the image data captured from the apparatus main body 10 in the execution progress file as shown in FIG. The storage location of the implementation progress file is, for example, the hard disk of the computer 170.
Further, during the time-lapse shooting period (during step S18 NO), the computer 170 monitors the growth environment (humidity, CO ₂ concentration, temperature inside the chamber 100) of the culture vessel 20 and determines that it is the shooting timing. If so (step S16 YES), the measurement result by the sensor 151 at that time is written in the execution progress file in association with the image data generated at the corresponding timing (step S17). Note that the measurement by the sensor 151 is performed not only during the time lapse shooting period (during step S18 NO) but also during a predetermined time before and after the start of the time lapse shooting.

さらに、コンピュータ１７０は、タイムラプス撮影の期間中又はタイムラプス撮影の終了後にユーザから確認指示が入力されると、その時点における実施経過ファイルの内容を参照し、それに基づき以下に説明する実施経過確認用画面をモニタ１６０へ表示する。
図４Ａ及び図４Ｂは、実施経過確認用画面を示す図である。図４Ａに示すとおり、実施経過確認用画面には、表示領域１０１，１０２，１０３，１０４と、再生コントロール部１０５と、状態表示領域１０６と、測定結果表示領域１０７とが配置される。 Furthermore, when a confirmation instruction is input from the user during the time lapse shooting period or after the end of the time lapse shooting, the computer 170 refers to the contents of the execution progress file at that time, and based on this, the progress check screen described below Is displayed on the monitor 160.
4A and 4B are diagrams showing an implementation progress confirmation screen. As shown in FIG. 4A, display areas 101, 102, 103, and 104, a reproduction control unit 105, a status display area 106, and a measurement result display area 107 are arranged on the execution progress confirmation screen.

表示領域１０１は、位相差画像の動画像が表示されるべき領域であり、表示領域１０２は、２種類の蛍光画像の一方（第１の蛍光画像）の動画像が表示されるべき領域であり、表示領域１０３は、２種類の蛍光画像の他方（第２の蛍光画像）の動画像が表示されるべき領域である。また、表示領域１０４は、位相差画像と蛍光画像との合成画像の動画像が表示されるべき領域である。 The display area 101 is an area where a moving image of the phase difference image is to be displayed, and the display area 102 is an area where one of the two types of fluorescent images (first fluorescent image) is to be displayed. The display area 103 is an area in which a moving image of the other of the two types of fluorescent images (second fluorescent image) is to be displayed. The display area 104 is an area where a moving image of a composite image of the phase difference image and the fluorescence image is to be displayed.

動画像の表示に先立ち、コンピュータ１７０は、各ラウンドで取得された３種類の画像データを実施経過ファイル（図３参照）から読み出し、このうち位相差画像の画像データの各フレームを時系列順に連結して位相差画像の動画像ファイルを作成し、第１の蛍光画像の画像データの各フレームを時系列順に連結して第１の蛍光画像の動画像ファイルを作成し、第２の蛍光画像の画像データの各フレームを時系列順に連結して第２の蛍光画像の動画像ファイルを作成する。また、コンピュータ１７０は、位相差画像の画像データと蛍光画像の画像データとをフレーム毎に合成し、合成後の各フレームを時系列順に連結して合成画像の動画像ファイルを作成する。これら４種類の動画像ファイルの格納先は、例えばコンピュータ１７０のハードディスクである。 Prior to the display of the moving image, the computer 170 reads the three types of image data acquired in each round from the execution progress file (see FIG. 3), and concatenates each frame of the phase difference image data in time series. To create a moving image file of the phase difference image, connect the frames of the image data of the first fluorescence image in time series, create a moving image file of the first fluorescence image, and A moving image file of the second fluorescent image is created by connecting the frames of the image data in chronological order. Further, the computer 170 synthesizes the image data of the phase difference image and the image data of the fluorescent image for each frame, and creates a moving image file of the synthesized image by connecting the synthesized frames in time series. The storage destination of these four types of moving image files is, for example, the hard disk of the computer 170.

動画像の表示にあたり、コンピュータ１７０は、作成された４種類の動画像ファイルを同時並列的に読み出し、４種類の動画像を４つの表示領域１０１，１０２，１０３，１０４へ個別に表示するための動画像信号を生成し、それを生成順にモニタ１６０へ送出する。以下、この動画像ファイルの読み出、動画像信号の生成、及び動画像信号の送出からなるコンピュータ１７０の一連の処理を「動画像ファイルの再生」という。 When displaying moving images, the computer 170 reads the four types of created moving image files simultaneously and in parallel, and displays the four types of moving images on the four display areas 101, 102, 103, and 104 individually. A moving image signal is generated and sent to the monitor 160 in the order of generation. Hereinafter, a series of processing of the computer 170 including reading of the moving image file, generation of the moving image signal, and transmission of the moving image signal is referred to as “reproduction of moving image file”.

図４Ｂに示す再生コントロール部１０５は、動画像ファイルの再生に関する指示をユーザがコンピュータへ入力するためのＧＵＩ画像である。
図４Ｂは、再生コントロール部１０５の拡大図である。図４Ｂに示すとおり再生コントロール部１０５には、停止ボタン５２、スキップボタン５３、再生ボタン５４、早送りボタン５５、生育環境変化グラフ呼び出しボタン５６（詳細は後述する）、タイムライン５０などが配置される。 The reproduction control unit 105 shown in FIG. 4B is a GUI image for the user to input an instruction regarding reproduction of a moving image file to the computer.
FIG. 4B is an enlarged view of the playback control unit 105. As shown in FIG. 4B, the playback control unit 105 includes a stop button 52, a skip button 53, a playback button 54, a fast-forward button 55, a growth environment change graph call button 56 (details will be described later), a timeline 50, and the like. .

ユーザが再生ボタン５４を選択すると、動画像ファイルの再生画開始され、表示領域１０１，１０２，１０３，１０４に対する動画像の表示が開始される。また、ユーザが停止ボタン５２を選択すると、表示領域１０１，１０２，１０３，１０４に表示されている動画像が静止する。
動画像ファイルにおける再生箇所は、タイムライン５０に反映される。ライムライン５０の左端（１）は動画像ファイルの先頭（タイムラプス撮影の開始時点）を示し、タイムライン５０の右端（２）は動画像ファイルの後尾（タイムラプス撮影の終了時点）を示す。なお、タイムラプス撮影が終了していないときには、タイムライン５０の右端（２）は現時点を示す。このタイムライン５０上にスラーダーバー６０が配置され、動画像ファイルにおける再生箇所は、スラーダーバー６０の左右方向の位置によってリアルタイムで表される。 When the user selects the playback button 54, playback of the moving image file is started, and display of the moving image on the display areas 101, 102, 103, 104 is started. When the user selects the stop button 52, the moving images displayed in the display areas 101, 102, 103, and 104 are stopped.
The playback location in the moving image file is reflected in the timeline 50. The left end (1) of the lime line 50 indicates the beginning of the moving image file (time lapse shooting start time), and the right end (2) of the time line 50 indicates the tail of the moving image file (time lapse shooting end time). When time-lapse shooting is not completed, the right end (2) of the timeline 50 indicates the current time. The slurder bar 60 is arranged on the timeline 50, and the playback position in the moving image file is represented in real time by the position of the slurder bar 60 in the horizontal direction.

このスラーダーバー６０の左右方向の位置は、ユーザによって自由に変更することが可能である。スラーダーバー６０の左右方向の位置が変化すると、動画像ファイルにおける再生箇所もそれに応じて変化する。
状態表示領域１０６は、現在の生育環境の状態が表示されるべき領域である。また、測定結果表示領域１０７は、予め定められた生育環境及びセンサ１５１による最近の測定結果が表示されるべき領域である。図４Ａでは、生育環境の一例として、温度情報を表示する例を示す。コンピュータ１７０は、センサ１５１から取り込んだ測定結果と予め定められた生育環境とを比較して現在の生育環境の状態を状態表示領域１０６に表示する。図４Ａの例では、安定した状態である「Ｓｔａｂｌｅ」を表示している。なお、コンピュータ１７０は、センサ１５１から取り込んだ測定結果と予め定められた生育環境とを比較して、現在の生育環境の状態が好ましくないと判定した場合には、不安定な状態である「Ｕｎｓｔａｂｌｅ」を状態表示領域１０６に表示する他に、不図示のランプなどを点滅させたり、不図示のスピーカなどにより警告音を発しても良い。また、タイムライン５０上にも、警告マークなどを表示すると良い。 The position of the slurder bar 60 in the left-right direction can be freely changed by the user. When the horizontal position of the slurder bar 60 changes, the playback location in the moving image file also changes accordingly.
The state display area 106 is an area where the state of the current growth environment is to be displayed. The measurement result display area 107 is an area in which a predetermined growth environment and the latest measurement result by the sensor 151 are to be displayed. FIG. 4A shows an example of displaying temperature information as an example of the growth environment. The computer 170 compares the measurement result acquired from the sensor 151 with a predetermined growth environment and displays the current state of the growth environment in the state display area 106. In the example of FIG. 4A, “Stable” which is a stable state is displayed. When the computer 170 compares the measurement result acquired from the sensor 151 with a predetermined growth environment and determines that the current growth environment is not preferable, the computer 170 is in an unstable state “Unstable”. "May be displayed in the status display area 106, or a lamp (not shown) may be blinked, or a warning sound may be emitted from a speaker (not shown). A warning mark or the like may be displayed on the timeline 50 as well.

また、ユーザが生育環境変化グラフ呼び出しボタン５６選択すると、コンピュータ１７０は実施経過ファイルからセンサ１５１による測定結果を読み出して、生育環境変化グラフを実施経過確認用画面（図４参照）とは別のウィンドウでモニタ１６０へ表示する。図５は、生育環境変化グラフ確認用画面を示す図である。図５に示すとおり、生育環境変化グラフ確認用画面には、グラフ表示領域１１０と、レンジコントロール部１１１と、スクロールバー１１２と、ウィンドウクローズボタン１１３とが配置される。 When the user selects the growth environment change graph call button 56, the computer 170 reads the measurement result by the sensor 151 from the execution progress file, and displays the growth environment change graph in a window different from the execution progress confirmation screen (see FIG. 4). Is displayed on the monitor 160. FIG. 5 is a diagram showing a growth environment change graph confirmation screen. As shown in FIG. 5, a graph display area 110, a range control unit 111, a scroll bar 112, and a window close button 113 are arranged on the growth environment change graph confirmation screen.

グラフ表示領域１１０は、タイムラプス撮影の期間中における生育環境の変化を示すグラフが表示されるべき領域である。なお、グラフ上において、タイムラプス撮影の期間に該当する部分（１１０−１参照）の色を変えるなどして、タイムラプス撮影期間をユーザが確認可能な表示を行う。また、生育環境の変化を示すグラフは、タイムラプス撮影の期間に加えて、タイムラプス撮影の期間の前と後との所定期間における生育環境の変化も表示することにより、タイムラプス撮影の開始前及び終了後に亘って、タイムラプス撮影が正しい生育環境下で実施されたものであるかどうかを検証することができる。 The graph display area 110 is an area where a graph showing a change in the growth environment during the time-lapse shooting period should be displayed. Note that, on the graph, a display that allows the user to confirm the time-lapse shooting period is performed by changing the color of the portion corresponding to the time-lapse shooting period (see 110-1). In addition to the time lapse shooting period, the graph showing the change in the growth environment also displays the change in the growth environment before and after the time lapse shooting period, so that before and after the start of the time lapse shooting. It is possible to verify whether or not the time lapse photography is performed under a correct growth environment.

レンジコントロール部１１１及びスクロールバー１１２は、グラフ表示領域１１０に表示されるべきグラフの表示形態を調整するための指示を、ユーザがコンピュータへ入力するためのＧＵＩ画像である。また、ウィンドウクローズボタン１１３は、図５に示す生育環境変化グラフ確認用画面を閉じるための指示を、ユーザがコンピュータへ入力するためのＧＵＩ画像である。 The range control unit 111 and the scroll bar 112 are GUI images for the user to input an instruction for adjusting the display form of the graph to be displayed in the graph display area 110 to the computer. The window close button 113 is a GUI image for the user to input an instruction for closing the growth environment change graph confirmation screen shown in FIG. 5 to the computer.

さらに、グラフ表示領域１１０をＧＵＩ画像とし、グラフ上の任意の位置をユーザが選択すると、対応する画像をモニタ１６へ表示する構成としても良い。このような構成とすることにより、ユーザは、生育環境の変化を確認しながら、その時点で生成した画像を簡単に呼び出すことができる。また、グラフ表示領域１１０上において、上述した「Ｕｎｓｔａｂｌｅ」な状態を検出した時点に何らかのマークを表示しておくと良い。 Furthermore, the graph display area 110 may be a GUI image, and when the user selects an arbitrary position on the graph, a corresponding image may be displayed on the monitor 16. With such a configuration, the user can easily call the image generated at that time while confirming the change of the growth environment. Further, it is preferable to display some mark on the graph display area 110 when the above-described “Unstable” state is detected.

また、上述した動画像ファイルの再生中に、動画像の近傍又は動画像に重畳して生育環境を示す値をデジタル表示する構成としても良い。
以上説明したように、本実施形態によれば、被観察物の生育環境を示す値を測定するセンサと、被観察物の特定領域を繰り返し異なる時点で撮像して複数の画像を生成する撮像部と、撮像部により繰り返し撮像を行った各時点での画像を記録するとともに、各時点の撮像開始前及び終了後の少なくとも一方の所定期間におけるセンサによる測定結果を画像に関連付けて記録する記録部とを備える。したがって、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置において、タイムラプス撮影時の生育環境の変化を容易に把握可能とすることができる。 In addition, during playback of the above-described moving image file, a value indicating the growth environment may be digitally displayed in the vicinity of the moving image or superimposed on the moving image.
As described above, according to the present embodiment, the sensor that measures the value indicating the growth environment of the object to be observed and the imaging unit that repeatedly captures a specific region of the object to be observed at different times to generate a plurality of images. And a recording unit that records an image at each time point when the imaging unit repeatedly performs imaging and records a measurement result by the sensor in at least one predetermined period before and after the imaging at each time point in association with the image. Is provided. Therefore, in a microscope apparatus provided with an imaging unit that repeatedly captures an image of an object to be observed and generates a plurality of images, it is possible to easily grasp changes in the growth environment during time-lapse imaging.

また、本実施形態によれば、記録部に記録された情報に基づいて、測定結果に基づく生育環境を示す値の変化を、撮像部の撮像開始前後の時間を示す情報とともに表示する表示部を備える。したがって、ユーザは、表示部を目視することにより、タイムラプス撮影が正しい生育環境下で実施されたものであるかどうかを容易に検証することができる。
なお、本実施形態では、生育環境の一例として、温度情報を用いて一連の説明を行ったが、湿度、炭素ガス濃度、ｐＨ等についても同様である。また、本実施形態では、チャンバ１００内の湿度、ＣＯ₂濃度、温度をセンサ１５１により測定する例を示したが、培養容器２０の内部にセンサを配置して培地の温度などをさらに測定しても良い。また、本実施形態では、チャンバ１００内にセンサ１５１を備える例を示した（図１参照）が、チャンバ１００の外にセンサを配置しても良い。また、顕微鏡装置１の外部にセンサを配置しても良い。 Further, according to the present embodiment, the display unit that displays the change in the value indicating the growth environment based on the measurement result together with the information indicating the time before and after the imaging start of the imaging unit based on the information recorded in the recording unit. Prepare. Therefore, the user can easily verify whether or not the time-lapse shooting is performed under a correct growth environment by viewing the display unit.
In the present embodiment, a series of explanations are made using temperature information as an example of the growth environment, but the same applies to humidity, carbon gas concentration, pH, and the like. Further, in this embodiment, an example in which the humidity, CO ₂ concentration, and temperature in the chamber 100 are measured by the sensor 151 has been shown. However, a sensor is disposed inside the culture vessel 20 to further measure the temperature of the medium and the like. Also good. Further, in the present embodiment, an example in which the sensor 151 is provided in the chamber 100 is shown (see FIG. 1), but a sensor may be arranged outside the chamber 100. A sensor may be arranged outside the microscope apparatus 1.

また、本実施形態では、図５に示した生育環境変化グラフ確認用画面において、タイムラプス撮影の期間に加えて、タイムラプス撮影の期間の前と後との所定期間における生育環境の変化も表示する例を示したが、タイムラプス撮影の期間に加えて、タイムラプス撮影の期間の前と後との何れかの所定期間における生育環境の変化のみを表示しても良い。 Further, in the present embodiment, in the growth environment change graph confirmation screen shown in FIG. 5, in addition to the time lapse shooting period, the change of the growth environment in a predetermined period before and after the time lapse shooting period is also displayed. However, in addition to the time-lapse shooting period, only the change in the growth environment during a predetermined period before or after the time-lapse shooting period may be displayed.

顕微鏡装置１の構成図である。1 is a configuration diagram of a microscope apparatus 1. FIG. コンピュータ１７０の動作フローチャートである。6 is an operation flowchart of the computer 170. 実施経過ファイルを説明する図である。It is a figure explaining an implementation progress file. 実施経過確認用画面を示すである。It is an implementation progress confirmation screen. 生育環境変化グラフ確認用画面を示す図である。It is a figure which shows the screen for growth environment change graph confirmation.

Explanation of symbols

１…顕微鏡装置，１０…装置本体，１７０…コンピュータ，１６０…モニタ，１８０…入力器，１５０…顕微鏡部，３００…冷却カメラ，１５１…センサ DESCRIPTION OF SYMBOLS 1 ... Microscope apparatus, 10 ... Apparatus main body, 170 ... Computer, 160 ... Monitor, 180 ... Input device, 150 ... Microscope part, 300 ... Cooling camera, 151 ... Sensor

Claims

A sensor for measuring a value indicating the growth environment of the object to be observed;
An imaging unit that repeatedly captures a specific region of the object to be observed at different time points to generate a plurality of images;
The image at each time point at which the image pickup unit has repeatedly taken an image is recorded, and the measurement result by the sensor in the predetermined period before and after the image pickup start at each time point is recorded in association with the image. And a recording unit.

The microscope apparatus according to claim 1, wherein
Based on the information recorded in the recording unit, the display unit displays a change in the value indicating the growth environment based on the measurement result, together with information indicating the time before and after the imaging start of the imaging unit. Microscope device.

The microscope apparatus according to claim 1, wherein
The sensor measures at least one of temperature, humidity, carbon gas concentration, and pH as a value indicating the growth environment.