[go: up one dir, main page]

JP6945667B2 - 顕微鏡のためのコントローラ、対応する方法および顕微鏡システム - Google Patents

顕微鏡のためのコントローラ、対応する方法および顕微鏡システム Download PDF

Info

Publication number
JP6945667B2
JP6945667B2 JP2020020573A JP2020020573A JP6945667B2 JP 6945667 B2 JP6945667 B2 JP 6945667B2 JP 2020020573 A JP2020020573 A JP 2020020573A JP 2020020573 A JP2020020573 A JP 2020020573A JP 6945667 B2 JP6945667 B2 JP 6945667B2
Authority
JP
Japan
Prior art keywords
sight
wound
microscope
line
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020020573A
Other languages
English (en)
Other versions
JP2020134940A (ja
Inventor
テメリス ゲオルゲ
テメリス ゲオルゲ
ヴィルケン トビアス
ヴィルケン トビアス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of JP2020134940A publication Critical patent/JP2020134940A/ja
Application granted granted Critical
Publication of JP6945667B2 publication Critical patent/JP6945667B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/32Micromanipulators structurally combined with microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Microscoopes, Condenser (AREA)

Description

実施形態は、顕微鏡のためのコントローラならびに顕微鏡を制御するための関連する方法およびコンピュータプログラムに関する。
外科医は、深い創傷の底部で外科手術を実施する目的で、つまり人体組織内部において深い空洞を成す創傷のために、顕微鏡を必要とする場合がある。例えば脳外科手術において、創傷は、手術すべき脳内の組織に到達できるようにする目的で、一般的に深くなっている。手術すべき組織は、一般的には空洞の底部にあり、外科医が空洞の底部において使用するツールを監視できるようにするために、顕微鏡が用いられる。
1つの実施形態は、外科手術用顕微鏡などの顕微鏡のためのコントローラに関する。コントローラは、創傷を表すイメージデータを受け取り、このイメージデータを用いて創傷底部に向けられた視線を決定するように構成されている。さらにコントローラは、顕微鏡のための制御信号を出力するように構成されており、この制御信号は顕微鏡に対し、自身の光軸を視線に整列させるように命令する。顕微鏡のためにかかるコントローラを用いることによって、自動調節よりも遅い可能性のある外科医による手動調節を回避しながら、手術すべき組織が外科医にとって可視となるように、顕微鏡の配向の自動調節が可能となる。このようにして外科医は、患者のためになるよう時間を節約することができる。さらに外科医は、顕微鏡を調節するために何らかの中断を伴うことなく、外科手術自体に集中するだけでよく、それによっていっそう良好な外科手術結果をもたらすことができる。
1つの実施形態によれば、イメージデータは、種々の方向に沿って撮影された創傷の複数のイメージを有し、コントローラは、各イメージ内の創傷の面積を計算するように構成されている。さらにコントローラは、最大面積を有する創傷を含むイメージに対応する方向に基づき、視線を決定するように構成されている。すべてのイメージの中で最大面積を有する創傷を示す選択イメージは、患者の組織に対し垂直な方向に最も近い角度で撮影される。選択イメージに対応する視線を、創傷底部を見るために役立たせることができる一方、この視線を、顕微鏡自体のイメージング機器だけを用いて決定することができる。
1つの実施形態によれば、コントローラは、イメージデータに基づき創傷の空洞の3次元モデルを決定するように構成されている。3次元モデルによれば、著しく高いフレキシビリティを伴って、視線の決定を個々の外科医に合わせて、または個々の外科医の好みに合わせて適合させることができるように整列を実施するために、任意の判定基準を用いて視線を決定することができる。
1つの実施形態によれば、コントローラは、予め定められた判定基準を満たす空洞内の1つの軸に基づき、視線を決定するように構成されている。予め定められた判定基準を規定する可能性を与えることによって、視線の決定を個々の外科医に合わせて適合させるためのフレキシビリティをもたらすことができる。
1つの実施形態によれば、コントローラは、空洞の空洞重心軸に基づき視線を決定するように構成されている。空洞重心軸を用いることによって、視線に沿った空洞周囲壁までの平均距離が最大となるように、視線を決定することができる。これにより、創傷の空洞の可撓性側壁が外科手術経過中に運動または変形する場合に、最大安全マージンを伴って視線を提供することができる。
1つの実施形態によれば、コントローラは、空洞底部の可視面積を最大にする1つの軸に基づき視線を決定するように構成されている。空洞底部の可視面積を最大にすることによって、外科医は創傷底部で容易に進路を定めることが可能になる。
1つの実施形態によれば、コントローラは、創傷底部への別の視線を、この視線を用いて生成された別のイメージデータに基づき決定するように構成されている。別の視線を決定することによって、コントローラが視線および顕微鏡の整列を更新できるのであれば、進行中の外科手術中に整列を連続的に調節し直すことができ、これによって外科医は、外科手術自体だけに集中することができ、他方、これによって外科手術にかかる時間を削減することができ、さらに他方では結果の品質を高めることができる。
顕微鏡システムの1つの実施形態は、コントローラと、制御信号に基づき自身の光軸を視線に整列させるように構成された顕微鏡とを有する。顕微鏡システムの1つの実施形態によれば、自動調節よりも遅くかつ信頼性が低い可能性のある、外科医による顕微鏡の手動調節を回避することができる。したがって外科医は、外科手術自体に集中するだけでよく、それによっていっそう良好な外科手術結果をもたらすことができる。
1つの実施形態によれば、顕微鏡システムはさらに、イメージデータを生成するように構成されたイメージングデバイスを有する。かかる実施形態による顕微鏡システムを使用して自動的に、必要とされるイメージデータを決定し顕微鏡の視野を調節することができる。
1つの実施形態によれば、イメージングデバイスは、飛行時間型カメラ、ステレオカメラ、および3次元カメラのうちの1つである。顕微鏡システムにかかるイメージングデバイスを装備することによって、コントローラは、顕微鏡システム自体を用いて生成されたイメージデータに基づき、創傷の空洞の3次元モデルを決定することができる。
顕微鏡を制御するための方法の1つの実施形態は、創傷を表すイメージデータを受け取ること、およびこのイメージデータを用いて創傷底部への視線を決定することを有する。この方法はさらに、顕微鏡に対し自身の光軸を視線に整列させるように命令することを有する。
この方法の1つの実施形態によれば、視線を決定することは、種々の方向に沿って撮影された創傷の複数のイメージの各イメージ内における創傷の面積を計算すること、および最大面積を有する創傷を含むイメージに対応する方向に基づき視線を決定することを有する。
この方法の1つの実施形態によれば、この方法は、イメージデータに基づき創傷の空洞の3次元モデルを決定することを有する。
この方法の1つの実施形態によれば、空洞の空洞重心軸に基づき視線が決定される。
この方法の1つの実施形態によれば、空洞底部の可視面積を最大にする1つの軸に基づき視線が決定される。
コンピュータプログラムの1つの実施形態は、プログラムがプロセッサにおいて実行されたときに、顕微鏡を制御する方法を実施するためのプログラムコードを有する。したがってこのコンピュータプログラムの1つの実施形態を用いて、顕微鏡の光軸を所望の視線に合わせて自動的に整列させる能力を、既存の顕微鏡システムに追加することができ、またはそのような能力によって既存の顕微鏡システムの性能を高めることができる。
装置および/または方法のいくつかの実施例について、単なる例示として添付の図面を参照しながら以下で説明する。
顕微鏡のためのコントローラの1つの実施形態を示す図である。 深い空洞を成す創傷を示す概略図である。 顕微鏡を制御する方法の1つの実施形態を示すフローチャートである。
次に、いくつかの実施例が示された添付の図面を参照しながら、さまざまな実施例についてさらに詳しく説明する。見やすくするために、図中、線、層および/または領域の厚みが強調されている場合もある。
かくしてさらなる実施例は、さまざまな変形および択一的な形態が可能なものであるが、図面にはそれらのうちいくつかの特定の実施例が示されており、それらの実施例について以下で詳しく説明する。ただしこの詳細な説明は、さらなる実施例を説明されている特定の形態に限定するものではない。さらなる実施例は、本開示の範囲内に収まるあらゆる変形、等価物および代替をカバーすることができる。同じまたは同様の参照符号は、図面の説明全体を通して同様のまたは類似の要素を指しており、それらの要素を同一に、あるいは同じまたは類似の機能を提供しながらも互いに対比した場合に変形された形態で、実装することができる。
自明のとおり、ある要素が別の要素と「接続されている」または「結合されている」ものとして言及されているならば、それらの要素は直接的に接続または結合されているかもしれないし、あるいは1つまたは複数の介在要素を介して接続または結合されているかもしれない。2つの要素AおよびBが「または」を用いて結合されているならば、このことは、明示的にまたは暗黙的に他の趣旨で定義されていなければ、すべての可能な組み合わせ、すなわちAのみ、Bのみ、ならびにAおよびB、を開示していると解されたい。同じ組み合わせに対する択一的な言葉遣いは、「AおよびBのうちの少なくとも1つ」あるいは「Aおよび/またはB」である。同じことは、2つの要素よりも多くの組み合わせについて準用される。
特定の実施例を説明する目的で本明細書において用いられる用語は、さらなる実施例の限定を意図するものではない。定冠詞、不定冠詞など単数形が使用され、かつ単一の要素のみを用いることが、明示的にも暗黙的にも必須のこととして定義されていないときはいつでも、同じ機能を具現化するためにさらなる実施例が複数の要素を使用することもできる。同様に、それに続いて機能が複数の要素を用いて具現化されるものとして説明されているならば、さらなる実施例が単一の要素または処理エンティティを使用して、同じ機能を具現化することができる。さらに自明のとおり、用語「有する」、「有している」、「含む」、および/または「含んでいる」は、これらが用いられたときに、記載された特徴、完全体、ステップ、オペレーション、プロセス、挙動、要素、および/またはコンポーネントの存在を指定するが、1つまたは複数の他の特徴、完全体、ステップ、オペレーション、プロセス、挙動、要素、コンポーネント、および/またはそれらの任意のグループの存在または追加を除外するものではない。
他の趣旨で定義されていないかぎり、(技術用語および科学用語を含め)すべての用語は本明細書において、実施例が属する分野のそれらの通常の意味で用いられる。
図1には、外科手術用顕微鏡110などの顕微鏡110のためのコントローラ100の1つの実施形態が示されている。コントローラの説明を補うため、図1には、光軸112を有する顕微鏡110が示されている。コントローラ100と顕微鏡110とが合わさって、顕微鏡システムの1つの実施形態を構成している。図1には、任意選択的なコンポーネントが破線で示されている。
コントローラ100は、創傷を表すイメージデータを受け取り、このイメージデータを用いて創傷底部への視線を決定するように構成されている。さらにコントローラ100は、顕微鏡110のための制御信号を出力するように構成されており、この制御信号は顕微鏡110に対し、自身の光軸112を視線に整列させるように命令する。顕微鏡110のためにかかるコントローラ100を用いることによって、自動調節よりも遅い可能性のある外科医による手動調節を回避しながら、手術すべき組織が外科医にとって可視となるように、顕微鏡の配向の自動調節が可能となる。このようにして外科医は、患者のためになるよう時間を節約することができる。さらに外科医は、顕微鏡を調節するために何らかの中断を伴うことなく、外科手術自体に集中するだけでよく、それによっていっそう良好な外科手術結果をもたらすことができる。顕微鏡の光軸112を視線に整列させることを例えば、光軸112が視線に平行になるように、または光軸112が視線に等しくなるように、実施することができる。
顕微鏡の光軸112を整列することは、顕微鏡110の配向を変更すること、または顕微鏡を動かすことを含むことができる。コントローラの実施形態を、種々の形式の顕微鏡と共に使用することができる。例えば配向の調節がすでに電動化されている顕微鏡を、コントローラ100と共に使用することができる。配向を例えば、(外科手術用)顕微鏡110のロボットアームまたは一般的には電動化アームを用いて、変更することができる。かかる顕微鏡の場合には、コントローラ100により生成された制御信号が、顕微鏡110内にすでに設けられているモータに命令し、その結果として顕微鏡110の光軸112が整列されるようにすることができる。ただし、コントローラの別の実施形態を、部分的にしか電動化されていない、またはまったく電動化されていない既存の顕微鏡に対するアドオンとして、使用することもできる。この場合、例えば顕微鏡の視野を調節する機構に、モータを追加することができる。かかる構成の場合、コントローラの制御信号は、追加されたモータに命令して、ズームおよび/または顕微鏡の機構の配向を調節するのに必要とされるアクションを実施させる。
イメージデータを受け取る目的で、コントローラ100はさらに任意選択的に、入力インタフェース102を有することができる。顕微鏡110に制御信号を出力するために、コントローラ100は任意選択的に、出力インタフェース104を有することができる。顕微鏡110の環境および能力に応じて、イメージデータを、顕微鏡110により生成して顕微鏡110から受け取ることができ、または入力インタフェース102に接続された外部のイメージング手段によって生成することができる。顕微鏡110とコントローラ100との間の何らかの相互接続を、有線または無線とすることができ、この相互接続は、ポイント・トゥー・ポイントコネクションを確立することができ、あるいはこの相互接続を、介在ネットワークを経由してルーティングすることができ、バスシステムを介して確立することができ、という具合である。いくつかの実施形態によれば、コントローラ100はさらに任意選択的に、イメージデータを用いて視線を決定するのに必要とされる計算を実施するために、プロセッサ106を有することができる。
図2には概略的に、視線を識別するための種々の可能性について論じる目的で、人体組織204内の深い空洞を成す創傷202の断面図が示されている。創傷202は不規則な形状を有しており、人体組織204中に延在して、その中で空洞を成している。深い創傷は、創傷表面におけるその広がりが空洞の深さよりも小さい、という点を特徴とすることができる。図2に示されている例示的な座標系において、創傷202の表面はx−y平面に実質的に平行である一方、空洞はz方向に平行に延在している。図2には外科手術の典型的な例が示されており、この場合、創傷202および周囲の組織204は、例えば緑色または青色の布から成るものとすることができるシート206によって覆われている。シート206およびその環状の開口部208は、外科医がじかに到達できる領域を規定している。深い創傷が必要とされる場合、創傷底部210において外科手術が実施されることが多い。この場合に必要とされる可能性があるのは、顕微鏡110が自身の光軸112を、外科医が創傷202の底部210を見られるようにする視線に合わせて整列させることである。単に一例として、図2には、創傷202の底部210に対する視界を与えることができる2つの可能な視線212および214が示されている。ただしこれら2つの視線を、種々の判定基準を用いて決定することができる。
視線212は、創傷202の表面に対しほぼ垂直であり、ほぼz方向に沿って延在している。視線212を例えば、種々の方向に沿って撮影された創傷202の複数のイメージを用いて生成することができる。複数のイメージを、顕微鏡110のイメージセンサを用いて、あるいは別の選択肢として、またはこれに加え、顕微鏡110に追加された別のイメージングデバイスによって、撮影することができる。図1には概略的に、この目的で使用することができる任意選択的なイメージングデバイス130が示されている。視線212を決定する目的で、コントローラは、イメージ各々内の創傷202の面積を計算するように構成されている。どのイメージにおいても、創傷202の計算された面積は、イメージが撮影された方向に対し垂直な平面上への創傷の実際の面積の投影に相応する。イメージが撮影された方向が創傷202の表面に対し垂直であるならば、創傷202の計算された面積は最大になる。したがって対応する方向を視線212として用いることができ、創傷202の底部210に対する視界を保証するために、この視線に合わせて光軸を整列させることができる。このように顕微鏡自体のイメージング機器だけを用いて、視線212を決定することができる。
個々のイメージ内の創傷202の面積を計算するために、創傷のポジションがイメージデータ内で識別される。さまざまな形式のイメージデータ内で創傷を識別するために、複数の可能な手法がある。種々の形式のイメージデータ内で創傷を識別するための複数の可能性については、2019年2月12日に本出願人により発明の名称"A controller for a microscope, a corresponding method and a microscope system"として欧州特許庁に出願された欧州特許出願第19156627号明細書において説明されている。イメージデータ内の創傷を例えばコントローラを用いてどのようにして識別できるのかについての教示、ならびに使用可能なイメージデータに関する教示は、ここで上記出願を参照したことにより本明細書に取り込まれるものとする。
これに加え、または別の選択肢として、コントローラ100を、イメージデータに基づき創傷202の空洞の3次元(3D)モデルを決定するように構成することもできる。3次元モデルによれば、高いフレキシビリティを伴って、視線の決定を個々の外科医に合わせて、または個々の外科医の好みに合わせて適合させることができるように整列を実施するために、任意の判定基準を用いて視線を決定することができる。換言すれば、3Dモデルによって、予め定められた任意の判定基準を満たす空洞内の1つの軸に基づき、視線を決定する可能性をもたらすことができる。
例えばコントローラを、空洞底部の可視面積を最大にする1つの軸に基づき視線を決定するように構成することができる。空洞底部210の可視面積を最大にすることによって、外科医は創傷内で容易に進路を定めることが可能になる。任意の探索アルゴリズムを利用して、最大化を実施することができる。空洞底部210の可視面積が最大という判定基準に基づき視線を決定することは、図2に破線で概略的に示した例えば障害物216などのような妨害を回避するためにも役立つ可能性がある。組織の一部としてであれ、または創傷内への外部の物質の混入によるものであれ(例えば血液吸収用の精製綿など)、障害物216が存在している場合に、創傷202の底部210における可視面積が最大となるように視線を決定することにより、たとえ障害物216が、一例として視線212などのように創傷底部210への考えられる他の視線を阻止する可能性があるにせよ、結果として底部は依然として可視となる。
コントローラを、空洞の空洞重心軸に基づき視線を決定するように構成することもできる。空洞重心軸を用いることによって、視線に沿った空洞周囲壁までの平均距離が最大となるように、視線を決定することができる。これにより、創傷202の空洞の可撓性側壁が外科手術経過中に運動または変形する場合に、最大安全マージンを伴って視線を提供することができる。空洞重心軸を、質量を有する物体に対する慣性主軸のように計算することができる。この目的で空洞の容積を、相応の十分に確立された方程式を解く慣性主軸を計算するために、均一な質量密度を有する容積とみなすことができる。この場合に、z方向に延在する慣性主軸を、例えば視線として用いることができる。
最初の視線が決定された後、創傷底部への別の視線を、この視線を用いて生成された別のイメージデータに基づき決定するように、コントローラを構成することもできる。別の視線を決定することによって、コントローラが視線および顕微鏡の整列を更新できるのであれば、進行中の外科手術中に整列を連続的に調節し直すことができ、これによって外科医は、外科手術自体だけに集中することができ、他方、これによって外科手術にかかる時間を削減することができ、さらに他方では結果の品質を高めることができる。さらに、創傷に入り込んだ障害物216が、創傷底部への外科医の視界を持続的には阻止しないようにすることができ、それというのも決定し直された別の視線を、障害物216が別の視線に沿った底部への視界を阻止しないように選定できるからである。
図1に任意選択的な特徴として示されているように、顕微鏡110とコントローラ100とを有する顕微鏡システムのいくつかの実施形態は、イメージデータを生成するように構成されたイメージングデバイス130を、任意選択的にさらに装備することができる。
例えばいくつかの実施形態は、飛行時間型カメラ、ステレオカメラ、または3Dカメラを装備しており、その目的は、選択されたイメージングデバイスにより生成されたイメージデータに基づき、コントローラが空洞の3Dモデルを生成できるようにするためである。
図3には、顕微鏡を制御する方法の1つの実施形態のフローチャートが示されている。この方法は、創傷を表すイメージデータを受け取ること302、およびこのイメージデータを用いて創傷底部への視線を決定すること304を有する。さらにこの方法は、顕微鏡に対し自身の光軸を視線に整列させるように命令すること306を有する。
図3にさらに示されているように、イメージデータを受け取ること302、視線を決定すること304、および顕微鏡に対し自身の光軸を視線に整列させるように命令すること306を、いくつかの実施形態によれば、任意選択的に1つのループ308内で実施することができる。顕微鏡の光軸を連続的に整列し直すことによって、例えば外科手術中に使用されるツールなど、創傷空洞内の妨害を自動的に考慮することができる。持続的に整列し直すことによって、外科医は外科手術に集中できるようになり、自身が手術している組織を外科医がもはや見ることができない状況を回避できるようになる。
換言すれば、狭い外科手術空洞の底部を可視化するのは、単調で時間がかかる可能性のあるプロセスであり、これまで述べてきたいくつかの実施形態によれば、このような可視化の目的で顕微鏡の整列が提案される。例えば、あたかも人間により行われたかのように整列を模倣することができ、つまり空洞の長軸を把握して、しかるべく整列することができる。その際に種々の技術的なアプローチがある。例えば顕微鏡の2Dカメラを使用することができ、イメージ処理を介して外科手術用空洞の縁を特定することができる。次いでイメージング角度を変化させて、縁内に含まれる面積を角度ごとに計算することができる。垂直方向ポジションは、面積が最大にされた場合である。このアプローチをさらに改善するには、人工知能が役立つかもしれない。例えば、外科手術用空洞の3Dスキャニングを実施し、次いで空洞空間の幾何学軸として最適なイメージング軸を計算することができる。3Dスキャニングを、以下のような種々の手法で実施することができる。すなわちステレオカメラ、3Dカメラ(例えば飛行時間型(TOF)パターン投影)、または作動距離のスキャニングおよび収縮写像の使用。
自動的に整列を実施するロボットアームに指示を与えるために、専用のツールセット(例えば3Dポジションスターが取り付けられた管状の開創器)が用いられる慣用のアプローチとは対照的に、これまで説明してきた実施形態によって、専用の開創器および/または他の3Dポジションツール/マーカを使用しなくても、同じ結果またはより良好な結果を達成することができる。
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置(またはハードウェア装置を使用すること)によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか1つまたは複数が、そのような装置によって実行されてもよい。
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する(または協働することが可能である)、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはFLASHメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体(またはデータ担体またはコンピュータ読取可能な媒体)である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ/または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを(例えば、電子的にまたは光学的に)受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
いくつかの実施形態では、プログラマブルロジックデバイス(例えばフィールド・プログラマブル・ゲート・アレイ)が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
100 コントローラ
102 入力インタフェース
104 出力インタフェース
106 プロセッサ
110 顕微鏡
112 光軸
130 イメージングデバイス
202 創傷
204 組織
206 布
208 開口部
210 創傷底部
212 視線
214 別の視線
216 障害物
302 組織を表すイメージデータを受け取ること
304 視線を決定すること
306 顕微鏡に対し自身の光軸を整列させるように命令すること
308 ループ

Claims (13)

  1. 顕微鏡(110)のためのコントローラ(100)であって、前記コントローラ(100)は、
    創傷(202)を表すイメージデータを受け取り、
    前記イメージデータを用いて、前記創傷(202)の底部(210)に向けられた視線(212、214)を決定し、
    前記顕微鏡(110)のための制御信号を出力する、
    ように構成されており、
    前記制御信号は前記顕微鏡(110)に対し、自身の光軸(112)を前記視線(212、214)に整列させるように命令し、
    前記イメージデータは、種々の方向に沿って撮影された前記創傷(202)の複数のイメージを有し、
    前記コントローラ(100)は、
    各イメージ内の前記創傷(202)の面積を計算し、
    最大面積を有する創傷(202)を含む前記イメージに対応する方向に基づき、前記視線(212、214)を決定する、
    ように構成されている、
    コントローラ(100)。
  2. 前記コントローラ(100)は、前記イメージデータに基づき前記創傷(202)の空洞の3次元モデルを決定するように構成されている、
    請求項1記載のコントローラ(100)。
  3. 顕微鏡(110)のためのコントローラ(100)であって、前記コントローラ(100)は、
    創傷(202)を表すイメージデータを受け取り、
    前記イメージデータを用いて、前記創傷(202)の底部(210)に向けられた視線(212、214)を決定し、
    前記顕微鏡(110)のための制御信号を出力する、
    ように構成されており、
    前記制御信号は前記顕微鏡(110)に対し、自身の光軸(112)を前記視線(212、214)に整列させるように命令し、
    前記コントローラ(100)は、前記イメージデータに基づき前記創傷(202)の空洞の3次元モデルを決定するように構成されており、
    前記コントローラ(100)は、予め定められた判定基準を満たす前記空洞内の1つの軸に基づき、前記視線(212、214)を決定するように構成されている、
    コントローラ(100)。
  4. 前記コントローラ(100)は、前記空洞の空洞重心軸に基づき、前記視線(212、214)を決定するように構成されている、
    請求項3記載のコントローラ(100)。
  5. 前記コントローラ(100)は、前記空洞の底部(210)の可視面積を最大にする軸に基づき、前記視線(212、214)を決定するように構成されている、
    請求項3または4記載のコントローラ(100)。
  6. 顕微鏡(110)のためのコントローラ(100)であって、前記コントローラ(100)は、
    創傷(202)を表すイメージデータを受け取り、
    前記イメージデータを用いて、前記創傷(202)の底部(210)に向けられた視線(212、214)を決定し、
    前記顕微鏡(110)のための制御信号を出力する、
    ように構成されており、
    前記制御信号は前記顕微鏡(110)に対し、自身の光軸(112)を前記視線(212、214)に整列させるように命令し、
    前記コントローラ(100)は、前記創傷(202)の前記底部(210)への別の視線(212、214)を、前記視線(212、214)を用いて生成された別のイメージデータに基づき決定するように構成されている、
    コントローラ(100)。
  7. 顕微鏡システムであって、前記顕微鏡システムは、
    請求項1から6のいずれか1項記載のコントローラ(100)と、
    前記制御信号に基づき自身の光軸(112)を視線(212、214)に整列させるように構成された顕微鏡(110)と、
    を有する顕微鏡システム。
  8. 前記顕微鏡システムはさらに、イメージデータを生成するように構成されたイメージングデバイス(130)を有する、
    請求項7記載の顕微鏡システム。
  9. 前記イメージングデバイス(130)は、飛行時間型カメラ、ステレオカメラおよび3次元カメラのうちの1つである、
    請求項8記載の顕微鏡システム。
  10. 顕微鏡を制御する方法であって、前記方法は、
    創傷を表すイメージデータを受け取るステップ(302)と、
    前記イメージデータを用いて、前記創傷の底部への視線を決定するステップ(304)と、
    顕微鏡に対し自身の光軸を前記視線に整列させるように命令するステップ(306)と、
    を有し、
    視線を決定するステップ(304)は、
    種々の方向に沿って撮影された前記創傷の複数のイメージの各イメージ内における前記創傷の面積を計算するステップと、
    最大面積を有する創傷を含む前記イメージに対応する方向に基づき、前記視線を決定するステップ(304)と、
    を有する、
    方法。
  11. 前記方法はさらに、前記イメージデータに基づき前記創傷の空洞の3次元モデルを決定するステップを有する、
    請求項10記載の方法。
  12. 顕微鏡を制御する方法であって、前記方法は、
    創傷を表すイメージデータを受け取るステップ(302)と、
    前記イメージデータを用いて、前記創傷の底部への視線を決定するステップ(304)と、
    顕微鏡に対し自身の光軸を前記視線に整列させるように命令するステップ(306)と、
    を有し、
    前記方法は、
    前記イメージデータに基づき前記創傷の空洞の3次元モデルを決定するステップと、
    前記空洞の空洞重心軸に基づき、または、前記空洞の底部の可視面積を最大にする軸に基づき、前記視線を決定するステップ(304)と、
    を有する、
    方法。
  13. プログラムがプロセッサにおいて実行されたときに、請求項10から12までのいずれか1項記載の方法を実施するためのプログラムコードを有するコンピュータプログラム。
JP2020020573A 2019-02-12 2020-02-10 顕微鏡のためのコントローラ、対応する方法および顕微鏡システム Active JP6945667B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19156648 2019-02-12
EP19156648.8A EP3696593B1 (en) 2019-02-12 2019-02-12 A controller for a microscope, a corresponding method and a microscope system

Publications (2)

Publication Number Publication Date
JP2020134940A JP2020134940A (ja) 2020-08-31
JP6945667B2 true JP6945667B2 (ja) 2021-10-06

Family

ID=65520061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020020573A Active JP6945667B2 (ja) 2019-02-12 2020-02-10 顕微鏡のためのコントローラ、対応する方法および顕微鏡システム

Country Status (4)

Country Link
US (1) US10962759B2 (ja)
EP (1) EP3696593B1 (ja)
JP (1) JP6945667B2 (ja)
CN (1) CN111552068B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023139660A1 (ja) * 2022-01-18 2023-07-27 ヤマハロボティクスホールディングス株式会社 三次元デジタル顕微鏡

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4621283A (en) * 1984-08-27 1986-11-04 Designs For Vision, Inc. Head-mounted coaxial image system for surgeons
US4922338A (en) * 1989-03-02 1990-05-01 Arpino Ronald G Line-of-sight inspection system
US4964708A (en) * 1989-07-14 1990-10-23 Mason Michael S Microscope for medical surgery
US5299053A (en) * 1990-10-26 1994-03-29 American Cyanamid Company Variable shutter illumination system for microscope
JPH10192333A (ja) * 1996-12-27 1998-07-28 Nidek Co Ltd 眼科手術装置
JP2004530485A (ja) * 2001-06-13 2004-10-07 ヴォリューム・インタラクションズ・プライヴェート・リミテッド ガイドシステムおよびそのためのプローブ
JP3996359B2 (ja) * 2001-07-12 2007-10-24 株式会社日立メディコ 磁気共鳴イメージング装置
DE102004022330B3 (de) * 2004-05-06 2005-10-20 Leica Microsystems Schweiz Ag Mikroskop
CN101282687B (zh) * 2005-10-14 2011-11-16 应用研究联盟新西兰有限公司 监测表面特征的方法和装置
JP5159041B2 (ja) * 2006-01-30 2013-03-06 株式会社東芝 超音波診断装置およびその画像処理プログラム
US20080013809A1 (en) * 2006-07-14 2008-01-17 Bracco Imaging, Spa Methods and apparatuses for registration in image guided surgery
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
EP2549943B1 (en) * 2010-03-22 2018-01-31 Brainlab AG Controlling a surgical microscope
JP2013039148A (ja) * 2011-08-11 2013-02-28 Topcon Corp 眼科手術用顕微鏡
JP5767142B2 (ja) * 2012-03-05 2015-08-19 オリンパス株式会社 医療用観察システム
CN202631839U (zh) * 2012-05-08 2012-12-26 吴立业 一种医疗用显微手术设备
CN203204233U (zh) * 2012-08-10 2013-09-18 上海西光实业有限公司 一种适于显微镜对焦的自动检测装置
US9993273B2 (en) * 2013-01-16 2018-06-12 Mako Surgical Corp. Bone plate and tracking device using a bone plate for attaching to a patient's anatomy
BR112015023547B8 (pt) * 2013-03-15 2022-09-27 Synaptive Medical Inc Montagem de braço automatizado para uso usado durante um procedimento médico sobre uma parte anatômica
CN103558129B (zh) * 2013-11-22 2016-02-24 晶格码(青岛)智能科技有限公司 一种探头式在线立体成像检测系统及方法
US9597009B2 (en) * 2013-12-19 2017-03-21 Novartis Ag Marker-based tool tracking
DE102014113935A1 (de) * 2014-09-25 2016-03-31 Carl Zeiss Meditec Ag Operationsmikroskop und Betriebsverfahren dafür
CA2930738C (en) * 2015-08-24 2017-05-02 Synaptive Medical (Barbados) Inc. A medical imaging system for illuminating tissue samples using three-dimensional structured illumination microscopy
CN105183169B (zh) * 2015-09-22 2018-09-25 小米科技有限责任公司 视线方向识别方法及装置
JP6841626B2 (ja) * 2016-09-21 2021-03-10 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置及び医療用観察システム
US11207139B2 (en) 2016-10-31 2021-12-28 Synaptive Medical Inc. 3D navigation system and methods
CA3065436C (en) * 2017-08-11 2023-03-07 Brainlab Ag Video based patient registration and tracking

Also Published As

Publication number Publication date
CN111552068A (zh) 2020-08-18
JP2020134940A (ja) 2020-08-31
EP3696593A1 (en) 2020-08-19
US20200257104A1 (en) 2020-08-13
CN111552068B (zh) 2022-06-10
US10962759B2 (en) 2021-03-30
EP3696593B1 (en) 2025-04-02

Similar Documents

Publication Publication Date Title
US20230266823A1 (en) Robotic system providing user selectable actions associated with gaze tracking
JP7170784B2 (ja) 撮像装置及び入力コントロールを再芯出しするためのシステム及び方法
JP7086150B2 (ja) 遠隔操作医療システムにおける器具の画面上での識別をレンダリングするためのシステム及び方法
US10588699B2 (en) Intelligent positioning system and methods therefore
EP3760389B1 (en) Switching control of an instrument to an input device upon the instrument entering a display area viewable by an operator of the input device
US20220096189A1 (en) Image guided motion scaling for robot control
CA2939262C (en) Intelligent positioning system and methods therefore
JP6766062B2 (ja) 遠隔操作医療システムにおける器具の画面上での識別のためのシステム及び方法
US11980436B2 (en) Medical system, method and computer program
US20160158938A1 (en) Method and device for defining a working range of a robot
JP2019523663A (ja) ロボット外科手術装置および視聴者適合型の立体視ディスプレイの態様を制御するためのシステム、方法、およびコンピュータ可読記憶媒体
CN102958464A (zh) 具有改进的控制器的自动化外科手术系统
JP6945667B2 (ja) 顕微鏡のためのコントローラ、対応する方法および顕微鏡システム
EP3805834A1 (en) Optical imaging system and corresponding apparatus, method and computer program
JP5561037B2 (ja) ロボット及びその制御方法
KR20170142896A (ko) 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치
EP4342385A1 (en) Medical device movement control apparatus
US12259537B2 (en) Method for operating a microscopy system, and microscopy system
US20230293244A1 (en) Systems and methods for hybrid motion planning
KR20250107151A (ko) 시야 한계를 고려하여, 의료 또는 수술 원격작동을 위한 로봇 시스템의 마스터 장치에 의해 제어되는 슬레이브 장치를 제어하는 방법, 및 관련 로봇 시스템
CN116421325A (zh) 手术机器人协作系统及其标定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210914

R150 Certificate of patent or registration of utility model

Ref document number: 6945667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250