以下に図面を参照して、本発明にかかる画像処理プログラム、画像処理方法および画像処理装置の実施の形態を詳細に説明する。
(実施の形態)
図1は、実施の形態にかかる画像処理方法の一実施例を示す説明図である。図1において、画像処理装置101は、腸内に挿入され、腸内画像を撮像する撮像装置102により撮像された撮像画像を取得するコンピュータである。撮像装置102は、静止画または動画を撮像する機器であり、例えば、内視鏡110の先端部に搭載されるCCD(Charge Coupled Device)である。
内視鏡110は、体内の腔所を観察するための医療器具である。内視鏡検査では、内視鏡110の先端部を体内に挿入し、先端部に搭載された撮像装置102で体内の様子をモニタに映し出すことで、医師が体内の様子を直接目で見て検査することができる。検査対象の器官としては、例えば、大腸、小腸、十二指腸などがある。
以下の説明では、検査対象の器官として「大腸」を例に挙げて説明する。
図2は、大腸を示す説明図である。図2において、大腸は、脊椎動物の消化管の一部であり、小腸と肛門との間に位置する全長約1.6mの管である。大腸は、例えば、盲腸、上行結腸、右結腸曲、横行結腸、左結腸曲、下行結腸、S状結腸、直腸等の複数のゾーンに分類される。
図1に示すように、内視鏡検査において、医師Dは、患者Kの肛門から内視鏡110を挿入し、内視鏡110の先端部を小腸の入り口部分まで挿入した後、引き出しながら腸内を観察し、ポリープ等の病変部分を発見したら腸内画像を撮影する。また、エビデンスを残すという観点から、腸内の問題がない部分についても撮影することがある。
内視鏡検査において撮影された各画像は、腸内のどの部位に対応したものであるかが分かるように記録することが望ましい。ところが、検査実施中は、医師Dは、内視鏡110を操作するために両手がふさがっていることが多く、各画像が腸内のどの部位に対応しているかを手作業で記録することは難しい。
また、検査実施中は、医師Dが検査に集中できるように、内視鏡110の操作以外の作業はできるだけ少ないほうが望ましい。さらに、大腸は伸び縮みするため、内視鏡110の先端部が腸内のどの部分に位置しているのかをコンピュータで自動判断することは難しい。
このため、医師Dが、腸内を撮影した各画像がどの部位に対応しているかを頭で覚えておいて、検査実施後に記憶をもとに検査記録を記載することが考えられる。ところが、1回の内視鏡検査で撮影される画像は数十枚になることもあり、各画像が腸内のどの部位に対応しているのかを医師Dが覚えきれずに、記載漏れや記載ミスを招くおそれがある。
そこで、本実施の形態では、内視鏡検査において撮像された腸内画像を、腸内の指定された部位に自動で対応付けて記録することができる画像処理方法について説明する。以下、画像処理装置101の処理例について説明する。
(1)画像処理装置101は、腸内に挿入され、腸内画像を撮像する撮像装置102により撮像された撮像画像を取得する。腸内画像は、検査実施中に医師の判断により任意の撮像タイミングで撮像される。具体的には、例えば、画像処理装置101は、撮像装置102によって腸内が撮像される度に、撮像装置102から撮像された撮像画像を取得する。また、画像処理装置101は、検査実施中に撮像装置102によって撮像された撮像画像を、検査実施後に一括して撮像装置102から取得することにしてもよい。
図1の例では、内視鏡検査において、術者である医師Dの判断により撮像画像111,112,113が撮像された場合を想定する。この場合、画像処理装置101は、例えば、各撮像画像111,112,113が撮像される度に、撮像装置102から各撮像画像111,112,113を取得する。なお、図1中、各撮像画像111,112,113から伸びる点線矢印は、各撮像画像111,112,113の取得タイミングを示す。
(2)画像処理装置101は、複数のゾーンに分類された腸のうち、いずれのゾーンに対応する腸であるかの指定を受け付ける。ゾーンは、腸内を区分けした部位(セグメント)である。大腸の例では、図2に示したように、盲腸、上行結腸、右結腸曲、横行結腸、左結腸曲、下行結腸、S状結腸、直腸等の複数のゾーンに分類される。
ゾーンの指定は、検査実施中に行われ、術者や助手を務める医師によって行われる。また、医師の指示に従って、看護師がゾーンの指定を行うことにしてもよい。ゾーンの指定は、例えば、音声入力によって行われてもよく、また、キーボード、マウス又はタッチパネルによって行われてもよい。
具体的には、例えば、医師が、腸内のある部位の検査を開始する際に、その部位に対応するゾーンの指定(事前指定)を行うことにしてもよい。また、医師が、腸内のある部位の検査が終了した際に、その部位に対応するゾーンの指定(事後指定)を行うことにしてもよい。
図1の例では、医師Dが、腸内のある部位の検査を開始する際に、その部位に対応するゾーンの指定(事前指定)を行うものとする。また、ここでは、医師Dにより、時点t1において『上行結腸』が指定され、時点t2において『横行結腸』が指定され、時点t3において『下行結腸』が指定された場合を想定する(t1→t2→t3)。
(3)画像処理装置101は、ゾーンの指定が有効な期間において取得した1又は複数の撮像画像を、当該ゾーンに対応付けて記憶部120に記憶する。例えば、腸内のある部位の検査を開始する際に、その部位に対応するゾーンの指定(事前指定)を行うとする。この場合、ゾーンの指定が有効な期間は、当該ゾーンの指定の後、他のゾーンの指定がなされるまでの期間となる。また、腸内のある部位の検査が終了した際に、その部位に対応するゾーンの指定(事後指定)を行うとする。この場合、ゾーンの指定が有効な期間は、当該ゾーンの指定がなされる前の期間となる。
図1の例では、医師Dが、腸内のある部位の検査を開始する際に、その部位に対応するゾーンの指定(事前指定)を行う。したがって、『上行結腸』の指定が有効な期間は、『上行結腸』の指定の後、『横行結腸』の指定がなされるまでの時点t1から時点t2までの期間となる。このため、画像処理装置101は、時点t1から時点t2までの期間において取得した撮像画像111,112を『上行結腸』に対応付けて記憶部120に記憶する。
また、『横行結腸』の指定が有効な期間は、『横行結腸』の指定の後、『下行結腸』の指定がなされるまでの時点t2から時点t3までの期間となる。このため、画像処理装置101は、時点t2から時点t3までの期間において取得した撮像画像113を『横行結腸』に対応付けて記憶部120に記憶する。
このように、画像処理装置101によれば、腸内に挿入され、腸内画像を撮像する撮像装置102により撮像された撮像画像を取得しつつ、複数のゾーンに分類された腸のうち、いずれのゾーンに対応する腸であるかの指定を受け付けることができる。そして、画像処理装置101によれば、ゾーンの指定が有効な期間において取得した1又は複数の撮像画像を、当該ゾーンに対応付けて記憶部120に記憶することができる。
これにより、内視鏡検査において撮像された腸内画像を、腸内の指定された部位に自動で対応付けて記録することができる。このため、検査実施中は各画像が腸内のどの部位に対応しているかを術者本人が覚えておいて検査実施後に検査記録に記載するといった作業が不要となり、記憶違いによる検査記録の記載漏れや記載ミスを防ぐことができる。
(医療支援システム300のシステム構成例)
つぎに、実施の形態にかかる医療支援システム300のシステム構成例について説明する。医療支援システム300は、医療機関における医療を支援するコンピュータシステムである。医療機関は、例えば、病院や診療所などである。
図3は、医療支援システム300のシステム構成例を示す説明図である。図3において、医療支援システム300は、画像処理装置101と、内視鏡システム301と、を含む。医療支援システム300において、画像処理装置101および内視鏡システム301は、有線又は無線のネットワーク310を介して接続される。ネットワーク310は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどである。
ここで、画像処理装置101は、腸内画像DB(Database)320およびゾーン情報DB330を有し、内視鏡システム301から撮像画像を取得する。画像処理装置101は、例えば、医療従事者が使用するPC(Personal Computer)、タブレットPCなどであってもよく、また、サーバであってもよい。
また、画像処理装置101は、マイクロフォン302を有する。マイクロフォン302は、音を電気信号に変換する機器である。マイクロフォン302は、例えば、Bluetooth(登録商標)などの近距離無線通信により装置本体と無線接続される。具体的には、例えば、マイクロフォン302は、内視鏡検査を行う術者によって使用されるものであり、タイピン型のものであってもよく、また、ヘッドセット型のものであってもよい。
なお、腸内画像DB320およびゾーン情報DB330の記憶内容については、図5および図6を用いて後述する。
内視鏡システム301は、内視鏡装置340と、制御装置350と、を含む。内視鏡装置340は、制御装置350と接続されており、操作部341と、挿入部342とを含む。操作部341には、ワイヤによって挿入部342の先端部とつながれたアングルノブや、シャッターボタン、送気・送水ボタン、吸引ボタン等の各種ボタンが設けられている。
例えば、医師は、操作部341のアングルノブを操作して、挿入部342の先端部を体内に挿入し、挿入部342の先端部分を上下、左右に曲げることで体腔内を360度観察することができる。また、医師は、操作部341のシャッターボタンを押下することで、腸内を撮像することができる。
また、挿入部342は、腸内に挿入される部分である。挿入部342の先端部には、腸内を撮像するカメラ343(レンズ、撮像素子等)や、不図示の照明レンズ、鉗子口、ノズルなどが設けられる。図1に示した内視鏡110は、例えば、内視鏡装置340に対応する。
制御装置350は、モニタ351を有するコンピュータであり、挿入部342に光や空気、水を供給したり、カメラ343の撮像素子が捉えた電気信号を映像信号に変換してモニタ351に表示したりする。また、制御装置350は、カメラ343により撮像された撮像画像を画像処理装置101に送信する。
なお、図3の例では、画像処理装置101と内視鏡システム301とを別体に設けることにしたが、これに限らない。例えば、画像処理装置101は、内視鏡システム301の制御装置350により実現することにしてもよい。また、図3の例では、画像処理装置101がマイクロフォン302を有することにしたが、これに限らない。例えば、画像処理装置101と接続される他のコンピュータがマイクロフォン302を有することにしてもよい。この場合、画像処理装置101は、マイクロフォン302で受音された音声データを他のコンピュータから取得する。
(画像処理装置101のハードウェア構成例)
図4は、画像処理装置101のハードウェア構成例を示すブロック図である。図4において、画像処理装置101は、CPU(Central Processing Unit)401と、メモリ402と、ディスクドライブ403と、ディスク404と、I/F(Interface)405と、ディスプレイ406と、入力装置407と、マイクロフォン302と、を有する。また、各構成部はバス400によってそれぞれ接続される。
ここで、CPU401は、画像処理装置101の全体の制御を司る。メモリ402は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU401のワークエリアとして使用される。メモリ402に記憶されるプログラムは、CPU401にロードされることで、コーディングされている処理をCPU401に実行させる。
ディスクドライブ403は、CPU401の制御に従ってディスク404に対するデータのリード/ライトを制御する。ディスク404は、ディスクドライブ403の制御で書き込まれたデータを記憶する。ディスク404としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
I/F405は、通信回線を通じてネットワーク310に接続され、ネットワーク310を介して他のコンピュータ(例えば、図3に示した内視鏡システム301の制御装置350)に接続される。そして、I/F405は、ネットワーク310と自装置内部とのインターフェースを司り、他の装置からのデータの入出力を制御する。
ディスプレイ406は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ406として、例えば、液晶ディスプレイ、有機EL(electroluminescence)ディスプレイ、CRT(Cathode Ray Tube)などを採用することができる。
入力装置407は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置407は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。マイクロフォン302は、上述したように、音を電気信号に変換する機器であり、例えば、タイピン型のものであってもよく、また、ヘッドセット型のものであってもよい。
(腸内画像DB320の記憶内容)
つぎに、画像処理装置101が有する腸内画像DB320の記憶内容について説明する。腸内画像DB320は、例えば、図4に示したメモリ402、ディスク404などの記憶装置により実現される。
図5は、腸内画像DB320の記憶内容の一例を示す説明図である。図5において、腸内画像DB320は、検査ID、術者ID、撮像時刻、ゾーン名および撮像画像のフィールドを有し、各フィールドに情報を設定することで、腸内画像情報(例えば、腸内画像情報500−1〜500−4)をレコードとして記憶する。
検査ID(identification)は、内視鏡検査を一意に識別する識別子である。術者IDは、内視鏡検査の術者を一意に識別する識別子である。撮像時刻は、腸内画像が撮像された日時を示す。ゾーン名は、腸内画像に対応する腸内のゾーン(部位)の名称である。初期状態では、ゾーン名は「−(null)」である。撮像画像は、腸内画像の画像データである。
例えば、腸内画像情報500−1は、検査ID「T1」の内視鏡検査において、術者ID「D1」の術者(医師)によって撮像された撮像画像P1の撮像時刻「2016/03/28 10:29:35」およびゾーン名「−」を示す。なお、腸内画像DB320内の各腸内画像情報には、患者の患者ID、患者名、検査名、年齢、病名等の患者情報が対応付けて記憶されていてもよい。
(ゾーン情報DB330の記憶内容)
つぎに、画像処理装置101が有するゾーン情報DB330の記憶内容について説明する。ゾーン情報DB330は、例えば、図4に示したメモリ402、ディスク404などの記憶装置により実現される。
図6は、ゾーン情報DB330の記憶内容の一例を示す説明図である。図6において、ゾーン情報DB330は、検査ID、術者ID、ゾーン名、検査開始時刻、検査終了時刻および検査時間のフィールドを有し、各フィールドに情報を設定することで、ゾーン情報(例えば、ゾーン情報600−1〜600−4)をレコードとして記憶する。
ここで、検査IDは、実施中あるいは実施済みの内視鏡検査を一意に識別する識別子である。術者IDは、内視鏡検査の術者を一意に識別する識別子である。ゾーン名は、腸内のゾーン(部位)の名称である。検査開始時刻は、ゾーン名に対応する腸内のゾーンの検査を開始した日時を示す。検査終了時刻は、ゾーン名に対応する腸内のゾーンの検査を終了した日時を示す。検査時間は、検査開始時刻から検査終了時刻までの時間[s(秒)]を示す。
例えば、ゾーン情報600−1は、検査ID「T1」の内視鏡検査において、術者ID「D1」の術者(医師)によって、検査開始時刻「2016/03/28 10:29:30」から検査終了時刻「2016/03/28 10:30:42」までの間、ゾーン名「回腸末端」のゾーン(部位)の検査が行われたことを示す。
(画像処理装置101の機能的構成例)
図7は、画像処理装置101の機能的構成例を示すブロック図である。図7において、画像処理装置101は、取得部701と、受付部702と、対応付け部703と、判定部704と、出力部705と、を含む構成である。取得部701〜出力部705は制御部となる機能であり、具体的には、例えば、図4に示したメモリ402、ディスク404などの記憶装置に記憶されたプログラムをCPU401に実行させることにより、又は、I/F405により、その機能を実現する。各機能部の処理結果は、例えば、メモリ402、ディスク404などの記憶装置に記憶される。
取得部701は、腸内に挿入され、腸内画像を撮像するカメラ343(図3参照)により撮像された撮像画像を取得する。具体的には、例えば、取得部701は、カメラ343によって撮像画像が撮像される度に、内視鏡システム301の制御装置350から当該撮像画像を取得する。
取得された撮像画像は、例えば、図5に示した腸内画像DB320に記憶される。具体的には、例えば、取得部701は、取得した撮像画像にタイムスタンプを付与し、検査IDおよび術者IDと対応付けて腸内画像DB320に記憶する。このタイムスタンプは、撮像画像の撮像時刻を示すものであり、例えば、取得部701が撮像画像を取得したときの日時(日本標準時)を示す。
これにより、新たな腸内画像情報が腸内画像DB320に登録される。また、内視鏡システム301側が計時機能を有していない、あるいは、画像処理装置101と時刻同期していなくても、画像処理装置101側で日本標準時に同期した撮像時刻を撮像画像に付与することができる。ただし、この時点では、腸内画像情報のゾーン名は「−」である。検査IDおよび術者IDは、例えば、内視鏡検査を開始する際に、図4に示した入力装置407を用いたユーザの操作入力により入力される。
受付部702は、複数のゾーンに分類された腸のうち、いずれのゾーンに対応する腸であるかの指定を受け付ける。ここで、複数のゾーンは、例えば、上行結腸、横行結腸、下行結腸、S状結腸を含む。ゾーンの指定は、例えば、マイクロフォン302を用いたユーザ(例えば、医師)の音声入力によって行われてもよく、また、入力装置407を用いたユーザ(例えば、助手、看護師)の操作入力により行われてもよい。
以下の説明では、腸を分類する複数のゾーンを「ゾーンZ1〜Zn」と表記し(nは、2以上の自然数)、ゾーンZ1〜Znのうちの任意のゾーンを「ゾーンZi」と表記する場合がある(i=1,2,…,n)。また、特に指定する場合を除いて、ゾーンZiの指定は、腸内のある部位の検査を開始する際に、その部位に対応するゾーンZiの指定(事前指定)を行う場合を想定する。
具体的には、例えば、受付部702は、マイクロフォン302から入力された音声データを音声認識処理した結果が、腸のいずれかのゾーンZiを示す内容である場合に、ゾーンZiの指定を受け付ける。音声認識技術としては、既存のいかなる技術を用いることにしてもよく、例えば、ワードスポッティングやサブワード法などにより、音声データを単語に変換する技術を用いることにしてもよい。
すなわち、受付部702は、例えば、腸内の部位(ゾーン名)が登録された医学用語辞書を参照して、音声データを音声認識処理した結果が、腸内のいずれかのゾーン名を示す場合に、当該ゾーン名が示すゾーンZiの指定を受け付ける。また、例えば、受付部702は、医学用語辞書を参照して、入力装置407を用いて入力された文字列が、腸のいずれかのゾーンZiを示す内容である場合に、ゾーンZiの指定を受け付けることにしてもよい。
指定されたゾーンZiの情報は、例えば、図6に示したゾーン情報DB330に記憶される。具体的には、例えば、受付部702は、指定されたゾーンZiにタイムスタンプを付与し、ゾーンZiのゾーン名を検査IDおよび術者IDと対応付けてゾーン情報DB330に記憶する。このタイムスタンプは、指定されたゾーンZiの検査開始時刻を示すものであり、例えば、受付部702がゾーンZiの指定を受け付けた日時(日本標準時)を示す。
これにより、新たなゾーン情報がゾーン情報DB330に登録される。ただし、この時点では、ゾーン情報の検査終了時刻および検査時間は「−」である。検査終了時刻および検査時間は、次のゾーン情報が登録される際に設定される。具体的には、当該ゾーン情報の検査終了時刻に、次のゾーン情報の検査開始時刻直前の時刻(例えば、1秒前の時刻)が設定される。また、当該ゾーン情報の検査時間に、当該ゾーン情報の検査開始時刻および検査終了時刻に基づく時間が設定される。
また、受付部702は、ゾーンZiの指定を受け付けたことに応じて、ゾーンZiの指定を受け付けたことを示す情報を出力することにしてもよい。具体的には、例えば、受付部702は、音声データを音声認識処理した結果が、腸内のいずれかのゾーン名を示す場合に、当該ゾーン名をディスプレイ406に表示することにしてもよい。これにより、医師は、ゾーンZiの指定が受け付けられたことを目視で確認することができる。
また、受付部702は、音声データを音声認識処理した結果が、腸内のいずれかのゾーン名を示す場合に、不図示のスピーカから当該ゾーン名を示す合成音を出力することにしてもよい。例えば、音声認識処理した結果がゾーン名「上行結腸」を示す場合、受付部702は、医師が装着するヘッドセットのスピーカから合成音「上行結腸」を出力することにしてもよい。
これにより、医師は、ディスプレイ406を見ることなく、ゾーンZiの指定が受け付けられたことを確認することができるため、診療に集中することができる。さらに、医師は、合成音の音声出力等の応答がない場合には、ゾーンZiの指定が未受け付けであることがわかり、再度、音声指示等を行って指定漏れを防ぐことができる。
対応付け部703は、ゾーンZiの指定が有効な期間において取得された1又は複数の撮像画像を、指定されたゾーンZiに対応付ける。ここで、ゾーンZiの指定が有効な期間とは、ゾーンZiの指定の後、他のゾーンZj(j≠i、j=1,2,…,n)の指定がなされるまでの期間である。すなわち、ゾーンZiの指定が有効な期間は、ゾーンZiの検査開始時刻から検査終了時刻までの期間に相当する。
ここで、ゾーン情報DB330(図6参照)内のゾーン情報600−2を例に挙げて、検査ID「T1」の内視鏡検査において撮像された撮像画像を、指定されたゾーン「上行結腸」に対応付ける処理について説明する。
まず、対応付け部703は、ゾーン情報600−2を参照して、検査開始時刻「2016/03/28 10:30:43」から検査終了時刻「2016/03/28 10:33:03」までの検査時間帯を特定する。つぎに、対応付け部703は、腸内画像DB320から、特定した検査時間帯に撮影時刻が含まれる腸内画像情報を検索する。図5の例では、腸内画像情報500−2が検索される。そして、対応付け部703は、検索した腸内画像情報500−2のゾーン名に、ゾーン情報600−2のゾーン名「上行結腸」を設定する。
これにより、ゾーン「上行結腸」の指定が有効な期間(検査時間帯)において取得した撮像画像P2を、ゾーン「上行結腸」に対応付けて腸内画像DB320に記憶することができる。ここで、腸内画像DB320の記憶内容の更新例について説明する。
図8は、腸内画像DB320の記憶内容の更新例を示す説明図である。図8において、各腸内画像情報500−1〜500−4のゾーン名フィールドに、各撮像画像P1〜P4に対応するゾーン名がそれぞれ設定されている。これにより、各ゾーンZiの指定が有効な期間において取得された撮像画像を、各ゾーンZiに対応付けて腸内画像DB320に記憶することができる。
図7の説明に戻り、判定部704は、ゾーンZiの指定が所定の順でなされたか否かを判定する。ここで、所定の順は、任意に設定可能であり、例えば、挿入部342の先端部を小腸の入り口部分(例えば、回腸末端)まで挿入した後、引き出しながら腸内を検査する場合は、引き出す際に挿入部342の先端部が通過する順(例えば、回腸末端⇒上行結腸⇒横行結腸⇒下行結腸)に設定される。
具体的には、例えば、まず、判定部704は、ゾーン情報DB330から、所定の検査IDのゾーン情報を抽出する。所定の検査IDは、検査実施中の内視鏡検査の検査IDであってもよく、また、検査実施済みの内視鏡検査の検査IDであってもよい。検査ID「T1」を例に挙げると、ゾーン情報DB330からゾーン情報600−1〜600−4が抽出される。
つぎに、判定部704は、抽出したゾーン情報600−1〜600−4のゾーン名を検査開始時刻が古い順にソートして、ゾーンの指定順「回腸末端⇒上行結腸⇒横行結腸⇒下行結腸」を特定する。そして、判定部704は、特定したゾーンの指定順が、所定の順となっているか否かを判定する。
ここで、所定の順を「回腸末端⇒上行結腸⇒横行結腸⇒下行結腸」とすると、判定部704は、特定したゾーンの指定順「回腸末端⇒上行結腸⇒横行結腸⇒下行結腸」が所定の順となっていると判定する。これにより、予め決められた順序で腸内の検査が行われているか否かを判定することができる。
また、判定部704は、所定のゾーンのそれぞれに撮像画像が対応付けられたか否かを判定する。ここで、所定のゾーンは、任意に設定可能であり、例えば、ゾーンZ1〜Znの全てのゾーンであってもよく、また、ゾーンZ1〜Znから選ばれた1又は複数のゾーンであってもよい。
具体的には、例えば、まず、判定部704は、腸内画像DB320から、所定の検査IDの腸内画像情報を抽出する。所定の検査IDは、検査実施中の内視鏡検査の検査IDであってもよく、また、検査実施済みの内視鏡検査の検査IDであってもよい。検査ID「T1」を例に挙げると、腸内画像DB320(図8参照)から腸内画像情報500−1〜500−4が抽出される。
つぎに、判定部704は、抽出した腸内画像情報500−1〜500−4を参照して、撮像画像が対応付けられたゾーン「回腸末端、上行結腸、横行結腸、下行結腸」を特定する。ここで、所定のゾーンを「上行結腸、横行結腸、下行結腸」とする。この場合、判定部704は、所定のゾーンのそれぞれに撮像画像が対応付けられていると判定する。これにより、例えば、内視鏡検査において撮像が推奨あるいは義務付けられているゾーンZiの腸内画像が撮られているか否かを判定することができる。
また、判定部704は、所定のゾーンの指定が所定の順でなされ、かつ、所定のゾーンのそれぞれに撮像画像が対応付けられたか否かを判定することにしてもよい。これにより、予め決められた順序で腸内の検査が行われ、かつ、撮像が推奨あるいは義務付けられているゾーンZiの腸内画像が撮られているか否かを判定することができる。
出力部705は、判定部704によって判定された判定結果を出力する。出力部705の出力形式としては、例えば、ディスプレイ406への表示、I/F405による外部装置への送信、メモリ402、ディスク404などの記憶装置への記憶、不図示のスピーカからの音声出力、不図示のプリンタへの印刷出力などがある。
具体的には、例えば、出力部705は、ゾーンZiの指定が所定の順でなされたか否かの判定結果を出力する。これにより、予め決められた順序で腸内の検査が行われているか否かを判断可能な情報を提示することができる。
また、例えば、出力部705は、所定のゾーンのそれぞれに撮像画像が対応付けられたか否かの判定結果を出力する。これにより、内視鏡検査において撮像が推奨あるいは義務付けられているようなゾーンZiの腸内画像が撮られているか否かを判断可能な情報を提示することができる。
また、例えば、出力部705は、所定のゾーンの指定が所定の順でなされ、かつ、所定のゾーンのそれぞれに撮像画像が対応付けられたか否かの判定結果を出力する。これにより、予め決められた順序で腸内の検査が行われ、かつ、撮像が推奨あるいは義務付けられているゾーンの腸内画像が撮られているか否かを判断可能な情報を提示することができる。
出力部705は、ゾーンZiの指定が有効な期間において取得された撮像画像を、ゾーンZiを示す情報と対応付けて出力する。具体的には、例えば、出力部705は、取得された撮像画像を時系列順にディスプレイ406に表示する際に、時系列順に表示する各撮像画像がいずれのゾーンZiの腸に対応付けられたかを示す情報を表示することにしてもよい。
より具体的には、例えば、出力部705は、腸内画像DB320およびゾーン情報DB330から、所定の検査IDの腸内画像情報およびゾーン情報を抽出する。つぎに、出力部705は、抽出した腸内画像情報およびゾーン情報に基づいて、後述の図9に示すような検査結果画面900をディスプレイ406に表示する。
なお、上述した説明では、取得した撮像画像にタイムスタンプを付与することにしたが、これに限らない。例えば、画像処理装置101と内視鏡システム301との間で時刻同期している場合には、内視鏡システム301から送られてくる撮像画像に、当該撮像画像の撮影時刻を示す情報が予め付加されていてもよい。
また、上述した説明では、腸内のある部位の検査を開始する際に、その部位に対応するゾーンZiの指定(事前指定)を行う場合を例に挙げて説明したが、これに限らない。例えば、腸内のある部位の検査が終了した際に、その部位に対応するゾーンZiの指定(事後指定)を行うことにしてもよい。この場合、受付部702は、例えば、ゾーンZiの指定を受け付けた際に、ゾーンZiの検査終了時刻を示すタイムスタンプを付与してゾーン情報DB330に記憶する。また、ゾーンZiの検査終了時刻直後の時刻(例えば、1秒後の時刻)が、次のゾーン情報の検査開始時刻に設定される。なお、最初のゾーン情報の検査開始時刻には、例えば、内視鏡検査の開始時刻が設定される。
(検査結果画面900の画面例)
つぎに、図9を用いて、ディスプレイ406に表示される検査結果画面900の画面例について説明する。
図9は、検査結果画面900の画面例を示す説明図である。図9において、検査結果画面900は、検査ID「T1」の内視鏡検査において撮像された撮像画像(図9中、「腸内画像」)を時系列順に表示する操作画面である。
検査結果画面900には、各撮像画像P1〜P5が、いずれのゾーンZiの腸に対応付けられたかを示す情報(図9中、「ゾーン」)が表示されている。また、検査結果画面900には、各ゾーンZiの検査開始時刻から検査終了時刻までの検査時間帯(図9中、「Time」)が表示されている。
検査結果画面900によれば、ユーザは、内視鏡検査において撮像された各撮像画像P1〜P5が、腸内のいずれのゾーンZiを撮像したものであるかを直感的に把握することができる。例えば、ユーザは、撮像画像P1が、腸内の「回腸末端」を撮像したものであるかを把握することができる。
また、検査結果画面900では、各ゾーンZiの検査時間に応じた幅の領域が確保されて、各撮像画像P1〜P5が表示される。このため、ユーザは、腸内の各ゾーンZiについて、どの程度の時間をかけて検査したのかを直感的に把握することができる。例えば、ユーザは、腸内の「横行結腸」について、「回腸末端」や「上行結腸」に比べて長い時間検査したことを把握することができる。
また、検査結果画面900において、例えば、入力装置407を用いたユーザの操作入力により、カーソルCを移動させて、撮像画像を選択すると、当該撮像画像の撮像時刻等の詳細情報を確認することができる。図9の例では、撮像画像P2が選択された結果、撮像画像P2の撮像時刻等を示す詳細情報910が表示されている。
(画像処理装置101の各種処理手順)
つぎに、図10〜図12を用いて、画像処理装置101の各種処理手順について説明する。まず、画像処理装置101の画像取得処理手順について説明する。
図10は、画像処理装置101の画像取得処理手順の一例を示すフローチャートである。図10のフローチャートにおいて、まず、画像処理装置101は、内視鏡検査の検査開始指示を受け付けたか否かを判断する(ステップS1001)。なお、検査開始指示は、例えば、入力装置407を用いたユーザの操作入力により行われる。
ここで、画像処理装置101は、検査開始指示を受け付けるのを待つ(ステップS1001:No)。そして、画像処理装置101は、検査開始指示を受け付けた場合(ステップS1001:Yes)、内視鏡システム301の制御装置350から、カメラ343によって撮像された撮像画像を取得したか否かを判断する(ステップS1002)。
ここで、画像処理装置101は、撮像画像を取得するのを待つ(ステップS1002:No)。そして、画像処理装置101は、撮像画像を取得した場合(ステップS1002:Yes)、取得した撮像画像にタイムスタンプを付与して(ステップS1003)、検査IDおよび術者IDと対応付けて腸内画像DB320に登録する(ステップS1004)。
つぎに、画像処理装置101は、内視鏡検査の検査終了指示を受け付けたか否かを判断する(ステップS1005)。なお、検査終了指示は、例えば、入力装置407を用いたユーザの操作入力により行われる。
ここで、検査終了指示を受け付けていない場合(ステップS1005:No)、画像処理装置101は、ステップS1002に戻る。一方、検査終了指示を受け付けた場合(ステップS1005:Yes)、画像処理装置101は、本フローチャートによる一連の処理を終了する。
これにより、内視鏡検査において撮像された腸内画像を撮像時刻と対応付けて記録することができる。
つぎに、画像処理装置101のゾーン指定受付処理手順について説明する。
図11は、画像処理装置101のゾーン指定受付処理手順の一例を示すフローチャートである。図11のフローチャートにおいて、まず、画像処理装置101は、内視鏡検査の検査開始指示を受け付けたか否かを判断する(ステップS1101)。ここで、画像処理装置101は、検査開始指示を受け付けるのを待つ(ステップS1101:No)。
そして、画像処理装置101は、検査開始指示を受け付けた場合(ステップS1101:Yes)、マイクロフォン302から入力された音声データを取得したか否かを判断する(ステップS1102)。ここで、画像処理装置101は、音声データを取得するのを待つ(ステップS1102:No)。
そして、画像処理装置101は、音声データを取得した場合(ステップS1102:Yes)、取得した音声データを音声認識処理する(ステップS1103)。つぎに、画像処理装置101は、音声認識処理した結果、腸内のいずれかのゾーン名が検出されたか否かを判断する(ステップS1104)。
ここで、ゾーン名が検出されなかった場合(ステップS1104:No)、画像処理装置101は、ステップS1109に移行する。一方、ゾーン名が検出された場合(ステップS1104:Yes)、画像処理装置101は、検出したゾーン名にタイムスタンプを付与して(ステップS1105)、新たなゾーン情報をゾーン情報DB330に登録する(ステップS1106)。
つぎに、画像処理装置101は、ゾーン情報DB330内の直前のゾーン情報の検査終了時刻に、ステップS1105において設定したタイムスタンプが示す時刻直前(新たなゾーン情報の検査開始時刻直前)の時刻を設定する(ステップS1107)。なお、直前のゾーン情報とは、ステップS1106において登録された新たなゾーン情報の一つ前に登録されたゾーン情報である。
そして、画像処理装置101は、ゾーン情報DB330内の直前のゾーン情報の検査時間に、当該ゾーン情報の検査開始時刻から検査終了時刻までの時間を設定する(ステップS1108)。つぎに、画像処理装置101は、内視鏡検査の検査終了指示を受け付けたか否かを判断する(ステップS1109)。
ここで、検査終了指示を受け付けていない場合(ステップS1109:No)、画像処理装置101は、ステップS1102に戻る。一方、検査終了指示を受け付けた場合(ステップS1109:Yes)、画像処理装置101は、ゾーン情報DB330内の新たなゾーン情報の検査終了時刻に現在時刻を設定する(ステップS1110)。
そして、画像処理装置101は、ゾーン情報DB330内の新たなゾーン情報の検査時間に、当該ゾーン情報の検査開始時刻から検査終了時刻までの時間を設定して(ステップS1111)、本フローチャートによる一連の処理を終了する。
これにより、腸内のゾーンZ1〜Znのうち音声入力により指定されたゾーンZiのゾーン名を検査開始時刻や検査終了時刻等と対応付けて記録することができる。なお、ステップS1107において、ゾーン情報DB330内に直前のゾーン情報がない場合は、画像処理装置101は、ステップS1109に移行する。
なお、ステップS1102において、画像処理装置101は、例えば、音圧レベルが所定の基準を超える音声データ、すなわち、発話が検出された際の音声データのみを取得することにしてもよい。また、画像処理装置101は、一定時間(例えば、10秒)ごとの音声データを取得することにしてもよい(ただし、連続する音声データは一部期間重複していてもよい)。
つぎに、画像処理装置101の画像処理手順について説明する。
図12は、画像処理装置101の画像処理手順の一例を示すフローチャートである。図12のフローチャートにおいて、まず、画像処理装置101は、内視鏡検査において撮像された撮像画像の画像表示要求を受け付けたか否かを判断する(ステップS1201)。
なお、画像表示要求は、例えば、入力装置407を用いたユーザの操作入力により行われる。また、画像表示要求には、内視鏡検査の検査IDが含まれる。
ここで、画像処理装置101は、画像表示要求を受け付けるのを待つ(ステップS1201:No)。そして、画像処理装置101は、画像表示要求を受け付けた場合(ステップS1201:Yes)、ゾーン情報DB330から、画像表示要求に含まれる検査IDに対応するゾーン情報を抽出する(ステップS1202)。
つぎに、画像処理装置101は、抽出したゾーン情報のうち選択されていない未選択のゾーン情報を選択する(ステップS1203)。そして、画像処理装置101は、選択したゾーン情報を参照して、検査開始時刻から検査終了時刻までの検査時間帯を特定する(ステップS1204)。
つぎに、画像処理装置101は、腸内画像DB320から、画像表示要求に含まれる検査IDに対応する腸内画像情報であって、特定した検査時間帯に撮影時刻が含まれる腸内画像情報を検索する(ステップS1205)。そして、画像処理装置101は、腸内画像情報が検索されたか否かを判断する(ステップS1206)。
ここで、腸内画像情報が検索されなかった場合(ステップS1206:No)、画像処理装置101は、ステップS1208に移行する。一方、腸内画像情報が検索された場合(ステップS1206:Yes)、画像処理装置101は、検索した腸内画像情報のゾーン名に、選択したゾーン情報のゾーン名を設定する(ステップS1207)。
つぎに、画像処理装置101は、抽出したゾーン情報のうち選択されていない未選択のゾーン情報があるか否かを判断する(ステップS1208)。ここで、未選択のゾーン情報がある場合(ステップS1208:Yes)、画像処理装置101は、ステップS1203に戻る。
一方、未選択のゾーン情報がない場合(ステップS1208:No)、画像処理装置101は、腸内画像DB320およびゾーン情報DB330から、画像表示要求に含まれる検査IDに対応する腸内画像情報およびゾーン情報を抽出する(ステップS1209)。つぎに、画像処理装置101は、抽出した腸内画像情報およびゾーン情報に基づいて、検査結果画面の画面情報を生成する(ステップS1210)。
そして、画像処理装置101は、生成した画面情報に基づいて、検査結果画面をディスプレイ406に表示して(ステップS1211)、本フローチャートによる一連の処理を終了する。これにより、各ゾーンZiの指定が有効な期間において取得された撮像画像を各ゾーンZiに対応付けることができ、内視鏡検査において撮像された各撮像画像がいずれのゾーンZiの腸に対応するかを把握可能な検査結果画面を表示することができる。
以上説明したように、実施の形態にかかる画像処理装置101によれば、腸内に挿入され、腸内画像を撮像するカメラ343により撮像された撮像画像を取得することができる。また、画像処理装置101によれば、ゾーンZ1〜Znに分類された腸のうち、いずれのゾーンZiに対応する腸であるかの指定を受け付けることができる。そして、画像処理装置101によれば、ゾーンZiの指定が有効な期間において取得した1又は複数の撮像画像を、指定されたゾーンZiに対応付けて記憶することができる。
これにより、内視鏡検査において撮像された腸内画像を、腸内の指定された部位に自動で対応付けて記録することができる。このため、検査実施中は各画像が腸内のどの部位に対応しているかを術者等が覚えておいて検査実施後に検査記録に記載するといった作業が不要となり、記憶違いによる検査記録の記載漏れや記載ミスを防ぐことができる。
また、画像処理装置101によれば、マイクロフォン302を用いた音声入力により、ゾーンZiの指定を受け付けることができる。これにより、検査実施中は両手がふさがっていることが多い術者であっても、腸内の部位を示す言葉を発するだけで、ゾーンZiの指定を行うことができ、利便性を向上させて検査に集中しやすい環境を提供できる。
また、画像処理装置101によれば、マイクロフォン302から入力された音声データを音声認識処理した結果が、腸内のいずれかのゾーン名を示す場合、不図示のスピーカから、当該ゾーン名を示す合成音を出力することができる。これにより、医師は、ディスプレイ406を見ることなく、ゾーンZiの指定が受け付けられたことを確認することができるため、診療に集中することができる。さらに、医師は、合成音の出力がない場合には、ゾーンZiの指定が未受け付けであることがわかり、再度、音声指示等を行って指定漏れを防ぐことができる。
また、画像処理装置101によれば、入力装置407を用いたユーザの操作入力により、ゾーンZiの指定を受け付けることができる。これにより、術者をサポートする看護師等が、術者の指示に従って腸内の部位を示す単語を入力するだけで、ゾーンZiの指定を行うことができる。
また、画像処理装置101によれば、ゾーンZiの指定が所定の順でなされたか否かの判定結果を出力することができる。これにより、予め決められた順序で腸内の検査が行われているか否かを判断可能な情報を提示して、検査漏れを防ぐことができる。
また、画像処理装置101によれば、所定のゾーンのそれぞれに撮像画像が対応付けられたか否かの判定結果を出力することができる。これにより、内視鏡検査において撮像が推奨あるいは義務付けられているようなゾーンZiの腸内画像が撮られているか否かを判断可能な情報を提示して、腸内画像の撮り忘れを防ぐことができる。
また、画像処理装置101によれば、所定のゾーンの指定が所定の順でなされ、かつ、所定のゾーンのそれぞれに撮像画像が対応付けられたか否かの判定結果を出力することができる。これにより、予め決められた順序で腸内の検査が行われ、かつ、撮像が推奨あるいは義務付けられているゾーンZiの腸内画像が撮られているか否かを判断可能な情報を提示することができる。
また、画像処理装置101によれば、取得した撮像画像を時系列順にディスプレイ406に表示する際に、時系列順に表示する各撮像画像がいずれのゾーンZiの腸に対応付けられたかを示す情報を表示することができる。これにより、ユーザは、内視鏡検査において順次撮像された各撮像画像が、腸内のどの部位を撮像したものであるかを把握することができる。
なお、本実施の形態で説明した画像処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本画像処理プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO(Magneto−Optical disk)、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本画像処理プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
(付記1)腸内に挿入され、腸内画像を撮像する撮像装置から撮像画像を取得し、
複数のゾーンに分類された腸のうち、いずれのゾーンに対応する腸であるかの指定を受け付け、
前記指定が有効な期間において取得した1又は複数の撮像画像を、前記指定を受け付けたゾーンに対応付けて記憶部に記憶する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
(付記2)前記指定が有効な期間は、前記指定の後、他のゾーンの指定がなされるまでの期間である、
ことを特徴とする付記1に記載の画像処理プログラム。
(付記3)前記指定が有効な期間は、前記指定がなされる前の期間である、
ことを特徴とする付記1に記載の画像処理プログラム。
(付記4)前記指定は、音声入力によって行われる、
ことを特徴とする付記1〜3のいずれか一つに記載の画像処理プログラム。
(付記5)前記指定は、マイクロフォンから入力された音声データの解析結果が、腸のいずれかのゾーンを示すことによって検知される、
ことを特徴とする付記1〜4のいずれか一つに記載の画像処理プログラム。
(付記6)前記指定は、キーボード、マウス又はタッチパネルによって行われる、
ことを特徴とする付記1〜3のいずれか一つに記載の画像処理プログラム。
(付記7)前記複数のゾーンは、少なくとも上行結腸、横行結腸、下行結腸、S状結腸のいずれかを含む、
ことを特徴とする付記1〜6のいずれか一つに記載の画像処理プログラム。
(付記8)ゾーンの指定が所定の順でなされたか否かの判定結果を出力させる、
ことを特徴とする付記1〜7のいずれか一つに記載の画像処理プログラム。
(付記9)所定のゾーンのそれぞれに撮像画像が対応付けられたか否かの判定結果を出力させる、
ことを特徴とする付記1〜7のいずれか一つに記載の画像処理プログラム。
(付記10)所定のゾーンの指定が所定の順でなされ、かつ、前記所定のゾーンのそれぞれに撮像画像が対応付けられたか否かの判定結果を出力させる、
ことを特徴とする付記1〜7のいずれか一つに記載の画像処理プログラム。
(付記11)取得した撮像画像を時系列順に表示する際に、時系列順に表示する各撮像画像が、いずれのゾーンの腸に対応付けられたかを示す情報を表示させる、
ことを特徴とする付記1〜10のいずれか一つに記載の画像処理プログラム。
(付記12)前記マイクロフォンから入力された音声データの解析結果が、腸のいずれかのゾーンを示す場合、当該ゾーンの名称を示す合成音を出力させる、
ことを特徴とする付記5に記載の画像処理プログラム。
(付記13)マイクロフォンから所定の内容の音声の入力がなされたことの検出を行うと、該検出から所定の他の内容の音声の入力がなされたことの検出がなされるまでの間に腸内に挿入された撮像装置から取得した撮像画像を、前記所定の内容に対応する腸内の部位に対応付けて記憶部に記憶する、
処理をコンピュータが実行することを特徴とする画像処理方法。
(付記14)前記所定の内容は、腸の第1の部位を示し、
前記所定の他の内容は、腸の第2の部位を示す、
ことを特徴とする付記13に記載の画像処理方法。
(付記15)前記腸の第1の部位は、少なくとも上行結腸、横行結腸、下行結腸、S状結腸のいずれかである、
ことを特徴とする付記14に記載の画像処理方法。
(付記16)腸内に挿入され、腸内画像を撮像する撮像装置から撮像画像を取得し、
複数のゾーンに分類された腸のうち、いずれのゾーンに対応する腸であるかの指定を受け付け、
前記指定が有効な期間において取得した1又は複数の撮像画像を、前記指定を受け付けたゾーンに対応付けて記憶部に記憶する、
処理を実行する機能を備える制御部を有することを特徴とする画像処理装置。