以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、第1の実施形態に係る医用情報表示システムを示す図である。本実施形態においては、医用情報表示システムが、医療分野における画像診断の読影レポートを医用情報として表示する場合を例に説明するが、医用情報表示システムの表示対象は、医用情報であればよく、その具体的な種類は実施形態に限定されるものではない。例えば、他の診断レポートであってもよい。
医用情報表示システムは、端末装置100と、PACS(Picture Archiving and Communication System)装置120と、レポート装置130と、を有している。ここで、端末装置100は、情報処理装置及び情報処理システムの一例である。PACS装置120は、画像データベース(以降、DB)121を有し、ネットワーク110を介して検査画像を保存、読み出しする機能を提供するサーバ装置である。画像DB121は、患者情報と、検査情報と、検査画像とを対応付けて記憶している。ここで、患者情報は、患者に関する情報である。検査情報は、検査に関する情報である。検査画像は、CTやMRIで撮影されたDICOM(Digital Imaging and Communications in Medicine)形式の画像である。検査画像は、医用情報の一例である。
レポート装置130は、レポートDB131有し、読影レポート情報を、ネットワーク110を介して保存、読み出しする機能を提供するサーバである。レポートDB131は、読影レポート情報を記憶している。読影レポート情報は、検査画像に対するレポートを示す情報であり、種類の異なる複数の医用情報を含む。読影レポート情報は、検査画像に対する所見、所見を根拠とする診断、診断を根拠とする推奨される検査等を示す情報である。
端末装置100は、表示対象として指定された検査に対する読影レポート情報をレポート装置130から読み出して表示する。また、端末装置100は、代表画像の指定に応じて、対応する検査画像をPACS装置120から読み出して表示する。
図2は、端末装置100のハードウェア構成図である。記憶媒体204は、OS(Operating System)や処理プログラムや各種情報を記憶する、HDD(Hard Disk Drive)等の記憶媒体である。ROM(Read Only Memory)201は、BIOS(Basic Input Output System)等、OSを起動するためのプログラムを記憶する。CPU(Central Processing Unit)202は、各種プログラムを実行する際の演算処理を行う。RAM(Random Access Memory)203は、CPU202がプログラムを実行する際の各種情報を一時記憶する。なお、後述する端末装置100の機能や処理は、CPU202がROM201又は記憶媒体204に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
入力インタフェース(以降I/F)205は、キーボード210、マウス220等の入力機器を接続する、USB(Universal Serial Bus)等の通信インタフェースである。ディスプレイI/F206は、ディスプレイ230a、230bへ画面表示を行うための、グラフィックボード等のインタフェースである。ネットワークI/F207は、IEEE(Institute of Electrical and Electronics Engineers)802.3ab等の規格に対応し、ネットワーク110を介した通信を行うための、インタフェースである。208は、各ブロックが通信を行う為の内部バスである。
図3は、ディスプレイ230a、230bの表示例を示す図である。本実施形態において、ディスプレイ230aには、ビューワ画面310が表示され、ディスプレイ230bには、レポート画面320が表示される。ビューワ画面310は、表示対象の患者の検査に係る検査画像を表示する画面である。レポート画面320は、表示対象の患者の検査の読影レポート情報を表示する画面である。
ビューワ画面310において、311は、患者情報を表示する領域である。患者情報は、患者氏名、患者ID、患者の年齢、性別等を含んでいる。312は、検査情報を表示する領域である。検査情報は、検査種別、検査部位、検査日、コメント等を含んでいる。
314は検査画像を表示する領域である。本領域では、表示するスライス位置の移動や、WL(Window Level)/WW(Window Width)といった画像表示条件の変更や、ROI(Region of Interest)等の図形表示等が可能である。ここで、ROIは、関心領域の一例である。ROIは、病変に係る部位等、医師が注目すべき領域である。313a、313bは同一検査で撮影された検査画像の代表画像である。ユーザによる、代表画像313a、313bのドラッグ&ドロップ等の選択操作に応じて314の領域に、対応する画像を表示できる。315は、画像に付与された図形であり、病変の位置等を明示するために使用される。図形としては、矩形の他、楕円形、円形、多角形、自由閉曲線、三角形、直線、矢印線等がある。
316は、図形315又はスライス画像に対応付けられた所見文を入力、表示する入力枠である。入力枠316は、スライス画像が表示された際に即座に表示しても、操作に応じて表示、非表示を切り替えできても、スライス画像が所定時間表示された際に自動で表示されても良い。
レポート画面320において、321は、患者情報を表示する領域である。322は、検査情報を表示する領域である。330は、選択されている検査と同一患者に対し、表示対象の読影レポート情報の作成時点よりも過去に得られた読影レポート情報を表示する表示領域である。以下、330を過去レポート領域と称する。また、表示対象の読影レポート情報の作成時点よりも過去に得られた読影レポート情報を、過去の読影レポート情報と称する。なお、起動時には、過去レポート領域330には、表示対象として選択された検査の1回前の検査に係る読影レポート情報が表示される。340は、表示対象の読影レポート情報、すなわち今回作成中の読影レポート情報を表示する表示領域である。以下、340を今回レポート領域と称する。また、表示対象の読影レポート情報を今回の読影レポート情報と称する。過去レポート領域330への書き込みや削除等の編集は禁止されている。一方、今回レポート領域340においては、編集が可能である。
331は、過去の検査を選択するコントロールであり、マウスクリックすると過去の検査の一覧が表示され、任意の検査を選択できる。332aは、過去の検査の依頼目的を表示する表示枠であり、依頼目的毎に分割して表示する。332aに表示される情報は、検査を依頼するシステム上で依頼医が作成しても、読影レポート情報を作成する際に読影医が作成しても、自由文の依頼目的から言語解析により抽出、生成してもよい。
333aは、過去の検査の読影レポート情報に示される代表画像から生成された医用表示画像である。代表画像は、所見の特徴を表すスライス画像であり、例えばユーザ操作に応じて設定される。医用表示画像は、代表画像上に、所見情報に示されるROIを示す画像が重畳された画像である。334aは、代表画像に対応する所見情報である。所見情報は、代表画像から得られる所見を示す医用情報である。所見情報には、画像から読み取れる客観的な事実が記載されている。所見情報は、読影医が画像を観察し見つけたものだけでなく、診療放射線技師によるプレ読影により見つけられたもの、CADe等の画像解析により見つけられたものを含んでよい。この際には、誰/何によって見つけられたものかを区別できるよう、表示態様が変更される(不図示)。
また、医用表示画像333aと所見情報334aは、情報間の対応関係を示す線で結ばれている。このように、表示処理部411は、医用表示画像333aと所見情報334aを結ぶ線を表示することにより、医用表示画像333aと所見情報334aとを紐付けて表示する。なお、表示処理部411は、情報間の紐付けを認識可能に表示すればよく、そのための具体的な表示形式は実施形態に限定されるものではない。紐付け表示の他の例としては、紐付けて表示すべき複数の情報を同じ色で表示する、同一の表示枠内に表示する等が挙げられる。
335aは、所見情報334aを根拠とする診断情報である。診断情報は、所見から判断される疾患等の主観的な情報である。診断情報335aは、所見情報334aと、原因/根拠の関係を示す矢印線で結ばれている。所見情報と診断情報との関係は、1対1でも1対多でも多対1でも多対多でもよい。336aは、診断情報335aを根拠とする推奨情報である。推奨情報は、診断の内容に応じて推奨される検査等の情報である。推奨情報336aは、診断情報335aと、原因/根拠の関係を示す矢印で結ばれている。診断情報と推奨との関係も、1対1でも1対多でも多対1でも多対多でもよい。
332bは、過去レポート領域330の表示枠332aと同様に、表示対象の検査(今回の検査)の依頼目的を表示する表示枠である。また、333bは、過去レポート領域330の医用表示画像333aと同様に、表示対象の検査の読影レポート情報に示される代表画像から生成された医用表示画像である。334b、335b及び336bは、それぞれ今回の読影レポート情報に係る所見情報、診断情報及び推奨情報である。図6に示す、医用表示画像に対応する代表画像、所見情報、診断情報及び推奨情報は、いずれも医用情報であり、その情報種別が異なる情報である。例えば、代表画像は、情報種別が「代表画像」の医用情報であり、所見情報は、情報種別が「所見情報」の医用情報である。
なお、図示されていないが、依頼目的と所見情報、診断情報、推奨情報は対応関係を持たせることが可能であり、対応関係を持つ場合には、依頼目的の選択により対応する情報がハイライト表示される。また、過去レポートの所見と今回レポートの所見は経時的な関係(以降、引継ぎ関係と呼ぶ)を持たせることが可能であり、引継ぎ関係を持つ場合には、依頼目的との関係同様に、対応する情報がハイライト表示される。
351は、作成したレポートを保存せずに終了するボタン、352は、一時保存して終了するボタン、353は確定保存して終了するボタンである。350は、指定した所見情報を時系列に並べて表示する為の画面(以降、時系列表示と呼ぶ)に切り替える為のボタンであり、時系列表示に関しては図10を用いて後述する。尚、表示する情報の種別や、表示のレイアウトや、情報や関係の表示方法は一例であり、これに限られるものではない。
図4は、端末装置100のソフトウェア構成図である。端末装置100の処理部400の表示処理部411は、PACS装置120の画像DB121から、表示対象となる検査の患者情報、検査情報、検査画像を読み出し、ビューワ画面310を作成し、ディスプレイ230aに表示させる。表示処理部411はまた、レポート装置130のレポートDB131から、読影レポート情報を読み出し、レポート画面320を作成し、ディスプレイ230bに表示させる。表示処理部411は、画像の表示条件の変更や過去検査の選択、時系列表示の切り替え等も行う。また、図4では図示しないが、画像DB121からの画像データの読み出し、レポートDB131からの読影レポート情報の読み出しは、ネットワーク110を介して行われる。
図5は、読影レポート情報の一例を示す図である。読影レポート情報500は、複数の医用情報と、複数の関係情報と、を含んでいる。すなわち、読影レポート情報500に含まれる複数の医用情報は、同一の読影レポート情報500に含まれていることにより、互いに関係付けられた情報として管理されている。なお、読影レポート情報500は、端末装置100がビューワ画面及びレポート画面を表示する際に、端末装置100のCPU202がレポート装置130から読み出して、自装置のRAM203等の記憶部に記録するものとする。
医用情報は、医療において参照される情報である。各医用情報は、「情報種別」と、「属性情報」と、を含んでいる。本実施形態においては、医用情報の情報種別として、「レポート識別情報」、「患者情報」、「検査情報」、「依頼目的」、「代表画像」、「所見」、「診断」、「推奨」及び「ROI」のいずれかが設定される。なお、医用情報の情報種別は、実施形態に限定されるものではない。以下、情報種別が「レポート識別情報」、「患者情報」及び「検査情報」の医用情報を、それぞれ適宜「レポート識別情報」、「患者情報」及び「検査情報」と称する。また、情報種別が「依頼目的」、「代表画像」、「所見」、「診断」、「推奨」及び「ROI」の医用情報を、それぞれ適宜「依頼目的情報」、「代表画像」、「所見情報」、「診断情報」、「推奨情報」及び「ROI情報」と称する。
関係情報は、医用情報間の特定の関係を示す情報である。本実施形態の関係情報は、「関係種別」と、「属性情報」と、を含んでいる。本実施形態においては、関係情報の関係種別として、「対応」、「原因/根拠」及び「引き継ぎ」の何れかが設定される。なお、関係情報の関係種別は、実施形態に限定されるものではない。
レポート情報は、レポートID、読影医、撮影日時の属性情報を含んでいる。また、患者情報は、患者氏名、患者ID、年齢、性別の属性情報を含んでいる。また、検査情報は、検査種別、検査部位、検査日、コメントの属性情報を含んでいる。代表画像は、代表画像としての検査画像を一意に識別するUID(Unique Identifier)、代表画像に付与されたROIに係るROI情報を識別するROI UIDを含んでいる。代表画像は、画像表示を再現するための表示条件の情報をさらに含んでいてもよい。
依頼目的情報は、UID、内容(テキスト)の属性情報を含んでいる。所見情報は、UID、所見の自由文、部位名、病変種別の属性情報を含んでいる。ここで、部位名や病変種別は、言語解析により自由文から抽出しても、ユーザに入力させてもよい。診断情報は、UID、自由文、診断名の属性情報を含んでいる。推奨情報は、UID、自由文の属性情報を含んでいる。ROI情報は、UID、座標、ROI番号の属性情報を含んでいる。なお、本実施形態においては、ROIは包含関係に基づく親子関係を有する。子のROI情報が作成された場合には、親のROI情報に対応する所見情報に、このROI情報に対応する「ROI番号:」の文字列が追加される。
関係情報は、関係元UIDと関係先UIDの属性情報を含んでいる。関係元と関係先のUIDには、依頼目的、代表画像、所見、診断、推奨、ROIの何れかのUIDが入る。以上のように、読影レポート情報500、複数の医用情報を含み、また、複数の医用情報間の関係を特定するための情報である。なお、複数の医用情報間の関係を特定するための情報のデータ構成は、読影レポート情報500に限定されるものではない。
図4に戻り、受付部412は、ユーザ操作に応じた指示を受け付ける。受付部412は、例えば、レポート画面320における所定の操作入力に対応し、読影レポート情報に記載された「依頼目的」、「代表画像」、「所見」、「診断」、「推奨」の少なくとも1つの情報種別の医用情報の指定指示を受け付ける。操作入力は、例えば、マウス220による情報上での左クリック操作やキーボード210の方向キーの入力操作であるが、これに限られるものではない。また、受付部412は、キーボード210やマウス220による操作に対応し、読影レポート情報の編集指示を受け付ける。編集とは、「ROI」や「所見」の医用情報の作成、代表画像の貼付、「依頼目的」や「診断」や「推奨」等の項目の作成、項目のテキスト編集、項目間の関係付けの追加、変更、削除、項目の削除、「所見」の医用情報の分割等である。
編集部413は、受付部412が受け付けた指示に従い、読影レポート情報500を編集し、さらに、編集結果に応じてレポートDB131内の読影レポート情報500を更新する。編集部413は、例えば、1つの所見情報が2つの所見情報に分割された場合に、各所見情報と代表画像とを対応付けるように読影レポート情報500を編集する。なお、編集部413の詳細な処理については後に詳述する。
図6は、引継ぎコピー時のレポート画面320の表示例を示す図である。ここで、引継ぎコピーとは、過去に得られた所見情報と経時的な関係を持つ所見情報をコピーすることにより新たに所見情報を作成する処理である。図6(a)は、新規の今回レポートを作成する際のレポート画面320の表示例を示す図である。今回検査は「2015年8月23日 11:23」であり、前回検査は「2015年5月19日9時48分」である。前回の検査目的は332aに示す「肺癌の精査」であり、医用表示画像333aから、所見情報334aとして多発結節を認め、診断情報335a、推奨情報336aに示すように、肺炎を疑いフォローアップが推奨されている。
前回検査に伴い、今回検査の依頼目的は、332aにあるように「肺炎のフォロー」とされている。そこで、医師等のユーザは、多発結節の前回の所見情報334aをマウス指定し(601はマウスのポインタを表す)、マウスオーバーにより表示される引継ぎボタン602をクリックする。これに対し、所見情報334aが、今回レポートに引継ぎコピーされる。引継ぎコピーとは、引継ぎ関係が付与されたコピーである。
図6(b)は、引継ぎコピー後の表示画面の一例である。医用表示画像333aと医用表示画像333b、所見情報334aと所見情報334b、診断情報335aと診断情報335b、推奨情報336aと推奨情報336bは、それぞれ引継ぎの関係になる。ここで医用表示画像333bを貼付するためには、前回画像に対応する今回画像のシリーズの特定と画像の位置合わせが必要となる。シリーズの特定はDICOM情報のマッチング、画像の位置合わせは両シリーズの3次元画像情報の差を最小化する既知の方法により行うが、これに限られるものではない。
図7は、所見情報の分割時のレポート画面320の表示例を示す図である。図7(a)は、ユーザが所見情報の分割指示を入力する際のレポート画面320の表示例を示す図である。700aは、ユーザにより指定された情報であり、所見情報334b内の文字列である。すなわち、情報700aは、所見情報334bの一部の内容に相当する。ユーザが、情報700aを診断情報335cに関係付ける操作を行うと、受付部412は、所見情報334bから情報700aを分割することを示す分割指示を受け付ける。分割指示を受け付けると、表示処理部411は、情報700aを新たな所見情報として表示し、さらに、所見情報334bの表示から情報700aの表示を削除する。
図7(b)は、分割指示に応じた処理後のレポート画面320を示す図である。図7(b)に示すレポート画面320において、所見情報334bは、分割指示に従い、所見情報334cと所見情報334dに分割されている。さらに、所見情報の分割に伴い、対応する医用表示画像333bも、医用表示画像333cと医用表示画像333dに分割されている。
なお、関係付け操作は、例えば、情報700aを選択し、診断情報335c上にドラッグ&ドロップする操作(700b)である。なお、図示しないが、情報700aを指定した状態で、TABキーを入力すると、受付部412は、情報700aに新規診断情報を追加する追加指示を受け付ける。新規の診断情報は、所見情報334bに紐付けられた診断情報335dとは異なる。したがって、本操作は、所見情報334bの一部の情報700aを新たな所見情報とするための操作となる。また、所見情報334bの文字列内でCtrl+Enterキーの入力は、文字入力のカーソル位置後方の文字列を、所見情報334bから分割する操作となる。その他、ボタン、メニュー等で、分割指示を行ってもよい。
図8は、分割前後の医用表示画像を示す図である。所見情報に複数のROI情報が関係付けられている場合には、表示処理部411は、代表画像に設定された検査画像(撮影画像)上に、複数のROI情報それぞれに係る複数のROI番号及びROIの表示枠を重畳した画像を医用表示画像として表示する。ここでROI番号及びROIの表示枠は、関心領域を示す領域画像の一例である。また、ROI番号は、関心領域としてのROIの識別情報を示す画像であり、関心領域を示す領域画像の一例である。以下、表示枠及びROI番号を、適宜領域画像と総称する。
例えば、読影レポート情報500において、代表画像に関係付けられた所見情報334bにROI番号1〜8に対応する8つのROI情報が対応付けられているとする。この場合には、表示処理部411は、図8に示すように、代表画像に8つのROIそれぞれに対応するRIO番号及び表示枠を重畳した画像を医用表示画像333bとして表示する。
なお、例えば、ROI番号2〜8のROIがROI番号1のROIの子として指定されている場合には、図8に示すように、医用表示画像333bは、番号1のROIの表示枠内に番号2〜8のROIの表示枠が配置された画像となる。このように、表示処理部411は、撮影画像と、関心領域と、に基づいて、医用表示画像を描画する。
所見情報334bが所見情報334c、334dに分割されると、分割に係る文字列とROIとの対応関係に基づいて、所見情報334c、334dそれぞれに対応する医用表示画像333c、333dが生成され、表示される。このとき表示される医用表示画像333cは、ROI番号1〜5、7、8に対応する領域画像が重畳されたスライス画像(検査画像)であり、医用表示画像333dは、ROI番号6に対応する領域画像が重畳されたスライス画像(検査画像)である。なお、医用表示画像333c、333dのスライス画像は同一の画像である。
また、他の例としては、図9に示すように、所見情報に複数のROI情報が関係付けられている場合に、表示処理部411は、1つの所見情報に対し、各ROI情報に対応する複数の医用表示画像を紐付けて表示してもよい。8個のROI情報が対応付けられている所見情報334bに対しては、図9に示すように、1つの所見情報334bに対し、8個の医用表示画像333e〜333lを紐付けて表示する。ここで、医用表示画像333e〜333lは、それぞれROI番号1〜8の領域画像が重畳されたスライス画像である。なお、他の例として、複数の医用表示画像333e〜333lのそれぞれにすべてのROIに対応する領域画像を重畳し、所見情報に対応するROIの領域画像と所見情報に対応しないROIの領域画像とを異なる表示態様で表示してもよい。これにより、所見情報に対応するROIの領域画像と所見情報に対応しないROIの領域画像とを区別することができる、異なる表示態様で表示する方法としては、例えばROI番号や表示枠の線の太さや色を異ならせる等の方法が挙げられる。
図10は、時系列表示時のレポート画面320の表示例を示す図である。本表示画面では、表示領域1000に「2014/11/25」、「2015/2/20」、「2015/5/19」、「2015/8/23」、「2015/11/15」の5回の検査の所見情報と対応する医用表示画像が時系列に並べて表示されている。ここで、1001は、表示位置に対応する時点で所見情報が分割されたことを示している。表示ボタン1002は、クリックすることにより時系列表示を終了し、レポートの表示入力画面に戻るためのボタンである。
図11は、所見情報中の分割対象の一部の内容(文字列)とROI情報とを対応付けるためのユーザ操作の説明図である。ユーザは、所見情報334bの一部の内容1100aを医用表示画像333aの所望のROIの表示枠内にドラッグ&ドロップする(1100b)。ドラッグ&ドロップ操作が行われると、端末装置100は、一部の内容1100aと、ROI情報(図11の例では、ROI番号6のROI情報)との関係付けを行う。ここで、関係付けとは、対象となる複数の情報を対応付けて記録することである。本実施形態においては、編集部413が、一部の内容と、ROI番号とを対応付ける情報を読影レポート情報500に追加する。
さらに、本ユーザ操作により、図11に示すように、所見情報の表示も更新される。図11の例では、所見情報334bが所見情報334eに更新される。所見情報334eは、一部の内容1101に対し、対応付けられたROI情報を識別する文字列1102が挿入される。図11の例ではROI番号6に対応して「6:」の文字列1102が挿入される。
図12(a)は、分割対象の所見情報に対応するROI情報を選択するROI選択画面1200の一例を示す図である。ROI選択画面1200には、所見情報334cに関係付けられた医用表示画像333bが表示される。ユーザは、方向キーやマウスクリックにより、医用表示画像333b上において、ROIを選択することができる。OKボタン1201がクリックされると、端末装置100は、分割対象の所見情報に関係付けるROIを、選択したROIに決定する。キャンセルボタン1202がクリックされると、端末装置100は、選択処理を中断する。新規作成ボタン1203がクリックされると、端末装置100は、ビューワ画面310上で、ROIを新規作成できる。
図12(b)は、代表画像の生成時に、分割対象の所見情報に関係付ける代表画像を選択する画像選択画面1210の一例を示す図である。分割対象の所見情報334cに2つの代表画像333m、333nが対応付けられている場合には、画像選択画面1210には、2つの代表画像333m、333nが表示される。この場合も端末装置100は、ROI選択画面1200における操作と同様のユーザ操作に応じて、ROIを選択又は新規作成することができる。
図13は、ROIを指定するアイコンの形状の説明図である。ROIのアイコンの形状は、図13(a)に示すような矩形1301、図13(b)に示すような直線1302、図13(c)に示すような矢印1303、図13(d)に示すような三角形1304等である。なお、ROIの形状は、図13の例に限定されるものではなく、円形、楕円形、多角形等、その他の形状であってもよい。
図14は、端末装置100によるメイン処理を示すフローチャートである。S1401において、表示処理部411は、画像DB121から画像情報を読み出す。表示処理部411はまた、レポートDB131から読影レポート情報を読み出す。そして、表示処理部411は、画像情報及び読影レポート情報に基づいて、ビューワ画面310及びレポート画面320を表示するよう制御する。次に、S1402において、受付部412が、ビューワ画面310を介して、スライス送りや表示条件の変更等の画像の表示指示を受け付けると(S1402でYes)、処理をS1403へ進める。CPU202は、画像の表示指示を受け付けなかった場合には(S1402でNo)、処理をS1404へ進める。
S1403において、表示処理部411は、対象画像の表示を表示指示に応じて変更する。次に、S1404において、受付部412は、レポート画面320のコントロール331を介して過去の検査の選択指示を受け付けると(S1404でYes)、処理をS1405へ進める。受付部412は、過去の検査の選択指示を受け付けなかった場合には(S1404でNo)、処理をS1406へ進める。
S1405において、表示処理部411は、選択指示に係る読影レポート情報をレポートDB131から読み出し、レポート画面320に表示する。次に、S1406において、受付部412は、所見情報の引継ぎ指示を受け付けると(S1406でYes)、処理をS1407へ進める。受付部412は、所見情報の引継ぎ指示を受け付けなかった場合には(S1406でNo)、処理をS1408へ進める。
S1407において、編集部413は、引継ぎ指示に係る情報を今回読影レポート情報に引継ぎコピーする。引継ぎ指示は、ユーザが引継ぎボタン602をクリックした場合に、受付部412が引継ぎ指示を受け付けるものとする。引継ぎコピーとは、過去の所見と経時的な関係を持つコピーのことを呼ぶ。また、引継ぎ元となる情報は、ユーザ操作に応じて指定される。また、指定された情報は、ハイライト表示される。以下、特に断らない限り、レポートの作成、編集操作は、ユーザ操作に応じて指定された情報に対して、ユーザ操作に応じた編集を編集部413が行う。
次に、S1408において、受付部412は、ROI情報の作成指示を受け付けると(S1408でYes)、処理をS1409へ進める。受付部412は、ROI情報の作成指示を受け付けなかった場合には(S1408でNo)、処理をS1411へ進める。S1409において、編集部413は、ROIが作成された画像に対応する代表画像、代表画像に対応する所見が存在しなければ代表画像、所見情報をそれぞれ作成する。次に、S1410において、編集部413は、ROI情報を作成し、対応する代表画像との関連付けを行う。ここで、関連付けとは、ROI情報と、所見情報と、代表画像とを対応付けて記録する処理であり、本実施形態においては、ROI情報と、所見情報と、代表画像とを同一の読影レポート情報に追加する処理となる。
次に、S1411において、受付部412は、項目の作成指示を受け付けると(S1411でYes)、処理をS1412へ進める。ここで、項目は、所見情報、診断情報、推奨情報等、情報種別に相当する。受付部412は、項目の作成指示を受け付けなかった場合には(S1411でNo)、処理をS1413へ進める。S1412において、編集部413は、作成指示に係る項目を新規作成する。
次に、S1413において、受付部412は、項目内のテキストの編集指示を受け付けると(S1413でYes)、処理をS1414へ進める。受付部412は、テキストの編集指示を受け付けなかった場合には(S1413でNo)、処理をS1415へ進める。S1414において、編集部413は、編集指示に従い指定項目のテキストを編集する。ここで、テキストの編集とは、文字の入力、文字の削除、文字列の選択、文字列のカット、文字列のコピー、文字列のペースト等である。
次に、S1415において、受付部412は、関係付けの変更指示を受け付けると(S1415でYes)、処理をS1416へ進める。受付部412は、関係付けの変更指示を受け付けなかった場合には(S1415でNo)、処理をS1417へ進める。S1416において、編集部413は、変更指示に従い、関係先又は関係元を指定項目に変更する。なお、ユーザが、関係付けを示す線の端点のドラッグ&ドロップを行った場合に、受付部412は、ドロップされた先が、新たな関係先又は関係元として指定された変更指示を受け付ける。
S1417において、受付部412は、項目の追加指示を受け付けると(S1417でYes)、処理をS1418へ進める。受付部412は、項目の追加指示を受け付けなかった場合には(S1417でNo)、処理をS1420へ進める。S1418において、編集部413は、追加指示に係る新規項目を作成する。次に、S1419において、編集部413は、追加指示に係る新規項目と指定項目の関係付けを行う。例えば、ユーザが、所見情報を指定してTABキーを押下すると、編集部413は、指定された所見情報に関係付けされた診断情報を作成する。同様に、ユーザが、診断情報を指定してTABキーを押下すると、編集部413は、診断情報に関係付けされた推奨情報を作成する。また、ユーザが、診断情報を指定して、所定のショートカットキーを押下すると、編集部413は、診断情報に関係付けされた所見情報に新たな診断情報を追加する。項目の追加操作は一例であり、これに限られるものではない。
次に、S1420において、受付部412は、関係付けの追加指示を受け付けると(S1420でYes)、処理をS1421へ進める。受付部412は、関係付けの追加指示を受け付けなかった場合には(S1420でNo)、処理をS1422へ進める。S1421において、編集部413は、追加指示に係る複数の指定項目間を関係付ける処理を行う。例えば、ユーザがある所見情報をある診断情報にドラッグ&ドロップすると、受付部412は、追加指示を受け付け、編集部413は、ドラッグ&ドロップに係る所見情報と診断情報を関係付ける。なお、関係付けの追加指示に対応するユーザ操作は一例であり、これに限られるものではない。
次に、S1422において、受付部412は、所見情報の分割指示を受け付けると(1422でYes)、処理をS1423へ進める。受付部412は、所見情報の分割指示を受け付けなかった場合には(S1422でNo)、処理をS1425へ進める。ここで、S1422の処理は、分割指示を受け付ける受付処理の一例である。S1423において、編集部413は、所見情報分割処理を行う。次に、S1424において、編集部413は、画像分割処理を行う。なお、所見情報分割処理(S1423)及び画像分割処理(S1424)については、それぞれ図15及び図16を参照しつつ後に詳述する。
なお、分割指示を入力するためのユーザ操作としては、図7(a)に示すように、所見情報の文字列を診断情報に関係付ける操作が挙げられる。また、他の例としては、文字列を選択してTABキーを押下することによる新規診断の追加操作、その他ショートカットキーの押下操作、メニュー選択操作等が挙げられる。
次に、S1425において、受付部412は、項目の削除指示を受け付けると(S1425でYes)、処理をS1426へ進める。受付部412は、項目の削除指示を受け付けなかった場合には(S1425でNo)、処理をS1428へ進める。S1426において、編集部413は、削除指示に係る項目を削除する。次に、S1427において、編集部413は、削除指示に係る項目が関係する関係情報も削除する。なお、ユーザが、項目をマウスクリックや方向キーで指定した状態でDeleteキーを押下すると、受付部412は、項目の削除指示を受け付ける。
次に、S1428において、受付部412は、関係付けの削除指示を受け付けると(S1428でYes)、処理をS1429へ進める。受付部412は、関係付けの削除指示を受け付けなかった場合には(S1428でNo)、処理をS1430へ進める。S1429において、編集部413は、削除指示に係る関係情報を削除する。なお、ユーザが、関係付けを示す線をマウスクリックし、選択した状態でDeleteキーを押下すると、受付部412は、関係付けの削除指示を受け付ける。
次に、S1430において、受付部412は、所見情報の文字列とROIとの関係付け指示を受け付けると(S1430でYes)、処理をS1431へ進める。受付部412は、関係付け指示を受け付けなかった場合には(S1430でNo)、処理をS1432へ進める。S1431において、受付部412は、対象の文字列とROI情報とを関係付ける。なお、ユーザが、図11に示すように、所見情報内の文字列を選択し、ROI情報にドラッグ&ドロップする操作を行った場合に、受付部412は、関係付け指示を受け付ける。
また、所見情報の文字列とROI情報の関係付けは、文字列の所定の位置(前或いは後ろ)にROI情報(ROIを識別する文字列)を挿入する処理である。また、他の例としては、関係付けは、両情報の関係情報を生成し、読影レポート情報500に追加する処理であってもよい。
次に、S1432において、受付部412は、時系列表示の切替指示を受け付けると(S1432でYes)、処理をS1433へ進める。受付部412は、時系列表示の切替指示を受け付けなかった場合には(S1432でNo)、処理をS1434へ進める。S1433において、編集部413は、切替指示に従い、図10を参照しつつ説明した時系列表示の表示/非表示を制御する。なお、ユーザが、時系列表示ボタン350(図3参照)をクリックすると、受付部412は、時系列表示への切替指示を受け付ける。また、ユーザが、レポートの表示ボタン1002(図10参照)をクリックすると、時系列表示の表示停止への切替指示を受け付ける。
次に、S1434において、受付部412は、確定保存指示を受け付けると(S1434でYes)、処理をS1435へ進める。受付部412は、確定保存指示を受け付けなかった場合には(S1434でNo)、処理をS1436へ進める。なお、ユーザが、確定保存ボタンのクリック等の操作を行うと、受付部412は、確定保存指示を受け付ける。S1435において、編集部413は、読影レポート情報500をレポートDB131に確定状態で保存する。
次に、S1436において、受付部412は、一時保存指示を受け付けると(S1436でYes)、処理をS1437へ進める。受付部412は、一時保存指示を受け付けなかった場合には(S1436でNo)、処理をS1438へ進める。なお、ユーザが、一時保存ボタンのクリック等の操作を行うと、受付部412は、一時保存指示を受け付ける。S1437において、編集部413は、読影レポート情報を一時保存状態で保存する。S1438において、受付部412は、未保存終了指示を受け付けると(S1438でYes)、処理を終了する。受付部412は、未保存終了指示を受け付けなかった場合には(S1438でNo)、処理をS1402へ進める。なお、ユーザが、未保存終了ボタンのクリック等の操作を行うと、受付部412は、未保存終了指示を受け付ける。
図15は、図14を参照しつつ説明した所見情報分割処理(S1423)における詳細な処理を示すフローチャートである。S1501において、編集部413は、新規の所見情報を作成し、読影レポート情報500に記録する。次に、S1502において、編集部413は、分割元となる所見情報に対応付けられている引継ぎ関係を、新規作成した所見情報に対して関係付ける。ここで、引継ぎ関係とは、図5を用いて説明した、関係種別が「引継ぎ」である関係情報であり、過去の所見と今回の所見との経時的な対応関係を表している。
次に、S1503において、編集部413は、分割指示における、分割位置の指定方法を確認する。編集部413は、分割位置が指定されている場合には(S1503で位置)、処理をS1504へ進める。編集部413は、分割範囲が指定されている場合には(1503で範囲)、処理をS1505へ進める。S1504において、編集部413は、指定された分割位置以降の文字列を分割範囲に設定し、その後処理をS1506へ進める。S1505において、編集部413は、指定された分割範囲を分割範囲に設定し、その後処理をS1506へ進める。
S1506において、編集部413は、分割範囲の文字列を、S1501において作成した新規の所見情報として記録する。すなわち、編集部413は、分割範囲の文字列を所見情報として読影レポート情報に記録する。さらに、編集部413は、分割元の所見情報から、分割範囲の文字列を削除する。ここで、分割位置が指定された所見分割の操作は、所見のテキスト内にマウスカーソルがある状態での所定のショートカットキー操作であり、マウスカーソル位置以降が分割範囲となる。また、分割範囲が指定された所見分割の操作は、所見のテキストを範囲指定した状態での所定のショートカットキー操作であり、範囲指定されたテキストが分割範囲となる。
次に、S1507において、受付部412は、分割指示と共に、新規診断の追加指示を受け付けた場合には(S1507でYes)、処理をS1508へ進める。編集部413は、新規診断の追加指示を受け付けなかった場合には(S1507でNo)、処理をS1510へ進める。S1508において、編集部413は、新規の診断情報を作成する。次に、S1509において、編集部413は、作成した新規の診断情報と、S1501において作成した新規の所見情報との関係付けを行う。
次に、S1510において、受付部412は、分割指示と共に、既存の診断情報との関係付け指示を受け付けた場合には(S1510でYes)、処理をS1511へ進める。編集部413は、診断情報との関係付け指示を受け付けなかった場合には(S1510でNo)、処理をS1512へ進める。S1511において、編集部413は、指定された診断情報と、S1501において作成した新規の所見情報との関係付けを行う。
次に、S1512において、表示処理部411は、所見情報の表示を更新する。具体的には、図7(b)に示すように、表示処理部411は、情報700aを、所見情報334bと異なる新たな所見情報334dとして表示する。表示処理部411は、さらに、所見情報334bから情報700aを削除した、新たな所見情報334cを表示する。以上で、所見情報分割処理が終了する。
図16は、図14を参照しつつ説明した画像分割処理(S1424)における詳細な処理を示すフローチャートである。S1601において、編集部413は、分割に際し新たに生成された所見情報に対応するROI情報を、分割元の代表画像に関係付けられたROI情報の中から特定する。なお、ROI特定処理については、図17を参照しつつ後に詳述する。
次に、S1602において、編集部413は、特定されたROI情報が1つのみの場合には(S1602でYes)、処理をS1609へ進める。編集部413は、特定されたROI情報が1つのみでない場合、すなわち特定されたROI情報が複数ある場合、又は特定されたROI情報がない場合には(S1602でNo)、処理をS1603へ進める。S1603において、表示処理部411は、ROI選択画面1200(図12(a)参照)を表示する。次に、S1604において、受付部412がユーザ操作に応じてROIの選択指示を受け付けると(S1604でYes)、処理をS1609へ進める。受付部412が選択指示を受け付けなかった場合には(S1604でNo)、処理をS1605へ進める。
S1605において、編集部413は、画像選択画面1210(図12(b)参照)を表示する。次に、S1606において、受付部412は、ユーザによる代表画像の選択を受け付ける。次に、S1607において、編集部413は、選択された代表画像をS1423において作成された新規の所見情報に対応する代表画像として、読影レポート情報に記録する。具体的には、編集部413は、新規の所見情報と代表画像とを関係付けて記録する。次に、S1608において、表示処理部411は、新規の所見情報に紐付けて、選択された代表画像を医用表示画像として表示する。以上で、代表画像の生成処理が終了する。
一方、S1609において、編集部413は、新規の所見情報に、S1601又はS1604において特定されたROI情報と、当該ROI情報に関係付けられた代表画像と、を関係付ける。次に、S1610において、編集部413は、分割元の所見情報と、S1601又はS1604において特定されたROI情報とを関係付ける情報を削除する。
次に、S1611において、編集部413は、分割元の所見情報に関係付けられている代表画像で、新規所見情報にも関係付けられた代表画像と、分割元の所見情報とを関係付ける情報を、削除可能か否かを判断する。編集部413は、分割元の所見情報と、代表画像に関係付けられたROI情報とが関係付けられていない場合に、削除可能と判断する。編集部413は、削除可能な場合には(S1611でYes)、処理をS1612へ進める。編集部413は、削除不可な場合には(1611でNo)、処理をS1613へ進める。S1612において、編集部413は、分割元の所見情報と、新規所見情報に関係付けられた代表画像とを関係付ける情報を削除する。
次に、S1613において、表示処理部411は、医用表示画像の表示を更新する。具体的には、表示処理部411は、図7(b)、図8に示すように、分割に係る内容に対応するROIの領域画像が重畳された医用表示画像を、新規の所見情報に紐付けて表示する。さらに、表示処理部411は、分割元の所見情報に紐付けられた医用表示画像を分割に係る内容に基づいて更新する。具体的には、表示処理部411は、分割元の所見情報に紐付けられた医用表示画像から、分割に係る内容に対応するROIの領域画像を削除することにより、新たな医用表示画像とする。以上で、画像分割処理を終了する。
図17は、図16を参照しつつ説明したROI情報特定処理における詳細な処理を示すフローチャートである。S1701において、編集部413は、読影レポート情報500に基づき、分割対象の所見情報の文字列に関係付けられたROI情報の有無を確認する。ROI情報が存在する場合には(S1701でYes)、処理をS1702へ進める。編集部413は、ROI情報が存在しない場合には(S1701でNo)、処理をS1703へ進める。S1702において、編集部413は、関係付けされたROI情報を分割に際し新たに生成された新規の所見情報に対応するROI情報として特定し、処理を終了する。
S1703において、編集部413は、分割対象の所見情報にROIを識別する文字列が含まれているか否かを確認する。編集部413は、ROIを識別する文字列が含まれている場合には(S1703でYes)、処理をS1704へ進める。編集部413は、ROIを識別する文字列が含まれていない場合には(S1703でNo)、処理をS1705へ進める。
S1704において、編集部413は、文字列により識別されるROI情報を、新規の所見情報に対応するROI情報として特定し、処理を終了する。ここで、ROIを識別する文字列とは、前述のROI番号にデリミタを含む文字列(例えば「1:」)である。なお、他の例としては、ROIを識別する文字列は、ROIの形状や色を表現する文字列(例えば「白矢印」、「黄三角」、「破線四角」)であってもよい。
S1705において、編集部413は、分割対象の文字列に関係付けられた画像の部位の位置を特定する。以下、部位の位置を特定する処理について説明する。編集部413は、まず、DICOM情報から、撮影部位情報を取得し、画像のスライス位置情報を取得し、患者年齢や性別情報を取得する。続いて、編集部413は、取得した情報に基づき、対応する人体モデル情報を取得し、画像の3次元画像を取得する。ここで、人体モデル情報とは、解剖学的な部位の標準的な位置や範囲を定義した情報であり、3次元画像とは、スライス画像がZ軸方向に所定のスライス厚で連続したものである。
続いて、編集部413は、当該3次元画像と人体モデルとの位置合わせを行う。そして、編集部413は、位置合わせの結果に基づき、当該3次元画像上での部位の位置と範囲を特定する。ここで、位置合わせとは、3次元画像を濃度変化に基づき領域分割し、非線形な座標変換のパラメータを調整し、人体モデルとの差を最小化することである。ただし、位置合わせの方法は、実施形態に限定されるものではない。また、分割元の所見情報に関係付けされた代表画像が複数存在し、3次元画像が異なる場合は、編集部413は、全ての3次元画像に対して同様の処理を行う。なお、部位の位置を特定する処理は、実施形態に限定されるものではなく、その他の特定方法を用いてもよい。
次に、S1706において、編集部413は、所見情報の、分割対象の文字列から部位情報を抽出する。部位情報抽出では、文字列を形態素解析し、部位名を定義する辞書とのマッチングをとることで抽出する。ただし、部位情報の抽出方法は、実施形態に限定されるものではない。次に、S1707において、編集部413は、分割元の所見情報に関係付けられた代表画像を特定し、この代表画像に関係付けられたROI情報を特定する。そして、編集部413は、特定したROI情報を1つ読み出す。
次に、S1708において、編集部413は、ROIのアイコンの形状を確認する。編集部413は、ROIのアイコンの形状が、矩形、多角形、円形、楕円形である場合(S1708で多角形、円形又は楕円形)、処理をS1709へ進める。編集部413は、ROIのアイコンの形状が、直線又は両方向矢印の場合には(S1708で直線又は両方向矢印)、処理をS1710へ進める。編集部413は、ROIのアイコンの形状が、矢印又は三角形の場合には(S1708で矢印又は三角形)、処理をS1711へ進める。
S1709において、編集部413は、ROIのアイコンで囲まれた内側の所定の領域に対応する部位をROIの部位として特定し、その後処理をS1712へ進める。S1710において、編集部413は、ROIのアイコンの両端を含む所定の領域に対応する部位をROIの部位として特定し、その後処理をS1712へ進める。S1711において、編集部413は、ROIのアイコンの先端からROIのアイコンの方向に所定範囲の領域に対応する部位をROIの部位として特定し、その後処理をS1712へ進める。
S1712において、編集部413は、ROIの部位と、分割対象の文字列から抽出された部位情報とが一致するROIを特定する。そして、編集部413は、特定したROIを示すROI情報を、新たに生成された所見情報に対応するROI情報として特定する。次に、S1713において、編集部413は、分割元の所見情報に対応付けられたすべてのROI情報に対し、S1707〜S1712の処理を行ったか否かを確認する。編集部413は、すべてのROI情報に対する処理を終了した場合には(S1713でYes)、ROI情報特定処理を終了する。編集部413は、未処理のROI情報が存在する場合には(S1713でNo)、処理をS1707へ進める。なお、所見情報分割処理(S1423)及び画像分割処理(S1414)は、新規の所見情報(医用情報)と、対応する関心領域と、代表画像としての撮影画像とを関係付けて記憶部に登録する登録処理の一例である。
以上のように、本実施形態に係る端末装置100は、所見情報が分割された場合に、これに対応し、代表画像と所見情報の関係及びその表示を自動的に更新することができる。本実施形態に係る端末装置100は、所見情報が分割された場合に、これに対応し、代表画像と所見情報の関係を自動的に更新することができる。したがって、複数の医用情報間の関係を登録するためのユーザ操作を省略することができる。また、端末装置100は、分割する所見情報の文字列とROIとの関係付けが明示されていない場合でも、対応するROIを自動的に特定し、代表画像を生成することができる。また、端末装置100は、選択された文字列と診断情報との関係付けや、新規に生成された診断情報の追加に応じて所見情報の関係付けを実施することができる。以上のように、ユーザ操作を省略することができる。以上のように、端末装置100は、病変の単位が変更になった場合においても、病変の経時的な変化を追跡可能に、医用情報を表示することができる。
本実施形態に係る医用情報表示システムの変更例について説明する。本実施形態においては、端末装置100は、1つの所見情報が複数の所見情報に分割される場合に、分割後の各所見情報とROI情報とを関係付ける情報を記録する。そして、表示処理部411が表示時に代表画像上にROI情報に対応する領域画像を重畳して描画することにより、医用表示画像を表示する。ただし、端末装置100は、医用表示画像と所見情報とを紐付けて表示するための情報を記憶していればよく、そのためのデータ構成は実施形態に限定されるものではない。他の例としては、編集部413は、分割指示を受け付けた場合に、分割後の所見情報と紐付けて表示される医用表示画像を生成し、生成した医用表示画像と所見情報とを関係付けて記録してもよい。この場合には、表示処理部411は、医用表示画像の表示時には、所見情報に関係付けて記憶されている医用表示画像を読み出して、表示すればよい。すなわち、編集部413は、代表画像をコピーし、コピーした代表画像と新規の所見情報との間に、新規の関係付けの情報を追加し、コピー元の代表画像に関係付けられたROI情報が存在しない場合にはコピー元の代表画像を削除してもよい。
(第2の実施形態)
次に、第2の実施形態に係る医用情報表示システムについて説明する。第2の実施形態に係る医用情報表示システムにおいては、端末装置100は、所見の検出をCADeで行い、また医療文書の分割だけでなく、統合も行う。以下、第2の実施形態に係る医用情報表示システムについて、第1の実施形態に係る医用情報表示システムと異なる点について説明する。
図18は、第2の実施形態に係る読影レポート情報の一例を示す図である。読影レポート情報1800は、読影レポート情報500と同様に、複数の医用文書と、複数の関係情報と、を含んでいる。読影レポート情報1800においては、情報種別「グループ所見」の医用情報が含まれている。以下、情報種別「グループ所見」の医用情報を適宜「グループ所見情報」と称する。グループ所見情報は、UID、自由文、部位名、病変種別及び複数の子情報UIDの属性情報を含んでいる。ここで、子情報UIDとは、グループ化される所見情報のUIDである。
図19(a)は、新規に今回の読影レポート情報を作成する際のレポート画面320の表示例を示す図である。所見情報334fは、CADeの検出結果を統合した所見を示す情報である。所見情報334fにおいて、「6:部位名 右肺S2、所見名 結節」、「7:部位名 左肺S1+S2、所見名 結節」はそれぞれCADeで検出された所見情報である。所見情報334fは、これらを統合(グループ化)し、さらに、読影医等のユーザにより入力された「1:両肺野に多発結節を認めます。右肺S2の結節は・・・。」が追加された情報である。レポート画面320のこれ以外の情報は、第1の実施形態において、図6(a)を参照しつつ説明したレポート画面320と同様である。
図19(b)は、引継ぎコピー後のレポート画面320の表示例を示す図である。所見情報334gは、所見情報334fを引継ぎコピーした所見であり、所見情報334gと所見情報334fは引継ぎ関係を持つ。なお、引継ぎコピー後のレポート画面320のこれ以外の情報についても、第1の実施形態において、図6(b)を参照しつつ説明したレポート画面320と同様である。
図20は、所見情報の分割時のレポート画面320の表示例を示す図である。図20(a)は、所見情報の分割指示を入力する際のレポート画面320の表示例を示す図である。ユーザが、所見情報334g中の「右肺S2の結節は・・・。」の文字列2000aを範囲選択し、診断情報335cにドラッグ&ドロップすると(2000b)、受付部412は、所見情報334gから文字列2000aを分割することを示す分割指示を受け付ける。分割指示を受け付けると、表示処理部411は、文字列2000aを新たな所見情報として表示し、さらに、所見情報334gの表示から文字列2000aの表示を削除する。
図20(b)は、分割指示に応じた処理後のレポート画面320を示す図である。図20(b)に示すレポート画面320において、所見情報334gは、分割指示に従い、所見情報334hと所見情報334iに分割される。所見情報334iは、ROIに対応するCADeの結果である「部位名 右肺S2、所見名 結節」の文字列である。なお、所見情報334hにおいては、文字列2000aに対応する内容、すなわち文字列2000aと、「部位名 右肺S2、所見名 結節」は削除されている。
なお、「6:部位名 右肺S2、所見名 結節」、「7:部位名 左肺S1+S2、所見名 結節」等のCADeの検出結果も、表の列を選択することで、ドラッグ&ドロップにより、所見情報の分割対象とすることができる。これ以外の表示内容については、第1の実施形態において図7を参照しつつ説明した表示内容と同様である。
図21は、所見情報の分割前後の医用表示画像を示す図である。第1の実施形態において図8を参照しつつ説明したのと同様に、所見情報334gが所見情報334h、334iに分割されると、分割に係る文字列とROIとの対応関係に基づいて、医用表示画像333c、333dが生成され、表示される。
図22は、所見情報及び医用表示画像の統合処理の説明図である。複数の所見情報が統合された所見情報334jに、所見情報334kを統合し、所見情報334gが生成されたとする。なお、所見情報334j、334kには、それぞれ医用表示画像333j、333kが紐付けて表示されているとする。この場合、所見情報の統合に応じて、所見情報334gに対応する医用表示画像333bが生成され、表示される。このとき表示される医用表示画像333bには、医用表示画像333j及び医用表示画像333kのそれぞれに示される領域画像が重畳されている。なお、統合処理については、図27及び図28を参照しつつ後述する。
図23は、所見情報の統合時に医用表示画像が統合されない場合の所見情報等の表示例を示す図である。医用表示画像333lと、医用表示画像333mは、スライス位置が異なる。このようにスライス位置の異なる代表画像に対応する医用表示画像については、対応する所見情報334j及び所見情報334kの統合時、医用表示画像の統合は行われない。すなわち、図23に示すように、各医用表示画像333l、333mが、所見情報334gに紐付けて表示される。
図24は、FOV(Field of View)が異なる医用表示画像の統合処理時の医用表示画像等の表示例を示す図である。ここで、FOVとは、スライス画像上での表示範囲である。医用表示画像333nと医用表示画像333pは、同一のスライス画像であるがFOVが異なっている。そこで、この場合、端末装置100は、両者のFOVを包含するFOVの画像で、統合された医用表示画像333qを生成し、これを表示する。なお、統合された所見情報(所見情報のグループ)に対応するROI(ROI番号が1)は、統合される所見のROI(ROI番号が6)のROIを含む範囲に、自動的に変更される。
また、他の例としては、図25に示すように、所見情報334mと所見情報334nが統合される場合、端末装置100は、ROI番号が3のROIに対応する所見情報(所見情報のグループ)を生成してもよい。さらに、端末装置100は、ROI番号1のROIに対応する所見情報の入力枠とROI番号2に対応する入力枠を提示してもよい。
図26は、第2の実施形態に係る端末装置100によるメイン処理を示すフローチャートである。図26において、第1の実施形態に係るメイン処理の各処理と同一の処理には同一の符号を付している。S1401の処理の後、CPU202は、処理をS2601へ進める。S2601において、編集部413は、検査対象となる画像に対してCADeを実行する。そして、編集部413は、病変の検出結果を所見情報として読影レポート情報に追加し、その後処理をS1402へ進める。ここで、CADeは、任意のCADeであり、特に限定されるものではない。
また、第2の実施形態における所見情報分割処理(S2602)は、第1の実施形態において説明した所見情報分割処理(S1423)とは異なる処理である。所見情報分割処理(S2602)については、図29を参照しつつ後述する。
また、S1430でNoと判断された場合、及びS1431の処理の後、CPU202は、処理をS2611へ進める。S2611において、受付部412は、所見情報の統合指示を受け付けると(S2611でYes)、処理をS2612へ進める。受付部412は、所見情報の統合指示を受け付けなかった場合には(S2611でNo)、処理をS1432へ進める。S2612において、編集部413は、所見情報統合処理を行う。次に、S2613において、編集部413は、画像統合処理を行う。なお、所見情報統合処理(S2612)及び画像統合処理(S2613)については、それぞれ図27及び図28を参照しつつ後述する。
図27は、図26を参照しつつ説明した所見情報統合処理(S2612)における詳細な処理を示すフローチャートである。S2701において、編集部413は、統合対象として指定された所見情報が属するグループが存在するか否かを確認する。編集部413は、グループが存在する場合には(S2701でYes)、処理をS2702へ進める。編集部413は、グループが存在しない場合には(S2701でNo)、処理をS2703へ進める。S2702において、編集部413は、既に存在するグループに、統合対象の他の所見情報を追加する。以上で、所見情報統合処理が終了する。
一方、S2703においては、編集部413は、新規に所見情報のグループを生成する。次に、S2704において、編集部413は、統合対象として指定された所見情報をS2703で生成された、新規のグループに追加する。以上で、所見情報統合処理が終了する。なお、S2701において、複数のグループが存在する場合には、編集部413は、1つのグループに統合することとする。また、この場合、他の例としては、編集部413は、複数のグループを階層的に統合してもよい。また、この場合、編集部413は、上記2つの方法のいずれとするかをユーザ操作に応じて選択してもよい。
図28は、図26を参照しつつ説明した画像統合処理(S2613)における詳細な処理を示すフローチャートである。S2801において、編集部413は、統合対象の所見情報に関係付けられた代表画像の中で、同一のスライス画像、同一の表示条件に対応する代表画像が存在するか否かを確認する。編集部413は、同一のスライス画像、同一の表示条件に対応する代表画像が存在する場合には(S2801でYes)、処理をS2803へ進める。編集部413は、同一のスライス画像、同一の表示条件に対応する代表画像が存在しない場合には(S2801でNo)、処理をS2802へ進める。
S2802において、編集部413は、図23を参照しつつ説明したように、統合対象の所見情報に関係付けられた代表画像及びROI情報をそれぞれ統合後の所見情報に関係付ける。すなわち、編集部413は、代表画像と所見情報とROI情報の関係付けを変更する。以上で、画像統合処理が終了する。なお、表示条件とは、画像を表示する際のウインドウレベルやウインドウ幅である。
S2803において、編集部413は、S2801において特定された、同一のスライス画像、同一の表示条件に対応する代表画像にROI情報が関係付けられているか否かを確認する。編集部413は、ROI情報が関係付けられている場合には(S2803でYes)、処理をS2805へ進める。編集部413は、ROI情報が関係付けられていない場合には(S2803でNo)、処理をS2804へ進める。S2804において、編集部413は、同一のスライス画像、同一の表示条件に対応する代表画像を、統合後の所見情報に関係付ける。以上で画像統合処理が終了する。
S2805において、編集部413は、同一のスライス画像、同一の表示条件に対応する代表画像間でFOVが異なるか否かを確認する。編集部413は、FOVが異なる場合には(S2805でYes)、処理をS2807へ進める。編集部413は、FOVが等しい場合には(S2805でNo)、処理をS2806へ進める。S2806において、編集部413は、同一のスライス画像、同一の表示条件に対応する代表画像と、統合対象の各所見情報に関係付けられているROI情報を、統合後の所見情報に関係付ける。以上で、画像統合処理が終了する。
S2807において、編集部413は、すべてのFOVを含む代表画像を選択する。次に、S2808において、編集部413は、S2807において選択された代表画像と、統合対象の各所見情報に関係付けられているROI情報を、統合後の所見情報に関係付ける。以上で、画像統合処理が終了する。
なお、統合対象の所見情報に関係付けられた代表画像において、同一のスライス画像、同一の表示条件の代表画像のセットが複数存在する場合がある。この場合には、編集部413は、各セットに対し、S2803〜S2808の処理を実行する。
図29は、図26を参照しつつ説明した所見情報分割処理(S2602)における詳細な処理を示すフローチャートである。S2901において、編集部413は、分割対象として指定された所見情報がグループに含まれる所見情報(CADeで検出した所見の所見情報等)であるか否かを確認する。編集部413は、グループ内の所見情報でない場合には(S2901でNo)、処理をS1501へ進める。なお、S1501〜S1511の処理は、図15を参照しつつ説明した、第1の実施形態に係る所見情報分割処理と同様である。
編集部413は、グループ内の所見情報である場合には(S2901でYes)、処理をS2902へ進める。S2902において、編集部413は、分割対象の所見情報が複数存在するか否かを確認する。編集部413は、複数存在する場合には(S2902でYes)、処理をS2904へ進める。編集部413は、複数存在しない場合には(S2902でNo)、処理をS2903へ進める。
S2903において、編集部413は、分割対象の所見情報をグループから分割する。具体的には、編集部413は、グループ所見情報から、分割対象の所見情報のUIDを削除する。編集部413は、その後処理をS1507へ進める。S2904において、編集部413は、新規のグループを作成し、分割対象として指定された所見情報のUIDを新規のグループのグループ所見情報に記録し、その後処理をS1507へ進める。なお、第2の実施形態に係る医用情報表示システムのこれ以外の構成及び処理は、第1の実施形態に係る医用情報表示システムの構成及び処理と同様である。
以上のように、第2の実施形態に係る端末装置100は、CADeの検出結果を用いることで、ROIと所見の対応付けを行う必要がなく、関係付けの手間を削減することができる。また、端末装置100は、所見情報の分割だけでなく、所見情報が統合された場合に、これに対応し、代表画像と所見情報の関係付けを自動的に更新し、また両情報間の紐付けの表示状態も自動的に更新することができる。以上のように、端末装置100は、病変の単位が変更になった場合においても、病変の経時的な変化を追跡可能に、医用情報を管理することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
<その他の実施形態>
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。