[go: up one dir, main page]

JP7706987B2 - 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム - Google Patents

学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム Download PDF

Info

Publication number
JP7706987B2
JP7706987B2 JP2021132919A JP2021132919A JP7706987B2 JP 7706987 B2 JP7706987 B2 JP 7706987B2 JP 2021132919 A JP2021132919 A JP 2021132919A JP 2021132919 A JP2021132919 A JP 2021132919A JP 7706987 B2 JP7706987 B2 JP 7706987B2
Authority
JP
Japan
Prior art keywords
image
feature
sentence
neural network
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021132919A
Other languages
English (en)
Other versions
JP2023027663A (ja
Inventor
晶路 一ノ瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2021132919A priority Critical patent/JP7706987B2/ja
Priority to US17/884,525 priority patent/US12183450B2/en
Publication of JP2023027663A publication Critical patent/JP2023027663A/ja
Priority to JP2025074452A priority patent/JP2025111698A/ja
Application granted granted Critical
Publication of JP7706987B2 publication Critical patent/JP7706987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラムに関する。
ディープラーニング等により機械学習がなされた学習済みモデルを用いて画像から抽出した特徴ベクトルのような特徴量が属する特徴空間を構築する手法が提案されている。例えば非特許文献１には、画像およびテキストのそれぞれから特徴量を抽出し、特徴量に基づいて画像とテキストとの関係性を推定する手法が提案されている。
また、テキストデータを解析して単語データを取得し、単語データに基づいて画像中の物体を特定する手法も提案されている（特許文献１参照）。
特開２０２０－０１３５９４号公報
Stacked Cross Attention for Image-Text Matching、Kuang-Huei Leeら、21 Mar 2018、arXiv:1803.08024
ところで、画像についてその内容を文として記載した場合、内容は同一であっても記載した人に応じて表現の仕方が異なる。このため、医用画像についての所見文は、同一の所見であっても医師に応じて表現の仕方が異なる。例えば、右肺の区域Ｓ６に充実型の結節があり、そのサイズが１０ｍｍであり、かつ境界が不明瞭である所見を呈する医用画像についての所見文は、それを記載する医師に応じて、「右肺Ｓ６に充実型結節を認める。サイズは１０ｍｍ。境界はやや不明瞭である。」、「右肺Ｓ６に１０ｍｍ大の充実型結節を認める。辺縁は比較的不明瞭である。」、および「右下葉Ｓ６にφ１０ｍｍの充実型結節。境界はやや不明瞭。」のように表現の仕方が異なるものとなる。このように、所見文等の文は内容が同一であっても、表現の仕方が異なることからばらつきが非常に多いものとなる。このように多様な表現を有する文から精度よく特徴量を導出できるモデルを構築するためには、大量の教師データが必要となる。
しかしながら、文の数は限りがあるため、大量の教師データを用意することが困難である。このため、画像と文とを高精度に対応づけることができる学習済みモデルを構築することは困難である。
本開示は上記事情に鑑みなされたものであり、画像と文とを高精度に対応づけできるようにすることを目的とする。
本開示による学習装置は、少なくとも１つのプロセッサを備え、
プロセッサは、第１ニューラルネットワークにより、画像に含まれるオブジェクトについての第１特徴量を導出し、
画像に含まれるオブジェクトに関する記載を含む文を構造化することにより、文についての構造化情報を導出し、
第２ニューラルネットワークにより、構造化情報から文についての第２特徴量を導出し、
画像に含まれるオブジェクトと文に記載されたオブジェクトとが対応する場合には、第１特徴量および第２特徴量が属する特徴空間において、画像に含まれるオブジェクトと文に記載されたオブジェクトとが対応しない場合よりも、導出される第１特徴量と第２特徴量との距離が小さくなるように第１ニューラルネットワークおよび第２ニューラルネットワークを学習することにより、画像に含まれるオブジェクトについての特徴量を導出する第１導出モデルおよびオブジェクトに関する記載を含む文についての特徴量を導出する第２導出モデルを構築する。
なお、本開示による学習装置においては、プロセッサは、画像に含まれるオブジェクトと文に記載されたオブジェクトとが対応しない場合には、特徴空間において、画像に含まれるオブジェクトと文に記載されたオブジェクトとが対応する場合よりも、導出される第１特徴量と第２特徴量との距離が大きくなるように、第１ニューラルネットワークおよび第２ニューラルネットワークを学習するものであってもよい。
また、本開示による学習装置においては、プロセッサは、文からオブジェクトに関する１以上の固有表現を抽出し、固有表現についての事実性を判定することにより、固有表現および事実性の判定結果を構造化情報として導出するものであってもよい。
また、本開示による学習装置においては、固有表現は、オブジェクトの位置、所見およびサイズの少なくとも１つを表し、
事実性の判定結果は、所見についての陽性、陰性および疑いのいずれかを表すものであってもよい。
また、本開示による学習装置においては、プロセッサは、固有表現が複数抽出された場合に固有表現間の関係性を、さらに構造化情報として導出するものであってもよい。
また、本開示による学習装置においては、関係性は、複数の固有表現のそれぞれが関連するか否かを表すものであってもよい。
また、本開示による学習装置においては、プロセッサは、固有表現および事実性を正規化することにより、正規化された構造化情報を導出するものであってもよい。
また、本開示による学習装置においては、画像は医用画像であり、画像に含まれるオブジェクトは医用画像に含まれる病変であり、
文は、病変についての所見が記載された所見文であってもよい。
本開示による第１の情報処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、本開示による学習装置により構築された第１導出モデルにより、対象画像に含まれる１以上のオブジェクトについての第１特徴量を導出し、
オブジェクトに関する記載を含む１以上の対象文を構造化することにより対象文についての構造化情報を導出し、
本開示による学習装置により構築された第２導出モデルにより、対象文についての構造化情報から対象文についての第２特徴量を導出し、
導出された第１特徴量および第２特徴量の特徴空間における距離に基づいて第２特徴量に対応する第１特徴量を特定し、
特定された第１特徴量を導出したオブジェクトを対象画像において他の領域と区別して表示する。
本開示による第２の情報処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、オブジェクトに関する記載を含む対象文の入力を受け付け、
対象文を構造化することにより対象文についての構造化情報を導出し、
本開示による学習装置により構築された第２導出モデルにより、対象文についての構造化情報から入力された対象文についての第２の特徴量を導出し、
本開示による学習装置により構築された第１導出モデルにより導出された、複数の参照画像のそれぞれに含まれる１以上のオブジェクトについての第１特徴量が参照画像のそれぞれと対応づけられたデータベースを参照することにより、複数の参照画像についての第１特徴量と導出された第２特徴量との特徴空間における距離に基づいて第２特徴量に対応する少なくとも１つの第１特徴量を特定し、
特定された第１特徴量と対応づけられた参照画像を特定する。
なお、本開示による第１および第２の情報処理装置においては、プロセッサは、第１特徴量との対応づけに寄与した固有表現を通知するものであってもよい。
本開示による学習方法は、第１ニューラルネットワークにより、画像に含まれるオブジェクトについての第１特徴量を導出し、
画像に含まれるオブジェクトに関する記載を含む文を構造化することにより、文についての構造化情報を導出し、
第２ニューラルネットワークにより、構造化情報から文についての第２特徴量を導出し、
画像に含まれるオブジェクトと文に記載されたオブジェクトとが対応する場合には、第１特徴量および第２特徴量が属する特徴空間において、画像に含まれるオブジェクトと文に記載されたオブジェクトとが対応しない場合よりも、導出される第１特徴量と第２特徴量との距離が小さくなるように第１ニューラルネットワークおよび第２ニューラルネットワークを学習することにより、画像に含まれるオブジェクトについての特徴量を導出する第１導出モデルおよびオブジェクトに関する記載を含む文についての特徴量を導出する第２導出モデルを構築する。
本開示による第１の情報処理方法は、本開示による学習装置により構築された第１導出モデルにより、対象画像に含まれる１以上のオブジェクトについての第１特徴量を導出し、
オブジェクトに関する記載を含む１以上の対象文を構造化することにより対象文についての構造化情報を導出し、
本開示による学習装置により構築された第２導出モデルにより、対象文についての構造化情報から対象文についての第２特徴量を導出し、
導出された第１特徴量および第２特徴量の特徴空間における距離に基づいて第２特徴量に対応する第１特徴量を特定し、
特定された第１特徴量を導出したオブジェクトを対象画像において他の領域と区別して表示する。
本開示による第２の情報処理方法は、オブジェクトに関する記載を含む対象文の入力を受け付け、
対象文を構造化することにより対象文についての構造化情報を導出し、
本開示による学習装置により構築された第２導出モデルにより、対象文についての構造化情報から入力された対象文についての第２の特徴量を導出し、
本開示による学習装置により構築された第１導出モデルにより導出された、複数の参照画像のそれぞれに含まれる１以上のオブジェクトについての第１特徴量が参照画像のそれぞれと対応づけられたデータベースを参照することにより、複数の参照画像についての第１特徴量と導出された第２特徴量との特徴空間における距離に基づいて第２特徴量に対応する少なくとも１つの第１特徴量を特定し、
特定された第１特徴量と対応づけられた参照画像を特定する。
なお、本開示による学習方法、並びに第１および第２の情報処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、画像と文とを高精度に対応づけできる。
本開示の第１の実施形態による学習装置をおよび情報処理装置を適用した医療情報システムの概略構成を示す図 第１の実施形態による学習装置の概略構成を示す図 第１の実施形態による情報処理装置の概略構成を示す図 第１の実施形態による学習装置の機能構成図 医用画像および読影レポートの例を示す図 第１の実施形態において、第１導出部、構造化情報導出部、第２導出部および学習部が行う処理を模式的に示す図 構造化を説明するための図 同義の表現と正規化された表現とを対応づけたリストの例を示す図 第２ニューラルネットワークを模式的に示す図 ＲＮＮとアテンション機構とを組み合わせたネットワーク構造を模式的に示す図 損失の導出を説明するための図 第１の実施形態による情報処理装置の機能構成図 第１特徴量の特定を説明するための図 表示画面を示す図 第１の実施形態において行われる学習処理を示すフローチャート 第１の実施形態において行われる情報処理を示すフローチャート 第２の実施形態による学習装置により学習される第２ニューラルネットワークを模式的に示す図 ＧＣＮによる第２特徴量の導出を説明するための図 第２の実施形態による情報処理装置の機能構成図 検索を説明するための図 表示画面を示す図 第２の実施形態において行われる情報処理を示すフローチャート 読影ＷＳに表示される読影レポートの作成画面の他の例を示す図
以下、図面を参照して本開示の実施形態について説明する。まず、本開示の第１の実施形態による学習装置および情報処理装置を適用した医療情報システムの構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体である患者の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像ＤＢ（DataBase）５Ａ、レポートサーバ６、レポートＤＢ６Ａ、および学習装置７が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
撮影装置２は、患者の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ５Ａに保存される。
読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による情報処理装置（詳細は後述）を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に関する所見文の入力受付が行われる。また、読影ＷＳ３では、医用画像に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ６に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ６から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。
診療ＷＳ４は、例えば診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ６に対する読影レポートの閲覧要求、およびレポートサーバ６から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ５Ａが構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ５Ａに登録する。
画像ＤＢ５Ａには、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、患者を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。また、本実施形態においては、読影ＷＳ３において後述するように導出された医用画像の第１特徴量が医用画像と対応づけられて画像ＤＢ５Ａに登録される。
また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ５Ａに登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。
レポートサーバ６には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ６は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ６Ａに登録する。
レポートＤＢ６Ａには、読影医が読影ＷＳ３を用いて作成した所見文を含む読影レポートが多数登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、および病変の性状等の情報を含んでいてもよい。本実施形態においては、レポートＤＢ６Ａには、読影レポートと読影レポートを作成した１以上の医用画像とが関連付けられて登録されている。
また、レポートサーバ６は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ６Ａに登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。
ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
次に、学習装置７について説明する。まず、図２を参照して、第１の実施形態による学習装置７のハードウェア構成を説明する。図２に示すように、学習装置７は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、学習装置７は、液晶ディスプレイ等のディスプレイ１４、キーボードおよびマウス等のポインティングデバイス等からなる入力デバイス１５、並びにネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、学習プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から学習プログラム１２を読み出してメモリ１６に展開し、展開した学習プログラム１２を実行する。
次に読影ＷＳ３に内包された、第１の実施形態による情報処理装置３０について説明する。まず、図３を参照して、本実施形態による情報処理装置３０のハードウェア構成を説明する。図３に示すように、情報処理装置３０は、ＣＰＵ４１、不揮発性のストレージ４３、および一時記憶領域としてのメモリ４６を含む。また、情報処理装置３０は、液晶ディスプレイ等のディスプレイ４４、キーボードおよびマウス等のポインティングデバイス等からなる入力デバイス４５、並びにネットワーク１０に接続されるネットワークＩ／Ｆ４７を含む。ＣＰＵ４１、ストレージ４３、ディスプレイ４４、入力デバイス４５、メモリ４６およびネットワークＩ／Ｆ４７は、バス４８に接続される。なお、ＣＰＵ４１は、本開示におけるプロセッサの一例である。
ストレージ４３は、ストレージ１３と同様に、ＨＤＤ、ＳＳＤ、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ４３には、情報処理プログラム４２が記憶される。ＣＰＵ４１は、ストレージ４３から情報処理プログラム４２を読み出してメモリ４６に展開し、展開した情報処理プログラム４２を実行する。
次いで、第１の実施形態による学習装置の機能的な構成を説明する。図４は、第１の実施形態による学習装置の機能的な構成を示す図である。図４に示すように学習装置７は、情報取得部２１、第１導出部２２、構造化情報導出部２３、第２導出部２４および学習部２５を備える。そして、ＣＰＵ１１が、学習プログラム１２を実行することにより、ＣＰＵ１１は、情報取得部２１、第１導出部２２、構造化情報導出部２３、第２導出部２４および学習部２５として機能する。
情報取得部２１は、医用画像および医用画像に関する読影レポートを、ネットワークＩ／Ｆ１７を介して画像サーバ５およびレポートサーバ６からそれぞれ取得する。医用画像および読影レポートは、後述する第１および第２のニューラルネットワークの学習に使用される。図５は医用画像および読影レポートの例を示す図である。図５に示すように、医用画像５１は複数の断層画像からなる３次元画像である。本実施形態においては、医用画像５１は、人体の胸部のＣＴ画像とする。また、図５に示すように、複数の断層画像には、例えば右肺Ｓ６に病変をオブジェクト５５Ａとして含む断層画像５５が含まれるものとする。
また、図５に示すように、読影レポート５２は所見文５３，５４を含む。所見文５３，５４は、医用画像５１に含まれるオブジェクトすなわち病変に関する記載を含む。図５に示す所見文５３は、「右肺Ｓ６に充実型結節を認める。サイズは１０ｍｍ。境界はやや不明瞭である。」の記載を含む。また、所見文５４は、「左肺Ｓ９にも微小結節あり。」の記載を含む。
図５に示す２つの所見文５３，５４のうち、所見文５３が医用画像５１に含まれる断層画像５５を読影した結果生成されたものである。このため断層画像５５が所見文５３と対応する。所見文５４は、医用画像５１のうちの断層画像５５以外の断層画像を読影した結果生成されたものである。このため、断層画像５５と所見文５４とは対応しない。
第１導出部２２は、医用画像に含まれるオブジェクトについての特徴量を導出する第１導出モデルを構築するために、第１ニューラルネットワーク６１（ＮＮ）により医用画像に含まれる１以上のオブジェクトについての第１特徴量を導出する。本実施形態においては、第１ニューラルネットワーク６１は畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）とするが、これに限定されるものではない。図６に示すように、第１導出部２２は、第１ニューラルネットワーク６１に病変等のオブジェクトを含む医用画像等の画像を入力する。第１ニューラルネットワーク６１は、画像に含まれる病変等のオブジェクトを抽出し、オブジェクトの特徴ベクトルを第１特徴量Ｖ１として導出する。
構造化情報導出部２３は、所見文５３，５４を構造化することにより所見文５３，５４についての構造化情報を導出する。図７は構造化情報導出部２３が行う処理を示す図である。以下、所見文５３の構造化について説明するが、所見文５４についても同様にして構造化情報を導出すればよい。まず、構造化情報導出部２３は、所見文５３からオブジェクトに関する固有表現を導出する。固有表現は構造化情報の一例である。固有表現は、所見文５３に含まれるオブジェクトの位置、所見およびサイズの少なくとも１つを表す。本実施形態においては、所見文５３に含まれるオブジェクトの位置、所見およびサイズのすべてを固有表現として導出する。したがって、構造化情報導出部２３は、「右肺Ｓ６」、「充実型結節」、「１０ｍｍ」、「境界」および「不明瞭」を固有表現として導出する。なお、「右肺Ｓ６」は位置、「充実型結節」は所見、「１０ｍｍ」はサイズ、「境界」は位置、「不明瞭」は所見をそれぞれ表す固有表現である。以下、所見文５３から導出した固有表現を、「右肺Ｓ６（位置）」、「充実型結節（所見）」、「１０ｍｍ（サイズ）」、「境界（位置）」および「不明瞭（所見）」と示す。
また、構造化情報導出部２３は、導出した固有表現についての事実性を判定する。具体的には、構造化情報導出部２３は、所見の固有表現が陰性を表すものであるか、陽性を表すものであるか、あるいは疑いがあるものかを判定し、判定結果を導出する。本実施形態においては、所見の固有表現は「充実型結節」および「不明瞭」であり、いずれも陽性である。このため、構造化情報導出部２３は、「充実型結節」および「不明瞭」の事実性をそれぞれ陽性と判定する。図７においては、陽性であることを＋の符号を付与することにより示している。また、陰性である場合には－の符号を付与し、疑いがある場合には±の符号を付与するようにすればよい。事実性の判定結果は構造化情報の一例である。
また、構造化情報導出部２３は、複数の固有表現間の関係性を導出する。関係性は構造化情報の一例である。なお、第１の実施形態においては、後述する処理において関係性を使用しないが、関係性は構造化情報の１つであるため、ここで関係性についても説明する。関係性は、固有表現同士が関連するか否かを表す。例えば、固有表現のうちの代表的な病変についての所見を表す固有表現「充実型結節（所見＋）」は、サイズを表す固有表現「１０ｍｍ（サイズ）」、位置を表す固有表現「右肺Ｓ６（位置）」および所見を表す固有表現「不明瞭（所見＋）」と関連するが、位置を表す固有表現「境界（位置）」とは関連しない。また、位置を表す固有表現「境界（位置）」は所見を表す固有表現「不明瞭（所見＋）」と関連する。
なお、関係性の導出は、多数の固有表現間の関係性の有無を予め定義したテーブルを参照することにより行えばよい。また、固有表現間の関係性の有無を出力するように機械学習を行うことにより構築された導出モデルを用いて関係性の導出を行うようにしてもよい。また、固有表現に記載された病変をキーワードに特定し、キーワードを修飾するすべての固有表現を関係性がある固有表現に特定してもよい。
さらに、構造化情報導出部２３は、固有表現および事実性を正規化することにより、正規化された構造化情報を導出する。本実施形態における正規化とは、同義であるがばらつきがある表現を１つの定型の表現に変換することである。例えば、「右肺Ｓ６」と「右肺下葉Ｓ６」とはいずれも同義であるが表現が異なる。また、「１０ｍｍ」と「１０．０ｍｍ」とは同義であるが表現が異なる。また、「境界」および「不明瞭（＋）」の組み合わせは、「境界明瞭」の事実性が陰性である表現「境界明瞭（－）」と同義であるが表現が異なる。
例えば、本実施形態においては、多数の固有表現および事実性について、同義の表現と正規化された表現とを対応づけたリストを予め用意してストレージ１３に保存しておく。図８は同義の表現と正規化された表現とを対応づけたリストの例を示す図である。そして、構造化情報導出部２３は、リスト５９を参照して、固有表現および事実性を正規化する。これにより、構造化情報導出部２３は、所見文５３から、「右肺下葉Ｓ６（位置）」、「充実型結節（所見＋）」、「１０．０ｍｍ（サイズ）」および「境界明瞭（所見－）」の正規化された構造化情報を導出する。一方、構造化情報導出部２３は、所見文５４から、「左肺下葉Ｓ９（位置）」、「微小（サイズ）」および「結節（所見＋）」の正規化された構造化情報を導出する。
第２導出部２４は、オブジェクトに関する記載を含む文についての特徴量を導出する第２導出モデルを構築するために、第２ニューラルネットワーク（ＮＮ）６２により、構造化情報導出部２３が導出した構造化情報から、オブジェクトに関する記載を含む文についての第２特徴量を導出する。図９は第２ニューラルネットワーク６２を模式的に示す図である。図９に示すように、第２ニューラルネットワーク６２は、埋め込み層(embedding）６２Ａと、加算機構６２Ｂと、トランスフォーマ（Transformer)６２Ｃとを有する。第２導出部２４は、入力された構造化情報を、固有表現、固有表現の種類および事実性の判定結果に分割して、埋め込み層６２Ａに入力する。埋め込み層６２Ａは、固有表現、固有表現の種類および事実性の判定結果についての特徴ベクトル６５を出力する。
加算機構６２Ｂは、個々の構造化情報毎に特徴ベクトル６５を加算して、構造化情報毎に特徴ベクトル６６を導出する。
トランスフォーマは、例えば「Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems. 2017.」において提案されている。トランスフォーマ６２Ｃは、特徴ベクトル６６間の類似度を導出し、導出した類似度に応じた重みにより特徴ベクトル６６を加算する処理を繰り返すことにより特徴ベクトル６６を統合して、第２ニューラルネットワーク６２に入力された構造化情報の特徴ベクトル、すなわち構造化情報導出部２３に入力された所見文５３についての特徴ベクトルを第２特徴量Ｖ２として出力する。
なお、加算機構６２Ｂの後段の機構として、トランスフォーマ６２Ｃに代えて、ＲＮＮとアテンション機構とを組み合わせたネットワーク構造を用いてもよい。図１０はＲＮＮとアテンション機構とを組み合わせたネットワーク構造を模式的に示す図である。図１０に示すネットワーク構造６７は、リカレントニューラルネットワーク層（Recurrent Neural Network: 以下ＲＮＮ層とする）６７Ａと、アテンション機構６７Ｂとを有する。
ＲＮＮ層６７Ａは加算機構６２Ｂが出力した特徴ベクトル６６の前後関係を考慮した特徴ベクトル６８を出力する。アテンション機構６７Ｂは、予め学習することにより導出されたベクトルｕｗと各特徴ベクトル６８との内積を重み係数ｗとして導出する。ベクトルｕｗは出力される第２特徴量Ｖ２の導出に際して寄与の程度が大きい固有表現ほど、大きい重みが付与されるように学習される。そして、アテンション機構６７Ｂは、導出した重み係数ｗにより特徴ベクトル６８を重み付け加算することにより、第２特徴量Ｖ２を導出する。
ここで、第１の実施形態においては、図６に示すように、「右肺Ｓ６に充実型結節を認める。サイズは１０ｍｍ。境界はやや不明瞭である。」の所見文５３から構造化情報５３Ａが導出され、構造化情報５３Ａから第２ニューラルネットワーク６２により第２特徴量Ｖ２－１が取得されたものとする。また、「左肺Ｓ９にも微小結節あり。」の所見文５４から構造化情報５４Ａが導出され、構造化情報５４Ａから第２ニューラルネットワーク６２により第２特徴量Ｖ２－２が取得されたものとする。
学習部２５は、画像に含まれるオブジェクトと文に記載されたオブジェクトとが対応する場合には、第１特徴量Ｖ１および第２特徴量Ｖ２が属する特徴空間において、導出される第１特徴量Ｖ１と第２特徴量Ｖ２との距離が小さくなるように第１ニューラルネットワーク６１および第２ニューラルネットワーク６２を学習する。
このために、学習部２５は、第１特徴量Ｖ１および第２特徴量Ｖ２を、第１特徴量Ｖ１および第２特徴量Ｖ２により規定される特徴空間にプロットする。そして、学習部２５は、特徴空間において第１特徴量Ｖ１と第２特徴量Ｖ２との距離を導出する。ここで、第１特徴量Ｖ１および第２特徴量Ｖ２はｎ次元のベクトルであるため、特徴空間もｎ次元である。なお、図６においては説明のために、第１特徴量Ｖ１および第２特徴量Ｖ２は２次元であり、２次元の特徴空間に第１特徴量Ｖ１および第２特徴量Ｖ２（Ｖ２－１，Ｖ２－２）をプロットした状態を示している。
ここで、図６に示す断層画像５５は所見文５３と対応するが、所見文５４とは対応しない。このため、学習部２５は、特徴空間において、第１特徴量Ｖ１と第２特徴量Ｖ２－１とが近づき、第１特徴量Ｖ１と第２特徴量Ｖ２－２とが離れるように、第１ニューラルネットワーク６１および第２ニューラルネットワーク６２を学習する。
このために、学習部２５は、特徴空間における第１特徴量Ｖ１と第２特徴量Ｖ２との距離を導出する。距離としては、ユークリッド距離およびマハラノビス距離等、任意の距離を用いることができる。そして、距離に基づいて学習の際に使用する損失を導出する。図１１は損失の導出を説明するための図である。まず、対応する第１特徴量Ｖ１および第２特徴量Ｖ２－１に関して、学習部２５は特徴空間での距離ｄ１を算出する。そして、距離ｄ１を予め定められたしきい値α０と比較し、以下の式（１）に基づいて損失Ｌ１を導出する。
すなわち、第１特徴量Ｖ１と第２特徴量Ｖ２－１との距離ｄ１がしきい値α０より大きい場合は、第２特徴量Ｖ２－１の第１特徴量Ｖ１からの距離がしきい値α０よりも小さくなるように、第１および第２ニューラルネットワーク６１，６２を学習するための損失Ｌ１を、ｄ１－α０により算出する。一方、第１特徴量Ｖ１と第２特徴量Ｖ２－１との距離ｄ１がしきい値α０以下の場合は、第１特徴量Ｖ１と第２特徴量Ｖ２－１との距離ｄ１を小さくする必要はないため、Ｌ１を０とする。
Ｌ１=ｄ１－α０（ｄ１＞α０）
Ｌ１＝０（ｄ１≦α０） （１）
一方、対応しない第１特徴量Ｖ１と第２特徴量Ｖ２－２に関して、学習部２５は特徴空間での距離ｄ２を算出する。そして、予め定められたしきい値β０と距離ｄ２とを比較し、以下の式（２）に基づいて損失Ｌ２を導出する。
すなわち、第１特徴量Ｖ１と第２特徴量Ｖ２－２との距離ｄ２がしきい値β０より小さい場合は、第２特徴量Ｖ２－２の第１特徴量Ｖ１からの距離がしきい値β０よりも大きくなるように、第１および第２ニューラルネットワーク６１，６２を学習するための損失Ｌ２を、β０－ｄ２により算出する。一方、第１特徴量Ｖ１と第２特徴量Ｖ２－２との距離ｄ２がしきい値β０以上の場合は、第１特徴量Ｖ１と第２特徴量Ｖ２－２との距離ｄ２を大きくする必要はないため、Ｌ２を０とする。
Ｌ２=β０－ｄ２（ｄ２＜β０）
Ｌ２＝０（ｄ２≧β０） （２）
学習部２５は導出した損失Ｌ１，Ｌ２に基づいて、第１ニューラルネットワーク６１および第２ニューラルネットワーク６２を学習する。すなわち、ｄ１＞α０の場合およびｄ２＜β０の場合には、損失Ｌ１，Ｌ２が小さくなるように、第１ニューラルネットワーク６１および第２ニューラルネットワーク６２のそれぞれを構成する層間の結合の重みおよび畳み込みに使用するカーネルの係数等を学習する。
そして学習部２５は、損失Ｌ１が予め定められたしきい値以下となり、かつ損失Ｌ２がしきい値以下となるまで繰り返し学習を行う。なお、学習部２５は、損失Ｌ１が予め定められた回数連続してしきい値以下となり、かつ損失Ｌ２が予め定められた回数連続してしきい値以下となるまで繰り返し学習を行うことが好ましい。これにより、画像と文とが対応する場合には、画像と文とが対応しない場合と比較して特徴空間における距離が小さくなり、画像と文とが対応しない場合には、画像と文とが対応する場合と比較して特徴空間における距離が大きくなるように第１特徴量Ｖ１および第２特徴量Ｖ２を導出する第１導出モデルおよび第２導出モデルが構築される。なお、学習部２５は、予め定められた回数の学習を繰り返し行うものであってもよい。
このようにして構築された第１導出モデルおよび第２導出モデルは、読影ＷＳ３に送信され、第１の実施形態による情報処理装置において使用される。
次いで、第１の実施形態による情報処理装置の機能的な構成を説明する。図１２は、第１の実施形態による情報処理装置の機能的な構成を示す図である。図１２に示すように情報処理装置３０は、情報取得部３１、第１解析部３２、構造化情報導出部３３、第２解析部３４、特定部３５および表示制御部３６を備える。そして、ＣＰＵ４１が、情報処理プログラム４２を実行することにより、ＣＰＵ４１は、情報取得部３１、第１解析部３２、構造化情報導出部３３、第２解析部３４、特定部３５および表示制御部３６として機能する。
情報取得部３１は、操作者である読影医による入力デバイス４５からの指示により、画像サーバ５から読影対象となる対象医用画像Ｇ０を取得する。
第１解析部３２は、上述した学習装置７により構築された第１導出モデル３２Ａを用いて対象医用画像Ｇ０を解析することにより、対象医用画像Ｇ０に含まれる病変等のオブジェクトについての第１特徴量Ｖ１を導出する。なお、本実施形態においては、対象医用画像Ｇ０に２つのオブジェクトが含まれ、２つのオブジェクトのそれぞれについて第１の特徴量Ｖ１－１，Ｖ１－２が導出されたものとする。
ここで、第１の実施形態による情報処理装置３０においては、読影ＷＳ３において読影医が対象医用画像Ｇ０を読影し、読影結果を含む所見文を入力デバイス４５を用いて入力することにより読影レポートが生成される。
構造化情報導出部３３は、入力された所見文から構造化情報を導出する。構造化情報の導出は学習装置７の構造化情報導出部２３と同様に行われる。
第２解析部３４は、入力された所見文から導出した構造化情報を上述した学習装置７により構築された第２導出モデル３４Ａを用いて解析することにより、入力された所見文についての第２特徴量Ｖ２を導出する。
特定部３５は、第１解析部３２が導出した第１特徴量Ｖ１と、第２解析部３４が導出した第２特徴量Ｖ２との特徴空間における距離を導出する。そして、導出した距離に基づいて第２特徴量Ｖ２に対応する第１特徴量Ｖ１を特定する。図１３は第１特徴量の特定を説明するための図である。なお、図１３においては説明のために特徴空間を２次元で示している。図１３に示すように、特徴空間において、第１特徴量Ｖ１－１と第２特徴量Ｖ２との距離ｄ３と、第１特徴量Ｖ１－２と第２特徴量Ｖ２との距離ｄ４を比較すると、ｄ３＜ｄ４である。このため、特定部３５は、第２特徴量Ｖ２に対応する第１特徴量を第１特徴量Ｖ１－１に特定する。
表示制御部３６は、特定された第１特徴量を導出したオブジェクトを対象医用画像Ｇ０において他の領域と区別して表示する。図１４は読影ＷＳ３に表示される読影レポートの作成画面を示す図である。図１４に示すように読影レポートの作成画面７０は、画像表示領域７１と文章表示領域７２とを有する。画像表示領域７１には対象医用画像Ｇ０が表示される。図１４において、対象医用画像Ｇ０は胸部の３次元画像を構成する１つの断層画像である。文章表示領域７２には読影医により入力された所見文が表示される。図１４においては、「右肺Ｓ６に１０ｍｍの充実型結節あり。」の所見文が表示されている。なお、右肺Ｓ６は右肺下葉Ｓ６と同義である。
図１４に示す対象医用画像Ｇ０には右肺に病変７３が含まれ、左肺に病変７４が含まれる。右肺の病変７３について導出された第１特徴量Ｖ１－１と、左肺の病変７４について導出された第１特徴量Ｖ１－２とを比較すると、「右肺Ｓ６に１０ｍｍの充実型結節あり。」の所見文について導出された第２の特徴量Ｖ２との距離は、第１特徴量Ｖ１－１の方が小さい。このため、表示制御部３６は、対象医用画像Ｇ０において右肺の病変７３を他の領域と区別して表示する。図１４においては、右肺の病変７３を矩形のマーク７５によって囲むことにより、病変７３を他の領域と区別して表示しているが、これに限定されるものではない。矢印等の任意の形状のマークを用いることができる。
次いで、第１の実施形態において行われる処理について説明する。図１５は第１の実施形態による学習処理のフローチャートである。なお、学習に使用する画像および読影レポートは、情報取得部２１により画像サーバ５およびレポートサーバ６からそれぞれ取得されてストレージ１３に保存されているものとする。また、学習の終了条件は予め定められた回数の学習を行うことであるものとする。
まず第１導出部２２が、第１ニューラルネットワーク６１により、画像に含まれるオブジェクトについての第１特徴量Ｖ１を導出する（ステップＳＴ１）。また、構造化情報導出部２３が、オブジェクトに関する記載を含む文から構造化情報を導出する（ステップＳＴ２）。続いて、第２導出部２４が、構造化情報から第２ニューラルネットワーク６２により、オブジェクトに関する記載を含む文についての第２特徴量Ｖ２を導出する（ステップＳＴ３）。なお、ステップＳＴ２，ＳＴ３の処理を先に行ってもよく、ステップＳＴ１およびステップＳＴ２，ＳＴ３の処理を並列に行ってもよい。
次いで、学習部２５が、画像と文との対応関係に応じて、導出される第１特徴量Ｖ１と第２特徴量Ｖ２との距離が小さくなるように、第１ニューラルネットワークおよび第２ニューラルネットワークを学習する（ステップＳＴ４）。さらに学習部２５は予め定められた回数の学習を行ったか否かを判定し（所定回数学習：ステップＳＴ５）、ステップＳＴ５が否定されるとステップＳＴ１に戻り、ステップＳＴ１～ステップＳＴ５の処理を繰り返す。ステップＳＴ５が肯定されると、処理を終了する。
次いで、第１の実施形態による情報処理について説明する。図１６は第１の実施形態による情報処理のフローチャートである。なお、処理対象となる対象医用画像Ｇ０は情報取得部３１により取得されてストレージ４３に保存されているものとする。まず、第１解析部３２が、第１導出モデル３２Ａを用いて対象医用画像Ｇ０を解析することにより、対象医用画像Ｇ０に含まれる病変等のオブジェクトについての第１特徴量Ｖ１を導出する（ステップＳＴ１１）。
次いで、情報取得部３１が、読影医が入力デバイス４５を用いて入力した所見文を取得し（ステップＳＴ１２）、構造化情報導出部３３が、入力された所見文から構造化情報を導出する（ステップＳＴ１３）。次いで、第２解析部３４が、導出された構造化情報を第２導出モデル３４Ａを用いて解析することにより、入力された所見文についての第２特徴量Ｖ２を導出する（ステップＳＴ１４）。
続いて、特定部３５が、第１解析部３２が導出した第１特徴量Ｖ１と、第２解析部３４が導出した第２特徴量Ｖ２との特徴空間における距離を導出し、導出した距離に基づいて第２特徴量Ｖ２に対応する第１特徴量Ｖ１を特定する（ステップＳＴ１５）。そして、表示制御部３６が、特定された第１特徴量Ｖ１を導出したオブジェクトを対象医用画像Ｇ０において他の領域と区別して表示し（ステップＳＴ１６）、処理を終了する。
このように、第１の実施形態による学習装置においては、画像に含まれるオブジェクトに関する記載を含む文を構造化することにより文についての構造化情報を導出し、構造化情報から文についての第２特徴量Ｖ２を導出するようにした。そして、画像に含まれるオブジェクトと文に記載されたオブジェクトとが対応する場合には、第１特徴量Ｖ１および第２特徴量Ｖ２が属する特徴空間において、導出される第１特徴量Ｖ１と第２特徴量Ｖ２との距離が小さくなるように第１ニューラルネットワーク６１および第２ニューラルネットワーク６２を学習することにより、第１導出モデル３２Ａおよび第２導出モデル３４Ａを構築するようにした。
このため、第２ニューラルネットワーク６２を学習するための文に表現のばらつきがあっても、内容が同一であれば略同一の構造化情報が導出されることとなる。特に構造化情報が正規化されていれば同一の構造化情報が導出されることとなる。これにより、第２ニューラルネットワーク６２は略同一の固有表現を用いて学習がなされることから、表現のばらつきに影響されることなく、第２特徴量を導出するように第２導出モデル３４Ａを構築することができる。したがって、第２ニューラルネットワーク６２を学習するための文を大量に用意しなくても、画像と文とを高精度に対応づけることができる第１導出モデル３２Ａおよび第２導出モデル３４Ａを構築することができる。
また、学習により構築された第１導出モデル３２Ａおよび第２導出モデル３４Ａを第１の実施形態による情報処理装置３０に適用することにより、入力される文の表現にばらつきがあっても、対応するオブジェクトを含む画像とオブジェクトの記載を含む文とは互いに対応づけられ、対応しないオブジェクトを含む医用画像とオブジェクトの記載を含む文とは互いに対応づけられないように、第１特徴量Ｖ１および第２特徴量Ｖ２が導出されることとなる。したがって、導出された第１特徴量Ｖ１および第２特徴量Ｖ２を用いることにより、画像と文との対応づけを精度よく行うことができる。
また、画像と文との対応づけを精度よく行うことができるため、医用画像に関して読影レポートを作成する際に、入力された所見文に記載されたオブジェクトを、医用画像において精度よく特定することができる。
なお、上記第１の実施形態による学習装置において、構造化情報に含まれる関係性をさらに用いて第２導出部を構築するようにしてもよい。以下これを学習装置の第２の実施形態として説明する。なお、第２の実施形態による学習装置の構成は、第２導出部２４が第２ニューラルネットワーク６２に代えて、グラフ畳み込みネットワーク（Graph Convolutional Network)（以下、ＧＣＮとする）を有する第２ニューラルネットワークを用いて第２特徴量を導出するようにした点を除いて図４に示す学習装置７と同一であるため、ここでは装置についての詳細な説明は省略する。
図１７は第２の実施形態による学習装置により学習される第２ニューラルネットワークを模式的に示す図である。図１７に示すように第２の実施形態における第２ニューラルネットワーク８０は、埋め込み層(embedding）８０Ａと、ＧＣＮ８０Ｂとを有する。第２の実施形態においては、第２導出部２４は、入力された正規化前の構造化情報を埋め込み層８０Ａに入力する。埋め込み層８０Ａは構造化情報についての特徴ベクトル８１を出力する。ＧＣＮ８０Ｂは、特徴ベクトル８１および構造化情報導出部２３が導出した関係性に基づいて、第２特徴量Ｖ２を導出する。
図１８はＧＣＮによる第２特徴量の導出を説明するための図である。図１８は構造化情報導出部２３が導出した関係性に基づいて、正規化前の構造化情報がグラフ構造で示されている。すなわち、所見を表す固有表現「充実型結節（所見＋）」のノードが、サイズを表す固有表現「１０ｍｍ（サイズ）」のノード、位置を表す固有表現「右肺Ｓ６（位置）」のノードおよび所見を表す固有表現「不明瞭（所見＋）」のノードと関連するが位置を表す固有表現「境界（位置）」のノードとは関連せず、位置を表す固有表現「境界（位置）」のノードが所見を表す固有表現「不明瞭（所見＋）」のノードと関連している状態を示している。なお、図１８においては、「充実型結節（所見＋）」、「１０ｍｍ（サイズ）」、「右肺Ｓ６（位置）」、「不明瞭（所見＋）」および「境界（位置）」を、「充実型結節」、「１０ｍｍ」、「右肺Ｓ６」、「不明瞭」および「境界」と示している。
ＧＣＮ８０Ｂにおいては、各ノードにおいて、自身のノードの特徴ベクトルと隣接するノードの特徴ベクトルとの畳み込みが行われて、各ノードの特徴ベクトルが更新される。そして、更新された特徴ベクトルを用いた畳み込みが繰り返し行われ、構造化情報のうちの代表的な病変の特徴を表す充実型結節についての特徴ベクトルを第２特徴量Ｖ２として出力する。
第２の実施形態においては、学習部２５は上記第１の実施形態と同様に第１特徴量Ｖ１および第２特徴量Ｖ２を用いて第１ニューラルネットワーク６１および第２ニューラルネットワーク８０を学習する。これにより、第２の実施形態においては、文から導出される固有表現の関係性も考慮して第２特徴量Ｖ２を導出することができる。
次いで、情報処理装置の第２の実施形態について説明する。図１９は第２の実施形態による情報処理装置の機能構成図である。なお、図１９において図１１と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１９に示すように第２の実施形態による情報処理装置３０Ａは、特定部３５に代えて検索部３７を備えた点が第１の実施形態による情報処理装置と異なる。
第２の実施形態による情報処理装置３０Ａにおいては、情報取得部３１は、画像サーバ５に保存される多数の医用画像を取得する。そして第１解析部３２が医用画像のそれぞれについて第１特徴量Ｖ１を導出する。情報取得部３１は第１特徴量Ｖ１を画像サーバ５に送信する。画像サーバ５においては、医用画像が第１特徴量Ｖ１と対応づけられて画像ＤＢ５Ａに保存される。第１特徴量Ｖ１と対応づけられて画像ＤＢ５Ａに登録された医用画像を、以降の説明において参照画像と称する。
また、第２の実施形態による情報処理装置３０Ａにおいては、読影ＷＳ３において読影医が対象医用画像Ｇ０を読影し、読影結果を含む所見文を入力デバイス４５を用いて入力することにより読影レポートが生成される。構造化情報導出部３３は、入力された所見文から構造化情報を導出する。構造化情報の導出は学習装置７の構造化情報導出部２３と同様に行われる。第２解析部３４は、導出された構造化情報を上述した学習装置７により構築された第２導出モデル３４Ａを用いて解析することにより、入力された所見文についての第２特徴量Ｖ２を導出する。
検索部３７は、画像ＤＢ５Ａを参照して、特徴空間において、第２解析部３４が導出した第２特徴量Ｖ２との距離が近い第１特徴量Ｖ１が対応づけられた参照画像を検索する。図２０は第２の実施形態による情報処理装置３０Ａにおいて行われる検索を説明するための図である。なお、図２０においても説明のために特徴空間を２次元で示している。また、説明のために５個の第１特徴量Ｖ１－１１～Ｖ１－１５が特徴空間にプロットされている。
検索部３７は特徴空間において第２特徴量Ｖ２との距離が予め定められたしきい値以内にある第１特徴量を特定する。図２０においては第２特徴量Ｖ２を中心とした半径ｄ５の円８５が示されている。検索部３７は特徴空間において円８５内に含まれる第１特徴量を特定する。図２０においては、３つの第１特徴量Ｖ１－１１～Ｖ１－１３が特定される。
検索部３７は、特定された第１特徴量Ｖ１－１１～Ｖ１－１３と対応づけられた参照画像を画像ＤＢ５Ａにおいて検索し、検索された参照画像を画像サーバ５から取得する。
表示制御部３６は、取得した参照画像をディスプレイ４４に表示する。図２１は第２の実施形態による情報処理装置３０Ａにおける読影レポートの作成画面を示す図である。図２１に示すように、作成画面９０は、画像表示領域９１、文章表示領域９２および結果表示領域９３を有する。画像表示領域９１には対象医用画像Ｇ０が表示される。図２１において、対象医用画像Ｇ０は胸部の３次元画像を構成する１つの断層画像である。文章表示領域９２には読影医により入力された所見文が表示されている。図２１においては、「右肺Ｓ６に１０ｍｍの充実型結節あり。」の所見文が表示されている。
結果表示領域９３には、検索部３７が検索した参照画像が表示される。図２１においては３つの参照画像Ｒ１～Ｒ３が結果表示領域９３に表示されている。
次いで、第２の実施形態による情報処理について説明する。図２２は第２の実施形態による情報処理のフローチャートである。なお、参照画像についての第１特徴量は第１解析部３２により導出され、参照画像と対応づけられて画像ＤＢ５Ａに多数登録されているものとする。また、対象医用画像Ｇ０は表示制御部３６によりディスプレイ４４に表示されているものとする。第２の実施形態においては、情報取得部３１が、読影医が入力デバイス４５を用いて入力した所見文を取得し（ステップＳＴ２１）、構造化情報導出部３３が、入力された所見文から構造化情報を導出する（ステップＳＴ２２）。次いで、第２解析部３４が、導出された構造化情報を第２導出モデル３４Ａを用いて解析することにより、入力された所見文についての第２特徴量Ｖ２を導出する（ステップＳＴ２３）。
続いて、検索部３７が画像ＤＢ５Ａを参照して、第２特徴量Ｖ２との距離が近い第１特徴量Ｖ１が対応づけられた参照画像を検索する（ステップＳＴ２４）。そして、表示制御部３６が、検索された参照画像をディスプレイ４４に表示し（ステップＳＴ２５）、処理を終了する。
第２の実施形態において検索された参照画像Ｒ１～Ｒ３は、読影医が入力した所見文と特徴が類似する医用画像である。所見文は対象医用画像Ｇ０に関するものであることから、参照画像Ｒ１～Ｒ３は対象医用画像Ｇ０と症例が類似するものとなる。したがって、第２の実施形態によれば、症例が類似する参照画像を参照して、対象医用画像Ｇ０の読影を行うことができる。また、参照画像についての読影レポートをレポートサーバ６から取得し、対象医用画像Ｇ０についての読影レポートの作成に活用することができる。
なお、上記情報処理装置の第１の実施形態においては、表示制御部３６が所見文を表示するに際し、画像に含まれるオブジェクトについての第１特徴量との対応づけに寄与した固有表現を通知するようにしてもよい。この場合、上述した図１０に示すＲＮＮとアテンション機構とを組み合わせたネットワーク構造を有する第２ニューラルネットワーク６２から構築された第２導出部２４を使用し、アテンション機構における重み付けの大きさに応じて、第１特徴量との対応づけに寄与した固有表現を特定すればよい。また、重み係数の大きさに応じて寄与の程度を導出してもよい。
図２３は読影ＷＳ３に表示される読影レポートの作成画面の他の例を示す図である。図２３に示す読影レポートの作成画面７０Ａにおいて、文章表示領域７２に表示された「右肺Ｓ６に１０ｍｍの充実型結節あり。」の所見文に含まれる「右肺Ｓ６」、「１０ｍｍ」および「充実型結節」が、対象医用画像Ｇ０に含まれる病変７３についての第１特徴量との対応づけに寄与した固有表現であり、これらが強調表示されている。なお、図２３においては各固有表現の寄与の程度が異なることをハッチングの線の間隔および線の数の相違により示している。図２３においては、所見文に含まれる固有表現は、寄与の程度が高い順に「右肺Ｓ６」、「充実型結節」、「１０ｍｍ」の順となっている。このように、第１特徴量との対応づけに寄与した固有表現を通知することにより、所見文における重要なキーワードを容易に認識することができる。
なお、第１特徴量との対応づけに寄与した固有表現の通知を、情報処理装置の第２の実施形態における、図２１に示す表示画面９０において行うようにしてもよいことはもちろんである。
また、上記実施形態においては、医用画像および医用画像についての所見文の特徴量を導出する導出モデルを構築しているが、これに限定されるものではない。例えば、写真画像および写真画像に対するコメント等の文の特徴量を導出する導出モデルを構築する場合にも、本開示の技術を適用できることはもちろんである。
また、上記実施形態において、例えば、学習装置７における情報取得部２１、第１導出部２２、構造化情報導出部２３、第２導出部２４および学習部２５、並びに情報処理装置３０，３０Ａにおける情報取得部３１、第１解析部３２、構造化情報導出部３３、第２解析部３４、特定部３５、表示制御部３６および検索部３７といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 医療情報システム
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
５Ａ 画像ＤＢ
６ レポートサーバ
６Ａ レポートＤＢ
７ 学習装置
１０ ネットワーク
１１，４１ ＣＰＵ
１２ 学習プログラム
１３，４３ ストレージ
１４，４４ ディスプレイ
１５，４５ 入力デバイス
１６，４６ メモリ
１７，４７ ネットワークＩ／Ｆ
１８，４８ バス
２１ 情報取得部
２２ 第１導出部
２３ 構造化情報導出部
２４ 第２導出部
２５ 学習部
３０，３０Ａ 情報処理装置
３１ 情報取得部
３２ 第１解析部
３２Ａ 第１導出モデル
３３ 構造化情報導出部
３４ 第２解析部
３４Ａ 第２導出モデル
３５ 特定部
３６ 表示制御部
３７ 検索部
４２ 情報処理プログラム
５１ 医用画像
５２ 読影レポート
５３，５４ 所見文
５３Ａ，５４Ａ 構造化情報
５５ 断層画像
５５Ａ オブジェクト
５９ リスト
６１ 第１ニューラルネットワーク
６２ 第２ニューラルネットワーク
６２Ａ 埋め込み層
６２Ｂ 加算機構
６２Ｃ トランスフォーマ
６５，６６，６８ 特徴ベクトル
６７ ネットワーク構造
６７Ａ ＲＮＮ層
６７Ｂ アテンション機構
７０，７０Ａ，９０ 読影レポートの作成画面
７１，９１ 画像表示領域
７２，９２ 文章表示領域
７３，７４ 病変
７５ マーク
８０ 第２ニューラルネットワーク
８０Ａ 埋め込み層
８０Ｂ ＧＣＮ層
８１ 特徴ベクトル
８５ 円
９３ 結果表示領域
ｄ１，ｄ２，ｄ３，ｄ４ 距離
ｄ５ 半径
Ｇ０ 対象医用画像
Ｒ１，Ｒ２，Ｒ３ 参照画像
ｕｗ ベクトル
Ｖ１，Ｖ１－１，Ｖ１－２，Ｖ１－１１～Ｖ１－１５ 第１特徴量
Ｖ２，Ｖ２－１，Ｖ２－２ 第２特徴量

Claims (8)

  1. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    第１ニューラルネットワークにより、画像に含まれるオブジェクトについての第１特徴量を導出し、
    画像に含まれるオブジェクトに関する記載を含む文から前記オブジェクトに関する１以上の固有表現を抽出し、前記固有表現についての事実性を判定することによって前記固有表現および前記事実性の判定結果を前記文についての構造化情報として導出し、前記固有表現が複数抽出された場合に前記抽出された複数の固有表現間の関係性をさらに前記構造化情報として導出し、
    第２ニューラルネットワークにより、前記構造化情報から前記文についての第２特徴量を導出し、
    前記画像に含まれるオブジェクトと前記文に記載されたオブジェクトとが対応する場合には、前記第１特徴量および前記第２特徴量が属する特徴空間において、前記画像に含まれるオブジェクトと前記文に記載されたオブジェクトとが対応しない場合よりも、導出される前記第１特徴量と前記第２特徴量との距離が小さくなるように前記第１ニューラルネットワークおよび前記第２ニューラルネットワークを学習することにより、画像に含まれるオブジェクトについての特徴量を導出する第１導出モデルおよびオブジェクトに関する記載を含む文についての特徴量を導出する第２導出モデルを構築する学習装置。
  2. 前記プロセッサは、前記画像に含まれるオブジェクトと前記文に記載されたオブジェクトとが対応しない場合には、前記特徴空間において、前記画像に含まれるオブジェクトと前記文に記載されたオブジェクトとが対応する場合よりも、導出される前記第１特徴量と前記第２特徴量との距離が大きくなるように、前記第１ニューラルネットワークおよび前記第２ニューラルネットワークを学習する請求項１に記載の学習装置。
  3. 前記固有表現は、前記オブジェクトの位置、所見およびサイズの少なくとも１つを表し、
    前記事実性の判定結果は、前記所見についての陽性、陰性および疑いのいずれかを表す請求項１または２に記載の学習装置。
  4. 前記関係性は、前記複数の固有表現のそれぞれが関連するか否かを表す請求項１から３のいずれか１項に記載の学習装置。
  5. 前記プロセッサは、前記固有表現および前記事実性を正規化することにより、正規化された構造化情報を導出する請求項１から４のいずれか１項に記載の学習装置。
  6. 前記画像は医用画像であり、前記画像に含まれるオブジェクトは前記医用画像に含まれる病変であり、
    前記文は、病変についての所見が記載された所見文である請求項１から５のいずれか１項に記載の学習装置。
  7. 第１ニューラルネットワークにより、画像に含まれるオブジェクトについての第１特徴量を導出し、
    画像に含まれるオブジェクトに関する記載を含む文から前記オブジェクトに関する１以上の固有表現を抽出し、前記固有表現についての事実性を判定することによって前記固有表現および前記事実性の判定結果を前記文についての構造化情報として導出し、前記固有表現が複数抽出された場合に前記抽出された複数の固有表現間の関係性をさらに前記構造化情報として導出し、
    第２ニューラルネットワークにより、前記構造化情報から前記文についての第２特徴量を導出し、
    前記画像に含まれるオブジェクトと前記文に記載されたオブジェクトとが対応する場合には、前記第１特徴量および前記第２特徴量が属する特徴空間において、前記画像に含まれるオブジェクトと前記文に記載されたオブジェクトとが対応しない場合よりも、導出される前記第１特徴量と前記第２特徴量との距離が小さくなるように前記第１ニューラルネットワークおよび前記第２ニューラルネットワークを学習することにより、画像に含まれるオブジェクトについての特徴量を導出する第１導出モデルおよびオブジェクトに関する記載を含む文についての特徴量を導出する第２導出モデルを構築する学習方法。
  8. 第１ニューラルネットワークにより、画像に含まれるオブジェクトについての第１特徴量を導出する手順と、
    画像に含まれるオブジェクトに関する記載を含む文から前記オブジェクトに関する１以上の固有表現を抽出し、前記固有表現についての事実性を判定することによって前記固有表現および前記事実性の判定結果を前記文についての構造化情報として導出し、前記固有表現が複数抽出された場合に前記抽出された複数の固有表現間の関係性をさらに前記構造化情報として導出する手順と、
    第２ニューラルネットワークにより、前記構造化情報から前記文についての第２特徴量を導出する手順と、
    前記画像に含まれるオブジェクトと前記文に記載されたオブジェクトとが対応する場合には、前記第１特徴量および前記第２特徴量が属する特徴空間において、前記画像に含まれるオブジェクトと前記文に記載されたオブジェクトとが対応しない場合よりも、導出される前記第１特徴量と前記第２特徴量との距離が小さくなるように前記第１ニューラルネットワークおよび前記第２ニューラルネットワークを学習することにより、画像に含まれるオブジェクトについての特徴量を導出する第１導出モデルおよびオブジェクトに関する記載を含む文についての特徴量を導出する第２導出モデルを構築する手順とをコンピュータに実行させる学習プログラム。
JP2021132919A 2021-08-17 2021-08-17 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム Active JP7706987B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021132919A JP7706987B2 (ja) 2021-08-17 2021-08-17 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
US17/884,525 US12183450B2 (en) 2021-08-17 2022-08-09 Constructing trained models to associate object in image with description in sentence where feature amount for sentence is derived from structured information
JP2025074452A JP2025111698A (ja) 2021-08-17 2025-04-28 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021132919A JP7706987B2 (ja) 2021-08-17 2021-08-17 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2025074452A Division JP2025111698A (ja) 2021-08-17 2025-04-28 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2023027663A JP2023027663A (ja) 2023-03-02
JP7706987B2 true JP7706987B2 (ja) 2025-07-14

Family

ID=85227595

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021132919A Active JP7706987B2 (ja) 2021-08-17 2021-08-17 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
JP2025074452A Pending JP2025111698A (ja) 2021-08-17 2025-04-28 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2025074452A Pending JP2025111698A (ja) 2021-08-17 2025-04-28 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US12183450B2 (ja)
JP (2) JP7706987B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7718915B2 (ja) * 2021-08-30 2025-08-05 富士フイルム株式会社 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
US20230376687A1 (en) * 2022-05-17 2023-11-23 Adobe Inc. Multimodal extraction across multiple granularities

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002334A (ja) 2019-06-20 2021-01-07 学校法人関西医科大学 骨関連事象を引き起こす可能性が高いハイリスク患者を提示するための方法、及び装置
JP2021099803A (ja) 2019-12-20 2021-07-01 楽天グループ株式会社 ディープバイナリハッシュおよび量子化を介した効率的なクロスモーダル検索

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6797088B2 (ja) * 2017-08-17 2020-12-09 富士フイルム株式会社 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
CN109583440B (zh) * 2017-09-28 2021-12-17 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
JP2019169049A (ja) * 2018-03-26 2019-10-03 富士フイルム株式会社 医用画像特定装置、方法およびプログラム
EP3977916A4 (en) * 2019-05-31 2022-08-03 FUJIFILM Corporation MEDICAL DOCUMENT CREATION DEVICE, METHOD, AND PROGRAM, LEARNING DEVICE, METHOD, AND PROGRAM, AND LEARNED MODEL
JP2020013594A (ja) 2019-09-03 2020-01-23 株式会社メルカリ 情報処理方法、プログラム、及び情報処理装置
JP7374215B2 (ja) * 2019-12-03 2023-11-06 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
WO2021157705A1 (ja) * 2020-02-07 2021-08-12 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
WO2021167018A1 (ja) * 2020-02-18 2021-08-26 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2021167080A1 (ja) * 2020-02-20 2021-08-26 富士フイルム株式会社 情報処理装置、方法およびプログラム
JP7504987B2 (ja) * 2020-03-03 2024-06-24 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2021177312A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
WO2021177358A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2021187483A1 (ja) * 2020-03-17 2021-09-23 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
JP7436636B2 (ja) * 2020-03-23 2024-02-21 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
CN111782921B (zh) * 2020-03-25 2025-01-14 北京沃东天骏信息技术有限公司 检索目标的方法和装置
JPWO2022163071A1 (ja) * 2021-01-27 2022-08-04
WO2022196105A1 (ja) * 2021-03-19 2022-09-22 富士フイルム株式会社 情報管理装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
EP4310854A4 (en) * 2021-03-19 2024-08-21 FUJIFILM Corporation DEVICE, METHOD AND PROGRAM FOR CREATING DOCUMENT
WO2022230641A1 (ja) * 2021-04-30 2022-11-03 富士フイルム株式会社 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
WO2022261472A1 (en) * 2021-06-11 2022-12-15 Genentech, Inc. Hierarchical workflow for generating annotated training data for machine learning enabled image segmentation
CN113591839B (zh) * 2021-06-28 2023-05-09 北京有竹居网络技术有限公司 一种特征提取模型构建方法、目标检测方法及其设备
JP7686490B2 (ja) * 2021-07-29 2025-06-02 富士フイルム株式会社 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
JP7718915B2 (ja) * 2021-08-30 2025-08-05 富士フイルム株式会社 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
JPWO2023032345A1 (ja) * 2021-09-02 2023-03-09
WO2023054645A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN114530224A (zh) * 2022-01-18 2022-05-24 深圳市智影医疗科技有限公司 基于医学影像的诊断报告辅助生成方法及系统
JP2024054748A (ja) * 2022-10-05 2024-04-17 富士フイルム株式会社 言語特徴抽出モデルの生成方法、情報処理装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002334A (ja) 2019-06-20 2021-01-07 学校法人関西医科大学 骨関連事象を引き起こす可能性が高いハイリスク患者を提示するための方法、及び装置
JP2021099803A (ja) 2019-12-20 2021-07-01 楽天グループ株式会社 ディープバイナリハッシュおよび量子化を介した効率的なクロスモーダル検索

Also Published As

Publication number Publication date
JP2025111698A (ja) 2025-07-30
US20230054096A1 (en) 2023-02-23
JP2023027663A (ja) 2023-03-02
US12183450B2 (en) 2024-12-31

Similar Documents

Publication Publication Date Title
Narin et al. Automatic detection of coronavirus disease (COVID-19) using X-ray images and deep convolutional neural networks
Chan et al. Deep learning in medical image analysis
JP2019169049A (ja) 医用画像特定装置、方法およびプログラム
JP2025111698A (ja) 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
CN115249228A (zh) 胸部x射线图像识别方法、装置、计算机设备和存储介质
CN107077528A (zh) 具有基于文本识别的文本图像链接的图片归档系统
JP7237089B2 (ja) 医療文書作成支援装置、方法およびプログラム
JP7684374B2 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP7686490B2 (ja) 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
Aziz et al. Computer‐aided diagnosis of COVID‐19 disease from chest x‐ray images integrating deep feature extraction
JP2024054748A (ja) 言語特徴抽出モデルの生成方法、情報処理装置、情報処理方法及びプログラム
US20250322641A1 (en) Methods and systems for automated follow-up reading of medical image data
WO2021187483A1 (ja) 文書作成支援装置、方法およびプログラム
US20240193932A1 (en) Information processing apparatus, method, and program
WO2022196106A1 (ja) 文書作成装置、方法およびプログラム
WO2021193548A1 (ja) 文書作成支援装置、方法およびプログラム
JP7299314B2 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
JP7718915B2 (ja) 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
Pivithuru et al. E-patient Card: An Integrated Electronic Health Recording System for Patient
US20230070906A1 (en) Information processing apparatus, method, and program
Pant et al. Attention U-Net Model for Accurate Thoracic Disease Detection, Segmentation and Localization
Keerthana et al. Transfer learning-based CNN diagnostic framework for diagnosis of COVID-19 from lung CT images
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250702

R150 Certificate of patent or registration of utility model

Ref document number: 7706987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150