[go: up one dir, main page]

WO2021020198A1 - 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法 - Google Patents

情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法 Download PDF

Info

Publication number
WO2021020198A1
WO2021020198A1 PCT/JP2020/028074 JP2020028074W WO2021020198A1 WO 2021020198 A1 WO2021020198 A1 WO 2021020198A1 JP 2020028074 W JP2020028074 W JP 2020028074W WO 2021020198 A1 WO2021020198 A1 WO 2021020198A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
feature amount
learning
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/028074
Other languages
English (en)
French (fr)
Inventor
翼 後藤
王　彩華
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN202080048846.6A priority Critical patent/CN114080646A/zh
Priority to JP2021536958A priority patent/JP7170145B2/ja
Priority to EP20846460.2A priority patent/EP4005498B1/en
Publication of WO2021020198A1 publication Critical patent/WO2021020198A1/ja
Priority to US17/565,412 priority patent/US12169932B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Instruments for taking body samples for diagnostic purposes; Other methods or instruments for diagnosis, e.g. for vaccination diagnosis, sex determination or ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an information processing device, a program, a learned model, a diagnostic support device, a learning device, and a method for generating a prediction model, and particularly relates to an artificial intelligence technique for predicting an unknown matter using an image.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • CAD Computer-Aided Diagnosis
  • Non-Patent Document 1 proposes a method of automatically discriminating between a normal brain image and a dementia brain image by machine learning.
  • Patent Document 1 discloses a diagnostic support device that predicts whether or not a patient with mild cognitive impairment will develop Alzheimer's disease within a predetermined period of time by analyzing a brain image.
  • Non-Patent Document 1 proposes a method of predicting whether or not mild cognitive impairment (MCI: Mild Cognitive Impairment) progresses to Alzheimer's disease by using a multimodal recurrent neural network.
  • MCI Mild Cognitive Impairment
  • the diagnosis support by a doctor is provided by predicting the progress of the disease. Is desired. For example, it is desirable to determine whether patients with MCI will progress to Alzheimer's disease in the future.
  • Non-Patent Document 1 is a technique for determining whether Alzheimer's disease or a normal state is present from an MRI image of the brain, and does not predict the future.
  • Patent Document 1 and Non-Patent Document 2 are techniques for determining whether or not Alzheimer's disease will progress in the future, but the determination accuracy is not sufficient.
  • Such a problem is not limited to the use of predicting the future progression of a disease based on medical images, but is a problem common to the process of predicting the future state or the past state of various matters related to temporal changes. Can be grasped.
  • the use of social infrastructure inspection to predict the future deterioration state of a structure from an image of a structure such as a bridge or a building, or a point in the past that goes back in time from an image showing the current state It is also required to improve the accuracy of prediction in applications such as verification for predicting the situation in.
  • the present invention has been made in view of such circumstances, and is a method of generating an information processing device, a program, a learned model, a diagnostic support device, a learning device, and a prediction model capable of performing highly accurate prediction using images.
  • the purpose is to provide.
  • the information processing apparatus is based on an information acquisition unit that accepts input of image data and non-image data related to a target matter, and image data and non-image data input via the information acquisition unit. It includes a prediction unit that predicts the state of matters at a time different from the time when the image data was taken, and the prediction unit includes a first feature amount calculated from the image data and a second calculation unit calculated from the non-image data.
  • a third feature quantity in which the first feature quantity and the second feature quantity are fused is calculated by performing a weighting calculation by a calculation method that outputs a combination of the products of the elements with the feature quantity of. It is an information processing device that makes a prediction based on a third feature amount.
  • the prediction accuracy is improved as compared with the case of adopting a simple linear connection (linear method). Can be done.
  • prediction includes the concepts of reasoning, estimation, and discrimination, when predicting what will happen after the time of shooting and when predicting what will happen at a time before the time of shooting. Includes both concepts with.
  • Time point of shooting image data refers to the time point when the object for acquiring image data was shot. Since the image data is an image image content that captures the state of the object at the time of shooting, the “time of shooting the image data” may be understood as the time when the state of the image content indicated by the image data is grasped.
  • the term "time point” is evaluated to be approximately the same point in time, not only when it strictly points to a specific point of "time”, but also from the viewpoint of a common sense measure of the speed of change over time for the subject matter. Time range may be included. Even if the shooting time of the image data cannot be clearly specified, it is possible to perform prediction processing by regarding at least the time when the image data is input to the information processing device as the "shooting time”. ..
  • a time point different from the shooting time of the image data is a comprehensive expression including both the concept of referring to the time point after the shooting time and the case of referring to the time point before the shooting time. ..
  • the prediction unit receives input of image data and non-image data, and outputs information indicating a state of matters at a time point different from the time of shooting as a result of prediction. It can be configured to include a trained prediction model that has been machine-learned as described above.
  • the prediction unit may be configured by using a neural network.
  • the prediction unit responds to each of a plurality of candidates as a state relating to a matter at a time different from the time of shooting with respect to the input of image data and non-image data. It is possible to perform a classification process for determining which class belongs to a plurality of classes to be performed and output the processing result of the class classification.
  • the prediction unit describes the matter at a time different from the time of shooting as a state after a specific period has elapsed from the time of shooting or a state before a specific period from the time of shooting. It is possible to perform a two-class classification process for determining whether the past state is the first state or a second state different from the first state, and output the processing result of the two-class classification. it can.
  • the prediction unit calculates the first feature amount from the image data and the second feature amount from the non-image data.
  • a third processing unit that calculates a third feature amount by performing weighting calculation by a calculation method that outputs a combination of products of elements from the first feature amount and the second feature amount. And may be configured to include.
  • the weighting calculation performed by the third processing unit is configured to include a process of multiplying the first feature amount and the second feature amount at a random ratio. Can be done.
  • the first processing unit is configured by using a first neural network including a plurality of convolution layers and a first fully connected layer, and is a second processing.
  • the part may be constructed using a second neural network including a second fully connected layer.
  • the information processing apparatus can be configured to include a third fully connected layer for calculating the final output value from the third feature amount.
  • the non-image data may be configured to include information data on matters not appearing in the image indicated by the image data.
  • the non-image data can be configured to include information data in which information at a plurality of time points is inherent.
  • the subject matter is the health condition of the subject
  • the image data is a medical image obtained by photographing the subject, and is non-image data.
  • the prediction unit determines the health condition of the subject after a lapse of a specific period from the time when the medical image was taken, or the subject at a time in the past before the time when the medical image was taken. It can be configured to predict the health condition of the examiner.
  • the term "health condition of a subject” includes various conditions related to the health of a subject, such as the condition of the subject, the progress of the disease, or whether or not the subject is a healthy person. Concept is included.
  • the subject matter is the medical condition of a subject with mild cognitive impairment
  • the image data is MRI (Magnetic) obtained by photographing the subject's brain.
  • Resonance Imaging The non-imaging data includes at least one of the subject's blood test data, genetic data, and cognitive ability score, and the subject's age and gender, and is a predictor. Can be configured to predict whether the condition of the subject is Alzheimer's disease or mild cognitive impairment after a lapse of a specific period from the time when the MRI image is taken.
  • the subject of the clinical trial is a subject who is predicted by the prediction unit that the condition of the subject is mild cognitive impairment after a lapse of a specific period. It can be configured to be excluded from.
  • the information processing apparatus is an information processing apparatus including a processor and a non-temporary computer-readable medium in which a program executed by the processor is recorded, wherein the processor is a program.
  • the product of the elements of the first feature amount calculated from the image data and the second feature amount calculated from the non-image data after receiving the input of the image data and the non-image data related to the target matter.
  • a third feature amount which is a fusion of the first feature amount and the second feature amount, is calculated by performing a weighting calculation by a calculation method using the combination of the above as an output, and the image is based on the third feature amount. It is an information processing device that predicts the state of matters at a time different from the time when the data was taken.
  • the program according to still another aspect of the present disclosure includes a function of accepting input of image data and non-image data related to a target matter into a computer, a first feature amount calculated from the image data, and non-image data.
  • the trained model according to still another aspect of the present disclosure is machine-learned to receive input of image data and non-image data relating to a subject matter and output information predicted from the image data and non-image data.
  • the trained model outputs a combination of the products of the elements of the first feature amount calculated from the image data and the second feature amount calculated from the non-image data.
  • a third feature amount which is a fusion of the first feature amount and the second feature amount, is calculated by performing a weighting calculation by a calculation method, and based on the third feature amount, the time and time when the image data is taken. Is a trained model for making a computer work to output information that shows what is happening at different times.
  • the subject matter is the health condition of the subject
  • the image data is a medical image obtained by photographing the subject, and is non-image data.
  • the trained model is the health condition of the subject after a lapse of a specific period from the time when the medical image was taken, or at a time in the past before the time when the medical image was taken. It can be configured to predict the health condition of the subject.
  • the diagnostic support device includes a non-transitory computer-readable medium on which the trained model according to one aspect of the present disclosure is recorded, and a processor operating according to the trained model. It is a device.
  • the learning device is a learning device including a processor and a non-temporary computer-readable medium in which a learning program executed by the processor is recorded, wherein the processor is a learning program.
  • training data including image data and non-image data related to the target matter and data showing a known state of the matter corresponding to the combination of the image data and the non-image data is acquired, and the image data and the non-image are acquired.
  • a processor that inputs data to the training model and performs machine learning of the training model so that image data and non-image data output predictive information indicating the state of matters at a time different from the time when the image data was taken.
  • the learning model performs weighting calculation by a calculation method that outputs a combination of the products of the elements of the first feature amount calculated from the image data and the second feature amount calculated from the non-image data.
  • This is a learning device that calculates a third feature amount in which the first feature amount and the second feature amount are fused, and outputs prediction information based on the third feature amount.
  • the method of generating the prediction model includes image data and non-image data relating to the target matter, data showing a known state of the matter corresponding to the combination of the image data and the non-image data, and By acquiring training data including the above and performing machine learning of the learning model using the training data, matters at a time different from the time when the image data was taken with respect to the input of image data and non-image data.
  • the training model includes a first feature amount calculated from image data and a second feature amount calculated from non-image data, including generating a trained prediction model that outputs prediction information indicating the situation.
  • a third feature amount in which the first feature amount and the second feature amount are fused is calculated, and a third feature amount is calculated. It is a method of generating a prediction model that outputs prediction information based on the feature amount of.
  • the method of generating a predictive model is understood as an invention of a method of manufacturing a predictive model.
  • the present invention using image data and non-image data, it is possible to accurately predict the state of the image data at a time different from the time when the image data was taken.
  • FIG. 1 is an explanatory diagram showing an outline of processing in the information processing apparatus according to the embodiment of the present invention.
  • FIG. 2 is a conceptual diagram showing a network structure of a learning model used for machine learning for generating a prediction model.
  • FIG. 3 is an explanatory diagram showing an outline of weighting calculation using the bilinear method.
  • FIG. 4 is an explanatory diagram showing an outline of weighting calculation using the bilinear shake method.
  • FIG. 5 is a hardware configuration diagram illustrating an outline of a medical image information system including an information processing apparatus according to an embodiment of the present invention.
  • FIG. 6 is a block diagram showing a schematic configuration of the learning device.
  • FIG. 7 is a conceptual diagram of the learning data stored in the learning data storage unit.
  • FIG. 1 is an explanatory diagram showing an outline of processing in the information processing apparatus according to the embodiment of the present invention.
  • FIG. 2 is a conceptual diagram showing a network structure of a learning model used for machine learning for generating a prediction model.
  • FIG. 8 is a functional block diagram showing a function of learning processing in the learning device.
  • FIG. 9 is a flowchart illustrating the procedure of the learning method using the learning device.
  • FIG. 10 is a block diagram showing a schematic configuration of the information processing apparatus.
  • FIG. 11 is a functional block diagram showing a function of dementia progression prediction processing in the information processing apparatus.
  • FIG. 12 is a flowchart illustrating the procedure of the diagnosis support method using the information processing apparatus.
  • FIG. 13 is a flowchart showing an example of the processing content of the prediction processing in step S24 of FIG.
  • FIG. 14 is a block diagram showing an example of a computer hardware configuration.
  • FIG. 1 is an explanatory diagram showing an outline of processing in the information processing apparatus 10 according to the embodiment of the present invention.
  • the information processing device 10 is a computer system that performs a task of predicting the progression of dementia whether or not a patient with mild cognitive impairment (MCI) progresses to Alzheimer's disease (AD) one year after baseline.
  • MCI mild cognitive impairment
  • AD Alzheimer's disease
  • FIG. 1 is an explanatory diagram showing an outline of processing in the information processing apparatus 10 according to the embodiment of the present invention.
  • the information processing device 10 is a computer system that performs a task of predicting the progression of dementia whether or not a patient with mild cognitive impairment (MCI) progresses to Alzheimer's disease (AD) one year after baseline.
  • MCI mild cognitive impairment
  • AD Alzheimer's disease
  • the information processing device 10 performs arithmetic processing using the trained prediction model 12 generated by machine learning.
  • the prediction model 12 is, for example, a learning model constructed by using a hierarchical multi-layer neural network, and network parameters are determined by deep learning. Network parameters include the filter coefficients (weights of connections between nodes) of the filters used to process each layer and the bias of the nodes.
  • the "neural network” is a mathematical model of information processing that simulates the mechanism of the cranial nerve system. Processing using a neural network can be realized by using a computer.
  • the processing unit including the neural network can be configured as a program module.
  • the subject patient changes from MCI to Alzheimer's disease (AD) one year later in response to the input of the MRI image IM obtained by photographing the brain of the patient who is the subject and the biological information BI of this patient.
  • AD Alzheimer's disease
  • the prediction model 12 can be understood as a classifier and may be understood as a classifier or discriminator that identifies a class.
  • the biological information BI includes, for example, at least one, preferably a plurality of combinations, of blood test data, genetic data, cognitive ability score, cerebrospinal fluid data, age, and gender.
  • As the biological information BI it is preferable to use at least one of blood test data, genetic data, cognitive ability score and cerebrospinal fluid data, and age and gender.
  • blood test data, genetic data, cognitive ability score, age and gender are used as the biological information BI to be input to the information processing apparatus 10.
  • data such as MCI and other biomarkers having a correlation with Alzheimer's disease may be used as the biological information BI.
  • the first feature amount calculated from the input MRI image IM and the second feature amount calculated from the input biometric information BI are fused by the calculation of the bilinear method.
  • the two-class classification is determined based on the obtained third feature amount.
  • the "bilinear method" referred to here is a calculation method for calculating a combination of products of elements of two different types of feature quantities using a first feature quantity and a second feature quantity.
  • the baseline when predicting the progression of dementia is, for example, the state at the time of making a diagnosis of the target patient, and specifically, various tests such as taking an MRI image IM used for the diagnosis and a cognitive ability test are performed. This is the state when the data was acquired by executing. It should be noted that “one year later” here does not have to be strict, and may be approximately one year later, including a period range that is generally accepted.
  • the time when the MRI image IM is taken, or the time of the baseline at which the inspection including the taking of the MRI image IM is performed is an example of the "time of taking the image data" in the present disclosure.
  • “One year later” is an example of "a time point different from the shooting time” and "after a specific period has passed from the shooting time” in the present disclosure.
  • the data used for learning is, for example, data of an MCI patient having data of a plurality of types of items shown below, and it is specified whether the patient actually progressed to Alzheimer's disease one year later or not. It will be the data of the patients who have made it.
  • the data of the plurality of types of items includes MRI image, blood test data, genetic data, cognitive ability score, age, and gender data.
  • the cognitive ability score is, for example, one of ADAS (Alzheimer's Disease Assessment Scale) score, MMSE (Mini Mental State Examination) score, FAQ (Functional Activities Questionnaire) score, and CDR (Clinical Dementia Rating) score, or , A plurality of combinations of these may be used.
  • ADAS Alzheimer's Disease Assessment Scale
  • MMSE Mini Mental State Examination
  • FAQ Fluorescenceal Activities Questionnaire
  • CDR Chronic Dementia Rating
  • the gene data may be, for example, data indicating a genotype, and specifically, test data of apolipoprotein E (ApoE).
  • ApoE is a gene involved in the development of Alzheimer's disease.
  • the ApoE gene has three subtypes ( ⁇ 2, ⁇ 3, ⁇ 4), of which those with " ⁇ 4" have a relatively high risk of developing Alzheimer's disease.
  • Correct answer data plays the role of a teacher signal in supervised learning.
  • Data of multiple MCI patients corresponding to such usage data conditions are used as a set of learning data.
  • the data used for learning is subjected to the following preprocessing in order to perform learning efficiently.
  • the brightness value is normalized and the alignment with the atlas image is performed to facilitate learning.
  • the alignment with the standard brain may be performed.
  • the preprocessing as described above may be performed by a learning device incorporating a learning program that executes machine learning, or may be performed by using a computer system different from the learning device.
  • FIG. 2 is a conceptual diagram showing a network structure of a learning model 14 used for machine learning to generate a prediction model 12. By performing deep learning using the learning model 14, network parameters are determined.
  • the network structure shown in FIG. 2 may be understood as the network structure of the prediction model 12.
  • the MRI image IM (p) and the biological information BI (p) are input data for learning, and “p” represents an index of the learning data.
  • the learning model 14 is based on a neural network 16 including a plurality of convolutional layers and a fully connected layer FC1 for calculating the first feature amount Fv1 from the input MRI image IM (p), and the input biological information BI (p).
  • a fully coupled layer FC2 that calculates a second feature amount Fv2, a fusion layer FU that fuses the first feature amount Fv1 and a second feature amount Fv2 by a weighting calculation by a bilinear method, and a third fusion layer FU obtained from the fusion layer FU.
  • the fully coupled layer FC3, which calculates the final output value from the feature amount Fv3 of the above, is provided.
  • Each of the blocks indicated by the symbols C1, C2, C3, C4 and C5 in FIG. 2 represents a network module in which the arithmetic processing of a plurality of layers is collectively represented in one block.
  • one block is a plurality of layers in which convolution processing, batch normalization processing, ReLU (Rectified Linear Unit) function, convolution processing, batch normalization processing, ReLU function, and pooling processing are performed in this order.
  • the vertical size of each block gradually decreasing from C1 to C5 indicates that the image size of the feature map calculated in each block gradually decreases.
  • the horizontal size of each block represents the relative change in the number of channels of the feature map calculated in each block.
  • the outline of the processing by the learning model 14 is as follows. That is, for the MRI image IM (p), the first feature amount Fv1 is extracted by passing through a plurality of convolution layers. The first feature quantity Fv1 is represented by a vector including a plurality of elements. For the biological information BI (p), the treatment of full binding by the full binding layer FC2 is performed once to obtain a second feature amount Fv2. The second feature amount Fv2 is represented by a vector containing a plurality of elements. Then, the first feature amount Fv1 and the second feature amount Fv2 are fused in the fusion layer FU, and the final output value is calculated in the fully coupled layer FC3 using the fused third feature amount Fv3.
  • the final output value obtained from the fully connected layer FC3 is, for example, a classification score representing the certainty (likelihood) of each class. Good.
  • the classification score may be converted into a value normalized to a numerical value in the range of 0 to 1, that is, a probability by using a softmax function or the like.
  • the neural network 16 shown in FIG. 2 is an example of the "first processing unit” and the "first neural network” in the present disclosure.
  • the fully connected layer FC1 is an example of the "first fully connected layer” in the present disclosure.
  • the fully connected layer FC2 is an example of the "second processing unit”, the “second fully connected layer”, and the “second neural network” in the present disclosure.
  • the fusion layer FU is an example of the "third processing unit” in the present disclosure.
  • the fully connected layer FC3 is an example of the "third fully connected layer” in the present disclosure.
  • Each of the fully bonded layers FC1, FC2, and FC3 may be configured to include a plurality of layers.
  • the final output value obtained through the fully connected layer FC3 is an example of "prediction information" in the present disclosure.
  • FIG. 3 is an explanatory diagram showing an outline of weighting calculation using the bilinear method in the fusion layer FU.
  • x represents the first feature amount obtained from the MRI image IM (p)
  • y represents the second feature amount obtained from the biological information BI (p).
  • z represents a third feature amount output from the fusion layer FU.
  • each element of x and y is multiplied, weighted, and added. That is, the element of z is calculated according to the following equation 1.
  • I in the formula is the index of the element of x. j is the index of the element of y. k is the index of the element of z.
  • the fusion layer FU uses the first feature amount and the second feature amount, and is weighted by a calculation method that outputs a combination of products of two different types of feature amounts. To generate a third feature quantity in which the two types of feature quantities are fused.
  • Equation 2 in the combination processing by the linear method, each of the elements of x and y is weighted and added.
  • the linear method cannot consider the combination of products of x and y elements.
  • Equation 1 in the fusion process using the bilinear method shown in Equation 1, the combination of the products of the elements of x and y is considered, so that the expressive power of the network is improved by that amount, and the product of the elements is calculated. Since the meaning of correlating is also included, it is possible to improve the prediction accuracy by considering the correlation between the two features obtained from different types of information.
  • the calculation method in the fusion layer FU is not limited to the bilinear method shown in Equation 1, and for example, the bilinear shake method may be applied.
  • the bilinear shake method the weighting of each element when calculating the product of two types of feature quantities is changed by a random number.
  • FIG. 4 is an explanatory diagram showing an outline of weighting calculation using the bilinear shake method in the fusion layer FU.
  • x represents the first feature amount obtained from the MRI image IM (p)
  • y represents the second feature amount obtained from the biological information BI (p).
  • ⁇ represents a value of 0 to 1 generated by a random number.
  • ⁇ is generated for each element k, i, j.
  • z represents a third feature amount output from the fusion layer FU.
  • each element of x and y is multiplied, weighted, and added. That is, the element of z is calculated according to the following equation 3.
  • I in the formula is the index of the element of x. j is the index of the element of y. k is the index of the element of z.
  • the fusion layer FU uses the first feature amount and the second feature amount, and is weighted by a calculation method that outputs a combination of products of two different types of feature amounts. To generate a third feature quantity in which the two types of feature quantities are fused.
  • the bilinear shake method considers the combination of products at random ratios for the first feature amount and the second feature amount, so that it is possible to prevent the learning from being biased to either feature amount. ..
  • the following modes can be considered as random number generation patterns. For example, when considering that there are 10 combinations of x and y as training data and learning them with 10 epochs, the following three patterns can be considered as patterns for generating random numbers of ⁇ .
  • Random numbers are generated for each combination of x and y and for each epoch. In this case, the same ⁇ does not exist.
  • FIG. 5 is a hardware configuration diagram illustrating an outline of the medical image information system 40 including the information processing device 10 according to the embodiment of the present invention.
  • the three-dimensional image capturing device 42, the image storage server 44, and the information processing device 10 are connected to each other in a communicable state via the communication line 46.
  • the communication line 46 may be, for example, a local area network constructed in a medical institution such as a hospital.
  • the format of connection to the communication line 46 and communication between devices is not limited to wired, and may be wireless.
  • the three-dimensional image capturing device 42 is a device that generates a three-dimensional image representing the site by photographing the site to be diagnosed by the patient who is the subject, and specifically, a CT device and an MRI apparatus. , And PET equipment and the like.
  • the three-dimensional image composed of the plurality of slice images generated by the three-dimensional image capturing device 42 is transmitted to the image storage server 44 for each unit inspection and stored.
  • the diagnosis target site of the patient is the brain
  • the three-dimensional imaging device 42 is an MRI device.
  • a three-dimensional MRI image including the patient's brain is generated.
  • the MRI image is a diffusion-weighted image.
  • FIG. 5 shows one 3D image capturing device 42
  • a plurality of 3D image capturing devices may be connected to the communication line 46. It should be noted that the plurality of three-dimensional image capturing devices may include different modality.
  • the image storage server 44 is a computer that stores and manages various data, and is provided with a large-capacity external storage device and database management software.
  • the image storage server 44 communicates with other devices via the communication line 46, and transmits / receives image data and the like.
  • the image storage server 44 acquires various data including image data of the three-dimensional image generated by the three-dimensional image capturing device 42 via the communication line 46, and uses it as a recording medium such as a large-capacity external storage device. Save and manage.
  • the storage format of the image data and the communication between the devices via the communication line 46 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • the image storage server 44 stores blood test data, genetic data, cognitive ability score, and biological information including the age and sex of the patient.
  • the in-hospital terminal device 50 may be connected to the communication line 46.
  • FIG. 5 shows one in-hospital terminal device 50, a plurality of in-hospital terminal devices may be connected to the communication line 46.
  • Biological information including blood test data and other test data can be input from the information processing device 10 and / or the in-hospital terminal device 50, and the living body is sent from the information processing device 10 and / or the in-hospital terminal device 50 to the image storage server 44. Information can be sent.
  • the function of the information processing device 10 may be incorporated in the in-hospital terminal device 50.
  • the communication line 46 may be connected to the wide area communication network 66 via the router 60.
  • the wide area communication network 66 may be configured to include the Internet and / or a dedicated communication line.
  • the learning device 100 is configured by a computer system to generate the prediction model 12 incorporated in the information processing device 10.
  • the learning device 100 is connected to the wide area communication network 66, and can collect learning data via the wide area communication network 66.
  • the learning device 100 can collect learning data from a plurality of image storage servers installed in a plurality of medical institutions (not shown in FIG. 5) in addition to the image storage server 44.
  • personal information such as a name that can identify the individual patient is kept secret.
  • the learning data set which is a collection of a plurality of learning data, is stored in the internal storage of the learning device 100, the external storage connected to the learning device 100, the data storage server, or the like.
  • FIG. 6 is a block diagram showing a schematic configuration of the learning device 100.
  • the learning device 100 can be realized by a computer system configured by using one or a plurality of computers.
  • the computer system that constitutes the learning device 100 may be the same system as the computer system that constitutes the information processing device 10, may be a different system, or may be a system that shares some elements. Good.
  • the learning device 100 is realized by installing a learning program on a computer.
  • the learning device 100 includes a processor 102, a non-temporary computer-readable medium 104, an input / output interface 106, a communication interface 108, a bus 110, an input device 114, and a display device 116.
  • the processor 102 includes a CPU.
  • Processor 102 may include a GPU.
  • the processor 102 is connected to the computer-readable medium 104, the input / output interface 106, and the communication interface 108 via the bus 110.
  • the computer-readable medium 104 includes a memory that is a main storage device and a storage that is an auxiliary storage device.
  • the computer-readable medium 104 may be a semiconductor memory, a hard disk (HDD: Hard Disk Drive) device, a solid state drive (SSD: Solid State Drive) device, or a plurality of combinations thereof.
  • the learning device 100 is connected to the learning data storage unit 170 via the communication interface 108 or the input / output interface 106.
  • the learning data storage unit 170 is configured to include a storage for storing learning data necessary for the learning device 100 to perform machine learning.
  • the "learning data” is training data used for machine learning, and is synonymous with “learning data” or "training data”.
  • the learning data storage unit 170 and the learning device 100 are configured as separate devices, but these functions may be realized by one computer, or two or more devices may be realized.
  • the processing functions may be shared and realized by the computer.
  • the learning program is a program that realizes a function of causing a computer to learn a learning model 14.
  • the processor 102 executes a command of the learning program, the computer functions as an information acquisition unit 121, a preprocessing unit 122, a learning model 14, an error calculation unit 124, and an optimizer 125.
  • the information acquisition unit 121 acquires learning data from the learning data storage unit 170.
  • the information acquisition unit 121 may be configured to include a data input terminal that captures data from an external or other signal processing unit in the device. Further, the information acquisition unit 121 is configured to include an input / output interface 106, a communication interface 108, a media interface for reading and writing a portable external storage medium such as a memory card (not shown), or an appropriate combination of these embodiments. You may.
  • the information acquisition unit 121 can acquire data necessary for performing learning data from the image storage server 44 described with reference to FIG.
  • the pre-processing unit 122 performs pre-processing on the MRI image and biological information acquired from the image storage server 44 or the like in order to improve the efficiency of machine learning processing.
  • the learning data processed by the pre-processing unit 122 can be stored in the learning data storage unit 170. If a learning data set to which necessary preprocessing has been performed is prepared in advance, it is possible to omit the processing by the preprocessing unit 222.
  • the error calculation unit 124 calculates the error between the predicted value indicated by the classification score output from the learning model 14 and the correct answer data.
  • the error calculation unit 124 evaluates the error using the loss function.
  • the loss function may be, for example, cross entropy or mean square error.
  • the optimizer 125 performs a process of updating the network parameters of the learning model 14 from the calculation result of the error calculation unit 124.
  • the computer functions as the display control unit 130.
  • the display control unit 130 generates a display signal necessary for display output to the display device 116, and controls the display of the display device 116.
  • the input device 114 is composed of, for example, a keyboard, a mouse, a touch panel, or other pointing device, a voice input device, or an appropriate combination thereof.
  • the input device 114 receives various inputs by the operator.
  • the display device 116 is composed of, for example, a liquid crystal display, an organic electro-luminescence (OEL) display, a projector, or an appropriate combination thereof.
  • the input device 114 and the display device 116 are connected to the bus 110 via the input / output interface 106.
  • the display device 116 and the input device 114 may be integrally configured by using the touch panel.
  • FIG. 7 is a conceptual diagram of the learning data stored in the learning data storage unit 170.
  • the learning data storage unit 170 contains an MRI image IM (p) for a plurality of MCI patients, a biological information BI (p), and a correct answer information CD (p) which is known information indicating a medical condition one year later.
  • the learning data LD (p) in which the combination of the above is associated with each patient is saved.
  • the MRI image IM (p) may be preprocessed image data that has been preprocessed. p represents, for example, an index corresponding to the patient number.
  • FIG. 8 is a functional block diagram showing the function of the learning process in the learning device 100.
  • the learning device 100 reads the learning data LD (p) from the learning data storage unit 170 and executes machine learning.
  • the learning device 100 can read the learning data LD (p) and update the parameters in units of mini-batch in which a plurality of learning data LDs (p) are put together.
  • FIG. 8 shows the flow of processing of one set of learning data, but when performing mini-batch learning, a plurality of sets (for example, m sets) of learning data included in the mini-batch are collectively processed.
  • the information acquisition unit 121 of the learning device 100 includes an image acquisition unit 141, a biological information acquisition unit 142, and a correct answer information acquisition unit 143.
  • the image acquisition unit 141 acquires the MRI image IM (p).
  • the biological information acquisition unit 142 acquires the biological information BI (p).
  • the correct answer information acquisition unit 143 acquires the correct answer information CD (p).
  • the correct answer information CD (p) is, for example, classification score data (correct answer data) representing the correct answer label of the classification. In the case of two-class classification, specifically, the score in the case of Alzheimer's disease can be set as "1", and the score in the case of MCI can be set as "0".
  • the MRI image IM (p) acquired via the image acquisition unit 141 is input to the learning model 14.
  • the biological information BI (p) acquired via the biological information acquisition unit 142 is input to the learning model 14.
  • the learning model 14 outputs a classification score according to the class according to the process described with reference to FIGS. 2 and 3 or according to the process described with reference to FIGS. 2 and 4.
  • the classification score calculated by the learning model 14 corresponds to the predicted value.
  • the error calculation unit 124 performs a calculation for evaluating the error between the classification score output from the learning model 14 and the correct answer data acquired from the correct answer information acquisition unit 143.
  • the optimizer 125 includes a parameter update amount calculation unit 151 and a parameter update processing unit 152.
  • the parameter update amount calculation unit 151 uses the error calculation result obtained from the error calculation unit 124 to calculate the update amount of the network parameter of the learning model 14.
  • the parameter update processing unit 152 performs the parameter update processing of the learning model 14 according to the parameter update amount calculated by the parameter update amount calculation unit 151.
  • the optimizer 125 updates the parameters based on an algorithm such as the backpropagation method.
  • the parameters to be updated are the parameters of the neural network 16 including a plurality of convolution layers and the fully connected layer FC1, the parameters of the weights in the fully connected layer FC2, the parameters of the weights in the fusion layer FU, and the parameters in the fully connected layer FC3. Includes parameters for. Note that some of the parameters of the neural network 16 may be excluded from the update target. For example, among the blocks shown by C1 to C5 in FIG. 2, some parameters of the layer near the input side may be fixed.
  • FIG. 9 is a flowchart illustrating the procedure of the learning method using the learning device 100 as an example.
  • a learning data set is prepared as a preliminary preparation before executing the learning process. That is, a plurality of learning data of a combination of the MRI image IM (p), the biological information BI (p), and the correct answer information CD (p) as described in FIG. 7 are prepared.
  • the function of generating such a learning data set may be incorporated in the learning device 100, or may be incorporated in a device other than the learning device 100.
  • step S1 of FIG. 9 the learning device 100 acquires learning data.
  • the learning device 100 can acquire a plurality of learning data from the learning data storage unit 170 in units of mini-batch.
  • step S2 the learning device 100 inputs an MRI image and biological information to the learning model 14, and performs prediction processing using the learning model 14.
  • the prediction processing performed by the learning model 14 includes a process of calculating the first feature amount Fv1 from the MRI image, a process of calculating the second feature amount Fv2 from the biological information, and a bilinear method.
  • step S3 the error calculation unit 124 calculates the error between the predicted value obtained from the learning model 14 and the correct answer data.
  • step S4 the optimizer 125 calculates the update amount of the parameters of the learning model 14 based on the error calculated in step S3.
  • step S5 the optimizer 125 updates the parameters of the learning model 14 according to the update amount calculated in step S4. Parameter update processing is performed in units of mini-batch.
  • the learning device 100 determines whether or not to end learning.
  • the learning end condition may be determined based on the value of the error, or may be determined based on the number of parameter updates. As a method based on the error value, for example, the learning end condition may be that the error has converged within a specified range. As a method based on the number of updates, for example, the learning end condition may be that the number of updates reaches the specified number of times.
  • step S6 If the determination result in step S6 is No, the learning device 100 returns to step S1 and repeats the learning process until the learning end condition is satisfied.
  • step S6 When the determination result in step S6 is Yes determination, the learning device 100 ends the flowchart shown in FIG.
  • the trained learning model 14 thus obtained is applied as the prediction model 12 of the information processing device 10.
  • the learning method described with reference to FIG. 9 is an example of a method for generating the prediction model 12.
  • the learning device 100 may update the parameters of the prediction model 12 by performing additional learning using the newly collected learning data after the prediction model 12 is generated.
  • the learned parameters obtained by the additional learning can be provided to the information processing apparatus 10 via the wide area communication network 66 or by using a portable external storage medium such as a memory card. With such a mechanism, it is possible to update the prediction performance of the prediction model 12.
  • FIG. 10 is a block diagram showing a schematic configuration of the information processing apparatus 10.
  • the information processing device 10 is realized by installing a diagnostic support program on a computer.
  • the information processing device 10 includes a processor 202, a non-temporary computer-readable medium 204, an input / output interface 206, a communication interface 208, a bus 210, an input device 214, and a display device 216.
  • the hardware configuration of the information processing device 10 may be the same as the hardware configuration of the learning device 100 described with reference to FIG.
  • the hardware configurations of the processor 202, the computer-readable medium 204, the input / output interface 206, the communication interface 208, the bus 210, the input device 214, and the display device 216 of FIG. 10 are the processor 102 of FIG. 6 and the computer-readable medium 104. , Input / output interface 106, communication interface 108, bus 110, input device 114, and display device 116.
  • the diagnosis support program is a program that predicts the progression of dementia based on the MRI image and biological information of the patient to be diagnosed.
  • the processor 202 executes the command of the diagnosis support program, the computer functions as an information acquisition unit 221, a preprocessing unit 222, and a prediction model 12.
  • the computer when the processor 202 executes the command of the display control program, the computer functions as the display control unit 230.
  • the display control unit 230 generates a display signal necessary for display output to the display device 216, and controls the display of the display device 216.
  • the information acquisition unit 221 acquires the MRI image and biological information of the patient who has undergone the examination.
  • the information acquisition unit 221 can acquire patient data from the image storage server 44.
  • the information acquisition unit 221 may be configured to include a data input terminal that captures data from an external or other signal processing unit in the device. Further, the information acquisition unit 221 is configured to include an input / output interface 206, a communication interface 208, a media interface for reading / writing a portable external storage medium such as a memory card (not shown), or an appropriate combination of these embodiments. You may.
  • the pre-processing unit 222 performs pre-processing on the MRI image and biological information acquired via the information acquisition unit 221.
  • the processing content by the preprocessing unit 222 may be the same as that of the preprocessing unit 122 of the learning device 100.
  • the prediction model 12 predicts whether or not the target patient will progress to Alzheimer's disease one year later according to the algorithm described in FIG. 2 based on the input MRI image and biological information.
  • the question of predicting the progress of "whether or not Alzheimer's disease progresses in one year” is the same as the question of "whether or not Alzheimer's disease develops within one year", in short, one year of the patient. It is a question of predicting whether the later condition is Alzheimer's disease or MCI.
  • the medical condition of the patient one year later is an example of "a state related to matters at a time different from the time when the image data was taken" and "health condition of the subject” in this disclosure.
  • the prediction model 12 is an example of the “prediction unit” in the present disclosure.
  • Alzheimer's disease and MCI as candidates for medical conditions one year later are examples of "plurality of candidates as appearances related to matters at a time different from the time of imaging" in the present disclosure.
  • Alzheimer's disease as a candidate for a medical condition one year later is an example of the "first condition” in the present disclosure
  • MCI as a candidate for a medical condition one year later is an example of the "second condition” in the present disclosure. ..
  • FIG. 11 is a functional block diagram showing a function of dementia progression prediction processing in the information processing apparatus 10.
  • the information processing apparatus 10 reads the MRI image and the biological information of the MCI patient who is the subject from the image storage server 44 or the like.
  • the information acquisition unit 221 of the information processing device 10 includes an image acquisition unit 241 and a biological information acquisition unit 242.
  • the image acquisition unit 241 acquires an MRI image IM.
  • the biological information acquisition unit 242 acquires biological information.
  • the MRI image IM acquired via the image acquisition unit 241 is input to the prediction model 12 after being preprocessed by the preprocessing unit 222. Further, the biometric information BI acquired via the biometric information acquisition unit 242 is input to the prediction model 12 after being preprocessed by the preprocessing unit 222.
  • the preprocessing by the preprocessing unit 222 can be omitted.
  • the prediction model 12 outputs the prediction result according to the processing described with reference to FIGS. 2 and 3 or according to the processing described with reference to FIGS. 2 and 4.
  • the prediction result is displayed on the display device 216 via the display control unit 230.
  • the information processing device 10 is an example of the "diagnosis support device” in the present disclosure.
  • MRI image IM and biometric BI of MCI patients correlate with the progression of the condition.
  • the MRI image IM and the biological information BI are examples of "image data and non-image data relating to a subject matter" in the present disclosure.
  • the MRI image IM is an example of "image data” in the present disclosure.
  • Biological information BI is an example of "non-image data” in the present disclosure.
  • the prediction result output from the prediction model 12 is an example of the "classification processing result" in the present disclosure.
  • FIG. 12 is a flowchart illustrating the procedure of the diagnosis support method using the information processing apparatus 10.
  • a learning data set is prepared as a preliminary preparation before executing the learning process. That is, a plurality of learning data of a combination of the MRI image IM (p), the biological information BI (p), and the correct answer information CD (p) as described in FIG. 7 are prepared.
  • the function of generating such a learning data set may be incorporated in the learning device 100, or may be incorporated in a device other than the learning device 100.
  • step S21 the information processing device 10 acquires an MRI image of the subject.
  • step S22 the information processing device 10 acquires the biological information of the subject.
  • the order of processing in steps S21 and S22 can be interchanged. Further, steps S21 and S22 may be executed by parallel processing or parallel processing.
  • step S23 the preprocessing unit 222 of the information processing device 10 preprocesses the input MRI image and biological information as necessary.
  • step S24 the information processing device 10 inputs an MRI image and biological information into the prediction model 12 and performs prediction processing.
  • step S26 the information processing device 10 outputs the prediction result obtained by the prediction model 12.
  • step S26 the information processing apparatus 10 ends the flowchart of FIG.
  • FIG. 13 is a flowchart showing an example of the processing content of the prediction processing (step S24).
  • the flowchart of FIG. 13 is applied to the process of step S24 of FIG.
  • the prediction model 12 calculates the feature amount of the input MRI image. That is, the prediction model 12 calculates the first feature amount Fv1 from the MRI image according to the forward propagation path of the neural network 16.
  • step S32 the prediction model 12 calculates the feature amount of the input biological information. That is, the prediction model 12 calculates the second feature amount Fv2 by combining the elements of the biological information by the fully connected layer FC2.
  • the order of processing in step S31 and step S32 can be exchanged. Further, steps S31 and S32 may be executed by parallel processing or parallel processing.
  • step S34 the prediction model 12 fuses the two types of features obtained from steps S31 and S32 by weighting calculation by the bilinear method to generate a third feature amount Fv3.
  • step S35 the prediction model 12 determines the two-class classification based on the third feature amount Fv3, which is the feature amount fused in step S34.
  • step S35 the information processing device 10 ends the flowchart of FIG. 13 and returns to the flowchart of FIG.
  • FIG. 14 is a block diagram showing an example of a computer hardware configuration.
  • the computer 800 may be a personal computer, a workstation, or a server computer.
  • the computer 800 is a device having a part or all of the information processing device 10, the image storage server 44, the in-hospital terminal device 50, the learning device 100, and the learning data storage unit 170, or a plurality of these functions, which have already been described. Can be used.
  • the computer 800 includes a CPU (Central Processing Unit) 802, a RAM (Random Access Memory) 804, a ROM (Read Only Memory) 806, a GPU (Graphics Processing Unit) 808, a storage 810, a communication unit 812, an input device 814, and a display device 816. And a bus 818.
  • the GPU (Graphics Processing Unit) 808 may be provided as needed.
  • the CPU 802 reads various programs stored in the ROM 806, the storage 810, or the like, and executes various processes.
  • the RAM 804 is used as a work area of the CPU 802. Further, the RAM 804 is used as a storage unit for temporarily storing the read program and various data.
  • the storage 810 includes, for example, a hard disk device, an optical disk, a magneto-optical disk, or a semiconductor memory, or a storage device configured by using an appropriate combination thereof.
  • the storage 810 stores various programs, data, and the like necessary for prediction processing and / or learning processing.
  • the program stored in the storage 810 is loaded into the RAM 804, and the CPU 802 executes the program, so that the computer 800 functions as a means for performing various processes specified by the program.
  • the communication unit 812 is an interface that performs communication processing with an external device by wire or wirelessly and exchanges information with the external device.
  • the communication unit 812 can play the role of an information acquisition unit that accepts input such as an image.
  • the input device 814 is an input interface that accepts various operation inputs to the computer 800.
  • the input device 814 may be, for example, a keyboard, mouse, touch panel, or other pointing device, or voice input device, or any combination thereof.
  • the display device 816 is an output interface that displays various types of information.
  • the display device 816 may be, for example, a liquid crystal display, an organic electro-luminescence (OEL) display, a projector, or an appropriate combination thereof.
  • OEL organic electro-luminescence
  • a non-temporary program such as an optical disk, a magnetic disk, a semiconductor memory, or the like, which realizes a part or all of the processing function of at least one of the prediction function and the learning function described in the above-described embodiment on a computer. It is possible to record on a computer-readable medium which is an information storage medium and provide a program through this information storage medium.
  • program signal as a download service using a telecommunication line such as the Internet, instead of storing the program in such a tangible non-temporary computer-readable medium and providing the program.
  • each processing unit The prediction model 12 shown in FIG. 1 and the like, the learning model 14 shown in FIG. 2 and the like, the information acquisition unit 121 shown in FIG. 6, the preprocessing unit 122, the error calculation unit 124, the optimizer 125, the display control unit 130, and the image shown in FIG. Acquisition unit 141, biological information acquisition unit 142, correct answer information acquisition unit 143, parameter update amount calculation unit 151, parameter update processing unit 152, information acquisition unit 221 shown in FIG. 10, preprocessing unit 222, display control unit 230, FIG.
  • the hardware structure of the processing unit that executes various processes such as the image acquisition unit 241 and the biometric information acquisition unit 242 shown in the above is, for example, various processors as shown below. ..
  • Various processors include a CPU, which is a general-purpose processor that executes programs and functions as various processing units, a GPU, which is a processor specialized in image processing, and an FPGA (Field Programmable Gate Array) circuit configuration after manufacturing.
  • a dedicated electric circuit that is a processor having a circuit configuration specially designed to execute a specific process such as a programmable logic device (PLD) or an ASIC (Application Specific Integrated Circuit), which is a processor that can change the CPU. Etc. are included.
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types.
  • one processing unit may be composed of a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a GPU.
  • a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor functions as a plurality of processing units.
  • SoC System On Chip
  • IC Integrated Circuit
  • circuitry that combines circuit elements such as semiconductor elements.
  • Example In the information processing apparatus 10 according to the embodiment of the present invention, it was determined whether or not the patient changed from MCI to Alzheimer's disease one year later by using the MRI image, genotype, cognitive ability score, age and gender of the patient.
  • the discrimination accuracy was 85% or more.
  • “Discrimination” is included in the concept of "prediction”. Discrimination accuracy is synonymous with “prediction accuracy”.
  • the method according to the embodiment of the present invention has improved discrimination accuracy as compared with the method described in Non-Patent Document 2.
  • the future state of the patient can be predicted with high accuracy by using the MRI image of the patient and the biological information.
  • ⁇ Assumed implementation mode >> As an aspect of using the dementia progression prediction function of the information processing device 10 according to the present embodiment, for example, in order to improve the accuracy of the clinical trial at the time of developing a new drug, a clinical trial is conducted on a subject who is predicted not to progress to Alzheimer's disease in the first place. It is conceivable to remove it from.
  • Alzheimer's disease As another usage mode, after a drug that suppresses the progression of Alzheimer's disease is sold, in order to administer the drug only to patients who are effective with the drug, a patient having the effect of the drug, that is, Alzheimer's disease It is conceivable to identify the patient whose disease is predicted to progress.
  • ⁇ Modification 2 In the above-described embodiment, an example of predicting the progression of dementia with an MCI patient as a subject has been described, but a healthy subject may be included as the subject, and the classification of the class is "no change". Healthy individuals may be classified among them. Alternatively, a "healthy person" class may be provided as a candidate for classification. In order to realize the prediction about the healthy person, the data about the healthy person is used as the learning data.
  • the network of two-class classification has been described as an example, but the scope of application of the technique of the present disclosure is not limited to this example, and it can be applied to a network of three or more classes of multi-class classification. Further, the technique of the present disclosure can be applied not only to a prediction model for classifying but also to a prediction model for solving a regression problem.
  • ⁇ Modification 4 >>
  • an example of using an MRI image has been described, but the technique of the present disclosure is not limited to the MRI image, and an image of another modality may be used.
  • a CT image acquired by a CT device may be used.
  • the CT image may be a non-contrast CT image obtained by taking a picture without using a contrast medium, or a contrast CT image obtained by taking a picture using a contrast medium. You may use it.
  • the prediction technique according to the present disclosure can be applied not only to a three-dimensional tomographic image but also to various two-dimensional images.
  • the image to be processed may be a two-dimensional X-ray image.
  • the prediction technique according to the present disclosure is not limited to medical images, and can be applied to various images such as ordinary camera images.
  • the technique according to the present disclosure can be applied to an application for predicting a future deterioration state after a lapse of a specific period from an image of a building such as a bridge.
  • the non-image information used in combination with the image of a building such as a bridge is, for example, at least one of the material of the building, the location information indicating the installation location, the structural style, and the inspection data of the periodic inspection, preferably. May be a combination of multiple types.
  • the non-image data used in combination with the image data in order to improve the prediction accuracy includes information that is not directly related to the content of the image.
  • the biological information used as input in combination with the MRI image of the brain for predicting the progression of dementia is an example of information that is not directly related to the image content of the MRI image. That is, the biological information includes information about matters that do not appear in the MRI image.
  • the biological information is an example of "information about matters not appearing in the image indicated by the image data" in the present disclosure.
  • image data such as an MRI image is information at a specific timing at the time when the target is photographed, so to speak, one image data is "temporary point information".
  • the task of predicting future matters is a question of how it will change from the present or the past to the future. Therefore, in order to improve the prediction accuracy, it is preferable to use non-image information having a dimension of "time" that the image data does not have in combination with the image data.
  • the genetic information exemplified by a genotype is not information at a certain point in time, but contains information on how the patient has or may change characteristics from the past to the future. Information containing information at a plurality of time points in this way can be interpreted as information having a time dimension.
  • the genetic data is an example of "data of information in which information at a plurality of time points is inherent" in the present disclosure.
  • the technique of the present disclosure can also be applied to a process of predicting the appearance at a time point in the past before the time when the image was taken.
  • data showing a known state before the time of shooting is used as correct answer information corresponding to the image data and the non-image data in the training data.
  • the algorithm for predicting the past state before a specific period from the time of shooting is the same as the algorithm for predicting the state after the lapse of a specific period from the time of shooting.
  • Distillation model and derivative model It is possible to generate a derivative model and / or a distillation model based on the trained model generated by implementing the learning method of the present disclosure.
  • the derived model is a derived trained model obtained by performing additional training on the trained model, and is also referred to as a “reuse model”.
  • additional training means that a new trained parameter is generated by applying a different training data set to an existing trained model and performing further training. The additional learning is performed, for example, for the purpose of maintaining or improving the accuracy of the trained model, or adapting to a region different from the region originally trained.
  • distillation means that the input to the existing trained model and the output result for the input are used as the training data set of the new model to perform machine learning, and the new trained model and / or trained. It means to generate a parameter.
  • the "distillation model” is an inference program (prediction model) in which learned parameters newly generated by distillation are incorporated.
  • the distillation model may have a different network structure than the original trained model.
  • AD Alzheimer's Disease
  • AD Alzheimer's Disease
  • the multi-modal input data are defined as MRI images and clinical data including social cognitive scores, APoEgenotype, gender and age obtained from Our criteria of selecting these input data are that they are mostly obtained by non-invasive examination.
  • the proposed method integrates features obtained from MRI images and clinical dat a effectively by using bi-linear fusion.
  • Bi-linear fusion computes the products of all elements between images and clinical features, where the correlation between them are included. That led a big improvement of prediction of prediction of prediction of prediction of prediction of prediction of prediction of prediction of prediction of prediction of -linear fusion achieved to predict conversion in one year with 84.8% accuracy, comparing with 75.3% accuracy using linear fusion.
  • the proposed method is useful for screening examination for AD or decoding while alignment with stratification experiment input data is relatively easy to be obtained.
  • Information processing device 10
  • Prediction model 14
  • Learning model 16
  • Neural network 40
  • Medical image information system 42
  • 3D imaging device 44
  • Image storage server 46
  • Communication line 50
  • In-hospital terminal device 60
  • Router 66
  • Wide area communication network 100
  • Learning device 102
  • Processor 104
  • Computer readable medium 106
  • Input / output interface 108
  • Communication interface 110
  • Bus 114
  • Input device 116
  • Information acquisition unit 122
  • Preprocessing unit 124
  • Error calculation unit 125
  • Optimizer 130 Display control unit 141
  • Image acquisition unit 142
  • Biometric information acquisition unit 143
  • Correct answer information acquisition unit 151
  • Parameter update Quantity calculation unit 152
  • Parameter update processing unit 170
  • Learning data storage unit 202
  • Processor 204
  • Computer readable medium 206
  • Input / output interface 208
  • Communication interface 210
  • Bus 214
  • Input device 216
  • Information acquisition unit 222

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Human Resources & Organizations (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

画像を用いて精度の高い予測を行うことができる情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法を提供する。情報処理装置は、対象とする事柄に関する画像データ及び非画像データの入力を受け付ける情報取得部と、情報取得部を介して入力された画像データ及び非画像データに基づき、画像データの撮影時点とは異なる時点での事柄に関する様子を予測する予測部と、を備え、予測部は、画像データから算出される第１の特徴量と、非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって第１の特徴量と第２の特徴量とが融合された第３の特徴量を算出し、かつ第３の特徴量に基づいて予測を行う。

Description

情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法
　本発明は、情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法に係り、特に画像を用いて未知の事柄を予測する人工知能技術に関する。
　近年、ＣＴ(Computed Tomography)装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。特に、ＣＴ画像及びＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の領域、位置及び体積等を抽出し、これらを解析結果として取得することも行われている。
　一方、近年、高齢化社会の到来により、認知症疾患の患者が年々増加している。認知症は脳にアミロイドベータと呼ばれるタンパク質が蓄積することによって脳の萎縮が進行し、認知能力が低下することにより発症する。認知症の治療法は研究されつつあるが、まだ完治させる方法は存在しないため、脳の萎縮を早期に発見し、認知症の進行を遅らせるための治療を早期に開始することが生活の質を維持する上で重要である。
　このような要望に応えるべく、近年、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）及びＰＥＴ（Positron Emission Tomography）等の核医学検査、並びにＣＴ装置により取得されるＣＴ画像及びＭＲＩ装置により取得されるＭＲＩ画像によって脳の状態に関する情報が取得可能になってきている。例えば、脳の局所的な部位の血流及び代謝の低下は、ＳＰＥＣＴ及びＰＥＴの画像を用いて、脳の局所的な部位の経時的な変化を求めることにより発見することができる。また、近年、脳の萎縮度と認知症の進行度との関連性が研究されている。脳の萎縮については、ＭＲＩ画像によって脳の特定部位の容積を求め、容積の経時的な変化を比較することにより発見することができる。例えば、非特許文献１には、機械学習により正常な脳画像と認知症の脳画像とを自動的に判別する手法が提案されている。
　特許文献１には、脳画像を解析することにより、軽度認知障害の患者が所定期間内にアルツハイマー病を発症するか否かの予測を行う診断支援装置が開示されている。非特許文献１には、マルチモーダルリカレントニューラルネットワークを用いて、軽度認知障害（ＭＣＩ：Mild Cognitive Impairment）からアルツハイマー病へと進行するか否かの予測を行う方法が提案されている。
特許第６４８３９０号
SARRAF, Saman, et al. "DeepAD: Alzheimer’s Disease Classification via Deep Convolutional Neural Networks using MRI and fMRI." bioRxiv, 2016, 070441. Garam Lee, Kwangsik Nho, et al. "Predicting Alzheimer’s disease progression using multi-modal deep learning approach", Scientific Reports 9, Article number: 1952 (2019)
　認知症を含む様々な病気においては、病気の進行を遅らせるための治療方法等、現時点における最良の治療方法の選択するために、その病気の進行度を予測することにより医師による診断支援を行うことが望まれている。例えば、ＭＣＩの患者が将来にアルツハイマー病に進行するか否かを判別することが望まれる。
　非特許文献１は、脳のＭＲＩ画像からアルツハイマー病であるか正常な状態であるかを判別する技術であり、将来を予測する内容ではない。特許文献１及び非特許文献２は、将来的にアルツハイマー病が進行するかどうかの判別を行う技術であるが、その判別精度が十分ではない。
　このような課題は、医用画像に基づく将来の病気の進行を予測する用途に限らず、時間的な変化に関わる様々な事柄についての将来の様子又は過去の様子を予測する処理に共通する課題として把握することができる。例えば、橋梁あるいは建築物などの構造物を撮影した画像から構造物の将来の劣化状態を予測するための社会インフラ検査の用途、又は、現在の状態を示す画像から時間を遡った過去のある時点における様子を予測する検証の用途など、においても予測の精度を高めることが要求される。
　本発明はこのような事情に鑑みてなされたもので、画像を用いて精度の高い予測を行うことができる情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法を提供することを目的とする。
　本開示の一態様に係る情報処理装置は、対象とする事柄に関する画像データ及び非画像データの入力を受け付ける情報取得部と、情報取得部を介して入力された画像データ及び非画像データに基づき、画像データの撮影時点とは異なる時点での事柄に関する様子を予測する予測部と、を備え、予測部は、画像データから算出される第１の特徴量と、非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって第１の特徴量と第２の特徴量とが融合された第３の特徴量を算出し、かつ第３の特徴量に基づいて予測を行う、情報処理装置である。
　本態様によれば、画像データと非画像データとの組み合わせに基づいて、撮影時点とは異なる時点での様子を予測する際に、画像データから得られる第１の特徴量と非画像データから得られる第２の特徴量との積の要素が含まれた第３の特徴量を用いて予測が行われるため、単純な線形結合（リニア法）を採用する場合と比べて、予測精度を高めることができる。
　「予測」という用語は、推論、推定、及び判別の概念を含み、撮影時点よりも後の時点での様子を予測する場合と、撮影時点よりも前の過去の時点での様子を予測する場合との両方の概念を含む。
　「画像データの撮影時点」とは、画像データを取得するための対象物の撮影が行われた時点を指す。画像データは、撮影時点における対象物の状態を捉えた画像像内容となるため、「画像データの撮影時点」は、画像データが示す画像内容の状態と把握される時点と理解してもよい。「時点」という用語は、特定の「時」の一点を厳密に指し示す場合に限らず、対象とする事柄についての時間的な変化のスピードの常識的な尺度の観点から、概ね同じ時点と評価される時間範囲を含んでよい。なお、画像データの撮影時点を明確に特定できない場合であっても、少なくとも情報処理装置に対して画像データの入力を行う時点を「撮影時点」とみなして予測の処理を行うことが可能である。
　「画像データの撮影時点とは異なる時点」とは、撮影時点よりも後の時点を指す場合と、撮影時点よりも前の時点を指す場合と、の両方の概念を含む包括的な表現である。
　本開示の他の態様に係る情報処理装置において、予測部は、画像データ及び非画像データの入力を受けて、撮影時点とは異なる時点での事柄に関する様子を示す情報を予測の結果として出力するように機械学習された学習済みの予測モデルを含む構成とすることができる。
　本開示の更に他の態様に係る情報処理装置において、予測部は、ニューラルネットワークを用いて構成されてよい。
　本開示の更に他の態様に係る情報処理装置において、予測部は、画像データ及び非画像データの入力に対して、撮影時点とは異なる時点での事柄に関する様子としての複数の候補の各々に対応する複数のクラスのうち、いずれのクラスに属するかを判別するクラス分類の処理を行い、クラス分類の処理結果を出力する構成とすることができる。
　本開示の更に他の態様に係る情報処理装置において、予測部は、撮影時点とは異なる時点での事柄に関する様子として、撮影時点から特定期間経過後の様子、又は撮影時点よりも特定期間前の過去の様子が第１の状態であるか、第１の状態と異なる第２の状態であるかを判別する２クラス分類の処理を行い、２クラス分類の処理結果を出力する構成とすることができる。
　本開示の更に他の態様に係る情報処理装置において、予測部は、画像データから第１の特徴量を算出する第１の処理部と、非画像データから第２の特徴量を算出する第２の処理部と、第１の特徴量及び第２の特徴量から要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことにより、第３の特徴量を算出する第３の処理部と、を含んで構成されてよい。
　本開示の更に他の態様に係る情報処理装置において、第３の処理部が行う重み付け計算は、第１の特徴量と第２の特徴量とをランダムな割合でかけ合わせる処理を含む構成とすることができる。
　本開示の更に他の態様に係る情報処理装置において、第１の処理部は、複数の畳み込み層と第１の全結合層とを含む第１のニューラルネットワークを用いて構成され、第２の処理部は、第２の全結合層を含む第２のニューラルネットワークを用いて構成されてよい。
　本開示の更に他の態様に係る情報処理装置において、第３の特徴量から最終出力値を算出する第３の全結合層を備える構成とすることができる。
　本開示の更に他の態様に係る情報処理装置において、非画像データは、画像データが示す画像に現れていない事柄に関する情報のデータを含む構成とすることができる。
　本開示の更に他の態様に係る情報処理装置において、非画像データは、複数の時点おける情報が内在されている情報のデータを含む構成とすることができる。
　本開示の更に他の態様に係る情報処理装置において、対象とする事柄は、被検者の健康状態であり、画像データは、被検者を撮影して得られる医用画像であり、非画像データは、被検者の生体情報を含み、予測部は、医用画像の撮影時点から特定期間経過後における被検者の健康状態、又は医用画像の撮影時点よりも特定期間前の過去の時点における被検者の健康状態を予測する構成とすることができる。
　「被検者の健康状態」という用語には、例えば、被検者の病状、病気の進行状態、あるいは被検者が健常者であるか否かなど、被検者の健康に関わる状態の様々な概念が含まれる。
　本開示の更に他の態様に係る情報処理装置において、対象とする事柄は、軽度認知障害の被検者の病状であり、画像データは、被検者の脳を撮影して得られるＭＲＩ（Magnetic Resonance Imaging）画像であり、非画像データは、被検者の血液検査データ、遺伝子データ、及び認知能力スコアのうちの少なくとも１つのデータと、被検者の年齢及び性別と、を含み、予測部は、ＭＲＩ画像の撮影時点から特定期間経過後において被検者の病状がアルツハイマー病であるか軽度認知障害であるかの予測を行う構成とすることができる。
　本開示の更に他の態様に係る情報処理装置において、予測部により、特定期間経過後において被検者の病状が軽度認知障害であるとの予測結果が得られた被検者を治験の対象者から除外する構成とすることができる。
　本開示の更に他の態様に係る情報処理装置は、プロセッサと、プロセッサによって実行されるプログラムが記録された非一時的なコンピュータ可読媒体と、を含む情報処理装置であって、プロセッサは、プログラムの指令に従い、対象とする事柄に関する画像データ及び非画像データの入力を受け、画像データから算出される第１の特徴量と、非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって第１の特徴量と第２の特徴量とが融合された第３の特徴量を算出し、第３の特徴量に基づいて、画像データの撮影時点とは異なる時点での事柄に関する様子を予測する、情報処理装置である。
　本開示の更に他の態様に係るプログラムは、コンピュータに、対象とする事柄に関する画像データ及び非画像データの入力を受け付ける機能と、画像データから算出される第１の特徴量と、非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって第１の特徴量と第２の特徴量とが融合された第３の特徴量を算出する機能と、第３の特徴量に基づいて、画像データの撮影時点とは異なる時点での事柄に関する様子を予測する機能と、を実現させるためのプログラムである。
　本開示の更に他の態様に係る学習済みモデルは、対象とする事柄に関する画像データ及び非画像データの入力を受けて、画像データ及び非画像データから予測される情報を出力するように機械学習された学習済みモデルであって、学習済みモデルは、画像データから算出される第１の特徴量と、非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって第１の特徴量と第２の特徴量とが融合された第３の特徴量を算出し、かつ第３の特徴量に基づいて、画像データの撮影時点とは異なる時点での事柄に関する様子を示す情報を出力するよう、コンピュータを機能させるための学習済みモデルである。
　本開示の更に他の態様に係る学習済みモデルにおいて、対象とする事柄は、被検者の健康状態であり、画像データは、被検者を撮影して得られる医用画像であり、非画像データは、被検者の生体情報を含み、学習済みモデルは、医用画像の撮影時点から特定期間経過後における被検者の健康状態、又は医用画像の撮影時点よりも特定期間前の過去の時点における被検者の健康状態を予測する構成とすることができる。
　本開示の更に他の態様に係る診断支援装置は、本開示の一態様に係る学習済みモデルが記録された非一時的なコンピュータ可読媒体と、学習済みモデルに従って動作するプロセッサと、を含む診断支援装置である。
　本開示の更に他の態様に係る学習装置は、プロセッサと、プロセッサによって実行される学習プログラムが記録された非一時的なコンピュータ可読媒体と、を含む学習装置であって、プロセッサは、学習プログラムの指令に従い、対象とする事柄に関する画像データ及び非画像データと、画像データ及び非画像データの組み合わせに対応した事柄の既知の様子を示すデータと、を含む学習データを取得し、画像データ及び非画像データを学習モデルに入力して、画像データ及び非画像データから画像データの撮影時点とは異なる時点での事柄に関する様子を示す予測情報が出力されるように学習モデルの機械学習を行う、プロセッサであり、学習モデルは、画像データから算出される第１の特徴量と、非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって第１の特徴量と第２の特徴量とが融合された第３の特徴量を算出し、第３の特徴量に基づいて、予測情報を出力する、学習装置である。
　本開示の更に他の態様に係る予測モデルの生成方法は、対象とする事柄に関する画像データ及び非画像データと、画像データ及び非画像データの組み合わせに対応した事柄の既知の様子を示すデータと、を含む学習データを取得することと、学習データを用いて、学習モデルの機械学習を行うことにより、画像データ及び非画像データの入力に対して、画像データの撮影時点とは異なる時点での事柄に関する様子を示す予測情報を出力する学習済みの予測モデルを生成することと、を含み、学習モデルは、画像データから算出される第１の特徴量と、非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって第１の特徴量と第２の特徴量とが融合された第３の特徴量を算出し、第３の特徴量に基づいて、予測情報を出力する、予測モデルの生成方法である。
　予測モデルの生成方法は、予測モデルを製造する方法の発明として理解される。
　本発明によれば、画像データと非画像データとを用いて、画像データの撮影時点とは異なる時点での様子を精度よく予測することができる。
図１は、本発明の実施形態に係る情報処理装置における処理の概要を示す説明図である。 図２は、予測モデルを生成するための機械学習に用いられる学習モデルのネットワーク構造を示す概念図である。 図３は、バイリニア法を用いた重み付け計算の概要を示す説明図である。 図４は、バイリニアシェイク法を用いた重み付け計算の概要を示す説明図である。 図５は、本発明の実施形態に係る情報処理装置を含む医用画像情報システムの概要を例示的に示すハードウェア構成図である。 図６は、学習装置の概略構成を示すブロック図である。 図７は、学習データ保存部に保存される学習データの概念図である。 図８は、学習装置における学習処理の機能を示す機能ブロック図である。 図９は、学習装置を用いた学習方法の手順を例示的に示すフローチャートである。 図１０は、情報処理装置の概略構成を示すブロック図である。 図１１は、情報処理装置における認知症進行予測処理の機能を示す機能ブロック図である。 図１２は、情報処理装置を用いた診断支援方法の手順を例示的に示すフローチャートである。 図１３は、図１２のステップＳ２４における予測処理の処理内容の例を示すフローチャートである。 図１４は、コンピュータのハードウェア構成の例を示すブロック図である。
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　《実施形態の概要》
　図１は、本発明の実施形態に係る情報処理装置１０における処理の概要を示す説明図である。情報処理装置１０は、軽度認知障害（ＭＣＩ）の患者がベースラインから１年後にアルツハイマー病（ＡＤ）に進行するか否かの認知症進行予測のタスクを行うコンピュータシステムである。なお、アルツハイマー病は、アルツハイマー型認知症と同義である。
　情報処理装置１０は、機械学習によって生成された学習済みの予測モデル１２を用いて演算処理を行う。予測モデル１２は、例えば、階層型の多層のニューラルネットワークを用いて構築された学習モデルであって、深層学習によってネットワークのパラメータが決定されている。ネットワークのパラメータには、各層の処理に用いるフィルタのフィルタ係数（ノード間の結合の重み）及びノードのバイアスが含まれる。なお、「ニューラルネットワーク」とは、脳神経系の仕組みを模擬した情報処理の数理モデルである。ニューラルネットワークを用いた処理は、コンピュータを用いて実現することができる。ニューラルネットワークを含む処理部は、プログラムモジュールとして構成され得る。
　予測モデル１２は、被検者である患者の脳を撮影したＭＲＩ画像ＩＭと、この患者の生体情報ＢＩとの入力を受けて、対象の患者が１年後にＭＣＩからアルツハイマー病（ＡＤ）に変化するか否かの２クラス分類の処理を行い、判定結果を出力するクラス分類ネットワークである。予測モデル１２は、クラス分類器と理解することができ、クラスを識別する識別器あるいは判別器と理解してもよい。
　生体情報ＢＩは、例えば、血液検査データ、遺伝子データ、認知能力スコア、髄液データ、年齢、性別の少なくとも１つ、好ましくは複数の組み合わせを含む。生体情報ＢＩとして、血液検査データ、遺伝子データ、認知能力スコア及び髄液データのうちの少なくとも１つと、年齢及び性別を用いることが好ましい。本例では、情報処理装置１０に入力する生体情報ＢＩとして、血液検査データ、遺伝子データ、認知能力スコア、年齢及び性別を用いる。なお、生体情報ＢＩとして、上記に例示のデータ以外に、ＭＣＩ及びアルツハイマー病と相関関係を持つ他のバイオマーカーなどのデータを用いてもよい。
　予測モデル１２は、入力されたＭＲＩ画像ＩＭから算出される第１の特徴量と、入力された生体情報ＢＩから算出される第２の特徴量とをバイリニア法の演算によって融合（fusion）させて得られる第３の特徴量に基づいて２クラス分類の判定を行う。ここでいう「バイリニア法」とは、第１の特徴量と、第２の特徴量とを用いて、これら異なる２種類の特徴量の要素同士の積の組み合わせを計算する演算方法である。
　認知症進行予測を行う際のベースラインは、例えば、対象者である患者について診断を行う時点の状態であり、具体的には診断に用いるＭＲＩ画像ＩＭの撮影及び認知能力テストなどの各種検査を実施してデータを取得したときの状態である。なお、ここでの「１年後」は厳密なものでなくてもよく、常識的に許容される期間範囲を含んで概ね１年後であればよい。ＭＲＩ画像ＩＭが撮影された時点、あるいはＭＲＩ画像ＩＭの撮影を含む検査が行われたベースラインの時点は本開示における「画像データの撮影時点」の一例である。「１年後」は本開示における「撮影時点とは異なる時点」及び「撮影時点から特定期間経過後」の一例である。
　《学習方法の説明》
　予測モデル１２を生成するための学習方法について説明する。
　［使用データについて］
　学習に使用するデータは、例えば、以下に示す複数種類の項目のデータを持つＭＣＩ患者のデータであり、かつ、その患者が１年後に実際にアルツハイマー病に進行したか、進行しなかったかを特定できている患者のデータとする。複数種類の項目のデータとは、本例の場合、ＭＲＩ画像、血液検査データ、遺伝子データ、認知能力スコア、年齢、及び性別のデータを含む。
　認知能力スコアは、例えば、ＡＤＡＳ（Alzheimer’s Disease Assessment Scale）スコア、ＭＭＳＥ（Mini Mental State Examination）スコア、ＦＡＱ（Functional Activities Questionnaire）スコア、及びＣＤＲ（Clinical Dementia Rating）スコアのうちのいずれか１つ、又は、これらのうちの複数の組み合わせであってよい。学習の際には、予め定めた特定の認知能力スコアの数値を使用する。
　遺伝子データは、例えば、遺伝子タイプを示すデータであってよく、具体的には、アポリポ蛋白Ｅ（ＡｐｏＥ）の検査データであってよい。ＡｐｏＥは、アルツハイマー病の発症にかかわる遺伝子である。ＡｐｏＥ遺伝子は、３つのサブタイプ（ε2,ε3,ε4）があり、これらの中で「ε4」を持つ人は、アルツハイマー病の発症のリスクが相対的に高い。
　ＭＲＩ画像と生体情報とを含む複数種類のデータは、学習モデルに対する入力データとして使用される。また、ＭＣＩ患者が１年後に実際にアルツハイマー病に進行したか、進行しなかったかという情報は、入力データに対応した既知の様子を示す正解ラベルのデータ（正解データ）として使用される。正解データは、教師あり学習における教師信号の役割を果たす。
　このような使用データの条件に該当する複数のＭＣＩ患者のデータを学習用のデータのセットとして用いる。学習に用いるデータには、学習を効率的に行うために、以下に示す前処理が施される。
　［前処理について］
　ＭＲＩ画像については、輝度値の正規化ならびにアトラス画像との位置合わせを行い、学習させやすくする。なお、アトラス画像との位置合わせに代えて、標準脳との位置合わせを行ってもよい。
　生体情報については、データの種類ごとにデータセットの最小値と最大値の範囲で０から１の数値に正規化する。遺伝子タイプについては、「ε4」を持っているタイプは「１」、持っていなければ「０」として入力する。
　上述のような前処理は、機械学習を実行する学習プログラムが組み込まれた学習装置によって実施されてもよいし、学習装置とは別のコンピュータシステムを用いて実施されてもよい。
　［学習モデルのネットワーク構造］
　図２は、予測モデル１２を生成するための機械学習に用いられる学習モデル１４のネットワーク構造を示す概念図である。学習モデル１４を用いて深層学習を行うことにより、ネットワークのパラメータが決定される。図２に示すネットワーク構造は、予測モデル１２のネットワーク構造と理解してよい。
　図２において、ＭＲＩ画像ＩＭ（ｐ）と生体情報ＢＩ（ｐ）は、学習用の入力データであり、「ｐ」は学習データのインデックスを表す。学習モデル１４は、入力されたＭＲＩ画像ＩＭ（ｐ）から第１の特徴量Ｆｖ１を算出する複数の畳み込み層及び全結合層ＦＣ１を含むニューラルネットワーク１６と、入力された生体情報ＢＩ（ｐ）から第２の特徴量Ｆｖ２を算出する全結合層ＦＣ２と、第１の特徴量Ｆｖ１及び第２の特徴量Ｆｖ２をバイリニア法による重み付け計算によって融合するフュージョン層ＦＵと、フュージョン層ＦＵから得られる第３の特徴量Ｆｖ３から最終出力値を算出する全結合層ＦＣ３と、を備える。
　図２中のＣ１、Ｃ２、Ｃ３、Ｃ４及びＣ５の符号によって示されるブロックの各々は、複数の層の演算処理を１つのブロックにまとめて表記したネットワークモジュールを表す。本例の場合、１つのブロックは、畳み込み処理、バッチ正規化処理、ＲｅＬＵ（Rectified Linear Unit）関数、畳み込み処理、バッチ正規化処理、ＲｅＬＵ関数、及びプーリング処理がこの順で実施される複数の層を含むネットワークモジュールを表す。
　図２においてＣ１からＣ５に向かって各ブロックの縦方向のサイズが次第に小さくなっているのは、各ブロックにて計算される特徴マップの画像サイズが次第に小さくなっていることを表している。また、各ブロックの横方向のサイズは各ブロックにて計算される特徴マップのチャンネル数の相対的な変化を表している。
　学習モデル１４による処理の概要は、次の通りである。すなわち、ＭＲＩ画像ＩＭ（ｐ）に対しては、複数の畳み込み層を通すことによって、第１の特徴量Ｆｖ１の抽出を行う。第１の特徴量Ｆｖ１は、複数の要素を含むベクトルで表される。生体情報ＢＩ（ｐ）に対しては、全結合層ＦＣ２による全結合の処理を１回行い、第２の特徴量Ｆｖ２を得る。第２の特徴量Ｆｖ２は、複数の要素を含むベクトルで表される。そして、第１の特徴量Ｆｖ１と第２の特徴量Ｆｖ２をフュージョン層ＦＵにて融合し、融合された第３の特徴量Ｆｖ３を用いて全結合層ＦＣ３にて最終出力値を計算する。
　本例の学習モデル１４は、２クラス分類の判別を行うものであるため、全結合層ＦＣ３から得られる最終出力値は、例えば、各クラスの確信度（尤度）を表す分類スコアであってよい。分類スコアはソフトマックス関数などを用いて０から１の範囲の数値に正規化された値、すなわち確率に変換されてもよい。
　図２に示すニューラルネットワーク１６は本開示における「第１の処理部」及び「第１のニューラルネットワーク」の一例である。全結合層ＦＣ１は本開示における「第１の全結合層」の一例である。全結合層ＦＣ２は本開示における「第２の処理部」、「第２の全結合層」及び「第２のニューラルネットワーク」の一例である。フュージョン層ＦＵは本開示における「第３の処理部」の一例である。全結合層ＦＣ３は本開示における「第３の全結合層」の一例である。全結合層ＦＣ１、ＦＣ２、ＦＣ３の各々は、複数の層を含んで構成されてもよい。全結合層ＦＣ３を経て得られる最終出力値は本開示における「予測情報」の一例である。
　図３は、フュージョン層ＦＵにおけるバイリニア法を用いた重み付け計算の概要を示す説明図である。図３において、ｘはＭＲＩ画像ＩＭ（ｐ）から得られる第１の特徴量を表し、ｙは生体情報ＢＩ（ｐ）から得られる第２の特徴量を表す。ｚはフュージョン層ＦＵから出力される第３の特徴量を表す。図３に示すように、バイリニア法を用いた融合処理では、ｘとｙのそれぞれの要素同士を乗算して重みをかけて加算する。すなわち、ｚの要素は、次の式１に従って計算される。
Figure JPOXMLDOC01-appb-M000001
　式中のｉはｘの要素のインデックスである。ｊはｙの要素のインデックスである。ｋはｚの要素のインデックスである。
　式１に示されるとおり、フュージョン層ＦＵは、第１の特徴量と第２の特徴量とを用いて、異なる２種類の特徴量の要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって２種類の特徴量が融合された第３の特徴量を生成する。
　比較のために線形結合（リニア法）による結合処理の数式を以下に示す。
Figure JPOXMLDOC01-appb-M000002
　式２に示されるように、リニア法による結合処理では、ｘとｙの要素のそれぞれに重みをかけて加算する。リニア法ではｘとｙの要素同士の積の組み合わせは考慮できない。
　この点、式１に示すバイリニア法を用いた融合処理ではｘとｙの要素同士の積の組み合わせが考慮されるため、その分ネットワークの表現力が向上することに加え、要素同士の積には相関をとる意味も含まれるため、異なる種類の情報から得られた２つの特徴量の相関を考慮することによって、予測精度の向上が可能となる。
　フュージョン層ＦＵにおける演算方法は、式１に示すバイリニア法に限らず、例えば、バイリニアシェイク法を適用してもよい。バイリニアシェイク法は、２種類の特徴量の要素同士の積を計算する際の各要素の重み付けを乱数で変化させる。
　図４は、フュージョン層ＦＵにおけるバイリニアシェイク法を用いた重み付け計算の概要を示す説明図である。図４において、ｘはＭＲＩ画像ＩＭ（ｐ）から得られる第１の特徴量を表し、ｙは生体情報ＢＩ（ｐ）から得られる第２の特徴量を表す。αは乱数によって生成される０～１の値を表す。αは要素ｋ，ｉ，ｊごとに生成される。ｚはフュージョン層ＦＵから出力される第３の特徴量を表す。図４に示すように、バイリニアシェイク法を用いた融合処理では、ｘとｙのそれぞれの要素同士を乗算して重みをかけて加算する。すなわち、ｚの要素は、次の式３に従って計算される。
Figure JPOXMLDOC01-appb-M000003
　式中のｉはｘの要素のインデックスである。ｊはｙの要素のインデックスである。ｋはｚの要素のインデックスである。
　式３に示されるとおり、フュージョン層ＦＵは、第１の特徴量と第２の特徴量とを用いて、異なる２種類の特徴量の要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって２種類の特徴量が融合された第３の特徴量を生成する。
　バイリニアシェイク法はバイリニア法に比べ、第１の特徴量と第２の特徴量についてランダムな割合で積の組み合わせを考慮するため、どちらかの特徴量に偏った学習になることを防ぐことができる。
　αに関して、乱数の生成パターンとして下記のような態様が考えられる。例えば、学習データとして、ｘとｙの組み合わせが１０個あり、それを１０エポック（epoch）で学習させること考えるとき、αの乱数生成のパターンとしては、下記のような３パターンが考えられる。
　［パターン１］ｘとｙの組み合わせごとに乱数を生成する。この場合、例えば、１エポック目と２エポック目で、それぞれの（ｘ,ｙ）の組み合わせに使うαは同一である。
　［パターン２］エポックごとに乱数を生成する。この場合、同一エポック内では、（ｘ,ｙ）の組み合わせによらずαは同一である。
　［パターン３］ｘとｙの組み合わせごと、及び、エポックごとのどちらでも乱数を生成する。この場合、同一のαは存在しない。
　《医用画像情報システムの構成例》
　図５は、本発明の実施形態に係る情報処理装置１０を含む医用画像情報システム４０の概要を例示的に示すハードウェア構成図である。医用画像情報システム４０は、３次元画像撮影装置４２と、画像保存サーバ４４と、情報処理装置１０とが通信回線４６を経由して通信可能な状態で接続されている。通信回線４６は、例えば、病院などの医療機関に構築されるローカルエリアネットワークであってよい。通信回線４６への接続及び装置間での通信の形式は、有線に限らず、無線であってもよい。
　３次元画像撮影装置４２は、被検者である患者の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、及びＰＥＴ装置等である。この３次元画像撮影装置４２により生成された複数のスライス画像からなる３次元画像は、単位検査毎に画像保存サーバ４４に送信され、保存される。
　本実施形態においては、患者の診断対象部位は脳であり、３次元画像撮影装置４２はＭＲＩ装置である。ＭＲＩ装置において、患者の脳を含む３次元のＭＲＩ画像を生成する。本実施形態においては、ＭＲＩ画像は拡散強調画像とする。
　図５では１台の３次元画像撮影装置４２を示すが、通信回線４６には、複数台の３次元画像撮影装置が接続されてもよい。なお、複数台の３次元画像撮影装置は異なるモダリティを含んでもよい。
　画像保存サーバ４４は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。画像保存サーバ４４は、通信回線４６を介して他の装置と通信を行い、画像データ等を送受信する。
　具体的には、画像保存サーバ４４は、３次元画像撮影装置４２によって生成された３次元画像の画像データを含む各種データを通信回線４６経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式及び通信回線４６経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
　画像保存サーバ４４には、画像データの他に、血液検査データ、遺伝子データ、認知能力スコア、並びに患者の年齢及び性別を含む生体情報が保存される。
　通信回線４６には、情報処理装置１０の他に、院内端末装置５０が接続されてもよい。図５では１台の院内端末装置５０を示すが、通信回線４６には複数台の院内端末装置が接続されてもよい。血液検査データ及びその他の検査データを含む生体情報は、情報処理装置１０及び／又は院内端末装置５０から入力することができ、情報処理装置１０及び／又は院内端末装置５０から画像保存サーバ４４に生体情報を送信することができる。なお、情報処理装置１０の機能は院内端末装置５０に組み込まれていてもよい。
　通信回線４６は、ルータ６０を介して広域通信網６６に接続されてよい。広域通信網６６は、インターネット及び／又は専用通信回線を含む構成であってもよい。
　情報処理装置１０に組み込まれる予測モデル１２を生成するため学習装置１００は、コンピュータシステムによって構成される。学習装置１００は、広域通信網６６に接続され、広域通信網６６を経由して学習用のデータを収集することができる。学習装置１００は、画像保存サーバ４４の他にも、図５に示されていない複数の医療機関に設置される複数の画像保存サーバから学習用のデータを収集することが可能である。なお、画像保存サーバ４４などから学習装置１００に学習用のデータを提供する際には、患者個人を特定し得る氏名などの個人情報は秘匿化される。
　複数の学習データの集まりである学習データセットは、学習装置１００の内部ストレージ、若しくは学習装置１００に接続される外部ストレージ、又はデータ保存サーバなどに保存される。
　《学習装置１００の構成例》
　図６は、学習装置１００の概略構成を示すブロック図である。学習装置１００は、１台又は複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。学習装置１００を構成するコンピュータシステムは、情報処理装置１０を構成するコンピュータシステムと同じシステムであってもよいし、異なるシステムであってもよく、また一部の要素を共有するシステムであってもよい。
　学習装置１００は、コンピュータに学習プログラムをインストールすることにより実現される。学習装置１００は、プロセッサ１０２、非一時的なコンピュータ可読媒体１０４、入出力インターフェース１０６、通信インターフェース１０８、バス１１０、入力装置１１４及び表示装置１１６を備える。プロセッサ１０２はＣＰＵを含む。プロセッサ１０２はＧＰＵを含んでもよい。プロセッサ１０２は、バス１１０を介してコンピュータ可読媒体１０４、入出力インターフェース１０６及び通信インターフェース１０８と接続される。
　コンピュータ可読媒体１０４は、主記憶装置であるメモリ及び補助記憶装置であるストレージを含む。コンピュータ可読媒体１０４は、半導体メモリ、ハードディスク（ＨＤＤ：Hard Disk Drive）装置、若しくはソリッドステートドライブ（ＳＳＤ：Solid State Drive）装置又はこれらの複数の組み合わせであってよい。
　学習装置１００は、通信インターフェース１０８又は入出力インターフェース１０６を介して学習データ保存部１７０と接続される。学習データ保存部１７０は、学習装置１００が機械学習を行うために必要な学習データを保存しておくストレージを含んで構成される。「学習データ」とは、機械学習に用いる訓練用のデータであり、「学習用データ」或いは「訓練データ」と同義である。
　ここでは、学習データ保存部１７０と学習装置１００とがそれぞれ別々の装置として構成される例を説明するが、これらの機能は１台のコンピュータで実現してもよいし、２以上の複数台のコンピュータで処理の機能を分担して実現してもよい。
　コンピュータ可読媒体１０４には、学習プログラムを含む各種プログラム及びデータが記憶されている。学習プログラムは、コンピュータに学習モデル１４を学習させる機能を実現するプログラムである。プロセッサ１０２が学習プログラムの指令を実行することにより、コンピュータは情報取得部１２１、前処理部１２２、学習モデル１４、誤差計算部１２４、及びオプティマイザ１２５として機能する。
　情報取得部１２１は、学習データ保存部１７０から学習データを取得する。情報取得部１２１は、外部又は装置内の他の信号処理部からデータを取り込むデータ入力端子を含んで構成されてよい。また、情報取得部１２１は、入出力インターフェース１０６、通信インターフェース１０８、若しくは、図示しないメモリカードなどの可搬型の外部記憶媒体の読み書きを行うメディアインターフェース、又はこれら態様の適宜の組み合わせを含んで構成されてもよい。また、情報取得部１２１は、図５で説明した画像保存サーバ４４から学習用のデータを行うために必要なデータを取得することができる。
　前処理部１２２は、画像保存サーバ４４などから取得したＭＲＩ画像及び生体情報に対して、機械学習の処理を効率化するための前処理を実施する。前処理部１２２によって処理が施された学習データは、学習データ保存部１７０に保存することができる。なお、必要な前処理が施された学習データセットが予め用意されている場合には、この前処理部２２２による処理を省略することが可能である。
　誤差計算部１２４は、学習モデル１４から出力された分類スコアが示す予測値と、正解データとの誤差を算出する。誤差計算部１２４は、損失関数を用いて誤差を評価する。損失関数は、例えば、交差エントロピー又は平均二乗誤差などであってよい。
　オプティマイザ１２５は、誤差計算部１２４の計算結果から学習モデル１４のネットワークのパラメータを更新する処理を行う。
　また、プロセッサ１０２が表示制御プログラムの指令を実行することにより、コンピュータは表示制御部１３０として機能する。表示制御部１３０は、表示装置１１６への表示出力に必要な表示用信号を生成し、表示装置１１６の表示制御を行う。
　入力装置１１４は、例えば、キーボード、マウス、タッチパネル、若しくはその他のポインティングデバイス、若しくは、音声入力装置、又はこれらの適宜の組み合わせによって構成される。入力装置１１４は、オペレータによる種々の入力を受け付ける。表示装置１１６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせによって構成される。入力装置１１４及び表示装置１１６は入出力インターフェース１０６を介してバス１１０に接続される。なお、タッチパネルを用いることによって表示装置１１６と入力装置１１４とを一体に構成してもよい。
　《学習データの例》
　図７は、学習データ保存部１７０に保存される学習データの概念図である。学習データ保存部１７０には、複数のＭＣＩ患者についてのＭＲＩ画像ＩＭ（ｐ）と、生体情報ＢＩ（ｐ）と、１年後の病状を示す既知の情報である正解情報ＣＤ（ｐ）と、の組み合わせが患者ごとに紐付けされた学習データＬＤ（ｐ）が保存される。ＭＲＩ画像ＩＭ（ｐ）は、前処理が施された前処理済みの画像データであってよい。ｐは、例えば、患者番号に相当するインデックスを表す。
　《学習装置１００の機能の説明》
　図８は、学習装置１００における学習処理の機能を示す機能ブロック図である。図８において、図６で説明した要素と同一の要素には同一の符号を付す。学習装置１００は、学習データ保存部１７０から学習データＬＤ（ｐ）を読み込み、機械学習を実行する。学習装置１００は、複数の学習データＬＤ（ｐ）をまとめたミニバッチの単位で学習データＬＤ（ｐ）の読み込みとパラメータの更新を行うことができる。
　図８においては、１組の学習データの処理の流れを示すが、ミニバッチ学習を行う場合、ミニバッチに含まれる複数組の（例えばｍ組の）学習データが一括して処理される。
　学習装置１００の情報取得部１２１は、画像取得部１４１と、生体情報取得部１４２と、正解情報取得部１４３と、を含む。画像取得部１４１はＭＲＩ画像ＩＭ（ｐ）を取得する。生体情報取得部１４２は生体情報ＢＩ（ｐ）を取得する。正解情報取得部１４３は正解情報ＣＤ（ｐ）を取得する。正解情報ＣＤ（ｐ）は、例えば、クラス分類の正解ラベルを表す分類スコアのデータ（正解データ）である。２クラス分類の場合、具体的には、アルツハイマー病である場合のスコアを「１」、ＭＣＩである場合のスコアを「０」のように定めることができる。
　画像取得部１４１を介して取得されたＭＲＩ画像ＩＭ（ｐ）は学習モデル１４に入力される。生体情報取得部１４２を介して取得された生体情報ＢＩ（ｐ）は学習モデル１４に入力される。学習モデル１４は、図２及び図３で説明した処理に従い、又は、図２及び図４で説明した処理に従い、クラスに応じた分類スコアを出力する。学習モデル１４によって算出される分類スコアは予測値に相当する。
　誤差計算部１２４は、学習モデル１４から出力された分類スコアと、正解情報取得部１４３から取得された正解データとの誤差を評価する計算を行う。
　オプティマイザ１２５は、パラメータ更新量計算部１５１と、パラメータ更新処理部１５２と、を含む。パラメータ更新量計算部１５１は、誤差計算部１２４から得られる誤差の計算結果を用いて、学習モデル１４のネットワークのパラメータの更新量を求める計算を行う。パラメータ更新処理部１５２は、パラメータ更新量計算部１５１によって算出されたパラメータの更新量に従い、学習モデル１４のパラメータの更新処理を行う。オプティマイザ１２５は、誤差逆伝播法などのアルゴリズムに基づきパラメータの更新を行う。
　更新の対象となるパラメータは、複数の畳み込み層と全結合層ＦＣ１とを含むニューラルネットワーク１６のパラメータ、全結合層ＦＣ２における重みのパラメータ、フュージョン層ＦＵにおける重みのパラメータ、及び全結合層ＦＣ３における重みのパラメータを含む。なお、ニューラルネットワーク１６のパラメータの一部は更新の対象から除外してもよい。例えば、図２のＣ１からＣ５で示すブロックのうち入力側に近い層の一部のパラメータは固定であってよい。
　《学習装置１００を用いた学習方法の例》
　図９は、学習装置１００を用いた学習方法の手順を例示的に示すフローチャートである。学習処理を実行する前の事前準備として、学習データセットを用意しておく。すなわち、図７で説明したようなＭＲＩ画像ＩＭ（ｐ）と生体情報ＢＩ（ｐ）と正解情報ＣＤ（ｐ）との組み合わせの学習データを複数用意する。このような学習データセットを生成する機能は、学習装置１００に組み込まれていてもよいし、学習装置１００とは別の装置に組み込まれていてもよい。
　図９のステップＳ１において、学習装置１００は学習データを取得する。学習装置１００は、学習データ保存部１７０からミニバッチの単位で複数の学習データを取得することができる。
　ステップＳ２において、学習装置１００は学習モデル１４にＭＲＩ画像と生体情報とを入力し、学習モデル１４を用いて予測処理を行う。図２で説明したとおり、学習モデル１４が行う予測処理には、ＭＲＩ画像から第１の特徴量Ｆｖ１を算出する処理と、生体情報から第２の特徴量Ｆｖ２を算出する処理と、バイリニア法による重み付き計算を用いて第１の特徴量Ｆｖ１及び第２の特徴量Ｆｖ２を融合して第３の特徴量Ｆｖ３を算出する処理と、第３の特徴量Ｆｖ３を基に予測値を算出する処理と、を含む。
　ステップＳ３において、誤差計算部１２４は学習モデル１４から得られる予測値と正解データとの誤差を算出する。
　ステップＳ４において、オプティマイザ１２５はステップＳ３にて算出された誤差に基づいて、学習モデル１４のパラメータの更新量を算出する。
　ステップＳ５において、オプティマイザ１２５はステップＳ４にて算出された更新量に従い、学習モデル１４のパラメータを更新する。パラメータの更新処理はミニバッチの単位で実施される。
　ステップＳ６において、学習装置１００は学習を終了するか否かの判別を行う。学習終了条件は、誤差の値に基づいて定められていてもよいし、パラメータの更新回数に基づいて定められていてもよい。誤差の値に基づく方法としては、例えば、誤差が規定の範囲内に収束していることを学習終了条件としてよい。更新回数に基づく方法としては、例えば、更新回数が規定回数に到達したことを学習終了条件としてよい。
　ステップＳ６の判定結果がＮｏ判定である場合、学習装置１００はステップＳ１に戻り、学習終了条件を満たすまで、学習処理を繰り返す。
　ステップＳ６の判定結果がＹｅｓ判定である場合、学習装置１００は図９に示すフローチャートを終了する。
　こうして得られた学習済みの学習モデル１４を、情報処理装置１０の予測モデル１２として適用する。図９を用いて説明した学習方法は、予測モデル１２の生成方法の一例である。
　学習装置１００は、予測モデル１２を生成後、新たに収集される学習データを用いて、追加の学習を実施して予測モデル１２のパラメータを更新してもよい。追加の学習によって得られる学習済みのパラメータは、広域通信網６６を介して、又はメモリカードなどの可搬型の外部記憶媒体を用いて、情報処理装置１０に提供することができる。このような仕組みにより、予測モデル１２の予測性能をアップデートすることが可能である。
　《情報処理装置１０の構成例》
　図１０は、情報処理装置１０の概略構成を示すブロック図である。情報処理装置１０は、コンピュータに診断支援プログラムをインストールすることにより実現される。情報処理装置１０は、プロセッサ２０２、非一時的なコンピュータ可読媒体２０４、入出力インターフェース２０６、通信インターフェース２０８、バス２１０、入力装置２１４及び表示装置２１６を備える。情報処理装置１０のハードウェア構成は、図８で説明した学習装置１００のハードウェア構成と同様であってよい。すなわち、図１０のプロセッサ２０２、コンピュータ可読媒体２０４、入出力インターフェース２０６、通信インターフェース２０８、バス２１０、入力装置２１４及び表示装置２１６の各々のハードウェア構成は、図６のプロセッサ１０２、コンピュータ可読媒体１０４、入出力インターフェース１０６、通信インターフェース１０８、バス１１０、入力装置１１４及び表示装置１１６と同様であってよい。
　図１０に示すコンピュータ可読媒体２０４には、診断支援プログラムを含む各種プログラム及びデータが記憶されている。診断支援プログラムは、診断の対象である患者のＭＲＩ画像と生体情報とに基づいて認知症進行予測を行うプログラムである。プロセッサ２０２が診断支援プログラムの指令を実行することにより、コンピュータは、情報取得部２２１、前処理部２２２、及び予測モデル１２として機能する。
　また、プロセッサ２０２が表示制御プログラムの指令を実行することにより、コンピュータは表示制御部２３０として機能する。表示制御部２３０は、表示装置２１６への表示出力に必要な表示用信号を生成し、表示装置２１６の表示制御を行う。
　情報取得部２２１は、検査を受けた患者のＭＲＩ画像と生体情報とを取得する。情報取得部２２１は、画像保存サーバ４４から患者のデータを取得することができる。情報取得部２２１は、外部又は装置内の他の信号処理部からデータを取り込むデータ入力端子を含んで構成されてよい。また、情報取得部２２１は、入出力インターフェース２０６、通信インターフェース２０８、若しくは、図示しないメモリカードなどの可搬型の外部記憶媒体の読み書きを行うメディアインターフェース、又はこれら態様の適宜の組み合わせを含んで構成されてもよい。
　前処理部２２２は、情報取得部２２１を介して取得したＭＲＩ画像及び生体情報に対して、前処理を実施する。前処理部２２２による処理内容は学習装置１００の前処理部１２２と同様であってよい。
　予測モデル１２は、入力されたＭＲＩ画像と生体情報とを基に、図２で説明したアルゴリズムに従い、対象の患者が１年後にアルツハイマー病に進行するか否かの予測を行う。「１年後にアルツハイマー病に進行するか否か」という進行状態を予測する問題は、「１年以内にアルツハイマー病を発症するか否か」という問題と同じことであり、要するに、患者の１年後の病状がアルツハイマー病であるか、ＭＣＩであるかという病状を予測する問題である。
　患者の１年後の病状は本開示における「画像データの撮影時点とは異なる時点での事柄に関する様子」及び「被検者の健康状態」の一例である。予測モデル１２は本開示における「予測部」の一例である。１年後の病状の候補としてのアルツハイマー病及びＭＣＩは本開示における「撮影時点とは異なる時点での事柄に関する様子としての複数の候補」の一例である。１年後の病状の候補としてのアルツハイマー病は本開示における「第１の状態」の一例であり、１年後の病状の候補としてのＭＣＩは本開示における「第２の状態」の一例である。
　《情報処理装置１０の機能の説明》
　図１１は、情報処理装置１０における認知症進行予測処理の機能を示す機能ブロック図である。図１１において、図１０で説明した要素と同一の要素には同一の符号を付す。情報処理装置１０は、被検者であるＭＣＩ患者のＭＲＩ画像と生体情報とを画像保存サーバ４４などから読み込む。
　情報処理装置１０の情報取得部２２１は、画像取得部２４１と、生体情報取得部２４２と、を含む。画像取得部２４１はＭＲＩ画像ＩＭを取得する。生体情報取得部２４２は生体情報を取得する。
　画像取得部２４１を介して取得されたＭＲＩ画像ＩＭは、前処理部２２２にて前処理が行われた後、予測モデル１２に入力される。また、生体情報取得部２４２を介して取得された生体情報ＢＩは、前処理部２２２にて前処理が行われた後、予測モデル１２に入力される。なお、事前に必要な前処理が施されたＭＲＩ画像及び生体情報が情報取得部２２１によって取得される場合、前処理部２２２による前処理は省略できる。
　予測モデル１２は、図２及び図３で説明した処理に従い、又は、図２及び図４で説明した処理に従い、予測結果を出力する。予測結果は表示制御部２３０を介して表示装置２１６に表示される。
　情報処理装置１０は本開示における「診断支援装置」の一例である。ＭＣＩ患者のＭＲＩ画像ＩＭ及び生体情報ＢＩは、病状の進行との間に相関関係がある。ＭＲＩ画像ＩＭ及び生体情報ＢＩは本開示における「対象の事柄に関する画像データ及び非画像データ」の一例である。ＭＲＩ画像ＩＭは本開示における「画像データ」の一例である。生体情報ＢＩは本開示における「非画像データ」の一例である。予測モデル１２から出力される予測結果は本開示における「クラス分類の処理結果」の一例である。
　《情報処理装置１０を用いた診断支援方法の例》
　図１２は、情報処理装置１０を用いた診断支援方法の手順を例示的に示すフローチャートである。学習処理を実行する前の事前準備として、学習データセットを用意しておく。すなわち、図７で説明したようなＭＲＩ画像ＩＭ（ｐ）と生体情報ＢＩ（ｐ）と正解情報ＣＤ（ｐ）との組み合わせの学習データを複数用意する。このような学習データセットを生成する機能は、学習装置１００に組み込まれていてもよいし、学習装置１００とは別の装置に組み込まれていてもよい。
　ステップＳ２１において、情報処理装置１０は被検者のＭＲＩ画像を取得する。
　ステップＳ２２において、情報処理装置１０は被検者の生体情報を取得する。ステップＳ２１とステップＳ２２の処理の順番は入れ替え可能である。また、ステップＳ２１とステップＳ２２は並行処理あるいは並列処理によって実行されてもよい。
　ステップＳ２３において、情報処理装置１０の前処理部２２２は入力されたＭＲＩ画像及び生体情報に対して、必要に応じて前処理を行う。
　ステップＳ２４において、情報処理装置１０は予測モデル１２にＭＲＩ画像と生体情報とを入力して予測処理を行う。
　ステップＳ２６において、情報処理装置１０は予測モデル１２によって得られた予測結果を出力する。ステップＳ２６の後、情報処理装置１０は図１２のフローチャートを終了する。
　図１３は、予測処理（ステップＳ２４）の処理内容の例を示すフローチャートである。図１３のフローチャートは図１２のステップＳ２４の処理に適用される。図１３のステップＳ３１において、予測モデル１２は入力されたＭＲＩ画像の特徴量を算出する。すなわち、予測モデル１２は、ニューラルネットワーク１６の順伝播の経路に従いＭＲＩ画像から第１の特徴量Ｆｖ１を算出する。
　ステップＳ３２において、予測モデル１２は入力された生体情報の特徴量を算出する。すなわち、予測モデル１２は、全結合層ＦＣ２によって生体情報の要素を結合して第２の特徴量Ｆｖ２を計算する。ステップＳ３１とステップＳ３２の処理の順番は入れ替え可能である。また、ステップＳ３１とステップＳ３２は並行処理あるいは並列処理によって実行されてもよい。
　ステップＳ３４において、予測モデル１２はステップＳ３１及びステップＳ３２から得られる２種類の特徴量をバイリニア法による重み付け計算によって融合し、第３の特徴量Ｆｖ３を生成する。
　ステップＳ３５において、予測モデル１２はステップＳ３４によって融合された特徴量である第３の特徴量Ｆｖ３を基に２クラス分類の判定を行う。
　情報処理装置１０は、ステップＳ３５の後、図１３のフローチャートを終了して図１２のフローチャートに復帰する。
　《コンピュータのハードウェア構成の例》
　図１４は、コンピュータのハードウェア構成の例を示すブロック図である。コンピュータ８００は、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、サーバコンピュータであってもよい。コンピュータ８００は、既に説明した情報処理装置１０、画像保存サーバ４４、院内端末装置５０、学習装置１００、学習データ保存部１７０のいずれかの一部又は全部又はこれらの複数の機能を備えた装置として用いることができる。
　コンピュータ８００は、ＣＰＵ（Central Processing Unit）８０２、ＲＡＭ（Random Access Memory）８０４、ＲＯＭ（Read Only Memory）８０６、ＧＰＵ（Graphics Processing Unit）８０８、ストレージ８１０、通信部８１２、入力装置８１４、表示装置８１６及びバス８１８を備える。なお、ＧＰＵ（Graphics Processing Unit）８０８は、必要に応じて設ければよい。
　ＣＰＵ８０２は、ＲＯＭ８０６又はストレージ８１０等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ８０４は、ＣＰＵ８０２の作業領域として使用される。また、ＲＡＭ８０４は、読み出されたプログラム及び各種のデータを一時的に記憶する記憶部として用いられる。
　ストレージ８１０は、例えば、ハードディスク装置、光ディスク、光磁気ディスク、若しくは半導体メモリ、又はこれらの適宜の組み合わせを用いて構成される記憶装置を含んで構成される。ストレージ８１０には、予測処理及び／又は学習処理等に必要な各種プログラムやデータ等が記憶される。ストレージ８１０に記憶されているプログラムがＲＡＭ８０４にロードされ、これをＣＰＵ８０２が実行することにより、コンピュータ８００は、プログラムで規定される各種の処理を行う手段として機能する。
　通信部８１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。通信部８１２は、画像等の入力を受け付ける情報取得部の役割を担うことができる。
　入力装置８１４は、コンピュータ８００に対する各種の操作入力を受け付ける入力インターフェースである。入力装置８１４は、例えば、キーボード、マウス、タッチパネル、若しくはその他のポインティングデバイス、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。
　表示装置８１６は、各種の情報が表示される出力インターフェースである。表示装置８１６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせであってよい。
　《コンピュータを動作させるプログラムについて》
　上述の実施形態で説明した予測機能、及び学習機能のうち少なくとも１つの処理機能の一部又は全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。
　またこのような有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
　また、上述の各実施形態で説明した予測機能、及び学習機能のうち少なくとも１つの処理機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
　《各処理部のハードウェア構成について》
　図１等に示す予測モデル１２、図２等に示す学習モデル１４、図６に示す情報取得部１２１、前処理部１２２、誤差計算部１２４、オプティマイザ１２５、表示制御部１３０、図８に示す画像取得部１４１、生体情報取得部１４２、正解情報取得部１４３、パラメータ更新量計算部１５１、パラメータ更新処理部１５２、図１０に示す情報取得部２２１、前処理部２２２、表示制御部２３０、図１１に示す画像取得部２４１、及び生体情報取得部２４２などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。
　各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、画像処理に特化したプロセッサであるＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　《実施例》
　本発明の実施形態に係る情報処理装置１０において、患者のＭＲＩ画像、遺伝子タイプ、認知能力スコア、年齢及び性別を用いて、１年後にＭＣＩからアルツハイマー病に変化するか否かを判別したところ、判別精度は８５％以上で判別可能であった。「判別」は「予測」の概念に含まれる。判別精度は「予測精度」と同義である。
　これに対し、非特許文献２に記載の研究においては、患者のＭＲＩ画像、髄液データ、認知能力スコア、年齢及び性別を用いて、同様の判別を行っており、この場合の判別精度は７６％である。
　本発明の実施形態による手法は、非特許文献２に記載の手法と比較して、判別精度が向上している。
　《本実施形態による利点》
　本発明の実施形態に係る情報処理装置１０によれば、患者のＭＲＩ画像と生体情報とを用いて、患者の将来の状態を高精度に予測することができる。
　《想定される実施の態様》
　本実施形態に係る情報処理装置１０の認知症進行予測機能の利用態様として、例えば、新薬開発時の治験の精度を上げるために、そもそもアルツハイマー病に進行しないであろうと予測される対象者を治験から外す、という態様が考えられる。
　つまり、情報処理装置１０による認知症進行予測によって「アルツハイマー病に進行しない」との予測結果が得られた患者に対しては、薬を投与しても薬の効果があるのかないのかの判断が困難であるため、治験の対象者から除外するという決定をすることが考えられる。
　また、他の利用態様として、アルツハイマー病の進行を抑制する薬が販売された後、かかる薬の効果がある患者に限定して薬を投与するために、薬の効果がある患者、すなわち、アルツハイマー病が進行すると予測される患者を見極める、という態様が考えられる。
　《変形例１》
　上述の実施形態では「１年後」の状態を予測する例を説明したが、「１年後」という期間的な条件についてはこの例に限定されない。予測の目的に応じて「６ヶ月後」、「１８ヶ月後」、「２年後」など、学習に用いる正解情報の与え方を変えることにより、様々な期間に対する予測を実現することができる。
　《変形例２》
　上述の実施形態ではＭＣＩ患者を被検者として認知症進行予測を行う例を述べたが、被検者として健常者が含まれていてもよく、クラス分類の判別において「変化なし」のクラスの中に健常者が分類されてもよい。あるいはまた、クラス分類の候補の中に「健常者」のクラスが設けられてもよい。健常者に関する予測を実現するには、学習データとして健常者に関するデータを用いる。
　《変形例３》
　上述の実施形態では、２クラス分類のネットワークを例に説明したが、本開示の技術の適用範囲はこの例に限らず、３クラス以上の多クラス分類のネットワークに適用することもできる。また、本開示の技術は、クラス分類を行う予測モデルに限らず、回帰問題を解く予測モデルに適用することもできる。
　《変形例４》
　上述の実施形態においては、ＭＲＩ画像を使用する例を説明したが、本開示の技術はＭＲＩ画像に限られず、他のモダリティの画像を使用してもよい。例えば、ＣＴ装置により取得されるＣＴ画像を使用してもよい。この場合、ＣＴ画像は、造影剤を使用しないで撮影を行うことにより取得される非造影ＣＴ画像を使用してもよいし、造影剤を使用して撮影を行うことにより取得した造影ＣＴ画像を使用してもよい。また、ＰＥＴ（Positron Emission Tomography）装置により取得されるＰＥＴ画像、ＯＣＴ（Optical Coherence Tomography）装置により取得されるＯＣＴ画像、３次元超音波撮影装置により取得される３次元超音波画像などを用いてもよい。また、本開示による予測技術は、３次元断層画像に限らず、各種の２次元画像に適用することができる。例えば、処理の対象とする画像は、２次元のＸ線画像であってもよい。
　《他の応用例》
　また、本開示による予測技術は、医用画像に限定されず、通常のカメラ画像など、様々な画像について適用することができる。例えば、橋梁などの建造物を撮影した画像から特定期間経過後の将来の劣化状態を予測する用途などに、本開示による技術を適用することができる。橋梁などの建造物の画像と組み合わせて使用される非画像の情報は、例えば、建造物の材料、設置場所を示す位置情報、構造様式、及び定期検査の検査データのうちの少なくとも１つ、好ましくは複数種類の組み合わせであってよい。
　《入力に用いる情報について》
　本開示の技術において、予測精度を高めるために、画像データと組み合わせて使用する非画像データは、画像の内容と直接関係していない情報を含む。認知症進行予測のために脳のＭＲＩ画像と組み合わせて、入力として用いられる生体情報は、ＭＲＩ画像の画像内容と直接関係ない情報の一例である。つまり、生体情報はＭＲＩ画像に現れていない事柄に関する情報を含む。生体情報は本開示における「画像データが示す画像に現れていない事柄に関する情報」の一例である。
　また、ＭＲＩ画像などの画像データは、対象を撮影した時点の特定タイミングにおける情報であり、いわば、１つの画像データは「一時点の情報」である。一方で、将来の事柄を予測するタスクは、現在もしくは過去から将来にわたってどのように変化するのかという経時的な問題である。したがって、予測精度を高めるには、画像データが持っていない「時間」の次元を持つ非画像情報を、画像データと組み合わせて用いることが好ましい。例えば、遺伝子タイプに例示される遺伝子情報は、ある一時点の情報ではなく、その患者が過去から将来にわたってどのように変化する特性あるいは可能性があるのかという情報が内在されている。このように複数の時点における情報が内在されている情報は、時間の次元を持つ情報であると解釈できる。遺伝子データは本開示における「複数の時点おける情報が内在されている情報のデータ」の一例である。
　《過去予測について》
　本開示の技術は、画像が撮影された時点よりも前の過去の時点での様子を予測する処理にも適用可能である。この場合、学習データにおける画像データ及び非画像データに対応する正解情報として撮影時点よりも前の既知の様子を示すデータが用いられる。
　撮影時点よりも特定期間前の過去の様子を予測するアルゴリズムは、撮影時点から特定期間経過後の時点での様子を予測するアルゴリズムと同様である。
　《蒸留モデル及び派生モデルについて》
　本開示の学習方法を実施することによって生成された学習済みモデルを基に、派生モデル及び／又は蒸留モデルを生成することが可能である。派生モデルとは、学習済みモデルに対してさらなる追加の学習を実施することによって得られる派生的な学習済みモデルであり「再利用モデル」ともいう。ここでの「追加の学習」とは、既存の学習済みモデルに、異なる学習データセットを適用して、更なる学習を行うことにより、新たに学習済みパラメータを生成することをいう。追加の学習は、例えば、学習済みモデルの精度の維持又は向上を図ること、あるいは、当初に学習させた領域と異なる領域に適応させることなどを目的として行われる。
　一方、「蒸留」とは、既存の学習済みモデルへの入力及びその入力に対する出力結果を、新たなモデルの学習データセットとして利用して機械学習を行い、新たな学習済みモデル及び／又は学習済みパラメータを生成することをいう。「蒸留モデル」とは、蒸留により新たに生成された学習済みパラメータが組み込まれた推論プログラム（予測モデル）をである。蒸留モデルは、元の学習済みモデルと異なるネットワーク構造であってよい。
　本開示の学習方法を実施することによって得られた学習済みモデルを基に、派生モデル及び／又は蒸留モデルを生成することが可能である。したがって、これらの派生モデル及び／又は蒸留モデルを生成する方法、並びに、得られた派生モデル及び／又は蒸留モデルは、本開示の技術的範囲に属すると理解される。
　《その他》
　上述の実施形態で説明した構成や変形例で説明した事項は、適宜組み合わせて用いることができ、また、一部の事項を置き換えることもできる。本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　《付記》
　バイリニア法による融合処理を用いたアルツハイマー病の進行予測のためのマルチモーダル深層学習の技術の具体例に関する概要を英語で記載したものを以下に開示する。
　AD (Alzheimer’s Disease) which causes declination of cognitive function is one of the most severe social issues in the world. It has already been known that AD cannot be cured and treatment can only delay its progression. Therefore, it is very important to detect AD in early stage and prevent it to be worse. Furthermore, sooner the progression is detected, better the prognosis will be. In this research, we developed a novel multi-modal deep learning method to predict conversion from MCI (Mild Cognitive Impairment), which is the stage between cognitively normal older people and AD. In our method, the multi-modal input data are defined as MRI images and clinical data including several cognitive scores, APoEgenotype, gender and age obtained from ADNI (Alzheimer’s Disease Neuroimaging Initiative cohort). Our criteria of selecting these input data are that they are mostly obtained by non-invasive examination. The proposed method integrates features obtained from MRI images and clinical data effectively by using bi-linear fusion. Bi-linear fusion computes the products of all elements between image and clinical features, where the correlation between them are included. That led a big improvement of prediction accuracy in the experiment. The prediction model using bi-linear fusion achieved to predict conversion in one year with 84.8 % accuracy, comparing with 75.3 % accuracy using linear fusion. The proposed method is useful for screening examination for AD or deciding a stratification approach within clinical trials since it achieved a high accuracy while the input data is relatively easy to be obtained.
１０　情報処理装置
１２　予測モデル
１４　学習モデル
１６　ニューラルネットワーク
４０　医用画像情報システム
４２　３次元画像撮影装置
４４　画像保存サーバ
４６　通信回線
５０　院内端末装置
６０　ルータ
６６　広域通信網
１００　学習装置
１０２　プロセッサ
１０４　コンピュータ可読媒体
１０６　入出力インターフェース
１０８　通信インターフェース
１１０　バス
１１４　入力装置
１１６　表示装置
１２１　情報取得部
１２２　前処理部
１２４　誤差計算部
１２５　オプティマイザ
１３０　表示制御部
１４１　画像取得部
１４２　生体情報取得部
１４３　正解情報取得部
１５１　パラメータ更新量計算部
１５２　パラメータ更新処理部
１７０　学習データ保存部
２０２　プロセッサ
２０４　コンピュータ可読媒体
２０６　入出力インターフェース
２０８　通信インターフェース
２１０　バス
２１４　入力装置
２１６　表示装置
２２１　情報取得部
２２２　前処理部
２３０　表示制御部
２４１　画像取得部
２４２　生体情報取得部
８００　コンピュータ
８０２　ＣＰＵ
８０４　ＲＡＭ
８０６　ＲＯＭ
８０８　ＧＰＵ
８１０　ストレージ
８１２　通信部
８１４　入力装置
８１６　表示装置
８１８　バス
ＩＭ　ＭＲＩ画像
ＢＩ　生体情報
ＣＤ　正解情報
ＬＤ　学習データ
ＦＣ１　全結合層
ＦＣ２　全結合層
ＦＣ３　全結合層
ＦＵ　フュージョン層
Ｆｖ１　第１の特徴量
Ｆｖ２　第２の特徴量
Ｆｖ３　第３の特徴量
Ｓ１～Ｓ６　学習方法のステップ
Ｓ２１～Ｓ２６　診断支援方法のステップ
Ｓ３１～Ｓ３５　予測処理のステップ

Claims (22)

  1. 　対象とする事柄に関する画像データ及び非画像データの入力を受け付ける情報取得部と、
    　前記情報取得部を介して入力された前記画像データ及び前記非画像データに基づき、前記画像データの撮影時点とは異なる時点での前記事柄に関する様子を予測する予測部と、
    　を備え、
    　前記予測部は、前記画像データから算出される第１の特徴量と、前記非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって前記第１の特徴量と前記第２の特徴量とが融合された第３の特徴量を算出し、かつ前記第３の特徴量に基づいて前記予測を行う、情報処理装置。
  2. 　前記予測部は、前記画像データ及び前記非画像データの入力を受けて、前記撮影時点とは異なる時点での前記事柄に関する様子を示す情報を前記予測の結果として出力するように機械学習された学習済みの予測モデルを含む、請求項１に記載の情報処理装置。
  3. 　前記予測部は、ニューラルネットワークを用いて構成される、請求項１又は２に記載の情報処理装置。
  4. 　前記予測部は、前記画像データ及び前記非画像データの入力に対して、前記撮影時点とは異なる時点での前記事柄に関する様子としての複数の候補の各々に対応する複数のクラスのうち、いずれのクラスに属するかを判別するクラス分類の処理を行い、前記クラス分類の処理結果を出力する、請求項１から３のいずれか一項に記載の情報処理装置。
  5. 　前記予測部は、前記撮影時点とは異なる時点での前記事柄に関する様子として、前記撮影時点から特定期間経過後の様子、又は前記撮影時点よりも特定期間前の過去の様子が第１の状態であるか、前記第１の状態と異なる第２の状態であるかを判別する２クラス分類の処理を行い、前記２クラス分類の処理結果を出力する、請求項１から３のいずれか一項に記載の情報処理装置。
  6. 　前記予測部は、
    　前記画像データから前記第１の特徴量を算出する第１の処理部と、
    　前記非画像データから前記第２の特徴量を算出する第２の処理部と、
    　前記第１の特徴量及び前記第２の特徴量から前記要素同士の積の組み合わせを出力とする前記演算方法による重み付け計算を行うことにより、前記第３の特徴量を算出する第３の処理部と、
    　を含んで構成される、請求項１から５のいずれか一項に記載の情報処理装置。
  7. 　前記第３の処理部が行う前記重み付け計算は、
    　前記第１の特徴量と前記第２の特徴量とをランダムな割合でかけ合わせる処理を含む、
    　請求項６に記載の情報処理装置。
  8. 　前記第１の処理部は、複数の畳み込み層と第１の全結合層とを含む第１のニューラルネットワークを用いて構成され、
    　前記第２の処理部は、第２の全結合層を含む第２のニューラルネットワークを用いて構成される、請求項６又は７に記載の情報処理装置。
  9. 　前記第３の特徴量から最終出力値を算出する第３の全結合層を備える、請求項８に記載の情報処理装置。
  10. 　前記非画像データは、前記画像データが示す画像に現れていない事柄に関する情報のデータを含む、請求項１から９のいずれか一項に記載の情報処理装置。
  11. 　前記非画像データは、複数の時点おける情報が内在されている情報のデータを含む、請求項１から１０のいずれか一項に記載の情報処理装置。
  12. 　前記対象とする事柄は、被検者の健康状態であり、
    　前記画像データは、前記被検者を撮影して得られる医用画像であり、
    　前記非画像データは、前記被検者の生体情報を含み、
    　前記予測部は、前記医用画像の撮影時点から特定期間経過後における前記被検者の健康状態、又は前記医用画像の撮影時点よりも特定期間前の過去の時点における前記被検者の健康状態を予測する、請求項１から１１のいずれか一項に記載の情報処理装置。
  13. 　前記対象とする事柄は、軽度認知障害の被検者の病状であり、
    　前記画像データは、前記被検者の脳を撮影して得られるＭＲＩ（Magnetic Resonance Imaging）画像であり、
    　前記非画像データは、前記被検者の血液検査データ、遺伝子データ、及び認知能力スコアのうちの少なくとも１つのデータと、前記被検者の年齢及び性別と、を含み、
    　前記予測部は、前記ＭＲＩ画像の撮影時点から特定期間経過後において前記被検者の病状がアルツハイマー病であるか軽度認知障害であるかの予測を行う、請求項１から１１のいずれか一項に記載の情報処理装置。
  14. 　前記予測部により、前記特定期間経過後において前記被検者の病状が軽度認知障害であるとの予測結果が得られた前記被検者を治験の対象者から除外する、請求項１３に記載の情報処理装置。
  15. 　プロセッサと、前記プロセッサによって実行されるプログラムが記録された非一時的なコンピュータ可読媒体と、を含む情報処理装置であって、
    　前記プロセッサは、前記プログラムの指令に従い、
    　対象とする事柄に関する画像データ及び非画像データの入力を受け、
    　前記画像データから算出される第１の特徴量と、前記非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって前記第１の特徴量と前記第２の特徴量とが融合された第３の特徴量を算出し、
    　前記第３の特徴量に基づいて、前記画像データの撮影時点とは異なる時点での前記事柄に関する様子を予測する、
    　情報処理装置。
  16. 　コンピュータに、
    　対象とする事柄に関する画像データ及び非画像データの入力を受け付ける機能と、
    　前記画像データから算出される第１の特徴量と、前記非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって前記第１の特徴量と前記第２の特徴量とが融合された第３の特徴量を算出する機能と、
    　前記第３の特徴量に基づいて、前記画像データの撮影時点とは異なる時点での前記事柄に関する様子を予測する機能と、を実現させるためのプログラム。
  17. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１６に記載のプログラムをコンピュータに実行させる記録媒体。
  18. 　対象とする事柄に関する画像データ及び非画像データの入力を受けて、前記画像データ及び前記非画像データから予測される情報を出力するように機械学習された学習済みモデルであって、
    　前記学習済みモデルは、前記画像データから算出される第１の特徴量と、前記非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって前記第１の特徴量と前記第２の特徴量とが融合された第３の特徴量を算出し、かつ前記第３の特徴量に基づいて、前記画像データの撮影時点とは異なる時点での前記事柄に関する様子を示す前記情報を出力するよう、コンピュータを機能させるための学習済みモデル。
  19. 　前記対象とする事柄は、被検者の健康状態であり、
    　前記画像データは、前記被検者を撮影して得られる医用画像であり、
    　前記非画像データは、前記被検者の生体情報を含み、
    　前記学習済みモデルは、前記医用画像の撮影時点から特定期間経過後における前記被検者の健康状態、又は前記医用画像の撮影時点よりも特定期間前の過去の時点における前記被検者の健康状態を予測する、請求項１８に記載の学習済みモデル。
  20. 　請求項１９に記載の学習済みモデルが記録された非一時的なコンピュータ可読媒体と、前記学習済みモデルに従って動作するプロセッサと、を含む診断支援装置。
  21. 　プロセッサと、前記プロセッサによって実行される学習プログラムが記録された非一時的なコンピュータ可読媒体と、を含む学習装置であって、
    　前記プロセッサは、前記学習プログラムの指令に従い、
    　対象とする事柄に関する画像データ及び非画像データと、前記画像データ及び前記非画像データの組み合わせに対応した前記事柄の既知の様子を示すデータと、を含む学習データを取得し、
    　前記画像データ及び前記非画像データを学習モデルに入力して、前記画像データ及び前記非画像データから前記画像データの撮影時点とは異なる時点での前記事柄に関する様子を示す予測情報が出力されるように前記学習モデルの機械学習を行う、プロセッサであり、
    　前記学習モデルは、
    　前記画像データから算出される第１の特徴量と、前記非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって前記第１の特徴量と前記第２の特徴量とが融合された第３の特徴量を算出し、
    　前記第３の特徴量に基づいて、前記予測情報を出力する、
    　学習装置。
  22. 　対象とする事柄に関する画像データ及び非画像データと、前記画像データ及び前記非画像データの組み合わせに対応した前記事柄の既知の様子を示すデータと、を含む学習データを取得することと、
    　前記学習データを用いて、学習モデルの機械学習を行うことにより、前記画像データ及び前記非画像データの入力に対して、前記画像データの撮影時点とは異なる時点での前記事柄に関する様子を示す予測情報を出力する学習済みの予測モデルを生成することと、を含み、
    　前記学習モデルは、
    　前記画像データから算出される第１の特徴量と、前記非画像データから算出される第２の特徴量との要素同士の積の組み合わせを出力とする演算方法による重み付け計算を行うことによって前記第１の特徴量と前記第２の特徴量とが融合された第３の特徴量を算出し、
    　前記第３の特徴量に基づいて、前記予測情報を出力する、
    　予測モデルの生成方法。
PCT/JP2020/028074 2019-07-26 2020-07-20 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法 Ceased WO2021020198A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080048846.6A CN114080646A (zh) 2019-07-26 2020-07-20 信息处理装置、程序、学习完毕模型、诊断支援装置、学习装置及预测模型的生成方法
JP2021536958A JP7170145B2 (ja) 2019-07-26 2020-07-20 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法
EP20846460.2A EP4005498B1 (en) 2019-07-26 2020-07-20 Information processing device, program, learned model, diagnostic assistance device, learning device, and method for generating prediction model
US17/565,412 US12169932B2 (en) 2019-07-26 2021-12-29 Information processing device, program, trained model, diagnostic support device, learning device, and prediction model generation method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019137875 2019-07-26
JP2019-137875 2019-07-26
JP2020036935 2020-03-04
JP2020-036935 2020-03-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/565,412 Continuation US12169932B2 (en) 2019-07-26 2021-12-29 Information processing device, program, trained model, diagnostic support device, learning device, and prediction model generation method

Publications (1)

Publication Number Publication Date
WO2021020198A1 true WO2021020198A1 (ja) 2021-02-04

Family

ID=74229630

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028074 Ceased WO2021020198A1 (ja) 2019-07-26 2020-07-20 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法

Country Status (5)

Country Link
US (1) US12169932B2 (ja)
EP (1) EP4005498B1 (ja)
JP (1) JP7170145B2 (ja)
CN (1) CN114080646A (ja)
WO (1) WO2021020198A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411236A (zh) * 2021-06-23 2021-09-17 中移（杭州）信息技术有限公司 质差路由器检测方法、装置、设备及存储介质
WO2022209290A1 (ja) * 2021-03-30 2022-10-06 富士フイルム株式会社 構造物の状態予測装置、方法及びプログラム
WO2022224524A1 (ja) * 2021-04-22 2022-10-27 ソニーグループ株式会社 患者モニタリングシステム
WO2023276977A1 (ja) * 2021-06-28 2023-01-05 富士フイルム株式会社 医療支援装置、医療支援装置の作動方法、医療支援装置の作動プログラム
WO2023276563A1 (ja) * 2021-06-29 2023-01-05 大日本印刷株式会社 診断支援装置、コンピュータプログラム及び診断支援方法
WO2023105976A1 (ja) * 2021-12-08 2023-06-15 富士フイルム株式会社 臨床試験支援装置、臨床試験支援装置の作動方法、および臨床試験支援装置の作動プログラム
JP2023117592A (ja) * 2022-02-14 2023-08-24 コニカミノルタ株式会社 プログラム、動態解析システム及び動態解析装置
JPWO2024062931A1 (ja) * 2022-09-20 2024-03-28
JP7554439B1 (ja) 2023-05-30 2024-09-20 メディカルリサーチ株式会社 情報処理方法、コンピュータプログラム及び情報処理装置
WO2025177780A1 (ja) * 2024-02-22 2025-08-28 国立大学法人大阪大学 認知機能予測システム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI775161B (zh) * 2020-09-28 2022-08-21 臺北醫學大學 腫瘤復發預測裝置與方法
KR20230018929A (ko) * 2021-07-30 2023-02-07 주식회사 루닛 환자에 대한 해석가능한 예측 결과를 생성하는 방법 및 시스템
CN114398983B (zh) * 2022-01-14 2024-11-05 腾讯科技（深圳）有限公司 分类预测方法、装置、设备、存储介质及计算机程序产品
CN115240854B (zh) * 2022-07-29 2023-10-03 中国医学科学院北京协和医院 一种胰腺炎预后数据的处理方法及其系统
CN115187151B (zh) * 2022-09-13 2022-12-09 北京锘崴信息科技有限公司 基于联邦学习的排放可信分析方法及金融信息评价方法
CN115590481B (zh) * 2022-12-15 2023-04-11 北京鹰瞳科技发展股份有限公司 一种用于预测认知障碍的装置和计算机可读存储介质
CN121058068A (zh) * 2023-04-03 2025-12-02 莫尔研究应用有限公司 使用血液检测数据和机器学习模型预测神经系统变性疾病的发生和进展
KR102775338B1 (ko) * 2023-05-25 2025-03-06 (주)그래디언트 바이오컨버전스 유전자 정보 데이터와 뇌 이미지 데이터를 이용한 치매 진단 방법 및 시스템
CN120833343A (zh) * 2025-09-19 2025-10-24 季华实验室 液体体积预测方法、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS648390B2 (ja) 1980-10-24 1989-02-14 Tokyo Shibaura Electric Co
JP2008157640A (ja) * 2006-12-20 2008-07-10 Fujifilm Ri Pharma Co Ltd 脳画像データに関する時系列データの解析方法、プログラムおよび記録媒体
JP2011521220A (ja) * 2008-05-15 2011-07-21 ユニヴェルシテ ピエール エ マリー キュリー（パリ シス） アルツハイマー病の予測を支援する方法及び自動化システム、並びに、前記システムをトレーニングする方法
JP2015166962A (ja) * 2014-03-04 2015-09-24 日本電気株式会社 情報処理装置、学習方法、及び、プログラム
JP2019008742A (ja) * 2017-06-28 2019-01-17 ヤフー株式会社 学習装置、生成装置、学習方法、生成方法、学習プログラム、および生成プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017114810A1 (en) * 2015-12-31 2017-07-06 Vito Nv Methods, controllers and systems for the control of distribution systems using a neural network arhcitecture
RU2020114290A (ru) * 2017-10-31 2021-12-01 ДжиИ ХЕЛТКЕР ЛИМИТЕД Медицинская система для диагностики патологии и / или исхода когнитивного заболевания
EP3987455A1 (en) * 2019-06-19 2022-04-27 Yissum Research Development Company of the Hebrew University of Jerusalem Ltd. Machine learning-based anomaly detection
EP4088883A1 (en) * 2021-05-11 2022-11-16 Siemens Industry Software Ltd. Method and system for predicting a collision free posture of a kinematic system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS648390B2 (ja) 1980-10-24 1989-02-14 Tokyo Shibaura Electric Co
JP2008157640A (ja) * 2006-12-20 2008-07-10 Fujifilm Ri Pharma Co Ltd 脳画像データに関する時系列データの解析方法、プログラムおよび記録媒体
JP2011521220A (ja) * 2008-05-15 2011-07-21 ユニヴェルシテ ピエール エ マリー キュリー（パリ シス） アルツハイマー病の予測を支援する方法及び自動化システム、並びに、前記システムをトレーニングする方法
JP2015166962A (ja) * 2014-03-04 2015-09-24 日本電気株式会社 情報処理装置、学習方法、及び、プログラム
JP2019008742A (ja) * 2017-06-28 2019-01-17 ヤフー株式会社 学習装置、生成装置、学習方法、生成方法、学習プログラム、および生成プログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GARAM LEEKWANGSIK NHO ET AL.: "Predicting Alzheimer's disease progression using multi-modal deep learning approach", SCIENTIFIC REPORTS 9, no. 1952, 2019
GARAM LEEKWANGSIK NHO ET AL.: "Predicting Alzheimer's disease progression using multi-modal deep learning approach", SCIENTIFIC REPORTS, vol. 9, no. 1952, 2019
SAMAN ET AL.: "DeepAD: Alzheimer's Disease Classification via Deep Convolutional Neural Networks using MRI and fMRI", BIORXIV, 2016, pages 070441
SPASOV, SIEMON E. ET AL.: "A Multi-modal Convolutional Neural Network Framework for the Prediction of Alzheimer's Disease", 2018 40TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY, 18 July 2018 (2018-07-18), pages 1271 - 1274, XP033431915, DOI: 10.1109/EMBC.2018.8512468 *
SPASOV, SIMEON ET AL.: "A parameter-efficient deep learning approach to predict conversion from mild cognitive impairment to Alzheimer's disease", NEUROIMAGE, vol. 189, 1 April 2019 (2019-04-01), pages 276 - 287, XP085636020, DOI: 10.1016/j.neuroimage.2019.01.031 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022209290A1 (ja) * 2021-03-30 2022-10-06 富士フイルム株式会社 構造物の状態予測装置、方法及びプログラム
WO2022224524A1 (ja) * 2021-04-22 2022-10-27 ソニーグループ株式会社 患者モニタリングシステム
CN113411236B (zh) * 2021-06-23 2022-06-14 中移（杭州）信息技术有限公司 质差路由器检测方法、装置、设备及存储介质
CN113411236A (zh) * 2021-06-23 2021-09-17 中移（杭州）信息技术有限公司 质差路由器检测方法、装置、设备及存储介质
US20240120038A1 (en) * 2021-06-28 2024-04-11 Fujifilm Corporation Medical support device, operation method of medical support device, and operation program of medical support device
WO2023276977A1 (ja) * 2021-06-28 2023-01-05 富士フイルム株式会社 医療支援装置、医療支援装置の作動方法、医療支援装置の作動プログラム
WO2023276563A1 (ja) * 2021-06-29 2023-01-05 大日本印刷株式会社 診断支援装置、コンピュータプログラム及び診断支援方法
JP2023005697A (ja) * 2021-06-29 2023-01-18 大日本印刷株式会社 診断支援装置、コンピュータプログラム及び診断支援方法
WO2023105976A1 (ja) * 2021-12-08 2023-06-15 富士フイルム株式会社 臨床試験支援装置、臨床試験支援装置の作動方法、および臨床試験支援装置の作動プログラム
JP2023117592A (ja) * 2022-02-14 2023-08-24 コニカミノルタ株式会社 プログラム、動態解析システム及び動態解析装置
JP7779167B2 (ja) 2022-02-14 2025-12-03 コニカミノルタ株式会社 プログラム、動態解析システム及び動態解析装置
WO2024062931A1 (ja) * 2022-09-20 2024-03-28 学校法人順天堂 神経変性疾患のリスク判定方法及び判定装置
JPWO2024062931A1 (ja) * 2022-09-20 2024-03-28
JP7610810B2 (ja) 2022-09-20 2025-01-09 学校法人順天堂 神経変性疾患のリスク判定方法及び判定装置
JP7554439B1 (ja) 2023-05-30 2024-09-20 メディカルリサーチ株式会社 情報処理方法、コンピュータプログラム及び情報処理装置
JP2024171733A (ja) * 2023-05-30 2024-12-12 メディカルリサーチ株式会社 情報処理方法、コンピュータプログラム及び情報処理装置
WO2025177780A1 (ja) * 2024-02-22 2025-08-28 国立大学法人大阪大学 認知機能予測システム

Also Published As

Publication number Publication date
US12169932B2 (en) 2024-12-17
EP4005498A4 (en) 2022-09-21
JP7170145B2 (ja) 2022-11-11
EP4005498B1 (en) 2025-07-23
CN114080646A (zh) 2022-02-22
JPWO2021020198A1 (ja) 2021-02-04
EP4005498A1 (en) 2022-06-01
US20220122253A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
JP7170145B2 (ja) 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法
Ghorbani et al. Deep learning interpretation of echocardiograms
CN109447183B (zh) 预测模型训练方法、装置、设备以及介质
US10984905B2 (en) Artificial intelligence for physiological quantification in medical imaging
CN111247595B (zh) 用于诊断认知疾病病理和/或结果的医疗系统
Gatta et al. Towards a modular decision support system for radiomics: A case study on rectal cancer
CN109727660B (zh) 在医学成像中针对血液动力学量化的不确定性或敏感性的机器学习预测
JP2020513615A (ja) 深層学習ニューラルネットワークの分散化された診断ワークフロー訓練
Kadry et al. Res-Unet based blood vessel segmentation and cardio vascular disease prediction using chronological chef-based optimization algorithm based deep residual network from retinal fundus images
Kumar et al. Deep-learning-enabled multimodal data fusion for lung disease classification
Zhao et al. Multi-view prediction of Alzheimer’s disease progression with end-to-end integrated framework
Alsadoun et al. Artificial intelligence (AI)-Enhanced detection of diabetic retinopathy from fundus images: the current landscape and future directions
Chang et al. Application of multimodal deep learning and multi-instance learning fusion techniques in predicting STN-DBS outcomes for Parkinson's disease patients
JP7457292B2 (ja) 脳画像解析装置、制御方法、及びプログラム
Kalita et al. Artificial intelligence in diagnostic medical image processing for advanced healthcare applications
Aghaei et al. Brain age gap estimation using attention-based resnet method for Alzheimer’s disease detection
Akbarifar et al. Multimodal dementia identification using lifestyle and brain lesions, a machine learning approach
Akan et al. ViViEchoformer: deep video regressor predicting ejection fraction
Abinaya et al. Accurate Liver Fibrosis Detection Through Hybrid MRMR-BiLSTM-CNN Architecture with Histogram Equalization and Optimization
CN119339873B (zh) 一种神经系统影像分析方法和装置
Liu et al. Dual-branch image projection network for geographic atrophy segmentation in retinal OCT images
Brzus et al. A Clinical Neuroimaging Platform for Rapid, Automated Lesion Detection and Personalized Post-Stroke Outcome Prediction
Weigel et al. Normative connectome-based analysis of sensorimotor deficits in acute subcortical stroke
Sagiroglu et al. A novel brain tumor magnetic resonance imaging dataset (Gazi Brains 2020): initial benchmark results and comprehensive analysis
Koh Deep Learning Framework for Kidney Tumor Segmentation with Sur-gical Method Recommendation and Operative Time Prediction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20846460

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536958

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020846460

Country of ref document: EP

Effective date: 20220228

WWG Wipo information: grant in national office

Ref document number: 2020846460

Country of ref document: EP