[go: up one dir, main page]

WO2018225448A1 - 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 - Google Patents

消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2018225448A1
WO2018225448A1 PCT/JP2018/018316 JP2018018316W WO2018225448A1 WO 2018225448 A1 WO2018225448 A1 WO 2018225448A1 JP 2018018316 W JP2018018316 W JP 2018018316W WO 2018225448 A1 WO2018225448 A1 WO 2018225448A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
disease
endoscopic image
neural network
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/018316
Other languages
English (en)
French (fr)
Inventor
智裕 多田
和玄 青山
博年 瀧山
小澤　毅士
有真 遠藤
熊谷　洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201880037797.9A priority Critical patent/CN111278348A/zh
Priority to US16/620,861 priority patent/US11270433B2/en
Priority to SG11201911791RA priority patent/SG11201911791RA/en
Priority to JP2019523412A priority patent/JP6875709B2/ja
Publication of WO2018225448A1 publication Critical patent/WO2018225448A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a disease diagnosis support method, a diagnosis support system, a diagnosis support program, and a computer-readable recording medium storing the diagnosis support program using endoscopic images of digestive organs using a neural network.
  • Gastrointestinal organs such as the larynx, pharynx, esophagus, stomach, duodenum, biliary tract, pancreatic fistula, small intestine, large intestine, etc.
  • colonoscopy is often performed for screening for colon cancer, colon polyps, ulcerative colitis and the like.
  • endoscopic examination of the upper digestive tract is generally incorporated into detailed examinations of various upper abdominal symptoms, close-up examinations in response to positive barium tests for stomach illnesses, and regular health checks in Japan. It is also useful for work-up for abnormal serum pepsinogen levels.
  • gastric cancer screening has been shifting from conventional barium testing to gastroscopy.
  • H. pylori Helicobacter pylori
  • H.C. gastric cancer
  • H. pylori Proceed to H. pylori eradication. Endoscopic examination is widely used for the examination of gastric lesions. If even H. pylori infection can be identified, blood pressure and urine tests will not be performed uniformly, the burden on the patient will be greatly reduced, and a medical economic contribution can also be expected.
  • ulcerative colitis In particular, in industrialized countries, the incidence of ulcerative colitis (UC) is steadily increasing, suggesting that Western diet and environment are one of the causes of ulcerative colitis.
  • UC ulcerative colitis
  • the Mayo endoscope score is one of the most reliable and widely used indicators in clinical practice for evaluating disease activity in patients with ulcerative colitis. Specifically, the Mayo endoscope score is 0: normal or active, 1: mild (redness, vascular transparency unclear, mild bleeding tendency), 2: moderate (prominent redness, blood vessels) It is classified into four categories: loss of see-through image, easy bleeding, erosion), 3: serious injury (natural bleeding, ulcer).
  • Mayo Endoscopic Score ⁇ 1 and endoscopic remission status called "mucosal healing" has been shown to correlate with reduced corticosteroid use rates, hospitalization rates, clinical recurrence rates, and colectomy rates ing.
  • previous reports show that non-experts have ⁇ -factors in the range of 0.45 to 0.53, and there are significant differences between observers in assessing disease activity, and moderately trained professionals Even homes have a degree of agreement in the range of 0.71 to 0.74.
  • the ⁇ -coefficient is a parameter for evaluating the degree of coincidence of diagnosis between observers, and takes a value of 0 to 1, and it is determined that the degree of coincidence increases as the value increases.
  • diagnosis based on these endoscopic images is not only time consuming for training an endoscopist and checking stored images, but also is subjective, and various false positive judgments and false negative judgments. May occur.
  • the accuracy of diagnosis by an endoscopist may deteriorate due to fatigue. Such a large burden on the site and a decrease in accuracy may lead to a limit on the number of medical examinees, and as a result, there may be a concern that medical services according to demand cannot be sufficiently provided.
  • AI artificial intelligence
  • ⁇ Use of AI is expected to improve the labor load and accuracy reduction of the above endoscopy. It is expected that the accuracy and speed of the secondary interpretation work will be improved if AI having an image recognition capability in recent years that is superior to humans can be used as an assist for an endoscopy specialist.
  • AI using deep learning has attracted attention in various medical fields, and reports that medical images such as radiation oncology, skin cancer classification, diabetic retinopathy can be screened instead of specialists are available. is there.
  • Non-Patent Document 1 it has been proved that AI can provide the same accuracy as a specialist in screening at the microscopic level.
  • Non-Patent Document 2 it has been announced that AI having a deep learning function exhibits image diagnosis ability equivalent to that of a specialist (Non-patent Document 2), and patent documents (Patent Document 1) using various machine learning methods. 2).
  • Non-patent Document 2 it has not been verified whether AI's endoscopic image diagnosis capability can meet the accuracy (accuracy) and performance (speed) useful in actual medical practice, and endoscopic images using machine learning methods The diagnosis based on is not yet put into practical use.
  • Deep learning can learn higher-order features from input data using a neural network that is layered in multiple layers. Deep learning also uses a back-propagation algorithm to update the internal parameters used to compute each layer representation from the previous layer representation by showing how the device should change. can do.
  • Deep learning can be a powerful machine learning technique that can train with medical images accumulated in the past and obtain patient clinical features directly from medical images when correlating medical images .
  • a neural network is a mathematical model that expresses the characteristics of the neural circuit of the brain by computer simulation, and an algorithm approach that supports deep learning is a neural network.
  • H.C. Reports on the ability of neural networks to diagnose H. pylori-infected gastritis, ulcerative colitis or esophageal diseases, especially esophageal diseases using ultra-enlarged endoscopy (ECS) images, and deep learning using neural networks Based on analysis of gastrointestinal endoscopy images
  • ECS ultra-enlarged endoscopy
  • the present invention uses an endoscopic image of the digestive tract and uses a neural network to detect diseases such as H.264.
  • a diagnosis support method, diagnosis support system, diagnosis support program, and diagnosis support program for endoscopic images of the digestive tract that can accurately diagnose H. pylori-infected gastritis, ulcerative colitis, or esophageal disease
  • An object of the present invention is to provide a computer-readable recording medium.
  • the method for assisting diagnosis of a disease by an endoscopic image of the digestive tract comprises: A method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using a neural network, A first endoscopic image of the digestive tract; At least one definitive diagnosis result of information corresponding to the first endoscopic image corresponding to the first or second image of the gastrointestinal tract positive or negative, past disease, severity level, or imaged site; , Train a neural network using The trained neural network is based on the second endoscopic image of the digestive tract, the positive and / or negative probability of the digestive tract disease, the probability of past disease, the level of disease severity, or And outputting at least one piece of information corresponding to the imaged part.
  • the neural network is made up of endoscopic images of a plurality of digestive organs obtained in advance for each of a plurality of subjects. At least one of the first endoscopic image and positive or negative of the disease obtained in advance for each of a plurality of subjects, past disease, severity level, or information corresponding to the imaged site. Because it is trained on the basis of definitive diagnosis results, the probability of positive and / or negative disease of the subject's digestive tract in a short time, with an accuracy substantially comparable to an endoscopist, the probability of past disease, A subject who can obtain at least one of the severity level of the disease or information corresponding to the imaged part and has to make a definitive diagnosis separately.
  • the positive and / or negative probability of disease, the probability of past disease, the level of severity of disease, or the imaged site for test data consisting of endoscopic images of multiple digestive organs for a large number of subjects Since at least one piece of information corresponding to can be automatically diagnosed, not only is it easy for an endoscopist to check / correct, but also the task of creating a set of images associated with a disease is omitted. be able to.
  • the disease diagnosis support method for endoscopic images of digestive organs using the neural network provides a disease diagnosis support method for endoscopic images of digestive organs using the neural network of the first aspect.
  • the diagnosis support method system the first endoscopic image is adjusted in contrast.
  • the contrast of all the first endoscopic images has substantially the same gradation. Since the adjustment is made, the detection accuracy of the level of probability or severity of each of positive and negative diseases is improved.
  • the disease diagnosis support method based on the endoscopic image of the digestive organ using the neural network according to the third aspect of the present invention is the endoscopic image of the digestive organ using the neural network according to the first or second aspect.
  • the first endoscopic image is associated with a site where each is imaged.
  • the neural network is trained using the endoscopic images classified by the respective parts. Therefore, since it is possible to perform detailed training according to each part for the neural network, the probability of the positive and negative of each disease for the second endoscopic image, the probability of the past disease, the severity of the disease The detection accuracy of the level and the like is improved.
  • the disease diagnosis support method using endoscopic images of the digestive organs using the neural network according to the fourth aspect of the present invention is a method for supporting diseases diagnosed using endoscopic images of the digestive organs using the neural network according to the third aspect.
  • the region includes at least one of a pharynx, an esophagus, a stomach, and a duodenum.
  • classification of each part of the pharynx, esophagus, stomach and duodenum can be performed accurately.
  • the accuracy of detection of positive and negative negative probabilities, past disease probabilities, disease severity levels, etc. is improved.
  • the diagnosis support method of the disease by the endoscopic image of the digestive organ using the neural network of the fifth aspect of the present invention is the endoscopic image of the digestive organ using the neural network of the third or fourth aspect.
  • the part is divided into a plurality of places in at least one of the plurality of digestive organs.
  • each digestive organ has a complicated shape, it may be difficult to recognize what specific part of the digestive organ is an image of a specific endoscopic image if the number of classification of the parts is small.
  • the disease diagnosis support method using endoscopic images of digestive organs using the neural network according to the fifth aspect since each of the plurality of digestive organs is divided into a plurality of locations, a highly accurate diagnosis can be performed in a short time. The result can be obtained.
  • the disease diagnosis support method using an endoscopic image of the digestive organ using the neural network according to the sixth aspect of the present invention provides a disease diagnosis support method according to the endoscopic image of the digestive organ using the neural network according to the fifth aspect.
  • the diagnosis support method when the site is the stomach, the section includes at least one of an upper stomach, a middle stomach, and a lower stomach.
  • the diagnosis support method for a disease by an endoscopic image of the digestive organ using the neural network according to the seventh aspect of the present invention provides a disease diagnosis support method by the endoscopic image of the digestive organ using the neural network of the fifth aspect.
  • the section when the part is the stomach, the section includes at least one of a cardia part, a stomach base part, a stomach body part, a stomach corner part, a vestibular part, a pyloric sinus, or a pyloric part.
  • classification of each segment or region of the stomach can be performed accurately.
  • the detection accuracy such as the probability of each positive or negative of disease, the probability of past disease, the level of severity of disease, etc., is improved. It should be noted that the selection or selection of the stomach segment or site may be made as appropriate as required.
  • the disease diagnosis support method using endoscopic images of digestive organs using the neural network according to the eighth aspect of the present invention includes the digestive organs using the neural network according to any one of the third to seventh aspects.
  • the disease diagnosis support method using an endoscopic image when the number of the first endoscopic images in the imaged part is smaller than in other parts, the first endoscopic image is rotated and enlarged.
  • the number of the first endoscopic images in all the parts is substantially equal by using at least one of reduction, change of the number of pixels, extraction of the light / dark part, or extraction of the tone change part. It is characterized by the above.
  • the number of first endoscopic images made up of endoscopic images of a plurality of digestive organs obtained in advance for each of a plurality of subjects may vary greatly from site to site.
  • the disease diagnosis support method using endoscopic images of digestive organs using the neural network of the eighth aspect even in such a case, the first endoscopic image of the part is appropriately rotated and enlarged.
  • the number of images for training the neural network can be increased by using at least one of: reduction, change in the number of pixels, extraction of light and dark areas, or extraction of tonal change parts, based on differences in parts Variations in detection accuracy such as the respective positive and negative probabilities of disease, the probability of past diseases, the level of severity of disease, etc. are reduced.
  • the number of endoscopic images for each part does not necessarily have to be the same. It is sufficient that the variation in the number is reduced.
  • the disease diagnosis support method using endoscopic images of digestive organs using the neural network according to the ninth aspect of the present invention includes the digestive organs using the neural network according to any of the third to eighth aspects.
  • the trained neural network is capable of outputting information corresponding to a region where the second endoscopic image is captured.
  • each probability and part of the disease positive and negative for each second endoscopic image Since the name is output, it becomes easier to understand the positive part and distribution of the disease.
  • the disease diagnosis support method using an endoscopic image of the digestive tract using the neural network according to the tenth aspect of the present invention is a disease diagnosis support method according to the endoscopic image of the digestive tract using the neural network according to the ninth aspect.
  • the trained neural network outputs the probability or the severity together with information corresponding to the part.
  • the probability, severity, and region name are output in descending order of probability of disease positive or severity. This makes it easier to understand the parts that must be inspected precisely.
  • a method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using the neural network according to the eleventh aspect of the present invention includes a method for assisting diagnosis of a disease using the neural network according to any one of the first to tenth aspects.
  • the disease diagnosis support method using an endoscopic image the first endoscopic image includes a gastroscopic image, and the disease includes at least one of Helicobacter pylori infection or Helicobacter pylori eradication. It is characterized by.
  • the subject's Helicobacter pylori infection is positive or negative with the same accuracy as a specialist in the Japanese Gastroenterological Endoscopy Society
  • the definitive diagnosis is the anti-H. This can be done by measuring H. pylori IgG level, fecal antigen test, or urea breath test.
  • the disease diagnosis support method using endoscopic images of digestive organs using the neural network according to the twelfth aspect of the present invention includes the digestive organs using the neural network according to any one of the first to tenth aspects.
  • the disease diagnosis support method using an endoscopic image the first endoscopic image includes a colonoscopic image, the disease includes at least ulcerative colitis, and the trained neural network includes the ulcerative large intestine.
  • the output is divided into a plurality of stages according to the severity of the flame.
  • the severity of ulcerative colitis in a subject can be determined with the same accuracy as a specialist of the Japanese Gastroenterological Endoscopy Society. Since the prediction can be made, it is possible to accurately select subjects who need to perform further detailed examinations in a short time.
  • the method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using the neural network according to the thirteenth aspect of the present invention provides an endoscopic view of the digestive organ using the neural network according to any one of the first to tenth aspects.
  • the first endoscopic image includes an esophageal endoscopic image by a super-enlarged endoscope, and the disease is at least esophageal cancer, gastroesophageal reflux disease, or esophagitis.
  • the trained neural network may output at least one of the esophageal cancer, gastroesophageal reflux disease, or esophagitis.
  • a non-cancerous lesion is cancerous based on an esophageal endoscopic image using a super-enlarged endoscope. Since overdiagnosis can be minimized, the number of subjects who need to perform a tissue biopsy can be reduced.
  • the disease diagnosis support method using endoscopic images of digestive organs using the neural network according to the fourteenth aspect of the present invention provides the digestive organ endoscopy using the neural network according to any one of the first to thirteenth aspects.
  • the second endoscopic image is provided by an image being captured by an endoscope, an image transmitted via a communication network, a remote operation system, or a cloud type system It is at least one of an image to be recorded, an image recorded on a computer-readable recording medium, or a moving image.
  • the well-known Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network (virtual private network), telephone line network, mobile communication network, satellite communication network, etc. are used.
  • transmission media constituting the communication network are also well-known IEEE 1394 serial bus, USB, power line carrier, cable TV line, telephone line, ADSL line, etc., infrared, wireless such as Bluetooth (registered trademark), IEEE 802.11, Radio such as a mobile phone network, satellite line, and terrestrial digital network can be used.
  • it can utilize as a form of what is called a cloud service and a remote assistance service.
  • Computer-readable recording media include well-known magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks and hard disks, compact disks-ROM / MO / MD / digital video disk / compact.
  • a disk system including an optical disk such as a disk-R, a card system such as an IC card, a memory card, and an optical card, or a semiconductor memory system such as a mask ROM / EPROM / EEPROM / flash ROM can be used.
  • a method for assisting diagnosis of a disease based on an endoscopic image of a digestive organ using the neural network according to the fifteenth aspect of the present invention includes a method for assisting diagnosis of a disease using the neural network according to any one of the first to fourteenth aspects.
  • a convolutional neural network is used as the neural network.
  • the convolutional neural network as a neural network is a mathematical model that simulates the characteristics of the visual cortex of the brain, and has an excellent learning ability for images. Therefore, according to the disease diagnosis support method based on the endoscopic image of the digestive organ using the neural network according to the fifteenth aspect, the sensitivity becomes higher and the specificity becomes higher, so that the usefulness becomes very large.
  • the disease diagnosis support system using endoscopic images of digestive organs comprises an endoscopic image input unit, an output unit, and a computer incorporating a neural network.
  • a computer-aided diagnosis support system for diseases using an endoscopic image wherein the computer corresponds to a first storage area for storing a first endoscopic image of a digestive organ, and the first endoscopic image.
  • the gastrointestinal disease positive and / or negative probabilities for the second endoscopic image, past disease probabilities, disease severity levels, or information corresponding to the imaged site It outputs to an output part, It is characterized by the above-mentioned.
  • a diagnosis support system for a disease based on an endoscopic image of a digestive organ Is characterized in that the contrast is adjusted.
  • a disease diagnosis support system based on an endoscopic image of a digestive organ according to the sixteenth or seventeenth aspect.
  • One endoscopic image is characterized in that each is associated with an imaged part.
  • the disease diagnosis support system using an endoscopic image of a digestive organ according to the nineteenth aspect of the present invention is the disease diagnosis support system according to the endoscopic image of the digestive organ according to the eighteenth aspect, wherein the site is a pharynx. Including at least one of the esophagus, stomach, or duodenum.
  • diagnosis support system for diseases by endoscopic images of digestive organs is the diagnosis support system for diseases by endoscopic images of digestive organs according to the eighteenth or nineteenth aspects, wherein Is divided into a plurality of locations in at least one of the plurality of digestive organs.
  • the disease diagnosis support system based on an endoscopic image of a digestive organ according to the twenty-first aspect of the present invention is the disease diagnosis support system according to the endoscopic image of the digestive organ according to the twentieth aspect, wherein the site is a stomach.
  • the section includes at least one of an upper stomach, a middle stomach, or a lower stomach.
  • the disease diagnosis support system using an endoscopic image of a digestive organ according to the twenty-second aspect of the present invention is the disease diagnosis support system according to the endoscopic image of the digestive organ of the twentieth aspect, wherein the site is a stomach.
  • the section includes at least one of the cardia, fundus, stomach, corner, vestibule, pyloric sinus or pylorus.
  • the disease diagnosis support system according to the endoscopic image of the digestive organ according to the twenty-third aspect of the present invention is the disease diagnosis support system according to the endoscopic image of the digestive organ according to any of the sixteenth to twenty-second aspects.
  • the first endoscopic image is rotated, enlarged, reduced, and the number of pixels is changed.
  • the number of training / verification data in all the regions is made substantially equal by using at least one of the extraction of the light and dark part or the extraction of the color change region.
  • the disease diagnosis support system according to the twenty-fourth aspect of the present invention based on an endoscopic image of a digestive organ is the disease diagnosis support system according to any one of the sixteenth to twenty-third aspects of an endoscopic image of a digestive organ.
  • the trained neural network program is capable of outputting information corresponding to a part where the second endoscopic image is captured.
  • a diagnosis support system for a disease based on an endoscopic image of a digestive organ In the diagnosis support system for a disease based on an endoscopic image of a digestive organ according to the 24th aspect, the trained neural network is used. The network program outputs the probability or the severity together with information corresponding to the part.
  • the disease diagnosis support system is the disease diagnosis support system according to any of the sixteenth to twenty-fifth aspects of the present invention.
  • the first endoscopic image includes a gastric endoscopic image, and the disease includes at least one of Helicobacter pylori infection or Helicobacter pylori eradication.
  • the disease diagnosis support system for endoscopic images of digestive organs according to the twenty-seventh aspect of the present invention is the disease diagnosis support system for endoscopic images of digestive organs according to any of the sixteenth to twenty-fifth aspects.
  • the first endoscopic image includes a colonoscopy image
  • the disease includes at least ulcerative colitis
  • the trained neural network program includes a plurality of responsive to the severity of the ulcerative colitis.
  • the output is divided into stages.
  • the disease diagnosis support system is the disease diagnosis support system using the digestive organ endoscopic image according to any of the sixteenth to twenty-fifth aspects.
  • the first endoscopic image includes an esophageal endoscopic image by an ultra-enlarged endoscope, and the disease includes at least one of esophageal cancer, gastroesophageal reflux disease, or esophagitis, and is trained
  • the neural network may classify and output at least one of the esophageal cancer, gastroesophageal reflux disease, or esophagitis.
  • the disease diagnosis support system according to the twenty-ninth aspect of the present invention based on an endoscopic image of a digestive organ is the disease diagnosis support system according to any one of the sixteenth to twenty-eighth aspects of a disease diagnosis support system.
  • the second endoscopic image is an image being captured by an endoscope, an image transmitted via a communication network, an image provided by a remote operation system or a cloud system, or a computer-readable record It is at least one of an image or a moving image recorded on a medium
  • the disease diagnosis support system based on an endoscopic image according to the thirtieth aspect of the present invention is the disease diagnosis support system based on an endoscopic image of a digestive organ according to any of the sixteenth to twenty-ninth aspects.
  • the network is a convolutional neural network.
  • the digestive organ using the neural network according to any one of the first to fifteenth aspects, respectively. It is possible to achieve the same effect as the disease diagnosis support method based on the endoscopic image.
  • diagnosis support program based on the endoscopic image of the digestive organ according to the thirty-first aspect of the present invention provides each means in the disease diagnosis support system based on the endoscopic image of the digestive organ according to any of the sixteenth to thirty aspects. It is for operating a computer.
  • each means in the disease diagnosis support system for endoscopic images of digestive organs of any of the sixteenth to thirty aspects A diagnostic support program based on an endoscopic image of a digestive organ for operating a computer can be provided.
  • diagnosis support program based on the endoscopic image of the digestive organ according to the thirty-second aspect of the present invention is characterized in that the diagnosis support program based on the endoscopic image of the digestive organ according to the thirty-first aspect is recorded.
  • a computer-readable recording medium recording the diagnosis support program for endoscopic images of digestive organs of the thirty-first aspect. can do.
  • a method for discriminating a digestive organ part from an endoscopic image of a digestive organ using a neural network is as follows.
  • a method of discrimination wherein a neural network is trained using first endoscope images of digestive organs and information corresponding to the first endoscope images and information corresponding to an imaged part,
  • the trained neural network outputs information corresponding to the imaged part of the digestive organ based on the second endoscopic image of the digestive organ.
  • the neural network includes the first endoscopic image of the digestive organ and the first Since it is trained by using the fixed information of the information corresponding to the imaged part corresponding to the endoscope image of the subject, the subject was imaged with a precision substantially equivalent to an endoscopist in a short time. Information corresponding to the part can be obtained, and the part of the digestive organ to be diagnosed can be determined in a short time.
  • the system for discriminating the digestive organs based on the endoscopic image of the digestive organs using the neural network incorporates an endoscopic image input unit, an output unit, and a neural network.
  • a digestive organ site discrimination system based on an endoscopic image of the digestive organ the computer comprising: a first storage area for storing a first endoscopic image of the digestive organ; A second storage area for storing fixed information of information corresponding to an imaged part of the digestive organ corresponding to one endoscopic image, and a third storage area for storing the neural network program.
  • the neural network program includes the first endoscopic image stored in the first storage area and the confirmation stored in the second storage area.
  • the digestive organ was imaged with respect to the second endoscopic image. Information corresponding to a part is output to the output unit.
  • the digestive organ part discriminating system based on the endoscopic image of the digestive organ using the neural network of the thirty-fourth aspect of the present invention, it is based on the endoscopic image of the digestive organ using the neural network of the thirty-third aspect. The same effect as the method for discriminating the site of the digestive organs can be obtained.
  • the digestive organ part discrimination program based on the endoscopic image of the digestive organ according to the thirty-fifth aspect of the present invention provides each means in the digestive organ part discrimination system based on the endoscopic image of the digestive organ according to the thirty-fourth aspect. It is for operating a computer.
  • each means in the digestive organ part discriminating system based on the endoscopic image of the digestive organ according to the thirty-fourth aspect As a result, it is possible to provide a program for discriminating a part of the digestive organ from an endoscopic image of the digestive organ for operating the computer.
  • the computer-readable recording medium according to the thirty-sixth aspect of the present invention is characterized by recording a digestive organ part discrimination program based on an endoscopic image of the digestive organ according to the thirty-fifth aspect.
  • a computer-readable recording medium of the thirty-sixth aspect of the present invention there is provided a computer-readable recording medium recording a digestive organ part discrimination program based on an endoscopic image of the digestive organ of the thirty-fifth aspect. be able to.
  • a program incorporating a neural network is obtained in advance for endoscopic images of a plurality of digestive organs obtained in advance for each of a plurality of subjects, and for each of a plurality of subjects. Trained on the basis of a positive or negative definitive diagnosis result of the above-mentioned disease, and in a short time, positive and / or negative of the digestive organ disease of the subject with an accuracy substantially comparable to that of an endoscopist Probabilities, past disease probabilities, disease severity levels, information corresponding to the imaged site, etc. can be obtained, and subjects who have to make a definitive diagnosis can be selected in a short time become.
  • FIG. FIG. 1B is an example of a gastroscopic image when H. pylori infection is positive. It is an example of a gastroendoscopy image in the case of negative H. pylori infection.
  • FIG. 6 illustrates patient screening for a test data set. It is a schematic conceptual diagram which shows operation
  • the ROC curve representing the first learning result and the H. It is a figure which shows a H. pylori infection diagnostic result.
  • ROC curve representing the results of the second run and the endoscopist's H.C. It is a figure which shows a H. pylori infection diagnostic result.
  • FIG. 8A is a ROC curve of a laryngeal image by the CNN system of Embodiment 2
  • FIG. 8B is a ROC curve of an esophageal image
  • FIG. 8C is a ROC curve of a stomach image
  • FIG. 8D is also a duodenum.
  • FIG. 9A is the ROC curve of the upper stomach image by the CNN system of the second embodiment
  • FIG. 9B is the ROC curve of the middle stomach image
  • FIG. 9C is the ROC curve of the lower stomach image.
  • FIG. 10A is an image of the duodenum misclassified as the lower stomach
  • FIG. 10B is an image of the lower stomach correctly classified.
  • FIG. 11A is an image of the esophagus misclassified as the lower stomach
  • FIG. 11B is an image of the lower stomach correctly classified as the lower stomach.
  • FIG. 12A is an image of the duodenum misclassified as the middle stomach
  • 12B is an image of the upper stomach correctly classified.
  • FIG. 13A is an image of the pharynx misclassified as esophagus
  • FIG. 13B is an image of the esophagus correctly classified. It is a colonoscopy image classified into typical Mayo0 to Mayo3.
  • FIG. 10 is an example of a low-magnification image (a to e) and a high-magnification image (f to j) of Embodiment 4.
  • FIG. 20A is an ROC curve of all images according to the fourth embodiment, FIG.
  • FIG. 20B is an ROC curve in the case of HMP
  • FIG. 20C is an ROC curve in the case of LMP.
  • FIG. 21A is a normal endoscopic image
  • FIG. 21B is a super-enlarged endoscopic image
  • FIG. 21C is a histopathological examination image.
  • FIG. 22A is a normal endoscopic image
  • FIG. 22B is a super-enlarged endoscopic image
  • FIG. 22C is a histopathological examination image.
  • FIG. 10 is a block diagram of a disease diagnosis support method using endoscopic images of digestive organs using the neural network of the fifth embodiment.
  • FIG. 16 is a block diagram of a disease diagnosis support system based on an endoscopic image of a digestive organ, a diagnosis support program based on an endoscopic image of the digestive organ, and a computer-readable recording medium using the neural network according to the sixth embodiment.
  • FIG. 10 is a block diagram of a digestive organ part discrimination method based on an endoscopic image of a digestive organ using the neural network according to the seventh embodiment.
  • FIG. 10 is a block diagram of a digestive organ part discrimination method based on an endoscopic image of a digestive organ using the neural network according to the seventh embodiment.
  • diagnosis support method diagnosis support system, diagnosis support program, and computer-readable recording medium storing the diagnosis support program according to the present invention
  • diagnosis support program The case of Helicobacter pylori-infected gastritis and classification by organ will be taken as an example, and then the case of ulcerative colitis and esophageal disease will be described in detail as examples.
  • the embodiments described below show examples for embodying the technical idea of the present invention, and are not intended to specify the present invention in these cases.
  • the present invention covers a wide range of diseases that can be specified by endoscopic images of the digestive organs, and can be equally applied to other embodiments included in the claims.
  • image can include not only a still image but also a moving image.
  • classification is made into four areas a to d depending on the presence or absence of a disease in the patient and whether the test result is positive or negative.
  • a patient has a disease, it is classified as a sick person (presence), and when there is no disease, it is classified as a sick person (no).
  • the area a is a true positive area when the patient has a disease and the test result is positive.
  • the area b is a case where the patient has no disease but the test result is positive, and is a false positive area.
  • the area c is a case where the patient has a disease but the test result is negative, and is a false negative area.
  • the area d is when the patient has no disease, the test result is negative, and the case is true negative.
  • the sensitivity is the probability (positive prevalence rate) that the test result is positive in the patient, and is expressed as a / (a + c).
  • Specificity is the probability that a test result is negative in a disease-free person (no disease correct diagnosis rate), and is represented by d / (b + d).
  • the false positive rate is a probability that a test result is positive in a disease-free person (a disease-free misdiagnosis rate), and is represented by b / (b + d).
  • the false negative rate is a probability that the test result is negative in the prevalent person (prevalence rate of prevalence), and is expressed by c / (a + c).
  • Embodiment 1 the diagnosis support method, diagnosis support system, diagnosis support program, and computer-readable recording medium storing the diagnosis support program according to the present invention are described in H.
  • An example applied to H. pylori-infected gastritis will be described.
  • EGD esophagus, stomach, and duodenoscopy
  • Indications for EGD were referrals from primary care physicians regarding various upper abdominal symptoms, positive barium test results for stomach illness, abnormal serum pepsinogen levels, past or screening stomach or duodenum.
  • FIG. 1 shows a typical stomach endoscopic image obtained. Note that FIG. FIG. 1B is an example of an image diagnosed as positive for H. pylori. It is an example of the image diagnosed as H. pylori infection negative.
  • H. pylori infection All patients are She was tested for the presence of H. pylori infection. The test is performed in anti-H. It was at least one of H. pylori IgG level measurement, fecal antigen measurement and urea breath test. And patients who show a positive response in any of these tests are H.264. Classified as H. pylori positive. H. In patients who were not diagnosed as positive for H. pylori, Those who have never been treated with H. pylori have been treated with H. pylori. Classified as H. pylori negative. In the past, H. Patients who had already been successfully sterilized with H. pylori were excluded from the measurement.
  • H. 32,208 training / validation data sets were generated using images from 753 patients determined to be H. pylori and 1,015 patients classified as negative.
  • contrast adjustment is performed at the same ratio for RGB signals of all images.
  • Each RGB color takes 8 bits, that is, a value in the range from 0 to 255, but contrast adjustment is performed so that there is always one point (white) where all RGB colors become 255, 255, and 255. went.
  • the endoscope screen has a black frame, but it is automatically trimmed and enlarged / reduced so that all images have the same size.
  • the classification may be divided into a plurality of locations in each of a plurality of digestive organs, but here, an image classified into a plurality of locations according to the position only for the stomach is obtained, and other regions are classified as they are. Used without. Furthermore, it is possible to perform diagnosis for each attribute by inputting the attribute separately for each sex.
  • the first neural network was constructed by using a combination of all images that do not contain classification data.
  • the second neural network was constructed using the images classified into a plurality as described above. Since the construction of these neural networks involves many repetitive processes, a computer speeded up by parallel processing was used.
  • test data set was prepared in order to evaluate the diagnostic accuracy between the neural network of the first embodiment constructed using the training / verification data set described above and the endoscopist.
  • image data of 587 patients who underwent endoscopy from January to February 2017 at the clinic to which one of the inventors belongs Image data of 166 patients after H. pylori eradication; The image data of 23 patients with unknown H. pylori infection and the image data of one patient after gastrectomy were excluded (see FIG. 2).
  • H.C The image data of the remaining 397 patients judged to be positive or negative for H. pylori infection were used as test data.
  • test data set 72 (43%) were diagnosed by fecal antigen test and 87 (21%) were diagnosed with urinary anti-H. Diagnosed based on H. pylori IgG levels.
  • the test data set contains a total of 11,481 images from a total of 397 patients. Of these, 72 were H.264. 325 were diagnosed as positive for H. pylori and 325 were Diagnosed negative for H. pylori infection. There is no overlap between the test data set and the training / validation data set.
  • the CNN used in the first embodiment is trained using backpropagation (backpropagation) as shown in FIG.
  • Each layer of the CNN is adjusted at a global learning rate of 0.0001 using Adam (https://arxiv.org/abs/1412.6980), which is one of parameter optimization methods.
  • ImageNet http://www.image-net.org/
  • transfer learning is a database that contains over 14 million images at the beginning of 2017. This training technique is called transfer learning, and it is recognized that it is effective even when there is little teacher data.
  • the trained neural network is an H.264 for the input image.
  • a probability value (PS) between 0 and 1 is output as a positive or negative diagnosis result of H. pylori infection.
  • the ROC curve is a plot of this probability value by changing the threshold for distinguishing between positive and negative.
  • the evaluation time was 252.5 ⁇ 92.3 minutes for specialists, and 206.6 ⁇ 54.7 minutes for doctors during training.
  • the sensitivity, specificity, and evaluation time of the experience doctor (n 9) were all intermediate values between the specialist and the training doctor.
  • the CNN constructed in the first embodiment is an H.264 per image.
  • the H. pylori infection probability P was output and the standard deviation of the sample per patient was calculated.
  • the characteristics of the first CNN constructed using all training / verification data sets not including classification data were examined.
  • the ROC curve obtained at that time is shown in FIG. In the original ROC curve, the horizontal axis represents “1-specificity”, the left end is the origin “0” and the right end is “1”, but in FIG. 4 (the same applies to FIG. 5), the horizontal axis Represents “specificity”, the origin at the left end is “1”, and the right end is “0”.
  • Each endoscopist will have H.
  • the prediction of H. pylori infection is performed, and the prediction results for each endoscopist are represented by white dots.
  • the black point shows the average of all endoscopists' predicted values.
  • CNN is H.264 for each image.
  • the H. pylori probability P is output and the program calculates the standard deviation of the probability per patient.
  • the sensitivity and specificity of the first CNN are 81.9% and 83.4%, respectively. Met.
  • assembled for the 1st time was 3.3 minutes.
  • the CNN constructed this first time was correctly diagnosed in 350 out of 397 (88.2%).
  • the result of diagnosis by the endoscopist on 47 misdiagnosed cases by CNN constructed in the first time was 43.5 ⁇ 33.4% of accuracy ⁇ standard deviation.
  • FIG. 5 is based on the CNN obtained by learning using the training / verification data set classified into a plurality of locations according to the position of only the stomach, and has a better probability than that of the first CNN. Is output.
  • the area under the ROC curve is 93%.
  • Each white dot indicates a prediction result of each endoscopist, and a black point indicates an average value of all endoscopists, both of which are the same as those shown in FIG.
  • the area of the lower part of the ROC curve in FIG. 5 increased from 89% in FIG. 4 to 93%.
  • the optimum cut-off value is 0.42, and the sensitivity and specificity of CNN at this time are 88.9% and 87.4%, respectively. It was comparable and much higher than the doctor during training.
  • the diagnosis time for all images by the second CNN was 3.2 minutes.
  • the diagnostic ability of the first CNN is between the doctor and the experienced physician during the training, and the diagnostic ability of the second CNN is comparable to that of an experienced endoscopist. Both the second and second CNNs can be diagnosed in a dramatically shorter time than the endoscopist. This result is shown in H.264 using the CNN of the first embodiment. It shows that the Helicobacter pylori infection screening system has sufficiently high sensitivity and specificity to be applied in clinical practice.
  • the stomach has a complex shape, and the gastroscopy images include images of various parts that look different, so it corresponds to the position in the stomach
  • the CNN view obtained by learning using the training / verification data set that is not classified is used, it may be difficult to identify which part of the image it is. Therefore, when the CNN is constructed using the training / verification data set classified into a plurality of locations according to the position only for the stomach, the sensitivity increases from 81.9% to 88.9%. Increased ability to diagnose H. pylori-infected gastritis.
  • H. such as atrophy and intestinal metaplasia. Changes in gastric mucosa due to H. pylori infection first occur in the distal stomach (pylorus) and gradually spread to the proximal stomach (cardia). In this way, in the stomach with mild changes in it, the normal mucous membrane may be misdiagnosed as abnormal, so the endoscopist can position the stomach image, especially the pylorus, angle, or Diagnose after recognizing the whole picture.
  • the CNN of this embodiment 1 is H.264 without fatigue. Screening times for H. pylori infection can be much shorter and report results are available immediately after endoscopy. As a result, an endoscopist's H.H. It can contribute to reducing the burden of H. pylori infection diagnosis and medical costs. Further, the H.C. The results of H. pylori diagnosis can be obtained immediately after inputting the images at the time of endoscopy. Pylori diagnosis assistance can be performed, and so-called “teletherapy” can solve the problem of non-uniform distribution of doctors by region.
  • the second CNN of the first embodiment an example in which learning is performed using a training / verification data set classified into a plurality of places according to the position is shown.
  • the number may be about 10 or so and may be determined appropriately by those skilled in the art.
  • images of not only the stomach but also the pharynx, esophagus and duodenum were included, so these images were excluded to improve the accuracy of positive and negative diagnosis of H. pylori infection. I did it.
  • both the training / verification data set and the test data set are obtained only at a single clinic, but other facilities using other endoscopic devices and techniques are used. It is considered that the sensitivity and specificity of CNN can be further improved by adding an example using the image obtained in (1).
  • the H.264 standard Patients after H. pylori eradication were excluded. By learning images after H. pylori eradication, It can be used to determine whether H. pylori has been sterilized.
  • H. Diagnosis of H. pylori infection status is anti-H. Although confirmed by various tests such as H. pylori IgG level measurement, fecal antigen test, or urea breath test, none of these tests yields 100% sensitivity or 100% specificity. Therefore, there is a possibility that the training / verification data set is mixed with an image with an erroneous diagnosis as a result. Only a large number of patients diagnosed with H. pylori infection are increased. Even if it is diagnosed as H. pylori infection negative, H. It is possible to solve the problem by creating a classification such as one determined to be positive for H. pylori, collecting images corresponding to the classification, and training the CNN using the training / validation data set corresponding to the classification. become.
  • a classification such as one determined to be positive for H. pylori
  • Embodiment 1 the difference in diagnostic ability was not evaluated according to the state of the stomach, that is, the degree of atrophy, the presence or absence of redness, etc. However, if the number of training images increases in the future, such findings If the training image is further subdivided according to the CNN and is remembered by the CNN, In addition to the presence or absence of Helicobacter pylori-infected gastritis, it may be possible to make the same judgment in the future as a specialist. In addition, in Embodiment 1, gastric H.P. Although described as being used to assist in the diagnosis of H.
  • endoscopy is also performed on the larynx, pharynx, esophagus, duodenum, biliary tract, pancreatic fistula, small intestine, large intestine, etc. in addition to the stomach If the image accumulation for these parts progresses and the number of training images increases, it can be used for diagnosis assistance for these parts.
  • the feature extraction and analysis algorithm is H.264. Since it is similar to the presence or absence of Helicobacter pylori-infected gastritis, if the CNN is trained using colonoscopy images, the CNN can be easily output in multiple stages according to the severity of ulcerative colitis. It becomes possible to do. As with the stomach, the colonoscopy images used as training / verification data are classified into multiple locations according to the location of the large intestine, and the level of disease positive or negative or severity for ulcerative colitis A definitive diagnosis result is given.
  • Test data consisting of a plurality of colonoscopy images for a large number of subjects to be evaluated by using a CNN trained based on the training / verification data consisting of these colonoscopy images and the definitive diagnosis result
  • the level of positive or negative or severity of the disease can be automatically diagnosed.
  • GoogLeNet is used as the CNN architecture.
  • the CNN architecture is evolving day by day, and better results may be obtained if the latest one is adopted.
  • Adam was used as an optimization method other well-known SGD (Stochastic Gradient Descent) method, MomentumSGV method in which inertia term (Momentum) was given to SGD, AdaGrad method, AdaDelta method, NesterovAG Method, RMSpropGraves method and the like can be selected as appropriate.
  • H.E. of the stomach endoscopic image by the CNN of the first embodiment As described above, H.E. of the stomach endoscopic image by the CNN of the first embodiment.
  • the diagnostic accuracy of H. pylori infection was comparable to that of an endoscopist. Therefore, the CNN of the embodiment can be obtained from the obtained endoscopic image by H.264 for screening or other reasons. Helps to select patients with H. pylori infection.
  • this H.P. Just by determining whether H. pylori is positive or negative, it can be applied immediately in clinical settings.
  • a computer incorporating a CNN as a diagnosis support system basically includes an endoscope image input unit, a storage unit (hard disk or semiconductor memory), an image analysis device, a determination display device, and a determination output. Device.
  • a direct endoscope image capturing device may be provided.
  • this computer system is installed away from the endoscopy facility and can be operated as a central diagnosis support system by obtaining image information from a remote place or as a cloud type computer system via the Internet network.
  • the computer has a first storage area for storing endoscopic images of a plurality of digestive organs obtained in advance for each of a plurality of subjects, and a plurality of subjects obtained in advance in an internal storage unit.
  • the number of endoscopic images of a plurality of digestive organs obtained in advance for each of a plurality of subjects is large and the amount of data is large, and a large amount of data processing is performed when the CNN program is operated.
  • Parallel processing is preferable, and it is preferable to have a large-capacity storage unit.
  • Embodiment 1 a computer incorporating CNN as a diagnosis support system used in Embodiment 1 is a commercially available personal computer to some extent, H.
  • H. pylori-infected gastritis diagnosis system more than 3000 cases can be processed in one hour, and one image can be processed in about 0.2 seconds. Therefore, by providing the image data being captured by the endoscope to the computer incorporating the CNN used in the first embodiment, H. It is possible to determine H. pylori infection, and it is possible to diagnose remotely even if it is a moving image as well as gastroscopic images transmitted from all over the world and remote areas. In particular, recent computer GPUs have very good performance. By incorporating the CNN of the first embodiment, high-speed and high-precision image processing becomes possible.
  • the endoscopic image of the digestive organ of the subject input to the input unit of the computer incorporating the CNN as the diagnosis support system of Embodiment 1 is transmitted via the image being captured by the endoscope and the communication network. Or an image recorded on a computer-readable recording medium. That is, the computer incorporating CNN as the diagnosis support system according to the first embodiment outputs the respective probabilities of gastrointestinal disease positive and negative for the endoscopic image of the digestive organ of the subject input in a short time. Therefore, it can be used regardless of the input format of the endoscopic image of the digestive organs of the subject.
  • the well-known Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network (virtual private network), telephone line network, mobile communication network, satellite communication network, etc. are used.
  • transmission media constituting the communication network are also well-known IEEE 1394 serial bus, USB, power line carrier, cable TV line, telephone line, ADSL line, etc., infrared, wireless such as Bluetooth (registered trademark), IEEE 802.11, Radio such as a mobile phone network, satellite line, and terrestrial digital network can be used.
  • Computer-readable recording media include well-known magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks and hard disks, compact disks-ROM / MO / MD / digital video disk / compact.
  • H.264 by a computer incorporating the CNN used in the first embodiment.
  • H. pylori-infected gastritis diagnosis system it is possible to automatically determine the portion of the input image. Therefore, this H.P.
  • H. pylori is classified into H. pylori, gastric floor, stomach body, stomach corner, vestibule, and pyloric sinus. Display the probability of H. pylori infection, and from some of these sites, for example, H. pylori.
  • H.C Displaying the probability of Helicobacter pylori ultimately requires a definitive diagnosis by blood test or urine test, but is useful for the judgment of an endoscopist.
  • the second embodiment it was verified that it is possible to automatically determine where the input image is.
  • images that are not clear due to cancer, ulcer, residue / foreign matter, bleeding, halation, blur, or poor focus are excluded, and the remaining 1750 is excluded.
  • 27,335 images from a human patient were classified into 6 main categories (larynx, esophagus, duodenum, upper stomach, middle stomach, lower stomach).
  • Each major gastric category includes multiple subcategories, as shown in FIG. 6, the lower stomach includes the pylorus, pyloric sinus, vestibule, and the upper stomach includes the cardia and fundus
  • the middle stomach includes the stomach corner and stomach body.
  • 27,335 original endoscopic images are rotated at random between 0 degrees and 359 degrees by a tool in the same manner as in the first embodiment to increase the number of images.
  • the surrounding black frame is automatically trimmed and cut out, scaled up or down as appropriate, and only normal white light images with normal magnification are included, excluding emphasized images such as narrowband images, and 1 million More training image data was obtained.
  • the training image data obtained in the second embodiment is resized to 244 ⁇ 244 pixels in order to be compatible with GoogLeNet.
  • the CNN system used in the second embodiment was trained by using the same training image data as in the first embodiment except that the learning rate was changed to 0.0002.
  • the trained CNN system of Embodiment 2 generated a probability value (PS) for each image ranging from 0 to 100%. This indicates the probability of belonging to each anatomical classification of each image.
  • the category with the highest probability value was taken as the final classification of the CNN, and images classified by this CNN were manually evaluated by two endoscopists to assess whether they were correctly classified. If the assessment differs between the two endoscopists, a discussion was held to arrive at a satisfactory solution.
  • GIE images were classified into four main categories (larynx, esophagus, stomach and duodenum).
  • the CNN system of Embodiment 2 correctly classified 16,632 (97%) anatomical positions out of 17,081 images.
  • the probability values calculated by the CNN system ranged from 0 to 100%, and the 96% individual highest probability value of the image was greater than 90% (see Table 5).
  • the CNN system of the second embodiment determines the anatomical position of the GIE image with accuracy based on the AUC value, and the pharynx is 1.00 [95% confidence interval (CI): 1.00 to 1.00, p ⁇ 0.0001], esophagus 1.00 (95% CI: 1.00 to 1.00, p ⁇ 0.0001), stomach 0.99 (95% CI: 0.99 to 1.00, p ⁇ 0.0001), the duodenum was automatically recognized at 0.99 (95% CI: 0.99 to 0.99, p ⁇ 0.0001) (see FIGS. 8A to 8D).
  • the sensitivity and specificity for recognizing the anatomical position of each part of the CNN system of Embodiment 2 are 93.9% and 100% for the larynx, 95.8% and 99.7% for the esophagus. And 89.9% and 93.0% for the stomach and 87.0% and 99.2% for the duodenum (see Table 6).
  • the training of the CNN system of Embodiment 2 includes a total of 13 images including 3,532 image data from the upper stomach, 6,379 image data from the middle stomach, and 3,137 image data from the lower stomach. 048 gastric image data was used.
  • the CNN system of Embodiment 2 has an AUC value of 0.99 (95% CI: 0.99 to 0.99, p ⁇ 0.0001) for the upper stomach, the middle stomach, and the lower stomach. And accurately classified the anatomical positions of these stomach images.
  • the sensitivity and specificity of CNN in classifying the anatomical position of each site are 96.9% and 98.5% for the upper stomach, 95.9% and 98.0% for the middle stomach, and 96 for the lower stomach. 0.0% and 98.8% (see Table 7). That is, the CNN system of Embodiment 2 correctly classified the GIE image data into three anatomical positions of the stomach (upper stomach, middle stomach, and lower stomach).
  • FIGS. 10A shows an image of the duodenum misclassified as the lower stomach
  • FIG. 10B is an image of the lower stomach correctly classified.
  • the duodenum sometimes resembles the lower stomach when viewed from the side. This is thought to be the cause of misclassification.
  • FIG. 11A shows an image of the esophagus misclassified as the lower stomach
  • FIG. 11B shows an image of the lower stomach correctly classified as the lower stomach
  • FIG. 12A shows an image of the duodenum misclassified as the middle stomach
  • FIG. 12B shows an image of the upper stomach correctly classified
  • FIG. 13A shows an image of the pharynx misclassified as esophagus
  • FIG. 13B shows an image of the esophagus correctly classified.
  • FIGS. 11A and 12A show the overall structure due to insufficient air blowing into the lumen and / or the proximity of the endoscopic scope to the lumen wall. It could not be used for recognition.
  • FIG. 13A shows an image of the larynx, which is clearly different with the naked eye and is misclassified as an esophagus.
  • Embodiment 2 shows highly accurate classification results with a high AUC of 0.99 to 1.00, demonstrating the potential of CNN in classifying GIE images by anatomical location. ing. This ability to recognize anatomical classifications is important to clarify whether the CNN system can be used to diagnose gastrointestinal diseases, especially by automatically detecting lesions or abnormal findings on images acquired from patients. It is a step.
  • the CNN system of the present invention reduces the burden on the patient and is beneficial to the patient.
  • the results of the present invention show a promising possibility that the CNN system of the present invention will establish a new GIE support system.
  • automatic GIE image classification itself is beneficial in a clinical setting because GIE images that are automatically collected and stored electronically are frequently reviewed by a second observer in order not to miss the disease. The anatomically classified images can be more easily interpreted by the second observer, and the burden on the images can be reduced.
  • Embodiment 3 the diagnosis support method, diagnosis support system, diagnosis support program, and computer-readable recording medium storing the diagnosis support program according to the present invention are applied to the case of ulcerative colitis.
  • An example will be described.
  • a clinical review of patients undergoing colonoscopy was reviewed retrospectively at the clinic to which one of the inventors belonged.
  • Overall, 958 patient symptoms, endoscopic findings, and pathological findings are also included. All patients underwent total colonoscopy and the resulting colonoscopy images were reviewed by three gastroenterologists.
  • Embodiment 3 only a normal white light image having a normal magnification is included, and an emphasized image such as a narrow band image is excluded. Obscure images with stool, blurring, halation or aeration are also excluded, and other sharp images are located in the colon and rectum, ie the right colon (cecum, ascending and transverse colon), left colon (descending and sigmoid colon) ) And rectum, and according to the respective endoscopic disease activity, was classified according to three categories of Mayo endoscope scores (Mayo0, Mayo1 and Mayo2-3).
  • FIG. 14 shows colonoscopy images classified into typical rectal Mayo0 to Mayo3. 14A shows an example of Mayo0, FIG. 14B shows an example of Mayo1, FIG. 14C shows an example of Mayo2, and FIG. 14D shows an example of Mayo3.
  • the training image data obtained in the third embodiment is resized to 244 ⁇ 244 pixels in order to be compatible with GoogLeNet.
  • the CNN system used in the third embodiment was trained using the same image as that of the first embodiment except that the learning rate was changed to 0.0002 using these training image data.
  • a trained CNN-based diagnostic system creates a probability value (PS) for each image in the range of 0 to 1, and each image indicates the probability belonging to each Mayo endoscope score.
  • the category with the highest probability value was taken as the final classification of CNN.
  • FIG. 15 A simple overview of the CNN-based diagnostic system of the third embodiment is shown in FIG. 15, and a representative image of the CNN of the third embodiment and an example of the obtained three-segment Mayo endoscope score are shown in FIG. 16A shows an example classified as Mayo 0 of the transverse colon, FIG. 16B shows an example classified as Mayo 1 of the rectum, and FIG. 16C shows an example classified as Mayo 2 to Mayo 3 of the rectum.
  • the performance of CNN was verified by evaluating whether CNN can classify each image into two categories, namely, Mayo 0 to 1 and Mayo 2-3. This is because Mayo0 and Mayo1 are in remission (symptoms can be controlled), and Mayo2 and Mayo3 are inflamed. Then, plot the receptor operating characteristic (ROC) curve for Mayo endoscopy score and the area under the ROC curve (AUC) with 95% confidence interval (CI) is GraphPad Prism 7 (GraphPad software, Inc , (US). In addition, AUC was evaluated at each site of the colon and rectum (right colon, left colon, and rectum).
  • ROC receptor operating characteristic
  • Table 9 shows the relationship between the true Mayo endoscope score and the two categories of Mayo 0-1 and Mayo 2-3 by CNN.
  • FIG. 17A shows an example of each probability score in the Mayo endoscope score of two sections of Mayo0-1 and Mayo2-3 in shades of color.
  • FIG. 17B shows Mayo0-1, Mayo2-3 and The ROC curve in the Mayo endoscope score of 2 divisions is shown.
  • the ROC curve shown in FIG. 17B has a high AUC of 0.95 (95% CI: 0.94-0.95) for the two-segment classification of Mayo 0-1 and Mayo 2-3, and CNN Indicates high performance.
  • Table 10 shows the degree of coincidence between the ROC curve AUC, the true Mayo classification, and the CNN results at each location.
  • the endoscopic disease activity of the ulcerative colitis image can be identified, and the images in remission (MayO, Mayo1) and severe inflammation ( Mayo2, Mayo3) It has been confirmed that it has a promising ability to distinguish images.
  • CNN showed very good performance in recognizing that the mucosa was in a healing state (MayO0, Mayo1) and was better in the rectum than in the right and left colons .
  • One reason for this is that most of the images used were from ulcerative colitis patients being treated. This treatment changes the severity of the inflammation, leading to inflammation as “spots” or “non-continuous lesions” and makes it difficult to properly classify the Mayo endoscope score. This may result in a lower performance when classified by CNN in the rectum, since the rectum has several treatment options and patchy or discontinuous lesions often occur.
  • the classification by CNN is defined as the one having the highest probability value of Mayo endoscope score. Therefore, even an image with the Mayo1 probability value of 0.344 (the lowest value) was classified into the same Mayo1 as the image with the Mayo1 probability value of 1.00. This is one of the reasons why the match between the true Mayo endoscope score and the CNN classification is relatively low compared to the AUC value. Therefore, it is possible to improve the performance of the CNN by setting an optimal cutoff value as the probability value in order to define the classification by the CNN.
  • Embodiment 3 There are some limitations in the measurement of Embodiment 3. First, this is a retrospective study and requires a prospective study to assess the performance of CNN in real clinical situations. Second, since all colonoscopy images were collected at clinics without hospitalized facilities, Mayo 2-3 images were relatively few for both training and verification data. Therefore, it is considered that CNN performance is further improved by training CNN with more Mayo2-3 images.
  • the diagnosis support method, diagnosis support system, diagnosis support program, and computer-readable recording medium storing the diagnosis support program according to the present invention for endoscopic images are used as an endoscopic endoscope (Endocytoscopy).
  • Endocytoscopy An example applied to an esophageal disease using the ECS system will be described.
  • the ECS system used here is a novel magnified endoscopy that allows surface epithelial cells to be observed in vivo in real time using vital staining such as methylene blue.
  • the inventors conducted the first clinical trial using ECS in 2003 and reported the characteristics of normal squamous epithelium and surface epithelial cells of esophageal cancer (see Non-Patent Document 4).
  • the magnification of the fourth generation ECS currently on the market is optically 500 times, and the magnification can be increased up to 900 times using a digital enlargement function built in the video processor.
  • ECSs Olympus Medical Systems
  • GIF-Y0002 optical magnification: 400 times (digital magnification 700 times)
  • GIF-Y0074 optical magnification: 500 times (digital magnification 900 times)
  • standard endoscopic video systems EVIS LUCERA CV-260 / CLV-260, EVIS LUCERA ELITE CV-290 / CLV-290SL: Olympus Medical Systems
  • an endoscopic image (a to e in FIG. 18) having the maximum optical magnification (low magnification image) of ECS, and an endoscopic image (high magnification image, FIG. 18) having a digital magnification of 1.8 times. 18 and f to j)).
  • 4715 images from 240 cases performed between November 2011 and December 2016 are training data for developing algorithms for analyzing ECS images Adopted as a set.
  • the training data set consists of 126 cases of esophageal cancer (58 cases of superficial cancer, 68 cases of advanced cancer), 106 cases of esophagitis (52 cases of radiation-related esophagitis, 45 cases of gastroesophageal reflux disease, Candida esophagitis, eosinophilic. There were 2 cases of esophagitis, 3 cases of esophagitis), and 8 cases of normal squamous epitheliosis. All lesions were diagnosed histologically using biopsy tissue or excised specimens.
  • the training data sets are “malignant images (number of images: 1141 (low magnification image: 231; high magnification image: 910))” and “non-malignant images (number of images: 3574 (low magnification image: 1150, high magnification). Images: 2424)) ”.
  • the CNN is trained together using the low-magnification image and the high-magnification image.
  • test data set for evaluating the diagnostic ability of the constructed CNN 55 cases in which the surface cell morphology of the esophagus could be satisfactorily observed by ECS were used.
  • 1520 images (low magnification image: 467, high magnification image: 1053) consisting of 27 malignant lesions and 28 non-malignant lesions were used. All cases of malignant lesions were esophageal squamous cell carcinoma. Of these, 20 were superficial cancers and 7 were advanced cancers.
  • Non-malignant lesions were 27 cases of esophagitis (14 cases of radiation-related esophagitis, 9 cases of gastroesophageal reflux disease (GERD), 4 cases of esophagitis) and 1 case of esophageal papilloma.
  • the training image data of the third embodiment obtained in this way is resized to 244 ⁇ 244 pixels in order to have compatibility with GoogLeNet.
  • the CNN system used in the fourth embodiment was trained using the same training image data as that of the first embodiment.
  • Type 1 Surface epithelial cells have a low nucleus / cytoplasm ratio and a low cell density. Nuclear variants are not recognized.
  • Type 2 Nuclear density is high, but there is no obvious nuclear variant. The intercellular boundary is not clear.
  • Type 3 A clear increase in nuclear density and nuclear atypia are observed. Nuclear swelling is also observed (see FIG. 19c).
  • Table 11 shows the clinical diagnosis and pathological diagnosis results of the test data cases.
  • the cut-off value of the probability of malignant tumor was set to 90% from the ROC curve.
  • the sensitivity, specificity, PPV, and NPV in the case of all images were 39.4, 98.2, 92.9, and 73.2, respectively.
  • the sensitivity, specificity, PPV, and NPV in the case of the high-magnification image are 46.4, 98.4, 95.2, and 72, respectively.
  • the sensitivity, specificity, PPV, and NPV for the low-magnification image were 17.4, 98.2, 79.3, and 74.4, respectively.
  • CNN evaluated 25 cases (sensitivity 92.6%) as malignant (more than 90% of malignant tumor probability). Accurately diagnosed). The median (range) of the proportion of CNN recognized as malignant in the photograph showing cancer cells was 40.9 (0-88.9)%. CNN accurately diagnosed 25 of the 28 non-malignant lesions as non-malignant (specificity 89.3%). PPV, NPV, and overall accuracy were 89.3%, 92.6%, and 90.9%, respectively.
  • the overall accuracy of sensitivity, specificity, PPV, NPV, and endoscopic diagnosis is 100%, 89.3%, 90.0%, 100%, 94, respectively. .5%.
  • FIG. 21A is a normal endoscopic image
  • FIG. 21B is an ECS image
  • FIG. 21C is a pathological examination image.
  • Embodiment 4 The most promising goal of ECS diagnosis for the esophagus is to omit biopsy tissue diagnosis of esophageal squamous cell carcinoma.
  • a high AUC was confirmed particularly in the ROC curve of the high-magnification image.
  • one pathologist was tested to see if malignant ECS images could be distinguished from ECS images alone.
  • Pathologists have diagnosed about 2/3 of esophagitis as malignant when using only low magnification images. In these cases, the nuclear density increased, but the nuclear variant could not be recognized due to the low magnification. Thereafter, the test was performed again with a digital 1.8 ⁇ (high magnification) image in order to recognize the nuclear variant.
  • the sensitivity and specificity of the pathologist at that time improved dramatically to over 90%.
  • Embodiment 4 all non-malignant low-magnification images diagnosed as malignant were obtained from esophageal inflammation cases. These images showed high nuclear density, but because of the low magnification, nuclear abnormalities could not be evaluated. Therefore, it is recommended to refer to a high magnification image instead of a low magnification image.
  • most non-malignant high-magnification images misdiagnosed as malignant are obtained from observation of vitiligo portions.
  • a feature of the ECS image of the vitiligo portion is the concentration of inflammatory cells.
  • These images are presumed to be recognized as low-magnification images of squamous cell carcinoma (see FIG. 18). Therefore, in the future, it is desirable to separately establish two different CNNs, a high magnification image and a low magnification image.
  • misdiagnosis false positive
  • ECS endoscopist using ECS
  • the cutoff value is set with a relatively low probability.
  • the cut-off value of the probability of malignant tumor was set to 90%. This is to minimize the false positives described above.
  • Type 1 and Type 3 correspond to non-neoplastic epithelium and squamous cell carcinoma of the esophagus, respectively. In these cases, tissue biopsy can be omitted. However, since Type 2 involves a variety of histological situations, a tissue biopsy should be performed to determine a treatment strategy. In the result of Embodiment 4, the diagnosis result of the ECS image by CNN exceeded 90% close to the result of the endoscopist.
  • tissue biopsy can be omitted with the assistance of CNN.
  • two malignant cases that were not diagnosed as malignant by CNN were accurately diagnosed as Type 3 by an endoscopist. Since normal lesions clearly show that the lesion is a malignant tumor, these cases can only be ECS images, and tissue biopsy can be omitted without the assistance of CNN.
  • Embodiment 4 the specificity of Embodiment 4 was 89.3%, and three non-malignant lesions were diagnosed as malignant by CNN. One was grade C gastroesophageal reflux disease and the other two were radiation esophagitis. The pathological diagnosis of these lesions was regenerative epithelium, granulation tissue and esophageal ulcer. Regenerated epithelium is difficult to distinguish from esophageal squamous cell carcinoma, even for experienced pathologists.
  • One example of radiation esophagitis was diagnosed as Type 3 by an endoscopist and diagnosed as malignant by the CNN of Embodiment 4. It may be difficult to diagnose recurrence or residual esophageal cancer even after a tissue biopsy after irradiation. In addition to ECS observation, tissue biopsy should be performed in the case of follow-up after irradiation of esophageal cancer.
  • the CNN of Embodiment 4 can strongly support the endoscopist omitting the tissue biopsy based on the ECS image.
  • the CNN of Embodiment 4 can strongly support the endoscopist omitting the tissue biopsy based on the ECS image.
  • a high-magnification image combined with digital zoom should be referred to.
  • a disease diagnosis support method using endoscopic images of digestive organs using the neural network of the fifth embodiment will be described with reference to FIG.
  • the disease diagnosis support method using the endoscopic image of the digestive organs using the neural network of the first to fourth embodiments can be used.
  • S1 the first endoscopic image of the digestive organ and the positive or negative of the disease of the digestive organ corresponding to the first endoscopic image, the past disease, the level of severity, or the image was taken
  • the neural network is trained using at least one definitive diagnosis result of information corresponding to the region.
  • the neural network trained in S1 is based on the second endoscopic image of the digestive tract, the probability of positive and / or negative disease of the digestive tract, the probability of past disease, the severity of the disease. Or at least one of the information corresponding to the imaged part is output.
  • the contrast of the first endoscopic image may be adjusted.
  • the first endoscopic image may be associated with the site where each is captured.
  • the site may include at least one of the pharynx, esophagus, stomach, or duodenum, and the site may be divided into a plurality of locations in at least one of a plurality of digestive organs.
  • the section can include at least one of the upper stomach, the middle stomach, or the lower stomach, and the section can include the cardia, the fundus, the stomach, the stomach corner , Or at least one of a vestibule, a pyloric cave, or a pyloric part.
  • the first endoscopic image in the imaged part is smaller than in other parts, the first endoscopic image is rotated, enlarged, reduced, the number of pixels is changed, and the light and dark part is extracted.
  • the number of the first endoscopic images in all the regions can be made substantially equal by using at least one of the extraction of the color tone changing regions.
  • the trained neural network may be capable of outputting information corresponding to the part where the second endoscopic image is captured, and outputting the probability or severity together with information corresponding to the part. May be.
  • the disease may include at least one of the presence or absence of Helicobacter pylori infection or Helicobacter pylori eradication.
  • the disease includes at least ulcerative colitis, and the trained neural network is in a plurality of stages according to the severity of the ulcerative colitis. You may make it output by dividing.
  • the disease includes at least one of esophageal cancer, gastroesophageal reflux disease, or esophagitis
  • the trained neural network includes esophageal cancer
  • At least one of gastroesophageal reflux disease or esophagitis may be classified and output.
  • the second endoscopic image is an image being captured by the endoscope, an image transmitted via a communication network, an image provided by a remote operation system or a cloud type system, or a computer-readable recording medium. It may be at least one of a recorded image or a moving image.
  • a convolutional neural network can also be used as the neural network.
  • FIG. 24 shows a diagnosis support system for a disease based on an endoscopic image of the digestive tract using the neural network of Embodiment 6, a diagnosis support program based on an endoscopic image of the digestive tract, and a computer-readable recording medium.
  • the disease diagnosis support system using endoscopic images of digestive organs described in the first to fourth embodiments can be used.
  • the disease diagnosis support system using endoscopic images of digestive organs includes an endoscopic image input unit 10, an output unit 30, and a computer 20 incorporating a neural network.
  • the computer 20 includes a first storage area 21 for storing a first endoscopic image of the digestive organs, and positive or negative digestive organ diseases, past diseases, severe diseases corresponding to the first endoscopic image.
  • the neural network program stored in the third storage area 23 includes a first endoscopic image stored in the first storage area 21 and a definitive diagnosis result stored in the second storage area 22. Based on the second endoscopic image of the digestive organ input from the endoscopic image input unit 10 and / or positive GI disease for the second endoscopic image and / or At least one of negative probability, past disease probability, disease severity level, or information corresponding to the imaged site is output to the output unit 30.
  • the contrast of the first endoscope image may be performed. Further, the first endoscopic image may be associated with a site where each is imaged.
  • the site may include at least one of the pharynx, esophagus, stomach, or duodenum, and the site may be divided into a plurality of locations in at least one of a plurality of digestive organs.
  • the section can include at least one of the upper stomach, the middle stomach, or the lower stomach, and the section can include the cardia, the fundus, the stomach, the stomach corner , Or at least one of a vestibule, a pyloric cave, or a pyloric part.
  • the first endoscopic image in the imaged part is smaller than in other parts, the first endoscopic image is rotated, enlarged, reduced, the number of pixels is changed, and the light and dark part is extracted.
  • the number of the first endoscopic images in all the regions can be made substantially equal by using at least one of the extraction of the color tone changing regions.
  • the trained neural network program may be capable of outputting information corresponding to the part where the second endoscopic image is captured, and may output the probability or severity together with information corresponding to the part. It may be.
  • the disease may include at least one of the presence or absence of Helicobacter pylori infection or Helicobacter pylori eradication.
  • the disease includes at least ulcerative colitis, and the trained neural network is in a plurality of stages according to the severity of the ulcerative colitis. You may make it output by dividing.
  • the disease includes at least one of esophageal cancer, gastroesophageal reflux disease, or esophagitis
  • the trained neural network includes esophageal cancer
  • At least one of gastroesophageal reflux disease or esophagitis may be classified and output.
  • the second endoscopic image is an image being captured by the endoscope, an image transmitted via a communication network, an image provided by a remote operation system or a cloud type system, or a computer-readable recording medium. It may be at least one of a recorded image or a moving image.
  • a convolutional neural network can also be used as the neural network.
  • the diagnosis support system for diseases based on endoscopic images of digestive organs includes a diagnostic support program based on endoscopic images of digestive organs for operating a computer as each means.
  • the diagnosis support program based on the endoscopic image of the digestive organs can be stored in a computer-readable recording medium.
  • Embodiment 7 A method for discriminating a digestive organ site using an endoscopic image of the digestive organ using the neural network of the seventh embodiment will be described with reference to FIG.
  • the seventh embodiment it is possible to use the digestive organ region discrimination method based on the endoscopic image of the digestive organ using the neural network described in the first to fourth embodiments.
  • the neural network is trained using the first endoscopic image of the digestive organs and the confirmed information of the information corresponding to the imaged part corresponding to the first endoscopic image.
  • the trained neural network outputs information corresponding to the imaged part of the digestive organ based on the second endoscopic image of the digestive organ.
  • Embodiment 8 A system for discriminating digestive organs from endoscopic images of digestive organs using a neural network according to the eighth embodiment, a program for discriminating digestive organs from endoscopic images of digestive organs, and a computer-readable recording medium This will be described with reference to FIG.
  • the digestive organ region discrimination system based on the endoscopic image of the digestive organ using the neural network described in the first to fourth embodiments can be used.
  • the system for discriminating a digestive organ site based on an endoscopic image of a digestive organ according to the eighth embodiment includes an endoscope image input unit 40, an output unit 60, and a computer 50 incorporating a neural network.
  • the computer 50 includes a first storage area 51 for storing a first endoscopic image of the digestive organ, and information confirmation information corresponding to the imaged portion of the digestive organ corresponding to the first endoscopic image. Is stored in the second storage area 52, and a third storage area 53 is stored in the neural network program.
  • the neural network program stored in the third storage area 53 includes the first endoscopic image stored in the first storage area 51 and the confirmation information stored in the second storage area 52.
  • the digestive organ part discriminating system based on the endoscopic image of the digestive organ includes a program for discriminating the digestive organ part based on the endoscopic image of the digestive organ, which is to be operated as each means.
  • a digestive organ region discrimination program based on an endoscopic image of a digestive organ can be stored in a computer-readable recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

ニューラルネットワークを利用した消化器官の内視鏡画像による疾患の診断支援方法等を提供する。ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてニューラルネットワークを訓練し、前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力することを特徴とする。

Description

消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
　本発明は、ニューラルネットワーク（neural network）を用いた消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プロラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。
　消化器官、例えば、喉頭、咽頭、食道、胃、十二指腸、胆道、膵菅、小腸、大腸などに対し、内視鏡検査が多く行われているところ、上部消化器官の内視鏡検査は胃癌、食道癌、消化性潰瘍、逆流性胃炎などのスクリーニングのために、また、大腸の内視鏡検査は大腸癌、大腸ポリープ、潰瘍性大腸炎等のスクリーニングのために、しばしば行われている。特に上部消化器官の内視鏡検査は、様々な上腹部症状の詳細な検査、胃の病気に対するバリウム検査の陽性結果を受けての精密検査、及び、日本の定期健康診断に一般的に組み込まれている異常な血清ペプシノゲンレベルに対する精密検査にも有用である。また、近年では、胃癌検診は従来のバリウム検査から胃内視鏡検査への移行が進んでいる。
　胃癌は、最も一般的な悪性腫瘍の１つであり、数年前には世界中で約１００万件も発症したものと推定されている。胃癌発症の根本原因のうち、ヘリコバクター・ピロリ（Helicobacter pylori、以下、「Ｈ．ピロリ」ということがある。）感染は、萎縮性胃炎、腸上皮化生を誘導し、最終的には胃癌発症につながる。世界中で非噴門胃癌のうちの９８％はＨ．ピロリが寄与していると考えられている。Ｈ．ピロリに感染した患者の胃癌の危険性が高まり、Ｈ．ピロリ除菌後の胃癌の発生率が低下したことを考慮し、国際癌研究機関（International Agency for Research on Cancer）は、Ｈ．ピロリを明確な発癌物質と分類している。この結果から、胃癌発症のリスクを低減させるためにはＨ．ピロリの除菌が有用で、抗菌薬による除菌はわが国の保険診療にもなっており、今後とも保健衛生上強く奨励される治療法である。
　Ｈ．ピロリ感染の存在についての鑑別診断には、胃内視鏡検査は極めて有用な情報を提供する。毛細血管がきれいに見える場合（ＲＡＣ（regular arrangement of collecting venules））や胃底腺ポリープはＨ．ピロリ陰性の胃粘膜に特徴的であるが、萎縮、発赤、粘膜腫脹、皺壁肥大は、Ｈ．ピロリ感染胃炎の代表的な所見である。Ｈ．ピロリ感染の正確な内視鏡診断は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定、尿素呼気試験、又は迅速ウレアーゼ試験などの様々な検査によって確認され、検査結果が陽性の患者はＨ．ピロリ除菌に進むことができる。内視鏡検査は広く胃病変の検査に使われるが、臨床検体分析によらずに胃病変の確認時にＨ．ピロリ感染までも特定できるようになれば、画一的に血液検査や尿検査等を行うことのなく、患者の負担は大きく減り、また医療経済上の貢献も期待できる。
　また、特に先進工業国では潰瘍性大腸炎（ＵＣ）の罹患率が着実に増加しており、欧米の食生活や環境が潰瘍性大腸炎の原因の１つであることが示唆されている。潰瘍性大腸炎の治療のためには、メサラジン、コルチコステロイド、及び抗腫瘍壊死因子モノクローナル抗体を含むいくつかの選択肢があり、患者の臨床症状及び疾患活動指数に従ってこれらの薬物を使用し、疾患活性を寛解状態に保つことが重要である。
　臨床症状のスコア以外にも、潰瘍性大腸炎患者の大腸内視鏡検査を用いてその程度及び重症度を主に評価し、以前の研究では内視鏡疾患活動の測定との組み合わせが報告されている。その中でも、Ｍａｙｏ内視鏡スコアは、潰瘍性大腸炎患者の疾患活動性を評価するための臨床実践において最も信頼性が高く、広く使用されている指標の１つである。具体的には、Ｍａｙｏ内視鏡スコアは、０：正常又は被活動性、１：軽症（発赤、血管透未像不明瞭、軽度の易出血性）、２：中等症（著明発赤、血管透見像消失、易出血性、びらん）、３：重傷（自然出血、潰瘍）の４つに分類される。
　Ｍａｙｏ内視鏡スコア＜１と定義され、「粘膜治癒」と呼ばれる内視鏡的寛解状態は、コルチコステロイド使用率、入院率、臨床再発率及び結腸切除率の低下と相関することが示されている。しかし、これまでの報告では、非専門家では０．４５～０．５３の範囲のκ－係数で、疾患活動性の評価にかなりの観察者間の差があり、適度の訓練を受けた専門家でさえも０．７１～０．７４の範囲の一致度となっている。なお、κ－係数は、観察者間の診断の一致度を評価するパラメータであり、０～１の値をとり、値が大きいほど一致度が高いと判断される。
　このような消化器官の内視鏡検査においては、多くの内視鏡画像が収集されるが、精度管理のために内視鏡専門医による内視鏡画像のダブルチェックが義務付けられている。年に数万件もの内視鏡検診に伴い、二次読影において内視鏡専門医が読影する画像枚数は１人あたり１時間で約２８００枚と膨大なものとなっており、現場の大きな負担となっている。
　しかも、これらの内視鏡画像に基づく診断は、内視鏡専門医に対する訓練や、保存画像をチェックするのに多くの時間を要するばかりか、主観的であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、内視鏡専門医による診断は、疲労により精度が悪化することがある。このような現場の多大な負担や精度の低下は、受診者数の制限にもつながる可能性があり、ひいては需要に応じた医療サービスが十分に提供されない懸念も想定される。
　上記の内視鏡検査の労務負荷と精度低下の改善のためには、ＡＩ（人工知能：artificial intelligence）の活用が期待されている。近年の画像認識能力が人間を上回ったＡＩを内視鏡専門医のアシストとして使用できれば、二次読影作業の精度とスピードを向上させるものと期待されている。近年、ディープラーニング（深層学習）を用いたＡＩが様々な医療分野で注目されており、放射線腫瘍学、皮膚癌分類、糖尿病性網膜症などの医学画像を専門医に替わってスクリーニングできるとの報告がある。
　特に、顕微内視鏡レベルのスクリーニングにおいては、ＡＩが専門医と同等の精度を出せることが証明されている(非特許文献１)。また、皮膚科では、ディープラーニング機能を持ったＡＩが専門医と同等の画像診断能力を発揮することが発表されており(非特許文献２)、各種機械学習法を利用した特許文献（特許文献１、２参照）も存在する。しかし、ＡＩの内視鏡画像診断能力が実際の医療現場において役立つ精度（正確性）と性能（スピード）を満たせるかどうかについては、検証されておらず、機械学習法を利用した内視鏡画像に基づく診断は、未だに実用化されていない。
　ディープラーニングは、複数に重ねて構成されたニューラルネットワークを用いて、入力データから高次の特徴量を学習できる。また、ディープラーニングは、バックプロパゲーション・アルゴリズムを使用して、各層の表現を前の層の表現から計算するために使用される内部パラメータを、装置がどのように変更すべきかを示すことによって更新することができる。
　医用画像の関連付けに際しては、ディープラーニングは、過去に蓄積された医用画像を用いて訓練することができ、医学的画像から患者の臨床的特徴を直接得ることができる強力な機械学習技術になり得る。ニューラルネットワークは脳の神経回路の特性を計算機上のシミュレーションによって表現した数理モデルであるところ、ディープラーニングを支えるアルゴリズムのアプローチがニューラルネットワークである。
特開２０１７－０４５３４１号公報 特開２０１７－０６７４８９号公報 特開２０１３－１１３６８９号公報
http://www.giejournal.org/article/S0016-5107(14)02171-3/fulltext, "Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy" Yuichi Mori et. al. Presented at Digestive Disease Week 2014, May 3-6, 2014, Chicago, Illinois, USA 「Nature」2017年2月号、巻頭論文、「皮膚の病変を学習する：人工知能が画像から皮膚がんを検出する能力を強化する」（http://www.natureasia.com/ja-jp/nature/highlights/82762） http://gentaikyo.or.jp/about/pdf/report/131119.pdf Kumagai Y, Monma K, Kawada K. "Magnifying chromoendoscopy of the esophagus: in-vivo pathological diagnosis using an endocytoscopy system.", Endoscopy ,2004, vol.36, p590-4. Esteva A, Kuprel B, Novoa RA, et al. "Dermatologist-level classification of skin cancer with deep neural networks", Nature, 2017, vol. 542, p115-8
　消化管内視鏡検査における内視鏡画像の判定作業において、高い精度を維持したうえの効率化が大きな課題になっている。また、この分野の画像解析にＡＩを活用しようとしたときには、そのＡＩ技術の向上が大きな課題となっている。さらに、発明者らが知る限り、Ｈ．ピロリ感染胃炎、潰瘍性大腸炎ないし食道疾患、特に超拡大内視鏡（Endocytoscopy：ＥＣＳ）画像を用いた食道疾患を診断するためのニューラルネットワークの能力に関する報告や、ニューラルネットワークによるディープラーニング介してこれらの消化管内視鏡画像の解析に基づくＨ．ピロリ感染胃炎検査、潰瘍性大腸炎の検査ないし食道疾患の検査に最適化されて医療現場に実装化されて利用されている例はなく、今後の解決すべき課題となっている。
　また、上部内視鏡検査においては、胃だけでなく、喉頭、咽頭、食道、十二指腸等の複数の臓器の画像が混在しているが、特に胃癌内視鏡検診においては収集された画像をＡＩにより臓器別ないし部位別に仕分けることができれば、内視鏡専門医による所見記入や二次読影の負担軽減につながると考えられる。
　本発明は、消化器官の内視鏡画像を用い、ニューラルネットワークを用いることによって、疾患、例えばＨ．ピロリ感染胃炎、潰瘍性大腸炎ないし食道疾患等の診断を正確に行うことができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
　本発明の第１の態様の消化器官の内視鏡画像による疾患の診断支援方法は、
　ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
　消化器官の第１の内視鏡画像と、
　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
を用いてニューラルネットワークを訓練し、
　前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力することを特徴とする。
　かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ニューラルネットワークが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
　また、本発明の第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法システムにおいて、前記第１の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする。
　第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、全ての第１の内視鏡画像のコントラストが実質的に同一の階調となるように調整されているため、疾患の陽性及び陰性のそれぞれの確率ないし重症度のレベルの検出精度が向上する。
　また、本発明の第３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１又は第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。
　訓練されていないニューラルネットワークでは、具体的な消化器官の内視鏡画像が如何なる部位の画像であるかを識別するのが困難な場合がある。第３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、それぞれの部位によって分類された内視鏡画像を用いて訓練されたニューラルネットワークとなっているので、ニューラルネットワークに対し、それぞれの部位に応じたきめ細かい訓練が可能であるため、第２内視鏡画像に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。
　また、本発明の第４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする。
　第４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、咽頭、食道、胃及び十二指腸の部位毎の分類が正確にできるので、それぞれの部位に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。
　また、本発明の第５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３又は第４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。
　消化器官はそれぞれ複雑な形状をしているため、部位の分類数が少ないと具体的な内視鏡画像が当該消化器官の如何なる部位の画像であるかを認識するのが困難な場合がある。
第５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、複数の消化器官のそれぞれにおいて複数箇所に区分されているので、短時間に高精度の診断結果を得ることができるようになる。
　また、本発明の第６の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする。また、本発明の第７の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする。
　本発明の第６又は第７の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、胃の各区分ないし部位毎の分類が正確にできるので、それぞれの区分ないし部位に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。なお、胃の区分ないし部位の選択は、必要に応じて適宜に選択すればよい。
　また、本発明の第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３～第７のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにされていることを特徴とする。
　複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第1の内視鏡画像の数が部位毎に大きく異なる場合がある。第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、そのような場合においても、その部位の第1の内視鏡画像を適宜に回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによってニューラルネットワークを訓練するための画像数を増やすことができるので、部位の相違に基づく疾患の陽性及び陰性のそれぞれの確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度のばらつきが減少する。なお、第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法においては、各部位毎の内視鏡画像の数が必ずしも同一となるようにする必要はなく、数のばらつきが少なくなればよい。
　また、本発明の第９の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３～第８のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記訓練されたニューラルネットワークは、前記第２の内視鏡画像が撮像された部位に対応する情報が出力可能とされていることを特徴とする。
　通常、一人の被検者に対して多くの消化器官の内視鏡画像ないし連続撮影画像が得られる。第９の態様の係る態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、第２の内視鏡画像毎に疾患の陽性及び陰性のそれぞれの確率と部位名とが出力されるので、疾患の陽性部位や分布を理解しやすくなる。
　また、本発明の第１０の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第９の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記訓練されたニューラルネットワークは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする。
　第１０の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、疾患の陽性の確率ないし重症度の高い順に当該確率ないし重症度及び部位名が出力されるので、精密に検査しなければならない部位が理解しやすくなる。
　また、本発明の第１１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１～第１０のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする。
　第１１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、日本消化器内視鏡学会専門医と同等の精度で被験者のヘリコバクター・ピロリ感染の陽性又は陰性のそれぞれの確率ないしヘリコバクター・ピロリ除菌の有無を予測することができ、別途確定診断を行わなければならない被験者を短時間で正確に選別することができるようになる。なお、確定診断は、選別された被験者に対して血液又は尿の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原検査、又は尿素呼気検査を行うことにより行うことができる。
　また、本発明の第１２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１～第１０のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする。
　第１２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、日本消化器内視鏡学会専門医と同等の精度で被験者の潰瘍性大腸炎の重症度を予測することができるので、別途さらなる精密検査を行わなければならない被験者を短時間で正確に選別することができるようになる。
　また、本発明の第１３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、１～第１０のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする。
　第１３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、超拡大内視鏡による食道内視鏡画像に基づいて非癌性の病変を癌性であるとする過剰診断を最小限に押さえることができるので、組織生検を行う必要がある被験者の数を減らすことができるようになる。
　また、本発明の第１４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１～第１３のいずれか態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。
　第１４の態様の消化器官の内視鏡画像による疾患の診断支援方法によれば、入力された第２の内視鏡画像に対する消化器官の疾患陽性及び陰性のそれぞれの確率ないし重症度を短時間で出力することができるので、第２の内視鏡画像の入力形式によらず、例えば遠隔地から送信された画像であっても、動画であっても利用可能となる。
　なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。これらによって、いわゆるクラウドサービスや遠隔支援サービスの形態として利用可能である。
　また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク－ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク－Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。これらによって、いわゆる医療機関や検診機関に簡便にシステムを移植又は設置できる形態を提供することができる。
　また、本発明の第１５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１～第１４のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記ニューラルネットワークとして畳み込みニューラルネットワーク用いることを特徴とする。
　ニューラルネットワークとしての畳み込みニューラルネットワークは、脳の視覚野の特性をシミュレーションした数理モデルであり、画像に対する学習能力が非常に優れている。そのため、第１５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、より高感度で、より高特異度となるので、有用性が非常に大きくなる。
　さらに、本発明の第１６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、を備え、前記ニューラルネットワークプログラムは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを前記出力部に出力することを特徴とする。
　また、本発明の第１７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練／検証データは、コントラストの調整が行なわれていることを特徴とする。
　また、本発明の第１８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６又は第１７の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。
　また、本発明の第１９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１８の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする。
　また、本発明の第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１８又は第１９の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。
　また、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする。
　また、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする。
　また、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６～第２２のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合には、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における訓練／検証データの数が実質的に等しくなるようにされていることを特徴とする。
　また、本発明の第２４の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６～第２３のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたニューラルネットワークプログラムは、前記第２の内視鏡画像が撮像された部位に対応する情報が出力可能であることを特徴とする。
　また、本発明の第２５の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたニューラルネットワークプログラムは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする。
　また、本発明の第２６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６～第２５のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする。
　また、本発明の第２７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６～第２５のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークプログラムは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする。
　また、本発明の第２８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６～第２５のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする。
　また、本発明の第２９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６～第２８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする
　また、本発明の第３０の態様の内視鏡画像による疾患の診断支援システムは、第１６～第２９のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記ニューラルネットワークが畳み込みニューラルネットワークであることを特徴とする。
　本発明の第１６～第３０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、それぞれ第１～第１５のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法と同様の効果を奏することができる。
　さらに、本発明の第３１の態様の消化器官の内視鏡画像による診断支援プログラムは、第１６～第３０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。
　本発明の第３１の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第１６～第３０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による診断支援プログラムを提供することができる。
　また、本発明の第３２の態様の消化器官の内視鏡画像による診断支援プログラムは、第３１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする。
　本発明の第３２の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第３１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。
　さらに、本発明の第３３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法は、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法であって、消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練し、前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力することを特徴とする。
　本発明の第３３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法によれば、ニューラルネットワークが消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の撮像された部位に対応する情報を得ることができ、診断対象の消化器官の部位を短時間で判別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する撮像された部位に対応する情報を自動判別することができるため、内視鏡専門医によるチェック等が容易になるだけでなく、疾患と関連づけられた画像を解析する作業の省略化も図ることができる。
　また、本発明の第３４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による消化器官の部位の判別システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域と、前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、を備え、前記ニューラルネットワークプログラムは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定情報とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする。
　本発明の第３４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムによれば、第３３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法と同様の効果を奏することができる。
　また、本発明の第３５の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムは、第３４の態様の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。
　本発明の第３５の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムによれば、第３４の態様の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による消化器官の部位の判別プログラムを提供することができる。
　また、本発明の第３６の態様のコンピュータ読み取り可能な記録媒体は、第３５の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したことを特徴とする。
　本発明の第３６の態様のコンピュータ読み取り可能な記録媒体によれば、第３５の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。
　以上述べたように、本発明によれば、ニューラルネットワークを組み込んだプログラムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する情報等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。
図１ＡはＨ．ピロリ感染の陽性の場合の胃内視鏡画像例であり、図１ＢはＨ．ピロリ感染の陰性の場合の胃内視鏡画像例である。 テストデータセットのために患者の選別を示す図である。 GoogLeNetの動作を示す模式概念図である。 １回目の学習結果を表すＲＯＣ曲線及び内視鏡検査医のＨ．ピロリ感染診断結果を示す図である。 ２回目の実施結果を表すＲＯＣ曲線及び内視鏡検査医のＨ．ピロリ感染診断結果を示す図である。 日本国のガイドラインに基づく胃の主要な解剖学的分類及び準解剖学的分類を示す図である。 実施形態２のＣＮＮシステムのフローチャートの概略図である。 図８Ａは実施形態２のＣＮＮシステムによる喉頭の画像のＲＯＣ曲線であり、図８Ｂは同じく食道の画像のＲＯＣ曲線であり、図８Ｃは同じく胃の画像のＲＯＣ曲線であり、図８Ｄは同じく十二指腸の画像のＲＯＣ曲線である。 図９Ａは実施形態２のＣＮＮシステムによる上部胃の画像のＲＯＣ曲線であり、図９Ｂは同じく中部胃の画像のＲＯＣ曲線であり、図９Ｃは同じく下部胃の画像のＲＯＣ曲線である。 図１０Ａは下部胃と誤分類された十二指腸の画像であり、図１０Ｂは正しく分類された下部胃の画像である。 図１１Ａは下部胃と誤分類された食道の画像であり、図１１Ｂは正しく下部胃と分類された下部胃の画像である。 図１２Ａは中部胃と誤分類された十二指腸の画像であり、１２Ｂは正しく分類された上部胃の画像である。 図１３Ａは食道と誤分類された咽頭の画像であり、図１３Ｂは正しく分類された食道の画像である。 典型的なＭａｙｏ０～Ｍａｙｏ３に分類される大腸内視鏡画像である。 実施形態３のＣＮＮベースの診断システムの概要図である。 実施形態３のＣＮＮの代表的な画像と３区分のＭａｙｏ分類の例を示す図である。 実施形態３の２区分のＭａｙｏ分類におけるＲＯＣ曲線である。 実施形態４の低倍率画像（ａ～ｅ）及び高倍率画像（ｆ～ｊ）の例である。 実施形態４でＴｙｐｅ１（図１９ａ）、Ｔｙｐｅ２（図１９ｂ）、Ｔｙｐｅ３（図１９ｃ）に、それぞれ分類された画像の例である。 図２０Ａは実施形態４の全画像のＲＯＣ曲線であり、図２０Ｂは同じくＨＭＰの場合のＲＯＣ曲線であり、図２０Ｃは同じくＬＭＰの場合のＲＯＣ曲線である。 実施形態４のＣＮＮが非悪性であると誤診した例の画像であり、図２１Ａは通常内視鏡画像、図２１Ｂは同じく超拡大内視鏡画像、図２１Ｃは同じく病理組織検査画像である。 内視鏡専門医が悪性であると誤診した例の画像であり、図２２Ａは通常内視鏡画像、図２２Ｂは同じく超拡大内視鏡画像、図２２Ｃは同じく病理組織検査画像である。 実施形態５のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法のブロック図である。 実施形態６のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。 実施形態７のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法のブロック図である。 実施形態８のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム、消化器官の内視鏡画像による消化器官の部位の判別プログラム、及び、コンピュータ読み取り可能な記録媒体についてのブロック図である。
　以下、本発明に係る消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、最初にＨ．ピロリ感染胃炎の場合及び臓器別分類を例にとり、次いで潰瘍性大腸炎及び食道疾患の場合を例にとって詳細に説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例を示すものであって、本発明をこれらの場合に特定することを意図するものではない。すなわち、本発明は、消化器官の内視鏡画像によって特定され得る疾患一般に及ぶものであり、特許請求の範囲に含まれるその他の実施形態のものにも等しく適応し得るものである。また、本発明において、画像という用語には、静止画像だけでなく、動画が含まれ得る。
　最初に、表１に示した四分表を用いて、一般的な検査の精度、感度及び特異度について簡単に説明する。一般に検査値は連続量であるから、カットオフ値（閾値）を決めて、それより高い値の場合を陽性、それよりも低い場合を陰性と判断していく（逆の場合もある）。
Figure JPOXMLDOC01-appb-T000001
　表１に示したように、患者の疾患の有無及び検査結果が陽性であるか陰性であるかに応じてａ～ｄの４つの領域に分類される。なお、患者が疾患有の場合は有病者(有)に分類され、疾患無しの場合は無病者（無）に分類される。ａの領域は、患者が疾患を有しており、検査結果が陽性の場合であり、真陽性の領域である。ｂの領域は、患者が疾患を有していないが、検査結果が陽性の場合であり、偽陽性の領域である。ｃの領域は、患者が疾患を有しているが、検査結果が陰性の場合であり、偽陰性の領域である。同じくｄの領域は、患者が疾患を有しておらず、検査結果が陰性の場合であり、真陰性の場合である。
　一方、感度は、有病者において検査結果が陽性となる確率（有病正診率）であり、ａ／（ａ＋ｃ）で表される。特異度は、無病者において検査結果が陰性となる確率（無病正診率）であり、ｄ／（ｂ＋ｄ）で表される。なお、偽陽性率は、無病者において検査結果が陽性となる確率（無病誤診率）であり、ｂ／（ｂ＋ｄ）で表される。また、偽陰性率は、有病者において検査結果が陰性となる確率（有病誤診率）であり、ｃ／（ａ＋ｃ）で表される。
　さらに、カットオフ値を変更しながらその都度感度と特異度を算出し、縦軸を感度とし、横軸を偽陽性率（＝１－特異度）としてプロットすると、ＲＯＣ曲線（Receiver Operating Characteristic：受信者動作特性曲線）が得られる（図４及び図５参照）。
［実施形態１］
　実施形態１では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合に適用した例を説明する。発明者の一人が属する医院において、延べ３３人の内視鏡検査医が白色光による通常の倍率の内視鏡を用い、食道、胃、十二指腸鏡検査（以下、「ＥＧＤ」という。）を行った。ＥＧＤの適応症は、様々な上腹部症状、胃の病気に対するバリウム検査の陽性結果、異常な血清ペプシノゲンのレベル、胃や十二指腸の既往症又はスクリーニングに関する、プライマリケア医からの紹介であった。全ての内視鏡医は、異常がなくても、喉頭、食道、胃、及び十二指腸の全体像を撮影するよう指示された。胃腸疾患のない患者の典型的な画像数は３４（喉頭１、食道６、胃２５、十二指腸２）であった。
　標準的な内視鏡（ＥＶＩＳ　ＧＩＦ－ＸＰ２９０Ｎ、ＧＩＦ－ＸＰ２６０、ＧＩＦ－ＸＰ２６０ＮＳ、ＧＩＦ－Ｎ２６０等、オリンパスメディカルシステムズ社、東京）で白色光を用いて画像を撮影し、ＥＧＤを行った。得られた画像は通常の倍率の画像で有り、拡大された画像は使用していない。図１に、得られた典型的な胃部内視鏡画像を示す。なお、図１ＡはＨ．ピロリ感染陽性と診断された画像の例であり、図１ＢはＨ．ピロリ感染陰性と診断された画像の例である。
　全ての患者は、Ｈ．ピロリ感染の有無の検出のための検査を受けた。その検査は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定及び尿素呼気試験の少なくとも一つであった。そして、これらの検査のいずれかにおいて陽性反応を示した患者は、Ｈ．ピロリ感染陽性と分類された。Ｈ．ピロリ感染陽性と診断されなかった患者において、Ｈ．ピロリ除菌治療を受けた経験がなかった者はＨ．ピロリ陰性と分類された。また、過去にＨ．ピロリ除菌治療を受け、既に除菌に成功した患者は測定対象から除外された。
［データセットについて］
　２０１４年１月～２０１６年１２月にかけて行われた１７６８例のＥＧＤの画像を遡及的にレビューすることにより、ＡＩベースの診断システムの訓練及び構築に使用するデータ（「訓練／検証用データ」という。）のセットを用意した。胃癌、潰瘍、又は粘膜下腫瘍の存在又は病歴を有する患者のデータは、訓練／検証用データセットから除外した。Ｈ．ピロリ感染陽性又はＨ．ピロリ感染陰性と診断された胃の画像から、胃の食物残渣、生検後の出血、ハレーション又はその他の理由により、内視鏡専門医によって除外された画像もあった。また、評価対象となる内視鏡画像データ（「テストデータ」という。）のセットも用意した。なお、この「訓練／検証用データ」が本発明の「第1の内視鏡画像」に対応し、「テストデータ」が本発明の「第２の内視鏡画像」に対応する。これらの患者の人口統計学的特徴及び画像の特徴を表２に示した。
Figure JPOXMLDOC01-appb-T000002
　表２に示したように、Ｈ．ピロリ陽性と判定された７５３人の患者及び陰性と分類された１，０１５人の患者からの画像を用いて、３２，２０８枚の訓練／検証用データセットを作成した。このデータセットは、全ての画像のＲＧＢの各信号について、同じ比率でコントラスト調整を行っている。ＲＧＢの各色は、それぞれ８ビット、すなわち０～２５５までの範囲の値を取るが、ＲＧＢの全色が２５５，２５５，２５５となる点(白色)が必ず１点は存在するようにコントラスト調整を行った。通常、内視鏡画像の画質は、良好であるので、実際にはコントラスト調整を行わない場合も多かった。また、内視鏡の画面には黒い枠が入っているが、自動でトリミングして拡大・縮小を行い、全ての画像が同一のサイズとなるようにした。
　分類としては、複数の消化器官のそれぞれにおいて複数箇所に区分されていてもよいが、ここでは胃についてのみ位置に応じて複数箇所に分類された画像を得るとともに、その他の部位についてはそのまま区分せずに用いた。さらに、男女別、年齢別等の属性に分けて入力することによって、属性別の診断を行うことも可能である。
　全ての分類について均等な数のデータが得られれば理想的であるが、データ数が少ない分類については、０度から３５９度の間で無作為に回転し、ツールによって適宜拡大又は縮小することによってデータを増やした。その結果として、３２，２０８枚の訓練／検証用のオリジナルの内視鏡画像を得た。
　まず、分類データを含まない全ての画像を組み合わせて用いることにより、第１回目のニューラルネットワークの構築を行った。次に、上述のように複数に分類された画像を用いて第２回目のニューラルネットワークの構築を行った。なお、これらのニューラルネットワークの構築は、繰り返し処理が多いので、並列処理により高速化したコンピュータを用いた。
［テストデータの準備］
　上述した訓練／検証用データセットを用いて構築された実施形態１のニューラルネットワークと内視鏡検査医との診断精度を評価するために、テストデータセットを準備した。発明者の一人が属する医院において、２０１７年１月～２月の内視鏡検査を行った５８７人の患者の画像データのうち、Ｈ．ピロリ除菌後の１６６人の患者の画像データ、Ｈ．ピロリ感染状態が不明の２３人の患者の画像データ及び胃切除後の１人の患者の画像データを除外した（図２参照）。結果として、Ｈ．ピロリ感染陽性ないし陰性と判断された残りの３９７人の患者の画像データをテストデータとして用いた。
　テストデータセットにおいて、７２人（４３％）は糞便抗原検査で診断され、８７人（２１％）は尿中抗Ｈ．ピロリＩｇＧレベルに基いて診断されている。テストデータセットは、合計３９７人の患者からの合計１１，４８１枚の画像を含んでいる。このうち、７２人はＨ．ピロリ感染陽性と診断され、３２５人はＨ．ピロリ感染陰性と診断されている。テストデータセットと訓練／検証用データセットとの間に重複はない。
［訓練・アルゴリズム］
　ＡＩベースの診断システムを構築するため、ディープラーニングニューラルネットワークの開発基盤としてCaffeフレームワークを利用し、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャとして２２層からなるGoogLeNetを使用した。
　本実施形態１で用いたＣＮＮは、図３に示したように、バックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて訓練されている。ＣＮＮの各層は、パラメータ最適化手法の一つであるAdam（https://arxiv.org/abs/1412.6980）を使用して、グローバル学習率0.0001で調整されている。
　全ての画像をGoogLeNetと互換性を持たせるために、各画像を２４４×２４４ピクセルにリサイズした。また、ImageNetを通して自然画像の特徴量を学んだ訓練済みのモデルを訓練開始時の初期値として使用した。ImageNet（http://www.image-net.org/）は、２０１７年当初で１，４００万点以上もの画像が収載されているデータベースである。この訓練手法は転移学習と呼ばれ、教師データが少ない場合でも有効であることが認められている。
［評価アルゴリズム］
　訓練されたニューラルネットワークは、入力された画像に対してのＨ．ピロリ感染陽性又は陰性の診断結果として、０から１の間の確率値（ＰＳ）を出力する。ＲＯＣ曲線は、陽性と陰性を識別するための閾値を変更することによって、この確率値をプロットしたものである。
［ＣＮＮ及び内視鏡検査医との間のテストデータセットのパーフォマンス比較］
　テストデータセットに対し、ＣＮＮとＥＧＤの経験豊富な２３人の内視鏡検査医とは、それぞれ各患者の内視鏡画像に基づき、各患者をＨ．ピロリ感染陽性又は陰性と分類した。また、Ｈ．ピロリ感染診断の正確さと評価に必要な時間を測定し、それらをＣＮＮと内視鏡専門医との間で比較した。
　２３人の内視鏡検査医のうち、６人は、日本消化器内視鏡学会の専門医である。残りの１７人は、ＥＧＤ経験が１０００人以上（ｎ＝９）及び１０００人未満（ｎ＝８）であり、前者を「経験医」及び後者を「研修中医師」に分類した。ＣＮＮの診断精度表示用のＲＯＣ曲線は、Ｒソフトウェア（統計分析フリーソフト）を用いて記述された。ＣＮＮの診断精度表示用のＲＯＣ曲線は、Ｒソフトウェア（統計分析フリーソフト）を用いて記述された。これらの画像に表示された全ての患者の情報は、データ解析に先立って匿名の目的で識別できないようにし、この評価に関与する全ての内視鏡検査医は、識別可能な患者の情報にアクセスできないようにした。この研究は、日本医師会倫理審査委員会の承認を受けて行った（ID JMA-IIA00283）。
［内視鏡検査医の結果］
　Ｈ．ピロリ感染の診断についてのそれぞれの内視鏡検査医の感度、特異度及び評価に必要であった時間を表３に纏めて示した。全内視鏡検査医の感度及び特異度はそれぞれ平均で７９．６％及び８３．２％であり、テストデータセットの全ての画像を評価するのに必要であった時間（評価時間）は２３０±６５分（平均±標準偏差）であった。
Figure JPOXMLDOC01-appb-T000003
　２３人の内視鏡検査医中、専門医（ｎ＝６）の感度及び特異度は、それぞれ８５．２％及び８９．３％であり、研修中医師（ｎ＝８）の７２．２％及び７６．３％と比すると非常に高い感度及び特異度を備えていた。なお、評価時間は、専門医が２５２．５±９２．３分であったのに対し、研修中医師は２０６．６±５４．７分であった。経験医（ｎ＝９）の感度、特異度及び評価時間は、いずれも専門医と研修中医師の中間の値となっていた。
［ＣＮＮのパーフォマンス］
　本実施形態１で構築されたＣＮＮは、１画像あたりのＨ．ピロリ感染確率Ｐを出力し、さらに、患者あたりの標本の標準偏差を計算した。まず、分類データを含まない全ての訓練／検証用データセットを用いて構築された第１回目のＣＮＮの特性を調べた。その際に得られたＲＯＣ曲線を図４に示した。なお、本来のＲＯＣ曲線は、横軸は「１－特異度」を表し、左端が原点「０」であり、右端が「１」となるが、図４（図５においても同様）では横軸が「特異度」を表し、左端の原点が「１」であり、右端が「０」となっている。
　各内視鏡検査医は患者毎にＨ．ピロリ感染の予測を行い、各内視鏡検査医毎の予測結果は、白抜き点で表されている。黒色の点は、全内視鏡検査医の予測値の平均を示す。ＣＮＮは、画像ごとにＨ．ピロリ確率Ｐを出力し、プログラムは、患者１人あたりの確率の標準偏差を計算する。
　図４のＲＯＣ曲線の下側部分の面積は０．８９であり、カットオフ値を０．５３と定義すると、第１回目のＣＮＮの感度及び特異度はそれぞれ８１．９％及び８３．４％であった。また、第１回目に構築されたＣＮＮによる全ての画像の診断時間は３．３分であった。この第１回目に構築されたＣＮＮは３９７人中３５０人が正確に診断された（８８．２％）。第１回目に構築されたＣＮＮによる４７人の誤診例について内視鏡検査医が診断した結果は、正確度の平均±標準偏差は、４３．５±３３．４％であった。
　次に、複数に分類された同じ訓練／検証用データセットセットによって構築された第２回目のＣＮＮのＲＯＣ曲線を求めた。その結果を図５に示した。図５は、胃についてのみ位置に応じて複数箇所に分類された訓練／検証用データセットを用いて学習することにより得られたＣＮＮによるものであり、第１回目のＣＮＮによるものよりも良い確率を出力している。ＲＯＣ曲線の下の面積は９３％である。各白抜き点は、各内視鏡検査医の予測結果を示し、黒色の点は、全内視鏡検査医の平均値を示し、いずれも図４に示したものと同様である。
　図５のＲＯＣ曲線の下側部分の面積は、図４の８９％から９３％に増加した。最適カットオフ値は０．４２であり、この際のＣＮＮの感度及び特異度は、それぞれ８８．９％及び８７．４％であり、これらは日本消化器内視鏡学会の専門医の診断結果に匹敵し、研修中医師よりもはるかに高い値であった。この第２回目のＣＮＮによる全ての画像の診断時間は、３．２分であった。
　上述の結果から以下のことが分かる。第１回目のＣＮＮの診断能力は、研修中医師と経験医との間あたりであり、第２回目のＣＮＮの診断能力は経験豊富な内視鏡専門医の診断能力に匹敵しており、第１回目及び第２回目のいずれのＣＮＮも内視鏡専門医よりも劇的に短い時間で診断することができている。この結果は、実施形態１のＣＮＮを用いたＨ．ピロリ感染スクリーニングシステムが臨床実践に適用するのに十分高い感度と特異性を有することを示している。
　皮膚や網膜の場合とは異なり、胃は複雑な形状をしており、胃内視鏡検査の画像には見え方の異なるいろいろな部位の画像が含まれているため、胃内の位置に対応する分類がなされていない訓練／検証用データセットを用いて学習することにより得られたＣＮＮ視を用いた場合には、如何なる部位の画像であるかを識別するのが困難な場合がある。したがって、胃についてのみ位置に応じて複数箇所に分類された訓練／検証用データセットを用いてＣＮＮを構築すると、感度は８１．９％から８８．９％に増加し、Ｈ．ピロリ感染胃炎を診断する能力が高くなる。
　なお、内視鏡検査医及びＣＮＮは、互いに異なる方法で画像を認識し、診断していると考えられる。萎縮や腸上皮化生などのＨ．ピロリ感染による胃粘膜の変化は、最初、遠位胃（幽門部）で起こり、徐々に近位の胃（噴門部）に拡大する。このように、その中に軽度の変化がある胃では、正常な粘膜を異常ありと誤診してしまう可能性があるので、内視鏡専門医は胃の画像の位置、特に幽門部、角度、又は全体像などを認識した後に診断する。
　我が国においては、特に高齢者ではＨ．ピロリ感染が多く、２０１６年から胃癌の内視鏡マススクリーニングが開始されているため、より有効なスクリーニング方法が求められている。本実施形態１で得られた結果は、大量の保存画像をこの自動化システムに接続することにより、内視鏡検査者の評価無しでもＨ．ピロリ感染のスクリーニングを大きく助けることができ、さらなる試験によりＨ．ピロリ感染の確認につながるとともに最終的には根絶治療に至る可能性があることを示唆している。
　この実施形態１のＣＮＮは疲労なしにＨ．ピロリ感染のスクリーニング時間をずっと短くすることができ、内視鏡検査後すぐに報告結果が得られるようになる。これにより、世界中で解決すべき大きな課題である内視鏡検査医のＨ．ピロリ感染診断の負担軽減と医療費の削減に貢献することができる。さらに、この実施形態１のＣＮＮによるＨ．ピロリ診断は、内視鏡検査時の画像を入力すれば直ぐに結果が得られるため、完全に「オンライン」でＨ．ピロリ診断補助を行うことができ、いわゆる「遠隔医療」として地域による医師の分布の不均一性の問題を解決することができるようになる。
　また、この実施形態１の第２回目のＣＮＮでは、位置に応じて複数箇所に分類された訓練／検証用データセットを用いて学習させた例を示したが、この複数箇所の分類は、３～１０箇所程度とすればよく、当業者が適宜に定めればよい。なお、第２回目のＣＮＮの構築に際しては、胃だけでなく、咽頭、食道及び十二指腸の画像も含まれていたため、ピロリ感染陽性及び陰性の診断の正確度向上のためにこれらの画像を除外するようにした。
　さらに、実施形態１では白色光による通常の倍率の内視鏡を使用して得た訓練／訓練画像を使用した例を示したが、画像数が多くなれば、画像増強内視鏡又は拡大内視鏡によって得た画像や、ＮＢＩ（Narrow Band Imaging：狭帯域光法。波長の異なるレーザ光を照射して観察するもの。上記非特許文献３参照。）や、誘導ラマン散乱顕微鏡法を用いた内視鏡（上記特許文献３参照）等によって得られた画像も使用することができる。
　また、実施形態１では、訓練／検証データセットとテストデータセットの両方として、単一の医院でのみ取得されたものを用いているが、他の内視鏡装置及び技法を用いて他の施設で得られた画像を用いた例を追加することにより、よりＣＮＮの感度及び特異性を向上することが可能となると思われる。さらに、実施形態１では、Ｈ．ピロリ除菌後の患者は除外したが、Ｈ．ピロリ除菌後の画像を学習させることによりＨ．ピロリ除菌ができたかどうかの判定に使用することができるようになる。
　また、Ｈ．ピロリ感染状態の診断は、血液又は尿の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原検査、又は尿素呼気検査などの様々な検査によって確認しているが、これらの検査のいずれにおいても１００％の感受性又は１００％の特異性が得られるわけではない。そのため、訓練／検証データセットには、結果として誤った診断を伴う画像が混入している可能性があるが、これについては、複数の臨床検査でＨ．ピロリ感染陰性と診断されているもののみを多く増やしていったり、一つの検査でＨ．ピロリ感染陰性と診断されたものであっても、他の検査でＨ．ピロリ感染陽性と判断されたもの等の分類を作ってこれに対応する画像を収集し、当該分類に対応する訓練／検証データセットを使用してＣＮＮを訓練することによって、解決することができるようになる。
　また、実施形態１では、胃の状態、すなわち萎縮の程度、発赤の有無などに応じて診断能力の違いを評価しなかったが、今後、訓練用画像数が増加すれば、そのような所見に応じて訓練用画像をさらに細分化し、ＣＮＮに覚えこませれば、Ｈ．ピロリ感染胃炎の有無だけではなく、当該所見についても将来的に専門医と同等の判定できるようになる可能性がある。加えて、実施形態１では、胃のＨ．ピロリ感染状態の診断の補助に用いるものとして説明したが、内視鏡検査は、胃以外にも、喉頭、咽頭、食道、十二指腸、胆道、膵菅、小腸、大腸などに対しても行われており、これらの部位についての画像集積が進んで、訓練用画像が増加すれば、これらの部位についての診断補助に使用することができる。
　特に、疾患が潰瘍性大腸炎の場合は、特徴の抽出と解析アルゴリズムがＨ．ピロリ感染胃炎の有無の場合と類似しているので、ＣＮＮに大腸内視鏡画像を用いて訓練すれば、ＣＮＮは容易に潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することが可能となる。訓練／検証用データとなる大腸内視鏡画像は、胃の場合と同様に、大腸の部位に応じて複数箇所に分類され、かつ、潰瘍性大腸炎について疾患の陽性又は陰性ないし重症度の段階の確定診断結果が付与されている。この大腸内視鏡画像からなる訓練／検証用データと確定診断結果とに基づいて訓練されたＣＮＮを用いることにより、評価対処とする多数の被験者についての複数の大腸内視鏡画像からなるテストデータに対する疾患の陽性又は陰性ないし重症度のレベルを自動診断することができる。
　さらに、内視鏡画像の訓練用データを作成する過程において、人間による手作業があるため、一部のデータにおいて、訓練用データに誤りがある可能性が否定できない。誤った訓練用データが紛れ込んでしまうと、ＣＮＮの判定の精度に悪い影響を及ぼす。本実施形態１で使用した内視鏡画像は、匿名化の処理を施しており、訓練用データにミスがあったかどうかを確認する術はない。これを可能なかぎり排除するため、臨床検査判定の結果から機械的に画像を分類することにより、質の高い訓練用データセットを作ることができる。この訓練用データでＣＮＮを学習させればさらに判定精度を向上させることが可能となる。
　なお、実施形態１では、ＣＮＮのアーキテクチャとしてGoogLeNetを使用した例を示したが、ＣＮＮのアーキテクチャは日々進化しており、最新のものを採用するとより良好な結果が得られる場合がある。また、ディープラーニングフレームワークとして同じくオープンソースのCaffeを使用したが、他にCNTK、TensorFlow、Theano、Torch、MXNet等を使用し得る。さらに、最適化手法としてAdamを使用したが、他に周知のＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）法、ＳＧＤに慣性項（Momentum）を付与したMomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等を適宜に選択して使用し得る。
　以上述べたように、本実施形態１のＣＮＮによる胃の内視鏡画像によるＨ．ピロリ感染の診断精度は、内視鏡検査医に匹敵した。したがって、実施形態のＣＮＮは、スクリーニング又はその他の理由により、得られた内視鏡画像からＨ．ピロリ感染患者を選別するのに役立つ。また、Ｈ．ピロリ菌除菌後の画像をＣＮＮに学習させれば、Ｈ．ピロリが除菌できたかどうかの判定にも使える。また、Ｈ．ピロリ菌を除菌したか否かは、問診で簡単にわかるので、Ｈ．ピロリ感染診断については、今回のＨ．ピロリ菌陽性陰性の判定だけで、臨床現場ですぐに応用可能な有用性がある。
［診断支援システム］
　実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、基本的に、内視鏡画像入力部と、記憶部（ハードディスクないし半導体メモリ）と、画像解析装置と、判定表示装置と、判定出力装置とを備えている。他に、直接内視鏡画像撮像装置を備えているものであってもよい。また、このコンピュータシステムは、内視鏡検査施設から離れて設置され、遠隔地から画像情報を得て中央診断支援システムとしたり、インターネット網を介したクラウド型コンピュータシステムとしても稼働させることができる。
　このコンピュータは、内部の記憶部に、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像を記憶する第１の記憶領域と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果を記憶する第２の記憶領域と、ＣＮＮプログラムを記憶する第３の記憶領域と、を備えることになる。この場合、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像は数が多くてデータ量が大きくなること、ＣＮＮプログラムの作動時に大量のデータ処理が行われることから、並列処理とすることが好ましく、また、大容量の記憶部を有することが好ましい。
　近年、ＣＰＵやＧＰＵの能力の向上が著しく、実施形態１で使用した診断支援システムとしてのＣＮＮを組み込んだコンピュータは、ある程度高性能な市販のパーソナルコンピュータを使用した場合であれば、Ｈ．ピロリ感染胃炎診断システムとしても、１時間に３０００症例以上を処理でき、１枚の画像については約０．２秒で処理することができる。そのため、内視鏡で撮影中の画像データを本実施形態１で使用したＣＮＮを組み込んだコンピュータに与えることにより、リアルタイムでのＨ．ピロリ感染判定も可能となり、世界中や僻地から送信された胃内視鏡画像はもちろんのこと、たとえそれが動画であっても、遠隔で診断可能となる。特に、近年のコンピュータのＧＰＵは性能が非常に優れているので、本実施形態１のＣＮＮを組み込むことにより、高速かつ高精度の画像処理が可能となる。
　また、実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータの入力部に入力する被験者の消化器官の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像又はコンピュータ読み取り可能な記録媒体に記録された画像とすることができる。すなわち実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、短時間で入力された被験者の消化器官の内視鏡画像に対して消化器官の疾患陽性及び陰性のそれぞれの確率を出力することができるので、被験者の消化器官の内視鏡画像の入力形式によらず利用可能となる。
　なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク－ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク－Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。
［実施形態２］
　実施形態１で使用したＣＮＮを組み込んだコンピュータによるＨ．ピロリ感染胃炎診断システムにおいては、入力された画像がどこの部分の画像であるかを自動的に判断することができる。そのため、このＨ．ピロリ感染胃炎診断システムにおいては、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞の７つの分類のそれぞれについてＨ．ピロリ感染確率を表示したり、これらの部位の幾つかから、例えば、Ｈ．ピロリ感染確率の上位５分類について、分類とともにＨ．ピロリ感染確率を表示したりすることが可能となる。このような分類とともにＨ．ピロリ感染確率を表示することは、最終的には血液検査や尿検査によって確定診断を行う必要があるが、内視鏡専門医の判断に有用となる。
　そこで、実施形態２では、入力された画像がどこの部分の画像であるかを自動的に判断することができることの検証を行った。まず、内視鏡専門医により、実施形態１において得られたＥＧＤの画像のうち、癌、潰瘍、残渣・異物、出血、ハレーション、ぼけ又は焦点不良のために明確でない画像は除外し、残りの１７５０人の患者からの２７，３３５枚の画像を６つの主要なカテゴリー（喉頭、食道、十二指腸、上部胃、中部胃、下部胃）に分類した。主要な胃カテゴリーの各々は、図６に示したように、複数のサブカテゴリを含んでおり、下部胃は幽門部、幽門洞、前庭部を含み、上部胃は噴門部と胃底部を含み、中部胃は胃角部と胃体部を含んでいる。
　これらの２７，３３５枚の元の内視鏡画像を、実施形態１の場合と同様にして、ツールによって０度から３５９度の間で無作為に回転させて画像数を増大させ、各画像を囲む黒いフレームを自動的にトリミングして切り取り、適宜に拡大又は縮小し、通常の倍率を有する通常の白色光画像のみが含まれ、狭帯域画像などの強調された画像を除外し、１００万を超える訓練用画像データを得た。このようにして得られた実施形態２の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態２で用いたＣＮＮシステムは、これらの訓練用画像データを用いて、学習率を０．０００２に変更した以外は実施形態１のＣＮＮシステムと同様のものを用いて訓練した。
　実施形態２の訓練されたＣＮＮシステムは、０から１００％の範囲の各画像の確率値（ＰＳ）を生成した。これは、各画像の各解剖学的分類に属する確率を示している。最も高い確率値を有するカテゴリーがＣＮＮの最終的な分類として採用され、このＣＮＮによって分類された画像は、２人の内視鏡専門医によって手作業で評価し、正しく分類されたかどうかを評価した。その評価が２人の内視鏡専門医によって異なる場合は、満足のいく解決に達するために議論が行われた。
　さらに、ＣＮＮシステムの診断精度を評価するために、２０１７年２月から２０１７年３月までの間に、発明者の一人が属する医院において内視鏡検査を受けた４３５人の患者の１７，０８１の独立した画像データを収集し、一連の検証用画像データを作成した。この検証用画像データは、通常の倍率を有する通常の白色光画像のみが含まれており、強調画像又は解剖学的分類が認識できなかった画像データは、訓練用画像データの場合と同じ方法で検証用画像データから除外された。最終的に、検証用画像データには、喉頭画像３６３件、食道画像２，１４２件、胃画像１３，０４７件、十二指腸画像１，５２８件を含む１７，０８１件の画像が用いられた（表４参照）。
Figure JPOXMLDOC01-appb-T000004
　最初に、実施形態２のＣＮＮシステムが、喉頭、食道、胃及び十二指腸の画像を認識できるかどうかについて評価し、次いで、図６に示したように、日本の胃癌分類に基づく胃の位置（上部胃、中部胃、下部胃）を認識できるかどうかについて評価した。そして、実施形態２のＣＮＮシステムによる解剖学的分類についての感度及び特異度が計算された。各臓器の分類のため、受容体作動特性（ＲＯＣ）曲線をプロットし、GraphPad Prism 7(GraphPad software, Inc., California, U.S.A.)により下側部分の面積（ＡＵＣ）を算出した。これらの試験方法の簡単化した概要を図７に示した。
　まず、ＧＩＥ画像を４つの主なカテゴリー（喉頭、食道、胃及び十二指腸）に分類した。実施形態２のＣＮＮシステムは、１７，０８１画像のうち１６，６３２（９７％）の解剖学的位置を正確に分類した。ＣＮＮシステムが計算した確率値は０～１００％の範囲であり、画像の９６％の個々の最高確率値は９０％以上であった（表５参照）。
Figure JPOXMLDOC01-appb-T000005
　すなわち、実施形態２のＣＮＮシステムは、ＧＩＥ画像の解剖学的位置を、ＡＵＣ値による正確度で、咽頭は１．００［９５％信頼区間（ＣＩ）：１．００～１．００，ｐ＜０．０００１］、食道は１．００（９５％ＣＩ：１．００～１．００，ｐ＜０．０００１）、胃は０．９９（９５％ＣＩ：０．９９～１．００，ｐ＜０．０００１）、十二指腸は０．９９（９５％ＣＩ：０．９９～０．９９，ｐ＜０．０００１）で自動的に認識した（図８Ａ～図８Ｄ参照）。なお、実施形態２のＣＮＮシステムの各部位の解剖学的位置を認識するための感度及び特異度は、喉頭については９３．９％及び１００％、食道については９５．８％及び９９．７％、胃については８９．９％及び９３．０％、十二指腸については８７．０％及び９９．２％であった（表６参照）。
Figure JPOXMLDOC01-appb-T000006
　次に、実施形態２のＣＮＮシステムが胃の異なる部分から取得した画像データの解剖学的位置を正しく分類できるかどうかについて検討した。いくつかの胃の疾患は胃の特定の領域に発生する傾向があるため、胃の解剖学的位置を正しく分類することは重要である。実施形態２のＣＮＮシステムの訓練には、上部胃からの３，５３２枚の画像データ、中部胃からの６，３７９枚の画像データ及び下部胃からの３，１３７枚の画像データを含む合計１３，０４８の胃画像データが用いられた。
　実施形態２のＣＮＮシステムは、図９に示すように、上部胃、中部胃及び下部胃についてＡＵＣ値０．９９（９５％ＣＩ：０．９９～０．９９、ｐ＜０．０００１）が得られ、これらの胃画像の解剖学的位置を正確に分類した。各部位の解剖学的位置を分類する際のＣＮＮの感度と特異度は、上部胃が９６．９％及び９８．５％、中部胃が９５．９％及び９８．０％、下部胃が９６．０％及び９８．８％であった（表７参照）。すなわち、実施形態２のＣＮＮシステムは、ＧＩＥ画像データを胃の３つの解剖学的位置（上部胃、中部胃、下部胃）に正しく分類した。
Figure JPOXMLDOC01-appb-T000007
［誤って分類された画像の評価」
　最後に、ＣＮＮの性能を向上させるための基礎を提供するために、ＣＮＮによって誤って分類された画像を検討した。誤って分類された画像の典型的な例を図１０～図１３に示す。図１０Ａは下部胃と誤分類された十二指腸の画像を示し、図１０Ｂは正しく分類された下部胃の画像である。これらの画像に見られるように、横から見ると十二指腸は時には下部胃に似ている。これが誤分類の原因であったと考えられる。
　図１１Ａは下部胃と誤分類された食道の画像を示し、図１１Ｂは正しく下部胃と分類された下部胃の画像を示す。また、図１２Ａは中部胃と誤分類された十二指腸の画像を示し、図１２Ｂは正しく分類された上部胃の画像を示す。さらに、図１３Ａは食道と誤分類された咽頭の画像を示し、図１３Ｂは正しく分類された食道の画像を示す。
　図１１Ａ及び図１２Ａの画像は、内腔への空気の吹込みが不十分であること及び／又は管腔壁への内視鏡スコープが近接していることに起因して、全体の構造を認識に使用することができなかったものである。他方、図１３Ａは、喉頭の画像を示すが、肉眼で明らかに異なっており、食道と誤って分類されている。
　画像の分類のためのアーキテクチャは絶えず進歩している。そのような技術を使用したImagenet大規模視覚認識チャレンジ２０１６(ILSVRC2016, http://image-net.org/challenges/LSVRC/2016/results)の最新の結果によると、分類エラー率は３．０％～７．３％となっている。それに対し、実施形態２のＣＮＮシステムは、０．９９～１．００の高いＡＵＣを有する高精度の分類結果を示し、解剖学的位置によるＧＩＥ画像の分類におけるＣＮＮの潜在的可能性が実証されている。解剖学的分類を認識するこの能力は、ＣＮＮシステムが患者から取得した画像上で病変又は異常所見を自動的に検出することによって、特に胃腸疾患の診断に使用できるかどうかを明らかにする重要なステップである。
　医師はＧＩＥの専門家になるために数年に渡って重要な訓練を必要とするため、本発明のＣＮＮシステムは、患者の負担を軽減し、患者にとって有益なものとなる。この点について、本発明の結果は、本発明のＣＮＮシステムが新しいＧＩＥ支援システムを確立する有望な可能性を示している。さらに、自動的に収集され、電子的に保存されるＧＩＥ画像は、疾患を逃さないために第２の観察者によって頻繁に見直されるため、自動ＧＩＥ画像分類自体が臨床設定において有益である。解剖学的に分類された画像は、第２の観察者が解釈することがより容易となり、その負担を軽減することができるようになる。
［実施形態３］
　実施形態３では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、潰瘍性大腸炎の場合に適用した例を説明する。発明者の一人が属する医院において、大腸内視鏡検査を受けた患者の臨床データを回顧的にレビューした。全体的に９５８例の患者の症状、内視鏡所見、 病理学的所見も含まれている。患者全員が全大腸内視鏡検査を受け、得られた大腸内視鏡画像は３人の消化器専門医によってレビューされた。
　実施形態３では、通常の倍率を有する通常の白色光画像のみが含まれ、狭帯域画像などの強調された画像は除外された。便、ぼけ、ハレーション又は空気混入を伴う不明瞭な画像も除外され、他の鮮明な画像は結腸・直腸の部位、すなわち右側結腸（盲腸、上行及び横行結腸）、左結腸（下行及びＳ状結腸）及び直腸、によって分類され、それぞれの内視鏡疾患活動性によって、３区分のＭａｙｏ内視鏡スコア（Ｍａｙｏ０、Ｍａｙｏ１及びＭａｙｏ２－３）に従って分類された。図１４に典型的な直腸のＭａｙｏ０～Ｍａｙｏ３に分類される大腸内視鏡画像を示す。なお、図１４ＡはＭａｙｏ０、図１４ＢはＭａｙｏ１、図１４ＣはＭａｙｏ２、図１４ＤはＭａｙｏ３の例を示す。
　レビューされた各画像について、レビューアの分類が異なる場合には、上記の３人の消化器専門医のうち少なくとも２人がそれぞれの画像を見直し、各画像についてＭａｙｏ内視鏡スコアを再付与した。このようにして再付与されたＭａｙｏ内視鏡スコアを「真のＭａｙｏ分類」と称する。
　２００６年１０月から２０１７年３月の間に撮影された８４１人の潰瘍性大腸炎患者からの２６，３０４枚の画像が訓練用データセットとして使用され、４月から２０１７年６月までに収集された１１７人の潰瘍性大腸炎患者からの４，５８９枚の画像が検証用データセットとして使用された。訓練用データセットと検証用データセットの患者特性の詳細を表８に示した。
Figure JPOXMLDOC01-appb-T000008
　これらの元の内視鏡画像を０度から３５９度の間でランダムに回転させ、各画像を囲む黒い枠を各側で切り取り、ソフトウェアを使用して０．９倍又は１．１倍に拡大又は縮小した。最後に、訓練用データセットの数が１００万を超えるように増幅された。
　全ての画像は、標準的な大腸内視鏡（EVIS LUCERA ELITE、オリンパスメディカルシステムズ、東京、日本）を用いて撮影された。付随する全ての患者情報は、データ分析前に注釈を付けられ、研究に関与する内視鏡医のいずれも識別可能な患者情報にアクセスすることができないようにした。この研究は、日本医師会倫理審査委員会（ID：JMA-IIA00283）の承認を得た。また、インフォームド・コンセントは、この研究が遡及的性質を有しており、完全に匿名化されたデータを使用するために、削除された。
このようにして得られた実施形態３の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態３で用いたＣＮＮシステムは、これらの訓練用画像データを用いて、学習率を０．０００２に変更した以外は実施形態１のＣＮＮシステムと同様のものを用いて訓練した。
　訓練されたＣＮＮベースの診断システムは、０から１の範囲の各画像の確率値（ＰＳ）を作成し、各画像は各Ｍａｙｏ内視鏡スコアに属する確率を示す。最も高い確率値を有するカテゴリーが、ＣＮＮの最終的な分類として採用された。実施形態３のＣＮＮベースの診断システムの簡単な概要を図１５に示し、実施形態３のＣＮＮの代表的な画像と得られた３区分のＭａｙｏ内視鏡スコアの例を図１６に示した。なお、図１６Ａは横行結腸のＭａｙｏ０に分類される例、図１６Ｂは直腸のＭａｙｏ１に分類される例、図１６Ｃは直腸のＭａｙｏ２ないしＭａｙｏ３に分類される例を示している。
　ＣＮＮの性能の検証は、ＣＮＮが各画像を２区分の分類、すなわちＭａｙｏ０～１及びＭａｙｏ２－３の２区分に分類できるかどうかを評価することにより行った。この理由は、Ｍａｙｏ０及びＭａｙｏ１は寛解（症状がコントロールできている）状態にあるものであり、Ｍａｙｏ２及びＭａｙｏ３は炎症が生じているものであるからである。そして、Ｍａｙｏ内視鏡スコアのために受容体作動特性（ＲＯＣ）曲線をプロットし、９５％信頼区間（ＣＩ）を有するＲＯＣ曲線の下側の面積（ＡＵＣ）をＧｒａｐｈＰａｄ　Ｐｒｉｓｍ　７(GraphPad software, Inc, 米国)により測定した。さらに、結腸・直腸の各部位（右側結腸、左側結腸、及び直腸）でＡＵＣを評価した。
　表９に真のＭａｙｏ内視鏡スコアとＣＮＮによるＭａｙｏ０－１，Ｍａｙｏ２－３の２区分の分類との間の関連性を示す。また、図１７Ａに、Ｍａｙｏ０－１と、Ｍａｙｏ２－３との２区分のＭａｙｏ内視鏡スコアにおける各確率スコアの例を色の濃淡で示し、同じく図１７ＢにＭａｙｏ０－１と、Ｍａｙｏ２－３との２区分のＭａｙｏ内視鏡スコアにおけるＲＯＣ曲線を示す。
Figure JPOXMLDOC01-appb-T000009
　表９及び図１７に示した結果によると、Ｍａｙｏ０－１画像の９６％、Ｍａｙｏ２－３画像の４９％は、ＣＮＮによってそれぞれのＭａｙｏ内視鏡スコアに正しく分類されていた。図１７Ｂに示したＲＯＣ曲線は、Ｍａｙｏ０－１と、Ｍａｙｏ２－３との２区分の分類に対して０．９５（９５％ＣＩ：０．９４－０．９５）の高いＡＵＣを有し、ＣＮＮが高い性能を有していることを示している。
［結腸・直腸の各位置による真のＭａｙｏ分類とＣＮＮ分類との間の関連性］
　次に、結腸・直腸の位置がＣＮＮの性能に影響を及ぼす可能性があるので、結腸・直腸の各位置（右側結腸、左側結腸、及び直腸）によるＣＮＮの性能を評価した。
　表１０は、ＲＯＣ曲線のＡＵＣと、真のＭａｙｏ分類と、各場所におけるＣＮＮの結果との一致度を示す。ＣＮＮの性能は、Ｍａｙｏ０－１と、Ｍａｙｏ２－３との２区分に分類する際には、直腸（ＡＵＣ＝０．８８）よりも右側の結腸（ＡＵＣ＝０．９６）及び左側の結腸（ＡＵＣ＝０．９７）において良好であった。
Figure JPOXMLDOC01-appb-T000010
　以上のように、実施形態３によれば、訓練されたＣＮＮによれば、潰瘍性大腸炎画像の内視鏡疾患活動性を識別でき、寛解状態の画像（Ｍａｙｏ０、Ｍａｙｏ１）と重度の炎症（Ｍａｙｏ２，Ｍａｙｏ３）画像とを区別する有望な性能を示すことが確認された。
　実施形態３の結果によると、ＣＮＮは、粘膜が治癒状態（Ｍａｙｏ０、Ｍａｙｏ１）にあることを認識するに際して非常に良好な性能を示し、右結腸及び左結腸よりも直腸における方が良好であった。この理由の１つは、用いた画像が治療中の潰瘍性大腸炎患者のものが大部分であったためである。この治療は、炎症の重症度を変えてしまい、炎症を「斑状」又は「非連続病変」に導き、Ｍａｙｏ内視鏡スコアを適切に分類するのが困難になる。これは、直腸がいくつかの治療オプションを有しており、斑状ないし非連続性病変がしばしば起こるので、直腸におけるＣＮＮによる分類に際してより性能低下をもたらす可能性がある。
　また、実施形態３では、ＣＮＮによる分類をＭａｙｏ内視鏡スコアの確率値が最も高いものとして定義した。したがって、Ｍａｙｏ１の確率値が０．３４４の画像（最低値）でも、Ｍａｙｏ１の確率値が１．００の画像と同じＭａｙｏ１に分類された。これは、真のＭａｙｏ内視鏡スコアとＣＮＮによる分類との間の一致が、ＡＵＣ値と比較して比較的低い理由の１つである。したがって、ＣＮＮによる分類を定義するために確率値に最適なカットオフ値を設定することによって、ＣＮＮの性能を改善することが可能となる。
　実施形態３の測定にはいくつかの制限がある。第1に、これは後向き研究であり、実際の臨床状況におけるＣＮＮの性能を評価するためには前向き研究が必要である。第2に、入院施設を持たない診療所では全ての大腸内視鏡検査画像が収集されたため、Ｍａｙｏ２－３の画像は訓練用データと検証用データの両方で比較的少なかった。したがって、より多くのＭａｙｏ２－３画像でＣＮＮをトレーニングすることで、ＣＮＮのパーフォマンスがより向上すると考えられる。
［実施形態４］
　実施形態４では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、超拡大内視鏡（Endocytoscopy：ＥＣＳ）システムを用いて食道疾患に適用した例を説明する。ここで使用するＥＣＳシステムは、メチレンブルーなどの生体染色を使用してリアルタイムで表面上皮細胞を生体内で観察することを可能にする新規の拡大内視鏡検査である。発明者等は、２００３年にＥＣＳを用いた臨床試験を初めて行い、正常扁平上皮及び食道癌の表面上皮細胞の特徴を報告した（非特許文献４参照）。現在市販されている第４世代のＥＣＳの倍率は、光学的に５００倍で、さらにビデオプロセッサーに内蔵されたデジタル拡大機能を使用して倍率を最大９００倍にまで拡大させることも可能である。
　発明者の一人が属する医院において、２０１１年１１月から２０１８年２月までの間に、医院内の２４１人の患者に対して３０８例の食道ＥＣＳ検査を行った。スコープは、ＧＩＦ－Ｙ０００２（光学倍率：４００倍（デジタル倍率７００倍））及びＧＩＦ－Ｙ００７４（光学倍率：５００倍（デジタル倍率９００倍））の２つのプロトタイプＥＣＳ（オリンパスメディカルシステムズ）を用いた。また、内視鏡ビデオスコープシステムとして、標準的な内視鏡ビデオシステム（ＥＶＩＳ　ＬＵＣＥＲＡ　ＣＶ－２６０／ＣＬＶ－２６０，　ＥＶＩＳ　ＬＵＣＥＲＡ　ＥＬＩＴＥ　ＣＶ－２９０／ＣＬＶ－２９０ＳＬ：オリンパスメディカルシステムズ）を使用した。
　図１８に示したように、ＥＣＳの最大光学倍率（低倍率画像）の内視鏡画像（図１８のａ～ｅ）と、デジタル倍率１．８倍の内視鏡画像（高倍率画像、図１８のｆ～ｊ））とを併せて保存した。３０８例のＥＣＳ検査の中で、２０１１年１１月から２０１６年１２月の間に行われた２４０の症例からの４７１５枚の画像が、ＥＣＳ画像を分析するためのアルゴリズムを開発用の訓練用データセットとして採用された。
　訓練用データセットは、食道癌１２６例（表在癌５８例、進行癌６８例）、食道炎１０６例（放射線関連食道炎５２例、胃食道逆流症４５例、カンジダ食道炎、好酸球性食道炎２例、食道炎３例）、正常扁平上皮症８例であった。全ての病変部を生検組織又は切除標本を用いて組織学的に診断した。最後に、訓練用データセットを「悪性画像（画像数：１１４１（低倍率画像：２３１、高倍率画像：９１０））」及び「非悪性画像（画像数：３５７４（低倍率画像：１１５０、高倍率画像：２４２４））」に分類した。実施形態４では低倍率画像と高倍率画像を用いてＣＮＮをまとめて訓練した。
　構築されたＣＮＮの診断能力の評価のためのテストデータセットとしては、ＥＣＳにて食道の表面細胞形態を良好に観察可能であった５５例を用いた。テストデータは、悪性病変２７例と非悪性病変２８例からなる１５２０枚の画像（低倍率画像：４６７、高倍率画像：１０５３）を用いた。悪性病変の全ての症例は食道扁平上皮癌であった。このうち表在癌が２０例、進行癌が７例であった。非悪性病変は、食道炎（放射線関連食道炎１４例、胃食道逆流症（ＧＥＲＤ）９例、食道炎４例）が２７例、食道乳頭腫が１例であった。
　このようにして得られた実施形態３の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態４で用いたＣＮＮシステムは、これらの訓練用画像データを用いて、実施形態１のＣＮＮシステムと同様のものを用いて訓練した。
［ＣＮＮによる診断結果］
　訓練データセットを用いてＣＮＮを構築した後、テストデータを検討した。テストデータの各画像について、悪性である確率を計算し、受信機動作特性（ＲＯＣ）曲線をプロットし、ＲＯＣ曲線の下側部分の面積（ＡＵＣ）を計算した。カットオフ値は、ＲＯＣ曲線の感度及び特異性を考慮して決定した。
　症例ごとの検討では同一病変から取得した複数のＥＣＳ画像に対し、２枚以上が悪性であると診断された場合、悪性であると診断した。食道癌を診断するＣＮＮの感度、陽性的中率（ＰＰＶ）、陰性的中率（ＮＰＶ）、及び特異度を以下のように計算した。
　　感　度＝ＣＮＮが正しく悪性と診断した数／組織学的に証明された食道癌病変の数
　　ＰＰＶ＝ＣＮＮが正しく悪性と診断した数／ＣＮＮによる食道癌と診断された病変の数
　　ＮＰＶ＝ＣＮＮが非悪性病変として正しく診断した数（悪性と診断されたＥＣＳ画像が１枚以下）／ＣＮＮによって非悪性病変と診断された病変の数
　　特異度＝ＣＮＮが非悪性病変として正しく診断した数／組織学的に証明された非悪性病変
　ＣＮＮによる診断の前に、経験豊富な１名の内視鏡専門医が内視鏡検査中に診断を行った。内視鏡専門医は、全ての症例を以下のＴｙｐｅ分類に従って分類した。
　　Ｔｙｐｅ１：表面上皮細胞は、核／細胞質比が低く、細胞密度が低い。核異型は認められない。（図１９ａ参照）
　　Ｔｙｐｅ２：核密度は高いが、明らかな核異型はない。細胞間境界は明らかではない。（図１９ｂ参照）
　　Ｔｙｐｅ３：明らかな核密度の上昇及び核異型が認められる。核の腫大も認められる（図１９ｃ参照）
［テストデータの臨床診断と病理診断結果］
　テストデータ症例の臨床診断と病理診断結果とを表１１に示した。
Figure JPOXMLDOC01-appb-T000011
　表１１に示したように、臨床診断により食道癌と診断された２７例全てが扁平上皮癌であった。臨床診断により胃食道逆流症と診断された９例は、組織学的に４例が再生上皮、３例が食道潰瘍、２例が食道炎と診断された。臨床診断により放射線性食道炎と診断された１４例は、組織学的に２例が再生上皮、８例が食道炎と診断され、他は食道潰瘍、異型細胞を伴う食道炎、肉芽組織及び壊死組織と診断された。
［ＲＯＣ曲線とその下側部分の面積及びカットオフ値］
　実施形態４で得られたＣＮＮは、１５２０枚の画像（１画像あたり０．０１１秒）を分析するのに１７秒を要した。全画像からプロットしたＲＯＣ曲線（図２０Ａ）から求められたＡＵＣは０．８５であった。また、高倍率画像（図２０Ｂ）と低倍率画像の場合（図２０Ｃ）とでＲＯＣ曲線を別々作成して分析したところ、高倍率画像の場合のＡＵＣ及び低倍率画像の場合のＡＵＣはそれぞれ０．９０及び０．７２であった。
　非悪性病変に対する高い特異性を期待して、ＲＯＣ曲線から悪性腫瘍の確率のカットオフ値を９０％に設定した。表１２に示したとおり、全画像の場合の感度、特異度、ＰＰＶ、ＮＰＶは、それぞれ３９．４，９８．２，９２．９及び７３．２であった。また、高倍率画像の場合及び低倍率画像の場合をそれぞれ別々に分析した場合、高倍率画像の場合の感度、特異性、ＰＰＶ、ＮＰＶはそれぞれ４６．４，９８．４，９５．２及び７２．６であり、低倍率画像の場合の感度、特異性、ＰＰＶ、ＮＰＶはそれぞれ１７．４，９８．２，７９．３，７４．４であった。
Figure JPOXMLDOC01-appb-T000012
　高倍率画像で非悪性であると臨床診断された６２２例のうち、１０画像（１．６％）が悪性腫瘍の確率が９０％を超えていた。この１０画像には、白斑部分より得られた７画像、異型上皮より得られた２画像、正常上皮より得られた１画像が含まれていた。低倍率画像で非悪性であると臨床診断された３３２例のうち、食道炎と診断された７画像（２．１％）が、悪性の確率が９０％を超えていた。
［各症例ごとの内視鏡医によるＴｙｐｅ分類の評価とＣＮＮによる診断の比較］
　食道扁平上皮癌と診断された２７症例のうち、実施形態４で構築されたＣＮＮによる診断結果と、内視鏡専門医により分類されたＴｙｐｅとの関係を表１３に示した。
Figure JPOXMLDOC01-appb-T000013
　表１3に示した結果によると、食道扁平上皮癌と診断された２７症例のうち、ＣＮＮは２５症例（感度９２．６％）を悪性（悪性腫瘍の確率が９０％を超えた２以上の画像を含む）と正確に診断した。ＣＮＮはがん細胞が写っている写真の中で悪性であると認識した割合の中央値（範囲）は４０．９（０～８８．９）％であった。ＣＮＮは非悪性病変の２８症例の２５症例を非悪性（特異性８９．３％）と正確に診断した。ＰＰＶ、ＮＰＶ、及び全体的な精度は、それぞれ８９．３％、９２．６％、９０．９％であった。
　内視鏡専門医は、全ての悪性病変をＴｙｐｅ３と診断した。内視鏡専門医は、非悪性病変の２８例中、１３病変をＴｙｐｅ１、１２病変をＴｙｐｅ２、３病変をＴｙｐｅ３と診断した。Ｔｙｐｅ３が悪性腫瘍に対応すると考えられる場合、感度、特異性、ＰＰＶ、ＮＰＶ、内視鏡検査の診断の総合的な精度はそれぞれ１００％、８９．３％、９０．０％、１００％、９４．５％であった。
　ＣＮＮが非悪性であると誤診した２例の悪性病変は、内視鏡専門医によってＴｙｐｅ３と正診された。これらの２例は表在癌であり、核密度の増加と核の異常が明らかであった。しかし、核の拡大は明らかではなかった（図２１参照）。なお、図２１Ａは通常内視鏡画像、図２１Ｂは同じくＥＣＳ画像、図２１Ｃは同じく病理組織検査画像である。
　ＣＮＮが非悪性病変を悪性と診断した３例のうち、２例が放射線照射後の食道炎であり、１例がグレードＣの胃食道逆流症であった。これらの病変の非拡大内視鏡画像から、内視鏡専門医はこれらを悪性とみなさなかった。しかし、放射線食道炎の１例では、核密度と核異常の明らかな増加のために、内視鏡専門医はＴｙｐｅ３に分類している。この症例では、病変部の組織学的検査により肉芽組織であることが明らかになった（図２２参照）。なお、図２２Ａは通常内視鏡画像、図２２ＢはＥＣＳ画像、図２２Ｃは病理組織検査画像である。
　食道に対するＥＣＳ診断の最も有望な目標は、食道扁平上皮癌の生検組織診断の省略である。実施形態４の結果では、特に高倍率画像のＲＯＣ曲線で高いＡＵＣが確認された。以前１名の病理医にＥＣＳ画像のみから、悪性ＥＣＳ画像を区別できるかどうかを試験した。病理学者は、低倍率画像のみを使用した場合、食道炎の約２／３を悪性と診断している。これらの場合、核密度は増加したが、低倍率のために核異型を認識できなかった。その後、核異型の認識のため、デジタル１．８倍（高倍率）の画像で再度試験を行った。その際の病理学者の感度と特異度は９０％以上に劇的に改善した。
　実施形態４では、全ての悪性と診断された非悪性低倍率画像は食道炎症例から得られた。これらの画像は高い核密度を示したが、低倍率のため核の異常を評価することはできなかった。したがって、低倍率画像ではなく高倍率画像を参照することが推奨される。他方、悪性であると誤診された大部分の非悪性高倍率画像は、白斑部分の観察から得られている。白斑部分のＥＣＳ画像の特徴は、炎症細胞の集蔟である。これらの画像は扁平上皮癌の低倍率画像として認識されたものであると推測される（図１８参照）。そのため、今後は、高倍率画像と低倍率画像の２つの異なるＣＮＮを別々に確立することが望ましい。
　組織生検の省略のためには、非悪性病変の悪性であるとの誤診（偽陽性）を最小限に抑えなければならない。ＥＣＳを用いた内視鏡専門医による扁平上皮腫瘍の過剰診断は、死亡リスクのある手術を必要とする。癌の早期発見のためにＡＩを適用した論文では、一定の偽陽性率が許容される。このためカットオフ値は比較的低い確率で設定されている。今回の検討では悪性腫瘍の確率のカットオフ値を９０％に設定した。これは先に述べた偽陽性を最小限にするためである。
　各症例ごとの評価では、内視鏡専門医はＥＣＳによる診断のためのＴｙｐｅ分類を適用した。Ｔｙｐｅ１及びＴｙｐｅ３はそれぞれ非腫瘍性上皮及び食道扁平上皮癌に対応する。これらの症例では、組織生検を省略することができる。しかしながら、Ｔｙｐｅ２は様々な組織学的状況を含むため、治療方針決定のために組織生検を実施すべきである。実施形態４の結果では、ＣＮＮによるＥＣＳ画像の診断結果は、内視鏡専門医の結果に近い９０％を超えていた。
　この結果は、高いカットオフ値にもかかわらず許容可能である。これらの症例は、ＣＮＮの支援によって組織生検を省略することができる。さらに、ＣＮＮによって悪性と診断されなかった２例の悪性症例は、内視鏡専門医によって正確にＴｙｐｅ３と診断された。病変通常内視鏡観察から悪性腫瘍であることを明瞭に示しているので、これらの症例はＥＣＳ画像のみでＣＮＮの支援なしに組織生検を省略することができる。
　一方、実施形態４の特異度は８９．３％であり、３例の非悪性病変はＣＮＮによって悪性であると診断された。１例はグレードＣの胃食道逆流症であり、他の２例は放射線食道炎であった。これらの病変の病理学的診断は、再生上皮、肉芽組織及び食道潰瘍であった。再生上皮は経験豊富な病理学者であっても食道扁平上皮癌と区別することは困難である。
　放射線食道炎の１例は内視鏡専門医によってＴｙｐｅ３と診断され、実施形態４のＣＮＮによって悪性と診断された。放射線照射後、組織生検を行っても再発や残存食道癌を診断することが困難な場合がある。ＥＣＳ観察に加えて、食道癌の放射線照射後のフォローアップの場合には組織生検を実施すべきである。
　実施形態４の結果によれば、今回のＣＮＮの検討ではいくつかの限界を指摘することができる。第１に、テストデータの数が少なかったことである。この問題を解決するために動画から膨大な数の画像を取得することを計画している。さらに深く学習したＣＮＮが診断結果を改善することを期待している。第２に、光学倍率が４００倍と５００倍の異なる２つのＥＣＳを使用したことである。これらの２つのＥＣＳの倍率の差は、ＣＮＮによる診断の結果に影響を及ぼす可能性がある。そのため、今後市販された光学倍率５００倍のＥＣＳを使用した画像に限定する必要があると思われる。
　結論として、実施形態４のＣＮＮは、内視鏡専門医がＥＣＳ画像に基づいて組織生検を省略することを強くサポートすることが可能である。また、核異型の認識のためには、低倍率画像ではなく、デジタルズームを併用した高倍率画像を参照すべきである。
［実施形態５］
　実施形態５のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法について、図２３を用いて説明する。実施形態５では、実施形態１～４のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法を使用することができる。Ｓ１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてニューラルネットワークを訓練する。Ｓ２では、Ｓ１において訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力する。
　Ｓ１では、第１の内視鏡画像は、コントラストの調整が行なわれていてもよい。また、Ｓ１では、第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。部位が胃である場合には、区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことができるし、また、区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むこともできる。
　撮像された部位における第１の内視鏡画像の数が他の部位に比して少ない場合には、第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにすることもできる。
　訓練されたニューラルネットワークは、第２の内視鏡画像が撮像された部位に対応する情報が出力可能とされていてもよく、また、確率ないし重症度を部位に対応する情報とともに出力するようにしてもよい。
　第１の内視鏡画像は胃内視鏡画像を含む場合には、疾患としてヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含めてもよい。第１の内視鏡画像は大腸内視鏡画像を含む場合には、疾患として少なくとも潰瘍性大腸炎を含み、訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力するようにしてもよい。第１の内視鏡画像は食道内視鏡画像を含む場合には、疾患として食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、訓練されたニューラルネットワークは、食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力するようにしてもよい。
　第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。また、ニューラルネットワークとして畳み込みニューラルネットワークを用いることもできる。
［実施形態６］
　実施形態６のニューラルネットワークを用いた消化器官の内視鏡画像ずよる疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体について図２４を参照して、説明する。実施形態６では、実施形態１～４で説明した消化器官の内視鏡画像による疾患の診断支援システムを利用することができる。消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部１０と、出力部３０と、ニューラルネットワークが組み込まれたコンピュータ２０と、を有する。コンピュータ２０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域２１と、第１の内視鏡画像に対応する、消化器官の疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域２２と、ニューラルネットワークプログラムを記憶する第３の記憶領域２３と、を備える。第３の記憶領域２３に記憶されたニューラルネットワークプログラムは、第１の記憶領域２１に記憶されている第１の内視鏡画像と、第２の記憶領域２２に記憶されている確定診断結果とに基いて訓練されており、内視鏡画像入力部１０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力部３０に出力する。
　第１の内視鏡画像は、コントラストの調整が行なわれていてもよい。また、第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。部位が胃である場合には、区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことができるし、また、区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むこともできる。
　撮像された部位における第１の内視鏡画像の数が他の部位に比して少ない場合には、第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにすることもできる。
　訓練されたニューラルネットワークプログラムは、第２の内視鏡画像が撮像された部位に対応する情報が出力可能とされていてもよく、また、確率ないし重症度を部位に対応する情報とともに出力するようにしてもよい。
　第１の内視鏡画像は胃内視鏡画像を含む場合には、疾患としてヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含めてもよい。第１の内視鏡画像は大腸内視鏡画像を含む場合には、疾患として少なくとも潰瘍性大腸炎を含み、訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力するようにしてもよい。第１の内視鏡画像は食道内視鏡画像を含む場合には、疾患として食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、訓練されたニューラルネットワークは、食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力するようにしてもよい。
　第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。また、ニューラルネットワークとして畳み込みニューラルネットワークを用いることもできる。
　消化器官の内視鏡画像による疾患の診断支援システムは、各手段としてコンピュータを動作させるためのもの消化器官の内視鏡画像による診断支援プログラムを備えている。また、消化器官の内視鏡画像による診断支援プログラムは、コンピュータ読み取り可能な記録媒体に記憶しておくことができる。
［実施形態７］
　実施形態７のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法について図２５を参照して、説明する。実施形態７では、実施形態１～４で説明したニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法を利用することができる。S１１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練する。Ｓ１２では、訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力する。
［実施形態８］
　実施形態８のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム、消化器官の内視鏡画像による消化器官の部位の判別プログラム、及び、コンピュータ読み取り可能な記録媒体について図２６を参照して、説明する。実施形態８では、実施形態１～４で説明したニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムを利用することができる。実施形態８の消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部４０と、出力部６０と、ニューラルネットワークが組み込まれたコンピュータ５０と、を有する。コンピュータ５０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域５１と、第１の内視鏡画像に対応する、消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域５２と、ニューラルネットワークプログラムを記憶する第３の記憶領域５３と、を備える。第３の記憶領域５３に記憶されたニューラルネットワークプログラムは、第１の記憶領域５１に記憶されている第１の内視鏡画像と、第２の記憶領域５２に記憶されている確定情報とに基いて訓練されており、内視鏡画像入力部４０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を出力部６０に出力する。
　消化器官の内視鏡画像による消化器官の部位の判別システムは、各手段として動作させるためのものである、消化器官の内視鏡画像による消化器官の部位の判別プログラムを備えている。また、消化器官の内視鏡画像による消化器官の部位の判別プログラムは、コンピュータ読み取り可能な記録媒体に記憶させることができる。
　１０…内視鏡画像入力部
　２０…コンピュータ
　２１…第１の記憶領域
　２２…第２の記憶領域
　２３…第３の記憶領域
　３０…出力部
　４０…内視鏡画像入力部
　５０…コンピュータ
　５１…第１の記憶領域
　５２…第２の記憶領域
　５３…第３の記憶領域
　６０…出力部

Claims (36)

  1. 　ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
    　消化器官の第１の内視鏡画像と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
    を用いてニューラルネットワークを訓練し、
    　前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  2. 　前記第１の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする、請求項１に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  3. 　前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする、請求項１又は２に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  4. 　前記部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする、請求項３に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  5. 　前記部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする、請求項３又は４に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  6. 　前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする、請求項５に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  7. 　前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする、請求項５に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  8. 　前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにされていることを特徴とする、請求項３～７のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  9. 　前記訓練されたニューラルネットワークは、前記第２の内視鏡画像が撮像された部位に対応する情報が出力可能とされていることを特徴とする、請求項３～８のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  10. 　前記訓練されたニューラルネットワークは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする、請求項９に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  11. 　前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする、請求項１～１０のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  12. 　前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする、請求項１～１０のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  13. 　前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする、請求項１～１０のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  14. 　前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１～１３のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  15. 　前記ニューラルネットワークとして畳み込みニューラルネットワークを用いることを特徴とする、請求項１～１４のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
  16. 　内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
    　前記コンピュータは、
    　消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
    　前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
    　前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、
    を備え、
    　前記ニューラルネットワークプログラムは、
    　前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
    　前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを前記出力部に出力することを特徴とする、消化器官の内視鏡画像による疾患の診断支援システム。
  17. 　前記第１の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする、請求項１６に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  18. 　前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする、請求項１６又は１７に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  19. 　前記部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする、請求項１８に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  20. 　前記部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする、請求項１８又は１９に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  21. 　前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする、請求項２０に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  22. 　前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする、請求項２０に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  23. 　前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合には、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における訓練／検証データの数が実質的に等しくなるようにされていることを特徴とする、請求項１６～２２のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  24. 　前記訓練されたニューラルネットワークプログラムは、前記第２の内視鏡画像が撮像された部位に対応する情報が出力可能であることを特徴とする、請求項１６～２３のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  25. 　前記訓練されたニューラルネットワークプログラムは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする、請求項２４に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  26. 　前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする、請求項１６～２５のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
  27. 　前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークプログラムは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする、請求項１６～２５のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  28. 　前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする、請求項１６～２５のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  29. 　前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１６～２８のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  30. 　前記ニューラルネットワークが畳み込みニューラルネットワークであることを特徴とする、請求項１６～２９のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
  31. 　請求項１６～３０のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする、消化器官の内視鏡画像による診断支援プログラム。
  32. 　請求項３１に記載の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。
  33. 　ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法であって、
    　消化器官の第１の内視鏡画像と、
    　前記第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練し、
    　前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法。
  34. 　内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による消化器官の部位の判別システムであって、
    　前記コンピュータは、
    　消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
    　前記第１の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域と、
    　前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、
    を備え、
    　前記ニューラルネットワークプログラムは、
    　前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定情報とに基いて訓練されており、
    　前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム。
  35. 　請求項３４に記載の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段として動作させるためのものであることを特徴とする、消化器官の内視鏡画像による消化器官の部位の判別プログラム。
  36. 　請求項３５に記載の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。
PCT/JP2018/018316 2017-06-09 2018-05-11 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 Ceased WO2018225448A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880037797.9A CN111278348A (zh) 2017-06-09 2018-05-11 基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质
US16/620,861 US11270433B2 (en) 2017-06-09 2018-05-11 Disease diagnosis support method employing endoscopic images of a digestive organ, a diagnosis support system, a diagnosis support program and a computer-readable recording medium having the diagnosis support program stored therein
SG11201911791RA SG11201911791RA (en) 2017-06-09 2018-05-11 A disease diagnosis support method employing endoscopic images of a digestive organ, a diagnosis support system, a diagnosis support program and a computer-readable recording medium having the diagnosis support program stored therein
JP2019523412A JP6875709B2 (ja) 2017-06-09 2018-05-11 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017114792 2017-06-09
JP2017-114792 2017-06-09
JP2017213311 2017-11-02
JP2017-213311 2017-11-02

Publications (1)

Publication Number Publication Date
WO2018225448A1 true WO2018225448A1 (ja) 2018-12-13

Family

ID=64567036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018316 Ceased WO2018225448A1 (ja) 2017-06-09 2018-05-11 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Country Status (6)

Country Link
US (1) US11270433B2 (ja)
JP (2) JP6875709B2 (ja)
CN (1) CN111278348A (ja)
SG (1) SG11201911791RA (ja)
TW (1) TW201902411A (ja)
WO (1) WO2018225448A1 (ja)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
CN111353547A (zh) * 2020-03-06 2020-06-30 重庆金山医疗技术研究院有限公司 一种基于深度学习的图片处理方法、设备及系统
WO2020170791A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置及び方法
WO2020174778A1 (ja) * 2019-02-28 2020-09-03 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
JPWO2021020187A1 (ja) * 2019-07-26 2021-02-04
JP2021018582A (ja) * 2019-07-19 2021-02-15 株式会社ニコン 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム
CN112669254A (zh) * 2019-10-16 2021-04-16 中国医药大学附设医院 基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统
JPWO2021149552A1 (ja) * 2020-01-20 2021-07-29
JP2021519663A (ja) * 2018-10-30 2021-08-12 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 内視鏡画像の処理方法、システム、コンピュータデバイス及びコンピュータプログラム
WO2021181564A1 (ja) * 2020-03-11 2021-09-16 オリンパス株式会社 処理システム、画像処理方法及び学習方法
JPWO2021206170A1 (ja) * 2020-04-10 2021-10-14
JPWO2021220822A1 (ja) * 2020-04-27 2021-11-04
JP2022501595A (ja) * 2018-09-20 2022-01-06 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 標本分類のための仮説および検証ネットワークおよび方法
JP2022047877A (ja) * 2020-09-14 2022-03-25 学校法人慶應義塾 人工多能性幹細胞選別装置、人工多能性幹細胞選別方法、及びプログラム
JPWO2022074992A1 (ja) * 2020-10-09 2022-04-14
CN114664410A (zh) * 2022-03-11 2022-06-24 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质
US20220211251A1 (en) * 2019-09-27 2022-07-07 Fujifilm Corporation Image processing device, endoscope system, and method of operating image processing device
CN115052510A (zh) * 2020-02-07 2022-09-13 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理方法
JP2022545124A (ja) * 2019-08-23 2022-10-25 国▲華▼ 王 深層学習に基づく消化管早期癌診断補助システム及び検査装置
JP2023500838A (ja) * 2019-10-31 2023-01-11 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 自動診断分析システムにおいて検体の特性評価中に患者情報を保護するための方法および装置
CN116012367A (zh) * 2023-02-14 2023-04-25 山东省人工智能研究院 一种基于深度学习的胃部胃黏膜特征及位置识别方法
JP2023067230A (ja) * 2021-10-29 2023-05-16 国立大学法人東海国立大学機構 医用画像観察支援装置
EP4088642A4 (en) * 2020-02-18 2023-06-07 Sony Olympus Medical Solutions Inc. LEARNING DEVICE AND MEDICAL IMAGE PROCESSING DEVICE
JP2023087014A (ja) * 2019-02-08 2023-06-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2024075240A1 (ja) * 2022-10-06 2024-04-11 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
EP4176794A4 (en) * 2020-07-06 2024-06-12 Aillis Inc. Processing device, processing program, processing method, and processing system
WO2024142290A1 (ja) * 2022-12-27 2024-07-04 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
JP2024138329A (ja) * 2020-02-03 2024-10-08 国立大学法人浜松医科大学 消化管粘膜からの検体採取法
JP2025514224A (ja) * 2022-04-27 2025-05-02 ジャイラス エーシーエムアイ インク ディー／ビー／エー オリンパス サージカル テクノロジーズ アメリカ 複数の順序付けされた分類モジュールを有するシステム

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11141100B2 (en) 2015-12-23 2021-10-12 Coloplast A/S Moisture assessment system and method for wound care
CN111655116A (zh) * 2017-10-30 2020-09-11 公益财团法人癌研究会 图像诊断辅助装置、资料收集方法、图像诊断辅助方法及图像诊断辅助程序
AU2018391323B2 (en) 2017-12-22 2024-03-21 Coloplast A/S Base plate and sensor assembly of an ostomy system having a leakage sensor
EP3727236B1 (en) 2017-12-22 2025-03-19 Coloplast A/S A base plate for an ostomy appliance and a method for manufacturing it
CN111465374B (zh) 2017-12-22 2022-07-29 科洛普拉斯特公司 造口术系统的附属装置以及用于传达操作状态的相关方法
US11918506B2 (en) 2017-12-22 2024-03-05 Coloplast A/S Medical appliance with selective sensor points and related methods
CN111447896B (zh) 2017-12-22 2023-03-28 科洛普拉斯特公司 用于造口术器具的底板、用于造口术器具的监测装置和系统
AU2018391393B2 (en) 2017-12-22 2024-08-22 Coloplast A/S Coupling part with a hinge for an ostomy base plate and sensor assembly part
WO2019120430A1 (en) 2017-12-22 2019-06-27 Coloplast A/S Data transmission schemes for an ostomy system, monitor device for an ostomy appliance and related methods
EP4248920A3 (en) 2017-12-22 2023-12-27 Coloplast A/S Ostomy appliance system, monitor device, and method of monitoring an ostomy appliance
US10500084B2 (en) 2017-12-22 2019-12-10 Coloplast A/S Accessory devices of an ostomy system, and related methods for communicating leakage state
EP4595934A3 (en) 2017-12-22 2025-11-05 Coloplast A/S Monitor device of an ostomy system having a connector for coupling to both a base plate and an accessory device
EP4042985B1 (en) 2017-12-22 2025-10-29 Coloplast A/S Processing schemes for an ostomy system, monitor device for an ostomy appliance and related methods
CA3090672A1 (en) * 2018-02-06 2019-08-15 The Regents Of The University Of Michigan Systems and methods for analysis and remote interpretation of optical histologic images
EP3755283B1 (en) 2018-02-20 2024-05-01 Coloplast A/S Sensor assembly part and a base plate and an ostomy pouch for an ostomy appliance and a device for connecting to a base plate and/or a sensor assembly part
US12029582B2 (en) 2018-02-20 2024-07-09 Coloplast A/S Accessory devices of a medical system, and related methods for changing a medical appliance based on future operating state
WO2019174697A1 (en) 2018-03-15 2019-09-19 Coloplast A/S Apparatus and methods for navigating ostomy appliance user to changing room
EP3764955B1 (en) 2018-03-15 2024-01-10 Coloplast A/S Methods of configuring ostomy notifications and related accessory devices
WO2019198637A1 (ja) * 2018-04-13 2019-10-17 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JP7017198B2 (ja) * 2018-06-22 2022-02-08 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
KR102210806B1 (ko) * 2018-10-02 2021-02-01 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
CN117814732A (zh) * 2018-12-04 2024-04-05 Hoya株式会社 模型生成方法
BR112021011496A2 (pt) * 2018-12-20 2021-08-31 Coloplast A/S Método para classificar uma condição de ostomia
JP7460630B2 (ja) 2018-12-20 2024-04-02 コロプラスト アクティーゼルスカブ 画像データ変換によるオストミー条件分類、装置及び関連する方法
KR102825171B1 (ko) 2019-01-31 2025-06-25 컬러플라스트 에이/에스 장루ㆍ요루 기구용 센서 패치
WO2020156625A1 (en) 2019-01-31 2020-08-06 Coloplast A/S A stomal sensor patch
WO2020156624A1 (en) 2019-01-31 2020-08-06 Coloplast A/S Application of a stomal sensor patch
EP3930642B1 (en) 2019-02-28 2023-10-25 Coloplast A/S A sensor patch for attachment to a base plate
TWI711050B (zh) * 2019-03-12 2020-11-21 宏碁股份有限公司 醫療影像辨識裝置及醫療影像辨識方法
WO2020194568A1 (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
US11779222B2 (en) 2019-07-10 2023-10-10 Compal Electronics, Inc. Method of and imaging system for clinical sign detection
US11232570B2 (en) * 2020-02-13 2022-01-25 Olympus Corporation System and method for diagnosing severity of gastritis
WO2021176664A1 (ja) * 2020-03-05 2021-09-10 オリンパス株式会社 検査支援システム、検査支援方法、及び、プログラム
US11478124B2 (en) * 2020-06-09 2022-10-25 DOCBOT, Inc. System and methods for enhanced automated endoscopy procedure workflow
KR102492463B1 (ko) * 2020-06-24 2023-01-27 주식회사 뷰노 병변 판독 결과 표시 방법
EP4222751A1 (en) * 2020-09-30 2023-08-09 Grail, LLC Systems and methods for using a convolutional neural network to detect contamination
US11100373B1 (en) 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
CN112508827B (zh) * 2020-11-06 2022-04-22 中南大学湘雅医院 一种基于深度学习的融合多场景的危及器官的分割方法
CN112396591A (zh) * 2020-11-25 2021-02-23 暨南大学附属第一医院（广州华侨医院） 一种基于腰椎x线图像的骨质疏松智能评估方法
TWI767456B (zh) * 2020-12-18 2022-06-11 陳階曉 黃疸分析系統及其方法
CN113539476A (zh) * 2021-06-02 2021-10-22 复旦大学 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统
CN113610847B (zh) * 2021-10-08 2022-01-04 武汉楚精灵医疗科技有限公司 一种白光模式下胃部标志物评估方法及系统
EP4434435A4 (en) 2021-11-18 2025-01-15 NEC Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM
KR102714219B1 (ko) * 2021-12-24 2024-10-08 주식회사 인피니트헬스케어 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
CN113989284B (zh) * 2021-12-29 2022-05-10 广州思德医疗科技有限公司 一种幽门螺杆菌辅助检测系统及检测装置
US12062169B2 (en) 2022-04-25 2024-08-13 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-functional computer-aided gastroscopy system optimized with integrated AI solutions and method
CN117036815B (zh) * 2023-08-17 2025-11-21 天津御锦人工智能医疗科技有限公司 消化道镜下病变特征识别系统
WO2025154131A1 (ja) * 2024-01-15 2025-07-24 日本電気株式会社 病理診断支援装置、病理診断支援方法、及び、記録媒体
CN118743531B (zh) * 2024-06-17 2025-06-20 山东大学齐鲁医院 一种幽门螺旋杆菌荧光诊断辅助系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165757A (ja) * 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
JP2009095644A (ja) * 2007-04-12 2009-05-07 Fujifilm Corp 画像認識結果判定装置、方法、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4409166B2 (ja) 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
JP5094036B2 (ja) 2006-04-17 2012-12-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入方向検出装置
JP5831901B2 (ja) 2011-11-28 2015-12-09 国立大学法人大阪大学 誘導ラマン散乱顕微鏡
WO2016094330A2 (en) * 2014-12-08 2016-06-16 20/20 Genesystems, Inc Methods and machine learning systems for predicting the liklihood or risk of having cancer
CN104732243B (zh) 2015-04-09 2018-04-17 西安电子科技大学 基于cnn的sar目标识别方法
US10861151B2 (en) * 2015-08-07 2020-12-08 The Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
JP6528608B2 (ja) 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
CN108292366B (zh) * 2015-09-10 2022-03-18 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
JP6545591B2 (ja) 2015-09-28 2019-07-17 富士フイルム富山化学株式会社 診断支援装置、方法及びコンピュータプログラム
WO2017055412A1 (en) * 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
CN205665697U (zh) 2016-04-05 2016-10-26 陈进民 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统
CN106372390B (zh) 2016-08-25 2019-04-02 汤一平 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN110049709B (zh) * 2016-12-07 2022-01-11 奥林巴斯株式会社 图像处理装置
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165757A (ja) * 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
JP2009095644A (ja) * 2007-04-12 2009-05-07 Fujifilm Corp 画像認識結果判定装置、方法、およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
INUI, MASAYUKI ET AL.: "Examining Stomach Cancer Risks: Future Stomach Cancer Treatments Using ABC Examination", BIKEN JOURNAL: JOURNAL OF RESEARCH INSTITUTE FOR MICROBIAL DISEASES, vol. 37, no. 3, 2014, pages 3 - 11 *
SEKINO, MASANORI ET AL.: "Improved Convolutional Neural Network Character Recognition Based on Visual Information Processing Mode l", FUJI XEROX TECHNICAL REPORT, vol. 23, 2014, pages 82 - 88 *

Cited By (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190103937A (ko) * 2018-02-28 2019-09-05 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
KR102237441B1 (ko) 2018-02-28 2021-04-07 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
US12504435B2 (en) 2018-09-20 2025-12-23 Siemens Healthcare Diagnostics Inc. Hypothesizing and verification networks and methods for specimen classification
JP2022501595A (ja) * 2018-09-20 2022-01-06 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 標本分類のための仮説および検証ネットワークおよび方法
JP7203206B2 (ja) 2018-09-20 2023-01-12 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 標本分類のための仮説および検証ネットワークおよび方法
EP3876190A4 (en) * 2018-10-30 2021-12-29 Tencent Technology (Shenzhen) Company Limited Endoscopic image processing method and system and computer device
JP7214291B2 (ja) 2018-10-30 2023-01-30 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム
US12220102B2 (en) 2018-10-30 2025-02-11 Tencent Technology (Shenzhen) Company Limited Endoscopic image processing
US11849914B2 (en) 2018-10-30 2023-12-26 Tencent Technology (Shenzhen) Company Limited Endoscopic image processing method and system, and computer device
JP2021519663A (ja) * 2018-10-30 2021-08-12 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 内視鏡画像の処理方法、システム、コンピュータデバイス及びコンピュータプログラム
JP2023087014A (ja) * 2019-02-08 2023-06-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
US12303097B2 (en) 2019-02-08 2025-05-20 Fujifilm Corporation Medical image processing apparatus, endoscope system, and medical image processing method
JP7629050B2 (ja) 2019-02-08 2025-02-12 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
US12035879B2 (en) 2019-02-08 2024-07-16 Fujifilm Corporation Medical image processing apparatus, endoscope system, and medical image processing method
JP7630560B2 (ja) 2019-02-19 2025-02-17 富士フイルム株式会社 医療画像処理装置、医療画像処理システム、医療画像処理装置の作動方法及び医療画像処理プログラム
US12053145B2 (en) 2019-02-19 2024-08-06 Fujifilm Corporation Medical image processing apparatus and method
JP2023115352A (ja) * 2019-02-19 2023-08-18 富士フイルム株式会社 医療画像処理装置、医療画像処理システム、医療画像処理装置の作動方法及び医療画像処理プログラム
JP7308258B2 (ja) 2019-02-19 2023-07-13 富士フイルム株式会社 医療画像処理装置及び医療画像処理装置の作動方法
WO2020170791A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置及び方法
JPWO2020170791A1 (ja) * 2019-02-19 2021-12-02 富士フイルム株式会社 医療画像処理装置及び方法
CN113490455B (zh) * 2019-02-28 2024-09-20 富士胶片株式会社 超声波内窥镜系统及超声波内窥镜系统的工作方法
CN113490455A (zh) * 2019-02-28 2021-10-08 富士胶片株式会社 超声波内窥镜系统及超声波内窥镜系统的工作方法
WO2020174778A1 (ja) * 2019-02-28 2020-09-03 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
EP3932323A4 (en) * 2019-02-28 2022-04-13 FUJIFILM Corporation ULTRASOUND ENDOSCOPY SYSTEM AND OPERATING PROCEDURES FOR AN ULTRASOUND ENDOSCOPY SYSTEM
JP7218425B2 (ja) 2019-02-28 2023-02-06 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
JPWO2020174778A1 (ja) * 2019-02-28 2021-12-16 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
JP2021018582A (ja) * 2019-07-19 2021-02-15 株式会社ニコン 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム
JPWO2021020187A1 (ja) * 2019-07-26 2021-02-04
WO2021020187A1 (ja) * 2019-07-26 2021-02-04 知明 久慈 医療システム、医療デバイス及び医療プログラム
JP7573093B2 (ja) 2019-08-23 2024-10-24 国▲華▼ 王 深層学習に基づく消化管早期癌検査診断補助装置
JP2024028975A (ja) * 2019-08-23 2024-03-05 国▲華▼ 王 深層学習に基づく消化管早期癌診断補助システム及び検査装置
JP2022545124A (ja) * 2019-08-23 2022-10-25 国▲華▼ 王 深層学習に基づく消化管早期癌診断補助システム及び検査装置
JP7404509B2 (ja) 2019-08-23 2023-12-25 国▲華▼ 王 深層学習に基づく消化管早期癌診断補助システム及び検査装置
US12394045B2 (en) 2019-08-23 2025-08-19 Guohua Wang Deep learning based auxiliary diagnosis system for early gastrointestinal cancer and inspection device
US20220211251A1 (en) * 2019-09-27 2022-07-07 Fujifilm Corporation Image processing device, endoscope system, and method of operating image processing device
CN112669254A (zh) * 2019-10-16 2021-04-16 中国医药大学附设医院 基于全身骨扫描影像的深度学习摄护腺癌骨转移辨识系统
JP7373659B2 (ja) 2019-10-31 2023-11-02 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 自動診断分析システムにおいて検体の特性評価中に患者情報を保護するための方法および装置
US12299172B2 (en) 2019-10-31 2025-05-13 Siemens Healthcare Diagnostics Inc. Methods and apparatus for protecting patient information during characterization of a specimen in an automated diagnostic analysis system
JP2023500838A (ja) * 2019-10-31 2023-01-11 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド 自動診断分析システムにおいて検体の特性評価中に患者情報を保護するための方法および装置
JPWO2021149552A1 (ja) * 2020-01-20 2021-07-29
CN114945315A (zh) * 2020-01-20 2022-08-26 富士胶片株式会社 医疗图像处理装置、医疗图像处理装置的动作方法、及内窥镜系统
JP7558982B2 (ja) 2020-01-20 2024-10-01 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2021149552A1 (ja) * 2020-01-20 2021-07-29 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
JP2024138329A (ja) * 2020-02-03 2024-10-08 国立大学法人浜松医科大学 消化管粘膜からの検体採取法
CN115052510A (zh) * 2020-02-07 2022-09-13 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理方法
EP4088642A4 (en) * 2020-02-18 2023-06-07 Sony Olympus Medical Solutions Inc. LEARNING DEVICE AND MEDICAL IMAGE PROCESSING DEVICE
US12213643B2 (en) 2020-02-18 2025-02-04 Sony Olympus Medical Solutions Inc. Learning device and medical image processing device
CN111353547B (zh) * 2020-03-06 2023-07-04 重庆金山医疗技术研究院有限公司 一种基于深度学习的图片处理方法、设备及系统
CN111353547A (zh) * 2020-03-06 2020-06-30 重庆金山医疗技术研究院有限公司 一种基于深度学习的图片处理方法、设备及系统
JPWO2021181564A1 (ja) * 2020-03-11 2021-09-16
JP7451680B2 (ja) 2020-03-11 2024-03-18 オリンパス株式会社 処理システム、画像処理方法、学習方法及び処理装置
US12169963B2 (en) 2020-03-11 2024-12-17 Olympus Corporation Processing system, image processing method, learning method, and processing device
WO2021181564A1 (ja) * 2020-03-11 2021-09-16 オリンパス株式会社 処理システム、画像処理方法及び学習方法
CN115279247A (zh) * 2020-03-11 2022-11-01 奥林巴斯株式会社 处理系统、图像处理方法以及学习方法
JPWO2021206170A1 (ja) * 2020-04-10 2021-10-14
WO2021206170A1 (ja) * 2020-04-10 2021-10-14 公益財団法人がん研究会 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル
JPWO2021220822A1 (ja) * 2020-04-27 2021-11-04
WO2021220822A1 (ja) * 2020-04-27 2021-11-04 公益財団法人がん研究会 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル
JP7550409B2 (ja) 2020-04-27 2024-09-13 公益財団法人がん研究会 画像診断装置、画像診断方法、および画像診断プログラム
EP4176794A4 (en) * 2020-07-06 2024-06-12 Aillis Inc. Processing device, processing program, processing method, and processing system
JP2022047877A (ja) * 2020-09-14 2022-03-25 学校法人慶應義塾 人工多能性幹細胞選別装置、人工多能性幹細胞選別方法、及びプログラム
JPWO2022074992A1 (ja) * 2020-10-09 2022-04-14
WO2022074992A1 (ja) * 2020-10-09 2022-04-14 富士フイルム株式会社 医療画像処理装置およびその作動方法
JP7728002B2 (ja) 2021-10-29 2025-08-22 国立大学法人東海国立大学機構 医用画像観察支援装置
JP2023067230A (ja) * 2021-10-29 2023-05-16 国立大学法人東海国立大学機構 医用画像観察支援装置
CN114664410A (zh) * 2022-03-11 2022-06-24 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质
JP2025514224A (ja) * 2022-04-27 2025-05-02 ジャイラス エーシーエムアイ インク ディー／ビー／エー オリンパス サージカル テクノロジーズ アメリカ 複数の順序付けされた分類モジュールを有するシステム
WO2024075411A1 (ja) * 2022-10-06 2024-04-11 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024075240A1 (ja) * 2022-10-06 2024-04-11 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024142290A1 (ja) * 2022-12-27 2024-07-04 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024142490A1 (ja) * 2022-12-27 2024-07-04 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
CN116012367A (zh) * 2023-02-14 2023-04-25 山东省人工智能研究院 一种基于深度学习的胃部胃黏膜特征及位置识别方法
CN116012367B (zh) * 2023-02-14 2023-09-12 山东省人工智能研究院 一种基于深度学习的胃部胃黏膜特征及位置识别方法

Also Published As

Publication number Publication date
JPWO2018225448A1 (ja) 2020-07-30
JP6875709B2 (ja) 2021-05-26
SG11201911791RA (en) 2020-01-30
US20200279368A1 (en) 2020-09-03
TW201902411A (zh) 2019-01-16
CN111278348A (zh) 2020-06-12
US11270433B2 (en) 2022-03-08
JP2021112593A (ja) 2021-08-05
JP7216376B2 (ja) 2023-02-01

Similar Documents

Publication Publication Date Title
JP7216376B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
US12048413B2 (en) Diagnostic assistance method, diagnostic assistance system, diagnostic assistance program, and computer-readable recording medium storing therein diagnostic assistance program for disease based on endoscopic image of digestive organ
JP7037220B2 (ja) 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
EP3811845A1 (en) Method of assisting disease diagnosis based on endoscope image of digestive organ, diagnosis assistance system, diagnosis assistance program, and computer-readable recording medium having said diagnosis assistance program stored thereon
WO2021054477A2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
Namikawa et al. Utilizing artificial intelligence in endoscopy: a clinician’s guide
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
US20230255467A1 (en) Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model
JPWO2020121906A1 (ja) 医療支援システム、医療支援装置及び医療支援方法
Li et al. Intelligent detection endoscopic assistant: An artificial intelligence-based system for monitoring blind spots during esophagogastroduodenoscopy in real-time
Saraiva et al. Artificial intelligence and high-resolution anoscopy: Automatic identification of anal squamous cell carcinoma precursors using a convolutional neural network
Oğuz et al. Weighted ensemble deep learning approach for classification of gastrointestinal diseases in colonoscopy images aided by explainable AI
Cychnerski et al. ERS: a novel comprehensive endoscopy image dataset for machine learning, compliant with the MST 3.0 specification
JP2023079866A (ja) 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置
Wilson et al. New paradigms in polypectomy: resect and discard, diagnose and disregard
Schreuder et al. Algorithm combining virtual chromoendoscopy features for colorectal polyp classification
Ragu et al. An insight on using deep learning algorithm in diagnosing gastritis
Chen et al. Constructing and validating vision transformer-based assisted detection models for atrophic gastritis: A retrospective study
Landmark for Autonomous Endoscopy Examination

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18814100

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019523412

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18814100

Country of ref document: EP

Kind code of ref document: A1