[go: up one dir, main page]

WO2024201746A1 - 表示装置、表示方法、及び、プログラム - Google Patents

表示装置、表示方法、及び、プログラム Download PDF

Info

Publication number
WO2024201746A1
WO2024201746A1 PCT/JP2023/012638 JP2023012638W WO2024201746A1 WO 2024201746 A1 WO2024201746 A1 WO 2024201746A1 JP 2023012638 W JP2023012638 W JP 2023012638W WO 2024201746 A1 WO2024201746 A1 WO 2024201746A1
Authority
WO
WIPO (PCT)
Prior art keywords
score
display
image data
unit
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/012638
Other languages
English (en)
French (fr)
Inventor
新平 合田
匠真 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/012638 priority Critical patent/WO2024201746A1/ja
Publication of WO2024201746A1 publication Critical patent/WO2024201746A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • Patent Document 1 discloses a system that allows medical staff to check and review in real time during an endoscopic examination. According to Patent Document 1, if an area suspected of being a lesion is present in a video frame, the system calculates the position coordinates of the area suspected of being a lesion. The system also generates display information including the presence or absence of an area suspected of being a lesion and the position coordinates of the area suspected of being a lesion. The user display then displays the area suspected of being a lesion on the video frame based on the display information so that it is visually distinct, and displays the position coordinates of the area suspected of being a lesion so that they are visually linked to the area suspected of being a lesion.
  • Patent Document 1 does not anticipate reviewing the AI score calculated after the examination. This makes it difficult to appropriately review the AI score, and there is a risk that it may be difficult to utilize the AI score after the examination. Thus, there has been an issue that it may be difficult to review the analysis results after an endoscopic examination.
  • one of the objectives of the present invention is to provide a display device, a display method, and a recording medium that can solve the above-mentioned problems.
  • a display method includes: an information processing device having a storage device that stores position information of an endoscope and a score calculated based on image data acquired by the endoscope in association with each other, The system is configured to receive an instruction to display, and in response to the instruction, display the scores in chronological order for each specified area corresponding to the location information, based on the location information and the scores stored in the storage device.
  • a recording medium includes: An information processing device having a storage device that stores position information of an endoscope and a score calculated based on image data acquired by the endoscope in association with each other, A computer-readable recording medium having recorded thereon a program for implementing a process of receiving an instruction to perform a display and, in response to the instruction, displaying the score in chronological order for each specified area corresponding to the location information based on the location information and the score stored in the storage device.
  • FIG. 11 is a diagram showing an example of position/score information. 11 is a diagram for explaining an example of processing by a position information acquisition unit; FIG. 11A and 11B are diagrams for explaining examples of display by a display unit. 10 is a flowchart showing an example of the operation of the display device. 10 is a flowchart showing an example of the operation of the display device.
  • FIG. 13 is a block diagram showing another configuration example of the display device. 13A and 13B are diagrams for explaining other display examples by the display unit.
  • FIG. 11 is a diagram illustrating an example of a hardware configuration of a display device according to a second embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing a configuration example of a display device.
  • FIG. 1 is a block diagram showing an example of the configuration of a display device 100.
  • Fig. 2 is a diagram showing an example of position/score information 132.
  • Fig. 3 is a diagram for explaining an example of processing by the position information acquisition unit 144.
  • Fig. 4 is a diagram for explaining an example of display by the display unit 147.
  • Figs. 5 and 6 are flowcharts showing an example of the operation of the display device 100.
  • Fig. 7 is a block diagram showing another example of the configuration of the display device 100.
  • Fig. 8 is a diagram for explaining another example of display by the display unit 147.
  • the AI score refers to a score that can be obtained by inputting image data acquired from the endoscope 110 into a trained model.
  • the AI score indicates a value according to whether or not a problem has occurred in the area indicated by the image data.
  • the AI score includes a lesion certainty level indicating whether or not a lesion has occurred, and an inflammation score such as the IBD (Inflammatory Bowel Disease) score, which is a score that measures the degree of inflammation in the large intestine.
  • the AI score may also include size information indicating the size of the lesion, qualitative information indicating the type of lesion, and treatment information indicating whether or not treatment is being performed.
  • the display device 100 is an information processing device that is connected to an endoscope 110 and the like, and calculates an AI score based on image data acquired from the endoscope 110.
  • the display device 100 also has a function for managing the calculated AI score and the like so that the visualized analysis results can be reviewed at any time, such as after an endoscopic examination.
  • FIG. 1 shows an example of the configuration of the display device 100. Referring to FIG. 1, the display device 100 has, as its main components, for example, an endoscope 110, a screen display unit 120, a memory unit 130, and an arithmetic processing unit 140.
  • FIG. 1 illustrates an example in which the functions of the display device 100 are realized using one information processing device. However, at least some of the functions of the display device 100 may be realized using multiple information processing devices, for example, on the cloud.
  • the display device 100 may have configurations other than those illustrated above, such as an operation input unit consisting of operation input devices such as a keyboard and a mouse, or may not include some of the configurations illustrated above.
  • the configuration of the endoscope 110 is not particularly limited.
  • the endoscope 110 may be a general type.
  • the screen display unit 120 is made up of a screen display device such as a liquid crystal display or an organic electroluminescence (EL) display.
  • the screen display unit 120 can display various information stored in the memory unit 130 on the screen in response to instructions from the calculation processing unit 140.
  • the storage unit 130 is a storage device such as a hard disk or memory.
  • the storage unit 130 stores processing information and programs 134 necessary for various processes in the arithmetic processing unit 140.
  • the programs 134 are loaded into the arithmetic processing unit 140 and executed to realize various processing units.
  • the programs 134 are loaded in advance from an external device or recording medium via a data input/output function such as a communication I/F unit, and are stored in the storage unit 130. Examples of the main information stored in the storage unit 130 include image data information 131, position/score information 132, and statistical information 133.
  • the image data information 131 includes image data acquired from the endoscope 110.
  • the image data information 131 may include time-series image data acquired from the endoscope 110.
  • the image data information 131 associates the image data with the time at which the image data was acquired.
  • the image data information 131 is updated in response to the image acquisition unit 141 acquiring image data from the endoscope 110, etc.
  • the position/score information 132 includes an AI score calculated by an AI score calculation unit such as a lesion certainty calculation unit 142 or an inflammation score calculation unit 143 described below, and position information acquired by a position information acquisition unit 144.
  • an AI score calculation unit such as a lesion certainty calculation unit 142 or an inflammation score calculation unit 143 described below
  • position information acquired by a position information acquisition unit 144 For example, the position/score information 132 is updated when an information management unit 145 described below associates the AI score with the position information and stores it in the memory unit 130.
  • the position/score information 132 associates time, lesion certainty, inflammation score, and position information.
  • the time indicates the time when the AI score or the position information was acquired, etc.
  • the time may be the acquisition time of the image data used to acquire the AI score or the position information.
  • the time may be the elapsed time since the endoscope 110 started acquiring the image data, etc.
  • the lesion certainty is a value indicating whether or not a lesion has occurred.
  • the lesion certainty indicates that the larger the value, the greater the possibility that a lesion has occurred.
  • the lesion certainty is calculated by the lesion certainty calculation unit 142 based on the image data.
  • the inflammation score indicates a value such as the IBD score, which is a score that measures the degree of inflammation in the large intestine. For example, the inflammation score indicates that the larger the value, the greater the degree of inflammation.
  • the inflammation score is calculated by the inflammation score calculation unit 143 based on the image data.
  • the position information indicates the position where the image data was acquired. For example, the position information indicates the area of the large intestine where the endoscope 110 was located when the image data was acquired, such as the cecum, ascending colon, or transverse colon. As will be described later, the position information is acquired by the position information acquisition unit 144 based on the image data, etc. Note that in the position/score information 132, any information other than the above examples may be associated with time, etc.
  • Statistical information 133 indicates the statistical values of the AI score for each area or for the entire large intestine.
  • statistical information 133 includes the average and maximum values of the lesion certainty and inflammation scores, and the threshold exceeding time indicating the time during which the threshold is exceeded.
  • Statistical information 133 may include statistical values other than those exemplified above.
  • Statistical information 133 is updated in response to the calculation of statistical information by statistical information calculation unit 146 described below, etc.
  • the arithmetic processing unit 140 has an arithmetic device such as a CPU (Central Processing Unit) and its peripheral circuits.
  • the arithmetic processing unit 140 reads and executes the program 134 from the storage unit 130, thereby implementing various processing units by having the above hardware and the program 134 work together.
  • the main processing units implemented by the arithmetic processing unit 140 include, for example, an image acquisition unit 141, a lesion certainty calculation unit 142, an inflammation score calculation unit 143, a position information acquisition unit 144, an information management unit 145, a statistical information calculation unit 146, and a display unit 147.
  • the arithmetic processing unit 140 may have a GPU (Graphic Processing Unit), a DSP (Digital Signal Processor), an MPU (Micro Processing Unit), an FPU (Floating point number Processing Unit), a PPU (Physics Processing Unit), a TPU (Tensor Processing Unit), a quantum processor, a microcontroller, or a combination of these.
  • GPU Graphic Processing Unit
  • DSP Digital Signal Processor
  • MPU Micro Processing Unit
  • FPU Floating point number Processing Unit
  • PPU Physicals Processing Unit
  • TPU Transsor Processing Unit
  • quantum processor a microcontroller, or a combination of these.
  • the image acquisition unit 141 acquires image data acquired by the endoscope 110 from the endoscope 110.
  • the image acquisition unit 141 also stores the acquired image data in the storage unit 130 as image data information 131.
  • the image acquisition unit 141 can associate the image data with the time when the endoscope 110 acquired the image data and store them in the storage unit 130.
  • the lesion certainty calculation unit 142 calculates a lesion certainty, which is a value indicating whether or not a lesion has occurred, based on the image data acquired by the image acquisition unit 141.
  • the lesion certainty calculation unit 142 functions as an AI score calculation unit that calculates the lesion certainty, which is an AI score, based on the image data.
  • the lesion certainty calculation unit 142 has a model trained to output a lesion certainty in response to input of image data by performing machine learning using image data labeled with the presence or absence of a lesion, etc. as training data.
  • the lesion certainty calculation unit 142 can calculate a lesion certainty corresponding to the image data by inputting the image data to the trained model described above.
  • the lesion certainty calculation unit 142 may calculate a lesion certainty based on the image data by a method other than the above example.
  • the inflammation score calculation unit 143 calculates an inflammation score, such as an IBD score, which is a score that measures the degree of inflammation in the large intestine, based on the image data acquired by the image acquisition unit 141.
  • the inflammation score calculation unit 143 functions as an AI score calculation unit that calculates an inflammation score, which is an AI score, based on the image data.
  • the inflammation score calculation unit 143 has a model trained to output an inflammation score in response to input of image data by performing machine learning using image data labeled with the degree of inflammation, etc. as training data.
  • the inflammation score calculation unit 143 can calculate the inflammation score corresponding to the image data by inputting the image data to the trained model described above.
  • the inflammation score calculation unit 143 may calculate the inflammation score based on the image data by a method other than the above example.
  • the position information acquisition unit 144 acquires position information indicating the position of the endoscope 110 when the image data was acquired. For example, the position information acquisition unit 144 acquires information indicating the area of the large intestine in which the endoscope 110 was located when the image data was acquired, such as the cecum, ascending colon, transverse colon, or descending colon.
  • the position information acquisition unit 144 can acquire position information based on image data.
  • the position information acquisition unit 144 has a model that identifies predetermined landmarks such as the ileocecal valve, the hepatic flexure, and the splenic flexure in response to the input of image data.
  • the position information acquisition unit 144 identifies landmarks in the image data by inputting the image data to the trained model as described above. Then, the position information acquisition unit 144 acquires position information in response to the identification result. For example, as described above, the endoscope 110 starts acquiring image data from the cecum portion.
  • the position information acquisition unit 144 identifies whether the position at which the image data was acquired is on the cecum side or the ascending colon side depending on whether the ileocecal valve, which is a landmark, can be identified in the image data. As a result, the position information acquisition unit 144 can acquire position information in response to the identification result. In other words, the position information acquisition unit 144 can acquire either position information indicating that the image data is located in an area called the cecum or position information indicating that the image data is located in an area called the ascending colon in response to the identification result. Furthermore, by identifying the hepatic curvature as a landmark based on the image data, the position information acquisition unit 144 can identify whether the endoscope 110 has moved from the ascending colon to the transverse colon.
  • the position information acquisition unit 144 can acquire position information according to the identification result by identifying a predetermined landmark.
  • the position information acquisition unit 144 may be configured to identify landmarks other than those described above.
  • the above-mentioned model may be trained in advance, for example, by performing machine learning using image data to which labels have been added for each landmark as training data.
  • the position information acquisition unit 144 can acquire position information indicating in which of the areas of the cecum, ascending colon, transverse colon, descending colon, sigmoid colon, and rectum the area is located.
  • the position information acquisition unit 144 may also acquire position information indicating in which of the more subdivided or integrated areas the area is located.
  • the position information acquisition unit 144 may acquire position information indicating in which of the three areas of the ascending colon side, transverse colon side, and descending colon side the area is located.
  • the position information acquisition unit 144 may acquire position information indicating an area other than the above examples.
  • the position information acquisition unit 144 may acquire position information based on the shape information or the like.
  • the position information acquisition unit 144 may be configured to identify the area in which the endoscope 110 is located based on the shape information or the like of the endoscope 110, and acquire position information according to the identification result. In this way, the position information acquisition unit 144 may acquire position information based on something other than image data.
  • the information management unit 145 associates the AI scores calculated by the lesion certainty calculation unit 142 and the inflammation score calculation unit 143 with the location information acquired by the location information acquisition unit 144. For example, the information management unit 145 associates the AI scores and location information based on time. Then, the information management unit 145 stores the association results in the storage unit 130 as location/score information 132.
  • the information management unit 145 can store the position/score information 132 as exemplified in FIG. 2 in the storage unit 130.
  • the information management unit 145 can store the position/score information 132 in which the lesion certainty, inflammation score, and position information are associated for each time in the storage unit 130.
  • the statistical information calculation unit 146 calculates statistical values of the AI score for each area or for the entire large intestine based on the position/score information 132. For example, the statistical information calculation unit 146 calculates the average value, maximum value, and threshold exceeding time of the lesion certainty and inflammation score, which are AI scores, as statistical values. The statistical information calculation unit 146 may calculate statistical values other than those exemplified above. In addition, the statistical information calculation unit 146 stores the calculated statistical values in the memory unit 130 as statistical information 133.
  • the display unit 147 displays the position/score information 132, the statistical information 133, etc. on the screen display unit 120.
  • the display unit 147 displays the position/score information 132, the statistical information 133, etc. on the screen display unit 120 in response to instructions from an operator or the like to the display device 100.
  • the display unit 147 may display at any timing in response to instructions from the operator or the like.
  • FIG. 4 shows an example of display by the display unit 147.
  • the display unit 147 can, as an example, display an organ display area 210, an area display area 220, a score display area 230, a previous area display area 240, a next area display area 250, a statistical information display area 260, and the like on the screen display unit 120.
  • FIG. 4 shows an example of the display of each area, and the location where each area is displayed and the size of each area may be adjusted as appropriate.
  • the display unit 147 may display only some of the areas shown as examples, such as displaying an area other than the organ display area 210 shown as an example in FIG. 4.
  • the organ display area 210 is an area that displays a schematic diagram of the large intestine.
  • the organ display area 210 can display a diagram of the large intestine so that the area currently displayed in the score display area 230 can be distinguished.
  • the organ display area 210 may perform any type of highlighting, such as changing the color of the area currently displayed in the score display area 230.
  • the area display area 220 is an area that displays information indicating the area being displayed in the score display area 230.
  • the area display area 220 indicates that the area being displayed in the score display area 230 is the descending colon.
  • the score display area 230 is an area that displays the AI score in a time series in any area.
  • the lesion certainty and inflammation score which are AI scores, can be displayed in a time series so that they can be distinguished from each other, for example, by displaying them in different colors or lines.
  • the larger the value on the Y axis the larger the AI score.
  • FIG. 4 the larger the value on the Y axis, the larger the AI score.
  • the score display area 230 may display only one of the lesion certainty and inflammation score, which are AI scores, or may display both.
  • the type of AI score displayed in the score display area 230 may be configured to be switchable in any manner, for example, in response to an instruction from an operator of the display device 100.
  • the previous area display area 240 is an area that displays information indicating the area immediately before the area currently displayed in the score display area 230.
  • the next area display area 250 is an area that displays information indicating the area immediately after the area currently displayed in the score display area 230.
  • the area displayed in the score display area 230 may be switched by an operator operating the display device 100 clicking on the previous area display area 240 or the next area display area 250.
  • the statistical information display area 260 is an area that displays information included in the statistical information 133.
  • the statistical information display area 260 displays the average and maximum values of the lesion certainty and inflammation scores, the time over the threshold, and the like.
  • the statistical information display area 260 may display statistical values other than those exemplified above.
  • the statistical information display area 260 may display statistical values for each area, or may display statistical values for multiple areas or the entire large intestine.
  • the display device 100 may be configured so that it can be switched in any manner depending on instructions from the operator to display device 100 as to which statistical values to display, between the statistical values for each area and the other statistical values.
  • FIG. 5 is a flowchart showing an example of the operation of the display device 100 when storing information.
  • the image acquisition unit 141 acquires image data acquired by the endoscope 110 from the endoscope 110 (step S101).
  • the AI score calculation unit calculates an AI score based on the image data (step S102).
  • the lesion certainty calculation unit 142 calculates a lesion certainty, which is a value indicating whether or not a lesion has occurred, based on the image data acquired by the image acquisition unit 141.
  • the inflammation score calculation unit 143 calculates an inflammation score, such as an IBD score, which is a score that measures the degree of inflammation in the large intestine, based on the image data acquired by the image acquisition unit 141.
  • the lesion certainty calculation unit 142 and the inflammation score calculation unit 143 may operate in parallel.
  • the position information acquisition unit 144 acquires position information indicating the position of the endoscope 110 when the image data was acquired (step S103). For example, the position information acquisition unit 144 can acquire the position information based on the image data.
  • the information management unit 145 associates the AI scores calculated by the lesion certainty calculation unit 142 and the inflammation score calculation unit 143 with the location information acquired by the location information acquisition unit 144 and stores them in the storage unit 130 (step S104). For example, the information management unit 145 can associate the AI scores and location information based on time.
  • FIG. 6 is a flowchart showing an example of the operation of the display device 100 when displaying an AI score, etc.
  • the display unit 147 receives an instruction to display information from an operator of the display device 100, etc. (step S201).
  • the display unit 147 displays the position/score information 132, statistical information 133, etc. on the screen display unit 120 (step S202).
  • the display unit 147 can perform a display such as that shown in FIG. 4.
  • the above is an example of the operation of the display device 100 when displaying an AI score, etc.
  • the display device 100 has an information management unit 145 and a display unit 147.
  • the display unit 147 can display the AI score in chronological order for each area of the large intestine corresponding to the position information, based on the position/score information stored in the information management unit 145. As a result, it becomes possible to easily review the calculated AI score at any time, such as after an examination, thereby assisting the doctor in making optimal decisions.
  • the configuration of the display device 100 is not limited to the example shown in FIG. 1.
  • the calculation processing unit 140 can implement an imaging determination unit 148 and a treatment determination unit 149 in addition to the configuration shown in FIG. 1 by reading and executing the program 134.
  • the photography determination unit 148 determines, based on the image data information 131, that the doctor performing the examination has taken the photograph. For example, when the doctor takes the photograph, the image is frozen for a predetermined period of time. Therefore, when the photography determination unit 148 determines, based on the time-series image data included in the image data information 131, that the image has been frozen for a predetermined period of time, it determines that the doctor has taken the photograph at the corresponding time. Furthermore, the photography determination unit 148 can store information according to the determination result as position/score information 132 in the storage unit 130. Note that the photography determination unit 148 may determine that the photograph has been taken by a method other than those exemplified above.
  • the display device 100 may be configured to operate a model for measuring the size of the lesion or a model for determining the type of the lesion according to the determination result by the imaging determination unit 148, to acquire information indicating the size or type of the lesion. Furthermore, the information indicating the size or type of the lesion may be stored in the storage unit 130 as position/score information 132. Furthermore, the model for measuring the size of the lesion or the model for determining the type of the lesion may be trained in advance, for example, by machine learning using previously prepared teacher data.
  • the treatment discrimination unit 149 discriminates whether the doctor has performed some treatment, such as removing a polyp, based on the image data information 131.
  • the treatment discrimination unit 149 has a model that detects an instrument used when performing the treatment in the image data.
  • the treatment discrimination unit 149 can discriminate whether the doctor has performed the treatment according to the result of inputting the image data into the above model.
  • the treatment discrimination unit 149 may discriminate that the doctor is performing the treatment when an instrument is detected in the image data.
  • the treatment discrimination unit 149 can store information according to the discrimination result in the storage unit 130 as the position/score information 132.
  • the model for detecting the instrument may be trained in advance, for example, by machine learning using previously prepared teacher data.
  • FIG. 8 shows another example of display by the display unit 147.
  • the display unit 147 can display imaging points 231 and treatment time information 232 on the score display area 230.
  • the display unit 147 can display image points 233 and the like on the score display area 230 regardless of whether it has an imaging discrimination unit 148 or a treatment discrimination unit 149.
  • the shooting point 231 indicates the time when the shooting discrimination unit 148 discriminated that the doctor performed shooting.
  • the display unit 147 can display the shooting point 231 at a location corresponding to the time when the doctor determined that the doctor performed shooting in the time series data displayed on the score display area 230.
  • the shooting point 231 may be configured to be able to display image data at the time in response to an arbitrary operation on the shooting point 231.
  • a model for measuring the size of a lesion or a model for discriminating the type of lesion can be operated in response to the discrimination result by the shooting discrimination unit 148. Therefore, the shooting point 231 may be configured to be able to display information indicating the size or type of lesion in response to an arbitrary operation on the shooting point 231.
  • the treatment time information 232 is information indicating the time period during which the treatment determined by the treatment discrimination unit 149 is performed.
  • the display unit 147 can display the treatment time information 232 for the time period during which the treatment is determined to be performed in the time series data displayed on the score display area 230.
  • the image point 233 indicates the time at which image data can be displayed.
  • the display unit 147 may display an image point 233 on the score display area 230 when a certain condition is met, such as when the AI score value is equal to or greater than a predetermined value at a time other than the shooting point 231.
  • the display unit 147 can display various information such as the shooting point 231 on the score display area 230.
  • the display unit 147 may also display information other than the above examples, such as information corresponding to a doctor's examination, on the score display area 230.
  • the display device 100 displays the results of a colonoscopy.
  • the display device 100 may also be used to display the results of an upper gastrointestinal endoscopy, for example.
  • Fig. 9 is a diagram showing an example of the hardware configuration of a display device 300.
  • Fig. 10 is a block diagram showing an example of the configuration of the display device 300.
  • a display device 300 having a storage device 321 will be described.
  • Fig. 9 shows an example of a hardware configuration of the display device 300.
  • the display device 300 has, as an example, the following hardware configuration.
  • ⁇ CPU (Central Processing Unit) 301 (arithmetic unit) ⁇ ROM (Read Only Memory) 302 (storage device) ⁇ RAM (Random Access Memory) 303 (storage device)
  • Program group 304 loaded into RAM 303
  • a drive device 306 that reads and writes data from and to a recording medium 310 outside the information processing device.
  • a communication interface 307 that connects to a communication network 311 outside the information processing device
  • Input/output interface 308 for inputting and outputting data
  • a bus 309 that connects each component
  • the display device 300 can realize the function of the display unit 322 shown in FIG. 10 by having the CPU 301 acquire and execute the group of programs 304.
  • the group of programs 304 is stored in advance in the storage device 305 or ROM 302, for example, and is loaded into the RAM 303 or the like by the CPU 301 for execution as necessary.
  • the group of programs 304 may be supplied to the CPU 301 via the communication network 311, or may be stored in advance in the recording medium 310, and the drive device 306 may read out the programs and supply them to the CPU 301.
  • FIG. 9 shows an example of the hardware configuration of the display device 300.
  • the hardware configuration of the display device 300 is not limited to the above-mentioned case.
  • the display device 300 may be configured with only a part of the above-mentioned configuration, such as not having the drive device 306.
  • the CPU 301 may be a GPU as exemplified in the first embodiment.
  • the storage device 321 stores the position information of the endoscope in association with a score calculated based on the image data acquired by the endoscope.
  • the display unit 322 displays the scores in chronological order for each predetermined area corresponding to the location information based on the location information and scores stored in the storage device 321.
  • the display device 300 has a storage device 321 and a display unit 322.
  • the display unit 322 can display the scores in chronological order for each predetermined area corresponding to the location information, based on the location information and scores stored in the storage device 321. As a result, it becomes possible to easily review the scores, etc., at any time, such as after the examination.
  • the display device 300 described above can be realized by incorporating a predetermined program into an information processing device such as the display device 300.
  • the program which is another embodiment of the present invention, is a program for implementing processing in which an information processing device such as the display device 300 having a storage device 321 that stores, in association with each other, position information of an endoscope and a score calculated based on image data acquired by the endoscope, receives an instruction to perform display, and, in response to the instruction, displays the score in chronological order for each predetermined area corresponding to the position information based on the position information and score stored in the storage device.
  • the display method executed by an information processing device such as the display device 300 described above is a method of receiving an instruction to perform display, and in response to the instruction, displaying the scores in chronological order for each predetermined area corresponding to the location information based on the location information and scores stored in the storage device.
  • the invention is a program having the above-mentioned configuration, or a computer-readable recording medium having the program recorded thereon, or a display method, it can achieve the above-mentioned objective of the present disclosure by achieving the same effects and advantages as the above-mentioned display device 300.
  • (Appendix 1) a storage device that stores position information of an endoscope and a score calculated based on image data acquired by the endoscope in association with each other; a display unit that displays the score in chronological order for each predetermined area corresponding to the location information based on the location information and the score stored in the storage device; A display device having the same. (Appendix 2) 2.
  • the display device A location information acquisition unit that acquires the location information; a score calculation unit that calculates the score, which is a value according to whether or not a problem occurs in a site indicated by the image data, based on the image data acquired by the endoscope; and the management unit that associates the location information acquired by the location information acquisition unit with the score calculated by the score calculation unit and stores them in the storage device; having The display unit displays the score in chronological order for each predetermined area corresponding to the location information, based on the location information and the score stored in the storage device by the management unit. (Appendix 3) The display device according to claim 2, The display device, wherein the position information acquisition unit acquires the position information based on the image data acquired by the endoscope.
  • (Appendix 6) A display device according to any one of claims 2 to 5, the score calculation unit calculates, as the score, a lesion certainty indicating whether or not a lesion has occurred, and an inflammation score which is a score measuring a degree of inflammation in the large intestine; The display unit displays the lesion certainty level and the inflammation score in a distinguishable manner.
  • (Appendix 7) A display device according to any one of claims 2 to 6, The management unit associates the location information acquired by the location information acquisition unit with the score calculated by the score calculation unit based on a time.
  • a display device A display device according to any one of claims 1 to 7, The display unit displays the score in chronological order, and displays an image point capable of displaying the image data acquired by the endoscope at a time in a region where the chronological order is displayed, at a location corresponding to the time that satisfies a predetermined condition.
  • a display device A display device according to any one of claims 1 to 8, a radiography determination unit that determines whether a doctor performing an examination has performed radiography based on the image data; The display unit displays the scores in chronological order and also displays an imaging point indicating that a doctor has performed imaging.
  • Appendix 12 an information processing device having a storage device that stores position information of an endoscope and a score calculated based on image data acquired by the endoscope in association with each other,
  • a display method comprising: receiving an instruction to perform display; and, in response to the instruction, displaying the scores in chronological order for each predetermined area corresponding to the location information, based on the location information and the scores stored in the storage device.
  • An information processing device having a storage device that stores position information of an endoscope and a score calculated based on image data acquired by the endoscope in association with each other, A program for implementing a process of receiving an instruction to perform a display and, in response to the instruction, displaying the score in chronological order for each predetermined area corresponding to the location information based on the location information and the score stored in the storage device.
  • the programs described in the above embodiments and appendices may be stored in a storage device or a computer-readable recording medium.
  • the recording medium may be a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

表示装置３００は、内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置３２１と、前記記憶装置３２１に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる表示部３２２と、を有する。

Description

表示装置、表示方法、及び、プログラム
　本発明は、表示装置、表示方法、記録媒体に関する。
　内視鏡検査の補助を行うための技術が知られている。
　例えば、特許文献１には、内視鏡検査の途中に医療陣が実時間で確認して検討することができるようにするためのシステムが開示されている。特許文献１によると、システムは、ビデオフレーム内に病変と疑心される部位が存在すれば、病変と疑心される部位の位置座標を算出する。また、システムは、病変と疑心される部位の存在の有無及び前記病変と疑心される部位の位置座標を含むディスプレイ情報を生成する。そして、使用者ディスプレイは、ビデオフレーム上にディスプレイ情報に基づいて病変と疑心される部位が視覚的に区分されるように表示し、病変と疑心される部位の位置座標を病変と疑心される部位と視覚的に連動するように表示する。
特開２０２２－１４５６５８号公報
　内視鏡検査において算出したＡＩスコアを検査中に確認するだけでなく、検査後に見返したい場合がある。しかしながら、特許文献１に記載のような技術の場合、検査後に算出したＡＩスコアを見返すことを想定していない。そのため、適切にＡＩスコアを見返すことが難しく、検査後にＡＩスコアを活用することが難しいおそれがあった。このように、内視鏡検査の後に解析結果を見返すことが難しいおそれがある、という課題が生じていた。
　そこで、本発明は、上述した課題を解決することが可能な表示装置、表示方法、記録媒体を提供することを目的の一つとする。
　かかる目的を達成するため本開示の一形態である表示装置は、
　内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置と、
　前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる表示部と、
　を有する
　という構成をとる。
　また、本開示の他の形態である表示方法は、
　内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置を有する情報処理装置が、
　表示を行う旨の指示を受信し、指示に応じて、前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる
　という構成をとる。
　また、本開示の他の形態である記録媒体は、
　内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置を有する情報処理装置に、
　表示を行う旨の指示を受信し、指示に応じて、前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる
　処理を実現させるためのプログラムを記録した、コンピュータが読み取り可能な記録媒体である。
　上述したような各構成によると、上述したような課題を解決することができる。
本開示の第１の実施形態における表示装置の構成例を示すブロック図である。 位置・スコア情報の一例を示す図である。 位置情報取得部の処理例を説明するための図である。 表示部による表示例を説明するための図である。 表示装置の動作例を示すフローチャートである。 表示装置の動作例を示すフローチャートである。 表示装置の他の構成例を示すブロック図である。 表示部による他の表示例を説明するための図である。 本開示の第２の実施形態における表示装置のハードウェア構成例を示す図である。 表示装置の構成例を示すブロック図である。
［第１の実施形態］
　本発明の第１の実施形態を図１から図８までを参照して説明する。図１は、表示装置１００の構成例を示すブロック図である。図２は、位置・スコア情報１３２の一例を示す図である。図３は、位置情報取得部１４４の処理例を説明するための図である。図４は、表示部１４７による表示例を説明するための図である。図５、図６は、表示装置１００の動作例を示すフローチャートである。図７は、表示装置１００の他の構成例を示すブロック図である。図８は、表示部１４７による他の表示例を説明するための図である。
　本開示の第１の実施形態では、任意のタイミングで可視化した解析結果を見返すことができる表示装置１００について説明する。後述するように、表示装置１００は、内視鏡１１０から取得する画像データに基づいて算出したＡＩ（Artificial Intelligence）スコアと、内視鏡の位置情報と、を関連づけて記憶する。また、表示装置１００は、表示を行う際、記憶する位置情報とＡＩスコアとに基づいて、位置情報に対応する大腸のエリアごとにＡＩスコアを時系列表示させる。これにより、表示装置１００は、時系列のＡＩスコアをエリアごとに見返すことを可能とする。
　なお、本開示において、ＡＩスコアとは、内視鏡１１０から取得した画像データを学習済みのモデルに入力することなどにより取得可能なスコアのことをいう。例えば、ＡＩスコアは、画像データが示す部位において問題が生じているか否かに応じた値を示す。一例として、ＡＩスコアには、病変が生じているか否かを示す病変確信度や大腸の炎症度を測るスコアであるＩＢＤ（Inflammatory Bowel Disease）スコアなどの炎症スコアなどが含まれる。後述するように、ＡＩスコアには、病変の大きさを示す大きさ情報、病変の種類などを示す質的情報、処置中であるか否かを示す処置情報などが含まれてもよい。
　表示装置１００は、内視鏡１１０などと接続され、内視鏡１１０から取得した画像データに基づくＡＩスコアの算出などを行う情報処理装置である。また、表示装置１００は、可視化した解析結果を内視鏡検査の後など任意のタイミングで見返すことができるように、算出したＡＩスコアなどを管理する機能を有する。図１は、表示装置１００の構成例を示している。図１を参照すると、表示装置１００は、主な構成要素として、例えば、内視鏡１１０と、画面表示部１２０と、記憶部１３０と、演算処理部１４０と、を有している。
　なお、図１では、１台の情報処理装置を用いて表示装置１００としての機能を実現する場合について例示している。しかしながら、表示装置１００としての機能のうちの少なくとも一部は、例えばクラウド上に実現されるなど、複数台の情報処理装置を用いて実現されてもよい。また、表示装置１００は、キーボード、マウスなどの操作入力装置からなる操作入力部など上記例示した以外の構成を有してもよいし、上記例示した構成の一部を含まなくてもよい。
　内視鏡１１０は、小型撮像装置などの光学系を端部に有しており、端部を人体内部に挿入した状態で人体内部の画像データを取得する。例えば、内視鏡１１０は、肛門から盲腸部分まで挿入された後、引き抜かれながらそれぞれのエリアで複数の画像データを取得する。一例として、内視鏡１１０は、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸の順番で各エリアの画像データをそれぞれ複数取得することができる。
　なお、本開示において、内視鏡１１０の構成は特に限定しない。内視鏡１１０は、一般的なものであってよい。
　画面表示部１２０は、液晶ディスプレイや有機ＥＬ（electro-luminescence）などの画面表示装置からなる。画面表示部１２０は、演算処理部１４０からの指示に応じて、記憶部１３０に格納されている各種情報などを画面表示することができる。
　記憶部１３０は、ハードディスクやメモリなどの記憶装置である。記憶部１３０は、演算処理部１４０における各種処理に必要な処理情報やプログラム１３４を記憶する。プログラム１３４は、演算処理部１４０に読み込まれて実行されることにより各種処理部を実現する。プログラム１３４は、通信Ｉ／Ｆ部などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部１３０に保存されている。記憶部１３０で記憶される主な情報としては、例えば、画像データ情報１３１、位置・スコア情報１３２、統計情報１３３などがある。
　画像データ情報１３１は、内視鏡１１０から取得した画像データを含んでいる。画像データ情報１３１には、内視鏡１１０から取得した時系列の画像データが含まれてよい。例えば、画像データ情報１３１では、画像データを取得した時刻と画像データとが関連づけられている。画像データ情報１３１は、画像取得部１４１が内視鏡１１０から画像データを取得することなどに応じて更新される。
　位置・スコア情報１３２は、後述する病変確信度算出部１４２や炎症スコア算出部１４３などのＡＩスコア算出部が算出したＡＩスコアや、位置情報取得部１４４が取得した位置情報などを含む。例えば、位置・スコア情報１３２は、後述する情報管理部１４５がＡＩスコアと位置情報とを関連づけて記憶部１３０に格納することなどに応じて更新される。
　図２は、位置・スコア情報１３２の一例を示している。図２を参照すると、位置・スコア情報１３２では、時刻と、病変確信度と、炎症スコアと、位置情報と、が関連づけられている。ここで、時刻は、ＡＩスコアや位置情報を取得した時刻などを示している。例えば、時刻は、ＡＩスコアや位置情報を取得する際に用いた画像データの取得時刻などであってよい。時刻は、内視鏡１１０が画像データの取得を開始してからの経過時間などであってもよい。また、病変確信度は、病変が生じているか否かを示す値である。例えば、病変確信度は、値が大きいほど病変が生じている可能性が大きいことを示している。後述するように、病変確信度は、病変確信度算出部１４２により画像データに基づいて算出される。また、炎症スコアは、大腸の炎症度を測るスコアであるＩＢＤスコアなどの値を示している。例えば、炎症スコアは、値が大きいほど炎症の度合いが大きいことを示している。後述するように、炎症スコアは、炎症スコア算出部１４３により画像データに基づいて算出される。また、位置情報は、画像データを取得した位置を示している。例えば、位置情報は、盲腸、上行結腸、横行結腸など、画像データを取得した際に内視鏡１１０が位置していた大腸のエリアなどを示す。後述するように、位置情報は、位置情報取得部１４４により画像データなどに基づいて取得される。なお、位置・スコア情報１３２では、上記例示した以外の任意の情報が時刻などと関連づけられてもよい。
　統計情報１３３は、エリアごとや大腸全体におけるＡＩスコアの統計値を示している。例えば、統計情報１３３には、病変確信度や炎症スコアの平均値、最大値、閾値を超えている時間を示す閾値超時間などが含まれる。統計情報１３３には、上記例示した以外の統計値が含まれてもよい。統計情報１３３は、後述する統計情報算出部１４６が統計情報を算出することなどに応じて更新される。
　演算処理部１４０は、ＣＰＵ（Central Processing Unit）などの演算装置とその周辺回路を有する。演算処理部１４０は、記憶部１３０からプログラム１３４を読み込んで実行することにより、上記ハードウェアとプログラム１３４とを協働させて各種処理部を実現する。演算処理部１４０で実現される主な処理部としては、例えば、画像取得部１４１、病変確信度算出部１４２、炎症スコア算出部１４３、位置情報取得部１４４、情報管理部１４５、統計情報算出部１４６、表示部１４７などがある。
　なお、演算処理部１４０は、上述したＣＰＵの代わりに、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを有してもよい。
　画像取得部１４１は、内視鏡１１０が取得した画像データを内視鏡１１０から取得する。また、画像取得部１４１は、取得した画像データを画像データ情報１３１として記憶部１３０に格納する。例えば、画像取得部１４１は、画像データと、内視鏡１１０が画像データを取得した時刻と、を関連づけて記憶部１３０に格納することができる。
　病変確信度算出部１４２は、画像取得部１４１が取得した画像データに基づいて、病変が生じているか否かを示す値である病変確信度を算出する。換言すると、病変確信度算出部１４２は、ＡＩスコアである病変確信度を画像データに基づいて算出するＡＩスコア算出部として機能する。
　例えば、病変確信度算出部１４２は、病変の有無などのラベルを付与した画像データを教師データとして用いた機械学習を行うことで、画像データの入力に応じて病変確信度を出力するよう訓練したモデルを有している。病変確信度算出部１４２は、上記のような学習済みのモデルに対して画像データを入力することで、画像データに対応する病変確信度を算出することができる。なお、病変確信度算出部１４２は、上記例示した以外の方法により画像データに基づいて病変確信度を算出してもよい。
　炎症スコア算出部１４３は、画像取得部１４１が取得した画像データに基づいて、大腸の炎症度を測るスコアであるＩＢＤスコアなどの炎症スコアを算出する。換言すると、炎症スコア算出部１４３は、ＡＩスコアである炎症スコアを画像データに基づいて算出するＡＩスコア算出部として機能する。
　例えば、炎症スコア算出部１４３は、炎症の度合いなどのラベルを付与した画像データを教師データとして用いた機械学習を行うことで、画像データの入力に応じて炎症スコアを出力するよう訓練したモデルを有している。炎症スコア算出部１４３は、上記のような学習済みのモデルに対して画像データを入力することで、画像データに対応する炎症スコアを算出することができる。なお、炎症スコア算出部１４３は、上記例示した以外の方法により画像データに基づいて炎症スコアを算出してもよい。
　位置情報取得部１４４は、画像データを取得した際における内視鏡１１０の位置を示す位置情報を取得する。例えば、位置情報取得部１４４は、位置情報として、盲腸、上行結腸、横行結腸、下行結腸など、画像データを取得した際に内視鏡１１０が位置していた大腸のエリアを示す情報を取得する。
　例えば、位置情報取得部１４４は、画像データに基づいて位置情報を取得することができる。一例として、位置情報取得部１４４は、画像データの入力に応じて、回盲弁、肝彎曲部、脾彎曲部などの予め定められたランドマークを識別するモデルを有している。位置情報取得部１４４は、上記のような学習済みのモデルに対して画像データを入力することで、画像データ内のランドマークを識別する。そして、位置情報取得部１４４は、識別結果に応じて、位置情報を取得する。例えば、上述したように、内視鏡１１０は、盲腸部分から画像データの取得を開始する。その後、位置情報取得部１４４は、ランドマークである回盲弁を画像データ中に識別できたか否かに応じて、画像データを取得した位置が盲腸側であるか上行結腸側であるかを識別する。その結果、位置情報取得部１４４は、識別結果に応じた位置情報を取得することができる。つまり、位置情報取得部１４４は、識別結果に応じて、盲腸というエリアに位置していることを示す位置情報と、上行結腸というエリアに位置していることを示す位置情報と、のうちのいずれかの位置情報を取得することができる。また、画像データに基づいてランドマークである肝彎曲部を識別することで、位置情報取得部１４４は、内視鏡１１０が上行結腸から横行結腸へと移動したか否かを識別することができる。例えば、以上のように、位置情報取得部１４４は、予め定められたランドマークを識別することで、識別結果に応じた位置情報を取得することができる。なお、位置情報取得部１４４は、上述した以外のランドマークを識別するよう構成してもよい。また、上述したモデルは、例えば、各ランドマークについてラベルを付与した画像データを教師データとして用いた機械学習を行うことなどにより事前に訓練されていてよい。
　なお、図３で例示するように、位置情報取得部１４４は、盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸などのエリアのうちのいずれのエリアに位置するかを示す位置情報を取得することができる。位置情報取得部１４４は、より細分化した、または、統合したエリアのうちのいずれに位置するかを示す位置情報を取得してもよい。例えば、位置情報取得部１４４は、上行結腸側、横行結腸、下行結腸側という３つのエリアのうちのいずれのエリアに位置するかを示す位置情報を取得してもよい。位置情報取得部１４４は、上記例示した以外のエリアを示す位置情報を取得してもよい。
　なお、内視鏡１１０がＵＰＤ（Endoscope Position Detecting Unit）情報などの形状情報を取得可能である場合、位置情報取得部１４４は、上記形状情報などに基づいて位置情報を取得してもよい。換言すると、位置情報取得部１４４は、内視鏡１１０の形状情報などに基づいて、内視鏡１１０が位置するエリアを識別して識別結果に応じた位置情報を取得するよう構成してもよい。このように、位置情報取得部１４４は、画像データ以外に基づいて位置情報を取得してもよい。
　情報管理部１４５は、病変確信度算出部１４２や炎症スコア算出部１４３が算出したＡＩスコアや位置情報取得部１４４が取得した位置情報を関連づける。例えば、情報管理部１４５は、時刻に基づいて、ＡＩスコアや位置情報を関連づける。そして、情報管理部１４５は、関連づけた結果を位置・スコア情報１３２として記憶部１３０に格納する。
　情報管理部１４５は、上記関連づけを行うことで、図２で例示したような位置・スコア情報１３２を記憶部１３０に格納することができる。換言すると、情報管理部１４５は、上記関連づけを行うことで、時刻ごとに病変確信度と炎症スコアと位置情報とが関連づけられた位置・スコア情報１３２を記憶部１３０に格納することができる。
　統計情報算出部１４６は、位置・スコア情報１３２に基づいて、エリアごとや大腸全体におけるＡＩスコアの統計値を算出する。例えば、統計情報算出部１４６は、統計値として、ＡＩスコアである病変確信度や炎症スコアの平均値、最大値、閾値超時間などを算出する。統計情報算出部１４６は、上記例示した以外の統計値を算出してもよい。また、統計情報算出部１４６は、算出した統計値を統計情報１３３として記憶部１３０に格納する。
　表示部１４７は、画面表示部１２０上に位置・スコア情報１３２や統計情報１３３などを表示する。例えば、表示部１４７は、表示装置１００に対する操作者などからの指示に応じて、位置・スコア情報１３２や統計情報１３３などを画面表示部１２０上に表示する。表示部１４７は、操作者などからの指示に応じた任意のタイミングで表示を行ってよい。
　図４は、表示部１４７による表示例を示している。図４を参照すると、表示部１４７は、一例として、画面表示部１２０上に臓器表示領域２１０、エリア表示領域２２０、スコア表示領域２３０、前エリア表示領域２４０、次エリア表示領域２５０、統計情報表示領域２６０などを表示することができる。なお、図４は各領域の表示例を示しており、各領域を表示する場所や各領域の大きさなどは適宜調整されてよい。また、表示部１４７は、図４で例示したうちの臓器表示領域２１０以外を表示するなど、例示した領域のうちの一部の領域のみを表示してもよい。
　臓器表示領域２１０は、大腸の概要図を表示する領域である。例えば、臓器表示領域２１０では、スコア表示領域２３０に表示中のエリアを判別可能なように、大腸の図を表示することができる。一例として、臓器表示領域２１０では、スコア表示領域２３０に表示中のエリアの色を変えるなど任意の強調表示を行ってよい。
　また、エリア表示領域２２０は、スコア表示領域２３０に表示中のエリアを示す情報を表示する領域である。例えば、図４で例示する場合、エリア表示領域２２０は、スコア表示領域２３０に表示中のエリアが下行結腸であることを示している。また、スコア表示領域２３０は、任意のエリアにおけるＡＩスコアを時系列表示する領域である。スコア表示領域２３０では、ＡＩスコアである病変確信度や炎症スコアをそれぞれ別の色や線で表示するなど両者を判別可能なよう時系列表示することができる。例えば、図４で例示する場合、Y軸の値が大きいほどＡＩスコアの値が大きいことを示している。また、図４では、予め定められた閾値が重畳表示されており、閾値を超えている部分が問題ありと推定される部分となる。例えば、図４の場合、下行結腸のうちＳ状結腸側の部分に病変があったり炎症が生じたりしている可能性が高いことになる。なお、スコア表示領域２３０には、ＡＩスコアである病変確信度と炎症スコアのうちいずれか一方のみを表示してもよいし、両方を表示してもよい。スコア表示領域２３０に表示するＡＩスコアの種類は、例えば、表示装置１００に対する操作者からの指示などに応じて任意の方法で切り替え可能なよう構成してよい。前エリア表示領域２４０は、スコア表示領域２３０に表示中のエリアより一つ前のエリアを示す情報を表示する領域である。また、次エリア表示領域２５０は、スコア表示領域２３０に表示中のエリアより一つ後のエリアを示す情報を表示する領域である。例えば、表示装置１００を操作者する操作者が前エリア表示領域２４０や次エリア表示領域２５０をクリックすることなどにより、スコア表示領域２３０に表示するエリアを切り替え可能なよう構成してもよい。
　また、統計情報表示領域２６０は、統計情報１３３に含まれる情報を表示する領域である。例えば、統計情報表示領域２６０には、病変確信度や炎症スコアの平均値、最大値、閾値超時間などが表示される。統計情報表示領域２６０には上記例示した以外の統計値が表示されてもよい。なお、統計情報表示領域２６０には、エリアごとの統計値が表示されてもよいし、複数エリアや大腸全体における統計値が表示されてもよい。エリアごとの統計値とそれ以外の統計値のうちのどの統計値を表示するかは、表示装置１００に対する操作者からの指示などに応じて任意の方法で切り替え可能なよう構成してよい。
　以上が、表示装置１００の構成例である。続いて、図５、図６を参照して、表示装置１００の動作例について説明する。
　図５は、情報格納時における表示装置１００の動作例を示すフローチャートである。図５を参照すると、画像取得部１４１は、内視鏡１１０が取得した画像データを内視鏡１１０から取得する（ステップＳ１０１）。
　ＡＩスコア算出部は画像データに基づいてＡＩスコアを算出する（ステップＳ１０２）。例えば、病変確信度算出部１４２は、画像取得部１４１が取得した画像データに基づいて、病変が生じているか否かを示す値である病変確信度を算出する。また、炎症スコア算出部１４３は、画像取得部１４１が取得した画像データに基づいて、大腸の炎症度を測るスコアであるＩＢＤスコアなどの炎症スコアを算出する。例えば、病変確信度算出部１４２と炎症スコア算出部１４３とは、並列で動作してよい。
　位置情報取得部１４４は、画像データを取得した際における内視鏡１１０の位置を示す位置情報を取得する（ステップＳ１０３）。例えば、位置情報取得部１４４は、画像データに基づいて位置情報を取得することができる。
　情報管理部１４５は、病変確信度算出部１４２や炎症スコア算出部１４３が算出したＡＩスコアや位置情報取得部１４４が取得した位置情報を関連づけて記憶部１３０に格納する（ステップＳ１０４）。例えば、情報管理部１４５は、時刻に基づいて、ＡＩスコアや位置情報を関連づけることができる。
　以上が、表示装置１００の動作例である。続いて、図６を参照して、ＡＩスコアなどを表示する際の表示装置１００の動作例について説明する。
　図６は、ＡＩスコアなどを表示する際の表示装置１００の動作例を示すフローチャートである。図６を参照すると、表示部１４７は、表示装置１００に対する操作者などから、情報の表示を行う旨の指示を受信する（ステップＳ２０１）。これに応じて、表示部１４７は、位置・スコア情報１３２や統計情報１３３などを画面表示部１２０上に表示する（ステップＳ２０２）。例えば、表示部１４７は、図４で例示したような表示を行うことができる。
　以上が、ＡＩスコアなどを表示する際の表示装置１００の動作例である。
　このように、表示装置１００は、情報管理部１４５と表示部１４７とを有している。このような構成によると、表示部１４７は、情報管理部１４５が格納した位置・スコア情報に基づいて、位置情報に対応する大腸のエリアごとにＡＩスコアを時系列表示させることができる。その結果、検査後などの任意のタイミングで算出したＡＩスコアなどを分かりやすく見返すことができるようになり、医師の最適な意思決定を補助することができる。
　なお、表示装置１００の構成は、図１で例示した場合に限定されない。例えば、図７を参照すると、演算処理部１４０は、プログラム１３４を読み込んで実行することにより、図１で例示した構成に加えて、撮影判別部１４８と、処置判別部１４９とを実現することができる。
　撮影判別部１４８は、画像データ情報１３１に基づいて、検査を行う医師が撮影を行った旨を判別する。例えば、医師が撮影を行うと、所定時間画像がフリーズする。そこで、撮影判別部１４８は、画像データ情報１３１に含まれる時系列の画像データに基づいて、所定時間画像がフリーズしていると判断される場合に、対応する時刻において医師が撮影を行った旨を判別する。また、撮影判別部１４８は、判別結果に応じた情報を位置・スコア情報１３２として記憶部１３０に格納することができる。なお、撮影判別部１４８は、上記例示した以外の方法で撮影を行った旨を判別してもよい。
　なお、医師が撮影を行った場合、撮影により取得した画像データ内に腫瘍などの病変が存在している可能性が高いものと想定される。そこで、表示装置１００は、撮影判別部１４８による判別結果に応じて、病変の大きさを測定するモデルや病変の種類を判別するモデルを動作させて、病変の大きさや病変の種類を示す情報を取得するよう構成してもよい。また、病変の大きさや病変の種類を示す情報は、位置・スコア情報１３２として記憶部１３０に格納してもよい。なお、病変の大きさを測定するモデルや病変の種類を判別するモデルは、例えば、予め用意した教師データを用いた機械学習により予め訓練されていてよい。
　処置判別部１４９は、画像データ情報１３１に基づいて、ポリープの切除など医師が何らかの処置を行った旨を判別する。例えば、処置判別部１４９は、画像データ中において処置を行う際に用いる器具の検出を行うモデルを有している。処置判別部１４９は、上記モデルに対して画像データを入力した結果に応じて、医師が処置を行った旨を判別することができる。例えば、処置判別部１４９は、画像データ中に器具が検出された場合に、医師が処置を行っている旨を判別してよい。また、処置判別部１４９は、判別結果に応じた情報を位置・スコア情報１３２として記憶部１３０に格納することができる。なお、器具を検出するためのモデルは、例えば、予め用意した教師データを用いた機械学習により予め訓練されていてよい。
　図８は、表示部１４７による他の表示例を示している。例えば、表示装置１００が撮影判別部１４８や処置判別部１４９を有する場合、表示部１４７は、撮影点２３１や処置時間情報２３２をスコア表示領域２３０上に表示することができる。また、表示部１４７は、撮影判別部１４８や処置判別部１４９を有するか否かにかかわらず、スコア表示領域２３０上に画像点２３３などを表示することができる。
　撮影点２３１は、撮影判別部１４８により医師が撮影を行った旨の判別が行われた時刻を示している。例えば、表示部１４７は、スコア表示領域２３０上に表示される時系列データのうち医師が撮影を行ったと判別した時刻に対応する箇所上に撮影点２３１を表示することができる。撮影点２３１は、当該撮影点２３１に対する任意の操作に応じて、当該時刻における画像データを表示可能なよう構成してもよい。また、上述したように、撮影判別部１４８による判別結果に応じて、病変の大きさを測定するモデルや病変の種類を判別するモデルを動作させることができる。そのため、撮影点２３１は、当該撮影点２３１に対する任意の操作に応じて、病変の大きさや病変の種類を示す情報を表示可能なよう構成してもよい。また、処置時間情報２３２は、処置判別部１４９により判別された処置を行っている時間帯を示す情報である。例えば、表示部１４７は、スコア表示領域２３０上に表示される時系列データのうち処置を行っていると判別される時間帯について処置時間情報２３２を表示することができる。また、画像点２３３は、画像データを表示可能な時刻を示している。例えば、表示部１４７は、撮影点２３１以外の時刻においてＡＩスコアの値が予め定められた値以上となる場合など所定の条件を満たす場合に、スコア表示領域２３０上に画像点２３３を表示してよい。
　例えば、以上説明したように、表示部１４７は、スコア表示領域２３０上に撮影点２３１などの各種情報を表示することができる。表示部１４７は、上記例示した以外の医師による診察などに応じた情報をスコア表示領域２３０上に表示してもよい。
　なお、本実施形態においては、大腸内視鏡検査の結果を表示装置１００が表示する場合について例示した。しかしながら、表示装置１００は、例えば、上部消化器内視鏡検査の結果などを表示する際に用いられてもよい。
［第２の実施形態］
　次に、本開示の第２の実施形態について、図９、図１０を参照して説明する。図９は、表示装置３００のハードウェア構成例を示す図である。図１０は、表示装置３００の構成例を示すブロック図である。
　本開示の第２の実施形態においては、記憶装置３２１を有する表示装置３００について説明する。図９は、表示装置３００のハードウェア構成例を示している。図９を参照すると、表示装置３００は、一例として、以下のようなハードウェア構成を有している。
　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１（演算装置）
　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２（記憶装置）
　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３（記憶装置）
　・ＲＡＭ３０３にロードされるプログラム群３０４
　・プログラム群３０４を格納する記憶装置３０５
　・情報処理装置外部の記録媒体３１０の読み書きを行うドライブ装置３０６
　・情報処理装置外部の通信ネットワーク３１１と接続する通信インタフェース３０７
　・データの入出力を行う入出力インタフェース３０８
　・各構成要素を接続するバス３０９
　また、表示装置３００は、プログラム群３０４をＣＰＵ３０１が取得して当該ＣＰＵ３０１が実行することで、図１０に示す表示部３２２としての機能を実現することができる。なお、プログラム群３０４は、例えば、予め記憶装置３０５やＲＯＭ３０２に格納されており、必要に応じてＣＰＵ３０１がＲＡＭ３０３などにロードして実行する。また、プログラム群３０４は、通信ネットワーク３１１を介してＣＰＵ３０１に供給されてもよいし、予め記録媒体３１０に格納されており、ドライブ装置３０６が該プログラムを読み出してＣＰＵ３０１に供給してもよい。
　なお、図９は、表示装置３００のハードウェア構成例を示している。表示装置３００のハードウェア構成は上述した場合に限定されない。例えば、表示装置３００は、ドライブ装置３０６を有さないなど、上述した構成の一部から構成されてもよい。また、ＣＰＵ３０１は、第１の実施形態で例示したＧＰＵなどであってもよい。
　記憶装置３２１は、内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する。
　表示部３２２は、記憶装置３２１に記憶された位置情報とスコアとに基づいて、位置情報に対応する所定のエリアごとにスコアを時系列表示させる。
　このように、表示装置３００は、記憶装置３２１と表示部３２２とを有している。このような構成によると、表示部３２２は、記憶装置３２１に記憶された位置情報とスコアとに基づいて、位置情報に対応する所定のエリアごとにスコアを時系列表示させることができる。その結果、検査後などの任意のタイミングでスコアなどを分かりやすく見返すことができるようになる。
　なお、上述した表示装置３００は、当該表示装置３００などの情報処理装置に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、内視鏡の位置情報と、内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置３２１を有する表示装置３００などの情報処理装置に、表示を行う旨の指示を受信し、指示に応じて、記憶装置に記憶された位置情報とスコアとに基づいて、位置情報に対応する所定のエリアごとにスコアを時系列表示させる、処理を実現するためのプログラムである。
　また、上述した表示装置３００などの情報処理装置により実行される表示方法は、表示を行う旨の指示を受信し、指示に応じて、記憶装置に記憶された位置情報とスコアとに基づいて、位置情報に対応する所定のエリアごとにスコアを時系列表示させる、という方法である。
　上述した構成を有する、プログラム、又は、プログラムを記録したコンピュータが読み取り可能な記録媒体、又は、表示方法、の発明であっても、上述した表示装置３００と同様の作用・効果を奏するために、上述した本開示の目的を達成することができる。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における表示装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置と、
　前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる表示部と、
　を有する
　表示装置。
（付記２）
　付記１に記載の表示装置であって、
　前記位置情報を取得する位置情報取得部と、
　前記内視鏡が取得する前記画像データに基づいて、前記画像データが示す部位において問題が生じているか否かに応じた値である前記スコアを算出するスコア算出部と、
　前記位置情報取得部が取得した前記位置情報と、前記スコア算出部が算出した前記スコアと、を関連付けて前記記憶装置に記憶させる前記管理部と、
　を有し、
　前記表示部は、前記管理部により前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる
　表示装置。
（付記３）
　付記２に記載の表示装置であって、
　前記位置情報取得部は、前記内視鏡が取得する前記画像データに基づいて前記位置情報を取得する
　表示装置。
（付記４）
　付記３に記載の表示装置であって、
　前記位置情報取得部は、前記画像データにおける所定のランドマークの識別結果に応じて前記位置情報を取得する
　表示装置。
（付記５）
　付記２から付記４までのうちのいずれか１項に記載の表示装置であって、
　前記位置情報取得部は、前記位置情報として、前記画像データを取得した際に前記内視鏡が位置していた大腸のエリアを示す情報を取得する
　表示装置。
（付記６）
　付記２から付記５までのうちのいずか１項に記載の表示装置であって、
　前記スコア算出部は、前記スコアとして、病変が生じているか否かを示す病変確信度と、大腸の炎症度を測るスコアである炎症スコアと、を算出し、
　前記表示部は、前記病変確信度の表示と前記炎症スコアとを判別可能なよう表示する
　表示装置。
（付記７）
　付記２から付記６までのうちのいずれか１項に記載の表示装置であって、
　前記管理部は、時刻に基づいて、前記位置情報取得部が取得した前記位置情報と、前記スコア算出部が算出した前記スコアと、を関連付ける
　表示装置。
（付記８）
　付記１から付記７までのうちのいずれか１項に記載の表示装置であって、
　前記表示部は、前記スコアを時系列表示させるとともに、時系列表示を行う領域のうち所定の条件を満たす時刻に対応する箇所に、当該時刻に前記内視鏡が取得した前記画像データを表示可能な画像点を表示させる
　表示装置。
（付記９）
　付記１から付記８までのうちのいずれか１項に記載の表示装置であって、
　前記画像データに基づいて検査を行う医師が撮影を行った旨を判別する撮影判別部を有し、
　前記表示部は、前記スコアを時系列表示させるとともに、医師が撮影を行った旨を示す撮影点を表示させる
　表示装置。
（付記１０）
　付記１から付記９までのうちのいずれか１項に記載の表示装置であって、
　前記画像データに基づいて、医師が所定の処置を行った旨を判別する処置判別部を有し、
　前記表示部は、前記スコアを時系列表示させるとともに、医師が処置を行っている時間帯を示す処理時間情報を表示させる
　表示装置。
（付記１１）
　付記１から付記１０までのうちのいずれか１項に記載の表示装置であって、
　記憶された前記位置情報と前記スコアとに基づいて統計値を算出する統計情報算出部を有し、
　前記表示部は、前記スコアを時系列表示させるとともに、前記統計値を表示させる
　表示装置。
（付記１２）
　内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置を有する情報処理装置が、
　表示を行う旨の指示を受信し、指示に応じて、前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる
　表示方法。
（付記１３）
　内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置を有する情報処理装置に、
　表示を行う旨の指示を受信し、指示に応じて、前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる
　処理を実現するためのプログラム。
　なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
　以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
１００　表示装置
１１０　内視鏡
１２０　画面表示部
１３０　記憶部
１３１　画像データ情報
１３２　位置・スコア情報
１３３　統計情報
１３４　プログラム
１４０　演算処理部
１４１　画像取得部
１４２　病変確信度算出部
１４３　炎症スコア算出部
１４４　位置情報取得部
１４５　情報管理部
１４６　統計情報算出部
１４７　表示部
１４８　撮影判別部
１４９　処置判別部
２１０　臓器表示領域
２２０　エリア表示領域
２３０　スコア表示領域
２３１　撮影点
２３２　処置時間情報
２３３　画像点
３００　表示装置
３０１　ＣＰＵ
３０２　ＲＯＭ
３０３　ＲＡＭ
３０４　プログラム群
３０５　記憶装置
３０６　ドライブ装置
３０７　通信インタフェース
３０８　入出力インタフェース
３０９　バス
３１０　記録媒体
３１１　通信ネットワーク
３２１　記憶装置
３２２　表示部

 

Claims (13)

  1. 　内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置と、
    　前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる表示部と、
    　を有する
    　表示装置。
  2. 　請求項１に記載の表示装置であって、
    　前記位置情報を取得する位置情報取得部と、
    　前記内視鏡が取得する前記画像データに基づいて、前記画像データが示す部位において問題が生じているか否かに応じた値である前記スコアを算出するスコア算出部と、
    　前記位置情報取得部が取得した前記位置情報と、前記スコア算出部が算出した前記スコアと、を関連付けて前記記憶装置に記憶させる管理部と、
    　を有し、
    　前記表示部は、前記管理部により前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる
    　表示装置。
  3. 　請求項２に記載の表示装置であって、
    　前記位置情報取得部は、前記内視鏡が取得する前記画像データに基づいて前記位置情報を取得する
    　表示装置。
  4. 　請求項３に記載の表示装置であって、
    　前記位置情報取得部は、前記画像データにおける所定のランドマークの識別結果に応じて前記位置情報を取得する
    　表示装置。
  5. 　請求項２に記載の表示装置であって、
    　前記位置情報取得部は、前記位置情報として、前記画像データを取得した際に前記内視鏡が位置していた大腸のエリアを示す情報を取得する
    　表示装置。
  6. 　請求項２に記載の表示装置であって、
    　前記スコア算出部は、前記スコアとして、病変が生じているか否かを示す病変確信度と、大腸の炎症度を測るスコアである炎症スコアと、を算出し、
    　前記表示部は、前記病変確信度の表示と前記炎症スコアとを判別可能なよう表示する
    　表示装置。
  7. 　請求項２に記載の表示装置であって、
    　前記管理部は、時刻に基づいて、前記位置情報取得部が取得した前記位置情報と、前記スコア算出部が算出した前記スコアと、を関連付ける
    　表示装置。
  8. 　請求項１に記載の表示装置であって、
    　前記表示部は、前記スコアを時系列表示させるとともに、時系列表示を行う領域のうち所定の条件を満たす時刻に対応する箇所に、当該時刻に前記内視鏡が取得した前記画像データを表示可能な画像点を表示させる
    　表示装置。
  9. 　請求項１に記載の表示装置であって、
    　前記画像データに基づいて検査を行う医師が撮影を行った旨を判別する撮影判別部を有し、
    　前記表示部は、前記スコアを時系列表示させるとともに、医師が撮影を行った旨を示す撮影点を表示させる
    　表示装置。
  10. 　請求項１に記載の表示装置であって、
    　前記画像データに基づいて、医師が所定の処置を行った旨を判別する処置判別部を有し、
    　前記表示部は、前記スコアを時系列表示させるとともに、医師が処置を行っている時間帯を示す処理時間情報を表示させる
    　表示装置。
  11. 　請求項１に記載の表示装置であって、
    　記憶された前記位置情報と前記スコアとに基づいて統計値を算出する統計情報算出部を有し、
    　前記表示部は、前記スコアを時系列表示させるとともに、前記統計値を表示させる
    　表示装置。
  12. 　内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置を有する情報処理装置が、
    　表示を行う旨の指示を受信し、指示に応じて、前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる
    　表示方法。
  13. 　内視鏡の位置情報と、前記内視鏡が取得する画像データに基づいて算出されるスコアと、を関連づけて記憶する記憶装置を有する情報処理装置に、
    　表示を行う旨の指示を受信し、指示に応じて、前記記憶装置に記憶された前記位置情報と前記スコアとに基づいて、前記位置情報に対応する所定のエリアごとに前記スコアを時系列表示させる
    　処理を実現するためのプログラム。
PCT/JP2023/012638 2023-03-28 2023-03-28 表示装置、表示方法、及び、プログラム Pending WO2024201746A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/012638 WO2024201746A1 (ja) 2023-03-28 2023-03-28 表示装置、表示方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/012638 WO2024201746A1 (ja) 2023-03-28 2023-03-28 表示装置、表示方法、及び、プログラム

Publications (1)

Publication Number Publication Date
WO2024201746A1 true WO2024201746A1 (ja) 2024-10-03

Family

ID=92903573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012638 Pending WO2024201746A1 (ja) 2023-03-28 2023-03-28 表示装置、表示方法、及び、プログラム

Country Status (1)

Country Link
WO (1) WO2024201746A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015085152A (ja) * 2013-09-26 2015-05-07 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2020218029A1 (ja) * 2019-04-26 2020-10-29 Hoya株式会社 電子内視鏡システム及びデータ処理装置
WO2022202400A1 (ja) * 2021-03-22 2022-09-29 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015085152A (ja) * 2013-09-26 2015-05-07 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2020218029A1 (ja) * 2019-04-26 2020-10-29 Hoya株式会社 電子内視鏡システム及びデータ処理装置
WO2022202400A1 (ja) * 2021-03-22 2022-09-29 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
Keswani et al. AGA clinical practice update on strategies to improve quality of screening and surveillance colonoscopy: expert review
JP6877486B2 (ja) 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
JP6371544B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US10803582B2 (en) Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program
US20240087113A1 (en) Recording Medium, Learning Model Generation Method, and Support Apparatus
CN112466466B (zh) 基于深度学习的消化道辅助检测方法、装置和计算设备
CN110167417B (zh) 图像处理装置、动作方法和存储介质
CN115280138A (zh) 信息处理装置、检查系统、程序以及信息处理方法
WO2021176664A1 (ja) 検査支援システム、検査支援方法、及び、プログラム
JP7017646B2 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
Liu et al. A real-time system using deep learning to detect and track ureteral orifices during urinary endoscopy
WO2024201746A1 (ja) 表示装置、表示方法、及び、プログラム
JP7162744B2 (ja) 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法
JP7561382B2 (ja) 大腸内視鏡観察支援装置、作動方法、及びプログラム
KR102889999B1 (ko) 내시경 영상 분석 장치, 방법 및 프로그램
US20250134348A1 (en) Image processing device, image processing method, and storage medium
US20230351592A1 (en) Clinical decision support system having a multi-ordered hierarchy of classification modules
WO2021176665A1 (ja) 手術支援システム、手術支援方法、及び、プログラム
US20240090741A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US20250095145A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US20240233121A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US12511739B2 (en) Computer aided assistance system and method
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
EP4585179A1 (en) Surgery assistance program, surgery assistance device, and surgery assistance method
KR102781534B1 (ko) 내시경 검사 판독 보조 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930386

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE