[go: up one dir, main page]

WO2022054373A1 - 医療画像装置およびその作動方法 - Google Patents

医療画像装置およびその作動方法 Download PDF

Info

Publication number
WO2022054373A1
WO2022054373A1 PCT/JP2021/023936 JP2021023936W WO2022054373A1 WO 2022054373 A1 WO2022054373 A1 WO 2022054373A1 JP 2021023936 W JP2021023936 W JP 2021023936W WO 2022054373 A1 WO2022054373 A1 WO 2022054373A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
sample
inspection
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/023936
Other languages
English (en)
French (fr)
Inventor
美沙紀 目黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022547408A priority Critical patent/JP7556970B2/ja
Priority to CN202180063069.7A priority patent/CN116057633A/zh
Publication of WO2022054373A1 publication Critical patent/WO2022054373A1/ja
Priority to US18/183,765 priority patent/US20230222663A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a medical imaging device for acquiring images useful for key images used for report creation and a method for operating the same.
  • doctors diagnose patients while operating equipment during endoscopy and ultrasonography. After the diagnosis, select the key image including the area of interest to be included in the report from the acquired inspection images and save it for report creation. Since the criteria and rules for the key images to be included in the report differ depending on the facility or doctor, the doctor himself selects the key images from the inspection images taken in large quantities at the time of diagnosis.
  • Patent Document 1 a sample image is displayed at the time of endoscopic photography, and the user can easily take an image including a region of interest by referring to it, and obtain an image useful for a key image.
  • An object of the present invention is to provide a medical imaging device capable of selecting a key image from a large number of medical examination images without burden on the user and a method of operating the same.
  • the medical imaging apparatus of the present invention includes a processor, and the processor holds a sample image created in advance, and the inspection image information attached to the inspection image taken inside the body and the sample image information attached to the sample image taken inside the body.
  • the key image is selected from the inspection images, and the selected key image is displayed on the screen.
  • the processor extracts the sample image information from the sample image and extracts the inspection image information from the inspection image.
  • the processor compares the inspection image category information included in the inspection image information with the sample image category information included in the sample image information, determines a common category, and selects a key image.
  • the processor compares the inspection image image quality information included in the inspection image information with the sample image image quality information included in the sample image information, determines the degree of similarity, and selects a key image.
  • the processor displays a list of the sample image used for selecting the key image and the attached sample image information.
  • the processor accepts the addition or deletion of the sample image and the user input for editing the attached sample image information.
  • the processor displays the selected key image and the non-selected inspection image on the screen together with the attached inspection image information.
  • the processor preferably displays that the selected key image is related to the sample image information.
  • the processor does not have a sample image, it is preferable to display that there is no sample image.
  • the processor accepts user input to add the non-selected inspection image displayed on the screen to the key image.
  • sample image information and the inspection image information have at least one of information regarding the image quality, lesion, imaged site, biopsy, treatment, light source, and device setting.
  • the sample image is a past report image used for the past report or a user-selected image selected by the user, and the processor preferably acquires the sample image from the database.
  • the processor compares the inspection image information of the inspection image with the step of storing the inspection image taken inside the body, the step of holding the sample image created in advance, and the sample image information of the sample image, and inspects.
  • An operation method of a medical imaging device having a step of selecting a key image from an image and a step of displaying the selected key image on a screen.
  • the user can select a key image from a large number of medical examination images without burden.
  • the medical imaging device 10 connects to the database 11 and the endoscope system 12.
  • the medical image device 10 transmits the sample image 21 created in advance by the user from the database 11 to the sample information acquisition unit 20.
  • the endoscope system 12 includes a light source device 12a, an endoscope device 12b, and a processor device 12c, and transmits a photographed and acquired inspection image 31 to the inspection image acquisition unit 30.
  • the medical imaging device 10 programs related to various processes are incorporated in a program memory (not shown).
  • the medical imaging device 10 is provided with a central control unit (not shown) configured by a processor.
  • the central control unit By executing the program in the program memory by the central control unit, the sample information acquisition unit 20, the inspection image acquisition unit 30, the key image selection unit 40, the common category determination unit 41, the similarity determination unit 42, and the image display unit 50 , The functions of the display control unit 51, the input reception unit 70, the key image storage memory 80, and the report creation device 90 are realized.
  • the medical image device 10 includes a sample information acquisition unit 20, an inspection image acquisition unit 30, a key image selection unit 40, an image display unit 50, an input reception unit 70, and a key image storage memory 80. And has a report creating device 90.
  • the key image selection unit 40 includes a common category determination unit 41 and a similarity determination unit 42, and the image display unit 50 has a display control unit 51 and a display 52.
  • the sample information acquisition unit 20 holds the sample image 21 acquired from the database 11 and extracts the sample image information 43 from the sample image 21.
  • the sample image information 43 is extracted by machine learning, image processing, image analysis, or the like.
  • the extracted sample image information 43 has sample image category information 43a and sample image image quality information 43b, is attached to the sample image 21 of the extraction source, and is transmitted to the key image selection unit 40 when the key image 45 is automatically selected. Will be done.
  • the sample image 21 is an image that serves as a sample of the key image 45 used when creating a report.
  • the inspection image acquisition unit 30 stores the inspection image 31 acquired from the endoscope system 12 and the attached inspection image information 44. Further, the inspection image information 44 is extracted by machine learning, image processing, image analysis, or the like in addition to the inspection image information 44 acquired at the time of shooting.
  • the extracted inspection image information 44 has inspection image category information 44a and inspection image image quality information 44b, is attached to the inspection image 31 of the extraction source, and is attached to the key image selection unit 40 when the key image 45 is automatically selected. Will be sent.
  • the key image selection unit 40 compares the sample image category information 43a with the inspection image category information 44a in the common category determination unit 41, determines the common category information, and the similarity determination unit 42 determines the sample image image quality.
  • the information 43b and the inspection image image quality information 44b are compared to determine the degree of similarity such as the numerical value of the image quality information.
  • the results of both the common category determination unit 41 and the similarity determination unit 42 are automatically selected. The order in which the common category determination and the similarity determination are performed may be reversed.
  • the display control unit 51 receives the key image 45 transmitted from the key image selection unit 40 and the non-selected inspection image 46 not selected for the key image 45, and receives the respective inspection image category information 44a. It is superimposed and displayed on the display 52.
  • the input receiving unit 70 receives inputs such as editing of the sample image information 43 and the inspection image information 44, setting operations at the time of automatic selection of the key image 45, and image selection via a user interface such as a keyboard or a mouse.
  • the key image storage memory 80 stores both the inspection image 31 selected for the key image 45 and the attached inspection image information 44, and outputs the inspection image information 44 to the report creation device 90 when the report is created.
  • the sample information acquisition unit 20 extracts the sample image information 43 from the sample image 21 by using machine learning, image processing, image analysis, or the like.
  • the sample image information 43 includes sample image category information 43a including at least one of lesion, site, biopsy, treatment, light source, and device setting of the image which is category information, and brightness and noise of the image which is numerical information. It has sample image image quality information 43b including at least one of a shooting distance and a shooting angle.
  • the extracted sample image information 43 is attached to the original sample image 21. If there is information that could not be extracted, it can be added to the sample image 21 by user input.
  • the inspection image acquisition unit 30 extracts the inspection image information 44 from the inspection image 31 by using machine learning, image processing, image analysis, or the like, similarly to the sample image 21.
  • the inspection image information 44 includes inspection image category information 44a including at least one of lesion, site, biopsy, treatment, light source, and device setting of the image which is category information, and brightness and noise of the image which is numerical information. It has inspection image image quality information 44b including at least one of a shooting distance and a shooting angle.
  • the inspection image information 44 acquired at the time of endoscopic imaging is retained as it is, and the inspection image information 44 extracted in an additional form is attached to the original inspection image 31. If there is information that could not be acquired, it can be added to the inspection image 31 by user input.
  • the plurality of sample images 21 and the inspection image 31 transmitted to the key image selection unit 40 are the sample image category information 43a of the sample image 21 and the inspection image 31 in the common category determination unit 41. Whether or not the inspection image category information 44a has a common category by comparison processing is determined. As a result of the comparison processing, the inspection image 31 to which a certain number or more of the inspection image category information 44a, which is common to the sample image category information 43a of any of the sample images 21, is selected is selected.
  • the fixed number is a threshold value of one or more common categories that can be arbitrarily set by the user.
  • the threshold of the number of common categories of the sample image category information 43a and the inspection image category information 44a is set to "3"
  • the inspection image 31 having the inspection image category information 44a common to at least three of the above category information Selected by common category discrimination by comparison processing.
  • the numerical values of each item of the inspection image image quality information 44b possessed by the inspection image 31 in the similarity determination unit 42 are set. It is determined by the comparison process how similar it is to the numerical value of each item of the sample image image quality information 43b possessed by the sample image 21.
  • an inspection image 31 having a similarity of a certain value or more with respect to any of the sample images 21 is selected.
  • the constant value here is a threshold value of similarity that can be arbitrarily set by the user.
  • the degree of similarity may be expressed by a percentage evaluation or a stage evaluation that divides the degree into 5 or 10 stages.
  • the inspection image 31 selected to have the inspection image information 44 equal to or higher than the threshold value is used as the key image 45, and the other inspection images 31 are used as the non-selection inspection image 46 in the display control unit 51. Will be sent.
  • the degree of similarity between the “brightness”, “noise”, “shooting distance”, and “shooting angle” of the sample image image quality information 43b of the sample image 21 and the inspection image image quality information 44b in each item is calculated, and the matching rate for each item is comprehensively evaluated and evaluated as the degree of similarity. It is preferable that there are three or more items that can be compared. The higher the degree of similarity, the more items can be compared, and the higher the match rate for each item.
  • the key image 45 is selected by setting the respective threshold values, but in addition, the inspection image 31 selected for the key image 45 may be further narrowed down. For example, from the inspection images 31 narrowed down by the common category determination and the similarity determination, an arbitrary number of inspection images 31 are selected as the key images 45 in the order of the most common categories or the order of the highest degree of similarity.
  • FIG. 7 it is a diagram showing a list of sample images 21 on the display 52.
  • the user can display the sample image 21 created in advance in the sample image display field 53 of the display 52 and confirm the sample image 21.
  • the sample information acquisition unit 20 extracts the sample image category information 43a from the sample image 21 and attaches it to the original sample image 21. Further, the sample image 21 is displayed in a list via the display control unit 51.
  • a category information display field 54 can be provided in each of the sample images 21 displayed in the list, and the attached sample image category information 43a can be superimposed and displayed. It is preferable that the sample image category information 43a to be superimposed and displayed is one or two.
  • one of the sample image category information 43a to be superimposed and displayed is a lesion or an imaging site.
  • a database image display field 58 which is displayed at the same time as the sample image display field 53, is provided, and the database image 59 stored in the database 11 can be displayed in a list.
  • the sample image 21 can switch the superimposed display content of the sample image category information 43a.
  • the pull-down menu display button 55 of the category information display field 54 with the cursor 71 via the input reception unit 70 by mouse operation or the like other hidden light sources, biopsy, image quality, device settings, etc.
  • the sample image category information 43a is displayed in the pull-down menu 56.
  • the item of the sample image category information 43a whose display is to be switched can be switched.
  • the user can add or delete the sample image 21 and edit the sample image category information 43a from the input by mouse operation or the like.
  • the user has deleted the selected sample image 21a from the sample images 21 listed in the sample image display field 53 of the display 52, or selected from the database images 59 listed in the database image display field 58.
  • the database image 59a is added to the sample image 21, and the sample image category information 43a in the category information display field 54 superimposed and displayed on the sample image 21 is also changed or corrected by user input using keyboard input or the like.
  • the selection of the sample image 21 and the sample image category information 43a to be input by the user is performed by the cursor 71 by operating the mouse or the like.
  • the database image 59 When the database image 59 is referred to in addition to the portion displayed in the database image display field 58, the database image 59 to be displayed in a list can be switched by using the page switching button 57. After the user input is completed, the saved sample image 21 and the sample image category information 43a are transmitted to the key image selection unit 40, and comparison processing with the inspection image 31 is performed.
  • the result of automatic selection of the key image 45 can be displayed on the display 52.
  • the selected key image 45 is listed in the key image display field 60
  • the non-selected inspection image 46 is listed in the inspection image display field 61.
  • the inspection image category information 44a common to the sample image 21 is superimposed and displayed in the category information display field 54 on each image.
  • the non-selected inspection image 46 displayed on the display 52 can be added to the key image 45 by user input. Further, any key image 45a displayed on the display 52 can be deleted from the key image 45 by user input.
  • the user confirms the key image 45 displayed in the key image display field 60 of the display 52, and if there is no problem, selects the save button 72 and saves.
  • the key image 45 is stored in the key image storage memory 80.
  • the key image 45 stored in the key image storage memory 80 is transmitted to the report creation device 90 and used for creating the report 91.
  • the doctor's findings are input to the findings input field 92, and the key image 45 corresponding to the contents of the findings is attached.
  • the key image 45 displayed in the key image display field 60 of the display 52 can be confirmed, and the key image 45 can be reselected when the quality, quantity, or type is insufficient.
  • the selection result is reset only for the selection result of the inspection image 31 by the comparison process in the key image selection unit 40, and the extraction, attachment, and user input result of each image information are left.
  • the second embodiment relates to the selection of the key image 45 when the sample image 21 is not acquired.
  • the contents common to the first embodiment will be omitted.
  • the key image selection unit 40 performs comparison processing with the category information input by the user instead of the sample image category information 43a.
  • the category information arbitrarily set by the user is compared with the inspection image category information 44a, and the common category is determined.
  • the inspection image 31 after the discrimination is transmitted to the display control unit 51.
  • the inspection image 31 that has been discriminated into a common category by the key image selection unit 40 and transmitted to the display control unit 51 is automatically displayed in the key image display field 60 of the display 52. Instead, it is displayed in a list in the inspection image display field 61.
  • the key image display field 60 the key image display frame 62 is displayed and the category information display field 54 is displayed at the position where the key image 45 is displayed in the first embodiment.
  • the key image display frame 62 is a frame for displaying the manually selected inspection image 31 as the key image 45.
  • each inspection image category information 44a common to the category information set by the user is displayed.
  • the inspection image 31 that is less than the threshold value in the common category determination result in the key image selection unit 40 is not displayed in the inspection image display field 61.
  • the user manually selects the inspection image 31a to be added to the key image 45 from the inspection image 31 displayed in the inspection image display field 61 with the cursor 71 by operating the mouse or the like.
  • the manually selected inspection image 31a is displayed in the key image display frame 62 in which the category information of the key image display field 60 is common by user input.
  • a display indicating that the sample image 21 is not used is displayed on the display 52.
  • the user When the user secures a sufficient number of key images 45 by manual addition, the user selects the save button 72 with the cursor 71 and saves the key images in the key image save memory 80.
  • the sample image 21 created in advance is acquired from the database 11 connected to the medical image device 10, and stored in the sample information acquisition unit 20. Further, the inspection image 31 taken by the endoscope system 12 is stored in the inspection image acquisition unit 30.
  • the sample image information 43 is extracted from the sample image 21 stored in the sample information acquisition unit 20 by using machine learning or the like.
  • the sample image information 43 having the extracted sample image category information 43a and the sample image image quality information 43b is attached to the original sample image 21.
  • the sample image 21 can be confirmed and the sample image information 43 can be input by the user. After inputting by the user, the sample image 21 and the attached sample image information 43 are transmitted to the key image selection unit 40.
  • the information may be extracted and attached to the original inspection image 31 in the same manner as the sample image 21 by acquiring the information at the time of shooting with the endoscope system 12 and adding it to the attached information. can. It should be noted that only the inspection image information 44 acquired at the time of shooting may be attached to the inspection image 31 without extracting the information.
  • the inspection image 31 to which the inspection image information 44 is attached is sent to the key image selection unit 40.
  • the user sets the conditions for key image selection before starting the automatic selection of the key image 45.
  • the user can adjust the number of sheets selected for the key image 45 by setting the common number of category information and the threshold value of the similarity.
  • the selection conditions may be repeatedly used as previously set.
  • the sample image 21, the inspection image 31, and each image information are transmitted to the key image selection unit 40, and the key image is selected.
  • the common category determination unit 41 and the similarity determination unit 42 perform comparison processing. Either the common category determination or the similarity determination may be performed first.
  • the common category determination unit 41 performs comparison processing with the sample image category information 43a and the inspection image category information 44a. It can be determined that the more the inspection image category information 44a common to the sample image category information 43a possessed by any of the sample images 21, the closer the original inspection image 31 is to the sample image 21.
  • the inspection image image quality information 44b performs a comparison process with respect to the numerical value of the sample image image quality information 43b, and determines how similar it is. It can be determined that the higher the similarity of the inspection image image quality information 44b to the sample image image quality information 43b of any of the sample images 21, the more similar the original inspection image 31 is to the sample image 21.
  • the inspection image 31 close to any of the sample images 21 is selected as the key image 45.
  • the selection of the key image 45 is the result of the common category determination and the similarity determination for the sample image 21 and the inspection image 31 of the same combination.
  • the inspection image 31 selected for the key image 45 is transmitted to the image display unit 50 together with the non-selection inspection image 46.
  • the key image 45 and the non-selected inspection image 46 transmitted to the image display unit 50 are listed on the display 52 via the display control unit 51.
  • the selected key image 45 is confirmed, and if there is no problem, a saving process is performed.
  • the non-selected inspection image 46 displayed by user input can be added to the key image 45. It can also be reselected.
  • the key image 45 that has undergone the storage process is stored in the key image storage memory 80 and output to the report creation device 90.
  • Report 91 is created by the report creation device.
  • the hardware-like structure of the processing unit that executes various processes is various processors as shown below.
  • Various processors include CPU (Central Processing Unit), GPU (Graphical Processing Unit), FPGA (Field Programmable Gate Array), which are general-purpose processors that execute software (programs) and function as various processing units.
  • a programmable logic device (PLD) which is a processor whose circuit configuration can be changed after manufacturing
  • a dedicated electric circuit which is a processor having a circuit configuration specially designed to execute various processes. ..
  • a processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a CPU and a combination of two or more processors. It may be composed of a combination of GPUs, etc.). Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the hardware structure of the storage unit is a storage device such as an HDD (hard disk drive) or SSD (solid state drive).

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Endoscopes (AREA)

Abstract

大量の医療用検査画像の中からユーザが負担なくキー画像を選定することができる医療画像装置及びその作動方法を提供する。　医療画像装置（１０）は、大量の医療用検査画像の中からキー画像（４５）を自動選定する場合において、あらかじめ作成した見本画像（２１）を基に抽出した情報と、検査画像（３１）が有する情報とを比較し、共通するカテゴリの判別や類似度の判定を行う。比較の結果、見本画像（２１）に近いと選定された検査画像（３１）をキー画像（４５）とし、保存処理を行う。保存したキー画像（４５）は医療用レポートに使用できる。

Description

医療画像装置およびその作動方法
　本発明は、レポート作成に使用するキー画像に有用な画像の取得を行う医療画像装置およびその作動方法に関する。
　医療分野においては、内視鏡や超音波検査時に医師は機器を操作しながら患者を診断する。診断後に、取得した検査画像からレポートに載せる注目領域等を含むキー画像を選択し、レポート作成のために保存する。レポートに載せるキー画像は施設又は医師によって基準やルールが異なるため、診断時に大量に撮影した検査画像からキー画像を医師自身が選定している。
　取得した検査画像を1枚ずつ確認し、病変等の注目領域を含むキー画像の特定を行うことは時間や労力がかかり、医師の負担となるため、キー画像を容易に取得することを支援する技術が開発されつつある。
　特許文献１では、内視鏡撮影時に見本画像を表示し、ユーザが参考にすることで注目領域を含む画像の撮影を行いやすくし、キー画像に有用な画像の取得を行う。
特開２０１７－９９５０９号公報
　撮影時に有用な画像を取得しても、キー画像の選定に当たっては大量の医療用検査画像の中から見つけなければならない。
　本発明は、大量の医療用検査画像の中からユーザが負担なくキー画像を選定することができる医療画像装置及びその作動方法を提供することを目的とする。
　本発明の医療画像装置は、プロセッサを備え、プロセッサは、あらかじめ作成した見本画像を保持し、体内を撮影した検査画像に付属する検査画像情報と、体内を撮影した見本画像に付属する見本画像情報とを比較し、検査画像からキー画像を選定し、選定したキー画像を画面表示する。
　プロセッサは、見本画像から見本画像情報を抽出し、検査画像から前記検査画像情報を抽出することが好ましい。
　プロセッサは、検査画像情報に含まれる検査画像カテゴリ情報を、見本画像情報に含まれる見本画像カテゴリ情報と比較し、共通するカテゴリを判別してキー画像を選定することが好ましい。
　プロセッサは、検査画像情報に含まれる検査画像画質情報を、見本画像情報に含まれる見本画像画質情報と比較し、類似度を判定してキー画像を選定することが好ましい。
　プロセッサは、キー画像の選定に用いる見本画像と、付属する見本画像情報とを一覧表示することが好ましい。
　プロセッサは、見本画像の追加または削除、および、付属する見本画像情報を編集するユーザ入力を受け付けることが好ましい。
　プロセッサは、選定したキー画像と、非選定検査画像とを、付属するそれぞれの検査画像情報とともに画面表示することが好ましい。
　プロセッサは、選定したキー画像が見本画像情報に関連することを表示することが好ましい。
　プロセッサは、見本画像を有していない場合、見本画像が無いことを表示することが好ましい。
　プロセッサは、画面表示された非選定検査画像を、キー画像に追加するユーザ入力を受け付けることが好ましい。
　見本画像情報および検査画像情報は、画像の画質、病変、撮影部位、生検、処置、光源及び、機器設定に関する情報のうち少なくとも１つを有することが好ましい。
　見本画像は、過去のレポートに使用された過去レポート画像、又は、ユーザが選択したユーザ選択画像であり、プロセッサは、データベースから見本画像を取得することが好ましい。
　プロセッサを備え、プロセッサは、体内を撮影した検査画像を保存するステップと、あらかじめ作成した見本画像を保持するステップと、検査画像の検査画像情報と、見本画像の見本画像情報とを比較し、検査画像からキー画像を選定するステップと、選定したキー画像を画面表示するステップと、を有する医療画像装置の作動方法。
　本発明によれば、大量の医療用検査画像の中からユーザが負担なくキー画像を選定することができる。
医療画像装置及びそれに接続されるデータベース及び内視鏡システムを示す概略図である。 医療画像装置の機能を示すブロック図である。 見本画像から見本画像カテゴリ情報の抽出を示す説明図である。 検査画像から検査画像カテゴリ情報の抽出を示す説明図である。 見本画像と検査画像を比較し、共通カテゴリを判別する説明図である。 見本画像と検査画像を比較し、類似度を判定する説明図である。 カテゴリ情報を重畳表示した見本画像の一覧表示を示す画像図である。 任意の見本画像のユーザ入力による編集を示す画像図である。 選定されたキー画像と、非選定検査画像を画面表示した画像図である。 選定したキー画像を用いたレポート作成を示す画像図である。 見本画像を用いない、手動でキー画像を選定する画面の画像図である。 本発明の一連の流れを示すフローチャートである。
［第１実施形態]
　図１に示すように、医療画像装置１０は、データベース１１と、内視鏡システム１２と接続する。医療画像装置１０は、データベース１１からユーザがあらかじめ作成した見本画像２１を、見本情報取得部２０に送信する。また、内視鏡システム１２は、光源装置１２ａ、内視鏡装置１２ｂ、および、プロセッサ装置１２ｃを備え、撮影して取得した検査画像３１を検査画像取得部３０に送信する。
　医療画像装置１０は、各種処理に関するプログラムがプログラム用メモリ（図示しない）に組み込まれている。医療画像装置１０には、プロセッサによって構成される中央制御部（図示しない）が設けられている。中央制御部によってプログラムメモリ内のプログラムが実行されることによって、見本情報取得部２０、検査画像取得部３０、キー画像選定部４０、共通カテゴリ判別部４１、類似度判定部４２、画像表示部５０、表示制御部５１、入力受付部７０、キー画像保存メモリ８０と、レポート作成装置９０の機能が実現する。
　図２に示すように、医療画像装置１０は見本情報取得部２０と、検査画像取得部３０と、キー画像選定部４０と、画像表示部５０と、入力受付部７０と、キー画像保存メモリ８０と、レポート作成装置９０を有する。キー画像選定部４０は共通カテゴリ判別部４１と、類似度判定部４２を備え、画像表示部５０は表示制御部５１と、ディスプレイ５２を有する。
　見本情報取得部２０は、データベース１１から取得した見本画像２１の保持及び、見本画像２１から見本画像情報４３を抽出を行う。見本画像情報４３の抽出は機械学習や画像処理、及び画像解析等で行う。抽出した見本画像情報４３は、見本画像カテゴリ情報４３ａおよび見本画像画質情報４３ｂを有し、抽出元の見本画像２１に付属させ、キー画像４５の自動選定を行う際にキー画像選定部４０に送信される。見本画像２１は、レポート作成時に使用するキー画像４５の見本となる画像である。
　検査画像取得部３０は、内視鏡システム１２から取得した検査画像３１および付属する検査画像情報４４を保存する。また、撮影時に取得した検査画像情報４４に追加する形で、機械学習や画像処理、及び画像解析等で検査画像情報４４を抽出する。抽出した検査画像情報４４は、検査画像カテゴリ情報４４ａおよび検査画像画質情報４４ｂを有し、抽出元の検査画像３１に付属させ、キー画像４５の自動選定を行う際に、キー画像選定部４０に送信される。
　キー画像選定部４０は、共通カテゴリ判別部４１において、見本画像カテゴリ情報４３ａと検査画像カテゴリ情報４４ａを比較して、共通して有するカテゴリ情報の判別、および、類似度判定部４２で見本画像画質情報４３ｂと検査画像画質情報４４ｂを比較して画質情報の数値等の類似度を判定を行う。検査画像３１のキー画像選定には、共通カテゴリ判別部４１と類似度判定部４２の両方の結果を合わせて自動選定する。なお、共通カテゴリ判別と、類似度判定を実施する順番は逆にしてもよい。
　画像表示部５０において、表示制御部５１はキー画像選定部４０から送信されたキー画像４５と、キー画像４５に選定されなかった非選定検査画像４６を受信し、それぞれの検査画像カテゴリ情報４４ａと重畳表示しディスプレイ５２に表示させる。
　入力受付部７０は、キーボードやマウス等のユーザインタフェースを介して見本画像情報４３および検査画像情報４４の編集、キー画像４５の自動選定時における設定の操作、及び画像の選択等の入力を受け付ける。
　キー画像保存メモリ８０は、キー画像４５に選定された検査画像３１と、付属する検査画像情報４４を共に保存し、レポート作成時にレポート作成装置９０へ出力する。
　図３に示すように、見本情報取得部２０は見本画像２１から機械学習、画像処理、又は画像解析等を使って見本画像情報４３を抽出する。見本画像情報４３は、カテゴリ情報である画像の病変、部位、生検、処置、光源及び機器設定のうち少なくとも１つを含む見本画像カテゴリ情報４３ａと、数値情報である画像の明るさ、ノイズ、撮影距離及び撮影角度のうち少なくとも１つを含む見本画像画質情報４３ｂを有する。抽出した見本画像情報４３は、元の見本画像２１に付属させる。抽出できなかった情報がある場合、ユーザ入力により見本画像２１に追加することもできる。
　図４に示すように、検査画像取得部３０は見本画像２１と同様に、検査画像３１から機械学習、画像処理、又は画像解析等を使って検査画像情報４４を抽出する。検査画像情報４４は、カテゴリ情報である画像の病変、部位、生検、処置、光源及び機器設定のうち少なくとも１つを含む検査画像カテゴリ情報４４ａと、数値情報である画像の明るさ、ノイズ、撮影距離及び撮影角度のうち少なくとも１つを含む検査画像画質情報４４ｂを有する。内視鏡撮影時に取得した検査画像情報４４はそのまま保持し、追加する形で抽出した検査画像情報４４は、元の検査画像３１に付属させる。取得できなかった情報がある場合、ユーザ入力により検査画像３１に追加することもできる。
　図５に示すように、キー画像選定部４０に送信された複数の見本画像２１及び検査画像３１は、共通カテゴリ判別部４１にて、見本画像２１の見本画像カテゴリ情報４３ａと、検査画像３１の検査画像カテゴリ情報４４ａが、比較処理による共通カテゴリを有するか否かの判別が行われる。比較処理の結果、いずれかの見本画像２１が有する見本画像カテゴリ情報４３ａと共通する、検査画像カテゴリ情報４４ａが一定数以上付属する検査画像３１が選定される。一定数とは、ユーザが任意に設定できる１以上の共通カテゴリ数の閾値である。共通カテゴリ判別後、検査画像３１は類似度判定部４２に送信される。
　具体例を挙げると、「病変＝炎症」、「部位＝胃角」、「光源＝白色光」、「処置＝無」、及び「生検＝否」の見本画像カテゴリ情報４３ａを有する見本画像２１があり、見本画像カテゴリ情報４３ａと検査画像カテゴリ情報４４ａの共通カテゴリ数の閾値を「３」と設定した場合、上記カテゴリ情報のうち最低３つと共通する検査画像カテゴリ情報４４ａを有する検査画像３１が、比較処理による共通カテゴリ判別で選定される。
　図６に示すように、共通カテゴリ判別部４１から送信された見本画像２１及び検査画像３１は、類似度判定部４２にて、検査画像３１が有する検査画像画質情報４４ｂの各項目の数値が、見本画像２１が有する見本画像画質情報４３ｂの各項目の数値と、どの程度類似するかを比較処理により判定される。類似度判定の結果、いずれかの見本画像２１に対して、一定値以上の類似度を有する検査画像３１が選定される。ここでの一定値とはユーザが任意に設定できる類似度の閾値である。類似度の表し方はパーセンテージ評価でも良いし、５段階や１０段階に振り分ける段階評価でも良い。共通カテゴリ判別および類似度判定において、共に閾値以上の検査画像情報４４を有すると選定された検査画像３１はキー画像４５として、他の検査画像３１は、非選定検査画像４６として表示制御部５１に送信される。
　具体例を挙げると、見本画像２１の見本画像画質情報４３ｂの「明るさ」、「ノイズ」、「撮影距離」、及び「撮影角度」と、それぞれの項目における検査画像画質情報４４ｂとの類似度を比較処理する場合、それぞれの項目の見本画像画質情報４３ｂの一致率を算出し、項目ごとの一致率を総合評価したものが類似度として評価できる。比較できる項目は３つ以上あるのが好ましい。類似度が高いほど、比較できる項目が多く、それぞれの項目での一致率が高い。
　図５および図６で示した比較処理において、それぞれの閾値設定によりキー画像４５の選定を行うが、それに加えて更にキー画像４５に選定する検査画像３１の絞り込みをしてもよい。例えば、共通カテゴリ判別及び、類似度判定により絞り込んだ検査画像３１から、共通カテゴリが多い順または類似度の高い順に任意の数の検査画像３１をキー画像４５として選定する。
　図７に示すように、見本画像２１をディスプレイ５２に一覧表示した図である。ユーザは、ディスプレイ５２の見本画像表示欄５３に、あらかじめ作成された見本画像２１を表示し、見本画像２１の確認ができる。見本情報取得部２０では、見本画像２１から見本画像カテゴリ情報４３ａを抽出し、元となる見本画像２１に付属させる。また、表示制御部５１を介して見本画像２１を一覧表示する。一覧表示したそれぞれの見本画像２１にカテゴリ情報表示欄５４を設け、付属する見本画像カテゴリ情報４３ａを重畳表示することができる。重畳表示する見本画像カテゴリ情報４３ａは１つまたは２つ程度が好ましい。また、重畳表示する見本画像カテゴリ情報４３ａの１つは、病変もしくは撮影部位であることが好ましい。加えて、見本画像表示欄５３と同時に表示する、データベース画像表示欄５８を設け、データベース１１に保管されているデータベース画像５９を一覧表示できる。
　また、図７で示すように、見本画像２１は見本画像カテゴリ情報４３ａの重畳表示内容を切り替えることができる。ユーザがマウス操作等で入力受付部７０を介してカーソル７１でカテゴリ情報表示欄５４のプルダウンメニュー表示ボタン５５を選択すると、非表示となっている他の光源・生検・画質・機器設定などの見本画像カテゴリ情報４３ａがプルダウンメニュー５６に表示される。プルダウンメニュー５６の中から、カーソル７１で選択することで、表示を切り替えたい見本画像カテゴリ情報４３ａの項目を切り替えることができる。
　図８に示すように、マウス操作等による入力から、ユーザは、見本画像２１の追加又は削除、及び、見本画像カテゴリ情報４３ａの編集ができる。ユーザは、ディスプレイ５２の見本画像表示欄５３に一覧表示した見本画像２１の中から、選択した見本画像２１aの削除や、データベース画像表示欄５８に一覧表示されたデータベース画像５９の中から、選択したデータベース画像５９ａの見本画像２１への追加、また、見本画像２１に重畳表示されたカテゴリ情報表示欄５４の見本画像カテゴリ情報４３ａについても、キーボード入力等を用いたユーザ入力による情報の変更や添削といった編集ができる。ユーザ入力を行う見本画像２１や見本画像カテゴリ情報４３ａの選択は、マウス操作等によるカーソル７１で行われる。データベース画像表示欄５８に表示された分以外にもデータベース画像５９を参照する場合は、ページ切替ボタン５７を用いて一覧表示するデータベース画像５９の切り替えができる。ユーザ入力が終わり、保存された見本画像２１と見本画像カテゴリ情報４３ａは、キー画像選定部４０に送信され、検査画像３１との比較処理が行われる。
　図９に示すように、キー画像４５の自動選定の結果をディスプレイ５２に表示することができる。選定されたキー画像４５はキー画像表示欄６０に、非選定検査画像４６は検査画像表示欄６１に一覧表示される。キー画像４５及び非選定検査画像４６は、それぞれの画像上のカテゴリ情報表示欄５４に、見本画像２１と共通した検査画像カテゴリ情報４４ａが重畳表示される。
　ディスプレイ５２に表示された非選定検査画像４６は、ユーザ入力によってキー画像４５に追加することができる。また、ディスプレイ５２に表示された、任意のキー画像４５ａをユーザ入力でキー画像４５から削除できる。
　ユーザはディスプレイ５２のキー画像表示欄６０に表示されたキー画像４５を確認し、問題がなければ保存ボタン７２を選択し、保存をする。キー画像４５はキー画像保存メモリ８０に保存される。
　図１０に示すように、キー画像保存メモリ８０に保存されたキー画像４５は、レポート作成装置９０に送信され、レポート９１の作成に使用される。レポート９１の作成では、所見入力欄９２に医師の所見入力、および、所見の内容に対応したキー画像４５の貼付が行われる。
　ディスプレイ５２のキー画像表示欄６０に表示されたキー画像４５を確認し、質、量、または種類が不十分な場合等において、キー画像４５の再選定を行うことができる。再選定を行う場合はディスプレイ５２の検査画像表示欄６１上の再選定ボタン７３をカーソル選択し、キー画像選定の結果をリセットする。
　選定結果のリセットは、キー画像選定部４０にて比較処理による検査画像３１の選定結果に対してのみ行い、各画像情報の抽出、付属化、および、ユーザ入力の結果は残すことが好ましい。
　再選定を行う場合は、ユーザ入力により見本画像情報４３または検査画像情報４４のどちらかあるいは両方の編集、見本画像２１の追加もしくは削除、及び、キー画像選定部４０の設定の変更等のうち少なくともいずれか１つの操作を行い、キー画像選定の条件を変更する。
［第２実施形態］
　第２実施形態は、見本画像２１を取得しない場合のキー画像４５の選定に関する。第２実施形態において、第１実施形態と共通する内容に関しては省略する。
　キー画像選定部４０では、見本画像カテゴリ情報４３ａの代わりに、ユーザ入力されたカテゴリ情報との比較処理が行われる。ユーザが任意に設定したカテゴリ情報と検査画像カテゴリ情報４４ａ比較し、共通カテゴリ判別を行う。判別後の検査画像３１は、表示制御部５１に送信される。
　図１１に示すように、本実施形態ではキー画像選定部４０で共通カテゴリ判別をされ、表示制御部５１に送信された検査画像３１は、ディスプレイ５２のキー画像表示欄６０には自動で表示されず、検査画像表示欄６１に一覧表示される。キー画像表示欄６０において第１実施形態ではキー画像４５が表示された位置には、キー画像表示枠６２が表示され、カテゴリ情報表示欄５４が表示される。キー画像表示枠６２は、手動で選択した検査画像３１をキー画像４５として表示する枠である。検査画像３１上のカテゴリ情報表示欄５４には、ユーザ設定のカテゴリ情報と共通したそれぞれの検査画像カテゴリ情報４４ａが表示される。キー画像選定部４０での共通カテゴリ判別結果にて閾値未満の検査画像３１は、検査画像表示欄６１に表示しない。
　ユーザは、検査画像表示欄６１に表示されている検査画像３１の中から、キー画像４５に追加する検査画像３１ａをマウス操作等によりカーソル７１で手動選択する。手動選択された検査画像３１ａはユーザ入力によりキー画像表示欄６０のカテゴリ情報が共通するキー画像表示枠６２に表示される。また、ディスプレイ５２上には見本画像２１を用いない旨の表示をする。
　ユーザは手動追加によって十分な数のキー画像４５を確保したら、保存ボタン７２をカーソル７１で選択してキー画像保存メモリ８０に保存する。
　図１２に示すフローチャートに沿ってキー画像４５の自動選定の一連の流れについて、説明する。最初に、医療画像装置１０と接続したデータベース１１からあらかじめ作成した見本画像２１を取得し、見本情報取得部２０に保存する。また、内視鏡システム１２で撮影した検査画像３１を検査画像取得部３０に保存する。
　見本画像２１の取得後、見本情報取得部２０に保存した見本画像２１に対し、機械学習等を使って見本画像情報４３を抽出する。抽出した見本画像カテゴリ情報４３ａ及び見本画像画質情報４３ｂを有する見本画像情報４３は元の見本画像２１に付属させる。
　この時、見本画像２１をディスプレイ５２に一覧表示することで、見本画像２１の確認および見本画像情報４３のユーザ入力ができる。ユーザ入力後、見本画像２１と付属する見本画像情報４３はキー画像選定部４０に送信する。
　検査画像３１においては、内視鏡システム１２での撮影時に取得し、付属させた情報に追加する形で、見本画像２１と同様に情報を抽出し、もとの検査画像３１に付属させることができる。なお、情報の抽出は行わずに撮影時に取得した検査画像情報４４のみを検査画像３１に付属させてもよい。検査画像情報４４を付属させた検査画像３１は、キー画像選定部４０に送る。
　キー画像４５の自動選定を開始する前にユーザがキー画像選定の条件設定を行う。ユーザが、共通するカテゴリ情報数や類似度の閾値を設定することで、キー画像４５に選定する枚数の調整ができる。なお、選定の条件は以前設定したものを繰り返し使用しても良い。
　見本画像２１、検査画像３１およびそれぞれの画像情報はキー画像選定部４０に送信され、キー画像選定が行われる。キー画像選定部４０では共通カテゴリ判別部４１及び、類似度判定部４２で比較処理を行う。なお、共通カテゴリ判別と類似度判定はどちらが先に行われてもよい。
　共通カテゴリ判別部４１では、見本画像カテゴリ情報４３ａと、検査画像カテゴリ情報４４ａで比較処理を行う。いずれかの見本画像２１が有する見本画像カテゴリ情報４３ａに対して共通する検査画像カテゴリ情報４４ａが多いほど、元となる検査画像３１はその見本画像２１に近いと判断できる。
　類似度判定部４２では、見本画像画質情報４３ｂの数値に対し、検査画像画質情報４４ｂが比較処理を行い、どの程度類似するのか判定する。いずれかの見本画像２１の見本画像画質情報４３ｂに対し、検査画像画質情報４４ｂの類似度が高いほど、元となる検査画像３１はその見本画像２１に類似すると判断できる。
　共通カテゴリ判別部４１と類似度判定部４２の比較処理結果を組み合わせることにより、見本画像２１のいずれかに近しい検査画像３１がキー画像４５として選定される。キー画像４５の選定は同じ組み合わせの見本画像２１と検査画像３１に対する共通カテゴリ判別と類似度判定の結果である。キー画像４５に選定された検査画像３１は、非選定検査画像４６と共に画像表示部５０に送信される。
　画像表示部５０に送信されたキー画像４５及び非選定検査画像４６は、表示制御部５１を介してディスプレイ５２に一覧表示される。選定されたキー画像４５を確認し、問題が無ければ保存処理を行う。ユーザ入力により表示された非選定検査画像４６をキー画像４５に追加できる。また、再選定も行うことができる。
　再選定を実施する場合は、各画像情報の編集や、共通カテゴリ判別や類似度判定における閾値の変更などを行う。再選定を行う前に保存したいキー画像４５がある場合は、保存してもよい。
　保存処理を行ったキー画像４５はキー画像保存メモリ８０に保存され、レポート作成装置９０に出力される。レポート作成装置ではレポート９１が作成される。
　上記実施形態において、見本情報取得部２０、検査画像取得部３０、キー画像選定部４０、共通カテゴリ判別部４１、類似度判定部４２、画像表示部５０、表示制御部５１、入力受付部７０、キー画像保存メモリ８０、レポート作成装置９０といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
１０　医療画像装置
１１　データベース
１２　内視鏡システム
１２ａ　光源装置
１２ｂ　内視鏡
１２ｃ　プロセッサ装置
２０　見本情報取得部
２１　見本画像
２１ａ　見本画像
３０　検査画像取得部
３１　検査画像
３１ａ　検査画像
４０　キー画像選定部
４１　共通カテゴリ情報判別部
４２　類似度判定部
４３　見本画像情報
４３ａ　見本画像カテゴリ情報
４３ｂ　見本画像画質情報
４４　検査画像情報
４４ａ　検査画像カテゴリ情報
４４ｂ　検査画像画質情報
４５　キー画像
４５ａ　キー画像
４６　非選定検査画像
４６ａ　非選定検査画像
５０　画像表示部
５１　表示制御部
５２　ディスプレイ
５３　見本画像表示欄
５４　カテゴリ情報表示欄
５５　プルダウンメニュー表示ボタン
５６　プルダウンメニュー
５７　ページ切替ボタン
５８　データベース画像表示欄
５９　データベース画像
５９ａ　データベース画像
６０　キー画像表示欄
６１　検査画像表示欄
６２　キー画像表示枠
７０　入力受付部
７１　カーソル
７２　保存ボタン
７３　再選定ボタン
８０　キー画像保存メモリ
９０　レポート作成装置
９１　レポート
９２　所見入力欄
 

Claims (13)

  1. 　プロセッサを備え、前記プロセッサは、
    　あらかじめ作成された体内が撮影された見本画像を取得し、
    　体内を撮影した検査画像に付属する検査画像情報と、前記見本画像に付属する見本画像情報とを比較し、前記検査画像からキー画像を選定し、
    　選定した前記キー画像を画面表示する医療画像装置。
  2. 　前記プロセッサは、
    　前記見本画像から前記見本画像情報を抽出し、
    　前記検査画像から前記検査画像情報を抽出する請求項１に記載の医療画像装置。
  3. 　前記プロセッサは、
    　前記検査画像情報に含まれる検査画像カテゴリ情報を、前記見本画像情報に含まれる見本画像カテゴリ情報と比較し、
    　共通するカテゴリを判別して前記キー画像を選定する請求項１または２に記載の医療画像装置。
  4. 　前記プロセッサは、
    　前記検査画像情報に含まれる検査画像画質情報を、前記見本画像情報に含まれる見本画像画質情報と比較し、
    　類似度を判定して前記キー画像を選定する請求項１ないし３いずれか１項に記載の医療画像装置。
  5. 　前記プロセッサは、
    　前記キー画像の選定に用いる前記見本画像と、付属する前記見本画像情報とを一覧表示する請求項１ないし４いずれか１項に記載の医療画像装置。
  6. 　前記プロセッサは、
    　前記見本画像の追加または削除、および、付属する前記見本画像情報を編集するユーザ入力を受け付ける請求項１ないし５いずれか１項に記載の医療画像装置。
  7. 　前記プロセッサは、
    　選定した前記キー画像と、非選定検査画像とを、付属するそれぞれの検査画像情報と画面表示する請求項１ないし５いずれか１項に記載の医療画像装置。
  8. 　前記プロセッサは、
    　選定した前記キー画像が前記見本画像情報に関連することを画面表示する請求項１ないし７いずれか１項に記載の医療画像装置。
  9. 　前記プロセッサは、
    　前記見本画像を有していない場合、前記見本画像が無いことを画面表示する請求項１、２、５、６、８いずれか１項に記載の医療画像装置。
  10. 　前記プロセッサは、
    　画面表示された前記非選定検査画像を、前記キー画像に追加する前記ユーザ入力を受け付ける請求項１、３ないし８いずれか１項に記載の医療画像装置。
  11. 　前記見本画像情報および前記検査画像情報は、画像の画質、病変、撮影部位、生検、処置、光源及び機器設定に関する情報のうち少なくとも１つを有する請求項１ないし７いずれか１項に記載の医療画像装置。
  12. 　前記見本画像は、過去のレポートに使用された過去レポート画像、又は、ユーザが選択したユーザ選択画像であり、
    　前記プロセッサは、データベースから前記見本画像を取得する請求項１、２、５、６、８、９いずれか１項に記載の医療画像装置。
  13. 　あらかじめ作成された体内が撮影された見本画像を取得するステップと、
    　体内を撮影した検査画像の検査画像情報と、前記見本画像の見本画像情報とを比較し、前記検査画像からキー画像を選定するステップと、
    　選定した前記キー画像を画面表示するステップと、
    を有する医療画像装置の作動方法。
     
PCT/JP2021/023936 2020-09-14 2021-06-24 医療画像装置およびその作動方法 Ceased WO2022054373A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022547408A JP7556970B2 (ja) 2020-09-14 2021-06-24 医療画像装置およびその作動方法
CN202180063069.7A CN116057633A (zh) 2020-09-14 2021-06-24 医疗图像装置及其工作方法
US18/183,765 US20230222663A1 (en) 2020-09-14 2023-03-14 Medical imaging apparatus and operation method for medical imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020154181 2020-09-14
JP2020-154181 2020-09-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/183,765 Continuation US20230222663A1 (en) 2020-09-14 2023-03-14 Medical imaging apparatus and operation method for medical imaging apparatus

Publications (1)

Publication Number Publication Date
WO2022054373A1 true WO2022054373A1 (ja) 2022-03-17

Family

ID=80632253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023936 Ceased WO2022054373A1 (ja) 2020-09-14 2021-06-24 医療画像装置およびその作動方法

Country Status (4)

Country Link
US (1) US20230222663A1 (ja)
JP (1) JP7556970B2 (ja)
CN (1) CN116057633A (ja)
WO (1) WO2022054373A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010519659A (ja) * 2007-02-27 2010-06-03 イーストマン コダック カンパニー 見本画像に基づく画像の検索
JP2015162082A (ja) * 2014-02-27 2015-09-07 株式会社東芝 レポート作成装置
JP2015191561A (ja) * 2014-03-28 2015-11-02 株式会社東芝 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
JP2018175864A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010082277A (ja) 2008-09-30 2010-04-15 Fujifilm Corp 医用画像表示方法及び装置、並びに医用画像表示プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010519659A (ja) * 2007-02-27 2010-06-03 イーストマン コダック カンパニー 見本画像に基づく画像の検索
JP2015162082A (ja) * 2014-02-27 2015-09-07 株式会社東芝 レポート作成装置
JP2015191561A (ja) * 2014-03-28 2015-11-02 株式会社東芝 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
JP2018175864A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム

Also Published As

Publication number Publication date
JP7556970B2 (ja) 2024-09-26
JPWO2022054373A1 (ja) 2022-03-17
US20230222663A1 (en) 2023-07-13
CN116057633A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
JP6899903B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
US11450425B2 (en) Medical image processing apparatus, endoscope apparatus, diagnostic support apparatus, medical service support apparatus, and report creation support apparatus
JP2004188026A (ja) 情報処理装置
KR20200097596A (ko) 사용자 프리셋(User Preset)을 제공하는 초음파 진단 장치 및 그 동작 방법
JP2000155840A (ja) 画像処理方法
US20230274429A1 (en) Medical image processing device, operation method of medical image processing device, and non-transitory computer readable medium
US20210019887A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP2011215680A (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP7433750B2 (ja) 診療用画像作製および診断に用いるビデオクリップ選択器
WO2022054373A1 (ja) 医療画像装置およびその作動方法
US20230245312A1 (en) Medical image processing apparatus and operation method thereof
JP7702423B2 (ja) 医療画像処理装置及びその作動方法
US8631025B2 (en) Filter by example
JP2023040928A (ja) 学習装置、学習装置の作動方法及び医療画像処理端末
JP2006320585A (ja) 画像表示装置
JPWO2022054373A5 (ja)
US20230306604A1 (en) Image processing apparatus and image processing method
JP2009061028A (ja) 画像処理装置及びそれを備えた医用ワークステーション
JP2023055560A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN115211882A (zh) 医学图像中的图像处理方法、图像显示方法及成像系统
CN115916058A (zh) X射线成像系统
CN113767440A (zh) 诊断支持程序、诊断支持系统和诊断支持方法
JP2010035861A (ja) 医用データ処理装置及び医用データ処理方法
JP2017185011A (ja) 画質設定装置および画質設定装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866334

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022547408

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866334

Country of ref document: EP

Kind code of ref document: A1