[go: up one dir, main page]

WO2022009285A1 - 処理装置、処理プログラム、処理方法及び処理システム - Google Patents

処理装置、処理プログラム、処理方法及び処理システム Download PDF

Info

Publication number
WO2022009285A1
WO2022009285A1 PCT/JP2020/026479 JP2020026479W WO2022009285A1 WO 2022009285 A1 WO2022009285 A1 WO 2022009285A1 JP 2020026479 W JP2020026479 W JP 2020026479W WO 2022009285 A1 WO2022009285 A1 WO 2022009285A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processing
subject
memory
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/026479
Other languages
English (en)
French (fr)
Inventor
敦史 福田
将司 早出
フー クアン キャップ
卓志 安見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aillis Inc
Original Assignee
Aillis Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aillis Inc filed Critical Aillis Inc
Priority to JP2022534513A priority Critical patent/JPWO2022009285A1/ja
Priority to US18/013,604 priority patent/US20230289926A1/en
Priority to CN202080102872.2A priority patent/CN115776863A/zh
Priority to PCT/JP2020/026479 priority patent/WO2022009285A1/ja
Priority to EP20943972.8A priority patent/EP4176794A4/en
Publication of WO2022009285A1 publication Critical patent/WO2022009285A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present disclosure relates to a processing device, a processing program, a processing method, and a processing system for processing an image of a subject taken by a camera.
  • influenza follicles which are a characteristic sign of influenza and are said to appear from the time of onset.
  • a pharyngeal part has been diagnosed by a direct visual inspection by a doctor, and has not been diagnosed using images.
  • an endoscope having an imaging optical system at the tip for photographing a deep part of the body such as the abdominal cavity has been known (Patent Document 1).
  • the cleaning liquid is supplied by the cleaning liquid supply means, and the vibration of the vibrator is vibrated with a strength capable of mixing the dirt with the cleaning liquid by the vibration means. Then, the influence of the vibrator has been removed by switching to a vibration having a strength weaker than the vibration that can be mixed with the cleaning liquid and drying the surface of the transparent member.
  • a processing device a processing program, a processing method, and a processing system suitable for processing an image obtained by photographing the oral cavity for use in the diagnosis of the oral cavity are made.
  • the purpose is to provide.
  • input / output configured to be communicably connected to a camera that captures an image of a subject including at least the oral cavity and to accept input of the image captured by the camera.
  • a memory configured to store the image received by the input / output interface in addition to the predetermined instruction command, and the predetermined instruction command stored in the memory.
  • a processor configured to identify a predetermined area of the subject included in the image based on the image stored in the memory, and to process the image so that the specified predetermined area can be identified.
  • a processing device including, is provided.
  • a processing device including a processor configured to perform processing for removing fogging contained in the image from the image stored in the memory.
  • input / output configured to be communicably connected to a camera that captures an image of a subject including at least the oral cavity and to accept input of the image captured by the camera.
  • a memory configured to store the image received by the input / output interface, and the predetermined instruction stored in the memory in addition to the predetermined instruction command.
  • a processing device including a processor configured to perform super-resolution processing on the image in order to increase the resolution of the image stored in the memory is provided.
  • an input / output interface communicatively connected to a camera that captures an image of a subject including at least the oral cavity, and a memory configured to store the image.
  • the computer receives the input of the image taken by the camera, stores the image received by the input / output interface, and among the subjects included in the image based on the image stored in the memory.
  • a processing program that identifies a predetermined area of the image and causes the specified area to function as a processor configured to process the image in an identifiable manner.
  • an input / output interface communicatively connected to a camera that captures an image of a subject including at least the oral cavity, and to store the image in addition to a predetermined instruction command.
  • a computer including a configured memory, it is a processing method performed by a processor executing the instruction command, and is a step of accepting an input of the image taken by the camera and being accepted by the input / output interface.
  • the step of storing the image, the step of specifying a predetermined area of the subject included in the image based on the image stored in the memory, and the specified predetermined area can be distinguished.
  • a processing method including a step of processing the image and a processing method including the image are provided.
  • a processing system including an imaging device configured to capture an image of a subject including at least the oral cavity and the processing apparatus described above.
  • a processing device a processing program, a processing method and a processing system suitable for processing an image obtained by photographing the oral cavity for use in the diagnosis of the oral cavity.
  • FIG. 1 is a diagram showing a usage state of the processing system 1 according to the embodiment of the present disclosure.
  • FIG. 2 is a schematic diagram of the processing system 1 according to the embodiment of the present disclosure.
  • FIG. 3 is a block diagram showing a configuration of the processing system 1 according to the embodiment of the present disclosure.
  • FIG. 4 is a schematic view showing the configuration of the upper surface of the photographing apparatus 200 according to the embodiment of the present disclosure.
  • FIG. 5 is a schematic view showing the configuration of a cross section of the photographing apparatus 200 according to the embodiment of the present disclosure.
  • FIG. 6 is a diagram showing a processing flow executed in the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 7 is a diagram showing a processing flow executed in the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 1 is a diagram showing a usage state of the processing system 1 according to the embodiment of the present disclosure.
  • FIG. 2 is a schematic diagram of the processing system 1 according to the embodiment of the present disclosure.
  • FIG. 8 is a diagram showing a processing flow related to generation of a trained model according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram showing a processing flow related to generation of a trained model according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram showing a processing flow related to generation of a trained model according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 12 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 13 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 14 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 15 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 16 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 17 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 18 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 19 is a diagram showing an example of an image obtained by the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 19 is a diagram showing an example of an image obtained by the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 20 is a diagram showing an example of an image obtained by the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 21 is a diagram showing an example of an image obtained by the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 22 is a diagram showing an example of an image obtained by the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 23 is a diagram showing an example of an image obtained by the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 24 is a diagram showing an example of image output according to an embodiment of the present disclosure.
  • FIG. 25 is a block diagram showing a configuration of the processing system 1 according to another embodiment of the present disclosure.
  • the processing system 1 according to the present disclosure is mainly used for photographing the inside of the oral cavity of a subject to obtain a subject image.
  • the processing system 1 is used to image the area around the back of the throat of the oral cavity, specifically, the pharynx. Therefore, in the following, the case where the processing system 1 according to the present disclosure is used for photographing the pharynx will be mainly described.
  • the pharynx is an example of an imaging site, and naturally, the processing system 1 according to the present disclosure can be preferably used even in other sites such as the tonsils as long as it is in the oral cavity.
  • the processing system 1 is used, for example, to identify a region included in an image from an image obtained by photographing a subject including the pharyngeal region of the oral cavity of a subject.
  • the image taken by the processing system 1 and the area specified is used, for example, by a doctor to determine the possibility of influenza morbidity.
  • the possibility of influenza is determined by examining the pharynx and tonsil region of the subject and determining the presence or absence of findings such as follicles in the pharyngeal region. Therefore, the processing system 1 can identify, for example, the region where the pharynx, tonsils, and follicles are expressed in the obtained image.
  • influenza morbidity is an example, and of course, any of the determinations of a disease in which the findings in the oral cavity are different due to the morbidity can be preferably used.
  • diseases include hemolytic streptococcal infections, adenovirus infections, EB virus infections, mycoplasma infections, arteriosclerosis and the like.
  • the processing system 1 of the present disclosure may be used by the person to be imaged by himself / herself, or may be used by a user other than a doctor to be determined or diagnosed by the processing apparatus 100 included in the processing system 1.
  • FIG. 1 is a diagram showing a usage state of the processing system 1 according to the embodiment of the present disclosure.
  • the processing system 1 according to the present disclosure includes a processing device 100 and a photographing device 200.
  • the user inserts the assistive device 300 into the oral cavity 710 of the subject, and inserts the imaging device 200 into the assistive tool 300 so as to be covered with the inserted assistive tool 300. Therefore, the imaging device 200 is used to image the inside of the oral cavity 710.
  • the imaging device 200 of the processing system 1 has the assistive device 300 in the oral cavity 710 depending on the user (the subject 700 may be the subject 700 himself or the subject 700 may be different from the subject 700). Will be inserted into.
  • the tip of the auxiliary tool 300 passes through the incisors 711 and is inserted to the vicinity of the soft palate 713. Then, with the assisting tool 300 inserted in the oral cavity 710, the imaging device 200 is inserted into the assisting tool 300 from the tip. Therefore, the imaging device 200 is inserted through the incisors 711 to the vicinity of the soft palate 713.
  • the assistive tool 300 (which functions as a tongue depressor) pushes the tongue 714 downward to limit the movement of the tongue 714, and the tip of the assistive tool 300 pushes the soft palate 713 upward. As a result, a good field of view of the photographing apparatus 200 is secured, and the pharynx 715 located in front of the photographing apparatus 200 is photographed.
  • the photographed subject image (image of the pharynx 715) is transmitted from the photographing device 200 to the processing device 100 connected by wire so as to be communicable.
  • the processor of the processing device 100 processes the program stored in the memory of the processing device 100, the area is specified based on the subject image, and the result is output to a display or the like.
  • the tip portion of the imaging device 200 is inserted up to the vicinity of the pharynx of the subject. Therefore, the tip portion is affected by the subject's respiration and is strongly affected by cloudiness of the tip portion and diffusion of light due to cloudiness. Therefore, the obtained image may be a white and cloudy state image.
  • the imaging device 200 passes near the incisors 711 and is inserted near the tongue 714. Therefore, stable imaging may be hindered by the movement of the incisors 711 and the tongue 714.
  • the processing system 1 can execute a sharpening process such as a fogging removal process and a super-resolution process.
  • the configuration diagram 2 of the processing system 1 is a schematic diagram of the processing system 1 according to the embodiment of the present disclosure.
  • the processing system 1 includes a processing device 100 and a photographing device 200 connected to the processing device 100 so as to be communicable by wire.
  • the processing device 100 receives an operation input by the user and controls shooting by the shooting device 200. Further, the processing device 100 processes the subject image captured by the photographing device 200 to specify the region of the pharynx and the follicle included in the image. Further, the processing device 100 outputs the specified area in an identifiable manner so that the user, the target person, or the like can confirm it.
  • the imaging device 200 has at least its tip inserted into the oral cavity of the subject to photograph the oral cavity, especially the pharynx. The specific shooting process will be described later.
  • the captured subject image is transmitted to the processing device 100 via a wired cable.
  • FIG. 3 is a block diagram showing the configuration of the processing system 1 according to the embodiment of the present disclosure.
  • the processing system 1 includes a processing device 100 including a processor 111, a memory 112, an operation input interface 113, a display 114, and an input / output interface 115, and a photographing device 200 including a camera 211 and a light source 212.
  • Each of these components is electrically connected to each other via a control line and a data line.
  • the processing system 1 does not need to include all of the components shown in FIG. 3, and may be configured by omitting a part of the components, or may be configured by adding other components.
  • the processing system 1 can include a battery for driving each component, a communication interface for transmitting the result processed by the processing system 1 to the outside, and receiving an instruction command from the outside. be.
  • the processor 111 functions as a control unit that controls other components of the processing system 1 based on the program stored in the memory 112.
  • the processor 111 controls the drive of the camera 211 and the drive of the light source 212 based on the program stored in the memory 112, and stores the subject image received from the photographing device 200 in the memory 112, and stores the stored subject image.
  • the processor 111 receives an instruction input to the operation input interface 113 by the user, a process of turning on the light source 212 and instructing shooting by the camera 211, and receiving an input of a subject image shot by the shooting device 200.
  • the processor 111 is mainly composed of one or a plurality of CPUs, but a GPU or the like may be combined as appropriate.
  • the memory 112 is composed of a RAM, a ROM, a non-volatile memory, an HDD, etc., and functions as a storage unit.
  • the memory 112 stores instruction commands for various controls of the processing system 1 according to the present embodiment as a program. Specifically, the memory 112 receives an instruction input to the operation input interface 113 by the user, turns on the light source 212, instructs the camera 211 to take a picture, and receives an input of a subject image taken by the picture taking device 200. Processing for storing the subject image received by the input / output interface 115 in the memory 112, specifying a predetermined area of the subject included in the subject image based on the subject image stored in the memory 112.
  • the memory 112 includes various information about the target person including the target person 700 (target person identification information, etc.), a subject image taken by the camera 211 of the photographing apparatus 200, sharpening processing, and area identification.
  • the processed subject image and the like are stored in association with the target person identification information.
  • the memory 112 stores each trained model used for the sharpening process and the area specifying process.
  • a storage medium connected to the outside so as to be communicable can be used, or such a storage medium can be used in combination.
  • the operation input interface 113 functions as an operation input unit that receives user's instruction input to the processing device 100 and the photographing device 200.
  • a “shooting button” for instructing the start / end of recording by the shooting device 200
  • a “confirmation button” for making various selections
  • a front button for a “back / cancel button” for returning to the screen or canceling the input confirmation operation
  • a cross key button for moving the icon displayed on the display 114, and an on for turning on / off the power of the processing device 100. ⁇ Off-key etc. can be mentioned.
  • the operation input interface 113 can also use a touch panel that is provided so as to be superimposed on the display 114 and has an input coordinate system corresponding to the display coordinate system of the display 114.
  • the detection method of the user's instruction input by the touch panel may be any method such as a capacitance type and a resistance film type.
  • the display 114 functions as a display unit for displaying a subject image captured by the photographing apparatus 200 and outputting a result determined by the processor 111.
  • a liquid crystal panel it is not limited to the liquid crystal panel and may be composed of an organic EL display, a plasma display, or the like.
  • the input / output interface 115 functions as an input / output unit for receiving various commands related to shooting start and input / output of image data shot by the shooting device 200 to the shooting device 200 connected by wire or wirelessly. ..
  • Examples of the input / output interface 115 include connectors for wired communication such as USB and SCSI, transmission / reception devices for wireless communication such as Bluetooth (registered trademark) and infrared rays, and various connection terminals for printed mounting boards and flexible mounting boards.
  • a wired cable extended from the photographing apparatus 200 is connected to the input / output interface 115 which is a USB terminal.
  • the image data of the subject image received by the input / output interface 115 is stored in the memory 112 under the control of the processor 111.
  • the camera 211 is driven by an instruction from the processing device 100, and functions as a photographing unit that detects the reflected light reflected on the oral cavity, which is the subject, and generates a subject image.
  • the camera 211 includes, for example, a CMOS image sensor, and a lens system and a drive system for realizing a desired function in order to detect the light.
  • the image sensor is not limited to the CMOS image sensor, and other sensors such as a CCD image sensor can also be used.
  • the camera 211 can have an autofocus function, and it is preferable that the camera 211 is set so that the focus is on a specific area, for example, on the front surface of the lens. Further, the camera 211 can have a zoom function, and it is preferable that the camera 211 is set to take an image at an appropriate magnification according to the size of the pharynx or influenza follicle.
  • the camera 211 since the camera 211 is inserted into the oral cavity of the subject and used for photographing the pharynx in the back of the oral cavity, the distance between the camera 211 and the subject is relatively short. Therefore, the camera 211 has an angle of view (2 ⁇ ) at which the values calculated by [(distance from the tip of the camera 211 to the posterior wall of the pharynx) * tan ⁇ ] are 20 mm or more in the vertical direction and 40 mm or more in the horizontal direction.
  • the camera 211 it is possible to use a normal camera, but it is also possible to use a so-called wide-angle camera or a so-called ultra-wide-angle camera.
  • the influenza follicle imaged by the camera 211 is formed in the pharynx in the oral cavity.
  • the camera 211 has a depth of field of at least 20 mm or more, preferably 30 mm or more.
  • the light source 212 is driven by an instruction from the processing device 100 and functions as a light source unit for irradiating the oral cavity with light.
  • the light source 212 includes one or more light sources.
  • the light source 212 is composed of one or a plurality of LEDs, and light having a predetermined frequency band is emitted from each LED in the oral direction.
  • As the light source 212 light having a desired band from the ultraviolet light band, the visible light band, and the infrared light band, or a combination thereof is used.
  • a specific component of the influenza follicle reacts, so that it becomes possible to more reliably determine the disease-likeness.
  • the processing device 100 and the photographing device 200 are connected so as to be communicable with a wired cable.
  • the present invention is not limited to this, and the two may be connected by wireless communication.
  • FIG. 4 is a schematic view showing the configuration of the upper surface of the photographing apparatus 200 according to the embodiment of the present disclosure.
  • the main body 214 is composed of a columnar body having a base end 220 and a tip end 221 and having a predetermined length in a direction substantially parallel to the direction in which light is emitted from the light source 212. Then, at least the tip 221 of the main body 214 is inserted into the oral cavity.
  • the main body 214 is formed into a hollow cylindrical column with a perfect circle in cross section.
  • the wall portion 224 may be any material as long as it can guide light inside the wall portion 224, and can be obtained by using a thermoplastic resin as an example.
  • the thermoplastic resin includes a chain polyolefin resin (polypoly resin, etc.), a polyolefin resin such as a cyclic polyolefin resin (norbornen resin, etc.), a triacetyl cellulose, a cellulose ester resin such as diacetyl cellulose, and a polyester.
  • a based resin, a polycarbonate resin, a (meth) acrylic resin, a polystyrene resin, a mixture thereof, a copolymer, or the like is used. That is, the main body 214 functions as a light guide body for guiding the light emitted from the light source into the oral cavity or toward the diffuser plate.
  • the accommodation space 223 is formed on the inner surface of the wall portion 224.
  • the camera 211 is accommodated in this accommodation space 223.
  • the main body 214 need only be formed in a columnar shape having a storage space 223. Therefore, the accommodation space 223 does not have to have a cylindrical shape having a perfect circular cross section, and may have an elliptical cross section or a polygonal cross section. Further, the main body 214 does not necessarily have to be formed hollow inside.
  • FIG. 13 is a schematic view showing a cross section of the subject 7 according to the embodiment of the present disclosure. Specifically, it is a figure which shows the cross section of the general subject 7 near the oral cavity.
  • the subject 7 forms an oral cavity from the incisors 711 toward the back of the throat, and has a pharynx 715 as a subject at the deepest portion thereof. Therefore, the imaging device 200 is inserted with its tip up to the vicinity of the soft palate 713 in order to image the pharynx 715.
  • Subject 7 has a distance d1 from the incisors 711 to the soft palate 713.
  • the distance d1 is defined as "Measurement of upper airway inner diameter in sleep apnea syndrome (Nobuo Otani)". Jpn. Bronchoesophagol. Soc. (Nikki Shokuhin), Vol. 40, No. According to 5, pp, 396-402, it is generally about 100 mm to 200 mm.
  • the main body 214 has a distance D1 as the length from the tip end 221 to the base end 220.
  • the distance D1 is preferably 100% or less, preferably 80% or less of the distance d1 from the incisor 711 to the soft palate 713.
  • the main body 214 is short, the distance between the camera 211 and the subject becomes too long. With the above distance D1, the feeling of vomiting can be prevented, while the feeling of distance from the subject can be appropriately maintained.
  • the tip of the grip 213 is connected to the base end 220 of the main body 214.
  • the user grips the grip 213 and performs operations such as inserting and removing the photographing device 200.
  • the grip 213 becomes relatively thin toward the tip side connected to the main body 214 according to the shape when gripped by the user's palm, and curves toward the proximal end side located on the opposite side of the main body 214. It has a shape that swells.
  • the present embodiment has a shape such that the cross section is a perfect circle, it does not have to be a perfect circle and may be an ellipse or a polygon.
  • the width (distance D2) of the main body 214 in the direction perpendicular to the direction connecting the tip end 221 and the base end 220 of the main body 214 is, for example, the relationship with the vertical opening width of the subject's mouth. It is determined in. According to FIG. 13, the subject 7 has a distance d2 as the vertical opening width of the mouth.
  • the distance d2 is "Statistical study on the maximum opening amount in healthy Japanese adult temporomandibular joints (Hiroyasu Tsukahara et al.)" Journal of the Japanese Society of Oral Surgery, Vo. 44, No. 2, According to pp159-167, in the case of a general adult male, the average is 3.5 cm to 4.0 cm.
  • the photographing device 200 is inserted into the width of this distance d2 together with the auxiliary tool 300, but the user needs to take a picture while observing the inside of the oral cavity through the gap into which each is inserted. Therefore, it is beneficial that the imaging device 200 is inserted and does not interfere with the visibility of the user. Therefore, the distance D2 of the main body 214 is preferably 80% or less, preferably 60% or less, or 3.2 cm or less, preferably 2.4 cm or less of the distance d2 which is the opening width in the vertical direction of the mouth. ..
  • the grip 213 has an engaging protrusion 217 for positioning the auxiliary tool 300 and a positioning protrusion 218 in the vicinity of the base end 220 of the main body 214.
  • the engaging protrusion 217 engages with the engaging protrusion provided on the auxiliary tool 300.
  • the positioning protrusion 218 is inserted into an insertion hole provided in the auxiliary tool 300 to position the photographing device 200 and the auxiliary tool 300 with each other.
  • the engaging protrusions 217 of the main body 214 have a total of four engaging protrusions arranged at equal intervals on the surface of the grip 213 at positions near the base end 220 of the main body 214. To.
  • one positioning protrusion 218 is arranged between the engaging protrusions 217 on the surface of the grip 213 and at a position near the base end 220 of the main body 214.
  • the present invention is not limited to this, and only one of the engaging projection 217 and the positioning projection 218 may be arranged.
  • the number of the engaging protrusions 217 and the positioning protrusions 218 may be any number as long as the number is one or more.
  • the grip 213 includes a shooting button 215 for receiving an operation input from the user and starting or ending the shooting of the subject image. Therefore, the user can also instruct the start and end of shooting by using the shooting button of the operation input interface 113 of the processing device 100, but the user can instruct the start and end of shooting by using the shooting button 215. It is also possible to do.
  • the diffuser plate 219 is arranged at the tip 221 of the main body 214, is irradiated from the light source 212, and diffuses the light that has passed through the main body 214 toward the oral cavity.
  • the diffuser plate 219 has a shape corresponding to the cross-sectional shape of the portion of the main body 214 that is configured to be light-tight.
  • the main body 214 is formed in a hollow cylindrical shape. Therefore, the cross section of the diffuser plate 219 is also formed in a hollow shape corresponding to its shape.
  • the camera 211 is used to generate a subject image by detecting the reflected light diffused from the diffuser plate 219 and irradiated into the oral cavity and reflected on the subject.
  • the camera 211 is arranged on the inner surface of the wall portion 224 of the main body 214, that is, in the accommodation space 223 formed inside the main body 214.
  • the photographing device 200 may include a plurality of cameras. By generating a subject image using a plurality of cameras, the subject image contains information on the three-dimensional shape of the influenza follicle. This makes it possible to more accurately identify the area of influenza follicle.
  • the camera 211 is arranged in the accommodation space 223 of the main body 214, but the tip 221 of the main body 214 or the main body 214 (whether inside the main body 214 or on the outer periphery of the main body 214). May be placed in).
  • FIG. 5 is a schematic view showing the configuration of a cross section of the photographing apparatus 200 according to the embodiment of the present disclosure.
  • the light source 212 in the light source 212, a total of four light sources 212-1 to 212-4 are arranged on the substrate 225 arranged on the tip end side of the grip 213.
  • the light source 212 is composed of LEDs, and light having a predetermined frequency band is emitted from each LED toward the oral cavity.
  • the light emitted from the light source 212 enters the base end 220 of the main body 214 and is guided in the direction of the diffuser plate 219 by the wall portion 224 of the main body 214.
  • the light that has reached the diffuser plate 219 is diffused into the oral cavity by the diffuser plate 219.
  • the light diffused by the diffuser plate 219 is reflected on the pharynx 715 or the like, which is the subject.
  • a subject image is generated.
  • the light sources 212-1 to 212-4 may be configured to be controlled independently. For example, by illuminating a part of the light sources 212-1 to 212-4, the shadow of the influenza follicle having a three-dimensional shape can be included in the subject image. As a result, the subject image contains information on the three-dimensional shape of the influenza follicle, and it becomes possible to more accurately identify the influenza follicle region.
  • the light sources 212-1 to 212-4 are arranged on the base end 220 side of the main body 214, but the tip 221 of the main body 214 or the main body 214 (even inside the main body 214, the main body 214). It may be arranged on the outer periphery of the.
  • the diffuser plate 219 is used to prevent the light emitted from the light source 212 from illuminating only a part of the oral cavity and to generate uniform light. Therefore, as an example, a lens-shaped diffuser plate having a fine lens array formed on the surface of the diffuser plate 219 and having an arbitrary diffusion angle is used. Further, instead of this, a diffuser plate capable of diffusing light by another method such as a diffuser plate that realizes a light diffusion function by fine irregularities randomly arranged on the surface may be used. Further, the diffusion plate 219 may be configured integrally with the main body 214. For example, it can be realized by a method such as forming fine irregularities on the tip portion of the main body 214.
  • the tip 221 of the main body 214 is inserted into the oral cavity. Therefore, the subject is affected by the cloudiness of the tip portion due to the subject's breathing when the subject is photographed. Therefore, in the processing apparatus 100, it is possible to carry out a sharpening process for removing the influence of fogging.
  • FIG. 6 is a diagram showing a processing flow executed by the processing apparatus 100 according to the embodiment of the present disclosure. Specifically, FIG. 6 is a diagram showing a processing flow executed by the processor 111 of the processing apparatus 100 at a predetermined cycle based on the program stored in the memory 112.
  • FIG. 11 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure. Specifically, an example of the top screen displayed on the display 114 by the processing of S111 in FIG. 6 is shown.
  • the display 114 in the vicinity of the center thereof, the display 114 has a shooting mode icon 11 for turning on the power of the shooting device 200 and shifting to a shooting mode for shooting a subject image, and the display 114 has already been imaged and stored in a memory 112 or the like.
  • An image confirmation mode icon 12 for shifting to an image confirmation mode for outputting the displayed subject image or the like to the display 114 is displayed.
  • the user can operate the operation input interface 113 to select which mode to shift to.
  • the processor 111 determines whether or not the user's operation input for either the shooting mode icon 11 or the image confirmation mode icon 12 is accepted via the operation input interface 113 (S112). .. Then, when it is determined that the shooting mode icon 11 is selected (S113), the processor 111 shifts to the shooting mode, turns on the power of the shooting device 200, and outputs the shooting standby screen to the display 114. (S114). The shooting standby screen will be described later. On the other hand, when it is determined that the image confirmation mode icon 12 is selected (S113), the processor 111 shifts to the image confirmation mode and controls the display 114 to output the image confirmation screen (S115). As a result, the processing flow ends. Even if it is determined that the processor 111 does not accept any operation input in S112, the processing flow ends as it is.
  • FIG. 12 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure. Specifically, an example of a shooting standby screen displayed on the display 114 by the processing of S114 in FIG. 6 is shown.
  • the display 114 displays a so-called through image photographed by the photographing apparatus 200 and received via the input / output interface 115 as a photographing standby screen.
  • the user can refer to the through image and perform operation input to the operation input interface 113 to adjust the focus, angle of view, aperture value, etc., and to enlarge / reduce the image.
  • the user inserts at least the tip portion of the shooting device 200 into the oral cavity of the subject, and the subject image near the pharynx, which is the subject, is displayed.
  • the subject image including the tongue 714 and the soft palate 713 in the oral cavity 710 into which the photographing apparatus 200 is inserted and the pharynx 715 is displayed in the subject image.
  • the subject image is entirely white and cloudy, or is locally (for example, the upper left portion of the image in FIG. 12) white and cloudy.
  • FIG. 7 is a diagram showing a processing flow executed in the processing apparatus 100 according to the embodiment of the present disclosure. Specifically, FIG. 7 is a diagram showing a processing flow in which the processor 111 of the processing device 100 executes at a predetermined cycle based on the program stored in the memory 112 when the shooting standby screen is displayed in FIG. Is.
  • the processing flow of FIG. 7 is started when the shooting mode is selected by the user and the shooting standby screen is displayed as described above.
  • the processor 111 receives an input from the operation input interface 113 or the photographing button 215 of the photographing apparatus 200, and determines whether or not any of the photographing buttons is pressed (S211). Then, when any of the shooting buttons is pressed, shooting by the shooting device 200 is started (S212), and the shooting screen is displayed.
  • the processor 111 inputs the subject image captured by the camera 211 of the photographing device 200 to the processing device 100 via the input / output interface in the photographing device 200 and the input / output interface 115 in the processing device 100. , Control to store in the memory 112.
  • the subject image shot here may be a still image shot by continuously shooting one or a plurality of shots each time one of the shooting buttons is pressed, or a moving image shot over a certain period of time. It may be either.
  • the operation input interface 113 accepts the operation input of the user, and the input of the subject to be the subject is performed in advance. Therefore, when the processor 111 stores the subject image captured in the memory 112, the processor 111 stores the captured subject image in association with the input target person identification information and information such as the shooting date and time.
  • FIG. 13 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 13 shows an example of a screen displayed on the display 114 after shooting is started by the process of S212 of FIG. 7.
  • a predetermined number of shots for example, 30 shots
  • the current shooting progress is displayed on the display 14.
  • shots for example, 30 shots
  • the sharpening process is performed on each subject image.
  • the sharpening process includes various processes such as removal process of various noise components such as cloudiness contained in the subject image, edge enhancement process, super-resolution process, correction process such as brightness correction, and binarization process. sell.
  • the processor 111 performs the defrosting process on the subject image stored in the memory 112 (S213).
  • the processor 111 temporarily stores the subject image that has been defoamed in the memory 112 in association with the subject identification information.
  • the processor 111 may perform processing such as correction of the pixel value, contrast and / or luminance of each pixel, application of the defrosting filter, and the like on the obtained subject image. Further, the subject image obtained for the trained defrosting image model generated by learning the subject image including fogging as an image for fogging learning and the subject image not including fogging as a good learning image is used. It is also possible to carry out anti-fog treatment by applying.
  • the captured subject image may be enlarged and displayed in order to confirm the lesion area in detail.
  • the processor 111 performs super-resolution processing on the subject image that has been defoamed (S214).
  • the processor 111 temporarily stores the super-resolution-processed subject image in the memory 112 in association with the subject identification information.
  • super-resolution processing single-image super-resolution processing using autocorrelation of images and multiple images performed by estimating minute positional deviations between multiple images and interpolating between each pixel. Examples include super-resolution processing. Further, the trained super-resolution generated by learning the high-resolution image as a high-resolution learning image and the image obtained by degrading the high-resolution learning image as a low-resolution learning image. It is also possible to perform super-resolution processing by applying the obtained subject image to the image model.
  • the fogging removal treatment and the super-resolution treatment are performed in this order, but the order of the treatment is not limited to this.
  • the order can be reversed, or other processes can be combined as appropriate.
  • the processor 111 performs area identification processing on the subject image that has undergone super-resolution processing (S215). Then, in addition to the subject image stored in the memory 112 before the area identification process, the processor 111 receives a subject image labeled so that the area identification process is performed and the specified area can be identified. It is stored in the memory 112 in association with the identification information.
  • a label assignment process via an operation input interface 113 by a doctor or the like, or a feature amount in a subject image obtained by holding a feature amount database stored for each area to be specified in advance is used.
  • Examples include the process of assigning a label. Further, it is generated by learning the obtained subject image as a learning image and the position information of each area obtained by performing the above-mentioned area specifying process on the learning image as learning position information. It is also possible to perform region identification processing by applying the obtained subject image to the trained region identification image model. In this embodiment, the case of specifying the pharyngeal and follicular regions is mainly described, but the same treatment is performed even when the tonsils and other regions are specified.
  • the processor 111 performs a process for outputting the subject image to which the above process has been performed to the display 114 (S216).
  • the display on the display 114 is an example of output processing, and other output methods can be used.
  • As another example of output it is possible to output to an external display device or printer connected by wire or wirelessly, or to send to another terminal device or server device connected by wire or wirelessly. It is possible.
  • FIG. 14 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure. Specifically, FIG. 14 shows an example of a list screen displayed on the display 114 after various processes are completed by the process of S216 of FIG. 7. According to FIG. 14, 30 subject images obtained by pressing the shooting button are displayed on the display 114 four by four in the shooting order. Further, on the right side of the display 114, a completion icon 15, a retake icon 16, a next icon 17, and a previous icon 18 are displayed, respectively. The completion icon 15 stores each subject image temporarily stored in the memory 112 in the HDD or flash memory of the memory 112 in association with the target person identification information, and waits until the pressing of the shooting button is detected again.
  • the retake icon 16 is used to erase each subject image temporarily stored in the memory 112 from the memory 112 and to shift to a state of waiting until the pressing of the shooting button is detected.
  • the next icon 17 and the previous icon 18 are used to shift a series of subject images displayed four by four to a state in which the next four or the previous four subject images are displayed. Each of these icons is selected by accepting a user's operation input on the operation input interface 113.
  • each image is a high-resolution defrosted image. It is also possible to display a low resolution image instead of displaying the high resolution image itself on the list screen.
  • FIG. 15 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure. Specifically, FIG. 15 shows an example of a screen when a specific subject image selected by the user from the list screen shown in FIG. 14 is displayed on the display 114. The selection of the subject image on the list screen of FIG. 14 is performed by accepting the selection operation of the user via the operation input interface 113.
  • a specific image of a subject selected by accepting a user's selection operation which has undergone super-resolution processing and defogation processing, is displayed on the display 114. .. Further, at the lower part of the display 114, the operation input interface 113 receives the operation input from the user, so that the selection tray 23 is temporarily superimposed on the subject image and displayed.
  • the completion icon 19, the retake icon 20, the next icon 21, and the previous icon 22 are displayed on the selection tray 23, respectively.
  • the functions of these icons are the same as those of the icons described with reference to FIG. In addition to these icons, the area identification icon 41 is displayed on the selection tray 23.
  • the area identification icon 41 corresponds to the currently displayed subject image and is used to read out and display the subject image labeled so that the identified area can be identified from the memory 112.
  • the subject image after the defrosting process (S213) and the super-resolution process (S214) of FIG. 7 are executed is displayed on the screen. Further, the processor 111 can enlarge / reduce the displayed image by receiving the input of the user's enlargement / reduction operation on the operation input interface 113. Therefore, it is possible to display a high-definition subject image even when the image is enlarged.
  • FIG. 16 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure. Specifically, FIG. 16 shows an example of a screen displayed by accepting the user's selection of the area identification icon 41 on the screen shown in FIG. According to FIG. 16, label information for making each area identified by the area identification process (S215) of FIG. 7 identifiable is superimposed on the subject image and displayed. For example, the area specified as the soft palate is highlighted by the area display 40, and the area name display 36 notifying that it is the "soft palate" is made. Similarly, the area specified as the pharynx is highlighted by the area display 39, and the area name display 35 notifying that it is the "pharynx" is made.
  • the regions identified as influenza follicles are highlighted by region indications 37 and 38, and region name indications 33 and 34 notifying that they are "follicles" are made.
  • region indications 37 and 38 region name indications 33 and 34 notifying that they are "follicles" are made.
  • the operation input interface 113 returns to the screen shown in FIG.
  • FIG. 16 describes an example of specifying a region such as the pharynx, the soft palate, and a follicular gland, the same treatment is performed when specifying another region such as the tonsil gland.
  • the processor 111 uses the HDD or flash of the memory 112 to temporarily store each subject image in the memory 112 based on the user's operation input received by the operation input interface 113 on each screen. It is stored in a memory or the like in association with the target person identification information, or is processed for erasing without being stored (S217). Then, the processing flow ends.
  • FIG. 17 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure. Specifically, an example is shown in the case where the image confirmation mode is entered in S115 of FIG. 6 and the image confirmation screen is displayed on the display 114. According to FIG. 17, a list screen of subject images of a subject whose shooting order is the newest is displayed. These images are read out by extracting a series of images associated with the subject identification information from the memory 112. Therefore, the subject name (patient: A) 28 specified by the subject identification information associated with the displayed subject image is displayed at the upper part of the screen.
  • a patient icon 24, a previous patient icon 25, a next image icon 26, and a previous image icon 27 are displayed, respectively.
  • the next patient icon 24 and the previous patient icon 25 are used to display a series of subject images stored in association with the subject stored before and after the currently displayed subject.
  • the next image icon 26 and the previous image icon 27 are used to shift a series of subject images displayed four by four to a state in which the next four or the previous four subject images are displayed. ..
  • Each of these icons is selected by accepting a user's operation input on the operation input interface 113.
  • the subject image stored after the fogging removal processing and the super-resolution processing are performed is displayed on the list screen. It is also possible to display a low resolution image instead of displaying the high resolution image itself on the list screen.
  • FIG. 18 is a diagram showing an example of a screen displayed on the processing apparatus 100 according to the embodiment of the present disclosure. Specifically, FIG. 18 shows an example of a screen when a specific subject image selected by the user from the list screen shown in FIG. 17 is displayed on the display 114. The selection of the subject image on the list screen of FIG. 17 is performed by accepting the selection operation of the user via the operation input interface 113.
  • a specific subject image selected by accepting the user's selection operation is displayed on the display 114.
  • the operation input interface 113 receives the operation input from the user, so that the selection tray 32 is temporarily superimposed on the subject image and displayed.
  • the next patient icon 28, the previous patient icon 29, the next image icon 30, and the previous image icon 31 are displayed on the selection tray 32, respectively.
  • the functions of these icons are the same as those of the icons described with reference to FIG.
  • the area identification icon 42 is displayed on the selection tray 32.
  • the area identification icon 41 corresponds to the currently displayed subject image and is used to read out and display the subject image labeled so that the identified area can be identified from the memory 112.
  • the subject image stored after the fogging removal processing and the super-resolution processing are performed is displayed on the screen. Further, the processor 111 can enlarge / reduce the displayed image by receiving the input of the user's enlargement / reduction operation on the operation input interface 113. Therefore, it is possible to display a high-definition subject image even when the image is enlarged.
  • the subject image labeled so that the specified area can be identified is displayed on the display 114. Since the screen is the same as that in FIG. 16, the description thereof will be omitted.
  • FIG. 24 is a diagram showing an example of image output according to an embodiment of the present disclosure. Specifically, FIG. 24 shows an example in which a subject image and various information stored in association with the subject image are output to another processing device connected by wire or wirelessly from the input / output interface 115. show.
  • the shooting date, information on findings by doctors, registration records, and the like are stored and output as an electronic medical record. Then, according to FIG. 24, the imaged date and the subject images 43 and 44 captured on that day are displayed on the display of another processing device so that a doctor or the like can view the subject image. In addition, information on findings by doctors and medication record information are displayed.
  • FIG. 8 is a diagram showing a processing flow related to generation of a trained model according to an embodiment of the present disclosure. Specifically, FIG. 8 is a process for generating a trained defog image model used in S213 of FIG. 7. The processing flow may be executed by the processor 111 of the processing apparatus 100, or may be executed by the processor of another processing apparatus.
  • a step of acquiring a subject image including fogging taken by the photographing apparatus 200 as a fogging learning image is executed (S311).
  • a step of separately acquiring a good subject image without fogging, which is taken by the photographing apparatus 200, as a good learning image is executed (S312).
  • the acquisition of the good learning image uses a subject image taken separately from the fogging learning image, but the pixel value, contrast and / or brightness of each pixel is corrected for the fogging learning image. It may be acquired by performing a defrosting process such as applying a defrosting filter.
  • the step of performing machine learning of the cloud removal pattern using both the learning images is executed (S313).
  • a pair of a cloud learning image and a good learning image is given to a neural network composed of a combination of neurons so that the output of the neural network becomes the same as the good learning image. Learning is repeated while adjusting the parameters of the neurons.
  • a step of acquiring a trained defog image model (for example, a neural network and parameters) is executed (S314).
  • the acquired learned defrosting model may be stored in the memory 112 of the processing device 100 or in another processing device connected to the processing device 100 via wireless communication.
  • the stored learned defrosting model is executed in the processing device 100 or another processing device, so that the defrosting process (S213) of the subject image shown in FIG. 7 is executed.
  • FIG. 19 and 20 are diagrams showing an example of an image obtained by the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 19 shows a subject image taken by the photographing apparatus 200 and before the fogging removal process.
  • FIG. 20 shows a subject image after the defrosting process is performed on the image of FIG. 19 using the trained defrosting model.
  • the whole or part of the subject image becomes cloudy white due to the exhalation of the subject, diffused reflection of light due to moisture contained in the exhalation, and concentration of light on a specific part. rice field.
  • the image was inferior in visibility near the pharynx of the oral cavity.
  • FIG. 20 by performing the defrosting process on the image of FIG. 19 by the trained defrosting model, the fogging was removed and the visibility of the soft palate and the pharynx behind it was clearly improved.
  • the trained defrosting model was generated by giving 100 images for fogging learning and 100 images for good learning to the neural network and machine learning.
  • FIG. 9 is a diagram showing a processing flow related to generation of a trained model according to an embodiment of the present disclosure. Specifically, FIG. 9 is a process for generating a trained super-resolution image model used in S214 of FIG. 7.
  • the processing flow may be executed by the processor 111 of the processing apparatus 100, or may be executed by the processor of another processing apparatus.
  • the step of acquiring a high-resolution image of the subject including the pharynx as a high-resolution learning image is executed (S411).
  • a step of performing deterioration processing such as scale reduction processing and blurring processing on the acquired high-resolution learning image is executed (S412).
  • a step of acquiring the image after the deterioration processing obtained as a result of the execution as a low-resolution learning image is executed (S413).
  • a step of performing machine learning of a super-resolution pattern using both learning images is executed (S414).
  • a set of a high-resolution learning image and a low-resolution learning image is given to a neural network composed of a combination of neurons so that the output of the neural network becomes the same as the high-resolution learning image.
  • learning is repeated while adjusting the parameters of each neural network.
  • a step of acquiring a trained super-resolution image model (for example, a neural network and parameters) is executed (S415).
  • the acquired learned super-resolution image model may be stored in the memory 112 of the processing device 100 or in another processing device connected to the processing device 100 via wireless communication. Then, the stored learned super-resolution image model is executed in the processing device 100 or another processing device, so that the super-resolution processing (S214) of the subject image shown in FIG. 7 is executed.
  • FIG. 21 and 22 are diagrams showing an example of an image obtained by the processing apparatus 100 according to the embodiment of the present disclosure.
  • FIG. 21 shows a subject image taken by the photographing apparatus 200 and before the super-resolution processing is performed, and a partially enlarged image thereof.
  • FIG. 22 shows a subject image and a partially enlarged image thereof after super-resolution processing is performed on the image of FIG. 21 using the trained super-resolution image model.
  • the boundary portion of each region was unclear as is clear from the partially enlarged image.
  • FIG. 22 by performing super-resolution processing on the image of FIG. 21 by the trained super-resolution image model, the boundary portion of each region is unclear as is clear from the partially enlarged image. Has been resolved and improved to the extent that the boundaries can be clearly grasped even when the image is enlarged.
  • the trained super-resolution image model includes 500 high-resolution learning images and a low-resolution learning image obtained by performing deterioration processing on the images. It was generated by giving 500 images to a neural network for machine learning.
  • FIG. 10 is a diagram showing a processing flow related to generation of a trained model according to an embodiment of the present disclosure. Specifically, FIG. 10 is a process for generating a trained region specific image model used in S215 of FIG. 7. The processing flow may be executed by the processor 111 of the processing apparatus 100, or may be executed by the processor of another processing apparatus.
  • a step of acquiring a subject image of a subject including the pharynx as a learning image is executed (S511).
  • a step of labeling the acquired learning image with respect to the region of interest in diagnosis such as the pharynx and the follicle based on the operation input of doctors is executed (S512).
  • a step of acquiring the position information of the label obtained as a result of the execution as the learning position information is executed (S513).
  • the step of performing machine learning of the area specifying pattern using them is executed (S514).
  • a set of a learning image and a learning position information is given to a neural network composed of a combination of neurons, and each neuron has the same output as the learning position information. Repeat learning while adjusting the parameters of.
  • a step of acquiring a trained region-specific image model (for example, a neural network and parameters) is executed (S515).
  • the acquired learned area specific image model may be stored in the memory 112 of the processing device 100 or in another processing device connected to the processing device 100 via wireless communication.
  • the stored learned area specifying image model is executed in the processing device 100 or another processing device, so that the area specifying process (S215) of the subject image shown in FIG. 7 is executed.
  • FIG. 23 is a diagram showing an example of an image obtained by the processing apparatus 100 according to the embodiment of the present disclosure. Specifically, FIG. 23 shows a subject image captured by the photographing apparatus 200, which is subjected to fogging removal processing and super-resolution processing, and then region identification processing is performed using a trained region identification image model to identify the subject image. An image of the subject that is output so that each area is identifiable is shown. According to FIG. 23, regions such as the pharynx and follicles could be identified by using the trained region identification model. Further, in the example of FIG. 10, only the pharynx and the follicle were mentioned as the regions of interest, but in addition to these, regions such as the tonsils and tongue, and regions randomly generated such as bubbles and saliva could be identified.
  • the trained area specifying image model is included in 1300 learning images and each subject image obtained by performing the area specifying process on those 1300 images. It was generated by giving learning position information to a neural network and causing machine learning.
  • a processing device, a processing program, a processing method, and a processing system suitable for processing an image obtained by photographing the oral cavity for use in the diagnosis of the oral cavity are provided.
  • regions such as the pharynx and tonsils are identified from the image obtained by photographing the oral cavity and output in an identifiable manner, it can be suitable for diagnosis by doctors.
  • FIG. 25 is a block diagram showing a configuration of the processing system 1 according to another embodiment of the present disclosure.
  • the processing apparatus 100 of the processing system 1 includes a processor 111, a memory 112, an operation input interface 113, a display 114, and an input / output interface 115, as in the above embodiment.
  • the processing apparatus 100 further includes a camera 116 and a light source 117. Although each of these components is electrically connected to each other via a control line and a data line, the camera 116 and the light source 117 are also electrically connected to each component via the input / output interface 115.
  • Examples of such a processing device 100 include camera-equipped terminal devices such as smartphones, mobile phone terminals, tablet terminals, PDAs, digital camera terminals, portable game machines, and laptop computer terminals.
  • the camera 116 is arranged outside the incisors (outside the body) without being inserted up to the vicinity of the pharynx in the oral cavity, and the inside of the oral cavity is photographed.
  • the processing device 100 and the photographing device 200 are connected so as to be communicable via a wired cable.
  • the present invention is not limited to this, and both may be connected by wireless communication.
  • the subject image captured by the photographing device 200 may be transmitted to a remotely installed server device, the server device may function as a processing device, and the subject image may be output to a display of another processing device or the like. It is possible.
  • Processing system 100 Processing equipment 200 Imaging equipment 700 Target person

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)

Abstract

【課題】　口腔内の診断に用いるために口腔内を撮影して得られた画像を処理するのに適した処理装置等を提供する。 【解決手段】　口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続され、前記カメラによって撮影された前記画像の入力を受け付けるように構成された入出力インターフェイスと、所定の指示命令に加えて、前記入出力インターフェイスで受け付けられた前記画像を記憶するように構成されたメモリと、前記メモリに記憶された前記所定の指示命令を実行することによって、前記メモリに記憶された前記画像に基づいて前記画像に含まれる前記被写体のうちの所定の領域を特定し、特定された前記所定の領域が識別可能に前記画像を処理するように構成されたプロセッサと、を含む処理装置が提供される。

Description

処理装置、処理プログラム、処理方法及び処理システム
　本開示は、カメラによって撮影された被写体の画像を処理するための処理装置、処理プログラム、処理方法及び処理システムに関する。
　従来より、医者によって、対象者の口腔の状態の変化を観察して、例えばウィルス性の風邪などの診断をすることが知られていた。ここで、口腔内に位置する咽頭の最深部に出現するリンパ濾胞にはインフルエンザに特有のパターンがあることが知られている。この特有のパターンを有するリンパ濾胞はインフルエンザ濾胞と呼ばれ、インフルエンザに特徴的なサインであって、発症時より出現するとされる。しかし、このような咽頭部分は医師が直接視診することによって診断されており、画像を用いた診断がなされてこなかった。
　他方、先端に撮像光学系を有し腹腔などの体内深部を撮影するための内視鏡が知られていた（特許文献１）。このような内視鏡においては、撮影窓の汚れや曇りの影響を受けるために、洗浄液供給手段により洗浄液を供給しながら、加振手段によって振動子の汚れを洗浄液と混合させうる強度で振動させ、次いで振動子を洗浄液と混合させうる強度の振動よりも弱い強度の振動に切換えて、透明部材の表面を乾燥させることで、それらの影響を除去することが行われてきた。
特開２００９－１８９４９６号公報
　日常的に所見が判断され、かつ短時間で診断される咽頭や扁桃腺などの口腔内においてこのような内視鏡のように大掛かりな装置を用いることは困難であった。また、呼吸により外気と体内空気が高頻度に出入りする口腔内（特に、咽頭部分）の撮影は曇りの影響は極めて深刻であった。さらに、口腔内には歯や舌など活発な動きのある様々な領域が近接しており安定的に鮮明な画像を撮影するのが困難であった。そこで、上記のような技術を踏まえ、本開示では、口腔内の診断に用いるために口腔内を撮影して得られた画像を処理するのに適した処理装置、処理プログラム、処理方法及び処理システムを提供することを目的とする。
　本開示の一態様によれば、「口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続され、前記カメラによって撮影された前記画像の入力を受け付けるように構成された入出力インターフェイスと、所定の指示命令に加えて、前記入出力インターフェイスで受け付けられた前記画像を記憶するように構成されたメモリと、前記メモリに記憶された前記所定の指示命令を実行することによって、前記メモリに記憶された前記画像に基づいて前記画像に含まれる前記被写体のうちの所定の領域を特定し、特定された前記所定の領域が識別可能に前記画像を処理するように構成されたプロセッサと、を含む処理装置」が提供される。
　本開示の一態様によれば、「口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続され、前記カメラによって撮影された前記画像の入力を受け付けるように構成された入出力インターフェイスと、所定の指示命令に加えて、前記入出力インターフェイスで受け付けられた前記画像を記憶するように構成されたメモリと、前記メモリに記憶された前記所定の指示命令を実行することによって、前記メモリに記憶された前記画像から前記画像に含まれる曇りを除去する処理をするように構成されたプロセッサと、を含む処理装置」が提供される。
　本開示の一態様によれば、「口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続され、前記カメラによって撮影された前記画像の入力を受け付けるように構成された入出力インターフェイスと、所定の指示命令に加えて、前記入出力インターフェイスで受け付けられた前記画像を記憶するように構成されたメモリと、前記メモリに記憶された前記所定の指示命令を実行することによって、前記メモリに記憶された前記画像の解像度を高くするために前記画像に対して超解像度処理をするように構成されたプロセッサと、を含む処理装置」が提供される。
　本開示の一態様によれば、「口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続された入出力インターフェイスと、前記画像を記憶するように構成されたメモリとを含むコンピュータを、前記カメラによって撮影された前記画像の入力を受け付け、前記入出力インターフェイスで受け付けられた前記画像を記憶し、前記メモリに記憶された前記画像に基づいて前記画像に含まれる前記被写体のうちの所定の領域を特定し、特定された前記所定の領域が識別可能に前記画像を処理するための処理をするように構成されたプロセッサ、として機能させる処理プログラム」が提供される。
　本開示の一態様によれば、「口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続された入出力インターフェイスと、所定の指示命令に加えて前記画像を記憶するように構成されたメモリとを含むコンピュータにおいて、プロセッサが前記指示命令を実行することによりなされる処理方法であって、前記カメラによって撮影された前記画像の入力を受け付ける段階と、前記入出力インターフェイスで受け付けられた前記画像を記憶する段階と、前記メモリに記憶された前記画像に基づいて前記画像に含まれる前記被写体のうちの所定の領域を特定する段階と、特定された前記所定の領域が識別可能に前記画像を処理する段階と、を含む処理方法」が提供される。
　本開示の一態様によれば、「口腔内が少なくとも含まれた被写体の画像を撮影するように構成された撮影装置と、上記記載の処理装置と、を含む処理システム」が提供される。
　本開示によれば、口腔内の診断に用いるために口腔内を撮影して得られた画像を処理するのに適した処理装置、処理プログラム、処理方法及び処理システムを提供することができる。
　なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、または上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。
図１は、本開示の一実施形態に係る処理システム１の使用状態を示す図である。 図２は、本開示の一実施形態に係る処理システム１の概略図である。 図３は、本開示の一実施形態に係る処理システム１の構成を示すブロック図である。 図４は、本開示の一実施形態に係る撮影装置２００の上面の構成を示す概略図である。 図５は、本開示の一実施形態に係る撮影装置２００の断面の構成を示す概略図である。 図６は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。 図７は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。 図８は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。 図９は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。 図１０は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。 図１１は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。 図１２は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。 図１３は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。 図１４は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。 図１５は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。 図１６は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。 図１７は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。 図１８は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。 図１９は、本開示の一実施形態に係る処理装置１００によって得られた画像の例を示す図である。 図２０は、本開示の一実施形態に係る処理装置１００によって得られた画像の例を示す図である。 図２１は、本開示の一実施形態に係る処理装置１００によって得られた画像の例を示す図である。 図２２は、本開示の一実施形態に係る処理装置１００によって得られた画像の例を示す図である。 図２３は、本開示の一実施形態に係る処理装置１００によって得られた画像の例を示す図である。 図２４は、本開示の一実施形態に係る画像出力の例を示す図である。 図２５は、本開示の他の実施形態に係る処理システム１の構成を示すブロック図である。
　添付図面を参照して本開示の様々な実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。
＜第１実施形態＞
１．処理システム１の概要
　本開示に係る処理システム１は、主に被験者の口腔の内部を撮影し被写体画像を得るために用いられる。特に、当該処理システム１は、口腔の喉奥周辺、具体的には咽頭を撮影するために用いられる。したがって、以下においては、本開示に係る処理システム１を咽頭の撮影に用いた場合について主に説明する。ただし、咽頭は撮影部位の一例であって、当然に、口腔内であれば扁桃腺などの他の部位であっても、本開示に係る処理システム１を好適に用いることができる。
　本開示に係る処理システム１は、一例として、対象者の口腔の咽頭領域を含む被写体を撮影して得られた画像から画像中に含まれる領域を特定するために用いられる。処理システム１によって撮影され領域が特定された画像は、例えば、医者によるインフルエンザの罹患の可能性の判定に用いられる。ここで、インフルエンザの罹患の可能性は、対象者の咽頭や扁桃腺領域を診察したり、咽頭領域に濾胞などの所見の有無を判断することによって行われる。したがって、処理システム１は、一例としては、得られた画像中の咽頭や扁桃腺、濾胞が発現した領域を特定することができる。なお、インフルエンザの罹患の可能性の判定は一例であって、当然に、罹患することによって口腔内の所見に差が現れる疾患の判定であれば、いずれであっても好適に用いることができる。そのような疾患の一例としては、溶連菌感染症、アデノウィルス感染症、ＥＢウィルス感染症、マイコプラズマ感染症、動脈硬化などが挙げられる。
　なお、本開示において、疾患に対する「判定」や「診断」等の用語を用いるが、これらは医師による確定的な判定や診断を必ずしも意味するものではない。例えば、本開示の処理システム１を撮影対象者自ら使用したり、医師以外の使用者が使用して、処理システム１に含まれる処理装置１００によって判定又は診断されることも当然に含みうる。
　図１は、本開示の一実施形態に係る処理システム１の使用状態を示す図である。図１によれば、本開示に係る処理システム１は、処理装置１００と撮影装置２００とを含む。使用者は、対象者の口腔７１０に補助具３００を挿入し、挿入された補助具３００で被覆されるように、その内部に撮影装置２００を挿入する。したがって、撮影装置２００は、口腔７１０の内部を撮影するために用いられる。具体的には、まず、処理システム１の撮影装置２００が、使用者（対象者７００自らの場合もあれば、対象者７００とは異なる者である場合もある）によって補助具３００が口腔７１０内に挿入される。このとき補助具３００の先端は、門歯７１１を通過して軟口蓋７１３近辺まで挿入される。そして、口腔７１０内に補助具３００が挿入された状態で、補助具３００内に撮影装置２００を先端から挿入する。したがって、撮影装置２００は、門歯７１１を通過して軟口蓋７１３近辺まで挿入される。このとき、補助具３００（舌圧子として機能する。）によって、舌７１４が下方へ押しやられ舌７１４の動きを制限するとともに、補助具３００の先端によって軟口蓋７１３が上方へ押しやられる。これによって、撮影装置２００の良好な視野を確保して、撮影装置２００の前方に位置する咽頭７１５が撮影される。
　撮影された被写体画像（咽頭７１５の画像）は、撮影装置２００から有線で通信可能に接続された処理装置１００に送信される。被写体画像を受信した処理装置１００のプロセッサが処理装置１００のメモリに記憶されたプログラムを処理することによって、被写体画像に基づいて領域の特定がなされ、その結果がディスプレイなどに出力される。
　なお、図１に示されたように、撮影装置２００の先端部分は、対象者の咽頭付近まで挿入される。そのため、その先端部分は対象者の呼吸の影響を受け先端部分の曇りや、曇りに起因する光の拡散などの影響を強く受ける。そのため、得られる画像が白く曇った状態画像となることがある。加えて、図１に示されたように、撮影装置２００は門歯７１１の近傍を通過し、舌７１４付近に挿入される。そのため、門歯７１１や舌７１４の動きによって安定的な撮影が阻害される可能性がある。また、咽頭７１５付近は、咽頭７１５だけではなく軟口蓋７１３や舌７１４など様々な領域が近接しており焦点の調整などが困難な可能性がある。そのため、得られる画像が不鮮明となってしまうことがある。そのため、処理システム１は、曇り除去処理や超解像処理などの鮮明化処理を実行することが可能である。
２．処理システム１の構成
　図２は、本開示の一実施形態に係る処理システム１の概略図である。図２によれば、処理システム１は、処理装置１００と、当該処理装置１００に有線で通信可能に接続された撮影装置２００とを含む。処理装置１００は、使用者による操作入力を受け付けて、撮影装置２００による撮影を制御する。また、処理装置１００は、撮影装置２００によって撮影された被写体画像を処理して、画像に含まれる咽頭や濾胞の領域を特定する。さらに、処理装置１００は、特定された領域を識別可能に出力して使用者や対象者等が確認できるようにする。
　撮影装置２００は、その少なくとも先端が対象者の口腔内に挿入されて、口腔内、特に咽頭を撮影する。その具体的な撮影処理については、後述する。撮影された被写体画像は、有線ケーブルを介して処理装置１００へ送信される。
　図３は、本開示の一実施形態に係る処理システム１の構成を示すブロック図である。図３によると、処理システム１は、プロセッサ１１１、メモリ１１２、操作入力インターフェイス１１３、ディスプレイ１１４及び入出力インターフェイス１１５を含む処理装置１００と、カメラ２１１及び光源２１２を含む撮影装置２００とを含む。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続される。なお、処理システム１は、図３に示す構成要素のすべてを備える必要はなく、一部を省略して構成することも可能であるし、他の構成要素を加えることも可能である。例えば、処理システム１は、各構成要素を駆動するためのバッテリ、処理システム１で処理した結果を外部に送信したり、外部からの指示命令を受信するための通信インターフェイス等を含むことが可能である。
　プロセッサ１１１は、メモリ１１２に記憶されたプログラムに基づいて処理システム１の他の構成要素の制御を行う制御部として機能する。プロセッサ１１１は、メモリ１１２に記憶されたプログラムに基づいて、カメラ２１１の駆動、光源２１２の駆動を制御するとともに、撮影装置２００から受信した被写体画像をメモリ１１２に記憶し、記憶された被写体画像を処理する。具体的には、プロセッサ１１１は、使用者による操作入力インターフェイス１１３への指示入力を受け付け、光源２１２をオンにしカメラ２１１による撮影を指示する処理、撮影装置２００によって撮影された被写体画像の入力を受け付けるための処理、入出力インターフェイス１１５で受け付けられた被写体画像をメモリ１１２に記憶するための処理、メモリ１１２に記憶された被写体画像に基づいて当該被写体画像に含まれる被写体のうちの所定の領域を特定するための処理、特定された所定の領域が識別可能に被写体画像を処理するための処理、被写体画像を鮮明化するための処理、特定された特定の領域を識別可能に処理された被写体画像をディスプレイ１１４に出力するための処理などを、メモリ１１２に記憶されたプログラムに基づいて実行する。プロセッサ１１１は、主に一又は複数のＣＰＵにより構成されるが、適宜ＧＰＵなどを組み合わせてもよい。
　メモリ１１２は、ＲＡＭ、ＲＯＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。メモリ１１２は、本実施形態に係る処理システム１の様々な制御のための指示命令をプログラムとして記憶する。具体的には、メモリ１１２は、使用者による操作入力インターフェイス１１３への指示入力を受け付け、光源２１２をオンにしカメラ２１１による撮影を指示する処理、撮影装置２００によって撮影された被写体画像の入力を受け付けるための処理、入出力インターフェイス１１５で受け付けられた被写体画像をメモリ１１２に記憶するための処理、メモリ１１２に記憶された被写体画像に基づいて当該被写体画像に含まれる被写体のうちの所定の領域を特定するための処理、特定された所定の領域が識別可能に被写体画像を処理するための処理、被写体画像を鮮明化するための処理、特定された特定の領域を識別可能に処理された被写体画像をディスプレイ１１４に出力するための処理などプロセッサ１１１が実行するためのプログラムを記憶する。また、メモリ１１２は、当該プログラムのほかに、対象者７００を含む対象者に関する各種情報（対象者識別情報など）や、撮影装置２００のカメラ２１１で撮影された被写体画像、鮮明化処理や領域特定処理がなされた被写体画像などを対象者識別情報に対応付けて記憶する。また、メモリ１１２は、場合によっては、鮮明化処理や領域特定処理に用いられる各学習済みモデルを記憶する。なお、メモリ１１２は、外部に通信可能に接続された記憶媒体を用いるか、このような記憶媒体を組み合わせて用いることも可能である。
　操作入力インターフェイス１１３は、処理装置１００及び撮影装置２００に対する使用者の指示入力を受け付ける操作入力部として機能する。操作入力インターフェイス１１３の一例としては、図２に図示されているように、撮影装置２００による録画の開始・終了を指示するための「撮影ボタン」、各種選択を行うための「確定ボタン」、前画面に戻ったり入力した確定操作をキャンセルするための「戻る／キャンセルボタン」、ディスプレイ１１４に表示されたアイコン等の移動をするための十字キーボタン、処理装置１００の電源のオンオフをするためのオン・オフキー等が挙げられる。なお、操作入力インターフェイス１１３には、ディスプレイ１１４に重畳して設けられ、ディスプレイ１１４の表示座標系に対応する入力座標系を有するタッチパネルを用いることも可能である。タッチパネルによる使用者の指示入力の検出方式は、静電容量式、抵抗膜式などいかなる方式であってもよい。
　ディスプレイ１１４は、撮影装置２００によって撮影された被写体画像を表示したり、プロセッサ１１１で判定された結果を出力するための表示部として機能する。液晶パネルによって構成されるが、液晶パネルに限らず、有機ＥＬディスプレイやプラズマディスプレイ等から構成されていてもよい。
　入出力インターフェイス１１５は、有線又は無線で接続された撮影装置２００に対して撮影開始などに関連する各種コマンドや撮影装置２００で撮影された画像データの入出力を受け付けるための入出力部として機能する。入出力インターフェイス１１５の一例としては、ＵＳＢ、ＳＣＳＩなどの有線通信用コネクタや、Ｂｌｕｅｔｏｏｔｈ（登録商標）や赤外線などの無線通信用送受信デバイスや、プリント実装基板やフレキシブル実装基板用の各種接続端子など、様々なものが挙げられる。例えば図２の例では、撮影装置２００から伸延した有線ケーブルがＵＳＢ端子である入出力インターフェイス１１５に接続されている。入出力インターフェイス１１５によって受け付けられた被写体画像の画像データは、プロセッサ１１１の制御を受けてメモリ１１２に記憶される。
　カメラ２１１は、処理装置１００からの指示によって駆動され、被写体である口腔に反射した反射光を検出して被写体画像を生成する撮影部として機能する。カメラ２１１は、その光を検出するために、一例としてＣＭＯＳイメージセンサと、所望の機能を実現するためのレンズ系と駆動系を備える。イメージセンサは、ＣＭＯＳイメージセンサに限らず、ＣＣＤイメージセンサ等の他のセンサを用いることも可能である。カメラ２１１は、特に図示はしないが、オートフォーカス機能を有することができ、例えばレンズの正面に焦点が特定領域に合うように設定されていることが好ましい。また、カメラ２１１は、ズーム機能を有することができ、咽頭又はインフルエンザ濾胞のサイズに応じて適切な倍率で撮影するように設定されていることが好ましい。
　本実施形態においては、カメラ２１１は、対象者の口腔内に挿入され、その口腔の奥にある咽頭の撮影に用いられるため、カメラ２１１と被写体との距離が比較的近い。したがって、カメラ２１１は、［（カメラ２１１の先端部から咽頭後壁までの距離）＊ｔａｎθ］によって算出される値が垂直２０ｍｍ以上及び水平４０ｍｍ以上となる画角（２θ）を有する。このような画角を有するカメラを用いることによって、カメラ２１１と被写体とが近接していたとしても、より広範な範囲の撮影が可能となる。したがって、カメラ２１１は、通常のカメラを用いることも可能であるが、いわゆる広角カメラや超広角カメラと呼ばれるカメラを用いることも可能である。
　また、本実施形態において、カメラ２１１によって撮影されるインフルエンザ濾胞は口腔内の咽頭に形成される。一般に咽頭は奥行き方向に奥まって形成されるため、被写界深度が浅いと咽頭前部と咽頭後部の間で焦点がずれ、処理装置１００や医師による判定に用いるのに適切な被写体画像を得ることが困難になる。したがって、カメラ２１１は少なくとも２０ｍｍ以上、好ましくは３０ｍｍ以上の被写界深度を有する。このような被写界深度を有するカメラを用いることによって、咽頭前部から咽頭後部にかけていずれの領域でも焦点があった被写体画像を得ることが可能となる。
　光源２１２は、処理装置１００からの指示によって駆動され、口腔内に光を照射するための光源部として機能する。光源２１２は、一又は複数の光源を含む。本実施形態においては、光源２１２は、一又は複数のＬＥＤから構成され、各ＬＥＤから所定の周波数帯域を有する光が口腔方向に照射される。光源２１２には、紫外光帯域、可視光帯域、赤外光帯域の中から所望の帯域を有する光、またはそれらの組み合わせが用いられる。特に、紫外光帯域の短波長帯域の光がインフルエンザ濾胞に照射されることによって、インフルエンザ濾胞の特定成分が反応するため、疾患らしさの判定をより確実にすることが可能となる。
　なお、本実施形態では、処理装置１００と撮影装置２００とが、有線ケーブルで通信可能に接続される場合について説明した。しかし、当然これには限らず、両者は無線通信によって接続されるようにしてもよい。
　図４は、本開示の一実施形態に係る撮影装置２００の上面の構成を示す概略図である。以下、図４に基づいて撮影装置２００の具体的な構成について説明する。図４によると、本体２１４は、基端２２０及び先端２２１を備え、光源２１２から光が照射される方向に略平行な方向に所定長の長さを有する柱状体によって構成されている。そして、本体２１４の少なくとも先端２２１は、口腔に挿入される。
　本体２１４は、断面が真円となる中空の円筒形をした柱状に形成される。その壁部２２４は、その内部に光を導光可能な材料であればいずれでもよく、一例としては熱可塑性樹脂を用いて得ることができる。熱可塑性樹脂には、鎖状ポリオレフィン系樹脂（ポリプロピレン系樹脂等）、環状ポリオレフィン系樹脂（ノルボルネン系樹脂等）のようなポリオレフィン系樹脂、トリアセチルセルロース、ジアセチルセルロースのようなセルロースエステル系樹脂、ポリエステル系樹脂、ポリカーボネート系樹脂、（メタ）アクリル系樹脂、ポリスチレン系樹脂、又はこれらの混合物、共重合物などが用いられる。すなわち、本体２１４は、光源から照射された光を口腔内又は拡散板方向に導光するための導光体として機能する。
　本体２１４は、中空に形成されるため、壁部２２４によってその内面に収容空間２２３が形成される。この収容空間２２３には、カメラ２１１が収容される。なお、本体２１４は、収容空間２２３を有する柱状に形成されさえすればよい。したがって、収容空間２２３は、断面が真円の円筒形を有する必要はく、断面が楕円であったり多角形であってもよい。また、本体２１４は、必ずしも内部が中空に形成される必要もない。
　ここで、本体２１４の長さは、一例としては、対象者の門歯との位置関係において定められる。図１３は、本開示の一実施形態に係る対象者７の断面を示す概略図である。具体的には、一般的な対象者７の口腔近辺の断面を示す図である。図１３によると、対象者７は、門歯７１１から喉奥方向に向けて口腔を形成し、その最深部に被写体となる咽頭７１５を有する。したがって、撮影装置２００は咽頭７１５を撮影するために、その先端を軟口蓋７１３近辺まで挿入される。対象者７は、門歯７１１から軟口蓋７１３までの距離ｄ１を有する。距離ｄ１は、「睡眠時無呼吸症候群における上気道内径の測定（大谷信夫）」Ｊ．Ｊｐｎ．Ｂｒｏｎｃｈｏｅｓｏｐｈａｇｏｌ．Ｓｏｃ．（日気食会報），Ｖｏｌ．４０，Ｎｏ．５，ｐｐ，３９６－４０２によると、一般的には、１００ｍｍ～２００ｍｍ程度である。
　本体２１４は、先端２２１から基端２２０の長さとして、距離Ｄ１を有する。この距離Ｄ１は、門歯７１１から軟口蓋７１３までの距離ｄ１の１００％以下、好ましくは８０％以下の長さとするのがよい。一般的に喉奥に異物が挿入されると嘔吐感を催す一方で、本体２１４が短いとカメラ２１１と被写体との距離が遠くなりすぎる。上記の距離Ｄ１であれば、嘔吐感を防止できる一方で、被写体との距離感も適切に保つことが可能となる。
　グリップ２１３は、その先端が本体２１４の基端２２０に接続される。使用者は当該グリップ２１３を把持して撮影装置２００の抜き差しなどの操作を行う。グリップ２１３は、使用者の掌で把持する際の形状に合わせて、本体２１４に接続される先端側に向かって相対的に細くなり、本体２１４の反対側に位置する基端側に向かって湾曲して膨らむ形状を有する。なお、本実施形態では、断面が真円になるような形状を有するが、真円である必要はなく、楕円であったり多角形であってもよい。
　ここで、本体２１４の先端２２１と基端２２０とを結ぶ方向に対して垂直な方向における本体２１４の幅（距離Ｄ２）は、一例としては、対象者の口の上下方向の開口幅との関係において定められる。図１３によると、対象者７は、口の上下方向の開口幅として距離ｄ２を有する。距離ｄ２は、「日本人成人顎関節健常者における最大開口量についての統計学的検討（塚原宏泰ら）」日本口腔外科学会雑誌，Ｖｏ．４４，Ｎｏ．２，ｐｐ１５９－１６７によると、一般的な成人男性の場合、平均で３．５ｃｍ～４．０ｃｍである。
　撮影装置２００は、この距離ｄ２の幅に補助具３００とともに挿入されるが、使用者はそれぞれが挿入された隙間から口腔内を観察しながら撮影する必要がある。そのため、撮影装置２００が挿入された状態で使用者の視認性を妨げないことが有益である。したがって、本体２１４の距離Ｄ２は、口の上下方向の開口幅である距離ｄ２の８０％以下、好ましくは６０％以下の幅、又は３．２ｃｍ以下、好ましくは２．４ｃｍ以下とするのがよい。
　グリップ２１３は、本体２１４の基端２２０近傍に、補助具３００を位置決めするための係合突起２１７と、位置決め突起２１８とを有する。係合突起２１７は、補助具３００に設けられた係合突起と互いに係合する。また、位置決め突起２１８は、補助具３００に設けられた挿入穴に挿入されて、撮影装置２００と補助具３００とを互いに位置決めする。なお、本実施形態においては、本体２１４の係合突起２１７は、合計４個の係合突起が、グリップ２１３の表面であって、本体２１４の基端２２０近傍の位置に、等間隔に配置される。また、位置決め突起２１８は、グリップ２１３の表面の係合突起２１７の間であって、本体２１４の基端２２０近傍の位置に、一つ配置される。しかし、これに限らず、係合突起２１７と位置決め突起２１８のいずれか一方を配置するだけであってもよい。また、その個数も、係合突起２１７及び位置決め突起２１８のいずれも、一又は複数の個数であれば、何個であってもよい。
　グリップ２１３は、使用者からの操作入力を受け付けて被写体画像の撮影の開始や終了をするための撮影ボタン２１５を含む。したがって、使用者は、処理装置１００の操作入力インターフェイス１１３の撮影ボタンによっても撮影の開始と終了の指示をすることが可能であるが、当該撮影ボタン２１５を使用して撮影の開始と終了の指示をすることも可能である。
　拡散板２１９は、本体２１４の先端２２１に配置され、光源２１２から照射され、本体２１４を通過した光を口腔内に向けて拡散する。拡散板２１９は、本体２１４の導光可能に構成された部分の断面形状に対応した形状を有する。本実施形態においては、本体２１４は、中空の円筒形に形成されている。したがって、拡散板２１９の断面も、その形状に対応して中空状に形成される。
　カメラ２１１は、拡散板２１９から拡散され口腔内に照射され、被写体に反射してきた反射光を検出して、被写体画像を生成するために用いられる。カメラ２１１は、本体２１４の壁部２２４の内面、すなわち本体２１４の内部に形成された収容空間２２３に配置される。なお、本実施形態では、カメラ２１１は一個のみ記載しているが、撮影装置２００は複数のカメラを含んでもよい。複数のカメラを用いて被写体画像を生成することにより、インフルエンザ濾胞の立体形状に関する情報を被写体画像が含むことになる。これにより、より正確に、インフルエンザ濾胞の領域を特定することができる。また、本実施形態では、カメラ２１１は、本体２１４の収容空間２２３に配置されているが、本体２１４の先端２２１又は本体２１４（本体２１４の内部であっても本体２１４の外周上であってもよい）に配置されてもよい。
　図５は、本開示の一実施形態に係る撮影装置２００の断面の構成を示す概略図である。図５によると、光源２１２は、グリップ２１３の先端側に配置された基板２２５上に、合計４個の光源２１２－１～２１２－４が配置される。光源２１２は、一例としては、それぞれＬＥＤで構成され、各ＬＥＤから所定の周波数帯域を有する光が口腔の方向に向かって照射される。具体的には、光源２１２から照射された光は、本体２１４の基端２２０に入光し、本体２１４の壁部２２４によって、拡散板２１９方向に導光される。拡散板２１９に達した光は、拡散板２１９によって口腔内に拡散される。そして、拡散板２１９によって拡散された光は、被写体である咽頭７１５等に反射する。この反射光がカメラ２１１に到達することで、被写体画像が生成される。
　なお、光源２１２－１～２１２－４は、独立に制御されるように構成されてもよい。例えば、光源２１２－１～２１２－４のうち一部を光らせることにより、立体形状を有するインフルエンザ濾胞の陰を被写体画像に含むことができる。これにより、インフルエンザ濾胞の立体形状に関する情報を被写体画像が含むことになり、より正確に、インフルエンザ濾胞領域を特定することが可能になる。
　また、本実施形態において、光源２１２－１～２１２－４は、本体２１４の基端２２０側に配置されているが、本体２１４の先端２２１又は本体２１４（本体２１４の内部であっても本体２１４の外周上であってもよい）に配置されてもよい。
　拡散板２１９は、光源２１２から照射された光が口腔内の一部のみを照らすのを防止し、一様な光を生成するために用いられる。したがって、一例としては、拡散板２１９の表面に微細なレンズアレイを形成し、任意の拡散角度を有するレンズ状の拡散板が用いられる。また、これに変えて、表面にランダムに配置された微細な凹凸によって光拡散機能を実現する拡散板など、他の方法により光を拡散することが可能な拡散板を用いてもよい。さらに、拡散板２１９は本体２１４と一体として構成されていてもよい。例えば、本体２１４の先端部分に微細な凹凸を形成するなどの方法によって実現することが可能である。
　なお、撮影装置は、本体２１４の少なくとも先端２２１が口腔内に挿入される。したがって、対象者の呼吸による先端部分の曇りの影響を被写体の撮影の際に受けることになる。そのため、処理装置１００においては曇りの影響を除去するための鮮明化処理を実施することが可能である。
３．処理装置１００において実行される処理フロー
　図６は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図６は、処理装置１００のプロセッサ１１１がメモリ１１２に記憶されたプログラムに基づいて所定周期で実行する処理フローを示す図である。
　当該処理フローが開始されると、プロセッサ１１１はディスプレイ１１４にトップ画面を表示するよう制御する（Ｓ１１１）。ここで、図１１は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。具体的には、図６のＳ１１１の処理によってディスプレイ１１４に表示されるトップ画面の例を示す。図１１によると、ディスプレイ１１４には、その略中心付近に、撮影装置２００の電源をオンにし被写体画像を撮影する撮影モードに移行するための撮影モードアイコン１１と、既に撮像されメモリ１１２等に記憶された被写体画像等をディスプレイ１１４に出力する画像確認モードに移行するための画像確認モードアイコン１２とが表示されている。使用者は、操作入力インターフェイス１１３を操作していずれのモードに移行するか選択することが可能である。
　再び図６に戻り、プロセッサ１１１は、操作入力インターフェイス１１３を介して撮影モードアイコン１１又は画像確認モードアイコン１２のいずれかのアイコンに対する使用者の操作入力が受け付けられたか否かを判断する（Ｓ１１２）。そして、撮影モードアイコン１１が選択されたと判断された場合には（Ｓ１１３）、プロセッサ１１１は撮影モードに移行させ、撮影装置２００の電源をオンにするとともに、撮影スタンバイ画面をディスプレイ１１４に出力するように制御する（Ｓ１１４）。当該撮影スタンバイ画面については後述する。他方、画像確認モードアイコン１２が選択されたと判断された場合には（Ｓ１１３）、プロセッサ１１１は画像確認モードに移行させ、ディスプレイ１１４に画像確認画面を出力するように制御する（Ｓ１１５）。これにより、当該処理フローは終了する。なお、プロセッサ１１１がＳ１１２においていずれの操作入力も受け付けていないと判断した場合も、そのまま当該処理フローは終了する。
　ここで、図１２は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。具体的には、図６のＳ１１４の処理によってディスプレイ１１４に表示される撮影スタンバイ画面の例を示す。図１２によると、ディスプレイ１１４には、撮影スタンバイ画面として、撮影装置２００によって撮影され入出力インターフェイス１１５を介して受信されたいわゆるスルー画像が表示されている。使用者は当該スルー画像を参照して、操作入力インターフェイス１１３に対して操作入力し、焦点、画角、絞り値などの調整や拡大縮小などをすることが可能である。
　図１２の撮影スタンバイ画面には、使用者が撮影装置２００の少なくとも先端部分を対象者の口腔内に挿入し被写体である咽頭付近の被写体画像が表示されている。これによると、被写体画像には、撮影装置２００が挿入された口腔７１０内にある舌７１４、軟口蓋７１３に加えて咽頭７１５を含む被写体画像が表示されている。ここで、上記のとおり、口腔７１０の撮影では対象者による呼気の影響による撮影装置２００の先端部分の曇りや、水分による光源からの光の乱反射、局所的な光の照射などに起因して、被写体画像が全体的に白く曇ったり、局所的（例えば、図１２の画像の左上部分）に白く曇った画像になっている。
　図７は、本開示の一実施形態に係る処理装置１００において実行される処理フローを示す図である。具体的には、図７は、図６において撮影スタンバイ画面の表示がなされたときに、処理装置１００のプロセッサ１１１がメモリ１１２に記憶されたプログラムに基づいて所定周期で実行する処理フローを示す図である。
　図７の処理フローは、上記のとおり使用者によって撮影モードが選択され撮影スタンバイ画面の表示がなされることによって開始される。当該処理フローが開始されると、プロセッサ１１１は、操作入力インターフェイス１１３又は撮影装置２００の撮影ボタン２１５からの入力を受け付けていずれかの撮影ボタンが押下されたか否かを判断する（Ｓ２１１）。そして、いずれかの撮影ボタンが押下されていた場合には撮影装置２００による撮影を開始し（Ｓ２１２）、撮影中画面を表示する。具体的には、プロセッサ１１１は、撮影装置２００のカメラ２１１によって撮影された被写体画像を、撮影装置２００内の入出力インターフェイスと処理装置１００内の入出力インターフェイス１１５を介して処理装置１００に入力し、メモリ１１２に記憶するよう制御する。
　なお、ここで撮影される被写体画像は、いずれかの撮影ボタンが押下されるごとに１枚又は複数枚連写して撮影された静止画であってもよいし、一定時間にわたって撮影された動画のいずれであってもよい。また、特に図示はしていないが、処理装置１００において一連の処理を実行する過程で、操作入力インターフェイス１１３において使用者の操作入力を受け付けて、あらかじめ被験者となる対象者の入力が行われる。したがって、プロセッサ１１１はメモリ１１２に撮影された被写体画像を記憶するときに、入力された対象者の対象者識別情報やその撮影日時などの情報と対応付けて記憶する。
　ここで、図１３は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。具体的には、図１３は、図７のＳ２１２の処理によって撮影が開始されたのちにディスプレイ１１４に表示される画面の例を示す。図１３によると、撮影ボタンが押下されるとあらかじめ決められた枚数（例えば３０枚）をまとめて一定間隔で連写して撮影されており、表示１４には現在の撮影の進捗状況が表示されている（「撮影中」という表示とともに、３０枚中１５枚目を撮影していることを意味する表示がなされている。）。そして、表示１４の背面には、その時点で撮影装置２００のカメラ２１１で撮影されている被写体画像が表示されている。
　再び図７に戻り、被写体画像の撮影が終了し撮影された各被写体画像が１１２に記憶されると、各被写体画像に対して鮮明化処理を行う。鮮明化処理には被写体画像に含まれる曇りなどの様々なノイズ成分の除去処理、エッジ部分の強調処理、超解像処理、輝度補正などの補正処理、二値化処理などの様々な処理を含みうる。図７においては、口腔内の被写体画像であることから呼気による曇りに起因する白く曇った画像となりやすい。そのため、プロセッサ１１１は、メモリ１１２に記憶された被写体画像に対して曇り除去処理を行う（Ｓ２１３）。プロセッサ１１１は、曇り除去処理された被写体画像を対象者識別情報に対応付けて一旦メモリ１１２に記憶する。
　曇り除去処理の一例としては、プロセッサ１１１が、得られた被写体画像に対して各画素の画素値、コントラスト及び／又は輝度の補正、曇り除去フィルターの適用などの処理を実行することが挙げられる。また、曇りを含む被写体画像を曇り学習用画像として、さらに曇りを含まない被写体画像を良好学習用画像として学習することによって生成された学習済み曇り除去画像モデルに対して、得られた被写体画像を適用することによって曇り除去処理を実施することも可能である。
　ここで、例えば撮影された被写体画像は病変領域を詳細に確認するために拡大表示などをされることがある。しかし、得られた画像の劣化などの原因によって不鮮明となり十分に確認できないことがある。そのため、プロセッサ１１１は、曇り除去処理された被写体画像に対して、超解像処理を行う（Ｓ２１４）。プロセッサ１１１は、超解像処理された被写体画像を対象者識別情報に対応付けて一旦メモリ１１２に記憶する。
　超解像処理の一例としては、画像の自己相関を利用した単画像超解像処理や、複数の画像間の微細な位置のずれを推定して各画素間の補間をすることにより行う複数画像超解像処理などが挙げられる。また、高解像度画像を高解像度学習用画像として、さらにこの高解像度学習用画像に劣化処理をすることで得られた画像を低解像度学習用画像として学習することによって生成された学習済み超解像画像モデルに対して、得られた被写体画像を適用することによって超解像処理を実施することも可能である。
　なお、本実施形態においては曇り除去処理、超解像処理の順で処理を行ったが、その処理の順番はこれのみには限らない。例えば、その順を逆にすることも可能であるし、他の処理を適宜組み合わせて実施することも可能である。
　次に、プロセッサ１１１は、超解像処理された被写体画像に対して領域特定処理を行う（Ｓ２１５）。そして、プロセッサ１１１は、メモリ１１２に記憶された領域特定処理前の被写体画像に加えて、領域特定処理がなされ特定された領域が識別可能になるようにラベルが付された被写体画像をそれぞれ対象者識別情報に対応付けてメモリ１１２に記憶する。
　領域特定処理の一例としては、医師などによる操作入力インターフェイス１１３を介したラベル付与処理や、あらかじめ特定する領域ごとに記憶された特徴量データベースを保持し得られた被写体画像中の特徴量に基づいてラベルを付与する処理などが挙げられる。また、得られた被写体画像を学習用画像として、さらにこの学習用画像に対して上記の領域特定処理をすることで得られた各領域の位置情報を学習用位置情報として学習することによって生成された学習済み領域特定画像モデルに対して、得られた被写体画像を適用することによって領域特定処理を実施することも可能である。なお、本実施形態では、主に咽頭及び濾胞の領域を特定する場合について説明しているが、扁桃腺や他の領域を特定する場合でも同様の処理が行われる。
　次に、プロセッサ１１１は、ディスプレイ１１４に上記処理がなされた被写体画像をそれぞれ出力するための処理を行う（Ｓ２１６）。なお、ディスプレイ１１４への表示は出力処理の一例であって他の出力方法をすることも可能である。出力の他の例としては、有線・無線で接続された外部の表示装置やプリンタへ出力することも可能であるし、有線・無線で接続された他の端末装置やサーバー装置に送信することも可能である。
　ここで、図１４は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。具体的には、図１４は、図７のＳ２１６の処理によって各種処理が終わったのちにディスプレイ１１４に表示される一覧画面の例を示す。図１４によると、撮影ボタンを押下することによって得られた被写体画像３０枚がその撮影順に４枚ずつディスプレイ１１４に表示されている。また、ディスプレイ１１４の右側には、完了アイコン１５、撮り直しアイコン１６、次アイコン１７、前アイコン１８がそれぞれ表示されている。完了アイコン１５は、メモリ１１２に一時的に記憶されていた各被写体画像をメモリ１１２のＨＤＤやフラッシュメモリなどに対象者識別情報に対応付けて記憶し、再び撮影ボタンの押下を検出するまで待機する状態に移行するために使われる。撮り直しアイコン１６は、メモリ１１２に一時的に記憶されていた各被写体画像をメモリ１１２から消去したうえで撮影ボタンの押下を検出するまで待機する状態に移行するために使われる。次アイコン１７及び前アイコン１８は、４枚ずつ表示された一連の被写体画像を次の４枚、又は前の４枚の被写体画像が表示された状態に移行するために使用される。これら各アイコンは、操作入力インターフェイス１１３において使用者の操作入力を受け付けることによって選択される。
　なお、図１４にも示されているように、当該一覧画面には図７の曇り除去処理（Ｓ２１３）や超解像処理（Ｓ２１４）が実行されたのちの被写体画像が表示される。したがって、各画像は高解像度の曇り除去がなされた画像となっている。一覧画面においては高解像度の画像そのものを表示するのではなく、低解像度の画像を表示することも可能である。
　図１５は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。具体的には、図１５は、図１４に示す一覧画面から使用者によって選択された特定の一枚の被写体画像をディスプレイ１１４に表示させたときの画面の例を示す。図１４の一覧画面における被写体画像の選択は、操作入力インターフェイス１１３を介して使用者の選択操作を受け付けることにより行われる。
　図１５によると、使用者の選択操作を受け付けることによって選択された特定の一枚の被写体画像であって、超解像処理及び曇り除去処理がなされたのちの画像がディスプレイ１１４に表示されている。また、ディスプレイ１１４の下部には、使用者からの操作入力を操作入力インターフェイス１１３が受け付けることによって、一時的に被写体画像に重畳して選択トレイ２３が表示される。当該選択トレイ２３には、完了アイコン１９、撮り直しアイコン２０、次アイコン２１、前アイコン２２がそれぞれ表示される。これらアイコンの機能は、図１４で説明した各アイコンと同様である。また、選択トレイ２３には、これらアイコン以外に、領域特定アイコン４１が表示される。領域特定アイコン４１は、現在表示されている被写体画像に対応し、特定された領域が識別可能になるようにラベルが付された被写体画像をメモリ１１２から読み出して表示するために使用される。なお、当該一覧画面において操作入力インターフェイス１１３で使用者の操作を受け付けることによって図１４に示す画面に戻る。
　図１５にも示されているように、当該画面には図７の曇り除去処理（Ｓ２１３）や超解像処理（Ｓ２１４）が実行されたのちの被写体画像が表示される。また、プロセッサ１１１は、操作入力インターフェイス１１３で使用者の拡大縮小操作の入力を受け付けることによって、表示される画像を拡大縮小することができる。したがって、拡大された場合であっても高精細な被写体画像を表示することが可能となる。
　図１６は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。具体的には、図１６は、図１５に示す画面において使用者による領域特定アイコン４１の選択を受け付けることによって表示される画面の例を示す。図１６によると、図７の領域特定処理（Ｓ２１５）によって特定された各領域を識別可能にするためのラベル情報が被写体画像に重畳して表示されている。例えば、軟口蓋として特定された領域が領域表示４０によって強調表示されるとともに、「軟口蓋」であることを通知する領域名表示３６がなされている。同様に、咽頭として特定された領域が領域表示３９によって強調表示されるとともに、「咽頭」であることを通知する領域名表示３５がなされている。さらに、インフルエンザ濾胞として特定された領域が領域表示３７及び３８によって強調表示されるとともに、「濾胞」であることを通知する領域名表示３３及び３４がなされている。このように、領域特定処理によって特定された各領域を識別可能にディスプレイ１１４に出力することによって、医者などの円滑な診断を可能にする。なお、当該画面において操作入力インターフェイス１１３で使用者の操作を受け付けることによって図１５に示す画面に戻る。なお、図１６の例では、咽頭、軟口蓋、濾胞等の領域を特定する例について説明しているが、扁桃腺などの他の領域を特定する場合も同様の処理が行われる。
　再び図７に戻り、プロセッサ１１１は、各画面において操作入力インターフェイス１１３で受け付けられた使用者の操作入力に基づいて、メモリ１１２に一時的に記憶されていた各被写体画像をメモリ１１２のＨＤＤやフラッシュメモリなどに対象者識別情報に対応付けて記憶するか、記憶することなく消去するための処理をする（Ｓ２１７）。そして、当該処理フローは終了する。
　ここで、図１７は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。具体的には、図６のＳ１１５において画像確認モードに移行し画像確認画面がディスプレイ１１４に表示された場合の例を示す。図１７によると、撮影順が最も新しい対象者の被写体画像の一覧画面が表示されている。これらの画像は、メモリ１１２から対象者識別情報に対応付けられた一連の画像を抽出することによって読み出される。したがって、当該画面の上部には、表示された被写体画像に対応付けられた対象者識別情報によって特定される対象者名（患者：Ａ）２８が表示される。また、ディスプレイ１１４の右側には、次に患者アイコン２４、前の患者アイコン２５、次の画像アイコン２６、前の画像アイコン２７がそれぞれ表示されている。次の患者アイコン２４及び前の患者アイコン２５は、現在表示されている対象者の前後に記憶された対象者に対応付けて記憶された一連の被写体画像を表示させるために使用される。次の画像アイコン２６及び前の画像アイコン２７は、４枚ずつ表示された一連の被写体画像を次の４枚、又は前の４枚の被写体画像が表示された状態に移行するために使用される。これら各アイコンは、操作入力インターフェイス１１３において使用者の操作入力を受け付けることによって選択される。
　なお、図１７にも示されているように、当該一覧画面には曇り除去処理や超解像処理がなされたのちに記憶された被写体画像が表示される。一覧画面においては高解像度の画像そのものを表示するのではなく、低解像度の画像を表示することも可能である。
　図１８は、本開示の一実施形態に係る処理装置１００に表示される画面の例を示す図である。具体的には、図１８は、図１７に示す一覧画面から使用者によって選択された特定の一枚の被写体画像をディスプレイ１１４に表示させたときの画面の例を示す。図１７の一覧画面における被写体画像の選択は、操作入力インターフェイス１１３を介して使用者の選択操作を受け付けることにより行われる。
　図１８によると、使用者の選択操作を受け付けることによって選択された特定の一枚の被写体画像がディスプレイ１１４に表示されている。また、ディスプレイ１１４の下部には、使用者からの操作入力を操作入力インターフェイス１１３が受け付けることによって、一時的に被写体画像に重畳して選択トレイ３２が表示される。当該選択トレイ３２には、次の患者アイコン２８、前の患者アイコン２９、次の画像アイコン３０、前の画像アイコン３１がそれぞれ表示される。これらアイコンの機能は、図１７で説明した各アイコンと同様である。また、選択トレイ３２には、これらアイコン以外に、領域特定アイコン４２が表示される。領域特定アイコン４１は、現在表示されている被写体画像に対応し、特定された領域が識別可能になるようにラベルが付された被写体画像をメモリ１１２から読み出して表示するために使用される。なお、当該一覧画面において操作入力インターフェイス１１３で使用者の操作を受け付けることによって図１４に示す画面に戻る。
　図１８にも示されているように、当該画面には曇り除去処理や超解像処理がなされたのちに記憶された被写体画像が表示される。また、プロセッサ１１１は、操作入力インターフェイス１１３で使用者の拡大縮小操作の入力を受け付けることによって、表示される画像を拡大縮小することができる。したがって、拡大された場合であっても高精細な被写体画像を表示することが可能となる。
　なお、領域特定アイコン４２に対する選択操作入力が受け付けられると、特定された領域が識別可能になるようにラベルが付された被写体画像がディスプレイ１１４に表示される。当該画面は、図１６と同様であるためその説明は省略する。
　図２４は、本開示の一実施形態に係る画像出力の例を示す図である。具体的には、図２４は、入出力インターフェイス１１５から有線又は無線で接続された他の処理装置に対して、被写体画像とそれに対応付けて記憶された様々な情報が出力される場合の例を示す。図２４の例では、他の処理装置において対象者識別情報ごとに被写体画像に加えて、その撮影日、医師らによる所見の情報、登録記録などを記憶し、電子カルテとして出力している。そして、図２４によると、撮像された日付とその日に撮像された被写体画像４３及び４４が他の処理装置のディスプレイに表示され、医師などが閲覧可能になっているのに加えて、当該被写体画像に加えて医師らによる所見の情報や投薬記録情報などが表示されている。
４．学習済み画像モデルの生成に係る処理フロー
　図８は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。具体的には、図８は、図７のＳ２１３において用いられる学習済み曇り除去画像モデルを生成するための処理である。当該処理フローは、処理装置１００のプロセッサ１１１によって実行されてもよいし、他の処理装置のプロセッサによって実行されてもよい。
　図８によると、撮影装置２００によって撮影された曇りを含む被写体画像を曇り学習用画像として取得するステップが実行される（Ｓ３１１）。別途撮影装置２００によって撮影された曇りを含まない良好な被写体画像を良好学習用画像として取得するステップが実行される（Ｓ３１２）。なお、良好学習用画像の取得は、曇り学習用画像とは別途撮影された被写体画像を用いているが、曇り学習用画像に対して、各画素の画素値、コントラスト及び／又は輝度の補正、曇り除去フィルターの適用などによる曇り除去処理を行うことで取得するようにしてもよい。
　曇り学習用画像と良好学習用画像がそれぞれ得られると、両学習用画像を用いて曇り除去パターンの機械学習を行うステップが実行される（Ｓ３１３）。当該機械学習の一例としては、曇り学習用画像と良好学習用画像の組を、ニューロンを組み合わせて構成されたニューラルネットワークに与え、ニューラルネットワークの出力が良好学習用画像と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返す。そして、学習済みの曇り除去画像モデル（例えば、ニューラルネットワークとパラメータ）を取得するステップが実行される（Ｓ３１４）。取得された学習済み曇り除去モデルは、処理装置１００のメモリ１１２や処理装置１００と無線通信を介して接続された他の処理装置内に記憶されていてもよい。そして、記憶された学習済み曇り除去モデルが処理装置１００又は他の処理装置において実行されることで、図７に示した被写体画像の曇り除去処理（Ｓ２１３）が実行される。
　図１９及び図２０は、本開示の一実施形態に係る処理装置１００によって得られた画像の例を示す図である。具体的には、図１９は撮影装置２００によって撮影され曇り除去処理がされる前の被写体画像を示す。また、図２０は図１９の画像に対して学習済み曇り除去モデルを用いて曇り除去処理を行ったのちの被写体画像を示す。図１９によると、曇り除去処理前の被写体画像においては、対象者の呼気、呼気中に含まれる水分による光の乱反射、特定部分に対する光の集中により、全体又は一部が白く曇った画像となった。そして、これによって口腔の咽頭付近の視認性に劣る画像となった。他方、図２０によると、図１９の画像に対して学習済み曇り除去モデルによる曇り除去処理をすることによって、曇りが除去され軟口蓋やその奥の咽頭の視認性が明らかに改善された。
　なお、図２０の曇り除去処理後の被写体画像を得るにあたり、学習済み曇り除去モデルは、曇り学習用画像１００枚と好学習用画像１００枚をニューラルネットワークに与えて機械学習させることにより生成した。
　図９は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。具体的には、図９は、図７のＳ２１４において用いられる学習済み超解像画像モデルを生成するための処理である。当該処理フローは、処理装置１００のプロセッサ１１１によって実行されてもよいし、他の処理装置のプロセッサによって実行されてもよい。
　図９によると、咽頭を含む被写体の高解像度画像を高解像度学習用画像として取得するステップが実行される（Ｓ４１１）。次に、取得された高解像度学習用画像に対して、スケール縮小処理やぼかし処理などの劣化処理を行うステップが実行される（Ｓ４１２）。そして、その実行の結果得られた劣化処理後の画像を低解像度学習用画像として取得するステップが実行される（Ｓ４１３）。
　高解像度学習用画像と低解像度学習用画像がそれぞれ得られると、両学習用画像を用いて超解像パターンの機械学習を行うステップが実行される（Ｓ４１４）。当該機械学習の一例としては、高解像度学習用画像と低解像度学習用画像の組を、ニューロンを組み合わせて構成されたニューラルネットワークに与え、ニューラルネットワークの出力が高解像度学習用画像と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返す。そして、学習済みの超解像画像モデル（例えば、ニューラルネットワークとパラメータ）を取得するステップが実行される（Ｓ４１５）。取得された学習済み超解像画像モデルは、処理装置１００のメモリ１１２や処理装置１００と無線通信を介して接続された他の処理装置内に記憶されていてもよい。そして、記憶された学習済み超解像画像モデルが処理装置１００又は他の処理装置において実行されることで、図７に示した被写体画像の超解像処理（Ｓ２１４）が実行される。
　図２１及び図２２は、本開示の一実施形態に係る処理装置１００によって得られた画像の例を示す図である。具体的には、図２１は撮影装置２００によって撮影され超解像処理がされる前の被写体画像とその一部拡大画像を示す。また、図２２は図２１の画像に対して学習済み超解像画像モデルを用いて超解像処理を行ったのちの被写体画像とその一部拡大画像を示す。図２１によると、超解像処理前の被写体画像においては、その一部拡大画像からも明らかなように各領域の境界部分が不鮮明であった。他方、図２２によると、図２１の画像に対して学習済み超解像画像モデルによる超解像処理をすることによって、その一部拡大画像からも明らかなように各領域の境界部分の不鮮明さが解消され拡大時にも境界を鮮明に把握できる程度に改善された。
　なお、図２２の超解像処理後の被写体画像を得るにあたり、学習済み超解像画像モデルは、高解像度学習用画像５００枚と、当該画像に劣化処理を行って得られた低解像度学習用画像５００枚をニューラルネットワークに与えて機械学習させることにより生成した。
　図１０は、本開示の一実施形態に係る学習済みモデルの生成に係る処理フローを示す図である。具体的には、図１０は、図７のＳ２１５において用いられる学習済み領域特定画像モデルを生成するための処理である。当該処理フローは、処理装置１００のプロセッサ１１１によって実行されてもよいし、他の処理装置のプロセッサによって実行されてもよい。
　図１０によると、咽頭を含む被写体の被写体画像を学習用画像として取得するステップが実行される（Ｓ５１１）。次に、取得された学習用画像に対して、例えば医師らの操作入力に基づいて咽頭、濾胞などの診断における注目領域に対するラベル付与処理を行うステップが実行される（Ｓ５１２）。そして、その実行の結果得られたラベルの位置情報を学習用位置情報として取得するステップが実行される（Ｓ５１３）。
　学習用画像と学習用位置情報がそれぞれ得られると、それらを用いて領域特定パターンの機械学習を行うステップが実行される（Ｓ５１４）。当該機械学習の一例としては、学習用画像と学習用位置情報の組を、ニューロンを組み合わせて構成されたニューラルネットワークに与え、ニューラルネットワークの出力が学習用位置情報と同じになるように、各ニューロンのパラメータを調整しながら学習を繰り返す。そして、学習済みの領域特定画像モデル（例えば、ニューラルネットワークとパラメータ）を取得するステップが実行される（Ｓ５１５）。取得された学習済み領域特定画像モデルは、処理装置１００のメモリ１１２や処理装置１００と無線通信を介して接続された他の処理装置内に記憶されていてもよい。そして、記憶された学習済み領域特定画像モデルが処理装置１００又は他の処理装置において実行されることで、図７に示した被写体画像の領域特定処理（Ｓ２１５）が実行される。
　図２３は、本開示の一実施形態に係る処理装置１００によって得られた画像の例を示す図である。具体的には、図２３は撮影装置２００によって撮影された被写体画像に対して曇り除去処理及び超解像処理を行ったのちに、学習済み領域特定画像モデルを用いて領域特定処理を行い、特定された各領域を識別可能に出力した被写体画像を示す。図２３によると、学習済み領域特定モデルを用いることによって、咽頭や濾胞などの領域をそれぞれ特定することができた。また、図１０の例では注目領域として咽頭及び濾胞のみを挙げたが、これら以外にも扁桃腺や舌などの部位や、気泡や唾液などランダムに生成される領域も特定することができた。
　なお、図２３の領域特定処理後の被写体画像を得るにあたり、学習済み領域特定画像モデルは、学習用画像１３００枚とそれら１３００枚に対して領域特定処理をして得られた各被写体画像中の学習用位置情報をニューラルネットワークに与えて機械学習させることにより生成した。
　このように、本実施形態においては、口腔内の診断に用いるために口腔内を撮影して得られた画像を処理するのに適した処理装置、処理プログラム、処理方法及び処理システムを提供することが可能となる。また、口腔内を撮影して得られた画像から咽頭や扁桃腺などの領域を特定しそれらを識別可能に出力するため、医者らによる診断に好適なものとすることができる。また、呼気の影響や、歯や舌などの動きによる影響を受けやすい口腔内の撮影において、曇り除去処理や超解像処理をすることによって視認性を改善することが可能となる。
＜その他の実施形態＞
　上記の実施形態においては、処理装置１００と撮影装置２００が有線ケーブルによって通信可能に接続されている場合について説明した。しかし、これに限らず、処理装置１００の内部のフレキシブル実装基板やプリント実装基板上に一体としてカメラや光源を実装させることも可能である。図２５は、本開示の他の実施形態に係る処理システム１の構成を示すブロック図である。図２５によると、処理システム１の処理装置１００は、上記一実施形態と同様に、プロセッサ１１１、メモリ１１２、操作入力インターフェイス１１３、ディスプレイ１１４及び入出力インターフェイス１１５を含む。これらに加えて、処理装置１００は、さらにカメラ１１６及び光源１１７含む。これらの各構成要素は、互いに、制御ライン及びデータラインを介して互いに電気的に接続されるが、カメラ１１６や光源１１７も入出力インターフェイス１１５を介して各構成要素と電気的に接続される。
　このような処理装置１００の例としては、例えばスマートフォン、携帯電話端末、タブレット端末、ＰＤＡ、デジタルカメラ端末、携帯可能ゲーム機、ラップトップパソコン端末などのカメラ付き端末装置が挙げられる。この場合、カメラ１１６は口腔内の咽頭近辺まで挿入されることなく、門歯の外側（体外側）に配置され口腔内の撮影を行うこととなる。
　また、上記一実施形態においては、処理装置１００と撮影装置２００とが、有線ケーブルを介して通信可能に接続されている場合について説明した。しかし、これに限らず、無線通信によって両者が接続されていてもよい。この場合、例えば撮影装置２００で撮影された被写体画像を遠隔に設置されたサーバー装置に送信し、サーバー装置を処理装置として機能させ、他の処理装置のディスプレイやなどに被写体画像を出力することが可能である。
　なお、これら実施形態は、上記で具体的に説明する点を除いて、図１～図２２で説明した一実施形態における構成、処理、手順と同様である。したがって、それらの事項の詳細な説明は省略する。
　各実施形態で説明した各要素を適宜組み合わせるか、それらを置き換えてシステムを構成することも可能である。
　本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、処理装置やサーバー装置を含む各種のコンピュータに実行させることが可能である。
　本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。
　１　　　　処理システム
　１００　　処理装置
　２００　　撮影装置
　７００　　対象者
 

Claims (17)

  1. 　口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続され、前記カメラによって撮影された前記画像の入力を受け付けるように構成された入出力インターフェイスと、
    　所定の指示命令に加えて、前記入出力インターフェイスで受け付けられた前記画像を記憶するように構成されたメモリと、
    　前記メモリに記憶された前記所定の指示命令を実行することによって、前記メモリに記憶された前記画像に基づいて前記画像に含まれる前記被写体のうちの所定の領域を特定し、特定された前記所定の領域が識別可能に前記画像を処理するように構成されたプロセッサと、
    　を含む処理装置。
  2. 　前記所定の領域の特定は、前記メモリに記憶されたプログラムに基づいて行われる、請求項１に記載の処理装置。
  3. 　前記所定の領域の特定は、口腔内が少なくとも含まれた被写体を撮影した領域学習用画像と前記領域学習用画像に含まれる所定の領域の位置情報とを用いて学習することにより得られた学習済み領域特定画像モデルによって行われる、請求項１又は２に記載の処理装置。
  4. 　前記プロセッサは、前記メモリに記憶された前記画像に対して鮮明化するための鮮明化処理をするように構成された、請求項１～３のいずれか一項に記載の処理装置。
  5. 　前記鮮明化処理は前記画像から前記画像に含まれる曇りを除去する処理を含む、請求項４に記載の処理装置。
  6. 　前記鮮明化処理は、画像中に曇りが含まれた曇り学習用画像と、曇りを含まない良好学習用画像とを用いて学習することにより得られた学習済み曇り除去画像モデルによって行われる、請求項４又は５に記載の処理装置。
  7. 　前記鮮明化処理は前記画像の解像度を高くする超解像処理を含む、請求項４～６のいずれか一項に記載の処理装置。
  8. 　前記鮮明化処理は、前記被写体を含む高解像度学習用画像と、前記高解像度学習用画像に対して劣化処理をすることで得られた低解像度学習用画像とを用いて学習することにより得られた学習済み超解像画像モデルによって行われる、請求項４～７のいずれか一項に記載の処理装置。
  9. 　前記所定の領域は前記口腔内に含まれる咽頭である、請求項１～８のいずれか一項に記載の処理装置。
  10. 　前記所定の領域は前記口腔内に含まれる咽頭に形成された濾胞である、請求項１～８のいずれか一項に記載の処理装置。
  11. 　前記所定の領域は前記口腔内に含まれる扁桃腺である、請求項１～８のいずれか一項に記載の処理装置。
  12. 　前記プロセッサによって特定された所定の領域が識別可能に処理された前記画像は、前記入出力インターフェイスを介して他の処理装置に出力され、電子カルテとして閲覧可能に出力される、請求項１～１１のいずれか一項に記載の処理装置。
  13. 　口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続され、前記カメラによって撮影された前記画像の入力を受け付けるように構成された入出力インターフェイスと、
    　所定の指示命令に加えて、前記入出力インターフェイスで受け付けられた前記画像を記憶するように構成されたメモリと、
    　前記メモリに記憶された前記所定の指示命令を実行することによって、前記メモリに記憶された前記画像から前記画像に含まれる曇りを除去する処理をするように構成されたプロセッサと、
    　を含む処理装置。
  14. 　口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続され、前記カメラによって撮影された前記画像の入力を受け付けるように構成された入出力インターフェイスと、
    　所定の指示命令に加えて、前記入出力インターフェイスで受け付けられた前記画像を記憶するように構成されたメモリと、
    　前記メモリに記憶された前記所定の指示命令を実行することによって、前記メモリに記憶された前記画像の解像度を高くするために前記画像に対して超解像度処理をするように構成されたプロセッサと、
    　を含む処理装置。
  15. 　口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続された入出力インターフェイスと、前記画像を記憶するように構成されたメモリとを含むコンピュータを、
    　前記カメラによって撮影された前記画像の入力を受け付け、前記入出力インターフェイスで受け付けられた前記画像を記憶し、前記メモリに記憶された前記画像に基づいて前記画像に含まれる前記被写体のうちの所定の領域を特定し、特定された前記所定の領域が識別可能に前記画像を処理するための処理をするように構成されたプロセッサ、
    　として機能させる処理プログラム。
  16. 　口腔内が少なくとも含まれた被写体の画像を撮影するカメラと通信可能に接続された入出力インターフェイスと、所定の指示命令に加えて前記画像を記憶するように構成されたメモリとを含むコンピュータにおいて、プロセッサが前記指示命令を実行することによりなされる処理方法であって、
    　前記カメラによって撮影された前記画像の入力を受け付ける段階と、
    　前記入出力インターフェイスで受け付けられた前記画像を記憶する段階と、
    　前記メモリに記憶された前記画像に基づいて前記画像に含まれる前記被写体のうちの所定の領域を特定する段階と、
    　特定された前記所定の領域が識別可能に前記画像を処理する段階と、
    　を含む処理方法。
  17. 　口腔内が少なくとも含まれた被写体の画像を撮影するように構成された撮影装置と、
    　請求項１～１４のいずれか一項に記載の処理装置と、
    　を含む処理システム。
PCT/JP2020/026479 2020-07-06 2020-07-06 処理装置、処理プログラム、処理方法及び処理システム Ceased WO2022009285A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022534513A JPWO2022009285A1 (ja) 2020-07-06 2020-07-06
US18/013,604 US20230289926A1 (en) 2020-07-06 2020-07-06 Processing device, processing program, processing method, and processing system
CN202080102872.2A CN115776863A (zh) 2020-07-06 2020-07-06 处理装置、处理程序、处理方法及处理系统
PCT/JP2020/026479 WO2022009285A1 (ja) 2020-07-06 2020-07-06 処理装置、処理プログラム、処理方法及び処理システム
EP20943972.8A EP4176794A4 (en) 2020-07-06 2020-07-06 Processing device, processing program, processing method, and processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/026479 WO2022009285A1 (ja) 2020-07-06 2020-07-06 処理装置、処理プログラム、処理方法及び処理システム

Publications (1)

Publication Number Publication Date
WO2022009285A1 true WO2022009285A1 (ja) 2022-01-13

Family

ID=79552304

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026479 Ceased WO2022009285A1 (ja) 2020-07-06 2020-07-06 処理装置、処理プログラム、処理方法及び処理システム

Country Status (5)

Country Link
US (1) US20230289926A1 (ja)
EP (1) EP4176794A4 (ja)
JP (1) JPWO2022009285A1 (ja)
CN (1) CN115776863A (ja)
WO (1) WO2022009285A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170788A1 (ja) * 2022-03-08 2023-09-14 アイリス株式会社 補助具、撮影装置、プログラム及び方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009189496A (ja) 2008-02-13 2009-08-27 Olympus Corp 内視鏡装置、内視鏡の観察窓表面に付着した汚れ及び曇りを除去する内視鏡装置の制御方法。
JP2018005841A (ja) * 2016-07-08 2018-01-11 株式会社トプコン 医用画像処理方法及び医用画像処理装置
JP2020014711A (ja) * 2018-07-26 2020-01-30 富士フイルム株式会社 検査支援装置、方法およびプログラム
JP2020078539A (ja) * 2018-06-22 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10238556A1 (de) * 2002-08-22 2004-03-04 Kaltenbach & Voigt Gmbh & Co. Kg Ärztliches oder zahnärztliches stabförmiges Handstück mit einem Display
CN106999020A (zh) * 2014-12-17 2017-08-01 卡尔斯特里姆保健公司 口腔内3d荧光成像
US20180353073A1 (en) * 2015-05-12 2018-12-13 Ryan Boucher Devices, Methods, and Systems for Acquiring Medical Diagnostic Information and Provision of Telehealth Services
WO2016185463A1 (en) * 2015-05-19 2016-11-24 Tyto Care Ltd. Systems and methods for throat imaging
EP3512403B1 (en) * 2016-09-16 2022-12-14 Throat Scope Pty Ltd Orifice inspection system
WO2018211482A1 (en) * 2017-05-19 2018-11-22 Narayanan Subhash A hand-held biophotonic medical device, method and system for multimodal and multispectral imaging of a tissue
TW201902411A (zh) * 2017-06-09 2019-01-16 多田智裕 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體
JP7252206B2 (ja) * 2017-08-17 2023-04-04 コーニンクレッカ フィリップス エヌ ヴェ 画像アーチファクト特定及び除去のための深層学習ネットワークを有する超音波システム
US11523741B2 (en) * 2017-12-28 2022-12-13 Aillis Inc. Intraoral imaging apparatus, medical apparatus, and program
US11419499B2 (en) * 2018-01-19 2022-08-23 The Regents Of The University Of California Optical coherence tomography for cancer screening and triage
JP6941233B2 (ja) * 2018-06-04 2021-09-29 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
US20210322138A1 (en) * 2018-08-23 2021-10-21 Carestream Dental Technology Shanghai Co., Ltd. Hybrid method of acquiring 3d data using intraoral scanner
US11369318B2 (en) * 2019-05-31 2022-06-28 Light Ai, Inc. Image processing of streptococcal infection in pharyngitis subjects
JP7258604B2 (ja) * 2019-03-05 2023-04-17 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、および学習済みモデルの製造方法
US20210118132A1 (en) * 2019-10-18 2021-04-22 Retrace Labs Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment
US11563929B2 (en) * 2019-06-24 2023-01-24 Align Technology, Inc. Intraoral 3D scanner employing multiple miniature cameras and multiple miniature pattern projectors
TWI721553B (zh) * 2019-09-06 2021-03-11 廣達電腦股份有限公司 牙區辨識系統
US11800076B2 (en) * 2019-12-20 2023-10-24 Google Llc Spatially varying reduction of haze in images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009189496A (ja) 2008-02-13 2009-08-27 Olympus Corp 内視鏡装置、内視鏡の観察窓表面に付着した汚れ及び曇りを除去する内視鏡装置の制御方法。
JP2018005841A (ja) * 2016-07-08 2018-01-11 株式会社トプコン 医用画像処理方法及び医用画像処理装置
JP2020078539A (ja) * 2018-06-22 2020-05-28 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP2020014711A (ja) * 2018-07-26 2020-01-30 富士フイルム株式会社 検査支援装置、方法およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Measurement of Inner Diameter of Upper Respiratory Tract in Sleep Apnea Syndrome (Nobuo OTANI", THE JOURNAL OF THE JAPAN BRONCHO-ESOPHAGOLOGICAL SOCIETY, vol. 40, no. 5, pages 396 - 402
HIROYASU TSUKAHARA ET AL.: "Statistical Examination for Maximum Opening Amount in Japanese Adults with Healthy Temporomandibular Joint", JAPANESE JOURNAL OF ORAL AND MAXILLOFACIAL SURGERY, vol. 44, no. 2, pages 159 - 167
MURATA NOZOMI: "Attempts at Making Implicit Medical Care Knowledge Visible to A1", 4 October 2018 (2018-10-04), XP055897838, Retrieved from the Internet <URL:https://ascii.jp/elem/000/001/743/1743457> *
See also references of EP4176794A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023170788A1 (ja) * 2022-03-08 2023-09-14 アイリス株式会社 補助具、撮影装置、プログラム及び方法
JPWO2023170788A1 (ja) * 2022-03-08 2023-09-14

Also Published As

Publication number Publication date
US20230289926A1 (en) 2023-09-14
EP4176794A1 (en) 2023-05-10
EP4176794A4 (en) 2024-06-12
CN115776863A (zh) 2023-03-10
JPWO2022009285A1 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
CN113648088B (zh) 用于牙齿图像的方法和装置
CN105324063B9 (zh) 识别受试者的耳朵中的对象的方法
CN102186406B (zh) 用于获得眼部特征的图像的方法和设备
US20150313445A1 (en) System and Method of Scanning a Body Cavity Using a Multiple Viewing Elements Endoscope
CN105792729A (zh) 用于对睑板腺进行成像以供睑板腺分析的眼睑照明系统和方法
JP5543865B2 (ja) 口腔内撮影システム
JP7715393B2 (ja) 撮像装置及び撮像システム
CN104840176A (zh) 消化道检视系统及其控制方法
KR20160004994A (ko) 검이경
CN106999045A (zh) 器官图像拍摄装置以及程序
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
WO2015037316A1 (ja) 器官画像撮影装置および器官画像撮影方法
WO2022009285A1 (ja) 処理装置、処理プログラム、処理方法及び処理システム
US20190058819A1 (en) Endoscope apparatus
WO2023073844A1 (ja) 処理装置、処理プログラム及び処理方法
WO2022230084A1 (ja) 撮像装置及び撮像システム
JP2024004880A (ja) 撮影支援装置、撮像装置、撮像装置の制御方法
EP4491093A1 (en) Assistance tool, imaging device, program, and method
CN105899123B (zh) 用于内窥镜的视频处理器和具有该视频处理器的内窥镜系统
JP2016168303A (ja) 器官画像撮影装置
TWM384667U (en) Injection accessory device
KR100404929B1 (ko) 안구의 홍채 및 안면 촬영장치
WO2023286199A1 (ja) 処理装置、処理プログラム、処理方法及び処理システム
US20230386682A1 (en) Systems and methods to chronologically image orthodontic treatment progress
JP2009297425A (ja) 電子内視鏡

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20943972

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022534513

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020943972

Country of ref document: EP

Effective date: 20230206