[go: up one dir, main page]

WO2021065658A1 - 薬剤照合装置、薬剤照合システム、薬剤管理方法及びプログラム - Google Patents

薬剤照合装置、薬剤照合システム、薬剤管理方法及びプログラム Download PDF

Info

Publication number
WO2021065658A1
WO2021065658A1 PCT/JP2020/035969 JP2020035969W WO2021065658A1 WO 2021065658 A1 WO2021065658 A1 WO 2021065658A1 JP 2020035969 W JP2020035969 W JP 2020035969W WO 2021065658 A1 WO2021065658 A1 WO 2021065658A1
Authority
WO
WIPO (PCT)
Prior art keywords
drug
image
unit
collation
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/035969
Other languages
English (en)
French (fr)
Inventor
高島　正伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Toyama Chemical Co Ltd
Original Assignee
Fujifilm Toyama Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Toyama Chemical Co Ltd filed Critical Fujifilm Toyama Chemical Co Ltd
Priority to EP20872754.5A priority Critical patent/EP4039242B1/en
Priority to CN202080067253.4A priority patent/CN114450677B/zh
Priority to JP2021550675A priority patent/JP7427684B2/ja
Publication of WO2021065658A1 publication Critical patent/WO2021065658A1/ja
Priority to US17/709,898 priority patent/US12254974B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/02—Pill counting devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • the present invention relates to a drug collation device, a drug collation system, a drug management method and a program.
  • the drug to be recognized is imaged, and the drug image is collated with the master image of the drug registered in advance to recognize the type of drug.
  • Patent Document 1 describes a drug recognition device that discriminates a drug by collating a drug image with a master image.
  • the device described in the document acquires information on the position of the drug based on the drug image, and updates the master image when the position of the drug satisfies a predetermined condition.
  • a master image is indispensable for improving the image recognition accuracy of drugs.
  • drugs such as tablets and capsules on the market.
  • drugs that are difficult to obtain such as expensive drugs.
  • it is difficult to obtain drug images for all drugs and register them as master images.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a drug collation device, a drug collation system, a drug management method, and a program capable of collecting drug images that are candidates for a master image.
  • the drug recognition device includes a drug image acquisition unit that acquires a drug image generated by imaging a drug to be collated, a first master image storage unit that stores a master image of the drug, and a drug image acquisition unit. Identification information of the drug image with respect to the collation unit that collates the drug image acquired by using the unit with the master image stored in the first master image storage unit and the drug image collated using the collation unit. It is a drug collation device including an associating unit for associating the image and a transmitting unit for transmitting the drug image and identification information associated with the associating unit to the outside.
  • the drug image collated with the master image is transmitted to the outside in association with the identification information of the drug image.
  • the drug image associated with the identification information can be used as a candidate for the master image.
  • the drug image may include an image extracted from an image taken by a plurality of drugs.
  • the drug image may include multiple images taken from multiple directions.
  • the master image may include a plurality of images captured from a plurality of directions.
  • the collation department may carry out an audit based on prescription information, or may carry out discrimination without using prescription information.
  • the association unit may be configured to associate the identification information with the drug image determined to be undeterminable by the collation unit.
  • the identification information can be associated with the drug image that cannot be determined and transmitted to the outside.
  • the third aspect is the drug collation device of the second aspect, which includes an identification information input unit for inputting image identification information, and the association unit inputs the identification information of the drug image input using the identification information input unit to the drug image. It may be configured to be associated with.
  • the input identification information can be associated with the drug image that cannot be determined.
  • the association unit may be configured to associate the identification information indicating that the determination is impossible with the drug image determined by the collation unit to be undeterminable.
  • the drug image to which the identification information indicating that the determination cannot be made is added to the drug image determined to be undeterminable can be transmitted to the outside.
  • the fifth aspect is the drug collation device of any one of the second to fourth aspects, in which the first master image storage unit is the drug image determined to be undeterminable by the collation unit and the identification information associated with the drug image. May be used to update the master image.
  • the master image can be updated using the drug image that cannot be determined and the identification information associated with the drug image. As a result, it is possible to collate a drug that has not been stored in the first master image storage unit so far.
  • a sixth aspect is the drug collation device according to any one of the first to fifth aspects, comprising an imaging condition information acquisition unit for acquiring imaging condition information of a drug image, and an association unit imaging the drug image. It may be configured to associate condition information.
  • the drug image, the identification information of the drug image, and the imaging condition information can be used.
  • the seventh aspect is the drug collation device of any one of the first to sixth aspects, comprising a lighting condition information acquisition unit for acquiring the illumination condition information of the drug image, and the association unit illuminates the drug image. It may be configured to associate condition information.
  • the drug image, the identification information of the drug image, and the lighting condition information can be used.
  • the eighth aspect is the drug collation device of any one of the first to seventh aspects, and the transmission unit may be configured to transmit a drug image to which the identification information is not associated in the association unit to the outside.
  • a drug image to which the identification information is not associated can be transmitted to the outside.
  • the association unit may be configured so that the identification information is not associated with the drug image determined to be undeterminable by the collation unit.
  • the non-execution of the identification information can be applied to the drug image determined to be undeterminable.
  • the drug recognition system is a drug collation that collates a server device, a second master image storage unit that stores a master image, and a drug image generated by imaging a drug to be collated with the master image.
  • the drug collation device includes a device, a drug image acquisition unit for acquiring a drug image, a first master image storage unit for storing a master image stored in a second master image storage unit, and a drug image acquisition unit.
  • the identification information of the drug image is associated with the collation unit that collates the drug image acquired using the drug image with the master image stored in the first master image storage unit and the drug image collated using the collation unit.
  • It is a drug collation system including an associating unit and a transmitting unit that transmits the drug image and identification information associated in the associating unit to the server device.
  • the same items as those specified in the second to ninth aspects can be appropriately combined.
  • the component responsible for the processing or function specified in the drug matching device can be grasped as the component of the drug matching system responsible for the corresponding processing or function.
  • the server device uses the drug image transmitted from the transmission unit and the identification information corresponding to the drug image, and the master image stored in the second master image storage unit. May be configured to update.
  • the second master image storage unit can be updated by applying the drug image associated with the identification information.
  • the twelfth aspect may be a configuration in which the server device is communicably connected to the drug matching device via a network in the drug matching system of the tenth aspect or the eleventh aspect.
  • a network system including a server device and a drug matching device can be configured.
  • the drug management method stores a drug image acquisition step of acquiring a drug image generated by imaging a drug to be collated, a drug image acquired in the drug image acquisition step, and a master image of the drug.
  • the association processing step of associating the identification information of the drug image with the drug image collated in the collation step, and the association processing step. It is a drug management method including a transmission step of transmitting an associated drug image and identification information to the outside.
  • the same items as those specified in the second to ninth aspects, eleventh aspects and twelfth aspects can be appropriately combined.
  • the components responsible for the processes and functions specified in the drug collation device and the drug collation system can be grasped as the components of the drug management method responsible for the corresponding processes and functions.
  • a drug image acquisition function for acquiring a drug image generated by imaging a drug to be collated, a drug image acquired by using the drug image acquisition function, and a drug master image are stored in a computer.
  • First master image to be stored A collation function that collates with the master image stored in the storage unit, an association processing function that associates the identification information of the drug image with the drug image collated using the collation function, and an association. It is a program that realizes a transmission function that transmits the associated drug image and identification information to the outside using a processing function.
  • the same items as those specified in the 2nd to 9th, 11th and 12th aspects can be appropriately combined.
  • the components responsible for the processes and functions specified in the drug collation device and the drug collation system can be grasped as the components of the program responsible for the corresponding processes and functions.
  • the drug image collated with the master image is transmitted to the outside in association with the identification information of the drug image.
  • the drug image associated with the identification information can be used as a candidate for the master image.
  • FIG. 1 is a perspective view of the drug audit device according to the embodiment.
  • FIG. 2 is a configuration diagram of a drug audit system according to an embodiment.
  • FIG. 3 is a functional block diagram of the drug audit system shown in FIG.
  • FIG. 4 is a functional block diagram of the information acquisition unit shown in FIG.
  • FIG. 5 is a schematic view showing an arrangement example of an imaging device and a lighting device.
  • FIG. 6 is a schematic view showing an arrangement example of the lighting device.
  • FIG. 7 is a schematic diagram of the local database shown in FIG.
  • FIG. 8 is a functional block diagram of the drug type determination unit shown in FIG.
  • FIG. 9 is an explanatory diagram of drug detection.
  • FIG. 10 is an explanatory diagram showing an example of setting the region of interest.
  • FIG. 10 is an explanatory diagram showing an example of setting the region of interest.
  • FIG. 11 is an explanatory diagram of the influence of illumination light.
  • FIG. 12 is an explanatory diagram of the audit result display screen.
  • FIG. 13 is an explanatory diagram of the audit result correction screen.
  • FIG. 14 is a flowchart showing the procedure of the drug management method.
  • FIG. 1 is a perspective view of the drug audit device according to the embodiment.
  • the drug auditing device 10 shown in FIG. 1 audits a packaged drug. Specifically, the drug audit device 10 automatically determines the type and quantity of the drug and collates it with the prescription information. The drug audit device 10 notifies the audit result.
  • the drug audit device 10 includes a main body 12 and a display device 14.
  • the main body 12 includes an insertion port 20 and an discharge port 22.
  • a packaging film in which a packaged drug is enclosed is inserted into the insertion port 20.
  • a plurality of packaging films connected in a row are inserted into the insertion port 20.
  • the packaged film for which the audit has been completed is discharged to the discharge port 22.
  • the main body 12 includes a transport unit for transporting the packaging film from the insertion port 20 to the discharge port 22. Note that the transport section is not shown in FIG.
  • the transport unit is designated by reference numeral 18 and is shown in FIG.
  • the display device 14 displays various information applied to the drug audit device 10.
  • the display device 14 displays an audit result display screen showing the audit result.
  • a touch panel type display device is applied to the display device, and the display device is also used as an operation unit.
  • the operation unit is operated by the operator when inputting various information to the drug audit device 10.
  • the drug audit device 10 described in the embodiment corresponds to an example of a drug collation device.
  • FIG. 2 is a configuration diagram of a drug audit system according to an embodiment.
  • the server device 32 and the client system 34 are communicably connected via the network 40.
  • the drug audit system 30 may include a plurality of client systems 34.
  • the server device 32 manages various information related to the drug audit performed in the client system 34, and provides various information to the client system 34.
  • the server device 32 may apply cloud computing.
  • the client system 34 includes a drug audit device 10, a dedicated computer 50, a network interface 52, and a receipt computer 54.
  • the client system 34 is communicably connected to the network 40 via the network interface 52.
  • the drug audit device 10 and the receipt computer 54 are connected to the network interface 52 via the dedicated computer 50.
  • the client system 34 may include a storage device such as a hard disk drive. The storage device is not shown.
  • the network 40 may apply a dedicated line.
  • a public network may be applied to the network 40.
  • the network 40 may apply a general-purpose communication protocol.
  • FIG. 3 is a functional block diagram of the drug audit system shown in FIG.
  • the network 40, the dedicated computer 50, and the network interface 52 shown in FIG. 2 are not shown.
  • the drug audit device 10 includes a display unit 15, an operation unit 16, and a transport unit 18.
  • the drug audit device 10 includes a system control unit.
  • the system control unit controls each part of the drug auditing device 10 in an integrated manner. The illustration of the system control unit is omitted.
  • the display unit 15 displays various information of the drug audit device 10.
  • the display unit 15 includes a display device 14 and a display control unit shown in FIG.
  • the display control unit converts signals representing various information to be displayed on the display device 14 into display signals, and transmits the display signals to the display device 14.
  • the display control unit is not shown.
  • the operation unit 16 is also used as the display device 14 shown in FIG.
  • the signal input from the operation unit 16 is converted into a signal transmitted to each unit using the system control unit.
  • the system control unit transmits a signal to each unit based on the information input by using the operation unit 16.
  • the transport unit 18 transports the packaging film inserted from the insertion port 20 shown in FIG. 1 to the discharge port 22.
  • An imaging device and a lighting device are arranged as a transport path for the packaged film.
  • the transport unit 18 includes a transport mechanism and a transport control unit.
  • the transport mechanism supports and transports the packaging film.
  • the transport control unit operates the transport mechanism in response to a command signal transmitted from the system control unit.
  • the transport mechanism, transport control unit, and system control unit are not shown.
  • the drug audit device 10 includes an information acquisition unit 60.
  • the information acquisition unit 60 acquires various types of information used for drug audits.
  • the various information may include a packaged film image, which is an image captured by a packaged film including a plurality of drug images, imaging condition information, lighting condition information, prescription information, and the like.
  • the drug image is an image for each drug extracted from the packaged film image. The details of the information acquisition unit 60 will be described later.
  • image in the present specification may include the meaning of image data or image signal representing an image.
  • the drug audit device 10 includes a processing unit 61 and a local database 64.
  • the processing unit 61 includes a drug type determination unit 62.
  • the drug type determination unit 62 refers to the local database 64 and determines the type of drug using various information acquired by using the information acquisition unit 60.
  • the drug type determination unit 62 transmits a signal indicating the determination result to the display unit 15.
  • the display unit 15 causes the display device 14 to display the determination result.
  • the drug type determination unit 62 transmits the packaged film image and the imaging condition information based on the drug image to the information acquisition unit 60.
  • the information acquisition unit 60 receives the imaging condition information transmitted from the drug type determination unit 62. Details of the imaging condition information will be described later.
  • the local database 64 stores drug master information.
  • the master information includes a drug name of a drug, a master image for each drug, attribute information for each drug, and the like.
  • the local database 64 can search the master image and attribute information using the drug name as an index.
  • the local database 64 described in the embodiment corresponds to an example of the first master image storage unit.
  • the processing unit 61 includes a determination result correction unit 66.
  • the determination result correction unit 66 operates the operation unit 16 to add identification information such as a drug name input by the operator to the drug image determined to be undeterminable by the drug type determination unit 62.
  • the determination result correction unit 66 may add identification information indicating that the determination is impossible to the drug image determined to be undeterminable.
  • the determination result correction unit 66 may not add identification information to the drug image determined to be undeterminable.
  • the determination result correction unit 66 described in the embodiment corresponds to an example of an association unit that associates the drug image with the identification information.
  • the operation unit 16 described in the embodiment corresponds to an example of the identification information input unit.
  • the non-addition of the identification information described in the embodiment corresponds to an example of non-implementation of the association of the identification information.
  • the drug audit device 10 includes a drug information transmission unit 68.
  • the drug information transmission unit 68 sets the drug image determined to be undeterminable together with the identification information such as the drug name, the imaging condition information, and the lighting condition information, and transmits the drug image to the server device 32 as the drug information.
  • the drug image to which the identification information is not added is set with the imaging condition information and the lighting condition information, and is transmitted to the server device 32 as the drug information.
  • the server device 32 described in the embodiment corresponds to an external example of the drug audit device 10.
  • the imaging condition information includes the position information of the drug image.
  • the position information of the drug image can be obtained from the packaged film image. Distortion of the captured image can be corrected by using the position information of the drug.
  • the imaging condition information may include drug placement information. Examples of drug placement information include information that the drug is tilted with respect to a specified direction, information that the drug is imaged in a state of overlapping with other drugs, and the like.
  • the lighting condition information may include information from which direction the drug is illuminated.
  • the server device 32 includes a drug information acquisition unit 70, an image processing unit 72, and a master database 74.
  • the drug information acquisition unit 70 acquires drug information transmitted from the drug information transmission unit 68 provided in the drug audit device 10.
  • the server device 32 can acquire drug information from a plurality of drug audit devices 10.
  • the server device 32 aggregates information about drugs having the same drug name.
  • the server device 32 updates the master database 74 based on the captured image of the drug having the same drug name.
  • those to which the identification information is not added and the drug images to which the identification information indicating the undeterminable can be added are added with the identification information such as the drug name in the server device 32 and are added to the master database. It can be used for updating 74.
  • the server device 32 includes an image processing unit 72.
  • the image processing unit 72 performs correction processing on the captured image acquired from the drug audit device 10 in consideration of the imaging condition information, the lighting condition information, and the like.
  • the server device 32 can update the master database 74 using the corrected captured image.
  • the image processing unit 72 can perform processing such as enlargement, reduction, and rotation on the captured image of the drug.
  • the image processing unit 72 can generate a composite image obtained by synthesizing an image captured when the drug is illuminated from any one direction and an image captured when the drug is illuminated from the other direction. ..
  • the captured image determined that the imaging condition information, the lighting condition information, etc. are not aligned with the other captured images may be excluded from the target of the compositing process. It is possible to exclude from the synthesis target the captured image captured in a state where the name is input incorrectly, the image is superimposed on another drug, and the captured image captured at an angle at which it is difficult to see the markings and the like.
  • the server device 32 can update the master database 74 using the captured image of the drug processed by the image processing unit 72.
  • the update function of the master database 74 provided in the server device 32 may be provided in the drug audit device 10. That is, the drug audit device 10 may temporarily update the local database 64 by using the imaging condition information, the lighting condition information, and the like based on the drug image determined to be undeterminable.
  • the image processing unit 72 can apply the learning model.
  • the learning model learns the relationship between the captured image and the name of the drug that is determined to be undecidable by the drug audit device 10, and updates the master database 74 based on the learning result.
  • the server device 32 periodically updates the master database 74, and periodically delivers the updated information of the master database 74 to the drug audit device 10.
  • the drug audit device 10 updates the local database 64 based on the update information of the master database 74 transmitted from the server device 32.
  • the drug audit system 30 described in the embodiment corresponds to an example of a drug verification system.
  • the master database 74 described in the embodiment corresponds to an example of the second master image storage unit.
  • processors can be applied to the hardware of each control unit. Examples of processors include a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit). The CPU executes a program and functions as various processing units.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the GPU is a processor specialized in image processing.
  • an electric circuit combining an electric circuit element such as a semiconductor element is applied.
  • Each control unit includes a ROM in which a program or the like is stored and a RAM in which a work area for various operations or the like is stored.
  • Two or more processors may be applied to one control unit.
  • the two or more processors may be the same type of processor or different types of processors. Further, one processor may be applied to a plurality of control units.
  • FIG. 4 is a functional block diagram of the information acquisition unit shown in FIG.
  • the information acquisition unit 60 includes a prescription reader 100, an imaging unit 102, and an illumination unit 104.
  • the prescription reader 100 acquires prescription information.
  • the prescription reader 100 may apply an optical character recognition device.
  • the optical character recognition device captures a prescription and converts information such as a drug name from the prescription image into a character code.
  • the optical character recognition device may be expressed as OCR, which is an abbreviation for Optical Character Recognition.
  • the prescription reader 100 transmits the reading information of the prescription information to the prescription information acquisition unit 110.
  • the prescription information acquisition unit 110 may include a prescription information storage unit that stores prescription information.
  • the imaging unit 102 includes an imaging device and an imaging control unit. Note that the imaging device is not shown in FIG.
  • the image pickup apparatus is illustrated in FIG. 5 using reference numerals 150 and 152. Further, the illustration of the image pickup control unit is omitted.
  • the imaging device images the drug enclosed in the packaging film and generates a packaging film image.
  • the packaged film image is illustrated in FIG. 9 using reference numeral 141.
  • the image pickup control unit controls the operation of the image pickup device.
  • the image pickup control unit transmits the packaged film image to the image pickup image acquisition unit 112.
  • the captured image acquisition unit 112 may include a packaged film image storage unit that stores the packaged film image.
  • the drug enclosed in the packaging film described in the embodiment corresponds to an example of the drug to be collated.
  • the captured image acquisition unit 112 described in the embodiment corresponds to an example of the drug image acquisition unit.
  • the imaging condition information acquisition unit 114 acquires imaging condition information including information on the position of the drug image in the packaged film image from the drug type determination unit 62 shown in FIG.
  • the imaging condition information acquisition unit 114 may include an imaging condition information storage unit that stores imaging condition information.
  • the lighting unit includes a lighting device and a lighting control unit. It should be noted that the illustration of the lighting device is omitted in FIG. The lighting device is illustrated in FIG. 5 using reference numerals 160 and the like. Further, the illustration of the lighting control unit is omitted.
  • the lighting device irradiates the packaging film to be imaged with illumination light.
  • the lighting control unit controls the operation of the lighting device.
  • the lighting control unit transmits the lighting condition information to the lighting condition information acquisition unit 116.
  • the lighting condition information acquisition unit 116 acquires the lighting condition information.
  • the lighting condition information acquisition unit 116 may include a lighting condition information storage unit that stores lighting condition information.
  • the prescription information, the packaged film image, the imaging condition information, and the lighting condition information are transmitted to the processing unit 61 shown in FIG.
  • FIG. 5 is a schematic view showing an arrangement example of an imaging device and a lighting device.
  • FIG. 5 shows a state in which a plurality of packaged films 140 transported in the transport direction are sequentially imaged.
  • Reference numeral X shown in FIG. 5 indicates the transport direction of the packaging film 140.
  • Reference numeral Z indicates a vertically upward direction.
  • the plurality of packaging films 140 are conveyed along the conveying direction using the conveying section 18 shown in FIG.
  • the upper imaging device 150 and the lower imaging device 152 are arranged in the transport path of the packaging film 140.
  • the upper imaging device 150 is arranged at a position where the packaging film 140 is imaged from above.
  • the lower imaging device 152 is arranged at a position where the packaging film 140 is imaged from below.
  • CCD Charge Coupled Device
  • the imaging region of the upper imaging device 150 and the lower imaging device 152 includes the entire packaging film 140.
  • the imaging region of the upper imaging device 150 represents the imaging field of view of the upper imaging device 150 in which the direction of the optical axis is fixed.
  • the optical axis of the upper imaging device 150 and the lower imaging device 152 are arranged at positions where the optical axes coincide with each other.
  • the optical axes of the upper imaging device 150 and the lower imaging device 152 are designated by reference numerals 151 and are shown in FIG.
  • FIG. 5 illustrates the first lighting device 160 and the third lighting device 164 among the four lighting devices corresponding to the upper imaging device 150.
  • the lighting device corresponding to the lower imaging device 152 the fifth lighting device 170 and the seventh lighting device 174 are shown in the drawings among the four lighting devices.
  • FIG. 6 is a schematic diagram showing an arrangement example of the lighting device.
  • FIG. 6 is a view of FIG. 5 regarding the imaging direction of the upper imaging device 150.
  • Reference numeral 144 indicates a drug to be encapsulated in the packaging film 140.
  • Reference numeral Y indicates the width direction of the packaging film 140.
  • the width direction of the packaging film 140 is a direction orthogonal to the conveying direction of the packaging film 140 and a direction parallel to the conveying surface of the packaging film 140.
  • orthogonality in the present specification may include substantially orthogonality representing a bidirectional state in which the same effects as orthogonality can be obtained, although they actually intersect.
  • parallelism can include substantial parallelism.
  • the first lighting device 160, the second lighting device 162, the third lighting device 164, and the fourth lighting device 166 are arranged at equal intervals along the circumference surrounding the imaging region of the upper imaging device 150.
  • the center of the circumference surrounding the imaging region is the center position 153 of the imaging region.
  • the optical axis 151 of the upper imaging device 150 passes through the center position 153 of the imaging region.
  • the first lighting device 160 and the third lighting device 164 are arranged symmetrically with respect to the transport direction of the packaging film 140 with the optical axis 151 of the upper imaging device 150 interposed therebetween.
  • the second illuminating device 162 and the fourth illuminating device 166 are arranged symmetrically with respect to the width direction of the packaging film 140 with the optical axis 151 of the upper imaging device 150 interposed therebetween.
  • the distance d 1 from the optical axis 151 of the upper imaging device 150 to the imaging surface of the first illumination device 160 is the same as the distance d 3 from the optical axis 151 of the upper imaging device 150 to the imaging surface of the third illumination device 164. ..
  • the distance d 1 from the optical axis 151 of the upper imaging device 150 to the imaging surface of the first illumination device 160 is the same as the distance d 2 from the optical axis 151 of the upper imaging device 150 to the imaging surface of the second illumination device 162. Is.
  • the distance d 1 from the optical axis 151 of the upper imaging device 150 to the imaging surface of the first illumination device 160 is the same as the distance d 4 from the optical axis 151 of the upper imaging device 150 to the imaging surface of the fourth illumination device 166. Is.
  • the fifth lighting device 170, the sixth lighting device 172, the seventh lighting device 174, and the eighth lighting device 176, respectively, are the first lighting device 160, the second lighting device 162, the third lighting device 164, and the fourth lighting device 166. It is placed at the position corresponding to.
  • the first lighting device 160 or the like may be configured by arranging a plurality of light emitting elements in the width direction of the packaging film 140 over a length corresponding to the total length of the packaging film 140.
  • the second lighting device 162 or the like may be configured by arranging a plurality of light emitting elements in the transport direction of the packaging film 140 over a length corresponding to the total length of the packaging film 140.
  • An example of a light emitting element is an LED (Light Emitting Diode).
  • the first lighting device 160 and the like are individually controlled using the lighting control unit.
  • the first lighting device 160 and the like can individually control the amount of light and on / off.
  • the first lighting device 160 and the like are controlled according to the imaging timing of the upper imaging device 150.
  • the fifth lighting device 170 and the like are controlled according to the imaging timing of the lower imaging device 152 and the like.
  • FIG. 7 is a schematic diagram of the local database shown in FIG.
  • the local database 64 stores the drug name 180, the attribute information 182, and the master image 184 for each drug.
  • the master image 184 includes a front surface image 186 and a back surface image 188.
  • the drug name 180 and the attribute information 182 can be applied as the identification information.
  • the attribute information 182 may be applied with a drug code, drug type, shape, size, color, engraving, printing, and the like.
  • an arbitrary character string is shown as an example of a drug name and a drug code.
  • the surface image 186 is an image generated by imaging the surface of the drug.
  • the back surface image 188 is an image generated by imaging the back surface of the drug.
  • the surface on which the drug is engraved, the surface on which the drug is printed, or the like can be used as the surface.
  • the front and back surfaces are determined based on the specified conditions.
  • FIG. 8 is a functional block diagram of the drug type determination unit shown in FIG.
  • the drug type determination unit 62 includes a drug detection unit 190, an area of interest setting unit 192, a template generation unit 194, and a collation unit 196.
  • the drug detection unit 190 identifies the region of the drug image, which is an image for each drug, from the packaged film image, which is the entire image of the packaged film 140, and specifies the position of the drug image. As the position information, the coordinate values of the two-dimensional coordinates set in the imaging region of the upper imaging device 150 and the imaging region of the lower imaging device 152 can be applied.
  • the drug detection unit 190 may perform image processing such as enlargement / reduction rotation and brightness adjustment on the drug image based on the master image 184.
  • the packaged film image is illustrated with reference numeral 141 in FIG.
  • the drug image is illustrated with reference numeral 200 in FIG.
  • the region of interest setting unit 192 sets the region of interest for the drug image. Areas of interest include features in drug images. The region of interest setting unit 192 calculates the distance from the center position in the packaged film image for each drug image.
  • the region of interest setting unit 192 sets the shape of the region of interest for each drug image according to the distance from the center position in the packaged film image for each drug image. As the center position in the packaged film image, the center position 153 of the imaging region shown in FIG. 6 is applied. The center position of each drug image in the packaged film image is illustrated with reference numeral 204 in FIG.
  • the template generation unit 194 generates a template for the master image 184 according to the shape of the region of interest for each drug image.
  • the template generation unit 194 sets the position of the template in the master image 184 according to the distance from the center position in the packaged film image for each drug image.
  • the template contains the characteristics of the drug in the master image 184.
  • the collation unit 196 collates the region of interest in the drug image with the template of the master image 184 for each drug image.
  • the collation unit 196 performs an alignment process between the region of interest and the template.
  • the collation unit 196 may perform processing such as enlargement / reduction and rotation on at least one of the region of interest and the template during the alignment processing. When image processing is performed on the drug image, it is not necessary to perform enlargement processing or the like at the time of alignment processing.
  • the collation unit 196 collates all the drug images included in the packaged film image.
  • the collation unit 196 compares the drug image with the master image 184.
  • the collation unit 196 mainly compares the region of interest of the drug image with the template of the master image 184, and determines whether or not the two match.
  • the collation unit 196 transmits the collation result to the determination result correction unit 66 shown in FIG.
  • the drug type determination unit 62 collates the packaged film image acquired from the upper imaging device 150 and the packaged film image acquired from the lower imaging device 152 shown in FIG.
  • FIG. 9 is an explanatory diagram of drug detection.
  • the drug detection unit 190 shown in FIG. 8 sets a frame 202 surrounding the entire drug image 200 with respect to the packaged film image 141 shown in FIG. 9 based on the edge detection result of the drug image 200, and sets the center of the frame 202.
  • the position is set as the center position 204 of the drug image 200.
  • Reference numeral 206 indicates the center position of the packaged film image 141.
  • the drug detection unit 190 may remove low-frequency components from the packaged film image 141 to emphasize printing and engraving of the drug.
  • the drug detection unit 190 may extract color information from the packaged film image 141 and set a frame 202 for the packaged film image 141 by using the color information.
  • FIG. 10 is an explanatory diagram showing an example of setting an area of interest.
  • FIG. 10 is a schematic view of the packaged film image 141.
  • FIG. 10 shows a two-dimensional coordinate system in which the center position 206 of the packaged film image 141 is the origin, the transport direction of the packaged film 140 is the X direction, and the width direction of the packaged film 140 is the Y direction.
  • the distance from the center position 206 of the packaged film image 141 is equal to or less than the threshold value TH.
  • a region of interest 220 having a shape similar to the planar shape of the drug image 210 is set. That is, the drug image 210 is set with a circular region of interest 220.
  • the distance from the center position 206 of the packaged film image 141 exceeds the threshold value TH.
  • the drug image 212 is set with a rectangular area of interest 222
  • the drug image 214 is set with a rectangular area of interest 224 that is smaller than the area of interest 222.
  • Reference numeral 212A indicates a region corresponding to the side surface of the drug in the drug image 212. The same applies to reference numeral 214A.
  • the region of interest 220 or the like When the region of interest 222 or the like is fixed in the same manner as the region of interest 220, the region of interest 220 or the like includes a region in which distortion occurs and a region unnecessary for collation. This can lead to errors when matching a template based on a master image with no distortion and no sides to the region of interest.
  • the shape and size of the region of interest 222 and the like are set according to the distance from the center position 206 of the packaged film image 141.
  • FIG. 11 is an explanatory diagram of the influence of the illumination light.
  • FIG. 11 schematically illustrates a cross section of the drug 240.
  • the arrow line with the reference numeral 250 represents the illumination light.
  • the drug 240 has a constant thickness and has a three-dimensional structure with a curved surface.
  • the illumination light 250 is incident on the marking 242 of the drug 240 from almost directly above. Almost no shadow is formed on the engraved 242. On the other hand, in the marking 244 and the marking 246, the illumination light 250 is incident from an oblique direction. Shadows are formed on the markings 244 and 246.
  • the images of the markings 244 and 246 are clear, while the images of the markings 242 are blurred. Collation using a drug image in which the engraved 242 is blurred may cause a collation error due to a mismatch of the engraved 242.
  • the region of interest for the drug image, it is possible to set the region of interest that does not include the region that can be affected by the illumination light 250, such as blurring in the image such as the engraved 242.
  • the drug image 200 shown in FIG. 9 can use the illumination condition information when setting the region of interest 220 and the like shown in FIG. Even if the drug is imaged at the same position, the shadow state may differ depending on the color and shape of the drug.
  • the drug detection unit 190 shown in FIG. 8 can set a region of interest 220 or the like suitable for collation with the template of the master image 184 by using the illumination condition information such as the type of illumination light and the amount of illumination light.
  • FIG. 12 is an explanatory diagram of the audit result display screen.
  • the drug audit device 10 displays the audit result using the display device 14.
  • the audit result 304 in the form of a list in which the drug images 312 are arranged with respect to the master image 311 for each packaging film 140 is displayed in the audit result area 302.
  • the completion button 306, the save button 307, and the menu button 308 are displayed.
  • the completion button 306 is operated, the drug audit device 10 terminates the audit result display screen 300.
  • the drug audit device 10 saves the audit result.
  • the menu button 308 is operated, the drug audit device 10 displays the menu screen using the display device 14.
  • the audit result 304 includes a master image display field 310 for displaying the master image 311.
  • the master image display field 310 the front surface image 311A of the master image 311 and the back surface image 311B of the master image 311 are displayed.
  • the front surface image 311A and the back surface image 311B correspond to the front surface image 186 and the back surface image 188 shown in FIG. 7, respectively.
  • the audit result 304 includes a drug image display field 316 for displaying the drug image 312.
  • the drug image display column 316 the front surface image 312A of the drug image 312 and the back surface image 312B of the drug image 312 are displayed.
  • the drug image 312 is displayed facing the master image 311.
  • the drug image 312 corresponds to the drug image 200 shown in FIG.
  • the audit result 304 includes the undeterminable drug display column 314 that displays the drug image 313 of the drug determined to be undeterminable.
  • the drug image display field 316 is blank.
  • Reference numeral 316A indicates a blank drug image display field 316.
  • the drug image 313 determined to be undeterminable may occur due to the non-registration of the master image 311 in the local database 64 shown in FIG.
  • the drug image 313 determined to be undeterminable may be generated due to a failure in collation between the drug image 313 and the master image 311 due to the influence of the imaging condition information, the lighting condition information, and the like.
  • the drug audit device 10 can display the audit result correction screen using the display device 14.
  • the operator can correct the audit result by using the audit result correction screen.
  • identification information such as a drug name is added to the drug image 313 of the drug determined to be undeterminable.
  • FIG. 13 is an explanatory diagram of the audit result correction screen.
  • the audit result correction screen 340 includes a drug image display area 342, a character information display area 344, a drug name input button 346, and an OK button 348.
  • the drug image 313 determined to be undeterminable is displayed.
  • the front surface image 313A and the back surface image 313B are displayed as the drug image 313.
  • character information display area 344 character information indicating that the drug name is unknown is displayed.
  • the drug name input button 346 is operated when inputting the drug name corresponding to the drug image 313 displayed in the drug image display area 342.
  • the operator can input identification information such as a drug name by using the operation unit 16 shown in FIG.
  • the OK button 348 is operated when the drug name corresponding to the drug image 313 is not input.
  • the drug audit device 10 ends the display of the audit result correction screen 340.
  • the revised audit result is added with the imaging condition information of the drug image 313 and the lighting condition information of the drug image 313, and is sent to the server device 32 via the drug information transmission unit 68 shown in FIG.
  • FIG. 14 is a flowchart showing the procedure of the drug management method.
  • the prescription information acquisition unit 110 shown in FIG. 4 acquires prescription information.
  • the process proceeds to the captured image acquisition step S12.
  • the captured image acquisition unit 112 shown in FIG. 4 acquires the packaged film image 141 shown in FIG.
  • the process proceeds to the imaging condition information acquisition step S14.
  • the captured image acquisition step S12 described in the embodiment corresponds to an example of the drug image acquisition step.
  • the imaging condition information acquisition unit 114 acquires the imaging condition information.
  • the imaging condition information includes information on the distance from the center position 206 of the packaged film image 141 for each drug image 200. After the imaging condition information acquisition step S14, the process proceeds to the lighting condition information acquisition step S16.
  • the lighting condition information acquisition unit 116 acquires the lighting condition information from the lighting unit 104. After the lighting condition information acquisition step S16, the process proceeds to the audit step S18.
  • the lighting condition information acquisition step S16 may be performed before the imaging condition information acquisition step S14, or may be performed in parallel with the imaging condition information acquisition step S14.
  • the drug type determination unit 62 shown in FIG. 3 conducts an audit.
  • the process proceeds to the audit result display process S20.
  • the drug audit device 10 displays the audit result using the display device 14.
  • the process proceeds to the determination result correction determination step S22.
  • the audit process S18 described in the embodiment corresponds to an example of the collation process.
  • the determination result correction unit 66 determines whether or not to implement the modification for the drug determined to be undeterminable. In the determination result correction determination step S22, when the determination result correction unit 66 determines that the determination result is not corrected, a No determination is made. In the case of No determination, the prescribed termination process is performed, and the drug audit device 10 terminates the drug management method.
  • the determination result correction determination step S22 when it is determined that the determination result correction unit 66 corrects the determination result, a Yes determination is made. In the case of Yes determination, the process proceeds to the determination result correction step S24.
  • the determination result correction unit 66 adds identification information such as a drug name to the drug image 313 determined to be undecidable.
  • the determination result correction step S24 may carry out a determination result correction storage step of storing the corrected determination result. After the determination result correction step S24, the process proceeds to the transmission step S26.
  • the determination result correction step S24 described in the embodiment corresponds to an example of the association processing step.
  • the drug information transmission unit 68 includes the drug image 313 determined to be undeterminable as shown in FIG. 13, the identification information of the drug image 313 added to the drug image 313, the imaging condition information of the drug image 313, and the drug image.
  • the lighting condition information of 313 is transmitted to the server device 32 as a set.
  • the determination result correction unit 66 does not add the identification information to the drug image determined to be undeterminable, and in the transmission step S26, the drug information transmission unit 68 uses the drug.
  • the image is transmitted to the server device 32.
  • the determination result correction unit 66 may add identification information indicating that the determination is impossible to the drug image determined to be undeterminable.
  • the drug information transmission unit 68 transmits the drug image to which the identification information indicating that the determination cannot be made is added to the server device 32.
  • a program can be configured to realize the functions of each part of the drug auditing apparatus 10 according to the embodiment and the functions of each process of the drug management method on a computer.
  • the computer has an information acquisition function corresponding to the information acquisition unit 60, a drug type determination function corresponding to the drug type determination unit 62, a determination result correction function corresponding to the determination result correction unit 66, and a drug corresponding to the drug information transmission unit.
  • a program that realizes the transmission function can be configured.
  • the information acquisition function described in the embodiment corresponds to an example of the drug image acquisition function.
  • the drug type determination function described in the embodiment corresponds to an example of the collation function.
  • the determination result correction function described in the embodiment corresponds to an example of the association processing function.
  • the determination result correction unit 66 adds identification information including the drug name to the drug image 313 determined to be undeterminable.
  • the drug information transmission unit 68 transmits the drug image 313 and the drug name as a set to the server device 32. As a result, the server device 32 can update the master database 74 using the drug image 313 and the drug name.
  • the drug information transmission unit 68 further adds imaging condition information to the drug image 313, and transmits the drug image 313, the drug name, and the imaging condition information as a set to the server device 32.
  • the server device 32 can correct the drug image 313 by using the imaging condition information and the like.
  • the drug information transmission unit 68 further adds lighting condition information to the drug image 313, and transmits the drug image 313, the drug name, and the lighting condition information as a set to the server device 32.
  • the server device 32 can correct the drug image 313 by using the lighting condition information and the like.
  • the server device 32 Based on the update of the master database 74, the server device 32 periodically transmits the update information to the local database 64 of the client system 34. As a result, it is expected that the accuracy of auditing in the drug auditing apparatus 10 included in the client system 34 will be improved.
  • the drug audit device 10 updates the local database 64 with the drug image 313 and the drug name. As a result, the possibility that the judgment cannot be made can be reduced, and the accuracy of the audit is expected to be improved.
  • the drug audit based on the prescription information is illustrated, but the drug audit device 10 and the drug management method according to the present embodiment are used for discrimination to determine the type of the target drug without using the prescription information. Can be applied.
  • the constituent requirements can be appropriately changed, added, or deleted without departing from the gist of the present invention.
  • the present invention is not limited to the embodiments described above, and many modifications can be made by a person having ordinary knowledge in the art within the technical idea of the present invention.
  • Drug audit device 12
  • Main unit 14
  • Display device 16
  • Operation unit 18
  • Transport unit 20
  • Insertion port 22
  • Discharge port 30
  • Drug audit system 32
  • Server device 34
  • Client system 40
  • Network 50
  • Dedicated computer 52
  • Network interface 54
  • Receipt computer 60
  • Information acquisition unit 61
  • Processing unit 62
  • Drug type judgment unit 64
  • Local database 66
  • Judgment result correction unit 68
  • Drug information transmission unit 70
  • Drug information acquisition unit 72
  • Image processing unit 74
  • Master database 100
  • Prescription reader 102
  • Imaging unit 104
  • Imaging image acquisition unit 114
  • Imaging Condition information acquisition unit 116
  • Lighting condition information acquisition unit 140
  • Packaged film 141
  • Packaged film image 150
  • Upper image pickup device 152
  • Lower image pickup device 153
  • Center position of imaging area 160
  • First lighting device 162
  • Second lighting device 164
  • Third lighting device 166
  • Lighting device 170 5th lighting device 172 6th lighting device

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Analysis (AREA)

Abstract

マスタ画像の候補となる薬剤画像を収集し得る薬剤照合装置、薬剤照合システム、薬剤管理方法及びプログラムを提供する。照合対象の薬剤を撮像して生成された薬剤画像を取得する薬剤画像取得部（６０）、薬剤のマスタ画像を記憶する第一マスタ画像記憶部（６４）、薬剤画像とマスタ画像とを照合する照合部（６２）、照合部を用いて照合がされた薬剤画像に対して、薬剤画像の識別情報を関連付けする関連付け部（６６）、及び関連付け部において関連付けがされた薬剤画像と識別情報とを外部へ送信する送信部（６８）を備える。

Description

薬剤照合装置、薬剤照合システム、薬剤管理方法及びプログラム
　本発明は薬剤照合装置、薬剤照合システム、薬剤管理方法及びプログラムに関する。
　従来、薬剤の種類を認識する各種の装置が提案又は提供されている。例えば、認識対象の薬剤を撮像し、薬剤画像と予め登録される薬剤のマスタ画像とを照合して、薬剤の種類を認識する。
　特許文献１は、薬剤画像とマスタ画像とを照合して、薬剤の鑑別を実施する薬剤認識装置が記載されている。同文献に記載の装置は、薬剤画像に基づいて薬剤の位置の情報を取得し、薬剤の位置が規定の条件を満たす場合にマスタ画像を更新する。
国際公開第２０１８／１７３６４９号
　薬剤の画像認識精度の向上にはマスタ画像が欠かせない。しかしながら、市場に出回る錠剤及びカプセル等の薬剤は合計８０００種類以上である。例えば、高額な薬剤など入手が困難な薬剤が存在する。そうすると、全ての薬剤について薬剤画像を入手して、マスタ画像として登録することは困難である。
　本発明はこのような事情に鑑みてなされたもので、マスタ画像の候補となる薬剤画像を収集し得る薬剤照合装置、薬剤照合システム、薬剤管理方法及びプログラムを提供することを目的とする。
　上記目的を達成するために、次の発明態様を提供する。
　第１態様に係る薬剤認識装置は、照合対象の薬剤を撮像して生成された薬剤画像を取得する薬剤画像取得部と、薬剤のマスタ画像を記憶する第一マスタ画像記憶部と、薬剤画像取得部を用いて取得した薬剤画像と、第一マスタ画像記憶部に記憶されるマスタ画像とを照合する照合部と、照合部を用いて照合がされた薬剤画像に対して、薬剤画像の識別情報を関連付けする関連付け部と、関連付け部において関連付けがされた薬剤画像と識別情報とを外部へ送信する送信部と、を備えた薬剤照合装置である。
　第１態様によれば、マスタ画像と照合された薬剤画像は、薬剤画像の識別情報が関連付けされて外部へ送信される。これにより、識別情報が関連付けされた薬剤画像をマスタ画像の候補として利用し得る。
　薬剤画像は、複数の薬剤が撮像された撮像画像から抽出された画像を含み得る。薬剤画像は複数の方向から撮像された複数の画像を含み得る。
　マスタ画像は、マスタ画像は複数の方向から撮像された複数の画像を含み得る。
　照合部は、処方箋情報に基づく監査を実施してもよいし、処方箋情報を使用しない鑑別を実施してもよい。
　第２態様は、第１態様の薬剤照合装置において、関連付け部は、照合部において判定不能と判定された薬剤画像に対して、識別情報を関連付けする構成としてもよい。
　第２態様によれば、判定不能とされた薬剤画像に対して識別情報を関連付けして外部へ送信し得る。
　第３態様は、第２態様の薬剤照合装置において、画像の識別情報を入力する識別情報入力部を備え、関連付け部は、識別情報入力部を用いて入力された薬剤画像の識別情報を薬剤画像に関連付けする構成としてもよい。
　第３態様によれば、判定不能とされた薬剤画像に対して、入力された識別情報を関連付けし得る。
　第４態様は、第２態様の薬剤照合装置において、関連付け部は、照合部において判定不能と判定された薬剤画像に対して、判定不能を表す識別情報を関連付けする構成としてもよい。
　第４態様によれば、判定不能と判定された薬剤画像に対して、判定不能を表す識別情報が付加された薬剤画像を外部へ送信し得る。
　第５態様は、第２態様から第４態様いずれか一態様の薬剤照合装置において、第一マスタ画像記憶部は、照合部において判定不能と判定された薬剤画像及び薬剤画像に関連付けされた識別情報を用いて、マスタ画像を更新する構成としてもよい。
　第５態様によれば、判定不能とされた薬剤画像と、薬剤画像に関連付けされた識別情報とを用いてマスタ画像を更新し得る。これにより、これまでは第一マスタ画像記憶部に記憶されていない薬剤の照合を実施し得る。
　第６態様は、第１態様から第５態様のいずれか一態様の薬剤照合装置において、薬剤画像の撮像条件情報を取得する撮像条件情報取得部を備え、関連付け部は、薬剤画像に対して撮像条件情報を関連付けする構成としてもよい。
　第６態様によれば、薬剤画像及び薬剤画像の識別情報と撮像条件情報との利用が可能となる。
　第７態様は、第１態様から第６態様のいずれか一態様の薬剤照合装置において、薬剤画像の照明条件情報を取得する照明条件情報取得部を備え、関連付け部は、薬剤画像に対して照明条件情報を関連付けする構成としてもよい。
　第７態様によれば、薬剤画像及び薬剤画像の識別情報と照明条件情報との利用が可能となる。
　第８態様は、第１態様から第７態様のいずれか一態様の薬剤照合装置において、送信部は、関連付け部において識別情報が関連付けされていない薬剤画像を外部へ送信する構成としてもよい。
　第８態様によれば、識別情報が関連付けされていない薬剤画像を外部へ送信し得る。
　第９態様は、第８態様の薬剤照合装置において、関連付け部は、照合部において判定不能と判定された薬剤画像に対して、識別情報の関連付けを非実施とする構成としてもよい。
　第９態様によれば、判定不能と判定された薬剤画像に対して、識別情報を不実施を適用し得る。
　第１０態様に係る薬剤認識システムは、サーバ装置と、マスタ画像が記憶される第二マスタ画像記憶部と、照合対象の薬剤を撮像して生成された薬剤画像とマスタ画像とを照合する薬剤照合装置と、を備え、薬剤照合装置は、薬剤画像を取得する薬剤画像取得部と、第二マスタ画像記憶部に記憶されるマスタ画像を記憶する第一マスタ画像記憶部と、薬剤画像取得部を用いて取得した薬剤画像と、第一マスタ画像記憶部に記憶されるマスタ画像とを照合する照合部と、照合部を用いて照合がされた薬剤画像に対して、薬剤画像の識別情報を関連付けする関連付け部と、関連付け部において関連付けがされた薬剤画像と識別情報とをサーバ装置へ送信する送信部と、を備えた薬剤照合システムである。
　第１０態様によれば、第１態様と同様の効果を得ることができる。
　第１０態様において、第２態様から第９態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、薬剤照合装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う薬剤照合システムの構成要素として把握することができる。
　第１１態様は、第１０態様の薬剤照合システムにおいて、サーバ装置は、送信部から送信される薬剤画像及び薬剤画像に対応する識別情報を用いて、第二マスタ画像記憶部に記憶されるマスタ画像を更新する構成としてもよい。
　第１１態様によれば、識別情報が関連付けされた薬剤画像を適用して、第二マスタ画像記憶部を更新し得る。
　第１２態様は、第１０態様又は第１１態様の薬剤照合システムにおいて、サーバ装置は、ネットワークを介して薬剤照合装置と通信可能に接続される構成としてもよい。
　第１２態様によれば、サーバ装置及び薬剤照合装置を備えたネットワークシステムを構成し得る。
　第１３態様に係る薬剤管理方法は、照合対象の薬剤を撮像して生成された薬剤画像を取得する薬剤画像取得工程と、薬剤画像取得工程において取得した薬剤画像と、薬剤のマスタ画像を記憶する第一マスタ画像記憶部に記憶されるマスタ画像とを照合する照合工程と、照合工程において照合がされた薬剤画像に対して、薬剤画像の識別情報を関連付けする関連付け処理工程と、関連付け処理工程において関連付けがされた薬剤画像と識別情報とを外部へ送信する送信工程と、を含む薬剤管理方法である。
　第１３態様によれば、第１態様と同様の効果を得ることができる。
　第１３態様において、第２態様から第９態様、第１１態様及び第１２態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、薬剤照合装置及び薬剤照合システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う薬剤管理方法の構成要素として把握することができる。
　第１４態様に係るプログラムは、コンピュータに、照合対象の薬剤を撮像して生成された薬剤画像を取得する薬剤画像取得機能、薬剤画像取得機能を用いて取得した薬剤画像と、薬剤のマスタ画像を記憶する第一マスタ画像記憶部に記憶されるマスタ画像とを照合する照合機能、照合機能を用いて照合がされた薬剤画像に対して、薬剤画像の識別情報を関連付けする関連付け処理機能、及び関連付け処理機能を用いて関連付けがされた薬剤画像と識別情報とを外部へ送信する送信機能を実現させるプログラムである。
　第１４態様によれば、第１態様と同様の効果を得ることができる。
　第１４態様において、第２態様から第９態様、第１１態様及び第１２態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、薬剤照合装置及び薬剤照合システムにおいて特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
　本発明によれば、マスタ画像と照合された薬剤画像は、薬剤画像の識別情報が関連付けされて外部へ送信される。これにより、識別情報が関連付けされた薬剤画像をマスタ画像の候補として利用し得る。
図１は実施形態に係る薬剤監査装置の斜視図である。 図２は実施形態に係る薬剤監査システムの構成図である。 図３は図２に示す薬剤監査システムの機能ブロック図である。 図４は図３に示す情報取得部の機能ブロック図である。 図５は撮像装置及び照明装置の配置例を示す模式図である。 図６は照明装置の配置例を示す模式図である。 図７は図３に示すローカルデータベースの模式図である。 図８は図３に示す薬剤種別判定部の機能ブロック図である。 図９は薬剤検出の説明図である。 図１０は関心領域の設定例を示す説明図である。 図１１は照明光の影響の説明図である。 図１２は監査結果表示画面の説明図である。 図１３は監査結果修正画面の説明図である。 図１４は薬剤管理方法の手順を示すフローチャートである。
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。
　［薬剤監査装置］
　図１は実施形態に係る薬剤監査装置の斜視図である。図１に示す薬剤監査装置１０は、一包化された薬剤に対して監査を実施する。具体的には、薬剤監査装置１０は、薬剤の種類及び数量等を自動判定し、処方箋情報と照合する。薬剤監査装置１０は、監査結果を報知する。
　薬剤監査装置１０は、本体１２及び表示装置１４を備える。本体１２は、挿入口２０及び排出口２２を備える。挿入口２０は、一包化された薬剤が封入される分包フィルムが挿入される。挿入口２０は、一列に連結される複数の分包フィルムが挿入される。排出口２２は監査が終了した分包フィルムが排出される。本体１２は、挿入口２０から排出口２２へ分包フィルムを搬送する搬送部を備える。なお、図１では搬送部の図示を省略する。搬送部は符号１８を付して図３に図示する。
　表示装置１４は、薬剤監査装置１０に適用される各種情報を表示する。例えば、表示装置１４は監査結果を表す監査結果表示画面を表示する。表示装置は、タッチパネル方式のディスプレイ装置が適用され、操作部と兼用される。操作部は、薬剤監査装置１０への各種情報の入力の際にオペレータが操作する。なお、実施形態に記載の薬剤監査装置１０は薬剤照合装置の一例に相当する。
　［薬剤監査システム］
　図２は実施形態に係る薬剤監査システムの構成図である。図２に示す薬剤監査システム３０は、サーバ装置３２及びクライアントシステム３４がネットワーク４０を介して通信可能に接続される。薬剤監査システム３０は、複数のクライアントシステム３４を含み得る。
　サーバ装置３２は、クライアントシステム３４において実施される薬剤監査に関する各種情報を管理し、クライアントシステム３４へ各種情報を提供する。サーバ装置３２は、クラウドコンピューティングを適用し得る。
　クライアントシステム３４は、薬剤監査装置１０、専用コンピュータ５０、ネットワークインターフェース５２及びレセプトコンピュータ５４を備える。クライアントシステム３４は、ネットワークインターフェース５２を介してネットワーク４０と通信可能に接続される。
　クライアントシステム３４は、薬剤監査装置１０及びレセプトコンピュータ５４は、専用コンピュータ５０を介してネットワークインターフェース５２と接続される。クライアントシステム３４は、ハードディスクドライブ等の記憶装置を備えてもよい。なお、記憶装置の図示は省略する。
　ネットワーク４０は専用回線を適用し得る。ネットワーク４０は公衆回線網を適用してもよい。ネットワーク４０は汎用の通信プロトコルを適用し得る。
　図３は図２に示す薬剤監査システムの機能ブロック図である。なお、図３では図２に示すネットワーク４０、専用コンピュータ５０及びネットワークインターフェース５２の図示を省略する。
　薬剤監査装置１０は、表示部１５、操作部１６及び搬送部１８を備える。薬剤監査装置１０は、システム制御部を備える。システム制御部は、薬剤監査装置１０の各部を統括して制御する。なお、システム制御部の図示は省略する。
　表示部１５は薬剤監査装置１０の各種情報を表示する。表示部１５は、図１に示す表示装置１４及び表示制御部を備える。表示制御部は、表示装置１４へ表示させる各種情報を表す信号を表示信号へ変換し、表示信号を表示装置１４へ送信する。なお、表示制御部の図示は省略する。
　操作部１６は、図１に示す表示装置１４と兼用される。操作部１６から入力される信号は、システム制御部を用いて各部へ送信される信号へ変換される。システム制御部は操作部１６を用いて入力される情報に基づき、各部へ信号を送信する。
　搬送部１８は、図１に示す挿入口２０から挿入される分包フィルムを排出口２２まで搬送する。分包フィルムの搬送経路は、撮像装置及び照明装置が配置される。搬送部１８は、搬送機構及び搬送制御部を備える。
　搬送機構は分包フィルムを支持して搬送する。搬送制御部はシステム制御部から送信される指令信号に応じて搬送機構を動作させる。なお、搬送機構、搬送制御部及びシステム制御部の図示は省略する。
　薬剤監査装置１０は情報取得部６０を備える。情報取得部６０は薬剤監査に用いられる各種情報を取得する。各種情報は、複数の薬剤画像を含む分包フィルムの撮像画像である分包フィルム画像、撮像条件情報、照明条件情報及び処方箋情報等を含み得る。薬剤画像とは分包フィルム画像から抽出された薬剤ごとの画像である。なお、情報取得部６０の詳細は後述する。
　本明細書における画像という用語は、画像を表す画像データ又は画像信号という意味が含まれ得る。
　薬剤監査装置１０は、処理部６１及びローカルデータベース６４を備える。処理部６１は薬剤種別判定部６２を備える。薬剤種別判定部６２は、ローカルデータベース６４を参照し、情報取得部６０を用いて取得した各種情報を用いて薬剤の種類を判定する。薬剤種別判定部６２は判定結果を表す信号を表示部１５へ送信する。表示部１５は表示装置１４へ判定結果を表示させる。
　薬剤種別判定部６２は、分包フィルム画像及び薬剤画像に基づく撮像条件情報を情報取得部６０へ送信する。情報取得部６０は、薬剤種別判定部６２から送信された撮像条件情報を受信する。撮像条件情報の詳細は後述する。
　ローカルデータベース６４は、薬剤のマスタ情報が記憶される。マスタ情報は、薬剤の薬剤名称、薬剤ごとのマスタ画像及び薬剤ごとの属性情報等が含まれる。ローカルデータベース６４は、薬剤名称をインデックスとしてマスタ画像及び属性情報を検索し得る。なお、実施形態に記載のローカルデータベース６４は第一マスタ画像記憶部の一例に相当する。
　処理部６１は、判定結果修正部６６を備える。判定結果修正部６６は、薬剤種別判定部６２において判定不能と判定された薬剤画像について、操作部１６を操作してオペレータが入力した薬剤名称等の識別情報を付加する。
　判定結果修正部６６は、判定不能と判定された薬剤画像に対して判定不能を表す識別情報を付加してもよい。判定結果修正部６６は、判定不能と判定された薬剤画像に対して、識別情報を非付加としてもよい。
　なお、実施形態に記載の判定結果修正部６６は、薬剤画像と識別情報とを関連付けする関連付け部の一例に相当する。実施形態に記載の操作部１６は識別情報入力部の一例に相当する。実施形態に記載の識別情報の非付加は、識別情報の関連付けの非実施の一例に相当する。
　薬剤監査装置１０は薬剤情報送信部６８を備える。薬剤情報送信部６８は、判定不能と判定された薬剤画像を、薬剤名称等の識別情報、撮像条件情報及び照明条件情報とセットとし、薬剤情報としてサーバ装置３２へ送信する。識別情報が付加されていない薬剤画像は、撮像条件情報及び照明条件情報とセットとし、薬剤情報としてサーバ装置３２へ送信される。なお、実施形態に記載のサーバ装置３２は薬剤監査装置１０の外部の一例に相当する。
　撮像条件情報は薬剤画像の位置情報が含まれる。薬剤画像の位置情報は分包フィルム画像から取得し得る。薬剤の位置情報を用いて撮像画像の歪みを補正し得る。撮像条件情報は薬剤の配置情報を含み得る。薬剤の配置情報の例として、薬剤が規定の方向に対して傾いているという情報、及び他の薬剤と重なる状態で撮像されているという情報等が挙げられる。
　照明条件情報は、薬剤に対してどの方向から照明が当てられているという情報を含み得る。
　サーバ装置３２は、薬剤情報取得部７０、画像処理部７２及びマスタデータベース７４を備える。薬剤情報取得部７０は、薬剤監査装置１０に具備される薬剤情報送信部６８から送信される薬剤情報を取得する。サーバ装置３２は、複数の薬剤監査装置１０から薬剤情報を取得し得る。サーバ装置３２は同一の薬剤名称が付された薬剤について情報を集約する。サーバ装置３２は、同一の薬剤名称が付された薬剤の撮像画像に基づき、マスタデータベース７４を更新する。
　判定不能と判定された薬剤画像のうち、識別情報が付加されていないもの及び判定不能を表す識別情報が付加された薬剤画像は、サーバ装置３２において薬剤名称等の識別情報が付加され、マスタデータベース７４の更新への利用が可能となる。
　サーバ装置３２は画像処理部７２を備える。画像処理部７２は、薬剤監査装置１０から取得した撮像画像に対して、撮像条件情報及び照明条件情報等を考慮して補正処理を実施する。サーバ装置３２は補正処理が施された撮像画像を用いてマスタデータベース７４を更新し得る。
　例えば、画像処理部７２は、薬剤の撮像画像に対して拡大、縮小及び回転等の処理を実施し得る。画像処理部７２は、薬剤に対して任意の一方向から照明が当てられた際の撮像画像と、他の方向から照明が当てられた際の撮像画像とを合成した合成撮像画像を生成し得る。
　合成処理を実施する際に、他の撮像画像と撮像条件情報及び照明条件情報等が揃わないと判定された撮像画像を合成処理の対象から除外してもよい。名称の入力ミス、他の薬剤と重ねられた状態で撮像された撮像画像及び刻印等が見えにくい角度で撮像された撮像画像を合成対象から除外し得る。
　サーバ装置３２は、画像処理部７２を用いて処理が実施された薬剤の撮像画像を用いてマスタデータベース７４を更新し得る。
　サーバ装置３２に具備されるマスタデータベース７４の更新機能は、薬剤監査装置１０に具備されてもよい。すなわち、薬剤監査装置１０は、判定不能と判定された薬剤画像に基づき、撮像条件情報及び照明条件情報等を利用して、ローカルデータベース６４を一時的に更新してもよい。
　画像処理部７２は、学習モデルを適用し得る。学習モデルは、薬剤監査装置１０において判定不能と判定されや薬剤について、撮像画像と名称との関係を学習し、学習結果に基づきマスタデータベース７４を更新する。
　サーバ装置３２は、定期的にマスタデータベース７４の更新を実施し、マスタデータベース７４の更新情報を薬剤監査装置１０へ定期的に配信する。薬剤監査装置１０はサーバ装置３２から送信されるマスタデータベース７４の更新情報に基づき、ローカルデータベース６４を更新する。
　なお、実施形態に記載の薬剤監査システム３０は薬剤照合システムの一例に相当する。実施形態に記載のマスタデータベース７４は第二マスタ画像記憶部の一例に相当する。
　図３に示す各部は、以下に説明するハードウェアを用いて、規定のプログラムを実行して薬剤監査システムの機能を実現する。各制御部のハードウェアは、各種のプロセッサを適用し得る。プロセッサの例として、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）が挙げられる。ＣＰＵはプログラムを実行して各種処理部として機能する。
　汎用的なプロセッサである。ＧＰＵは画像処理に特化したプロセッサである。プロセッサのハードウェアは、半導体素子等の電気回路素子を組み合わせた電気回路が適用される。各制御部は、プログラム等が記憶されるＲＯＭ及び各種演算の作業領域等であるＲＡＭを備える。
　一つの制御部に対して二つ以上のプロセッサを適用してもよい。二つ以上のプロセッサは、同じ種類のプロセッサでもよいし、異なる種類のプロセッサでもよい。また、複数の制御部に対して一つのプロセッサを適用してもよい。
　［薬剤監査装置の詳細な説明］
　〔情報取得部〕
　図４は図３に示す情報取得部の機能ブロック図である。情報取得部６０は、処方箋リーダ１００、撮像部１０２及び照明部１０４を備える。処方箋リーダ１００は、処方箋情報を取得する。処方箋リーダ１００は光学文字認識装置を適用し得る。光学文字認識装置は、処方箋を撮像し、処方箋画像から薬剤名等の情報を文字コードへ変換する。光学文字認識装置は、Optical Character Recognitionの省略語であるＯＣＲと表される場合がある。
　処方箋リーダ１００は処方箋情報の読取情報を処方箋情報取得部１１０へ送信する。処方箋情報取得部１１０は、処方箋情報を記憶する処方箋情報記憶部を含み得る。
　撮像部１０２は、撮像装置及び撮像制御部を備える。なお、図４では撮像装置の図示を省略する。撮像装置は符号１５０及び符号１５２を用いて図５に図示する。また、撮像制御部の図示を省略する。
　撮像装置は分包フィルムに封入される薬剤を撮像し、分包フィルム画像を生成する。分包フィルム画像は符号１４１を用いて図９に図示する。撮像制御部は撮像装置の動作を制御する。撮像制御部は撮像画像取得部１１２へ分包フィルム画像を送信する。撮像画像取得部１１２は分包フィルム画像を記憶する分包フィルム画像記憶部を備え得る。
　なお、実施形態に記載の分包フィルムに封入される薬剤は照合対象の薬剤の一例に相当する。実施形態に記載の撮像画像取得部１１２は薬剤画像取得部の一例に相当する。
　撮像条件情報取得部１１４は、図３に示す薬剤種別判定部６２から分包フィルム画像における薬剤画像の位置の情報を含む撮像条件情報を取得する。撮像条件情報取得部１１４は撮像条件情報を記憶する撮像条件情報記憶部を備え得る。
　照明部は、照明装置及び照明制御部を備える。なお、図４では照明装置の図示は省略する。照明装置は符号１６０等を用いて図５に図示する。また、照明制御部の図示を省略する。照明装置は、撮像対象の分包フィルムに対して照明光を照射する。照明制御部は照明装置の動作を制御する。照明制御部は、照明条件情報取得部１１６へ照明条件情報を送信する。
　照明条件情報取得部１１６は、照明条件情報を取得する。照明条件情報取得部１１６は照明条件情報を記憶する照明条件情報記憶部を備え得る。処方箋情報、分包フィルム画像、撮像条件情報及び照明条件情報は、図３に示す処理部６１へ送信される。
　〔撮像装置及び照明装置の配置例〕
　図５は撮像装置及び照明装置の配置例を示す模式図である。図５は、搬送方向について搬送される複数の分包フィルム１４０を順に撮像する状態を示す。図５に示す符号Ｘは分包フィルム１４０の搬送方向を示す。符号Ｚは鉛直上方向を示す。
　複数の分包フィルム１４０は、図３に示す搬送部１８を用いて搬送方向に沿って搬送される。分包フィルム１４０の搬送経路には、上部撮像装置１５０及び下部撮像装置１５２が配置される。上部撮像装置１５０は、分包フィルム１４０を上側から撮像する位置に配置される。下部撮像装置１５２は、分包フィルム１４０を下側から撮像する位置に配置される。
　上部撮像装置１５０及び下部撮像装置１５２は、ＣＣＤイメージセンサ等の撮像素子を備えたカメラを適用し得る。なお、ＣＣＤはCharge Coupled Deviceの省略語である。
　上部撮像装置１５０の撮像領域の周囲は、四つの照明装置が配置される。同様に、下部撮像装置１５２の撮像領域の周囲は、四つの照明装置が配置される。上部撮像装置１５０及び下部撮像装置１５２の撮像領域は、一つの分包フィルム１４０の全体が含まれる。
　ここで、上部撮像装置１５０の撮像領域は、光軸の方向が固定された上部撮像装置１５０の撮像視野を表す。下部撮像装置１５２についても同様である。上部撮像装置１５０の光軸及び下部撮像装置１５２は互いに光軸が一致する位置に配置される。なお、上部撮像装置１５０及び下部撮像装置１５２の光軸は符号１５１を付して図６に図示する。
　図５には、上部撮像装置１５０に対応する四つの照明装置のうち、第一照明装置１６０及び第三照明装置１６４を図示する。下部撮像装置１５２に対応する照明装置についても、四つの照明装置のうち、第五照明装置１７０及び第七照明装置１７４を図示する。
　図６は照明装置の配置例を示す模式図である。図６は図５を上部撮像装置１５０の撮像方向について見た図である。符号１４４は分包フィルム１４０に封入される薬剤を示す。符号Ｙは分包フィルム１４０の幅方向を示す。分包フィルム１４０の幅方向は分包フィルム１４０の搬送方向に対して直交する方向であり、分包フィルム１４０の搬送面に対して平行となる方向である。
　なお、本明細書における直交という用語は、実際には交差するが、直交と同様の作用効果を得ることができる二方向の状態を表す実質的な直交を含み得る。同様に、平行という用語は実質的な平行を含み得る。
　第一照明装置１６０、第二照明装置１６２、第三照明装置１６４及び第四照明装置１６６は、上部撮像装置１５０の撮像領域を囲む円周上に沿って等間隔に配置される。撮像領域を囲む円周の中心は撮像領域の中心位置１５３である。撮像領域の中心位置１５３は、上部撮像装置１５０の光軸１５１が通過する。
　第一照明装置１６０と第三照明装置１６４とは、分包フィルム１４０の搬送方向について、上部撮像装置１５０の光軸１５１を挟んで対称位置に配置される。第二照明装置１６２と第四照明装置１６６とは、分包フィルム１４０の幅方向について、上部撮像装置１５０の光軸１５１を挟んで対称位置に配置される。
　上部撮像装置１５０の光軸１５１から第一照明装置１６０の撮像面までの距離ｄ１は、上部撮像装置１５０の光軸１５１から第三照明装置１６４の撮像面までの距離ｄ３と同一である。
　また、上部撮像装置１５０の光軸１５１から第一照明装置１６０の撮像面までの距離ｄ１は、上部撮像装置１５０の光軸１５１から第二照明装置１６２の撮像面までの距離ｄ２と同一である。
　更に、上部撮像装置１５０の光軸１５１から第一照明装置１６０の撮像面までの距離ｄ１は、上部撮像装置１５０の光軸１５１から第四照明装置１６６の撮像面までの距離ｄ４と同一である。
　すなわち、第一照明装置１６０、第二照明装置１６２、第三照明装置１６４及び第四照明装置１６６は、上部撮像装置１５０の光軸１５１から等間隔に配置され、ｄ１＝ｄ２＝ｄ３＝ｄ４の関係を有している。
　第五照明装置１７０、第六照明装置１７２、第七照明装置１７４及び第八照明装置１７６のそれぞれは、第一照明装置１６０、第二照明装置１６２、第三照明装置１６４及び第四照明装置１６６に対応する位置に配置される。
　第一照明装置１６０等は、分包フィルム１４０の幅方向について、分包フィルム１４０の全長に対応する長さに渡って、複数の発光素子を配置して構成してもよい。また、第二照明装置１６２等は、分包フィルム１４０の搬送方向について、分包フィルム１４０の全長に対応する長さに渡って、複数の発光素子を配置して構成してもよい。発光素子の例としてＬＥＤ（Light Emitting Diode）が挙げられる。
　第一照明装置１６０等は、照明制御部を用いて個別に制御される。第一照明装置１６０等は、光量及びオンオフを個別に制御し得る。第一照明装置１６０等は上部撮像装置１５０の撮像タイミングに応じて制御される。また、第五照明装置１７０等は下部撮像装置１５２の撮像タイミングに応じて制御される。
　〔ローカルデータベース〕
　図７は図３に示すローカルデータベースの模式図である。ローカルデータベース６４は、薬剤ごとに、薬剤名称１８０、属性情報１８２及びマスタ画像１８４が記憶される。マスタ画像１８４は、表面画像１８６及び裏面画像１８８が含まれる。
　識別情報として薬剤名称１８０及び属性情報１８２を適用し得る。属性情報１８２は、薬剤コード、薬剤タイプ、形状、寸法、色、刻印及び印刷等を適用し得る。なお、図７には薬剤名称及び薬剤コードの例として任意の文字列を図示した。
　表面画像１８６は、薬剤の表面を撮像して生成された画像である。裏面画像１８８は、薬剤の裏面を撮像して生成された画像である。例えば、薬剤の刻印が付されている面及び印字がされている面等を表面とし得る。表面及び裏面は規定の条件に基づき決められる。
　〔薬剤種別判定部〕
　図８は図３に示す薬剤種別判定部の機能ブロック図である。薬剤種別判定部６２は、薬剤検出部１９０、関心領域設定部１９２、テンプレート生成部１９４及び照合部１９６を備える。
　薬剤検出部１９０は、分包フィルム１４０の全体画像である分包フィルム画像から、薬剤ごとの画像である薬剤画像の領域を特定し、薬剤画像の位置を特定する。位置情報は、上部撮像装置１５０の撮像領域及び下部撮像装置１５２の撮像領域に設定された二次元座標の座標値を適用し得る。
　薬剤検出部１９０は、マスタ画像１８４に基づき、薬剤画像に対して拡大、縮小回転及び明るさ調整等の画像処理を施してもよい。なお、分包フィルム画像は符号１４１を付して図９に図示する。薬剤画像は符号２００を付して図９に図示する。
　関心領域設定部１９２は、薬剤画像に対して関心領域を設定する。関心領域は薬剤画像における特徴が含まれる。関心領域設定部１９２は、薬剤画像ごとに分包フィルム画像における中心位置からの距離を算出する。
　関心領域設定部１９２は、薬剤画像ごとの分包フィルム画像における中心位置からの距離に応じて、薬剤画像ごとに関心領域の形状を設定する。分包フィルム画像における中心位置は、図６に示す撮像領域の中心位置１５３が適用される。なお、薬剤画像ごとの分包フィルム画像における中心位置は符号２０４を付して図９に図示する。
　テンプレート生成部１９４は、薬剤画像ごとの関心領域の形状に応じて、マスタ画像１８４に対するテンプレートを生成する。テンプレート生成部１９４は、薬剤画像ごとの分包フィルム画像における中心位置からの距離に応じて、マスタ画像１８４におけるテンプレートの位置を設定する。テンプレートは、マスタ画像１８４における薬剤の特徴が含まれる。
　照合部１９６は、薬剤画像ごとに、薬剤画像における関心領域とマスタ画像１８４のテンプレートとを照合する。照合部１９６は、関心領域とテンプレートとの位置合わせ処理を実施する。
　照合部１９６は、位置合わせ処理の際に、関心領域及びテンプレートの少なくともいずれかに拡大、縮小及び回転等の処理を実施してもよい。なお、薬剤画像に対する画像処理が実施されている場合は、位置合わせ処理の際の拡大処理等の実施は不要である。照合部１９６は、分包フィルム画像に含まれる全ての薬剤画像についての照合を実施する。
　照合部１９６は、薬剤画像とマスタ画像１８４とを比較する。照合部１９６は、主として、薬剤画像の関心領域とマスタ画像１８４のテンプレートとを比較して、両者が一致するか否かを判定する。照合部１９６は、図３に示す判定結果修正部６６へ照合結果を送信する。
　薬剤種別判定部６２は、図５に示す上部撮像装置１５０から取得した分包フィルム画像及び下部撮像装置１５２から取得した分包フィルム画像について、照合を実施する。
　図９は薬剤検出の説明図である。図８に示す薬剤検出部１９０は、図９に示す分包フィルム画像１４１に対して、薬剤画像２００のエッジ検出結果に基づき、薬剤画像２００の全体を囲む枠２０２を設定し、枠２０２の中心位置を薬剤画像２００の中心位置２０４として設定する。なお、符号２０６は分包フィルム画像１４１の中心位置を示す。
　薬剤検出部１９０は枠２０２を設定する際に、分包フィルム画像１４１から低周波成分を除去して、薬剤の印刷及び刻印等を強調する処理を実施してもよい。薬剤検出部１９０は分包フィルム画像１４１から色情報を抽出し、色情報を利用して分包フィルム画像１４１に対して枠２０２を設定してもよい。
　図１０は関心領域の設定例を示す説明図である。図１０は分包フィルム画像１４１の模式図である。図１０には、分包フィルム画像１４１の中心位置２０６を原点とし、分包フィルム１４０の搬送方向をＸ方向とし、分包フィルム１４０の幅方向をＹ方向とする二次元座標系を示す。
　薬剤画像２１０は、分包フィルム画像１４１の中心位置２０６からの距離が閾値ＴＨ以下である。薬剤画像２１０は、薬剤画像２１０の平面形状と相似形状の関心領域２２０が設定される。すなわち、薬剤画像２１０は円形状の関心領域２２０が設定される。
　薬剤画像２１２及び薬剤画像２１４は、分包フィルム画像１４１の中心位置２０６からの距離が閾値ＴＨを超える。薬剤画像２１２は長方形の関心領域２２２が設定され、薬剤画像２１４は関心領域２２２よりも小さい長方形の関心領域２２４が設定される。
　薬剤画像２１２等の位置が分包フィルム画像１４１の中心位置２０６から相対的に離れる場合、分包フィルム画像１４１において、薬剤画像２１２等が薬剤の形状に対して歪み、薬剤の側面が写り込む。薬剤画像２１４もまた側面が写り込む。なお、符号２１２Ａは薬剤画像２１２における薬剤の側面に対応する領域を示す。符号２１４Ａも同様である。
　関心領域２２２等を関心領域２２０と同様に固定した場合、歪みが生じた領域及び照合に不要な領域が関心領域２２０等に含まれる。そうすると、歪みがなく、側面が含まれていないマスタ画像に基づくテンプレートと関心領域とを照合する場合に、誤りが生じ得る。
　そこで、薬剤画像２１２等ごとに、分包フィルム画像１４１の中心位置２０６からの距離に応じて関心領域２２２等の形状及びサイズが設定される。
　図１１は照明光の影響の説明図である。図１１は薬剤２４０の断面を模式的に図示する。符号２５０を付した矢印線は照明光を表す。薬剤２４０は、一定の厚みを有し、表面形状が曲面である三次元構造を有する。
　図６に示す撮像領域の中心位置１５３から離れた位置において薬剤２４０が撮像される場合、四つの第一照明装置１６０等のうち、図１１に示す薬剤２４０からの距離が近い照明装置の照明光の影響が強くなる。
　薬剤２４０の刻印２４２は、照明光２５０がほぼ真上から入射する。刻印２４２は、ほとんど影が形成されな。一方、刻印２４４及び刻印２４６は、照明光２５０が斜め方向から入射する。刻印２４４及び刻印２４６は、影が形成される。
　撮像領域の中心位置１５３において薬剤２４０を撮像する場合、刻印２４４及び刻印２４６の画像は鮮明であるのに対して、刻印２４２の画像はぼけてしまう。刻印２４２がぼけた薬剤画像を用いる照合は、刻印２４２の不一致に起因する照合の誤りが発生し得る。
　薬剤画像に対して関心領域を設定する際に、刻印２４２等の画像におけるぼけなど、照明光２５０の影響を受け得る領域が含まれない関心領域を設定し得る。
　〔照明条件情報の利用について〕
　図９に示す薬剤画像２００は、図１０に示す関心領域２２０等を設定する際に、照明条件情報を利用し得る。同じ位置において撮像された薬剤であっても、薬剤の色及び形状等に応じて影の状態が相違し得る。図８に示す薬剤検出部１９０は、照明光の種類及び照明光の光量等の照明条件情報を利用し、マスタ画像１８４のテンプレートとの照合に適した関心領域２２０等を設定し得る。
　〔監査結果の表示〕
　図１２は監査結果表示画面の説明図である。薬剤監査装置１０は表示装置１４を用いて監査結果を表示する。監査結果表示画面３００では、分包フィルム１４０ごとに、マスタ画像３１１に対して薬剤画像３１２が並べられる一覧表形式の監査結果３０４が、監査結果領域３０２に表示される。
　監査結果表示画面３００は、完了ボタン３０６、保存ボタン３０７及びメニューボタン３０８が表示される。完了ボタン３０６が操作される場合、薬剤監査装置１０は監査結果表示画面３００を終了させる。
　保存ボタン３０７が操作される場合、薬剤監査装置１０は監査結果を保存する。メニューボタン３０８が操作される場合、薬剤監査装置１０は表示装置１４を用いてメニュー画面を表示させる。
　監査結果３０４は、マスタ画像３１１を表示するマスタ画像表示欄３１０が含まれる。マスタ画像表示欄３１０は、マスタ画像３１１の表面画像３１１Ａ及びマスタ画像３１１の裏面画像３１１Ｂが表示される。表面画像３１１Ａ及び裏面画像３１１Ｂは、それぞれ図７に示す表面画像１８６及び裏面画像１８８に対応する。
　監査結果３０４は、薬剤画像３１２を表示する薬剤画像表示欄３１６が含まれる。薬剤画像表示欄３１６は、薬剤画像３１２の表面画像３１２Ａ及び薬剤画像３１２の裏面画像３１２Ｂが表示される。薬剤画像３１２は、マスタ画像３１１に対して向きを合わせて表示される。薬剤画像３１２は、図９に示す薬剤画像２００に対応する。
　監査結果３０４は、判定不能と判定された薬剤の薬剤画像３１３を表示する判定不能薬剤表示欄３１４が含まれる。監査結果３０４は、マスタ画像３１１に対応する薬剤画像３１２が存在しない場合、薬剤画像表示欄３１６が空欄となる。符号３１６Ａは空欄の薬剤画像表示欄３１６を示す。
　判定不能と判定された薬剤画像３１３は、図３に示すローカルデータベース６４におけるマスタ画像３１１の未登録に起因して発生し得る。判定不能と判定された薬剤画像３１３は、撮像条件情報及び照明条件情報等が影響して、薬剤画像３１３とマスタ画像３１１との照合の失敗に起因して発生し得る。
　薬剤監査装置１０は、表示装置１４を用いて監査結果修正画面を表示し得る。操作者は、監査結果修正画面を用いて監査結果を修正し得る。監査結果の修正の例として、判定不能と判定された薬剤の薬剤画像３１３に対して、薬剤名称等の識別情報を付加する例が挙げられる。
　〔監査結果の修正〕
　図１３は監査結果修正画面の説明図である。監査結果修正画面３４０は、薬剤画像表示領域３４２、文字情報表示領域３４４、薬剤名称入力ボタン３４６及びオーケーボタン３４８が含まれる。
　薬剤画像表示領域３４２は、判定不能と判定された薬剤画像３１３が表示される。薬剤画像表示領域３４２は、薬剤画像３１３として表面画像３１３Ａ及び裏面画像３１３Ｂが表示される。
　文字情報表示領域３４４は、薬剤名称が不明であることを表す文字情報が表示される。薬剤名称入力ボタン３４６は、薬剤画像表示領域３４２に表示される薬剤画像３１３に対応する薬剤名称を入力する際に操作される。操作者は、図３に示す操作部１６を用いて、薬剤名称等の識別情報を入力し得る。
　オーケーボタン３４８は、薬剤画像３１３に対応する薬剤名称を入力しない場合に操作される。操作者がオーケーボタン３４８を操作した場合は、薬剤監査装置１０は監査結果修正画面３４０の表示を終了させる。
　修正された監査結果は、薬剤画像３１３の撮像条件情報及び薬剤画像３１３の照明条件情報が付加され、図３に示す薬剤情報送信部６８を介してサーバ装置３２へ送られる。
　［薬剤管理方法の手順］
　図１４は薬剤管理方法の手順を示すフローチャートである。処方箋情報取得工程Ｓ１０では、図４に示す処方箋情報取得部１１０は処方箋情報を取得する。処方箋情報取得工程Ｓ１０の後に撮像画像取得工程Ｓ１２へ進む。
　撮像画像取得工程Ｓ１２では、図４に示す撮像画像取得部１１２は、図９に示す分包フィルム画像１４１を取得する。撮像画像取得工程Ｓ１２の後に、撮像条件情報取得工程Ｓ１４へ進む。なお、実施形態に記載の撮像画像取得工程Ｓ１２は薬剤画像取得工程の一例に相当する。
　撮像条件情報取得工程Ｓ１４では、撮像条件情報取得部１１４は、撮像条件情報を取得する。撮像条件情報は、薬剤画像２００ごとの、分包フィルム画像１４１の中心位置２０６からの距離の情報が含まれる。撮像条件情報取得工程Ｓ１４の後に照明条件情報取得工程Ｓ１６へ進む。
　照明条件情報取得工程Ｓ１６では、照明条件情報取得部１１６は照明部１０４から照明条件情報を取得する。照明条件情報取得工程Ｓ１６の後に監査工程Ｓ１８へ進む。なお、照明条件情報取得工程Ｓ１６は、撮像条件情報取得工程Ｓ１４の前に実施してもよいし、撮像条件情報取得工程Ｓ１４と並行して実施してもよい。
　監査工程Ｓ１８では、図３に示す薬剤種別判定部６２は監査を実施する。監査工程Ｓ１８の後に監査結果表示工程Ｓ２０へ進む。監査結果表示工程Ｓ２０では、薬剤監査装置１０は表示装置１４を用いて監査結果を表示する。監査結果表示工程Ｓ２０の後に判定結果修正判定工程Ｓ２２へ進む。なお、実施形態に記載の監査工程Ｓ１８は照合工程の一例に相当する。
　判定結果修正判定工程Ｓ２２では、判定結果修正部６６は判定不能と判定された薬剤に対して修正を実施するか否かを判定する。判定結果修正判定工程Ｓ２２において、判定結果修正部６６が判定結果の修正を実施しないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は規定の終了処理が実施され、薬剤監査装置１０は薬剤管理方法を終了する。
　一方、判定結果修正判定工程Ｓ２２において、判定結果修正部６６が判定結果の修正を実施すると判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は判定結果修正工程Ｓ２４へ進む。
　判定結果修正工程Ｓ２４では、判定結果修正部６６は判定不能と判定された薬剤画像３１３に対して薬剤名称等の識別情報を付加する。判定結果修正工程Ｓ２４は修正された判定結果を記憶する判定結果修正記憶工程を実施してもよい。判定結果修正工程Ｓ２４の後に送信工程Ｓ２６へ進む。なお、実施形態に記載の判定結果修正工程Ｓ２４は関連付け処理工程の一例に相当する。
　送信工程Ｓ２６では、薬剤情報送信部６８は、図１３に示す判定不能と判定された薬剤画像３１３、薬剤画像３１３に付加された薬剤画像３１３の識別情報、薬剤画像３１３の撮像条件情報及び薬剤画像３１３の照明条件情報をセットとしてサーバ装置３２へ送信する。
　送信工程Ｓ２６の後に、規定の終了処理が実施され、薬剤監査装置１０は薬剤管理方法を終了する。
　判定結果修正判定工程Ｓ２２においてＮｏ判定の場合に、判定結果修正工程Ｓ２４へ進む態様も可能である。かかる態様では、判定結果修正工程Ｓ２４において、判定結果修正部６６は、判定不能と判定された薬剤画像に対して識別情報の付加を非実施とし、送信工程Ｓ２６において、薬剤情報送信部６８は薬剤画像をサーバ装置３２へ送信する。
　判定結果修正工程Ｓ２４において、判定結果修正部６６は、判定不能と判定された薬剤画像に対して判定不能を表す識別情報を付加してもよい。送信工程Ｓ２６では、薬剤情報送信部６８は判定不能を表す識別情報が付加された薬剤画像をサーバ装置３２へ送信する。
　［プログラム発明への適用例］
　実施形態に係る薬剤監査装置１０における各部の機能及び薬剤管理方法の各工程の機能をコンピュータに実現させるプログラムを構成し得る。例えば、コンピュータに、情報取得部６０に対応する情報取得機能、薬剤種別判定部６２に対応する薬剤種別判定機能、判定結果修正部６６に対応する判定結果修正機能及び薬剤情報送信部に対応する薬剤送信機能を実現させるプログラムを構成し得る。
　なお、実施形態に記載の情報取得機能は薬剤画像取得機能の一例に相当する。実施形態に記載の薬剤種別判定機能は照合機能の一例に相当する。実施形態に記載の判定結果修正機能は関連付け処理機能の一例に相当する。
　［作用効果］
　実施形態に係る薬剤監査装置１０、薬剤監査システム３０及び薬剤管理方法は、以下の作用効果を得ることが可能である。
　〔１〕
　判定結果修正部６６は、判定不能と判定された薬剤画像３１３に対して、薬剤名称を含む識別情報を付加する。薬剤情報送信部６８は、薬剤画像３１３と薬剤名称とをセットにしてサーバ装置３２へ送信する。これにより、サーバ装置３２は、薬剤画像３１３及び薬剤名称を用いてマスタデータベース７４を更新し得る。
　〔２〕
　薬剤情報送信部６８は、薬剤画像３１３に対して更に撮像条件情報を付加し、薬剤画像３１３、薬剤名称及び撮像条件情報をセットにしてサーバ装置３２へ送信する。これにより、サーバ装置３２は、撮像条件情報等を用いて薬剤画像３１３を補正し得る。
　〔３〕
　薬剤情報送信部６８は、薬剤画像３１３に対して更に照明条件情報を付加し、薬剤画像３１３、薬剤名称及び照明条件情報をセットにしてサーバ装置３２へ送信する。これにより、サーバ装置３２は、照明条件情報等を用いて薬剤画像３１３を補正し得る。
　〔４〕
　サーバ装置３２は、マスタデータベース７４の更新に基づき、定期的にクライアントシステム３４のローカルデータベース６４へ更新情報を送信する。これにより、クライアントシステム３４に含まれる薬剤監査装置１０における監査の精度向上が見込まれる。
　〔５〕
　薬剤監査装置１０は、薬剤画像３１３及び薬剤名称を用いてローカルデータベース６４を更新する。これにより、判定不能となる可能性を下げることができ、監査の精度向上が見込まれる。
　本実施形態では、処方箋情報に基づく薬剤監査を例示したが、処方箋情報を用いずに、対象の薬剤の種類等を判定する鑑別に対して、本実施形態に係る薬剤監査装置１０及び薬剤管理方法を適用し得る。
　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
１０　薬剤監査装置
１２　本体
１４　表示装置
１６　操作部
１８　搬送部
２０　挿入口
２２　排出口
３０　薬剤監査システム
３２　サーバ装置
３４　クライアントシステム
４０　ネットワーク
５０　専用コンピュータ
５２　ネットワークインターフェース
５４　レセプトコンピュータ
６０　情報取得部
６１　処理部
６２　薬剤種別判定部
６４　ローカルデータベース
６６　判定結果修正部
６８　薬剤情報送信部
７０　薬剤情報取得部
７２　画像処理部
７４　マスタデータベース
１００　処方箋リーダ
１０２　撮像部
１０４　照明部
１１０　処方箋情報取得部
１１２　撮像画像取得部
１１４　撮像条件情報取得部
１１６　照明条件情報取得部
１４０　分包フィルム
１４１　分包フィルム画像
１５０　上部撮像装置
１５２　下部撮像装置
１５３　撮像領域の中心位置
１６０　第一照明装置
１６２　第二照明装置
１６４　第三照明装置
１６６　第四照明装置
１７０　第五照明装置
１７２　第六照明装置
１７４　第七照明装置
１７６　第八照明装置
１８０　薬剤名称
１８２　属性情報
１８４　マスタ画像
１８６　マスタ画像の表面画像
１８８　マスタ画像の裏面画像
１９０　薬剤検出部
１９２　関心領域設定部
１９４　テンプレート生成部
１９６　照合部
２００　薬剤画像
２０２　枠
２０４　薬剤画像の中心位置
２０６　分包フィルム画像の中心位置
２１０　薬剤画像
２１２　薬剤画像
２１２Ａ　側面
２１４　薬剤画像
２１４Ａ　側面
２２０　関心領域
２２２　関心領域
２２４　関心領域
２４０　薬剤
２５０　照明光
３００　検査結果表示画面
３０２　監査結果領域
３０６　完了ボタン
３０７　保存ボタン
３０８　メニューボタン
３１０　マスタ画像表示欄
３１１　マスタ画像
３１１Ａ　マスタ画像の表面画像
３１１Ｂ　マスタ画像の裏面画像
３１３　薬剤画像
３１３Ａ　薬剤画像の表面画像
３１３Ｂ　薬剤画像の裏面画像
３１４　判定不能薬剤表示欄
３１６　薬剤画像表示欄
３１６Ａ　空欄の薬剤画像表示欄
３４０　監査結果修正画面
３４２　薬剤画像表示領域
３４４　文字情報表示領域
３４６　薬剤名称入力ボタン
３４８　オーケーボタン
Ｓ１０からＳ２６　薬剤管理方法の各工程

Claims (15)

  1. 　照合対象の薬剤を撮像して生成された薬剤画像を取得する薬剤画像取得部と、
    　薬剤のマスタ画像を記憶する第一マスタ画像記憶部と、
    　薬剤画像取得部を用いて取得した前記薬剤画像と、前記第一マスタ画像記憶部に記憶される前記マスタ画像とを照合する照合部と、
    　前記照合部を用いて照合がされた前記薬剤画像に対して、前記薬剤画像の識別情報を関連付けする関連付け部と、
    　前記関連付け部において関連付けがされた前記薬剤画像と前記識別情報とを外部へ送信する送信部と、
    　を備えた薬剤照合装置。
  2. 　前記関連付け部は、前記照合部において判定不能と判定された薬剤画像に対して、前記識別情報を関連付けする請求項１に記載の薬剤照合装置。
  3. 　薬剤画像の識別情報を入力する識別情報入力部を備え、
    　前記関連付け部は、前記識別情報入力部を用いて入力された薬剤画像の識別情報を前記薬剤画像に関連付けする請求項２に記載の薬剤照合装置。
  4. 　前記関連付け部は、前記照合部において判定不能と判定された薬剤画像に対して、判定不能を表す前記識別情報を関連付けする請求項２に記載の薬剤照合装置。
  5. 　前記第一マスタ画像記憶部は、前記照合部において判定不能と判定された薬剤画像及び前記薬剤画像に関連付けされた前記識別情報を用いて、前記マスタ画像を更新する請求項２から４のいずれか一項に記載の薬剤照合装置。
  6. 　前記薬剤画像の撮像条件情報を取得する撮像条件情報取得部を備え、
    　前記関連付け部は、前記薬剤画像に対して前記撮像条件情報を関連付けする請求項１から５のいずれか一項に記載の薬剤照合装置。
  7. 　前記薬剤画像の照明条件情報を取得する照明条件情報取得部を備え、
    　前記関連付け部は、前記薬剤画像に対して前記照明条件情報を関連付けする請求項１から６のいずれか一項に記載の薬剤照合装置。
  8. 　前記送信部は、前記関連付け部において前記識別情報が関連付けされていない前記薬剤画像を外部へ送信する請求項１から７のいずれか一項に記載の薬剤照合装置。
  9. 　前記関連付け部は、前記照合部において判定不能と判定された薬剤画像に対して、前記識別情報の関連付けを非実施とする請求項８に記載の薬剤照合装置。
  10. 　サーバ装置と、
    　マスタ画像が記憶される第二マスタ画像記憶部と、
    　照合対象の薬剤を撮像して生成された薬剤画像と前記マスタ画像とを照合する薬剤照合装置と、
    　を備え、
    　前記薬剤照合装置は、
    　前記薬剤画像を取得する薬剤画像取得部と、
    　前記第二マスタ画像記憶部に記憶される前記マスタ画像を記憶する第一マスタ画像記憶部と、
    　薬剤画像取得部を用いて取得した前記薬剤画像と、前記第一マスタ画像記憶部に記憶される前記マスタ画像とを照合する照合部と、
    　前記照合部を用いて照合がされた前記薬剤画像に対して、前記薬剤画像の識別情報を関連付けする関連付け部と、
    　前記関連付け部において関連付けがされた前記薬剤画像と前記識別情報とを前記サーバ装置へ送信する送信部と、
    　を備えた薬剤照合システム。
  11. 　前記サーバ装置は、前記送信部から送信される前記薬剤画像及び前記薬剤画像に対応する前記識別情報を用いて、前記第二マスタ画像記憶部に記憶される前記マスタ画像を更新する請求項１０に記載の薬剤照合システム。
  12. 　前記サーバ装置は、ネットワークを介して前記薬剤照合装置と通信可能に接続される請求項１０又は１１に記載の薬剤照合システム。
  13. 　照合対象の薬剤を撮像して生成された薬剤画像を取得する薬剤画像取得工程と、
    　薬剤画像取得工程において取得した前記薬剤画像と、薬剤のマスタ画像を記憶する第一マスタ画像記憶部に記憶される前記マスタ画像とを照合する照合工程と、
    　前記照合工程において照合がされた前記薬剤画像に対して、前記薬剤画像の識別情報を関連付けする関連付け処理工程と、
    　前記関連付け処理工程において関連付けがされた前記薬剤画像と前記識別情報とを外部へ送信する送信工程と、
    　を含む薬剤管理方法。
  14. 　コンピュータに、
    　照合対象の薬剤を撮像して生成された薬剤画像を取得する薬剤画像取得機能、
    　薬剤画像取得機能を用いて取得した前記薬剤画像と、薬剤のマスタ画像を記憶する第一マスタ画像記憶部に記憶される前記マスタ画像とを照合する照合機能、
    　前記照合機能を用いて照合がされた前記薬剤画像に対して、前記薬剤画像の識別情報を関連付けする関連付け処理機能、及び
    　前記関連付け処理機能を用いて関連付けがされた前記薬剤画像と前記識別情報とを外部へ送信する送信機能を実現させるプログラム。
  15. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１４に記載のプログラムをコンピュータに実行させる記録媒体。
PCT/JP2020/035969 2019-10-01 2020-09-24 薬剤照合装置、薬剤照合システム、薬剤管理方法及びプログラム Ceased WO2021065658A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20872754.5A EP4039242B1 (en) 2019-10-01 2020-09-24 Medicine collation device, medicine collation system, medicine management method, and program
CN202080067253.4A CN114450677B (zh) 2019-10-01 2020-09-24 药剂对照装置、药剂对照系统、药剂管理方法及记录介质
JP2021550675A JP7427684B2 (ja) 2019-10-01 2020-09-24 薬剤照合システム、薬剤管理方法及びプログラム
US17/709,898 US12254974B2 (en) 2019-10-01 2022-03-31 Medicine collation device, medicine collation system, medicine management method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-181310 2019-10-01
JP2019181310 2019-10-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/709,898 Continuation US12254974B2 (en) 2019-10-01 2022-03-31 Medicine collation device, medicine collation system, medicine management method, and program

Publications (1)

Publication Number Publication Date
WO2021065658A1 true WO2021065658A1 (ja) 2021-04-08

Family

ID=75336453

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035969 Ceased WO2021065658A1 (ja) 2019-10-01 2020-09-24 薬剤照合装置、薬剤照合システム、薬剤管理方法及びプログラム

Country Status (5)

Country Link
US (1) US12254974B2 (ja)
EP (1) EP4039242B1 (ja)
JP (1) JP7427684B2 (ja)
CN (1) CN114450677B (ja)
WO (1) WO2021065658A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023005928A (ja) * 2021-06-30 2023-01-18 株式会社コンテック 薬剤識別システムおよび薬剤識別方法
WO2023120366A1 (ja) * 2021-12-24 2023-06-29 大倉工業株式会社 一包化鑑査装置、一包化鑑査プログラムおよび一包化鑑査方法
WO2023238566A1 (ja) * 2022-06-10 2023-12-14 富士フイルム富山化学株式会社 医薬品情報遠隔共有システム及び医薬品情報遠隔共有方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434256A (zh) * 2021-12-16 2023-07-14 富联精密电子(天津)有限公司 药物影像辨识方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152225A1 (ja) * 2014-03-31 2015-10-08 株式会社湯山製作所 薬剤撮影装置
JP2017127407A (ja) * 2016-01-19 2017-07-27 富士フイルム株式会社 調剤監査装置及び方法、並びにプログラム
WO2018173649A1 (ja) 2017-03-23 2018-09-27 富士フイルム株式会社 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム
WO2018190394A1 (ja) * 2017-04-14 2018-10-18 株式会社湯山製作所 薬剤仕分装置、仕分容器、及び薬剤返却方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5317717B2 (ja) * 2009-01-15 2013-10-16 データインデックス株式会社 薬品情報提供方法、薬品情報サーバシステム、およびコンピュータプログラム
EP2542476A4 (en) * 2010-03-05 2015-11-25 Frédéric Poirier SYSTEM FOR VERIFYING A PRESCRIBED PACKAGING AND METHOD THEREFOR
JP2012008942A (ja) * 2010-06-28 2012-01-12 Ricoh Co Ltd 文書管理システム、文書管理装置、文書管理方法、及び文書管理プログラム
CN103596540B (zh) * 2011-04-28 2015-09-30 株式会社汤山制作所 药剂检查装置
US20130114870A1 (en) * 2011-11-04 2013-05-09 Patents Innovations, Llc Medical imaging for drug application analysis
JP6009888B2 (ja) * 2012-09-27 2016-10-19 富士フイルム株式会社 薬剤検査装置及び方法
JP5916032B2 (ja) * 2012-09-27 2016-05-11 富士フイルム株式会社 薬剤検査支援装置及び方法
EP2924647A4 (en) * 2012-11-22 2016-08-31 Yuyama Mfg Co Ltd drug inspection
CN105073082B (zh) * 2013-02-20 2019-09-03 株式会社汤山制作所 药剂检查装置和药剂分包系统
JP6077947B2 (ja) * 2013-06-19 2017-02-08 富士フイルム株式会社 薬剤情報取得装置及び方法
KR102382736B1 (ko) * 2014-09-25 2022-04-06 가부시키가이샤 유야마 세이사쿠쇼 감사 지원 시스템, 정제 분포 장치
JP2016126361A (ja) * 2014-12-26 2016-07-11 株式会社日立ハイテクノロジーズ 薬剤情報管理システム
JP6577331B2 (ja) * 2015-10-28 2019-09-18 東日本メディコム株式会社 医療情報提供システム、医療情報提供方法、プログラム及び媒体
KR101834782B1 (ko) * 2016-03-23 2018-03-06 연세대학교 원주산학협력단 약품 검색 장치 및 방법
JP6521528B2 (ja) 2016-04-18 2019-05-29 富士フイルム株式会社 代替医薬品検索装置及び代替医薬品検索方法
JP6797549B2 (ja) 2016-04-22 2020-12-09 富士フイルム富山化学株式会社 監査支援方法及び監査支援装置
FR3070046B1 (fr) * 2017-08-08 2019-09-06 Fondation Mediterranee Infection Milieu de culture polyvalent pour bacteries anaerobies en aerobie
CN110892445B (zh) * 2017-08-22 2023-10-10 富士胶片富山化学株式会社 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序
EP3674696B1 (en) * 2017-08-25 2024-04-24 FUJIFILM Toyama Chemical Co., Ltd. Medicine inspection assistance device, image processing device, image processing method, and non-transitory computer-readable recording medium
WO2019039016A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015152225A1 (ja) * 2014-03-31 2015-10-08 株式会社湯山製作所 薬剤撮影装置
JP2017127407A (ja) * 2016-01-19 2017-07-27 富士フイルム株式会社 調剤監査装置及び方法、並びにプログラム
WO2018173649A1 (ja) 2017-03-23 2018-09-27 富士フイルム株式会社 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム
WO2018190394A1 (ja) * 2017-04-14 2018-10-18 株式会社湯山製作所 薬剤仕分装置、仕分容器、及び薬剤返却方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023005928A (ja) * 2021-06-30 2023-01-18 株式会社コンテック 薬剤識別システムおよび薬剤識別方法
JP7274529B2 (ja) 2021-06-30 2023-05-16 株式会社コンテック 薬剤識別システムおよび薬剤識別方法
WO2023120366A1 (ja) * 2021-12-24 2023-06-29 大倉工業株式会社 一包化鑑査装置、一包化鑑査プログラムおよび一包化鑑査方法
JP7310045B1 (ja) * 2021-12-24 2023-07-18 大倉工業株式会社 一包化鑑査装置、一包化鑑査プログラムおよび一包化鑑査方法
WO2023238566A1 (ja) * 2022-06-10 2023-12-14 富士フイルム富山化学株式会社 医薬品情報遠隔共有システム及び医薬品情報遠隔共有方法
JPWO2023238566A1 (ja) * 2022-06-10 2023-12-14

Also Published As

Publication number Publication date
US20220223262A1 (en) 2022-07-14
US12254974B2 (en) 2025-03-18
CN114450677B (zh) 2024-10-01
CN114450677A (zh) 2022-05-06
EP4039242A1 (en) 2022-08-10
EP4039242B1 (en) 2025-11-19
JPWO2021065658A1 (ja) 2021-04-08
EP4039242A4 (en) 2022-11-09
JP7427684B2 (ja) 2024-02-05

Similar Documents

Publication Publication Date Title
WO2021065658A1 (ja) 薬剤照合装置、薬剤照合システム、薬剤管理方法及びプログラム
WO2018177337A1 (zh) 手部三维数据确定方法、装置及电子设备
CA3065062C (en) Simulating image capture
US9659206B2 (en) Station for acquiring biometric and biographic data
US10248652B1 (en) Visual writing aid tool for a mobile writing device
US20240095943A1 (en) Device determination system, device determination method, and device determination program
CN111553251A (zh) 证件四角残缺检测方法、装置、设备及存储介质
US11712807B2 (en) Image processing apparatus, robot and robot system
JP2020021212A (ja) 情報処理装置、情報処理方法及びプログラム
CN115512381A (zh) 文本识别方法、装置、设备、存储介质及作业机械
US11983864B2 (en) Object matching device
CN114022342A (zh) 抓取点信息获取方法、装置、电子设备和存储介质
JP6915611B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN113191189A (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
US8295579B2 (en) Obstruction detector
WO2020105395A1 (ja) 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム
CN114022341A (zh) 抓取点信息获取方法、装置、电子设备和存储介质
CN115082569B (zh) 一种基于ircut相机的投影指读系统标定方法
CN106780929A (zh) 基于面部识别与手写文字识别的自助排队机
US12010466B2 (en) Visual recognition based method and system for projecting patterned light, method and system applied to oral inspection, and machining system
US20250182369A1 (en) Use Color Information in 3D Surface Matcher
US20250138506A1 (en) Placement identifying apparatus
JP6167647B2 (ja) 撮像装置、システム、方法、及びプログラム
JPH07262378A (ja) 物品同定システム
JP6212930B2 (ja) 情報処理装置、システム、方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20872754

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021550675

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020872754

Country of ref document: EP

Effective date: 20220502

WWG Wipo information: grant in national office

Ref document number: 2020872754

Country of ref document: EP