[go: up one dir, main page]

JP7596269B2 - 手術ビデオの解析のためのシステム及び方法 - Google Patents

手術ビデオの解析のためのシステム及び方法 Download PDF

Info

Publication number
JP7596269B2
JP7596269B2 JP2021537121A JP2021537121A JP7596269B2 JP 7596269 B2 JP7596269 B2 JP 7596269B2 JP 2021537121 A JP2021537121 A JP 2021537121A JP 2021537121 A JP2021537121 A JP 2021537121A JP 7596269 B2 JP7596269 B2 JP 7596269B2
Authority
JP
Japan
Prior art keywords
surgical
video
event
footage
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021537121A
Other languages
English (en)
Other versions
JP2022520701A (ja
JPWO2020172414A5 (ja
Inventor
ウルフ，タミール
アッセルマン，ドタン
Original Assignee
シアター・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シアター・インコーポレイテッド filed Critical シアター・インコーポレイテッド
Publication of JP2022520701A publication Critical patent/JP2022520701A/ja
Publication of JPWO2020172414A5 publication Critical patent/JPWO2020172414A5/ja
Priority to JP2024021319A priority Critical patent/JP7602080B2/ja
Priority to JP2024212218A priority patent/JP2025029156A/ja
Application granted granted Critical
Publication of JP7596269B2 publication Critical patent/JP7596269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour of tissue for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/92—Identification means for patients or instruments, e.g. tags coded with colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063112—Skill-based matching of a person or a group to a task
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00022—Sensing or detecting at the treatment site
    • A61B2017/00106—Sensing or detecting at the treatment site ultrasonic
    • A61B2017/0011—Sensing or detecting at the treatment site ultrasonic piezoelectric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)

Description

関連出願の相互参照
この出願は、２０１９年２月２１日に出願された米国仮特許出願第６２／８０８，５００号、２０１９年２月２１日に出願された米国仮特許出願第６２／８０８，５１２号、２０１９年４月２４日に出願された米国仮特許出願第６２／８３８，０６６号、２０２０年１月１３日に出願された米国仮特許出願第６２／９６０，４６６号、及び、２０２０年１月２９日に出願された米国仮特許出願第６２／９６７，２８３号の優先権の利益に基づいており、その利益を主張する。前述の出願の内容は、それらの全体が参照により本願に組み入れられる。
開示された実施形態は、一般に、外科的処置のビデオの解析のためのシステム及び方法に関する。
外科的処置の準備を行う際、外科医が、特定の特性を有し得る事象を含む特定の手術事象を描写するビデオ映像を見ることは有益となり得る。更に、外科的処置中に、ビデオを捕捉して解析し、外科医に様々なタイプの決定支援を与えることが有用となり得る。更に、手術ビデオを解析して術後行動を容易にすることが有用となり得る。
したがって、外科医が手術事象を見ることができるようにし、決定支援を与え、及び／又は、術後行動を容易にするために、手術ビデオを効率的且つ効果的に解析する非従来型の手法が必要である。
本開示と整合する実施形態は、手術ビデオを解析するためのシステム及び方法を提供する。開示されたシステム及び方法は、従来のハードウェア及びソフトウェア並びに開示された方法ステップに関連する機能を果たすために特に構築及び／又はプログラムされた機械などの専用のハードウェア及びソフトウェアの組み合わせを使用して実施されてもよい。他の開示された実施形態と整合して、持続性コンピュータ可読記憶媒体は、少なくとも１つの処理デバイスによって実行可能であるとともに本明細書中に記載されるステップ及び／又は方法のいずれかを実行するプログラム命令を記憶してもよい。
開示された実施形態と整合して、手術ビデオの見直しに関連するシステム、方法、及び、コンピュータ可読媒体が開示される。実施形態は、外科的処置の少なくとも１つのビデオにアクセスするステップと、少なくとも１つのビデオを表示のために出力させるステップとを含んでもよい。実施形態は、表示のために出力される少なくとも１つのビデオ上に手術タイムラインをオーバーレイするステップを更に含んでもよい。手術タイムラインは、手術段階、術中手術事象、及び、意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含んでもよい。手術タイムラインは、外科医が少なくとも１つのビデオの再生を見ながら手術タイムライン上の１つ以上のマーカを選択できるようにし、それにより、ビデオの表示を選択されたマーカと関連付けられる位置にスキップさせてもよい。
一実施形態において、１つ以上のマーカは、外科的処置の意思決定ジャンクションに対応する意思決定ジャンクションマーカを含んでもよい。意思決定ジャンクションマーカの選択は、外科医が２つ以上の対応する他の外科的処置からの２つ以上の別のビデオクリップを見ることができるようにしてもよい。更に、２つ以上のビデオクリップが異なる行為を提示してもよい。他の実施形態において、意思決定ジャンクションマーカの選択は、選択された意思決定ジャンクションマーカに関連する１つ以上の別の想定し得る決定の表示を引き起こしてもよい。
開示された実施形態と整合して、ビデオインデックス付けに関連するシステム、方法、及び、コンピュータ可読媒体が開示される。ビデオインデックス付けは、特定の外科的処置の映像を含むインデックス付けされるべきビデオ映像にアクセスするステップを含んでもよく、該映像は、特定の外科的処置の手術段階と関連付けられるビデオ映像位置を識別するために解析されてもよい。段階タグが生成されてもよく、該段階タグがビデオ映像位置と関連付けられてもよい。ビデオインデックス付けは、ビデオ映像を解析して、手術段階内の特定の術中手術事象の事象位置を識別するとともに、事象タグを特定の術中手術事象の事象位置と関連付けるステップを含んでもよい。更に、特定の術中手術事象と関連付けられる事象特性が記憶されてもよい。
ビデオインデックス付けは、特定の外科的処置のビデオ映像の少なくとも一部を、他の外科的処置の更なるビデオ映像を含むデータ構造における段階タグ、事象タグ、及び、事象特性と関連付けるステップを更に含んでもよい。また、データ構造は、他の外科的処置のうちの１つ以上と関連付けられるそれぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特性を含んでもよい。ユーザは、表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択された事象特性の選択によってデータ構造にアクセスすることができる。その後、記憶されたビデオ映像の一致するサブセットを識別するために、少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事象特性と一致する手術ビデオ映像のデータ構造におけるルックアップが実行されてもよい。記憶されたビデオ映像の一致するサブセットがユーザに対して表示されてもよく、それにより、ユーザは、選択された事象特性を欠くビデオ映像の再生を省略しつつ、選択された事象特性を共有する少なくとも１つの術中手術事象の手術映像を見ることができる。
開示された実施形態と整合して、手術概要映像の生成に関連するシステム、方法、及び、コンピュータ可読媒体が開示される。実施形態は、少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスするステップを含んでもよい。実施形態は、以前の外科的処置の履歴的な手術映像と関連付けられる履歴データにアクセスするステップであって、履歴データが、履歴的な手術映像の一部を術中手術事象と関連付けられるフレームと手術行動と関連付けられないフレームとに区別する情報を含む、ステップを更に含んでもよい。履歴データの情報に基づき、特定の手術映像において、フレームの第１のグループがフレームの第２のグループから区別されてもよい。ユーザの要求に基づいて、特定の手術映像のフレームの第１のグループの集約がユーザに提示されてもよいのに対し、フレームの第２のグループはユーザへの提示が省かれてもよい。
幾つかの実施形態において、開示される実施形態は、特定の手術映像を解析して、手術転帰及び手術転帰のそれぞれの原因を識別するステップを更に含んでもよい。識別は、履歴的な転帰データ及びそれぞれの履歴的な原因データに基づいてもよい。解析に基づいて、特定の手術映像内のフレームの転帰セットが検出されてもよい。フレームの転帰セットは、外科的処置の転帰段階内にあってもよい。更に、解析に基づいて、特定の手術映像内のフレームの原因セットが検出されてもよい。フレームの原因セットは、転帰段階から時間的に離れた外科的処置の原因段階内にあってもよく、一方、フレームの中間セットは、フレームの原因セットとフレームの転帰セットとの間に介挿される中間段階内にあってもよい。その後、手術映像の因果関係概要が生成されてもよく、この場合、因果関係概要は、フレームの原因セット及びフレームの転帰セットを含むとともに、フレームの中間セットを省く。ユーザに提示されるフレームの第１のグループの集約が因果関係概要を含んでもよい。
開示された実施形態と整合して、手術準備に関連するシステム、方法、及び、コンピュータ可読媒体が開示される。実施形態は、異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数のセットのリポジトリにアクセスするステップを含んでもよい。方法は、企図された外科的処置を準備している外科医が、企図された外科的処置に対応する症例特有の情報を入力できるようにするステップを更に含んでもよい。企図された外科的処置中に直面する可能性が高い術中事象のグループを識別するために、症例特有の情報が手術ビデオ映像の複数のセットと関連付けられるデータと比較されてもよい。更に、術中事象の識別されたグループに対応する手術ビデオ映像の複数のセットのうちの特定のセット内の特定のフレームを識別するために、症例特有の情報及び直面する可能性が高い術中事象の識別されたグループが使用されてもよい。識別された特定のフレームは、異なる患者に対して実行される複数の外科的処置からのフレームを含んでもよい。
実施形態は、異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定するステップと、外科医に提示されるべきコンパイルから第２のセットを含めることを省くとともに外科医に提示されるべきコンパイルに第１のセットを含めるステップとを更に含むことができる。最後に、実施形態は、異なる患者に対して行われる異なる外科的処置からのフレームを含むコンパイルを含む提示を外科医が見ることができるようにするステップを含んでもよい。
開示された実施形態と整合して、手術映像の複雑度の解析に関連するシステム、方法、及び、コンピュータ可読媒体が開示される。実施形態は、手術映像のフレームを解析して、フレームの第１のセットにおいて解剖学的構造を識別するステップを含んでもよい。開示された実施形態は、第１の履歴データにアクセスするステップを更に含んでもよい。第１の履歴データは、以前の外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づいてもよい。フレームの第１のセットと関連付けられる第１の手術複雑度レベルを決定するために、第１の履歴データを使用して及び識別された解剖学的構造を使用してフレームの第１のセットが解析されてもよい。
幾つかの実施形態は、手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、解剖学的構造、及び、医療器具と解剖学的構造との間の相互作用を識別するステップを更に含んでもよい。開示された実施形態は、第２の履歴データにアクセスするステップであって、第２の履歴データが、以前の外科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づく、ステップを含んでもよい。フレームの第２のセットと関連付けられる第２の手術複雑度レベルを決定するために、第２の履歴データを使用して及び識別された相互作用を使用してフレームの第２のセットが解析されてもよい。
実施形態は、フレームの第１のセットを第１の手術複雑度レベルでタグ付けするステップと、フレームの第２のセットを第２の手術複雑度レベルでタグ付けするステップと、第１のタグを伴うフレームの第１のセット及び第２のタグを伴うフレームの第２のセットを含むデータ構造を生成するステップとを更に含んでもよい。生成されたデータ構造は、外科医が第２の手術複雑度レベルを選択できるようにし、それにより、フレームの第１のセットの表示を省略しつつフレームの第２のセットを表示させる。
開示された実施形態と整合して、手術室スケジュールの調整を可能にするためのシステム、方法、及び、コンピュータ可読媒体が開示される。手術室スケジュールを調整するステップは、外科用手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受信するステップと、履歴的な手術データを含むデータ構造にアクセスするステップと、進行中の外科的処置の視覚データ及び履歴的な手術データを解析して、進行中の外科的処置の推定完了時間を決定するステップとを含んでもよい。手術室スケジュールを調整するステップは、外科用手術室に関するスケジュールにアクセスするステップを更に含んでもよい。スケジュールは、進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含んでもよい。更に、手術室スケジュールを調整するステップは、進行中の外科的処置の推定完了時間に基づいて、予測完了時間が完了と関連付けられるスケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算するステップと、分散の計算時に通知を出力することによって外科用手術室の後続のユーザが自分のスケジュールをそれに応じて調整できるようにするステップとを含んでもよい。
開示された実施形態と整合して、保険払い戻しを決定するために手術画像を解析するためのシステム、方法、及び、コンピュータ可読媒体が開示される。保険払い戻しを決定するために手術画像を解析するための動作は、患者に対する外科的処置中に捕捉されるビデオフレームにアクセスするステップと、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用をビデオフレーム内で識別するために外科的処置中に捕捉されるビデオフレームを解析するステップと、医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関する払い戻しコードのデータベースにアクセスするステップとを含んでもよい。動作は、少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の識別された少なくとも１つの相互作用を払い戻しコードのデータベース内の情報と比較して、外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステップを更に含んでもよい。
開示された実施形態と整合して、外科的処置の術後報告を作成するためのシステム、方法、及び、コンピュータ可読媒体が開示される。外科的処置の術後報告を作成するための動作は、患者識別子の入力を受信するステップと、ヘルスケア提供者の識別子の入力を受信するステップと、ヘルスケア提供者によって患者に対して行われる外科的処置の手術映像の入力を受信するステップとを含んでもよい。動作は、手術映像の複数のフレームを解析して外科的処置の術後報告を作成するための画像ベースの情報を導き出すステップと、導き出された画像ベースの情報が外科的処置の術後報告を作成するようにするステップとを更に含んでもよい。
開示された実施形態と整合して、外科的処置において省かれる事象の決定及び通知を可能にするためのシステム、方法、及び、コンピュータ可読媒体が開示される。省かれる事象の決定及び通知を可能にするための動作は、特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセスするステップと、アクセスされたフレームを推奨された一連の事象と比較して、特定の外科的処置と外科的処置に関して推奨される一連の事象との間の逸脱の表示を識別するステップと、逸脱と関連付けられる術中手術事象の名前を決定するステップと、逸脱と関連付けられる術中手術事象の名前を含む逸脱の通知を与えるステップとを含んでもよい。
この開示の幾つかの実施形態は、外科的処置のためのリアルタイムの決定支援を行うためのシステム、方法、及び、コンピュータ可読媒体を含む。そのような実施形態の幾つかは、少なくとも１つのプロセッサを伴ってもよい。そのような実施形態は、手術室内の患者に対して外科医により実行される外科的処置のビデオ映像を受信するステップと、外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスするステップとを伴ってもよい。外科的意思決定ジャンクションの存在をリアルタイムに決定するために画像関連データを使用して受けられたビデオ映像が解析されてもよい。少なくとも１つのデータ構造において、転帰と意思決定ジャンクションで講じられる特定の動作との間の相関関係がアクセスされてもよい。意思決定ジャンクションの決定された存在とアクセスされた相関関係とに基づいて、特定の動作を行うように又は特定の動作を回避するように外科医に推奨が出力されてもよい。
この開示の実施形態は、開示された外科的処置中に解剖学的構造に作用する接触力を推定するためのシステム、方法、及び、コンピュータ可読媒体を含む。実施形態は、手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信するステップと、受信された画像データを解析して解剖学的構造の識別情報を決定するとともに画像データに反映された解剖学的構造の状態を決定するステップを伴ってもよい。解剖学的構造の決定された状態に基づいて、解剖学的構造と関連付けられる接触力閾値が選択されてもよい。解剖学的構造に作用する実際の接触力が、決定されるとともに、選択された接触力閾値と比較されてもよい。その後、実際の接触力の表示が選択された接触力閾値を超えるという決定に基づいて通知が出力されてもよい。
この開示の幾つかの実施形態は、外科的処置中に予測転帰を更新するためのシステム、方法、及び、コンピュータ可読媒体を伴う。これらの実施形態は、外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、外科的処置中に第１の事象と関連付けられる画像データを受信するステップを伴ってもよい。実施形態は、第１の事象と関連付けられる受信された画像データに基づいて、外科的処置と関連付けられる予測転帰を決定してもよく、また、外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、外科的処置中に第２の事象と関連付けられる画像データを受信してもよい。実施形態は、第２の事象と関連付けられる受信された画像データに基づいて、予測転帰の変化を決定し、それにより、予測転帰を閾値未満に低下させてもよい。推奨される是正措置は、データ構造に含まれる以前の外科的処置に関する画像関連データに基づいて識別されて推奨されてもよい。
この開示の幾つかの実施形態は、手術中に流体漏れ検出を可能にするためのシステム、方法、及び、コンピュータ可読媒体を伴う。実施形態は、外科的処置の腔内ビデオをリアルタイムで受けるステップを伴う。プロセッサは、腔内ビデオのフレームを解析して腔内ビデオ内の異常な流体漏れ状況を決定するように構成されてもよい。実施形態は、異常な流体漏れ状況が決定されるときに是正措置を策定してもよい。
開示された実施形態と整合して、退院後リスクを予測するためのシステム、方法、及び、コンピュータ可読媒体が開示される。退院後リスクを予測するための動作は、患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、術中事象及び関連する転帰を識別する記憶された履歴データにアクセスするステップと、アクセスされたフレームを解析するとともに、履歴データから取得される情報に基づいて、アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するステップと、履歴データから取得される情報と識別された少なくとも１つの術中事象とに基づいて、特定の外科的処置と関連付けられる予測転帰を決定するステップと、予測転帰を患者と関連付ける態様で予測転帰を出力するステップとを含んでもよい。
前述の概要は、この開示の趣旨を与えるために開示された実施形態のほんの数例を提供するとともに、開示された実施形態の全ての態様を要約することを意図するものではない。更に、以下の詳細な説明は、単に典型的で且つ説明的なものにすぎず、特許請求の範囲を限定するものではない。
この開示に組み入れられてこの開示の一部を構成する添付図面は、様々な開示された実施形態を例示する。
開示される実施形態と整合する手術室の一例の斜視図である。 開示される実施形態と整合するカメラの斜視図である。 開示される実施形態と整合する外科用器具の一例の斜視図である。 開示される実施形態と整合する、外科的処置のビデオにオーバーレイされたタイムラインの一例を示す。 開示される実施形態と整合する、手術ビデオを見直すためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合するデータ構造の一例の概略図である。 開示される実施形態と整合する表示のためにインデックス付けされたビデオ映像を選択するためのユーザインタフェースの一例の概略図である。 開示される実施形態と整合するビデオインデックス付けのためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合するビデオインデックス付けのためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合する、フレームの第１のグループをフレームの第２のグループから区別するためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合する、因果関係概要を生成するためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合する、手術概要映像を生成するためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合する、手術準備のためのプロセスの一例を示すフローチャートである。 開示される実施形態と整合する、手術映像の複雑度を解析するためのプロセスの一例を示すフローチャートである。 外科的処置中に収集される様々なデータを管理するとともに開示される実施形態と整合する様々なセンサを制御するための典型的なシステムの概略図である。 開示される実施形態と整合する典型的なスケジュールである。 開示される実施形態と整合するスケジュールに関する情報を入力するための典型的な形態である。 開示される実施形態と整合する典型的なデータ構造を示す。 開示される実施形態と整合する履歴的な完了時間のデータの典型的なプロットを示す。 開示される実施形態と整合する機械学習モデルの一例を示す。 開示される実施形態と整合する手術室スケジュールを調整するための典型的なプロセスを示す。 開示される実施形態と整合する、払い戻しコードと手術映像から取得される情報との間の相関関係を記憶するための典型的なデータ構造である。 開示される実施形態と整合する典型的な機械学習方法のブロック図である。 開示される実施形態と整合する、保険払い戻しを決定するために手術画像を解析するための典型的なプロセスのフローチャートである。 開示される実施形態と整合するフィールドを含む例示的な術後報告である。 開示される実施形態と整合する、術後報告を作成するための構造を含むプロセスの一例である。 開示される実施形態と整合する、術後報告を作成するための構造を含むプロセスの他の例である。 開示される実施形態と整合する、術後報告を作成するための典型的なプロセスのフロー図である。 開示される実施形態と整合する典型的な一連の事象の概略図である。 開示される実施形態と整合する一連の事象の典型的な比較を示す。 開示される実施形態と整合する、省略された事象の決定及び通知を可能にする典型的なプロセスを示す。 開示される実施形態と整合する、外科的処置に関する決定支援のための典型的なプロセスを示すフローチャートである。 開示される実施形態と整合する、外科的処置中の解剖学的構造に作用する接触力を推定するための典型的なプロセスを示すフローチャートである。 開示される実施形態と整合する、外科的処置中の予測転帰を更新するための典型的なプロセスを示すフローチャートである。 開示される実施形態と整合する、手術中に流体漏れ検出を可能にするための典型的なプロセスを示すフローチャートである。 開示される実施形態と整合する、術中事象と転帰との間の関係を示す典型的なグラフである。 開示される実施形態と整合する、術中事象の存在を伴う及び伴わない異なる事象に関する典型的な確率分布グラフである。 開示される実施形態と整合する、異なる事象に関する典型的な確率分布グラフを示す。 開示される実施形態と整合する、事象特性の関数としての、異なる事象に関する典型的な確率分布グラフを示す。 開示される実施形態と整合する典型的な機械学習モデルを示す。 開示される実施形態と整合する、機械学習モデルに関する典型的な入力を示す。 開示される実施形態と整合する、退院後リスクを予測するための典型的なプロセスを示す。
特に特段明記しない限り、以下の説明から明らかなように、明細書の全体にわたって、「処理」、「計算」、「コンピューティング」、「決定」、「生成」、「設定」、「構成」、「選択」、「規定」、「適用」、「取得」、「監視」、「提供」、「特定」、「セグメント化」、「分類」、「解析」、「関連付け」、「抽出」、「記憶」、「受信」、「送信」などの用語を利用する議論は、データ、例えば電子量などの物理量として表されるデータ、及び／又は、物理的物体を表すデータを操作する及び／又は他のデータに変換するコンピュータの動作及び／又はプロセスを含む。「コンピュータ」、「プロセッサ」、「コントローラ」、「処理ユニット」、「演算ユニット」、及び、「処理モジュール」という用語は、非限定的な例として、パーソナルコンピュータ、ウェアラブルコンピュータ、スマートグラス、タブレット、スマートフォン、サーバ、コンピューティングシステム、クラウドコンピューティングプラットフォーム、通信デバイス、場合によっては内蔵メモリを有するプロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ）、画像信号プロセッサ（ＩＳＲ）、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、中央処理装置（ＣＰＡ）、グラフィックス処理装置（ＧＰＵ）、視覚処理装置（ＶＰＵ）などである。）、シングルコアプロセッサ、マルチコアプロセッサ、プロセッサ内のコア、任意の他の電子コンピューティングデバイス、又は、上記の任意の組み合わせを含む、データ処理能力を有する任意の種類の電子デバイス、コンポーネント、又は、ユニットを網羅するように拡張的に解釈されるべきである。
本明細書中の教示に係る動作は、記載された機能を果たすように特別に構築又はプログラムされるコンピュータによって実行されてもよい。
本明細書中で使用される「例えば」、「～など」、「例として」という語句及びそれらの変形は、ここに開示される主題の非限定的な実施形態を説明する。本明細書中において、「１つのケース」、「場合によっては」、「その他の場合」、又は、それらの変形の特徴への言及は、記載された特定の特徴、構造、又は、特性がここに開示される主題の少なくとも１つの実施形態に含まれ得ることを意味する。したがって、そのような用語の出現は、必ずしも同じ（１又は複数の）実施形態を指すとは限らない。本明細書中で使用される「及び／又は」という用語は、関連する列挙された項目のうちの１つ以上のありとあらゆる組み合わせを含む。
ここに開示される主題の特徴は、簡潔にするために、特定の実施形態との関連で説明される。しかしながら、１つの実施形態に関連して説明される特徴は、他の実施形態にも適用可能であることが理解されるべきである。同様に、特定の組み合わせとの関連で説明される特徴は、単独で又は特定の組み合わせ以外との関連で、別個の実施形態と見なされてもよい。
ここに開示される主題の実施形態では、図に示される１つ以上の段階が異なる順序で実行されてもよく、及び／又は、段階の１つ以上のグループが同時に実行されてもよく、逆もまた同様である。図は、ここに開示される主題の実施形態に係るシステムアーキテクチャの一般的な概略図を示す。図中の各モジュールは、本明細書中で規定されて説明されるような機能を果たすソフトウェア、ハードウェア、及び／又は、ファームウェアの任意の組み合わせから構成され得る。図中のモジュールは、１つの場所に集中されてもよく、或いは、２つ以上の場所にわたって分散されてもよい。
ここに開示される主題の例は、以下の説明で記載される又は図面に示される構成要素の構成及び配置の詳細への適用において限定されない。主題は、様々な方法で実施又は実行されてもよい。また、本明細書中で使用される表現及び用語は、説明のためのものであり、限定するものと見なされるべきではないことが理解されるべきである。
この文書において、図面の範囲内で記載されず前の図面に記載された数字でラベル付けされる図面の要素は、前の図面における場合と同じ使途及び説明を有し得る。
この文書における図面は、いかなる縮尺であってもよい。異なる図は異なるスケールを使用する場合があり、また、同じ図面内であっても、異なるスケール、例えば同じ物体の異なる視野に関する異なるスケール或いは２つの隣り合う物体に関する異なるスケールを使用することができる。
開示された実施形態と整合して、「少なくとも１つのプロセッサ」は、入力又は複数の入力に対して論理演算を実行する電気回路を有する任意の物理デバイス又はデバイスのグループを構成してもよい。例えば、少なくとも１つのプロセッサは、特定用途向け集積回路（ＡＳＩＣ）、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、サーバ、仮想サーバ、又は、命令の実行もしくは論理演算の実行に適した他の回路の全部又は一部を含む１つ以上の集積回路（ＩＣ）を含んでもよい。少なくとも１つのプロセッサによって実行される命令は、例えば、コントローラと一体化される又はコントローラに組み込まれるメモリに予めロードされてもよく、或いは、別個のメモリに記憶されてもよい。メモリとしては、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク、光ディスク、磁気媒体、フラッシュメモリ、他の永続的、固定的又は揮発性のメモリ、或いは、命令を記憶することができる任意の他の機構を挙げることができる。幾つかの実施形態において、少なくとも１つのプロセッサは、２つ以上のプロセッサを含んでもよい。各プロセッサが同様の構造を有してもよく、或いは、プロセッサが互いに電気的に接続又は切断される異なる構造を成してもよい。例えば、プロセッサは、別個の回路であってもよく或いは単一の回路に集積されてもよい。複数のプロセッサが使用される場合、プロセッサは、独立して又は協働して動作するように構成されてもよい。プロセッサは、電気的、磁気的、光学的、音響的、機械的に、或いは、それらが相互作用できるようにする他の手段によって結合されてもよい。
開示される実施形態は、データ構造を含んでもよく及び／又はデータ構造にアクセスしてもよい。本開示と整合するデータ構造は、任意の一群のデータ値及びそれらの間の関係を含んでもよい。データは、線形的に、水平的に、階層的に、関係的に、非関係的に、単次元的に、多次元的に、動作的に、順序付けられた態様で、順序付けられない態様で、オブジェクト指向的な態様で、集中的態様で、非集中的態様で、分散的態様で、カスタム態様で、又は、データアクセスを可能にする任意の態様で記憶されてもよい。非限定的な例として、データ構造は、配列、連想配列、リンクされたリスト、二分木、平衡木、塊、スタック、キュー、セット、ハッシュテーブル、記録、タグ付き結合体、ＥＲモデル、及び、グラフを含んでもよい。例えば、データ構造は、例えば、ＭｏｎｇｏＤＢ、Ｒｅｄｉｓ、Ｃｏｕｃｈｂａｓｅ、Ｄａｔａｓｔａｘ Ｅｎｔｅｒｐｒｉｓｅ Ｇｒａｐｈ、Ｅｌａｓｔｉｃ Ｓｅａｒｃｈ、Ｓｐｌｕｎｋ、Ｓｏｌｒ、Ｃａｓｓａｎｄｒａ、Ａｍａｚｏｎ ＤｙｎａｍｏＤＢ、Ｓｃｙｌｌａ、ＨＢａｓｅ、及び、Ｎｅｏ４Ｊなどの、データストレージ／検索のためのＸＭＬデータベース、ＲＤＢＭＳデータベース、ＳＱＬデータベース、又は、ＮｏＳＱＬ代替物を含んでもよい。データ構造は、開示されたシステムのコンポーネント又はリモートコンピューティングコンポーネント（例えば、クラウドベースのデータ構造）であってもよい。データ構造内のデータは、連続又は不連続メモリに記憶されてもよい。更に、本明細書中で使用されるデータ構造は、情報が同じ場所に配置されることを必要としない。データ構造は、例えば、同じ又は異なるエンティティによって所有又は動作され得る複数のサーバにわたって分散され得る。したがって、単数形で本明細書において使用される「データ構造」という用語は、複数のデータ構造を含む。
幾つかの実施形態において、機械学習アルゴリズム（本開示では機械学習モデルとも称される）は、例えば以下に説明する場合には、トレーニング例を使用してトレーニングされてもよい。そのような機械学習アルゴリズムの幾つかの非限定的な例としては、分類アルゴリズム、データ回帰アルゴリズム、画像セグメント化アルゴリズム、視覚検出アルゴリズム（例えば、物体検出器、顔検出器、人物検出器、動き検出器、エッジ検出器など）、視覚認識アルゴリズム（例えば、顔認識、人物認識、物体認識など）、音声認識アルゴリズム、数学的埋め込みアルゴリズム、自然言語処理アルゴリズム、サポートベクターマシン、ランダムフォレスト、最近傍アルゴリズム、深層学習アルゴリズム、人工ニューラルネットワークアルゴリズム、畳み込みニューラルネットワークアルゴリズム、再帰的ニューラルネットワークアルゴリズム、線形機械学習モデル、非線形機械学習モデル、アンサンブルアルゴリズムなどを挙げることができる。例えば、トレーニングされた機械学習アルゴリズムは、予測モデル、分類モデル、回帰モデル、クラスタリングモデル、セグメント化モデル、人工ニューラルネットワーク（例えば、深層ニューラルネットワーク、畳み込みニューラルネットワーク、再帰ニューラルネットワークなど）、ランダムフォレスト、サポートベクターマシンなどの推論モデルを含んでもよい。幾つかの例において、トレーニング例は、入力例と、入力例に対応する所望の出力とを含んでもよい。更に、幾つかの例において、トレーニング例を使用して機械学習アルゴリズムをトレーニングすることにより、トレーニングされた機械学習アルゴリズムがもたらされ、また、トレーニングされた機械学習アルゴリズムは、トレーニング例に含まれない入力に関する出力を推定するために使用されてもよい。幾つかの例において、機械学習アルゴリズムをトレーニングするエンジニア、科学者、プロセス、及び、機械は、検証例及び／又は検査例を更に使用してもよい。例えば、検証例及び／又は検査例は、入力例に対応する所望の出力と共に入力例を含んでもよく、トレーニングされた機械学習アルゴリズム及び／又は中間的にトレーニングされた機械学習アルゴリズムは、検証例及び／又は検査例の入力例に関する出力を推定するために使用されてもよく、推定された出力が対応する所望の出力と比較されてもよく、及び、比較の結果に基づいてトレーニングされた機械学習アルゴリズム及び／又は中間的にトレーニングされた機械学習アルゴリズムが評価されてもよい。幾つかの例では、機械学習アルゴリズムがパラメータ及びハイパーパラメータを有してもよく、この場合、ハイパーパラメータは、人によって手動で又は機械学習アルゴリズムの外部のプロセス（ハイパーパラメータ検索アルゴリズムなど）によって自動的に設定され、及び、機械学習アルゴリズムのパラメータは、トレーニング例に従って機械学習アルゴリズムにより設定される。幾つかの実装形態では、ハイパーパラメータがトレーニング例及び検証例に従って設定され、また、パラメータがトレーニング例及び選択されたハイパーパラメータに従って設定される。
幾つかの実施形態では、例えば以下に説明されるケースにおいて、トレーニングされた機械学習アルゴリズム（本開示ではトレーニングされた機械学習モデルとも称される）を使用して、入力を解析し、出力を生成してもよい。幾つかの例において、トレーニングされた機械学習アルゴリズムは、入力が与えられると推論された出力を生成する推論モデルとして使用されてもよい。例えば、トレーニングされた機械学習アルゴリズムが分類アルゴリズムを含んでもよく、入力がサンプルを含んでもよく、推論された出力がサンプルの分類（例えば、推論されたラベル、推論されたタグなど）を含んでもよい。他の例では、トレーニングされた機械学習アルゴリズムが回帰モデルを含んでもよく、入力がサンプルを含んでもよく、及び、推論された出力がサンプルの推論された値を含んでもよい。更に他の例では、トレーニングされた機械学習アルゴリズムがクラスタリングモデルを含んでもよく、入力がサンプルを含んでもよく、及び、推論された出力が少なくとも１つのクラスタへのサンプルの割り当てを含んでもよい。更なる例では、トレーニングされた機械学習アルゴリズムが分類アルゴリズムを含んでもよく、入力が画像を含んでもよく、また、推論された出力は、画像中に描写された項目の分類を含んでもよい。更に他の例では、トレーニングされた機械学習アルゴリズムが回帰モデルを含んでもよく、入力が画像を含んでもよく、また、推論された出力は、画像中に描写された項目の推論値（例えば、画像中に描写された人のサイズ、体積、年齢、画像中に描写された製品のコストなどの項目の推定された特性など）を含んでもよい。更なる例では、トレーニングされた機械学習アルゴリズムが画像セグメント化モデルを含んでもよく、入力が画像を含んでもよく、及び、推論された出力が画像のセグメント化を含んでもよい。更なる他の例では、トレーニングされた機械学習アルゴリズムが物体検出器を含んでもよく、入力が画像を含んでもよく、また、推論された出力は、画像内の１つ以上の検出された物体及び／又は画像内の物体の１つ以上の位置を含んでもよい。幾つかの例において、トレーニングされた機械学習アルゴリズムは、１つ以上の式及び／又は１つ以上の関数及び／又は１つ以上の規則及び／又は１つ以上の処置を含んでもよく、入力は、式及び／又は関数及び／又は規則及び／又は処置への入力として使用されてもよく、及び、推論された出力は、式及び／又は関数及び／又は規則及び／又は処置の出力に基づいてもよい（例えば、式及び／又は関数及び／又は規則及び／又は処置の出力のうちの１つを選択する、式及び／又は関数及び／又は規則及び／又は処置の出力の統計的指標を使用するなど）。
幾つかの実施形態において、人工ニューラルネットワークは、入力を解析して、対応する出力を生成するように構成されてもよい。そのような人工ニューラルネットワークの幾つかの非限定的な例は、浅い人工ニューラルネットワーク、深い人工ニューラルネットワーク、フィードバック人工ニューラルネットワーク、フィードフォワード人工ニューラルネットワーク、自己符号器人工ニューラルネットワーク、確率的人工ニューラルネットワーク、時間遅延人工ニューラルネットワーク、畳み込み人工ニューラルネットワーク、リカレント人工ニューラルネットワーク、長期短期記憶人工ニューラルネットワークなどを含んでもよい。幾つかの例では、人工ニューラルネットワークが手動で構成されてもよい。例えば、人工ニューラルネットワークの構造が手動で選択されてもよく、人工ニューラルネットワークの人工ニューロンのタイプが手動で選択されてもよく、人工ニューラルネットワークのパラメータ（人工ニューラルネットワークの人工ニューロンのパラメータなど）が手動で選択されてもよく、以下同様である。幾つかの例において、人工ニューラルネットワークは、機械学習アルゴリズムを使用して構成されてもよい。例えば、ユーザは、人工ニューラルネットワーク及び／又は機械学習アルゴリズムに関するハイパーパラメータを選択してもよく、また、機械学習アルゴリズムは、例えば、バックプロパゲーションを使用する、勾配降下を使用する、確率的勾配降下を使用する、ミニバッチ勾配降下を使用するなどして、人工ニューラルネットワークのパラメータを決定するために、ハイパーパラメータ及びトレーニング例を使用してもよい。幾つかの例では、２つ以上の他の人工ニューラルネットワークを単一の人工ニューラルネットワークに組み合わせることによって、２つ以上の他の人工ニューラルネットワークから人工ニューラルネットワークが作成されてもよい。
幾つかの実施形態において、画像データを（例えば、本明細書中に記載の方法、ステップ、及び、モジュールによって）解析することは、画像データを解析して前処理された画像データを取得すること、及び、その後に画像データ及び／又は前処理された画像データを解析して所望の転帰を取得することを含んでもよい。そのような画像データの幾つかの非限定的な例としては、１つ以上の画像、ビデオ、フレーム、映像、２Ｄ画像データ、３Ｄ画像データなどを挙げることができる。当業者であれば分かるように、以下は例であり、画像データが他の種類の前処理方法を使用して前処理されてもよい。幾つかの例では、変換関数を使用して画像データを変換して変換画像データを取得することによって画像データが前処理されてもよく、また、前処理された画像データが変換画像データを含んでもよい。例えば、変換画像データは、画像データの１つ以上の畳み込みを含んでもよい。例えば、変換関数は、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、オールパスフィルタなどの１つ以上の画像フィルタを含んでもよい。幾つかの例では、変換関数が非線形関数を含んでもよい。幾つかの例において、画像データは、例えばガウス畳み込みを使用する、メディアンフィルタを使用するなどして、画像データの少なくとも一部を平滑化することによって前処理されてもよい。幾つかの例において、画像データは、画像データの異なる表示を取得するために前処理されてもよい。例えば、前処理された画像データは、周波数領域における画像データの少なくとも一部の表示、画像データの少なくとも一部の離散フーリエ変換、画像データの少なくとも一部の離散ウェーブレット変換、画像データの少なくとも一部の時間／周波数表示、低次元における画像データの少なくとも一部の表示、画像データの少なくとも一部の損失表示、画像データの少なくとも一部の無損失表示、上記のいずれかの順序付けられた時系列、上記の任意の組み合わせなどを含んでもよい。幾つかの例では、エッジを抽出するために画像データが前処理されてもよく、また、前処理された画像データは、抽出されたエッジに基づく及び／又は関連する情報を含んでもよい。幾つかの例では、画像データから画像特徴を抽出するために画像データが前処理されてもよい。そのような画像特徴の幾つかの非限定的な例は、エッジに基づく及び／又はエッジに関連する情報、コーナー、ブロブ、リッジ、スケール不変特徴変換（ＳＩＦＴ）特徴、時間的特徴などを含んでもよい。
幾つかの実施形態において、画像データを（例えば、本明細書中に記載の方法、ステップ、及び、モジュールによって、）解析することは、１つ以上の規則、機能、処置、人工ニューラルネットワーク、物体検出アルゴリズム、顔検出アルゴリズム、視覚事象検出アルゴリズム、行動検出アルゴリズム、動き検出アルゴリズム、背景減算アルゴリズム、推論モデルなどを使用して画像データ及び／又は前処理された画像データを解析することを含んでもよい。そのような推論モデルの幾つかの非限定的な例としては、手動で事前にプログラムされた推論モデル、分類モデル、回帰モデル、トレーニング例に対する機械学習アルゴリズム及び深層学習アルゴリズムなどのトレーニングアルゴリズムの結果などを挙げることができ、この場合、トレーニング例はデータインスタンスの例を含んでもよく、また、場合によっては、データインスタンスには対応する所望のラベル及び／又は結果がラベル付けされる。
幾つかの実施形態において、画像データを（例えば、本明細書中に記載の方法、ステップ、及び、モジュールによって）解析することは、画像データに含まれるピクセル、ボクセル、点群、距離データなどを解析することを含んでもよい。
図１は、開示された実施形態と整合する、例示的な手術室１０１を示す。患者１４３は、手術台１４１に示されている。手術室１０１は、音声センサ、ビデオ／画像センサ、化学センサ、及び他のセンサ、並びに外科的処置中にビデオ及び音声データ、並びに他のセンサからのデータの捕捉を容易にするための様々な光源（例えば、光源１１９が図１に示されている）を含むことができる。例えば、手術室１０１は、手術中にビデオ／画像データを捕捉するための１つ以上のマイクロフォン（例えば、図１に示すような音声センサ１１１）、幾つかのカメラ（例えば、俯瞰カメラ１１５，１２１、１２３、及びテーブルサイドカメラ１２５）を含むことができる。また、一部のカメラ（例えば、カメラ１１５，１２３及び１２５）で手術台１４１（例えば、カメラは、外科的処置が行われる患者１４３の身体の位置１２７でビデオ／画像データを捕捉することができる）のビデオ／画像データを捕捉しているが、カメラ１２１で手術室１０１の他の部位のビデオ／画像データを捕捉してもよい。例えば、カメラ１２１は、手術を行う外科医１３１のビデオ／画像データを捕捉することができる。場合によっては、カメラは、手術室１０１に配置された麻酔科医、看護師、外科技術などの外科チームの人員に関連するビデオ／画像データを捕捉することができる。更に、手術室カメラは、室内に配置された医療機器に関連するビデオ／画像データを捕捉することができる。
様々な実施形態では、カメラ１１５，１２１，１２３及び１２５のうちの１つ以上は移動可能であってもよい。例えば、図１に示すように、カメラ１１５は、ピッチ方向を示す矢印１３５Ａ、及びカメラ１１５のヨー方向を示す矢印１３５Ｂで示すように回転することができる。様々な実施形態では、カメラ（例えば、カメラ１１５）のピッチ角及びヨー角は、カメラ１１５が関心領域（ＲＯＩ）に向くように電子的に制御することができ、関心領域（ＲＯＩ）のビデオ／画像データを捕捉する必要がある。例えば、カメラ１１５は、位置１２７内の外科用器具（手術器具とも呼ばれる）、解剖学的構造、外科医１３１の手、切開、解剖学的構造の動きなどを追跡するように構成されてもよい。様々な実施形態において、カメラ１１５は、正確な追跡のためにレーザ１３７（例えば、赤外線レーザ）を装備することができる。場合によっては、カメラ１１５は、ＲＯＩのビデオ／画像データを捕捉するためにカメラを位置決めするための画像認識アルゴリズムを使用するコンピュータベースのカメラ制御アプリケーションを介して自動的に追跡され得る。例えば、カメラ制御アプリケーションは、解剖学的構造を識別し、解剖学的構造内の特定の位置で手術器具、外科医の手、出血、動きなどを識別し、カメラ１１５を適切なヨー角及びピッチ角だけ回転させることによってその位置をカメラ１１５で追跡することができる。幾つかの実施形態では、カメラ制御アプリケーションは、様々なカメラ１１５，１２１，１２３及び１２５の位置（すなわち、ヨー角及びピッチ角）を制御して、外科的処置中に異なるＲＯＩからビデオ／画像データを捕捉することができる。これに加えて又は代えて、人間の術者は、様々なカメラ１１５，１２１，１２３及び１２５の位置を制御することができ、及び／又は人間の術者は、カメラの位置を制御する際にカメラ制御アプリケーションを監督することができる。
カメラ１１５，１２１，１２３及び１２５は、１つ以上のＲＯＩに焦点を合わせて拡大するためのズームレンズを更に含むことができる。例示的な実施形態では、カメラ１１５は、ＲＯＩ（例えば、解剖学的構造の近くにある手術器具）に近接してズームするためのズームレンズ１３８を含むことができる。カメラ１２１は、ＲＯＩの周りのより大きな領域からビデオ／画像データを捕捉するためのズームレンズ１３９を含むことができる。例えば、カメラ１２１は、場所１２７全体のビデオ／画像データを捕捉することができる。幾つかの実施形態では、カメラ１２１から取得されたビデオ／画像データは、外科的処置中にＲＯＩを識別するために解析されてもよく、カメラ制御アプリケーションは、カメラ１１５に、カメラ１２１によって識別されたＲＯＩに向かってズームさせるように構成され得る。
様々な実施形態では、カメラ制御アプリケーションは、外科的処置中に様々なカメラの位置、焦点、及び倍率を調整するように構成されてもよい。例えば、カメラ制御アプリケーションは、解剖学的構造を追跡するようにカメラ１１５に指示することができ、外科用器具を追跡するようにカメラ１２１及び１２５に指示することができる。カメラ１２１及び１２５は、異なる視野角から同じＲＯＩ（例えば、外科用器具）を追跡することができる。例えば、異なる視野角から得られたビデオ／画像データを使用して、解剖学的構造の表面に対する外科用器具の位置を決定し、解剖学的構造の状態を決定し、解剖学的構造に加えられる圧力を決定し、又は複数の視野角が有益であり得る任意の他の情報を決定することができる。別の例として、出血は１つのカメラによって検出することができ、１つ以上の他のカメラを使用して出血源を識別することができる。
様々な実施形態では、カメラ１１５，１２１，１２３及び１２５の位置、向き、設定、及び／又はズームの制御は、規則ベースであり、所定の外科的処置のために開発されたアルゴリズムに従うことができる。例えば、カメラ制御アプリケーションは、外科用器具を追跡するようにカメラ１１５に指示し、位置１２７にカメラ１２１を向け、外科医の手の動きを追跡するようにカメラ１２３に指示し、解剖学的構造にカメラ１２５を向けるように構成され得る。アルゴリズムは、外科的処置中の様々な事象に応じて、カメラ１１５，１２１，１２３及び１２５の位置、向き、設定及び／又はズームを決定する任意の適切な論理的記述を含むことができる。例えば、アルゴリズムは、処置中に出血を発生させる解剖学的構造の領域に少なくとも１つのカメラを向けることができる。（例えば、カメラ制御アプリケーションによって）制御することができるカメラ１１５，１２１，１２３及び１２５の設定の幾つかの非限定的な例としては、画像ピクセル解像度、フレームレート、画像及び／又は色補正及び／又は強調アルゴリズム、ズーム、位置、向き、アスペクト比、シャッター速度、絞り、焦点などを挙げることができる。
様々な場合において、カメラ（例えば、カメラ１１５）が移動又は変形物体（例えば、カメラ１１５が移動する外科用器具、又は移動／脈動する解剖学的構造を追跡する場合）を追跡するとき、カメラ制御アプリケーションは、移動又は変形物体がカメラの視野から脱出しないように、カメラ１１５の最大許容ズームを決定することができる。例示的な実施形態では、カメラ制御アプリケーションは、カメラ１１５の第１のズームを最初に選択し、移動又は変形物体がカメラの視野から逃げるかどうかを評価し、移動又は変形物体がカメラの視野から逃げるのを防止するために必要に応じてカメラのズームを調整することができる。様々な実施形態では、カメラズームは、移動又は変形する物体の方向及び速度に基づいて再調整することができる。
様々な実施形態では、１つ以上の画像センサは、移動カメラ１１５，１２１，１２３及び１２５を含むことができる。カメラ１１５，１２１，１２３及び１２５は、例えば三角測量を使用して、解剖学的構造のサイズを決定し、異なるＲＯＩ間の距離を決定するために使用され得る。例えば、図２は、図２に示すように、２つのカメラ間の距離がＤ１になるように可動要素によって支持された例示的なカメラ１１５（図２に示す１１５ビュー１）及び１２１を示す。両方のカメラはＲＯＩ ２２３に向く。カメラ１１５及び１２１の位置及びカメラに対する物体の方向（例えば、図２に示すように、角度Ａ１及びＡ２を知ることによって、例えば、１１５及び１２１によって捕捉された画像内の同じ物体又は同じ現実世界の点を描写するピクセル間の対応に基づいて）を知ることによって、距離Ｄ２及びＤ３は、例えば、正弦の法則及び２つのカメラＤ１間の既知の距離を使用して計算することができる。例示的な実施形態では、カメラ１１５（１１５、ビュー２）が（ラジアンで測定された）小さい角度Ａ３だけ回転してＲＯＩ ２２５を向く場合、ＲＯＩ ２２３とＲＯＩ ２２５との間の距離は、（小さい角度Ａ３について）Ａ３Ｄ２によって近似され得る。別の三角測量プロセスを使用して、より高い精度を得ることができる。ＲＯＩ ２２３と２２５との間の距離を知ることにより、解剖学的構造の長さスケールを決定することが可能になる。更に、解剖学的構造の様々な点間の距離、及び様々な点から１つ以上のカメラまでの距離を測定して、解剖学的構造の表面を表す点群を決定することができる。そのような点群は、解剖学的構造の３次元モデルを再構築するために使用することができる。更に、１つ以上の外科用器具と解剖学的構造の異なる点との間の距離を測定して、解剖学的構造の近くの１つ以上の外科用器具の適切な位置を決定することができる。幾つかの他の例では、カメラ１１５，１２１，１２３及び１２５のうちの１つ以上は、３Ｄカメラ（例えば、ステレオカメラ、アクティブステレオカメラ、飛行時間型カメラ、光検出器及び測距カメラなど）を含むことができ、手術室１０１内の物体の実際の及び／又は相対的な位置及び／又はサイズ、及び／又は物体間の実際の距離は、３Ｄカメラによって捕捉された３Ｄ情報に基づいて決定することができる。
また、図１に戻ると、光源（例えば、光源１１９）は、１つ以上のＲＯＩを追跡するように移動可能であってもよい。例示的な実施形態では、光源１１９は、ヨー角及びピッチ角だけ回転することができ、場合によっては、ＲＯＩ（例えば、位置１２７）に向かって、又はＲＯＩから離れて延びることができる。場合によっては、光源１１９は、ＲＯＩに光を集束させるための１つ以上の光学素子（例えば、レンズ、平面又は曲面ミラーなど）を含んでもよい。場合によっては、光源１１９は、光の色（例えば、光の色は、異なるタイプの白色光、選択されたスペクトルを有する光などを含むことができる）を制御するように構成されてもよい。例示的な実施形態では、光１１９は、光のスペクトル及び強度が光によって照射される解剖学的構造の表面にわたって変化し得るように構成され得る。例えば、場合によっては、光１１９は、解剖学的構造の表面の少なくとも幾つかの部分の加温をもたらし得る赤外線波長を含むことができる。
幾つかの実施形態では、手術室は、図１に図示又は図示しない様々な構成要素に埋め込まれたセンサを含むことができる。そのようなセンサの例としては、音声センサ、画像センサ、モーションセンサ、測位センサ、化学センサ、温度センサ、気圧計、圧力センサ、近接センサ、電気インピーダンスセンサ、電圧センサ、電流センサ、又は、例えば、患者１４３を監視するように構成された任意の種類の医療又は生理学的センサを含む、環境又は外科的処置に関するフィードバックを提供することができる任意の他の検出器を挙げることができる。
幾つかの実施形態では、音声センサ１１１は、音声をデジタル情報（例えば、音声センサ１２１）に変換することによって音声を捕捉するように構成された１つ以上の音声センサを含んでもよい。
様々な実施形態では、温度センサは、赤外線撮像のための赤外線カメラ（例えば、赤外線カメラ１１７が図１に示されている）を含むことができる。赤外線カメラ１１７は、構造の異なる点における解剖学的構造の表面温度の測定を可能にすることができる。可視カメラＤ１１５、１２１，１２３及び１２５と同様に、赤外線カメラ１１７は、ヨー角又はピッチ角を使用して回転させることができる。これに加えて又は代えて、カメラ１１７は、任意の光スペクトルから画像を捕捉するように構成された画像センサを含むことができ、赤外線画像センサ、ハイパースペクトル画像センサなどを含むことができる。
図１は、異なるカメラ１１５，１２１，１２３及び１２５からのビュー、並びに他の情報を示すことができる表示画面１１３を含む。例えば、表示画面１１３は、外科用器具の先端部及び外科用器具に近接する解剖学的構造の周囲組織のズームイン画像を示すことができる。
図３は、複数のセンサ及び発光源を含むことができる外科用器具３０１の例示的な実施形態を示す。本実施形態と整合して、外科用器具は、医療デバイス、医療機器、電気的又は機械的器具、手術器具、診断器具、及び／又は手術中に使用され得る任意の他の手段を指すことができる。図示のように、器具３０１は、カメラ３１１Ａ及び３１１Ｂ、光源３１３Ａ及び３１３Ｂ、並びに組織３３１に接触するための先端部３２３Ａ及び３２３Ｂを含むことができる。カメラ３１１Ａ及び３１１Ｂは、データ接続３１９Ａ及び３１９Ｂを介してデータ送信デバイス３２１に接続することができる。例示的な実施形態では、デバイス３２１は、無線通信を使用して、又は有線通信を使用してデータをデータ受信デバイスに送信することができる。例示的な実施形態では、デバイス３２１は、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ通信、誘導通信、又はデータ受信デバイスにデータを送信するための任意の他の適切な無線通信を使用することができる。データ受信デバイスは、データ送信を受信することができる任意の形態の受信機を含むことができる。これに加えて又は代えて、デバイス３２１は、光信号を使用してデータ受信装置にデータを送信することができる（例えば、デバイス３２１は、空気又は光ファイバを介して伝送される光信号を使用することができる）。幾つかの実施形態では、デバイス３０１は、センサ３１１Ａ及び３１１Ｂから受信したデータの少なくとも一部を記憶するためのローカルメモリを含むことができる。更に、デバイス３０１は、データ受信装置にデータを送信する前にビデオ／画像データを圧縮するためのプロセッサを含むことができる。
様々な実施形態では、例えば、デバイス３０１が無線である場合、デバイスは、内部電源（例えば、バッテリ、充電式バッテリなど）及び／又はバッテリを再充電するためのポート、電源のために残っている電力量を示すための指標、及びデバイス３０１の動作を制御するための１つ以上の入力コントロール（例えば、ボタン）を含むことができる。幾つかの実施形態では、デバイス３０１の制御は、任意の適切な接続（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈなど）を介してデバイス３０１と通信する外部デバイス（例えば、スマートフォン、タブレット、スマートグラス）を使用して達成され得る。例示的な実施形態では、デバイス３０１の入力制御部を使用して、センサ又は光源の様々なパラメータを制御することができる。例えば、入力コントロールを使用して、光源３１３Ａ及び３１３Ｂを暗くする／明るくする、光源を移動させることができる場合（例えば、光源は、ヨー角及びピッチ角を使用して回転することができる）に光源を移動させる、光源の色を制御する、光源の焦点を制御する、カメラを移動させることができる場合（例えば、カメラは、ヨー角及びピッチ角を使用して回転させることができる）にカメラ３１１Ａ及び３１１Ｂの動きを制御する、カメラ３１１Ａ及び３１１Ｂのズーム及び／又は捕捉パラメータを制御する、又はカメラ３１１Ａ～３１１Ｂ及び光源３１３Ａ～３１３Ｂの任意の他の適切なパラメータを変更することができる。カメラ３１１Ａは第１のパラメータセットを有してもよく、カメラ３１１Ｂは第１のパラメータセットとは異なる第２のパラメータセットを有してもよく、これらのパラメータは適切な入力コントロールを使用して選択されてもよいことに留意すべきである。同様に、光源３１３Ａは、第１のパラメータセットを有してもよく、光源３１３Ｂは、第１のパラメータセットとは異なる第２のパラメータセットを有してもよく、これらのパラメータは、適切な入力コントロールを使用して選択されてもよい。
更に、器具３０１は、先端部３２３Ａ及び３２３Ｂを介して組織３３１の様々な特性に関するデータを測定し、測定されたデータをデバイス３２１に送信するように構成されてもよい。例えば、先端部３２３Ａ及び３２３Ｂを使用して、組織３３１の電気抵抗及び／又はインピーダンス、組織３３１の温度、組織３３１の機械的特性などを測定することができる。組織３３１の弾性特性を決定するために、例えば、先端部３２３Ａ及び３２３Ｂは、最初に角度３１７で分離され、組織３３１に適用されてもよい。先端部は、角度３１７を減少させるように移動するように構成されてもよく、先端部の動きは、組織３３１に圧力をもたらし得る。そのような圧力を測定することができ（例えば、器具３０１の第１の枝部３１２Ａと第２の枝部３１２Ｂとの間に位置してもよい圧電素子３２７を介して）、角度の変化３１７（すなわち、歪み）及び測定された圧力（すなわち、応力）に基づいて、組織３３１の弾性特性を測定することができる。更に、角度３１７に基づいて、先端部３２３Ａと３２３Ｂとの間の距離を測定することができ、この距離をデバイス３２１に送信することができる。そのような距離測定値は、図１に示すように、様々なカメラ１１５，１２１，１２３及び１２５によって捕捉され得る様々なビデオ／画像データの長さスケールとして使用することができる。
器具３０１は、可能な外科用器具の一例にすぎず、メス、把持具（例えば、鉗子）、クランプ及び咬合器、針、リトラクタ、カッター、拡張器、吸引チップ及びチューブ、シーリングデバイス、灌注及び注射針、スコープ及びプローブなどの他の外科用器具は、任意の適切なセンサ及び発光源を含むことができる。様々な場合において、センサ及び発光源のタイプは、外科的処置に使用される外科用器具のタイプに依存し得る。様々な場合において、これらの他の外科用器具は、図３に示すように、データを収集して任意の適切なデータ受信デバイスに送信するためのデバイス３０１と同様のデバイスを含むことができる。
外科的処置の準備をするとき、外科医が同様の手術事象を有する外科的処置のビデオ映像を見直しすることは有益であり得る。しかしながら、外科医がビデオ全体を見るには時間がかかりすぎるか、又はスキップして手術映像の関連部分を見つけるには時間がかかりすぎる場合がある。したがって、他の無関係な映像を省略しながら関連する手術事象の映像を集約する手術ビデオ概要を外科医が効率的且つ効果的に見ることができるようにする非従来的な手法が必要とされている。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む、手術ビデオの見直しに関するものとなり得る。インタフェースは、外科医が手術タイムラインを同時に表示して手術ビデオ（自身の手術、他者の手術、又はコンパイル）を見直しすることを可能にすることができる。タイムラインは、外科的処置中に発生する行動又は事象にキー設定されたマーカを含むことができる。これらのマーカは、外科医が特定の行動にスキップすることを可能にし、それによって外科的処置の見直しを合理化することができる。幾つかの実施形態では、重要な意思決定ジャンクションポイントをマークすることができ、外科医は、それらの意思決定ジャンクションポイントで講じられた別の動作を見ることができる。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、本方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの異なる手段を使用して達成され得る。
開示された実施形態と整合して、方法は、外科的処置の少なくとも１つのビデオにアクセスすることを含むことができる。上記でより詳細に説明したように、ビデオは、記録された画像及び／又は音声を含む任意の形態の記録された視覚媒体を含むことができる。ビデオは、例えば上述したように、音声・ビデオ・インターリーブ（ＡＶＩ）ファイル、フラッシュ・ビデオ・フォーマット（ＦＬＶ）ファイル、クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４Ｐなど）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（ＷＭＶ）ファイル、マテリアル・エクスチェンジ・フォーマット（ＭＸＦ）ファイル、又は任意の他の適切なビデオ・ファイル・フォーマットなどのビデオファイルとして記憶され得る。
外科的処置は、患者の身体に対する手動又は手術処置に関連する、又はそれを含む任意の医療処置を含み得る。外科的処置は、切断、擦過、縫合、又は身体組織及び器官の物理的変化を伴う他の技術を含み得る。そのような外科的処置の例は、上に提供されている。外科的処置のビデオは、外科的処置中に捕捉され、外科的処置に関連付けられた任意の一連の静止画像を含むことができる。幾つかの実施形態では、外科的処置の少なくとも一部は、ビデオに含まれる静止画像のうちの１つ以上に描写され得る。例えば、外科的処置のビデオは、手術室又は患者の腔において、カメラなどの画像捕捉装置によって記録されてもよい。外科的処置のビデオにアクセスすることは、記憶装置（１つ以上のメモリユニット、ビデオサーバ、クラウドストレージプラットフォーム、又は任意の他のストレージプラットフォームなど）からビデオを取り出すこと、通信装置を介して別の装置からビデオを受信すること、画像センサを使用してビデオを捕捉すること、又はデータもしくはファイルに電子的にアクセスするための任意の他の手段を含むことができる。
本開示の幾つかの態様は、少なくとも１つのビデオを表示のために出力させることを含み得る。少なくとも１つのビデオを出力することは、ビデオがコンピュータ又は少なくとも１つのプロセッサを使用して生成、配信、又は供給される任意のプロセスを含むことができる。本明細書で使用される場合、「ディスプレイ」は、ビデオを再生のためにユーザに提示することができる任意の方法を指すことができる。幾つかの実施形態では、ビデオを出力することは、スクリーン（例えば、ＯＬＥＤ、ＱＬＥＤ ＬＣＤ、プラズマ、ＣＲＴ、ＤＬＰＴ、電子ペーパー、又は同様のディスプレイ技術）、光プロジェクタ（例えば、ムービープロジェクタ、スライドプロジェクタ）、３Ｄディスプレイ、モバイルデバイスのスクリーン、電子眼鏡、又は任意の他の形態の視覚及び／又は音声提示などのディスプレイデバイスを使用してビデオを提示することを含むことができる。他の実施形態では、表示用のビデオを出力することは、１つ以上の他のコンピューティングデバイスによってアクセス可能な場所にビデオを記憶することを含むことができる。そのような記憶場所としては、ローカル記憶装置（フラッシュメモリのハードドライブなど）、ネットワーク位置（サーバ又はデータベースなど）、クラウドコンピューティングプラットフォーム、又は任意の他のアクセス可能な記憶場所を挙げることができる。ビデオは、別個のコンピューティングデバイス上に表示するために別個のコンピューティングデバイスからアクセスされてもよい。幾つかの実施形態では、ビデオを出力することは、ビデオを外部デバイスに送信することを含むことができる。例えば、表示用のビデオを出力することは、ユーザ装置上で再生するためにネットワークを介してユーザ装置にビデオを送信することを含むことができる。
本開示の実施形態は、手術タイムラインを表示するために出力された少なくとも１つのビデオにオーバーレイすることを更に含むことができる。本明細書で使用される場合、「タイムライン」は、一連の事象が追跡又は画定され得る任意の描写を指すことができる。幾つかの実施形態では、タイムラインは、例えば、バーに沿った事象のマーカ又は他の指標を有する時間を表す細長いバー又は線を使用して、事象のグラフィカル表示であってもよい。また、タイムラインは、時系列順に配置された事象のテキストベースのリストであってもよい。手術タイムラインは、手術に関連する事象を表すタイムラインであってもよい。一例として、手術タイムラインは、上記で詳細に説明したように、外科的処置中に発生する事象又は動作のタイムラインであってもよい。幾つかの実施形態では、手術タイムラインは、外科的処置の部分を識別するテキスト情報を含むことができる。例えば、手術タイムラインは、外科的処置内の術中手術事象又は手術段階の記述のリストであってもよい。他の実施形態では、タイムライン上のグラフィックマーカをホバーするか、又は他の方法で作動させることによって、マーカに関連付けられた記述子が表示され得る。
手術タイムラインを少なくとも１つのビデオにオーバーレイすることは、少なくとも１つのビデオと同時に見ることができるように手術タイムラインを表示する任意の方法を含むことができる。幾つかの実施形態では、ビデオをオーバーレイすることは、ビデオに少なくとも部分的に重なるように手術タイムラインを表示することを含むことができる。例えば、手術タイムラインは、ビデオの上部又は下部に沿った水平バー、又はビデオの側面に沿った垂直バーとして提示されてもよい。他の実施形態では、オーバーレイすることは、ビデオと共に手術タイムラインを提示することを含むことができる。例えば、ビデオは、ビデオの上、下、及び／又は側面に提示された手術タイムラインと共にディスプレイに提示されてもよい。手術タイムラインは、ビデオが再生されている間にビデオ上にオーバーレイされてもよい。したがって、本明細書で使用される「オーバーレイ」は、より一般的には同時表示を指す。同時表示は、一定であってもなくてもよい。例えば、オーバーレイは、表示されたビデオに描写された外科的処置の終了前にビデオ出力と共に現れることができる。或いは、オーバーレイは、ビデオ処置の実質的に全ての間に現れることができる。
図４は、開示された実施形態と整合する外科的処置のビデオにオーバーレイされた例示的なタイムライン４２０を示す。ビデオは、ビデオの１つ以上のフレームを順次表示することができるビデオ再生領域４１０に提示することができる。図４に示す例では、タイムライン４２０は、時間を表す水平バーとして表示されてもよく、バーの左端部分はビデオの開始時間を表し、バーの右端部分は終了時間を表す。タイムライン４２０は、タイムラインに対するビデオの現在の再生位置を示す位置指標４２４を含むことができる。タイムライン４２０の色付き領域４２２は、タイムライン４２０内の進捗を表すことができる（例えば、ユーザによって既に視聴されたビデオ、又は現在提示されているフレームの前に来るビデオに対応する）。幾つかの実施形態では、位置指標４２４は、ユーザが位置指標４２４を移動させることによってビデオ内の異なる位置に移動することができるように、インタラクティブであってもよい。幾つかの実施形態では、手術タイムラインは、手術段階、術中手術事象、及び意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含むことができる。例えば、タイムライン４２０は、１つ以上のマーカ４３２，４３４、及び／又は４３６を更に含むことができる。そのようなマーカは、以下により詳細に記載される。
図４に示す例では、タイムライン４２０は、物理的に、時間的に、又はその両方でビデオ再生領域４１０に重なるように表示されてもよい。幾つかの実施形態では、タイムライン４２０は、常に表示されなくてもよい。一例として、タイムライン４２０は、ユーザがビデオを視聴している間に折り畳まれた又は隠されたビューに自動的に切り替わることができ、ユーザがタイムライン４２０と相互作用するための動作を取ると、図４に示す拡張ビューに戻ることができる。例えば、ユーザは、ビデオを見ながらマウスポインタを移動し、折り畳まれたタイムライン上でマウスポインタを移動し、マウスポインタを特定の領域に移動し、ビデオ再生領域をクリック又はタップし、又はタイムライン４２０と相互作用する意図を示すことができる他の任意の動作を実行することができる。上述したように、タイムライン４２０は、ビデオ再生領域４１０の上部、ビデオ再生領域４１０の上もしくは下、又は制御バー６１２内を含む、ビデオ再生領域４１０に対して様々な他の位置に表示されることができる。幾つかの実施形態では、タイムライン４２０は、ビデオ進行バーとは別に表示されてもよい。例えば、位置指標４２４及び色付き領域４２２を含む別個のビデオ進行バーが制御バー４１２に表示されてもよく、タイムライン４２０は、外科的処置に関連する事象の別個のタイムラインであってもよい。そのような実施形態では、タイムライン４２０は、ビデオ又はビデオ進行バーと同じスケール又は時間範囲を有さなくてもよい。例えば、ビデオ進行バーは、ビデオのタイムスケール及び範囲を表すことができるが、タイムライン４２０は、外科的処置の時間枠を表すことができ、これは同じでなくてもよい（例えば、上で詳細に説明したように、ビデオが手術概要を含む場合）。幾つかの実施形態では、ビデオ再生領域４１０は、例えば、図７を参照して上述したように、ユーザがユーザインタフェース７００を介してビデオ映像を検索することを可能にすることができる検索アイコン４４０を含むことができる。図４に示す手術タイムラインは、例としてのみ提供されており、当業者は、使用され得る様々な他の構成を理解し得る。
本開示の実施形態は、外科医が少なくとも１つのビデオの再生を見ながら手術タイムライン上の１つ以上のマーカを選択できるようにし、それにより、ビデオの表示を選択されたマーカと関連付けられる位置にスキップさせることを更に含んでもよい。本明細書で使用される場合、「再生」は、ビデオの１つ以上のフレームがユーザに表示されるビデオの任意の提示を含むことができる。通常、再生は動画及び／又は音声を再生するために画像を順次表示することを含むが、再生は個々のフレームの表示も含むことができる。
開示された実施形態と整合して、「マーカ」は、手術タイムライン内の位置に関連付けられた任意の視覚指標を含むことができる。上述したように、位置は、ビデオ内の任意の特定の位置を指すことができる。例えば、位置は、ビデオ内の特定のフレーム又はフレームの範囲、特定のタイムスタンプ、又はビデオ内の位置の任意の他の指標であってもよい。マーカは、様々な方法でタイムライン上に表され得る。幾つかの実施形態では、マーカは、様々な位置でタイムラインに沿って表示されるアイコン又は他のグラフィック表示であってもよい。マーカは、線、バンド、ドット、幾何学的形状（例えば、ひし形、正方形、三角形、又は任意の他の形状）、バブル、又は任意の他のグラフィック又は視覚的表示として表示されてもよい。幾つかの実施形態では、マーカはテキストベースであってもよい。例えば、マーカは、名前、説明、コード、タイムスタンプなどのテキスト情報を含むことができる。別の例では、上述したように、手術タイムラインはリストとして表示されてもよい。したがって、マーカは、ビデオの特定の位置を参照するテキストベースのタイトル又は説明を含むことができる。マーカ４３２，４３４及び４３６は、図４に例として示されている。マーカは、位置に関連するマーカのタイプを示すアイコンを含むコールアウトバブルとして表されてもよい。マーカは、ビデオ内の位置を示すタイムライン４２０に沿った特定の点を指すことができる。
マーカの選択は、特定のマーカに向けられたユーザによる任意の動作を含むことができる。幾つかの実施形態では、マーカを選択することは、ユーザインタフェースを介してマーカをクリック又はタップすること、タッチセンシティブスクリーン上のマーカに触れること、スマートグラスを介してマーカを一瞥すること、音声インタフェースを介してマーカを示すこと、ジェスチャでマーカを示すこと、又はマーカを選択させる任意の他の動作を実行することを含むことができる。これにより、マーカを選択すると、ビデオの表示が選択されたマーカに関連付けられた位置にスキップされる。本明細書で使用する場合、スキップは、ビデオ内の特定のフレームを選択的に表示することを含むことができる。これは、ビデオ内の現在位置でのフレームの表示を停止すること（例えば、ビデオが現在再生中である場合）、及び選択されたマーカに関連付けられた位置にフレームを表示することを含むことができる。例えば、図４に示すように、ユーザがマーカ４３２をクリック又は選択すると、マーカ４３２に関連付けられた位置のフレームがビデオ再生領域４１０に表示され得る。幾つかの実施形態では、ビデオはその場所から再生し続けることができる。位置指標４２４は、マーカ４３２に関連付けられたタイムライン４２０内の位置に移動することができ、それに応じて着色領域４２２を更新することができる。本実施形態は、外科医が１つ以上のマーカを選択することを可能にするものとして説明されているが、これは一例にすぎず、本開示はいかなる形態のユーザにも限定されないことが理解される。手術技師、看護師、医師の助手、麻酔科医、医師、又は任意の他のヘルスケア専門家、並びに患者、保険会社、医学生などを含む様々な他のユーザが、オーバーレイされたタイムラインを見て相互作用することができる。ユーザの他の例は、本明細書で提供される。
本開示の実施形態によれば、マーカは、所定の位置におけるビデオ内の情報に基づいて自動的に生成され、タイムラインに含まれ得る。幾つかの実施形態では、コンピュータ解析を使用してビデオ映像のフレームを解析し、タイムラインの様々な位置に含めるマーカを識別することができる。コンピュータ解析は、コンピューティングデバイスを使用する任意の形態の電子解析を含むことができる。幾つかの実施形態では、コンピュータ解析は、ビデオ映像の１つ以上のフレームの特徴を識別するために１つ以上の画像認識アルゴリズムを使用することを含み得る。コンピュータ解析は、個々のフレームに対して実行されてもよく、例えば、フレーム間の動き又は他の変化を検出するために、複数のフレームにわたって実行されてもよい。幾つかの実施形態において、コンピュータ解析としては、Ｖｉｏｌａ－Ｊｏｎｅｓ物体検出、スケール不変特徴変換（ＳＩＦＴ）、配向勾配ヒストグラム（ＨＯＧ）特徴、畳み込みニューラルネットワーク（ＣＮＮ）、又は任意の他の形態の物体検出アルゴリズムなどの物体検出アルゴリズムを挙げることができる。他の例示的なアルゴリズムとしては、ビデオ追跡アルゴリズム、動き検出アルゴリズム、特徴検出アルゴリズム、カラーベースの検出アルゴリズム、テクスチャベースの検出アルゴリズム、形状ベースの検出アルゴリズム、ブースティングベースの検出アルゴリズム、顔検出アルゴリズム、又はビデオフレームを解析するための任意の他の適切なアルゴリズムを挙げることができる。一例では、機械学習モデルは、ビデオのマーカを生成するためにトレーニング例を使用してトレーニングされてもよく、トレーニングされた機械学習モデルは、ビデオを解析し、そのビデオのマーカを生成するために使用されてもよい。そのように生成されたマーカは、マーカのビデオ内の位置、マーカのタイプ、マーカの特性などを含むことができる。そのようなトレーニング例の一例は、生成される所望のマーカのリストと共に、場合によってはマーカのビデオ内の位置、マーカのタイプ、マーカの特性などの各所望のマーカの情報と共に、外科的処置の少なくとも一部を示すビデオクリップを含むことができる。
このコンピュータ解析は、手術段階、術中事象、事象特性、及び／又はビデオ映像に現れる他の特徴を識別するために使用され得る。例えば、幾つかの実施形態では、コンピュータ解析を使用して、例えば上述のように、外科的処置で使用される１つ以上の医療機器を識別することができる。医療器具の識別に基づいて、医療機器に関連するビデオ映像内の位置で特定の術中事象を識別することができる。例えば、メス又は他の器具は、切開が行われていることを示すことができ、切開を識別するマーカがこの位置でタイムラインに含まれ得る。幾つかの実施形態では、例えば上述したように、コンピュータ解析を使用してビデオ映像内で解剖学的構造を識別することができる。例えば、開示された方法は、患者の臓器、組織、流体又は他の構造を識別して、タイムライン及びそれらのそれぞれの位置に含めるマーカを決定することを含み得る。幾つかの実施形態では、ビデオマーカの位置は、医療機器と解剖学的構造との間の相互作用に基づいて決定することができ、特定の術中事象、外科的処置のタイプ、事象特性、又はマーカ位置を識別するのに有用な他の情報を示すことができる。例えば、視覚的行動認識アルゴリズムを使用して、ビデオを解析し、医療機器と解剖学的構造との間の相互作用を検出することができる。マーカを配置するためにビデオ映像内で検出され得る特徴の他の例としては、外科医又は他の医療専門家の動き、患者の特性、外科医の特性又は他の医療専門家の特性、実行されている動作のシーケンス、動作又は事象のタイミング、解剖学的構造の特性、医学的状態、又は特定の外科的処置、手術段階、術中事象、及び／又はビデオ映像に現れる事象特性を識別するために使用され得る任意の他の情報を挙げることがでできる。
幾つかの実施形態では、マーカ位置は、トレーニングされた機械学習モデルを使用して識別することができる。例えば、機械学習モデルは、トレーニング例を使用してトレーニングすることができ、各トレーニング例は、ビデオ映像内の位置を示すラベルと共に、外科的処置、手術段階、術中事象、及び／又は事象特性に関連することが知られているビデオ映像を含むことができる。トレーニングされた機械学習モデルを使用して、マーカ位置を決定するための他のビデオ映像において同様の段階及び事象を識別することができる。ロジスティック回帰モデル、線形回帰モデル、回帰モデル、ランダムフォレストモデル、ｋ近傍法（ＫＮＮ）モデル、ｋ平均法モデル、決定木、コックス比例ハザード回帰モデル、ナイーブベイズモデル、サポートベクターマシン（ＳＶＭ）モデル、勾配ブースティングアルゴリズム、人工ニューラルネットワーク（例えば、ディープニューラルネットワーク、畳み込みニューラルネットワークなど）、又は任意の他の形態の機械学習モデルもしくはアルゴリズムを含む、様々な機械学習モデルを使用することができる。
幾つかの実施形態では、ビデオマーカは、上述したビデオインデックス付け技術と併せて識別することができる。上述したように、ビデオ映像は、ビデオ映像内で識別された手術段階、術中事象、及び／又は事象特性に基づいてインデックス付けされ得る。この情報は、図６を参照して説明したように、データ構造６００などのデータ構造に記憶することができる。データ構造は、ビデオ映像内の段階及び事象に関連付けられた映像位置及び／又は事象位置を含み得る。幾つかの実施形態では、タイムラインに表示されるマーカは、ビデオ内のこれらの位置に対応することができる。したがって、ビデオ映像をインデックス付けするための上記の技術又はプロセスのいずれも、タイムラインに提示するためのマーカ位置を決定することに同様に適用することができる。
本開示の様々な例示的な実施形態によれば、マーカは、色又は臨界レベルの少なくとも１つによってコード化されてもよい。マーカのコーディングは、マーカのタイプ、特性、又は特性の任意の指標であり得る。コーディングは、ビデオのどの位置が対象のものであり得るかを視覚的に決定する際にユーザにとって有用であり得る。マーカが色によってコード化される場合、手術タイムラインに表示されるマーカの色は、所定のカラースキームに基づいてマーカの特性又は特性を示すことができる。例えば、マーカは、マーカが表す術中手術事象のタイプに応じて異なる色を有することができる。幾つかの例示的な実施形態では、切開、切除、切除、結紮、移植片、又は様々な他の事象に関連するマーカは、それぞれ異なる色で表示されてもよい。他の実施形態では、術中有害事象は１つの色（例えば、赤色）に関連付けられてもよく、計画された事象は別の色（例えば、緑色）に関連付けられてもよい。幾つかの実施形態では、カラースケールを使用することができる。例えば、有害事象の重症度は、黄色～赤色の範囲のカラースケール、又は他の適切なカラースケールで表すことができる。
幾つかの実施形態では、マーカの位置及び／又はサイズは、臨界レベルに関連付けられ得る。臨界レベルは、マーカによって識別された事象、動作、技法、段階、又は他の発生の相対的な重要性を表すことができる。したがって、本明細書で使用される場合、「臨界レベル」という用語は、外科的処置内の危険な結果を防止するための動作の即時必要性の任意の指標を指す。例えば、臨界レベルは、例えば特定の値の範囲内の数値指標（例えば、「１．１２」、「３．８４」、「７」、「－４．０１」などである）を含むことができる。別の例では、臨界レベルは、有限数の離散的レベル（例えば、「レベル０」、「レベル１」、「レベル２」、「高臨界」、「低臨界」、「非臨界」などである）を含むことができる。
情報を表すためにマーカの外観を区別するための一例として色が提供されているが、様々な他の技術が使用されてもよい。例えば、マーカは、様々なサイズ、形状、位置、向き、フォントサイズ、フォントタイプ、フォント色、マーカアニメーション、又は他の視覚的特性を有することができる。幾つかの実施形態では、マーカは、それらが関連付けられている事象、動作、又は段階のタイプに応じて異なるアイコンに関連付けられ得る。例えば、図４に示すように、決定ジャンクションに関連付けられ得るマーカ４３２は、合併症などの別のタイプの事象に関連付けられ得るマーカ４３４とは異なるアイコンを有し得る。アイコンは、その位置に関連付けられた術中事象のタイプを表すことができる。例えば、マーカ４３６は、ビデオ内のこの位置で切開が行われたことを示すことができる。アイコン（又は他の視覚特性）は、計画されていない事象と計画された事象との間、エラーのタイプ（例えば、誤通信エラー、判断エラー、又は他の形態のエラー）、発生した特定の有害事象、実行されている技術のタイプ、実行されている手術段階、術中手術事象の位置（例えば、腹壁における位置など）、処置を実行している外科医、外科的処置の転帰、又は様々な他の情報を区別するために使用され得る。
幾つかの例示的な実施形態では、１つ以上のマーカは、外科的処置の意思決定ジャンクションに対応する意思決定ジャンクションマーカを含むことができる。幾つかの実施形態では、そのような意思決定ジャンクションマーカは、他の形態又はタイプのマーカと視覚的に区別することができる。例示的な例として、意思決定ジャンクションマーカは、マーカ４３２によって図４に示されるように、位置が意思決定ジャンクションに関連付けられていることを示すアイコンを有することができる。本明細書で使用される場合、意思決定ジャンクションは、決定が行われる処置、又は選択されたタイプの決定もしくは複数の選択されたタイプの決定の決定が行われる処置の任意の部分を指すことができる。例えば、意思決定ジャンクションマーカは、複数の動作コースが可能であり、外科医が１つのコースを別のコースを辿ることを選択する外科的処置を描写するビデオの位置を示すことができる。例えば、外科医は、計画された外科的処置から離れるか、予防措置をとるか、器官又は組織を除去するか、特定の器具を使用するか、特定の外科的手技を使用するかどうか、又は外科医が直面し得る任意の他の術中決定を決定することができる。一例では、意思決定ジャンクションは、処置の転帰に大きな影響を及ぼす決定が行われる処置の一部を指すことができる。別の例では、意思決定ジャンクションは、明確な意思決定指針を持たない決定を行わなければならない処置の一部を指すことができる。更に別の例では、意思決定ジャンクションは、外科医が２つ以上の実行可能な代替案に直面し、２つ以上の実行可能な代替案のうちのより良い代替案（例えば、特定のリスクを低減すると予測される代替案、転帰を改善すると予測される代替案、コストを低減すると予測される代替案などである）を選択することが少なくとも特定の数の要因（例えば、少なくとも２つの要因、少なくとも５つの要因、少なくとも１０の要因、少なくとも１００の要因などに基づく）に基づく処置の一部を指すことができる。更なる例では、意思決定ジャンクションは、外科医が特定のタイプの決定に直面し、特定のタイプが選択された決定タイプのグループに含まれる処置の一部を指すことができる。
意思決定ジャンクションは、上述のコンピュータ解析を使用して検出することができる。幾つかの実施形態では、ビデオ映像を解析して、決定がなされたことを示すことができる外科医によって実行された特定の動作又は動作のシーケンスを識別することができる。例えば、外科医が処置中に一時停止した場合、異なる医療デバイスの使用を開始した場合、又は異なる一連の動作に変更した場合、これは決定がなされたことを示し得る。幾つかの実施形態では、意思決定ジャンクションは、その場所のビデオ映像で識別された手術段階又は術中事象に基づいて識別することができる。例えば、出血などの有害事象を検出することができ、これは有害事象に対処する方法について決定を行わなければならないことを示し得る。別の例として、外科的処置の特定の段階は、複数の可能な行動の経過と関連付けられてもよい。したがって、ビデオ映像内のこの手術段階を検出することは、意思決定ジャンクションを示すことができる。幾つかの実施形態では、トレーニングされた機械学習モデルを使用して、意思決定ジャンクションを識別することができる。例えば、ビデオ内の意思決定ジャンクションを検出するためにトレーニング例を使用して機械学習モデルをトレーニングすることができ、トレーニングされた機械学習モデルを使用してビデオを解析し、意思決定ジャンクションを検出することができる。そのようなトレーニング例の一例は、ビデオクリップ内の意思決定ジャンクションの位置を示すラベルと共に、又はビデオクリップ内の意思決定ジャンクションの欠如を示すラベルと共に、ビデオクリップを含むことができる。
意思決定ジャンクションマーカの選択は、外科医が２つ以上の対応する他の外科的処置からの２つ以上の別のビデオクリップを見ることを可能にすることができ、それによって観察者が別の手法を比較することを可能にする。別のビデオクリップは、現在ユーザに表示されているもの以外の処置を示す任意のビデオクリップであってもよい。そのような代替案は、表示のために出力されている現在のビデオに含まれていない他のビデオ映像から描画されてもよい。或いは、現在のビデオ映像が異なる処置のコンパイルを含む場合、代替映像は、表示されている現在のビデオ映像の異なる位置から描画されてもよい。他の外科的処置は、表示のために出力されている現在のビデオに示されている特定の処置以外の任意の外科的処置であってもよい。幾つかの実施形態では、他の外科的処置は、表示のために出力されているビデオに示されているのと同じタイプの外科的処置であってもよいが、異なる時間に、異なる患者で、及び／又は異なる外科医によって行われる。幾つかの実施形態では、他の外科的処置は、同じタイプの処置でなくてもよく、意思決定ジャンクションマーカによって識別されたものと同じ又は同様の意思決定ジャンクションを共有してもよい。幾つかの実施形態では、２つ以上のビデオクリップは、異なる行為を提示することができる。例えば、２つ以上のビデオクリップは、意思決定ジャンクションマーカによって表されるように、現在のビデオで取られたものとは別の動作の選択を表すことができる。
別のビデオクリップは、様々な方法で提示することができる。幾つかの実施形態では、意思決定ジャンクションマーカを選択すると、２つ以上の別のビデオクリップが自動的に表示され得る。例えば、別のビデオクリップのうちの１つ以上をビデオ再生領域４１０に表示することができる。幾つかの実施形態では、ビデオ再生領域は、別のビデオクリップ及び／又は現在のビデオのうちの１つ以上を示すために分割又は分割されてもよい。幾つかの実施形態では、別のビデオクリップは、ビデオ再生領域４１０の上、下、又は横などの別の領域に表示されてもよい。幾つかの実施形態では、別のビデオクリップは、第２のウィンドウ、別の画面、又は再生領域４１０以外の任意の他の空間に表示されてもよい。他の実施形態によれば、決定マーカを選択することは、別のビデオクリップを見るためのメニューを開くか、そうでなければオプションを表示することができる。例えば、決定命名マーカを選択すると、関連する別のビデオクリップ内の行動の描写を含む別のビデオメニューがポップアップ表示され得る。別のビデオクリップは、サムネイル、テキストベースの記述、ビデオ見直し（例えば、より小さい解像度のバージョン又は短縮クリップを再生する）などとして提示されてもよい。メニューは、ビデオにオーバーレイされてもよく、ビデオと併せて表示されてもよく、別の領域に表示されてもよい。
本開示の実施形態によれば、意思決定ジャンクションマーカの選択は、選択された意思決定ジャンクションマーカに関連する１つ以上の別の想定し得る決定の表示を引き起こすことができる。別のビデオと同様に、別の想定し得る決定は、タイムライン及び／又はビデオにオーバーレイされてもよく、又はビデオの上、下及び／又は側面などの別個の領域に、別個のウィンドウに、別個の画面に、又は任意の他の適切な方法で表示されてもよい。別の想定し得る決定は、外科医が意思決定ジャンクションで行うことができた別の決定のリストであってもよい。また、リストは、画像（例えば、代替動作を示す）、フロー図、統計（例えば、成功率、失敗率、使用率、又は他の統計情報）、詳細な説明、ハイパーリンク、又は、再生を見る外科医に関連し得る別の想定し得る決定と関連付けられる他の情報を含んでもよい。そのようなリストはインタラクティブであり、視聴者がリストから別の行動方針を選択することを可能にし、それによって別の行動方針のビデオ映像を表示させることができる。
更に、幾つかの実施形態では、１つ以上の別の想定し得る決定と関連付けられる１つ以上の推定される転帰を、１つ以上の別の想定し得る決定の表示と併せて表示することができる。例えば、別の想定し得る決定のリストは、別の想定し得る決定のそれぞれの推定転帰を含むことができる。推定転帰は、外科医が別の想定し得る決定を行った場合に発生すると予測される転帰を含むことができる。そのような情報は、トレーニング目的に役立つ場合がある。例えば、外科医は、ビデオよりも適切な動作をとることができたと決定することができ、それに応じて将来の処置を計画することができる。幾つかの実施形態では、別の想定し得る決定のそれぞれは、複数の推定転帰と関連付けられてもよく、それぞれの確率が提供されてもよい。１つ以上の推定転帰は、様々な方法で決定することができる。幾つかの実施形態では、推定転帰は、別の想定し得る決定に関連する既知の確率に基づくことができる。例えば、同様の意思決定ジャンクションを有する以前の外科的処置からの集約データを使用して、マーカに関連する別の想定し得る決定の転帰を予測することができる。幾つかの実施形態では、確率及び／又はデータは、現在の外科的処置の１つ以上の特性又は特性に合わせて調整することができる。例えば、推定転帰を決定する際に、患者の特性（患者の病状、年齢、体重、病歴、又は他の特性など）、外科医のスキルレベル、処置の困難さ、処置のタイプ、又は他の要因を考慮することができる。ビデオインデックス付けに関して上述した事象特性を含む他の特性も解析することができる。
本開示によれば、外科的処置の意思決定ジャンクションは、第１の患者に関連付けられてもよく、それぞれの同様の意思決定ジャンクションは、第１の患者と同様の特性を有する患者に関連付けられた過去の外科的処置から選択されてもよい。過去の外科的処置は、それぞれの同様の意思決定ジャンクションと同様の推定転帰に基づいて、又は現在のビデオの患者と過去の外科的処置の患者との間の類似性のために、事前に選択又は自動的に選択することができる。これらの類似性又は特性としては、患者の性別、年齢、体重、身長、体力、心拍数、血圧、体温、患者が特定の医学的状態又は疾患を示すかどうか、医学的治療歴、又は関連し得る任意の他の形質又は状態を挙げることができる。
同様に、幾つかの実施形態では、外科的処置の意思決定ジャンクションは、第１の医療専門家に関連付けられてもよく、それぞれの同様の過去の意思決定ジャンクションは、第１の医療専門家と同様の特性を有する医療専門家に関連付けられた過去の外科的処置から選択されてもよい。これらの特性としては、医療専門家の年齢、医学的背景、経験レベル（例えば、外科医がこの又は同様の外科的処置を行った回数、外科医が行った外科的処置の総数などで）、スキルレベル、トレーニング履歴、この又は他の外科的処置の成功率、又は関連し得る他の特性を挙げることができるが、これらに限定されない。
幾つかの例示的な実施形態では、外科的処置の意思決定ジャンクションは、外科的処置における第１の事前事象に関連付けられ、同様の過去の意思決定ジャンクションは、第１の事前事象に類似する事前事象を含む過去の外科的処置から選択される。一例では、事前事象は、例えば、事前事象のタイプ、事前事象の特性などに基づいて、第１の事前事象に類似していると決定され得る。例えば、２つの間の類似性指標が選択された閾値を上回る場合、事前事象は、第１の事前事象と同様であると決定され得る。そのような類似性指標の幾つかの非限定的な例が上記に記載されている。事前事象の発生及び／又は特性は、別の想定し得る決定の推定転帰を決定するのに関連し得る。例えば、外科医が患者との合併症に直面した場合、合併症は少なくとも部分的に最も適切な転帰を決定することができるが、合併症がない場合は異なる転帰が適切であり得る。第１の事前事象は、上記で詳細に説明した術中事象のいずれかを含むことができるが、これに限定されない。第１の事前事象の幾つかの非限定的な特性は、上述した事象特性のいずれかを含むことができる。例えば、第１の事前事象としては、出血、腸間膜気腫、損傷、計画されていない開放への転換、計画されているよりも有意に大きい切開、高血圧、低血圧、徐脈、低酸素血症、癒着、ヘルニア、非定型解剖学的構造、硬膜裂傷、腹膜損傷、動脈閉塞などの有害事象又は合併症を挙げることができる。また、第１の事前事象としては、成功した切開、薬物の投与、外科用器具の使用、切除、切除、結紮、移植片、縫合、縫合、又は任意の他の事象などの正の又は計画された事象を挙げることもできる。
本開示によれば、外科的処置の意思決定ジャンクションは、医学的状態に関連付けられてもよく、それぞれの同様の意思決定ジャンクションは、同様の医学的状態を有する患者に関連付けられた過去の外科的処置から選択されてもよい。医学的状態は、患者の健康又は幸福に関連する患者の任意の状態を含むことができる。幾つかの実施形態では、医学的状態は、外科的処置によって治療されている状態であり得る。他の実施形態では、医学的状態は別個の医学的状態であり得る。医学的状態は、様々な方法で決定することができる。幾つかの実施形態では、医学的状態は、複数の映像と関連付けられたデータに基づいて決定することができる。例えば、ビデオは、医学的状態を含む情報でタグ付けされてもよい。他の実施形態では、医学的状態は、少なくとも１つのビデオの解析によって決定することができ、少なくとも１つのビデオに現れる解剖学的構造の外観に基づくことができる。例えば、組織の色、別の組織の色に対する１つの組織の相対的な色、器官のサイズ、別の器官のサイズに対する１つの器官の相対的なサイズ、胆嚢又は他の器官の外観、裂傷又は他のマークの存在、又は解剖学的構造に関連する任意の他の視覚的指標を解析して、病状を決定することができる。一例では、機械学習モデルは、ビデオから医学的状態を決定するためにトレーニング例を使用してトレーニングされてもよく、トレーニングされた機械学習モデルは、少なくとも１つのビデオ映像を解析し、医学的状態を決定するために使用されてもよい。そのようなトレーニング例の一例は、１つ以上の医学的状態を示すラベルと共に、外科的処置のビデオクリップを含むことができる。
本開示の幾つかの態様では、それぞれの同様の過去の意思決定ジャンクションにおいて行われた過去の意思決定の分布に関する情報が、別の想定し得る意思決定の表示と併せて表示され得る。例えば、上述したように、特定の意思決定ジャンクションは、一連の動作に関する複数の想定し得る決定に関連付けられ得る。過去の決定は、同じ又は同様の意思決定ジャンクションに直面したときに以前の外科的処置において外科医によって行われた決定を含むことができる。例えば、過去の決定のそれぞれは、上述した別の想定し得る決定のうちの１つに対応することができる。したがって、本明細書で使用される場合、それぞれの同様の過去の意思決定ジャンクションは、過去の決定が行われたときに過去の外科的処置で発生した意思決定ジャンクションを指す。幾つかの実施形態では、それぞれの同様の過去の意思決定ジャンクションは、マーカによって識別された意思決定ジャンクションと同じであってもよい。例えば、意思決定ジャンクションが出血などの有害事象である場合、過去の決定は、他の外科医が以前の外科的処置で出血にどのように対処したかに対応することができる。他の実施形態では、意思決定ジャンクションは同一でなくてもよいが、同様であってもよい。例えば、硬膜裂傷に直面した外科医によって行われる想定し得る決定は、他の形態の裂傷と同様であってもよく、したがって、硬膜裂傷に関連する過去の決定の分布は、他の形態の裂傷に関連し得る。過去の決定は、例えば、上述のコンピュータ解析技術を使用してビデオ映像を解析することによって識別することができる。幾つかの実施形態では、過去の決定は、過去の決定の分布を表示するためにそれらに容易にアクセスすることができるように、上述したビデオインデックス付け技術を使用してインデックス付けされることができる。一例では、分布は、例えば、共通の特性を有するそれぞれの同様の過去の意思決定ジャンクションで行われた過去の意思決定の分布を提示する条件付き分布を含むことができる。別の例では、分布は、例えば、全ての同様の過去の意思決定ジャンクションで行われた過去の意思決定の分布を提示する、無条件の分布を含むことができる。
表示された分布は、想定し得る決定のそれぞれが、それぞれの同様の過去の意思決定ジャンクションに関連付けられた他の別の想定し得る決定の中でどれだけ共通していたかを示すことができる。幾つかの実施形態では、表示された分布は、各決定が行われた回数を含むことができる。例えば、特定の意思決定ジャンクションは、決定Ａ、決定Ｂ、及び決定Ｃの３つの別の想定し得る決定を有することができる。同様の意思決定ジャンクションで行われた過去の決定に基づいて、これらの別の想定し得る決定のそれぞれが実行された回数を決定することができる。例えば、決定Ａが１６７回行われ、決定Ｂが４７回行われ、決定Ｃが１３回行われてもよい。分布は、別の想定し得る決定のそれぞれのリストとして、それらが実行された回数と共に表示されてもよい。また、表示された分布は、例えば、比率、パーセンテージ、又は他の統計情報を表示することによって、決定のそれぞれの相対頻度を示すことができる。例えば、分布は、決定Ａ、Ｂ、及びＣがそれぞれ過去の決定の７３．６％、２０．７％、及び５．７％で行われたことを示すことができる。幾つかの実施形態では、分布は、棒グラフ、ヒストグラム、円グラフ、分布曲線、又は分布を示すために使用され得る任意の他のグラフィカル表示などの分布のグラフィカル表示として表示され得る。
幾つかの実施形態では、決定のサブセットのみが表示されてもよい。例えば、最も一般的な決定のみが、決定がなされた回数に基づいて表示され得る（例えば、閾値回数を超えるなど）。同様の病状、患者の特性、医療専門家の特性、及び／又は事前事象に関連する外科的処置を識別することを含む、同様の過去の意思決定ジャンクションを識別するための上記の様々な方法を使用することができる。
幾つかの実施形態では、１つ以上の推定転帰は、それぞれの同様の意思決定ジャンクションを含む過去の外科的処置の複数のビデオの解析の結果であり得る。例えば、ビデオ映像のリポジトリは、上述した物体及び／又は動き検出アルゴリズムなどの様々なコンピュータ解析技術を使用して解析され、それにより、マーカによって識別された意思決定ジャンクションと同じ又は同様の特性を共有する意思決定ジャンクションを含むビデオを識別することができる。これは、タイムラインに提示されたビデオ内の意思決定ジャンクションを識別するために使用されたものと同じ又は同様の手術段階、術中手術事象、及び／又は事象特性を有する他のビデオ映像を識別することを含むことができる。別の想定し得る決定の転帰は、過去の外科的処置の転帰に基づいて推定することができる。例えば、縫合を実行する特定の方法が一貫して患者による完全な回復をもたらす場合、この転帰は、この可能な決定のために推定されてもよく、タイムライン上に表示されてもよい。
幾つかの例示的な実施形態では、解析は、コンピュータビジョンアルゴリズムの実装の使用を含み得る。コンピュータビジョンアルゴリズムは、上述のコンピュータビジョンアルゴリズムのいずれかと同じ又は同様であってもよい。そのようなコンピュータアルゴリズムの一例は、上述の物体検出及び追跡アルゴリズムを含むことができる。そのようなコンピュータビジョンアルゴリズムの別の例は、トレーニングされた機械学習モデルの使用を含むことができる。そのようなコンピュータビジョンアルゴリズムの他の非限定的な例は、上述されている。例えば、意思決定ジャンクションマーカがビデオで発生した特定の有害事象に基づいて識別された場合、同じ又は同様の有害事象を有する他のビデオ映像を識別することができる。ビデオ映像は、過去の手術ビデオで行われた決定の転帰を決定するために更に解析されてもよい。これは、上述したのと同じ又は同様のコンピュータ解析技術を含むことができる。幾つかの実施形態では、これは、決定の結果を識別するためにビデオを解析することを含むことができる。例えば、意思決定ジャンクションが涙などの解剖学的構造に関連する有害事象に関連する場合、解剖学的構造は、有害事象が回復したかどうか、どれだけ迅速に回復したか、更なる有害事象が発生したかどうか、患者が生存したかどうか、又は転帰の他の指標を決定するために、決定後の様々なフレームで評価され得る。
幾つかの実施形態では、転帰を決定するために更なる情報も使用され得る。例えば、解析は、過去の外科的処置の複数のビデオに関連付けられた１つ以上の電子医療記録に基づくことができる。例えば、転帰を決定することは、患者が回復したかどうか、患者が回復した速さ、更なる合併症があったかどうかなどを決定するために特定の決定がなされたビデオに関連する電子医療記録を参照することを含むことができる。そのような情報は、ビデオ映像の範囲外で、後の時間に生じる可能性がある転帰を予測するのに有用であり得る。例えば、転帰は、外科的処置の数日後、数週間後、又は数ヶ月後であり得る。幾つかの実施形態では、追加情報を使用して、解析にどのビデオを含めるかを解析に知らせることができる。例えば、医療記録から収集された情報を使用して、同様の患者の病歴、疾患のタイプ、診断のタイプ、治療歴（過去の外科的処置を含む）、ヘルスケア専門家の識別情報、ヘルスケア専門家のスキルレベル、又は任意の他の関連データを共有するビデオを識別することができる。これら又は他の特性を共有するビデオは、それぞれの別の想定し得る決定に対してどのような転帰が予測され得るかについてのより正確な考えを提供することができる。
同様の意思決定ジャンクションは、それらが現在の意思決定ジャンクションとどの程度密接に相関するかに基づいて識別することができる。幾つかの実施形態では、それぞれの同様の意思決定ジャンクションは、類似性メトリックに従う外科的処置の意思決定ジャンクションと同様であり得る。メトリックは、意思決定ジャンクションがどの程度密接に関連しているかの任意の値、分類、又は他の指標であってもよい。そのようなメトリックは、処置又は技術がどれだけ適合するかを決定するために、コンピュータビジョン解析に基づいて決定されてもよい。また、メトリックは、意思決定ジャンクションが共通に有する特性の数及び特性が一致する程度に基づいて決定されてもよい。例えば、同様の医学的状態及び身体的特性を有する患者との２つの意思決定ジャンクションには、２人のより特徴的な患者よりも類似性メトリックに基づいてより高い類似性が割り当てられ得る。様々な他の特性及び／又は考慮事項も使用することができる。これに加えて又は代えて、類似性メトリックは、上述の類似性指標などの任意の類似性指標に基づくことができる。例えば、類似性メトリックは、類似性指標と同一であってもよく、類似性指標の関数であってもよく、以下同様である。
意思決定ジャンクションマーカに加えて、又はその代わりに、様々な他のマーカタイプを使用することができる。幾つかの実施形態では、マーカは、術中の手術事象の発生に関連するビデオ内の位置に関連付けることができる術中の手術事象マーカを含むことができる。マーカによって識別され得る様々な術中手術事象の例は、上述したビデオインデックス付けに関連するものを含めて、本開示全体を通して提供される。幾つかの実施形態では、術中手術事象マーカは、その位置で術中手術事象が発生したことを示す汎用マーカであってもよい。他の実施形態では、術中手術事象マーカは、事象のタイプ、事象が有害事象であったかどうか、又は任意の他の特性を含む術中手術事象の特性を識別することができる。例示的なマーカを図４に示す。例示的な例として、マーカ４３４について示されているアイコンは、一般的な術中手術事象マーカを表すために使用され得る。一方、マーカ４３６は、その位置で切開が発生したことを識別するなど、より具体的な術中手術事象マーカを表すことができる。図４に示すマーカは例として提供されており、様々な他の形態のマーカを使用することができる。
これらの術中手術事象マーカは、上述したように、自動的に識別することができる。上述したコンピュータ解析方法を使用して、医療機器、解剖学的構造、外科医の特性、患者の特性、事象特性、又は他の特徴をビデオ映像内で識別することができる。例えば、識別された医療機器と解剖学的構造との間の相互作用は、切開、縫合、又は他の術中事象が実行されていることを示すことができる。幾つかの実施形態では、術中手術事象マーカは、図６を参照して上述したデータ構造６００などのデータ構造で提供される情報に基づいて識別することができる。
開示された実施形態と整合して、術中手術事象マーカの選択は、外科医が異なる外科的処置からの別のビデオクリップを見ることができるようにし得る。幾つかの実施形態では、別のビデオクリップは、選択された術中手術事象が処理された異なる方法を提示することができる。例えば、現在のビデオでは、外科医は、１つの技術に従って切開又は他の動作を実行することができる。術中手術事象マーカを選択することにより、外科医は、切開又は他の動作を実行するために使用され得る代替技術を見ることができる。別の例では、術中手術事象が出血などの有害事象であってもよく、別のビデオクリップは、外科医が有害事象に対処した他の方法を描写してもよい。幾つかの実施形態では、マーカが術中手術事象に関連する場合、術中手術事象マーカの選択は、外科医が異なる外科的処置からの別のビデオクリップを見ることを可能にすることができる。例えば、異なる外科的処置は、異なるタイプ（腹腔鏡手術対胸腔鏡手術など）であってもよいが、同じ又は同様の術中手術事象を依然として含み得る。また、外科的処置は、異なる医学的状態、異なる患者特性、異なる医療専門家、又は他の区別を含む他の方法でも異なり得る。術中手術事象マーカを選択することにより、外科医は異なる外科的処置からの別のビデオクリップを見ることができる。
別のビデオクリップは、本明細書に記載の他の実施形態と同様に、様々な方法で表示されてもよい。例えば、術中手術事象マーカを選択すると、メニューが表示され、そこから外科医が別のビデオクリップを選択することができる。メニューは、選択された術中手術事象が処理された異なる方法の説明、ビデオクリップのサムネイル、ビデオクリップの見直し、及び／又はビデオクリップに関連付けられた他の情報、例えばそれらが記録された日付、外科的処置のタイプ、外科的処置を実行する外科医の名前又は識別情報、又は任意の他の関連情報を含むことができる。
本開示の幾つかの実施形態によれば、少なくとも１つのビデオは、手続き時系列順に配置された複数の外科的処置からの映像のコンパイルを含むことができる。手続き時系列順は、外科的処置に対して発生する順序事象を指すことができる。したがって、映像のコンパイルを手続き時系列順に配置することは、異なる患者からの異なる事象を、処置が単一の患者に対して行われた場合に発生したであろう順序で配置することを含むことができる。言い換えれば、異なる患者の様々な手術からコンパイルされたが、コンパイルの再生は、映像が外科的処置内に現れる順序で映像を表示する。幾つかの実施形態では、映像のコンパイルは、複数の外科的処置からの合併症を描写することができる。そのような実施形態では、１つ以上のマーカは、複数の外科的処置に関連付けられてもよく、共通のタイムライン上に表示されてもよい。したがって、視聴者は単一のタイムラインと相互作用するが、タイムラインに沿って提示されるビデオ映像は、異なる処置及び／又は異なる患者から導き出され得る。表示され得る例示的な合併症は、ビデオインデックス付けに関して上述されている。
図５は、開示された実施形態と整合する、手術ビデオを見直しするための例示的なプロセス５００を示すフローチャートである。プロセス５００は、１つ以上のマイクロプロセッサ等の少なくとも１つのプロセッサによって実行されてもよい。幾つかの実施形態では、プロセス５００は、必ずしも図示されたステップに限定されず、本明細書に記載された様々な実施形態のいずれかがプロセス５００に含まれてもよい。ステップ５１０において、プロセス５００は、例えば上述のように、外科的処置の少なくとも１つのビデオにアクセスすることを含んでもよい。少なくとも１つのビデオは、前述したように、単一の外科的処置からのビデオ映像を含んでもよく、又は複数の手術からの映像のコンパイルであってもよい。プロセス５００は、ステップ５２０において、少なくとも１つのビデオを表示のために出力させることを含むことができる。上述したように、少なくとも１つのビデオを表示用に出力させることは、少なくとも１つのビデオを画面又は他の表示デバイスに表示させるための信号を送信すること、少なくとも１つのビデオを別のコンピューティングデバイスにアクセス可能な場所に記憶すること、少なくとも１つのビデオを送信すること、又はビデオを表示させることができる任意の他のプロセスもしくはステップを含むことができる。
ステップ５３０において、プロセス５００は、手術タイムラインを表示するために出力された少なくとも１つのビデオにオーバーレイすることを含むことができ、手術タイムラインは、手術段階、術中手術事象、及び意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含む。幾つかの実施形態では、手術タイムラインは、ビデオと共に表示される水平バーとして表されてもよい。マーカは、タイムラインに沿った形状、アイコン、又は他のグラフィカル表示として表すことができる。図４は、そのような実施形態の例を提供する。他の実施形態では、タイムラインは、時系列順の段階、事象、及び／又は意思決定ジャンクションのテキストベースのリストであってもよい。マーカは、同様にテキストベースであってもよく、リストに含まれてもよい。
ステップ５４０は、外科医が少なくとも１つのビデオの再生を見ながら手術タイムライン上の１つ以上のマーカを選択できるようにし、それにより、ビデオの表示を選択されたマーカと関連付けられる位置にスキップさせることを含むことができる。幾つかの実施形態では、外科医は、過去の外科的処置からの情報を含むことができる、マーカに関連する事象又は発生に関する追加情報を見ることができる。例えば、マーカは、術中手術事象に関連付けられてもよく、マーカを選択することにより、外科医は、術中手術事象に関連付けられた過去の外科的処置の別のビデオクリップを見ることができる。例えば、外科医は、同様の術中手術事象が異なる方法で処理された、異なる技術が使用された、又は転帰が変化した他の手術からのクリップを見ることができる。幾つかの実施形態では、マーカは、外科的処置中に行われた決定を表す意思決定ジャンクションマーカであってもよい。意思決定ジャンクションマーカを選択することにより、外科医は、別の決定を含む決定に関する情報を見ることができる。そのような情報は、同様の意思決定ジャンクション、別の想定し得る決定のリスト又は分布、別の想定し得る決定の推定転帰、又は任意の他の関連情報を含む過去の外科的処置のビデオを含むことができる。プロセス５００に記載されたステップに基づいて、外科医又は他のユーザは、タイムラインインタフェースを使用して手術ビデオをより効果的且つより効率的に見直しすることができる。
外科的処置の準備において、外科医は、実行された同様の外科的処置のビデオを見直しすることが有益であることが多い。しかしながら、外科医が外科的処置の準備において関連する映像又は映像の一部を識別することは、面倒で時間がかかりすぎる可能性がある。したがって、映像の内容に基づいて手術ビデオ映像を効率的且つ効果的にインデックス付けして、外科医又は他の医療専門家が容易にアクセス及び見直しできるようにする、従来にない手法が必要とされている。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む、ビデオインデックス付けに関するものとなり得る。例えば、手術段階内の手術事象は、手術映像内で自動的に検出され得る。視聴者は、事象に直接にスキップし、指定された特性を有する事象のみを見るなどすることができる。幾つかの実施形態では、ユーザは、手術段階（例えば、切開）内で、特性（例えば、特定の合併症）を有する事象（例えば、器官への不注意な損傷）を指定することができ、その特性を共有する１つ以上の事象のビデオクリップをユーザに提示することができる。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、本方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの異なる手段を使用して達成され得る。
開示された実施形態と整合して、方法は、インデックス付けされるビデオ映像にアクセスすることを含むことができ、インデックス付けされるべきビデオ映像は、特定の外科的処置の映像を含む。本明細書で使用される場合、ビデオは、記録された画像及び／又は音声を含む任意の形態の記録された視覚媒体を含むことができる。例えば、ビデオは、図１に関連して上述したように、カメラ１１５，１２１，１２３及び／又は１２５などの画像捕捉デバイスによって捕捉された１つ以上の画像のシーケンスを含むことができる。画像は、個々のファイルとして記憶されてもよく、対応する音声データを含むことができるビデオファイルなどの結合フォーマットで記憶されてもよい。幾つかの実施形態では、ビデオは、画像捕捉デバイスから出力される生データ及び／又は画像として記憶することができる。他の実施形態では、ビデオを処理することができる。例えば、ビデオファイルとしては、音声・ビデオ・インターリーブ（ＡＶＩ）、フラッシュ・ビデオ・フォーマット（ＦＬＶ）、クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４Ｐなど）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（ＷＭＶ）、材料交換フォーマット（ＭＸＦ）、非圧縮フォーマット、非可逆圧縮フォーマット、可逆圧縮フォーマット、又は任意の他の適切なビデオ・ファイル・フォーマットを挙げることができる。
ビデオ映像は、画像捕捉デバイスによって捕捉されたビデオの長さを指すことができる。幾つかの実施形態では、ビデオ映像は、それらが最初に捕捉された順序の画像のシーケンスを含むビデオの長さを指すことができる。例えば、ビデオ映像は、ビデオコンパイルを形成するためにコンパイルされていないビデオを含むことができる。他の実施形態では、ビデオ映像は、不動性に関連するフレームを除去するため、又は最初に連続して捕捉されないフレームをコンパイルするためなど、１つ以上の方法でコンパイルされてもよい。ビデオ映像にアクセスすることは、メモリデバイスなどの記憶場所からビデオ映像を読み出すことを含み得る。ビデオ映像は、ローカルハードドライブなどのローカルメモリからアクセスされてもよく、例えばネットワーク接続を介してリモートソースからアクセスされてもよい。本開示と整合して、インデックス付けは、より効率的及び／又は効果的に検索され得るようにデータを記憶するためのプロセスを指すことができる。ビデオ映像をインデックス付けすることは、ビデオ映像が特性又は指標に基づいて識別され得るように、１つ以上の特性又は指標をビデオ映像に関連付けることを含み得る。
外科的処置は、患者の身体に対する手動又は手術処置に関連する、又はそれを含む任意の医療処置を含み得る。外科的処置は、切断、擦過、縫合、又は身体組織及び器官の物理的変化を伴う他の技術を含み得る。そのような外科的処置の幾つかの例としては、腹腔鏡手術、胸腔鏡手術、気管支鏡手術、顕微鏡手術、開放手術、ロボット手術、虫垂切除、頸動脈内膜切除、手根管解放、白内障手術、帝王切開、胆嚢切除、結腸切除（例えば、部分的結腸切除術、全結腸切除術など）、冠動脈血管形成術、冠動脈バイパス、デブリードマン（例えば、創傷、火傷、感染症など）、遊離皮膚移植、痔核切除術、股関節置換術、子宮摘出術、子宮鏡検査、鼠径ヘルニア修復、膝関節鏡検査、膝関節置換術、乳房切除術（例えば、部分的乳房切除術、全乳房切除術、非定型的乳房切除術など）、前立腺切除術、前立腺除去術、肩関節鏡検査、脊椎手術（例えば、脊椎固定術、椎弓切除術、椎間孔切開術、椎間板切除術、椎間板置換術、層間インプラントなど）、扁桃摘出術、人工内耳手術、脳腫瘍（例えば髄膜腫など）切除術、経皮経管冠動脈形成術などの介入手術、経カテーテル大動脈弁置換術、脳内出血排出のための低侵襲手術、又は、何らかの形態の切除を伴う任意の他の医療処置を挙げることができる。本開示は外科的処置に関連して説明されているが、他の形態の医療処置、又は一般的な処置にも適用できることが理解されるべきである。
幾つかの例示的な実施形態では、アクセスされたビデオ映像は、手術台の上方、患者の手術体腔内、患者の臓器内、又は患者の脈管構造内の位置のうちの少なくとも１つに位置される少なくとも１つの画像センサを介して捕捉されるビデオ映像を含むことができる。画像センサは、映像を記録可能なセンサであればよい。手術台の上方の位置に配置された画像センサは、患者の上方から画像を捕捉するように構成された患者の外部に配置された任意の画像センサを含むことができる。例えば、画像センサは、図１に示すように、カメラ１１５及び／又は１２１を含むことができる。他の実施形態では、画像センサは、例えば体腔内など、患者の体内に配置されてもよい。本明細書で使用される場合、体腔は、物体内の任意の比較的空いた空間を含むことができる。したがって、手術体腔は、外科的処置又は手術が行われている患者の体内の空間、又は手術器具が存在及び／又は使用される空間を指すことができる。手術体腔は、完全に空でなくてもよく、体内に存在する組織、臓器、血液又は他の流体を含んでもよいことが理解される。器官は、生物の任意の自己完結型領域又は部分を指し得る。ヒト患者の器官の幾つかの例には、心臓又は肝臓が含まれ得る。脈管構造は、生物内の血管の系又はグループを指すことができる。手術体腔、臓器、及び／又は脈管構造に配置された画像センサは、患者に挿入された手術器具に含まれるカメラを含むことができる。
本開示の態様は、ビデオ映像を解析して、特定の外科的処置の手術段階に関連するビデオ映像の位置を識別することを含むことができる。ビデオ映像に関して本明細書で使用される場合、位置は、ビデオ映像内の任意の特定の位置又は範囲を指すことができる。幾つかの実施形態では、位置は、ビデオの特定のフレーム又はフレームの範囲を含むことができる。したがって、ビデオ映像位置は、ビデオ映像ファイルの１つ以上のフレーム番号又は他の識別子として表すことができる。他の実施形態では、位置は、ビデオ映像に関連付けられた特定の時間を指すことができる。例えば、ビデオ映像の位置は、時間インデックス又はタイムスタンプ、時間範囲、特定の開始時間及び／又は終了時間、又はビデオ映像内の位置の任意の他の指標を指すことができる。他の実施形態では、位置は、少なくとも１つのフレーム内の少なくとも１つの特定の位置を指すことができる。したがって、ビデオ映像の位置は、１つ以上のピクセル、ボクセル、バウンディングボックス、バウンディングポリゴン、バウンディングシェイプ、座標などとして表され得る。
本開示の目的のために、段階は、プロセス又は一連の事象の特定の期間又は段階を指すことができる。したがって、手術段階は、上述したように、外科的処置の特定の期間又は段階を指すことができる。例えば、腹腔鏡下胆嚢切除術の手術段階としては、トロッカ配置、準備、カロー三角切開、胆嚢管及び動脈のクリッピング及び切断、胆嚢切開、胆嚢包装、肝床の清浄化及び凝固、胆嚢収縮などを挙げることができる。別の例では、白内障手術の手術段階としては、準備、ポビドンヨード注射、角膜切開、水晶体嚢切開、水晶体超音波乳化吸引、皮質吸引、眼内レンズ移植、眼内レンズ調整、創傷封止などを挙げることができる。更に別の例では、下垂体手術の手術段階としては、準備、鼻切開、鼻開創器の設置、腫瘍へのアクセス、腫瘍の除去、鼻置換、縫合、鼻圧迫の設置などを挙げることができる。手術段階の幾つかの他の例としては、準備、切開、腹腔鏡位置決め、縫合などを挙げることができる。
幾つかの実施形態では、ビデオ映像の位置を識別することは、ユーザ入力に基づくことができる。ユーザ入力は、ユーザによって提供される任意の情報を含むことができる。ビデオインデックス付けに関して使用される場合、ユーザ入力は、ビデオ映像の位置の識別に関連する情報を含むことができる。例えば、ユーザは、特定のフレーム番号、タイムスタンプ、時間範囲、開始時間及び／又は停止時間、又はビデオ映像の位置を識別することができる任意の他の情報を入力することができる。或いは、ユーザ入力は、使用される段階、事象、処置、又はデバイスの入力又は選択を含むことができ、その入力は、特定のビデオ映像に（例えば、例えば、ルックアップテーブル又は他のデータ構造を介して）関連付けることができる。ユーザ入力は、デスクトップコンピュータ、ラップトップ、テーブル、携帯電話、ウェアラブルデバイス、モノのインターネット（ＩｏＴ）デバイス、又はユーザからの入力を受信するための任意の他の手段などのユーザデバイスのユーザインタフェースを介して受信することができる。インタフェースとしては、例えば、段階名の１つ以上の選択リストを有する１つ以上のドロップダウンメニュー、ユーザが段階名を入力できるようにする及び／又は数文字が入力された時点で段階名を示唆するデータ入力フィールド、そこから段階名を選択することができる選択リスト、それぞれが異なる段階に関連付けられた選択可能なアイコンのグループ、又は、ユーザが段階を識別又は選択できるようにする任意の他のメカニズムを挙げることができる。例えば、ユーザは、図７に関して以下でより詳細に説明するように、ユーザインタフェース７００と同様のユーザインタフェースを介して段階名を入力することができる。別の例では、ユーザ入力は、音声コマンド及び／又は音声入力を介して受信されてもよく、ユーザ入力は、音声認識アルゴリズムを使用して処理されてもよい。更に別の例では、ユーザ入力はジェスチャ（ハンドジェスチャなど）を介して受信されてもよく、ユーザ入力はジェスチャ認識アルゴリズムを使用して処理されてもよい。
幾つかの実施形態では、ビデオ映像の位置を識別することは、コンピュータ解析を使用してビデオ映像のフレームを解析することを含み得る。コンピュータ解析は、コンピューティングデバイスを使用する任意の形態の電子解析を含むことができる。幾つかの実施形態では、コンピュータ解析は、ビデオ映像の１つ以上のフレームの特徴を識別するために１つ以上の画像認識アルゴリズムを使用することを含み得る。コンピュータ解析は、個々のフレームに対して実行されてもよく、例えば、フレーム間の動き又は他の変化を検出するために、複数のフレームにわたって実行されてもよい。幾つかの実施形態において、コンピュータ解析としては、Ｖｉｏｌａ－Ｊｏｎｅｓ物体検出、スケール不変特徴変換（ＳＩＦＴ）、配向勾配ヒストグラム（ＨＯＧ）特徴、畳み込みニューラルネットワーク（ＣＮＮ）、又は任意の他の形態の物体検出アルゴリズムなどの物体検出アルゴリズムを挙げることができる。他の例示的なアルゴリズムとしては、ビデオ追跡アルゴリズム、動き検出アルゴリズム、特徴検出アルゴリズム、カラーベースの検出アルゴリズム、テクスチャベースの検出アルゴリズム、形状ベースの検出アルゴリズム、ブースティングベースの検出アルゴリズム、顔検出アルゴリズム、又はビデオフレームを解析するための任意の他の適切なアルゴリズムを挙げることができる。一例では、ビデオ内の特定の位置を識別するためにトレーニング例を使用して機械学習モデルをトレーニングすることができ、トレーニングされた機械学習モデルを使用してビデオ映像を解析し、ビデオ映像の位置を識別することができる。そのようなトレーニング例の一例は、ビデオクリップ内の位置を示すラベルと共に、又はビデオクリップ内に対応する位置が含まれていないことを示すラベルと共に、ビデオクリップを含むことができる。
幾つかの実施形態では、コンピュータ画像解析は、以前に識別された手術段階を含むビデオフレーム例を使用してトレーニングされたニューラルネットワークモデルを使用することによってビデオ映像位置又は段階タグのうちの少なくとも１つを識別することを含むことができる。言い換えれば、特定の手術段階に関連することが知られている１つ以上のビデオのフレームを使用して、例えば機械学習アルゴリズムを使用して、逆伝播を使用して、勾配降下最適化を使用するなどして、ニューラルネットワークモデルをトレーニングすることができる。したがって、トレーニングされたニューラルネットワークモデルを使用して、１つ以上のビデオフレームが手術段階にも関連付けられているかどうかを識別することができる。そのような人工ニューラルネットワークの幾つかの非限定的な例は、浅い人工ニューラルネットワーク、深い人工ニューラルネットワーク、フィードバック人工ニューラルネットワーク、フィードフォワード人工ニューラルネットワーク、自己符号器人工ニューラルネットワーク、確率的人工ニューラルネットワーク、時間遅延人工ニューラルネットワーク、畳み込み人工ニューラルネットワーク、リカレント人工ニューラルネットワーク、長期短期記憶人工ニューラルネットワークなどを含んでもよい。幾つかの実施形態では、開示された方法は、解析されたフレームのうちの少なくとも１つに基づいてトレーニングされたニューラルネットワークモデルを更新することを更に含むことができる。
本開示の幾つかの態様では、ビデオ映像を解析して手術事象又は手術段階のうちの少なくとも一方と関連付けられるビデオ映像位置を識別することは、再生のための手術段階の開始位置又は再生のための手術事象の開始のうちの少なくとも一方を識別するためにビデオ映像に対してコンピュータ画像解析を実行することを含むことができる。換言すれば、上述したコンピュータ解析技術を使用して、開示された方法は、手術段階又は事象が始まるビデオ映像内の位置を識別することを含むことができる。例えば、切開などの手術事象の開始は、上述した物体及び／又は動き検出アルゴリズムを使用して検出することができる。他の実施形態では、切開の開始は、機械学習技術に基づいて検出することができる。例えば、機械学習モデルは、ビデオ映像と、切開又は他の手術事象及び／又は処置の既知の開始点を示す対応するラベルとを使用してトレーニングすることができる。トレーニングされたモデルを使用して、他の手術ビデオ映像内の同様の処置及び／又は事象開始位置を識別することができる。
本開示の幾つかの態様は、手術段階に関連する段階タグを生成することを含み得る。本明細書で使用される場合、「タグ」は、情報がデータセットに関連付けられる又はリンクされる任意のプロセス又はマーカを指すことができる。幾つかの実施形態では、タグは、ビデオファイルなどのデータファイルの特性であってもよい。したがって、タグを生成することは、ビデオファイル内の特性を書き込むこと又は上書きすることを含むことができる。幾つかの実施形態では、タグを生成することは、例えば、ビデオファイルを別個のデータベース内のタグと関連付けることによって、ビデオファイル自体以外のファイルに情報を書き込むことを含むことができる。タグは、テキスト情報、数値識別子、又はタグ付けのための任意の他の適切な手段として表現され得る。段階タグは、上述したように、手術段階の段階を識別するタグであってもよい。一実施形態では、段階タグは、手術段階が始まるビデオ内の位置を示すマーカ、手術段階が終了するビデオ内の位置を示すマーカ、手術段階の中間のビデオ内の位置を示すマーカ、又は手術段階を包含するビデオの範囲を示すマーカであってもよい。タグは、ビデオデータ自体のポインタであってもよく、又は段階位置の検索を可能にするためにデータ構造に配置されてもよい。段階タグは、段階の表示を引き起こすためのコンピュータ可読情報を含むことができ、ユーザに段階を識別するための人間可読情報も含むことができる。例えば、手術段階に関連付けられた段階タグを生成することは、タグ付けされたデータが外科的処置のその段階に関連付けられていることを示すために、「腹腔鏡位置決め」などのテキストを含むタグを生成することを含むことができる。別の例では、手術段階に関連付けられた段階タグを生成することは、手術段階識別子のバイナリ符号化を含むタグを生成することを含み得る。幾つかの実施形態では、段階タグを生成することは、手術段階を描写するビデオ映像のコンピュータ解析に基づくことができる。例えば、開示された方法は、段階タグを決定するために、上述した物体及び動き検出解析方法を使用して手術段階の映像を解析することを含むことができる。例えば、固有の方法又は固有の順序で使用される特定のタイプの医療デバイス又は他の手段を使用して段階が開始又は終了することが分かっている場合、特定の段階を識別するための手段の固有の使用を識別するために実行される画像認識を介して、ビデオ映像に対して画像認識を実行して特定の段階を識別することができる。また、段階タグを生成することは、１つ以上のビデオフレームを１つ以上の段階タグに関連付けるようにトレーニングすることができるトレーニングされた機械学習モデル又はニューラルネットワークモデル（例えば、ディープニューラルネットワーク、畳み込みニューラルネットワークなどである）を使用することを含むことができる。例えば、トレーニング例を機械学習アルゴリズムに供給して、他のビデオ映像データを１つ以上の段階タグに関連付けるように構成されたモデルを開発することができる。そのようなトレーニング例の一例は、ビデオ映像と、ビデオ映像に対応する所望のタグ又は所望のタグの欠如を示すラベルとを含むことができる。そのようなラベルは、手術段階に対応するビデオ映像内の１つ以上の位置の指示、手術段階のタイプの指示、手術段階の特性の指示などを含むことができる。
本開示による方法は、段階タグをビデオ映像位置に関連付けるステップを含むことができる。任意の適切な手段を使用して、段階タグをビデオ映像位置に関連付けることができる。そのようなタグは、手術段階に対応するビデオ映像内の１つ以上の位置の指示、手術段階のタイプの指示、手術段階の特性の指示などを含むことができる。幾つかの実施形態では、ビデオ映像の場所はタグに含まれてもよい。例えば、タグは、タイムスタンプ、時間範囲、フレーム番号、又は段階タグをビデオ映像の位置に関連付けるための他の手段を含み得る。他の実施形態では、タグは、データベース内のビデオ映像の場所に関連付けられてもよい。例えば、データベースは、段階タグをビデオ映像及び特定のビデオ映像位置にリンクする情報を含み得る。データベースは、以下で更に詳細に説明するように、データ構造を含むことができる。
本開示の実施形態は、手術段階内の特定の術中手術事象の事象位置を識別するためにビデオ映像を解析することを更に含むことができる。術中手術事象は、外科的処置又は段階中に発生する任意の事象又は動作であり得る。幾つかの実施形態では、術中手術事象としては、外科医、外科技術者、看護師、医師の助手、麻酔科医、医師、又は任意の他のヘルスケア専門家によって実行される動作など、外科的処置の一部として実行される動作を挙げることができる。術中手術事象は、切開、薬物の投与、外科用器具の使用、切除、切開除去、結紮、移植片、縫い合わせ、縫合、又は外科的処置もしくは段階に関連する任意の他の計画された事象などの計画された事象であり得る。幾つかの実施形態では、術中手術事象は、有害事象又は合併症を含み得る。術中有害事象の幾つかの例としては、出血、腸間膜気腫、傷害、計画されていない開放手術（例えば、腹壁切開）への転換、計画されたよりも有意に大きい切開などを挙げることができる。術中合併症の幾つかの例としては、高血圧、低血圧、徐脈、低酸素血症、癒着、ヘルニア、非定型解剖学的構造、硬膜裂傷、腹膜損傷、動脈閉塞などを挙げることができる。術中事象としては、技術的エラー、通信エラー、管理エラー、判断エラー、意思決定エラー、医療機器利用に関連するエラー、誤通信などを含む他のエラーを挙げることができる。
事象位置は、術中手術事象に関連付けられたビデオ映像内の位置又は範囲であってもよい。上述した段階位置と同様に、事象位置は、ビデオ映像の特定のフレーム（例えば、フレーム番号又はフレーム番号の範囲）に関して、又は時間情報（例えば、タイムスタンプ、時間範囲、又は開始時間及び終了時間）、又はビデオ映像内の位置を識別するための任意の他の手段に基づいて表現することができる。幾つかの実施形態では、事象位置を識別するためにビデオ映像を解析することは、ビデオ映像のフレームを解析するためにコンピュータ解析を使用することを含むことができる。コンピュータ解析は、上述の技法又はアルゴリズムのいずれかを含むことができる。段階識別と同様に、事象識別は、事象を一意に識別する方法で使用される動作及び手段の検出に基づくことができる。例えば、画像認識は、特定の器官がいつ切開されたかを識別して、その切開事象のマーキングを可能にすることができる。別の例では、画像認識を使用して血管又は神経の切断に注目し、その有害事象のマーキングを可能にすることができる。画像認識を使用して、出血又は他の流体損失の検出によって事象をマークすることもできる。幾つかの実施形態では、事象位置を識別するためにビデオ映像を解析することは、以前に識別された手術事象を含む例示的なビデオフレームを使用してトレーニングされたニューラルネットワークモデル（例えば、深層ニューラルネットワーク、畳み込みニューラルネットワークなど）を用いて、事象位置を識別することを含むことができる。一例では、ビデオの部分における術中手術事象の位置を識別するためにトレーニング例を使用して機械学習モデルをトレーニングすることができ、トレーニングされた機械学習モデルを使用して、ビデオ映像（又は手術段階に対応するビデオ映像の一部）を解析し、手術段階内の特定の術中手術事象の事象位置を識別することができる。そのようなトレーニング例の一例は、ビデオクリップ内の特定の事象の位置、又はそのような事象がないことを示すラベルと共にビデオクリップを含むことができる。
本開示の幾つかの態様は、事象タグを特定の術中手術事象の事象位置と関連付けることを含み得る。上述したように、タグは、情報をデータ又はデータの一部と関連付けるための任意の手段を含むことができる。事象タグを使用して、データ又はデータの一部を術中手術事象などの事象と関連付けることができる。段階タグと同様に、事象タグを事象位置と関連付けることは、ビデオファイルに、例えばビデオファイルの特性にデータを書き込むことを含むことができる。他の実施形態では、事象タグを事象位置と関連付けることは、事象タグをビデオ映像及び／又は事象位置に関連付けるファイル又はデータベースにデータを書き込むことを含み得る。或いは、事象タグを事象位置と関連付けることは、データ構造にマーカを記録することを含むことができ、データ構造は、タグをビデオ映像内の特定の位置又は位置の範囲と相関させる。幾つかの実施形態では、同じファイル又はデータベースを使用して、段階タグを事象タグとしてビデオ映像に関連付けることができる。他の実施形態では、別個のファイル又はデータベースが使用されてもよい。
本開示と整合して、開示された方法は、特定の術中手術事象に関連する事象特性を記憶することを含むことができる。事象特性は、事象の任意の特性又は特徴であってもよい。例えば、事象特性は、患者又は外科医の特性、手術事象又は手術段階の特性もしくは特性、又は様々な他の特性を含むことができる。特徴の例としては、過剰な脂肪組織、拡大した器官、組織崩壊、骨折、椎間板変位、又は事象に関連する任意の他の身体的特性を挙げることができる。幾つかの特性は、コンピュータビジョンによって識別可能であってもよく、他の特性は、人間の入力によって識別可能であってもよい。後者の例では、患者の年齢又は年齢範囲を事象特性として記憶することができる。同様に、患者の以前の病歴の態様は、事象特性（例えば、糖尿病患者）として記憶することができる。幾つかの実施形態では、記憶された事象特性を使用して、術中手術事象を他の同様の事象から区別することができる。例えば、医療従事者は、ビデオ映像を検索して、不整脈を有する７０歳以上の男性に対して行われた１つ以上の冠動脈バイパス手術を識別することができる。使用され得る記憶された事象特性の様々な他の例が以下に提供される。
記憶された事象特性は、様々な方法で決定されてもよい。開示された方法の幾つかの態様は、ユーザ入力に基づいて記憶された事象特性を決定することを含むことができる。例えば、ユーザは、段階又は事象の選択に関連して上述したものと同様のユーザインタフェースを介して、記憶されるべき事象特性を入力することができる。別の例では、ユーザは、音声コマンドを介して記憶されるべき事象特性を入力してもよい。そのような使用の様々な例が以下に提供される。開示された方法の他の態様は、特定の術中手術事象を描写するビデオ映像のコンピュータ解析に基づいて記憶された事象特性を決定することを含むことができる。例えば、開示された方法は、ビデオ映像に基づいて事象特性を認識するために、上述したような様々な画像及び／又はビデオ解析技術を使用することを含むことができる。例示的な例として、ビデオ映像は、患者の１つ以上の解剖学的構造の表示を含むことができ、解剖学的構造を識別する事象特性は、ビデオ映像内の解剖学的構造の検出に基づいて、又は医療機器と解剖学的構造との間の相互作用の検出に基づいて決定することができる。別の例では、ビデオから事象特性を決定するためにトレーニング例を使用して機械学習モデルをトレーニングすることができ、トレーニングされた機械学習モデルを使用してビデオ映像を解析し、記憶された事象特性を決定することができる。そのようなトレーニング例の一例は、術中手術事象を、その事象の特性を示すラベルと共に描写するビデオクリップを含むことができる。
本開示の幾つかの態様は、特定の外科的処置のビデオ映像の少なくとも一部を、他の外科的処置の更なるビデオ映像を含むデータ構造内の段階タグ、事象タグ、及び事象特性に関連付けることを含むことができ、また、データ構造は、他の外科的処置の１つ以上に関連付けられたそれぞれの段階タグ、それぞれの事象タグ、及びそれぞれの事象特性も含む。本開示と整合するデータ構造は、データ値及びそれらの間の関係の任意の集合を含むことができる。データは、線形的に、水平的に、階層的に、関係的に、非関係的に、単次元的に、多次元的に、動作的に、順序付けられた態様で、順序付けられない態様で、オブジェクト指向的な態様で、集中的態様で、非集中的態様で、分散的態様で、カスタム態様で、検索可能なリポジトリで、ソートされたリポジトリで、インデックス付けされたリポジトリで、又はデータアクセスを可能にする任意の態様で記憶することができる。非限定的な例として、データ構造は、配列、連想配列、リンクされたリスト、二分木、平衡木、塊、スタック、キュー、セット、ハッシュテーブル、記録、タグ付き結合体、ＥＲモデル、及び、グラフを含んでもよい。例えば、データ構造は、例えば、ＭｏｎｇｏＤＢ、Ｒｅｄｉｓ、Ｃｏｕｃｈｂａｓｅ、Ｄａｔａｓｔａｘ Ｅｎｔｅｒｐｒｉｓｅ Ｇｒａｐｈ、Ｅｌａｓｔｉｃ Ｓｅａｒｃｈ、Ｓｐｌｕｎｋ、Ｓｏｌｒ、Ｃａｓｓａｎｄｒａ、Ａｍａｚｏｎ ＤｙｎａｍｏＤＢ、Ｓｃｙｌｌａ、ＨＢａｓｅ、及び、Ｎｅｏ４Ｊなどの、データストレージ／検索のためのＸＭＬデータベース、ＲＤＢＭＳデータベース、ＳＱＬデータベース、又は、ＮｏＳＱＬ代替物を含んでもよい。データ構造は、開示されたシステムのコンポーネント又はリモートコンピューティングコンポーネント（例えば、クラウドベースのデータ構造）であってもよい。データ構造内のデータは、連続又は不連続メモリに記憶されてもよい。更に、本明細書中で使用されるデータ構造は、情報が同じ場所に配置されることを必要としない。データ構造は、例えば、同じ又は異なるエンティティによって所有又は動作され得る複数のサーバにわたって分散され得る。したがって、例えば、データ構造は、ビデオ映像を段階タグ、事象タグ、及び／又は事象特性に関連付けるために使用され得る任意のデータフォーマットを含み得る。
図６は、開示された実施形態と整合例示的なデータ構造６００を示す。図６に示すように、データ構造６００は、異なる外科的処置に関するビデオ映像６１０及びビデオ映像６２０を含むテーブルを備えることができる。例えば、ビデオ映像６１０は腹腔鏡下胆嚢摘出術の映像を含むことができ、ビデオ映像６２０は白内障手術の映像を含むことができる。ビデオ映像６２０は、白内障手術の特定の手術段階に対応することができる映像位置６２１に関連付けることができる。段階タグ６２２は、上述したように、映像位置６２１に関連付けられた段階（この例では角膜切開）を識別することができる。また、ビデオ映像６２０は、事象タグ６２４に関連付けることができ、事象タグは、事象位置６２３で発生している手術段階内の術中手術事象（この例では切開）を識別することができる。ビデオ映像６２０は、上記で詳細に説明したように、外科医のスキルレベルなどの術中手術事象の１つ以上の特性を記述することができる事象特性６２５に更に関連付けることができる。データ構造で識別された各ビデオ映像は、２つ以上の映像位置、段階タグ、事象位置、事象タグ及び／又は事象特性に関連付けられ得る。例えば、ビデオ映像６１０は、複数の手術段階（例えば、「カロー三角切開」及び「嚢胞管の切断」）に対応する段階タグに関連付けられてもよい。更に、特定のビデオ映像の各手術段階は、複数の事象に関連付けられてもよく、したがって、複数の事象位置、事象タグ、及び／又は事象特性に関連付けられてもよい。しかしながら、幾つかの実施形態では、特定のビデオ映像は、単一の手術段階及び／又は事象に関連付けられ得ることが理解される。幾つかの実施形態では、事象は、事象特性なし、単一の事象特性、２つの事象特性、３つ以上の事象特性などを含む任意の数の事象特性に関連付けられ得ることも理解される。そのような事象特性の幾つかの非限定的な例としては、事象に関連するスキルレベル（例えば、必要最小限のスキルレベル、実証されたスキルレベル、事象に関与する医療提供者のスキルレベルなど）、事象に関連する時間（例えば、開始時間、終了時間など）、事象のタイプ、事象に関連する医療機器に関連する情報、事象に関連する解剖学的構造に関連する情報、事象に関連する医療転帰に関連する情報、１つ以上の量（例えば、漏れの量、薬剤の量、流体の量など）、１つ以上の寸法（例えば、解剖学的構造の寸法、切開の寸法など）などを挙げることができる。更に、データ構造６００が一例として提供され、様々な他のデータ構造が使用されてもよいことが理解されるべきである。
本開示の実施形態は、選択された段階タグ、選択された事象タグ、及び表示のためのビデオ映像の選択された事象特性の選択によってユーザがデータ構造にアクセスできるようにすることを更に含み得る。ユーザは、データ構造に記憶されたデータへのアクセスを提供され得る任意の個人又はエンティティであってもよい。幾つかの実施形態では、ユーザは、外科医又は他のヘルスケア専門家であってもよい。例えば、外科医は、見直し又はトレーニング目的のために、データ構造及び／又はデータ構造に関連付けられたビデオ映像にアクセスすることができる。幾つかの実施形態では、ユーザは、病院管理者、管理者、執刀医、又はビデオ映像へのアクセスを必要とし得る他の個人などの管理者であってもよい。幾つかの実施形態では、ユーザは患者であってもよく、患者は自分の手術のビデオ映像へのアクセスを提供されてもよい。同様に、ユーザは、患者の親戚、保護者、プライマリケア医、保険代理店、又は別の代表者であってもよい。ユーザは、限定はしないが、保険会社、規制当局、警察もしくは捜査当局、医療団体、又はビデオ映像へのアクセスを提供され得る任意の他のエンティティを含み得る、様々な他のエンティティを含んでもよい。ユーザによる選択は、特定の段階タグ、事象タグ、及び／又は事象特性を識別するための任意の手段を含むことができる。幾つかの実施形態では、ユーザによる選択は、コンピューティングデバイスのディスプレイ上などのグラフィカルユーザインタフェースを介して行われてもよい。別の例では、ユーザによる選択は、タッチスクリーンを介して行われてもよい。更なる例では、ユーザによる選択は音声入力を介して行われてもよく、音声入力は音声認識アルゴリズムを使用して処理されてもよい。更に別の例では、ユーザによる選択は、ジェスチャ（ハンドジェスチャなど）を介して行われてもよく、ジェスチャは、ジェスチャ認識アルゴリズムを使用して解析されてもよい。幾つかの実施形態では、ユーザは、選択された段階タグ、選択された事象タグ、又は選択された事象特性の３つ全てを選択するのではなく、これらのサブセットを選択することができる。例えば、ユーザは事象特性を選択するだけでよく、ユーザは選択された事象特性に基づいてデータ構造と関連付けられた情報へのアクセスを許可されてよい。
図７は、開示された実施形態と整合する、表示のためにインデックス付けされたビデオ映像を選択するための例示的なユーザインタフェース７００の図である。ユーザインタフェース７００は、ビデオ映像を選択するための１つ以上の検索ボックス７１０，７２０及び７３０を含むことができる。検索ボックス７１０は、表示されるべき１つ以上の手術段階をユーザが選択できるようにし得る。幾つかの実施形態では、ユーザインタフェース７００は、データ構造６００に含まれる段階タグに基づいて提案された手術段階を提供することができる。例えば、ユーザが検索ボックス７１０に入力を開始すると、ユーザインタフェース７００は、ユーザが入力した文字に基づいて検索すべき段階タグ記述を提案することができる。他の実施形態では、ユーザは、ラジオボタン、チェックボックス、ドロップダウンリスト、タッチインタフェース、又は任意の他の適切なユーザインタフェース機能を使用して段階タグを選択することができる。段階タグと同様に、ユーザは、検索ボックス７２０及び７３０をそれぞれ使用して、事象タグ及び事象特性に基づいてビデオ映像を選択することができる。また、ユーザインタフェース７００は、ドロップダウンリストにアクセスして結果を更にフィルタリングするためのドロップダウンボタン７２２及び７３２を含むことができる。図７に示すように、ドロップダウンボタン７３２を選択することにより、ユーザは、事象特性のサブカテゴリに基づいて事象特性を選択することができる。例えば、ユーザは、ドロップダウンボタン７３２に関連付けられたドロップダウンリストで「外科医スキルレベル」を選択することができ、これにより、ユーザは、検索ボックス７３０内の外科医のスキルレベルに基づいて検索することができる。「外科医のスキルレベル」及び様々な他の事象特性サブカテゴリが例として提供されているが、ユーザは外科的処置の任意の特性又は特性を選択することができることが理解される。例えば、ユーザは、以下でより詳細に説明するように、外科医、資格、経験年数、及び／又は外科技術レベルの任意の指示に基づいて外科医の技術レベルを精緻化することができる。ユーザは、検索ボタン７４０をクリック、タップ、又は他の方法で選択することによって、データ構造にアクセスすることができる。
ビデオ映像の表示は、ビデオ映像の１つ以上のフレーム又はその一部をユーザに提示する任意のプロセスを含むことができる。幾つかの実施形態では、表示することは、ユーザが見るためにビデオ映像の少なくとも一部を電子的に送信することを含み得る。例えば、ビデオ映像を表示することは、ビデオ映像の少なくとも一部をネットワークを介して送信することを含み得る。他の実施形態では、ビデオ映像を表示することは、ユーザ又はユーザが使用しているデバイスがアクセス可能な場所にビデオ映像を記憶することによって、ビデオ映像をユーザが利用できるようにすることを含むことができる。幾つかの実施形態では、ビデオ映像を表示することは、ビデオ映像をコンピュータ又はビデオ画面などのビジュアルディスプレイデバイス上で再生させることを含むことができる。例えば、表示することは、ビデオ映像に関連付けられたフレームを順次提示することを含むことができ、ビデオ映像に関連付けられた音声を提示することを更に含むことができる。
本開示の幾つかの態様は、記憶されたビデオ映像の一致するサブセットを識別するために、少なくとも１つの選択された段階タグ、選択された事象タグ、及び選択された事象特性と一致する手術ビデオ映像のデータ構造においてルックアップを実行することを含み得る。ルックアップを実行することは、データ構造からデータを読み出すための任意のプロセスを含むことができる。例えば、少なくとも１つの選択された段階タグ、事象タグ、及び選択された事象特性に基づいて、対応するビデオ映像又はビデオ映像の一部をデータ構造から識別することができる。記憶されたビデオ映像のサブセットは、単一の識別されたビデオ映像又はユーザの選択に関連する複数の識別されたビデオ映像を含むことができる。例えば、記憶されたビデオ映像のサブセットは、選択された段階タグと完全に同一の段階タグ、選択された事象タグと完全に同一の事象タグ、及び選択された事象特性と完全に同一の事象特性のうちの少なくとも１つを有する手術ビデオ映像を含み得る。別の例では、記憶されたビデオ映像のサブセットは、選択された段階タグに（例えば、選択された類似性指標に従って）類似した段階タグ、選択された事象タグに（例えば、選択された類似性指標に従って）類似した事象タグ、及び／又は選択された事象特性に（例えば、選択された類似性指標に従って）類似した事象特性のうちの少なくとも１つを有する手術ビデオ映像を含んでもよい。幾つかの実施形態では、図７に示すように、検索ボタン７４０の選択によって検索を実行することをトリガすることができる。
幾つかの例示的な実施形態では、記憶されたビデオ映像の一致するサブセットを識別することは、コンピュータ解析を使用して、記憶されたビデオの一致するサブセットと選択された事象特性との間の類似性の度合いを決定することを含む。したがって、「一致」は、正確な一致を指すことができ、又は近似もしくは最も近い一致を指すことができる。一例では、事象特性は数値（例えば、上述したように、量、寸法、長さ、面積、体積など）を含むことができ、類似性の度合いは、選択された事象特性に含まれる数値と記憶されたビデオの対応する数値との比較に基づくことができる。一例では、任意の類似性関数（これらに限られるわけではないが、親和性関数、相関関数、多項式類似度関数、指数類似度関数、距離に基づく類似度関数、線形関数、非線形関数などを含む）を使用して類似性の度合いを計算することができる。一例では、グラフマッチングアルゴリズム又はハイパーグラフマッチングアルゴリズム（例えば、完全一致アルゴリズム、不正確一致アルゴリズム）を使用して、類似性の度合いを決定することができる。別の例示的な例として、「準備」段階タグに関連付けられたビデオ映像は、用語「準備（ｐｒｅｐ）」、「準備（ｐｒｅｐａｒｉｎｇ）」、「事前処理」、「事前処置」を含む段階タグ、或いは、他の類似するが「準備」を指す正確な一致ではない段階タグに関しても検索され得る。類似性の度合いは、記憶されたビデオのサブセットが選択された事象特性にどれだけ近く一致するかの任意の指標を指すことができる。類似性の度合いは、類似性ランキング（例えば、１～１０、１～１００などのスケールで）として、一致率として、又は一致がどれだけ近いかを表す任意の他の手段によって表すことができる。コンピュータ解析を使用することは、選択された事象特性とデータ構造に含まれる１つ以上の外科的処置の事象特性との間の類似性の度合いを決定するためにコンピュータアルゴリズムを使用することを含むことができる。一例では、ｋ近傍法アルゴリズムを使用して、データ構造内の最も類似したエントリを識別することができる。一例では、データ構造のエントリ、並びにユーザ入力事象特性は、数学的空間（例えば、任意の次元削減アルゴリズム又はデータ埋め込みアルゴリズムを使用すること）に埋め込まれてもよく、エントリの埋め込みとユーザ入力特性との間の距離は、２つの間の類似性の度合いを計算するために使用されてもよい。更に、幾つかの例では、埋め込まれた数学空間内のユーザ入力特性に最も近いエントリは、データ構造内のユーザ入力データに最も類似したエントリとして選択されてもよい。
本発明の幾つかの態様は、記憶されたビデオ映像の一致するサブセットをユーザに表示させ、それにより、選択された事象特性を欠くビデオ映像の再生を省略しつつ、選択された事象特性を共有する少なくとも１つの術中手術事象の手術映像をユーザが見ることができるようにすることを含むことができる。手術映像は、上記でより詳細に説明したように、外科的処置を捕捉する任意のビデオ又はビデオ映像を指すことができる。幾つかの実施形態では、記憶されたビデオ映像の一致するサブセットを表示させることは、ビデオを再生するための命令を実行することを含み得る。例えば、本明細書に記載の方法を実行する処理装置は、ビデオ映像の一致するサブセットにアクセスしてもよく、記憶されたビデオ映像を画面又は他のディスプレイ上でユーザに提示するように構成されてもよい。例えば、記憶されたビデオ映像は、図４に関して以下で更に詳細に説明するように、ビデオ再生領域４１０などのビデオプレーヤユーザインタフェースに表示されてもよい。幾つかの実施形態では、上述したように、記憶されたビデオ映像の一致するサブセットをユーザに表示させることは、表示のために記憶されたビデオ映像を送信することを含み得る。例えば、ビデオ映像の一致するサブセットは、ネットワークを介して、デスクトップコンピュータ、ラップトップコンピュータ、携帯電話、タブレット、スマートグラス、ヘッドアップディスプレイ、トレーニング装置、又はビデオ映像を表示することができる任意の他の装置などの、ユーザに関連付けられたコンピューティングデバイスに送信することができる。
再生を省略することは、選択された事象特性を欠くビデオがユーザに提示されることをもたらす任意のプロセスを含むことができる。例えば、再生を省略することは、映像を表示しないように指定し、その映像を表示しないことを含み得る。ビデオ映像の一致するサブセットが送信される実施形態では、再生を省略することは、選択された事象特性を欠くビデオ映像の送信を防止することを含むことができる。これは、一致するサブセットに関連する映像の部分のみを選択的に送信することによって、一致するサブセットに関連する映像の部分に関連付けられたマーカを選択的に送信することによって、及び／又は、一致するサブセットとは無関係な映像の部分をスキップすることによって行われ得る。他の実施形態では、選択された事象特性を欠くビデオ映像が、送信されてもよいが、選択された事象特性を欠くビデオ映像を提示しない１つ以上の命令に関連付けられてもよい。
本開示の様々な例示的な実施形態によれば、選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、選択された事象特性を有する少なくとも１つの術中手術事象の手術映像をユーザが見ることができるようにすることは、選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、前記選択された事象特性を共有する複数の術中手術事象の手術映像の部分をユーザに順次に提示することを含んでもよい。言い換えれば、ビデオ映像の１つ以上の部分は、例えば、データ構造内のルックアップ機能を介して、選択された事象特性に関連付けられていると識別され得る。選択された事象特性を有する少なくとも１つの術中手術事象の手術映像をユーザが見ることができるようにすることは、識別された部分のうちの１つ以上をユーザに順次に提示することを含むことができる。ビデオ映像の識別されていない部分は提示されなくてもよい。幾つかの実施形態では、ビデオ映像は、選択された事象タグ及び選択された段階タグに基づいて選択されてもよい。したがって、本開示と一致する実施形態では、選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、選択された事象特性を有する少なくとも１つの術中手術事象の手術映像をユーザが見ることができるようにすることは、選択された事象特性を欠く又は選択された事象タグ及び選択された段階タグと関連付けられない選択された手術事象の部分の再生を省略しつつ、選択された事象特性を共有して選択された事象タグ及び選択された段階タグと関連付けられる複数の術中手術事象の手術映像の部分をユーザに順次に提示することを含んでもよい。
上述したように、記憶された事象特性は、外科的処置に関する多種多様な特性を含むことができる。幾つかの例示的な実施形態では、記憶された事象特性は、手術事象の有害転帰を含むことができる。例えば、記憶された事象特性は、事象が有害事象であるかどうか、又は上記でより詳細に説明した例を含む、合併症に関連していたかどうかを識別することができる。したがって、一致するサブセットを表示させること、選択された有害転帰を欠く手術事象の再生を省略しつつ、選択された有害転帰の手術映像をユーザが見ることができるようにすることを含んでもよい。例えば、外科医が腹腔鏡手術中にどのように血管損傷に対処したかを確認したいというユーザの要望に応じて、手術全体をユーザに表示するのではなく、ユーザは血管損傷事象を選択することができ、その後、システムは事象が発生したビデオ映像の一部のみを表示することができる。記憶された事象特性は、所望の及び／又は予測転帰を含む転帰を同様に識別することができる。そのような転帰の例としては、患者による完全な回復、漏れが発生したかどうか、発生した漏れの量、漏れの量が選択された範囲内であったかどうか、患者が退院後に再入院したかどうか、手術後の入院期間、又は外科的処置に関連し得る他の任意の転帰を挙げることができる。このようにして、ユーザは、視聴時に特定の技術の長期的な影響を確認することができる。したがって、幾つかの実施形態では、記憶された事象特性は、これら又は他の転帰を含むことができ、また、一致するサブセットを表示させることは、選択された転帰を欠く手術事象の再生を省略しながら、選択された転帰の手術映像をユーザが見ることができるようにすることを含むことができる。
幾つかの実施形態では、記憶された事象特性は、外科的手技を含むことができる。したがって、記憶された事象特性は、特定の技法が実行されるかどうかを識別することができる。例えば、手術の特定の段階で適用され得る複数の技術が存在してもよく、また、事象特性は、どの技術が適用されているかを識別し得る。このようにして、特定の技法の学習に興味があるユーザは、指定された技法を使用する処置のみが表示されるようにビデオ結果をフィルタリングすることができる場合がある。一致するサブセットを表示させることは、選択された外科的手技と関連付けられない手術映像の再生を省略しつつ、選択された外科的手技の手術映像をユーザが見ることができるようにすることを含んでもよい。例えば、ユーザは、同じ手術又は異なる手術のいずれかから捕捉されたビデオの不連続な部分を順番に見ることができる。幾つかの実施形態では、記憶された事象特性は、特定の外科医の識別情報を含むことができる。例えば、事象特性は、外科的処置を実行する特定の外科医の識別情報を含むことができる。外科医は、自分の名前、識別番号（例えば、従業員番号、医療登録番号など）、又は任意の他の形態の識別情報に基づいて識別することができる。幾つかの実施形態では、外科医は、捕捉されたビデオ内の外科医の表示を認識することに基づいて識別することができる。例えば、上述したように、様々な顔及び／又は音声認識技術を使用することができる。このようにして、ユーザが特定の外科医の技術を研究したい場合、ユーザはそのようにすることができる。例えば、一致するサブセットを表示させることは、選択された外科医による行動を欠く映像の再生を省略しつつ、選択された外科医による行動を示す映像をユーザが見ることができるようにすることを含んでもよい。したがって、例えば、複数の外科医が同じ外科的処置に参加する場合、ユーザは、チームのサブセットの行動のみを見ることを選択することができる。
幾つかの実施形態では、事象特性は、手術に関与し得る他のヘルスケア提供者又はヘルスケア専門家にも関連付けられ得る。幾つかの例では、ヘルスケア提供者に関連する特性は、外科的処置に関与するヘルスケア提供者の任意の特性を含むことができる。そのようなヘルスケア提供者の幾つかの非限定的な例としては、外科医、麻酔専門医、看護師、認定看護師麻酔医（ＣＲＮＡ）、外科技術者、居住者、医学生、医師助手などの外科チームの任意のメンバーの肩書を挙げることができる。そのような特性の更なる非限定的な例としては、認定、経験レベル（例えば、長年の経験、同様の外科的処置における過去の経験、同様の外科的処置における過去の成功率など）、人口統計学的特性（年齢など）などを挙げることができる。
他の実施形態では、記憶された事象特性は、特定の外科的処置、手術段階、又はその一部に関連する時間を含むことができる。例えば、記憶された事象特性は、事象の持続時間を含むことができる。一致するサブセットを表示させることは、異なる持続時間の事象の映像の再生を省略しながら、選択された持続時間の事象を示す映像をユーザが見ることができるようにすることを含んでもよい。このようにして、例えば、標準よりも速く完了した特定の処置を見たいかもしれないユーザは、その閾値内で完了した指定された処置を見るための時間閾値を設定することができる。別の例では、より複雑な事象を見たいユーザは、時間閾値を設定して、選択された閾値よりも長く続く事象を含む処置、又は選択された事象グループの中で最も長く続く事象を含む処置を見ることができる。他の実施形態では、記憶された事象特性は、事象の開始時間、事象の終了時間、又は任意の他の時間指標を含むことができる。一致するサブセットを表示させることは、異なる時間に関連付けられた事象の映像の再生を省略しながら、特定の外科的処置内、事象に関連付けられた段階内、又は特定の外科的処置の選択された部分内の選択された時間からの事象を示す映像をユーザが見ることができるようにすることを含んでもよい。
別の例では、記憶された事象特性は、患者特性を含むことができる。「患者特性」という用語は、患者の任意の身体的、社会学的、経済的、人口統計学的又は行動的特性、及び患者の病歴の特性を指す。そのような患者の特性の幾つかの非限定的な例としては、年齢、性別、体重、身長、ボディーマス指数（ＢＭＩ）、更年期状態、典型的な血圧、患者ゲノムの特性、教育状態、教育レベル、社会経済状態、収入レベル、職業、保険のタイプ、健康状態、自己評価による健康、機能状態、機能障害、疾患の持続期間、疾患の重症度、病気の数、病気の特性（例えば、病気のタイプ、腫瘍の大きさ、組織学的悪性度、浸潤リンパ節の数など）、医療の利用、医療訪問の回数、医療訪問間隔、医療の定期的な供給源、家族の状況、結婚歴の状態、子供の数、家族の支援、民族性、人種、宗教、宗教のタイプ、母国語、患者に対して行われた過去の医療検査の特性（例えば、試験のタイプ、試験の時間、試験の結果など）、患者に対して行われた過去の医学的治療の特性（治療のタイプ、治療時間、治療結果など）などを挙げることができる。そのような医療検査の幾つかの非限定的な例としては、血液検査、尿検査、便検査、医学的画像検査（例えば、超音波検査、血管造影、磁気共鳴イメージング（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、Ｘ線、筋電図検査、ポジトロン放出断層撮影（ＰＥＴ）など）、理学的検査、心電図検査、羊水穿刺、パップ検査、皮膚アレルギー検査、内視鏡検査、生検、病理、血圧測定、酸素飽和度検査、肺機能検査などを挙げることができる。そのような医学的処置の幾つかの非限定的な例としては、薬物療法、食事療法、手術、放射線療法、化学療法、理学療法、心理療法、輸血、注入などが挙げられ得る。したがって、一致するサブセットを表示させることは、選択された患者特性を欠く患者の映像の再生を省略しつつ、選択された患者特性を示す患者の映像をユーザが見ることができるようにすることを含んでもよい。
幾つかの実施形態では、選択された身体的患者特性は、ある種の解剖学的構造を含むことができる。本明細書で使用される場合、解剖学的構造は、生物の任意の特定の部分であり得る。例えば、解剖学的構造は、患者の任意の特定の器官、組織、細胞、又は他の構造を含むことができる。このようにして、例えば、ユーザが肺の胸膜嚢の手術に関するビデオを観察したい場合、映像のその部分を提示することができ、一方、他の関連のない部分は省略することができる。記憶された事象特性は、患者の人口統計、病状、病歴、以前の治療、又は任意の他の関連する患者記述子などの様々な他の患者特性を含むことができる。これにより、観察者は、非常に特定の特性（例えば、７０～７５歳の白人、以前にバイパス手術を受けたことがある冠動脈心疾患）に一致する患者の外科的処置を見ることができる。このようにして、それらの特定の基準に一致する１人又は複数の患者の映像を選択的にユーザに提示することができる。
更に別の例では、記憶された事象特性は、生理的応答を含むことができる。本明細書で使用される場合、「生理的応答」という用語は、外科的処置内の事象に反応して起こり得る任意の生理学的変化を指す。そのような生理学的変化の幾つかの非限定的な例としては、血圧の変化、酸素飽和度の変化、肺機能の変化、呼吸数の変化、血液組成（計数化学等）の変化、出血、漏出、組織への血流の変化、組織の状態の変化（例えば、色、形状、構造的状態、機能的状態の変化など）、体温の変化、脳行動の変化、発汗の変化、又は外科的処置に応答した任意の他の物理的変化を挙げることができる。このようにして、ユーザは、外科的処置中に起こり得る事象（一致しない事象の再生を省略する）を選択的に見ることによって、それらの事象に備えることができる。
幾つかの例では、事象特性は、外科医のスキルレベルを含むことができる。スキルレベルは、外科医の相対的能力の任意の表示を含むことができる。幾つかの実施形態では、スキルレベルは、外科的処置又は外科的処置内の特定の技術を実行する際の外科医の経験又は熟練度を反映するスコアを含み得る。このようにして、ユーザは、異なるスキルレベルを選択することによって、様々な経験の外科医が同じ処置をどのように扱うかを比較することができる。幾つかの実施形態では、スキルレベルは、データ入力（外科医のＩＤを手動で入力する）又はマシンビジョンのいずれかを介して決定される外科医の識別情報に基づいて決定されてもよい。例えば、開示された方法は、バイオメトリック解析（例えば、顔、声など）を介して外科医の識別情報を決定し、その外科医に関連する所定のスキルレベルを識別するためのビデオ映像の解析を含むことができる。所定のスキルレベルは、特定の外科医に関連するスキルレベルを記憶するデータベースにアクセスすることによって取得されてもよい。スキルレベルは、外科医の過去のパフォーマンス、外科医のトレーニング又は教育のタイプ及び／又はレベル、外科医が行った手術の数、外科医が行った手術のタイプ、外科医の資格、外科医の経験のレベル、患者又は他のヘルスケア専門家からの外科医の評価、過去の手術転帰、過去の手術転帰及び合併症、又はヘルスケア専門家のスキルレベルの評価に関連する任意の他の情報に基づくことができる。幾つかの実施形態では、スキルレベルは、ビデオ映像のコンピュータ解析に基づいて自動的に決定されてもよい。例えば、開示された実施形態は、処置の実行、特定の技術の実行、外科医によって行われた決定、又は同様の事象を捕捉するビデオ映像を解析することを含むことができる。このとき、外科医のスキルレベルは、外科医が事象中にどれだけ良好に機能するかに基づいて決定されてもよく、これは、適時性、有効性、好ましい技術への順守、損傷又は有害作用の欠如、又は映像の解析から収集され得る任意の他のスキルの指標に基づいてもよい。
幾つかの実施形態では、スキルレベルは、各外科医に割り当てられたグローバルなスキルレベルであってもよく、又は特定の事象に関連していてもよい。例えば、外科医は、第１の技術又は処置に関して第１のスキルレベルを有してもよく、異なる技術又は処置に関して第２のスキルレベルを有してもよい。また、外科医のスキルレベルは、事象、技術、及び／又は処置全体にわたって変化し得る。例えば、外科医は、映像の第１の一部内で第１のスキルレベルで動作してもよいが、映像の第２の一部において第２のスキルレベルで動作してもよい。したがって、スキルレベルは、映像の特定の位置に関連付けられたスキルレベルであってもよい。また、スキルレベルは、事象中の複数のスキルレベルであってもよく、又は平均値、ローリング平均、又は他の形態の集約など、事象中の複数のスキルレベルの集約であってもよい。幾つかの実施形態では、スキルレベルは、外科的処置、手術段階、及び／又は術中手術事象を実行するために一般的に必要とされるスキルレベルであってもよく、特定の外科医又は他のヘルスケア専門家に紐づけされなくてもよい。スキルレベルは、数値スケール（例えば、１－１０、１－１００など）、パーセンテージ、テキストベースの指標（例えば、「高度に熟練している」、「適度に熟練している」、「熟練していない」など）のスケール、又は外科医のスキルを表示するための任意の他の適切なフォーマットを含む様々な方法で表現することができる。スキルレベルは、本明細書では外科医のスキルレベルとして説明されているが、幾つかの実施形態では、スキルレベルは、外科技術者、看護師、医師の助手、麻酔科医、医師、又は任意の他のヘルスケア専門家などの別のヘルスケア専門家に関連付けられてもよい。
本開示の実施形態は、特定の外科的処置と同様の複数の外科的処置に関する集約データにアクセスすることを更に含むことができる。集約データは、複数のソースから収集及び／又は結合されたデータを指すことができる。集約データは、特定の外科的処置と何らかの関係を有する複数の外科的処置からコンパイルすることができる。例えば、外科的処置は、同じもしくは同様の手術段階を含む、同じもしくは同様の術中事象を含む、又は同じもしくは同様のタグもしくは特性（例えば、事象タグ、段階タグ、事象特性、又は他のタグである）に関連付けられている場合、特定の外科的処置と類似していると見なされ得る。
本開示は、選択された事象特性に関連する統計情報をユーザに提示することを更に含むことができる。統計情報は、複数の外科的処置を一緒に解析するのに有用であり得る任意の情報を指すことができる。統計情報としては、平均値、データの傾向、標準逸脱、分散、相関、因果関係、検定統計量（ｔ統計、カイ二乗統計、ｆ統計、又は他の形式の検査統計を含む）、順序統計量（サンプルの最大値及び最小値を含む）、グラフィカル表示（例えば、チャート、グラフ、プロット、又は他の視覚的又はグラフィカル表示）、又は同様のデータを挙げることができるが、これらに限定されない。例示的な例として、ユーザが特定の外科医の識別情報を含む事象特性を選択する実施形態では、統計情報は、外科医が外科手術を行う平均期間（又は外科手術の段階もしくは事象）、外科医の有害もしくは他の転帰の割合、外科医が術中事象を行う平均スキルレベル、又は同様の統計情報を含むことができる。当業者は、開示された実施形態に従って提示され得る他の形態の統計情報を理解し得る。
図８Ａ及び図８Ｂは、開示された実施形態と整合するビデオインデックス付けのための例示的なプロセス８００を示すフローチャートである。プロセス８００は、少なくとも１つのプロセッサなどの処理デバイスによって実行されてもよい。例えば、少なくとも１つのプロセッサは、特定用途向け集積回路（ＡＳＩＣ）、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、サーバ、仮想サーバ、又は、命令の実行もしくは論理演算の実行に適した他の回路の全部又は一部を含む１つ以上の集積回路（ＩＣ）を含んでもよい。少なくとも１つのプロセッサによって実行される命令は、例えば、コントローラと一体化される又はコントローラに組み込まれるメモリに予めロードされてもよく、或いは、別個のメモリに記憶されてもよい。メモリとしては、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク、光ディスク、磁気媒体、フラッシュメモリ、他の永続的、固定的又は揮発性のメモリ、或いは、命令を記憶することができる任意の他の機構を挙げることができる。幾つかの実施形態において、少なくとも１つのプロセッサは、２つ以上のプロセッサを含んでもよい。各プロセッサが同様の構造を有してもよく、或いは、プロセッサが互いに電気的に接続又は切断される異なる構造を成してもよい。例えば、プロセッサは、別個の回路であってもよく或いは単一の回路に集積されてもよい。複数のプロセッサが使用される場合、プロセッサは、独立して又は協働して動作するように構成されてもよい。プロセッサは、電気的、磁気的、光学的、音響的、機械的に、或いは、それらが相互作用できるようにする他の手段によって結合されてもよい。
幾つかの実施形態では、持続性コンピュータ可読媒体は、プロセッサによって実行されるときにプロセッサにプロセス８００を実行させる命令を含むことができる。ステップ８０２において、プロセス８００は、インデックス付けされるビデオ映像にアクセスすることを含むことができ、インデックス付けされるビデオ映像は、特定の外科的処置の映像を含む。ビデオ映像は、ローカルハードドライブなどのローカルメモリからアクセスされてもよく、例えばネットワーク接続を介してリモートソースからアクセスされてもよい。別の例では、ビデオ映像は、１つ以上の画像センサを使用して捕捉される又は別のプロセスによって生成され得る。ステップ８０４において、プロセス８００は、ビデオ映像を解析して、特定の外科的処置の手術段階に関連するビデオ映像の位置を識別することを含むことができる。上述したように、位置は、特定のフレーム、フレームの範囲、時間インデックス、時間範囲、又は任意の他の位置識別子に関連付けられ得る。
プロセス８００は、ステップ８０６に示すように、手術段階に関連する段階タグを生成することを含むことができる。これは、例えば、映像動き検出、映像追跡、形状認識、物体検出、流体流検出、機器識別、挙動解析、又は他の形態のコンピュータ支援状況認識のうちの１つ以上などの技術を使用して、映像コンテンツ解析（ＶＣＡ）によって行われ得る。段階に関連する学習された特性が映像内で識別されると、その段階を画定するタグが生成され得る。タグは、例えば、段階に関する所定の名前を含むことができる。ステップ８０８において、プロセス８００は、段階タグをビデオ映像の位置に関連付けることを含み得る。段階タグは、例えば、識別されたビデオ映像の位置が特定の外科的処置の手術段階に関連付けられていることを示すことができる。ステップ８１０において、プロセス８００は、手術段階内の特定の術中手術事象の事象位置を識別するために、上述したＶＣＡ技術のうちの１つ以上を使用してビデオ映像を解析することを含むことができる。プロセス８００は、ステップ８１２に示すように、事象タグを特定の術中手術事象の事象位置に関連付けることを含むことができる。事象タグは、例えば、ビデオ映像が事象位置で手術事象に関連付けられていることを示すことができる。段階タグと同様に、事象タグは、事象に関する所定の名前を含むことができる。ステップ８１４では、図８Ｂにおいて、プロセス８００は、特定の術中手術事象に関連する事象特性を記憶することを含むことができる。より詳細に上述したように、事象特性は、手術事象の有害転帰、外科的手技、外科医のスキルレベル、患者の特性、特定の外科医の識別情報、生理的応答、事象の持続時間、又は事象に関連する任意の他の特性もしくは特性を含むことができる。事象特性は、手動で決定されてもよく（例えば、視聴者によって入力される）、例えば上述したように、マシンビジョンに適用された人工知能によって自動的に決定されてもよい。一例では、事象特性はスキルレベル（例えば、必要最小限のスキルレベル、事象中に実証されたスキルレベルなど）を含むことができ、ビデオからそのようなスキルレベルを決定するためにトレーニング例を使用して機械学習モデルをトレーニングすることができ、また、トレーニングされた機械学習モデルを使用してビデオ映像を解析してスキルレベルを決定することができる。そのようなトレーニング例の例は、対応するスキルレベルを示すラベルと共に事象を描写するビデオクリップを含むことができる。別の例では、事象特性は、事象の時間関連特性（例えば、開始時間、終了時間、持続時間など）を含んでもよく、そのような時間関連特性は、事象に対応するビデオ映像内の間隔を解析することによって計算され得る。更に別の例では、事象特性は事象タイプを含むことができ、ビデオから事象タイプを決定するためにトレーニング例を使用して機械学習モデルをトレーニングすることができ、また、トレーニングされた機械学習モデルを使用してビデオ映像を解析し、事象タイプを決定することができる。そのようなトレーニング例の一例は、事象タイプを示すラベルと共に事象を描写するビデオクリップを含むことができる。更なる例では、事象特性は、事象に関与する医療機器に関連する情報（例えば、医療機器のタイプ、医療機器の使用法など）を含むことができ、機械学習モデルは、ビデオから医療機器に関連するそのような情報を識別するためにトレーニング例を使用してトレーニングされることができ、また、トレーニングされた機械学習モデルは、ビデオ映像を解析し、事象に関与する医療機器に関連する情報を決定するために使用され得る。そのようなトレーニング例の一例は、医療機器に関連する情報を示すラベルと共に、医療機器の使用を含む事象を描写するビデオクリップを含むことができる。更に別の例では、事象特性は、事象に関与する解剖学的構造に関連する情報（例えば、解剖学的構造のタイプ、解剖学的構造の状態、事象に関連して解剖学的構造に生じた変化など）を含むことができ、機械学習モデルは、ビデオから解剖学的構造に関連するそのような情報を識別するためにトレーニング例を使用してトレーニングされることができ、また、トレーニングされた機械学習モデルは、ビデオ映像を解析し、事象に関与する解剖学的構造に関連する情報を決定するために使用され得る。そのようなトレーニング例の一例は、解剖学的構造に関連する情報を示すラベルと共に、解剖学的構造を含む事象を描写するビデオクリップを含むことができる。更なる例では、事象特性は、事象に関連する医療転帰に関連する情報を含むことができ、機械学習モデルは、ビデオから医療転帰に関連するそのような情報を識別するためにトレーニング例を使用してトレーニングすることができ、また、トレーニングされた機械学習モデルは、ビデオ映像を解析し、事象に関連する医療転帰に関連する情報を決定するために使用することができる。そのようなトレーニング例の一例は、医療転帰を示すラベルと共に、医療転帰を示すビデオクリップを含むことができる。
ステップ８１６において、プロセス８００は、特定の外科的処置のビデオ映像の少なくとも一部を、データ構造内の段階タグ、事象タグ、及び事象特性の少なくともいずれかに関連付けることを含むことができる。このステップでは、タグが映像にアクセスするために使用されることを可能にするために、様々なタグがビデオ映像に関連付けられる。前述のように、様々なデータ構造を使用して、関連するデータを関連付けられた態様で記憶することができる。
ステップ８１８において、プロセス８００は、選択された段階タグ、選択された事象タグ、及び表示のためのビデオ映像の選択された事象特性のうちの少なくとも１つの選択によってユーザがデータ構造にアクセスできるようにすることを含んでもよい。幾つかの実施形態では、ユーザは、図７に示すユーザインタフェース７００などのコンピューティングデバイスのユーザインタフェースを介して、選択された段階タグ、選択された事象タグ、及び選択された事象特性を選択することができる。例えば、データ入力フィールド、ドロップダウンメニュー、アイコン、又は他の選択可能な項目を提供して、外科的処置、処置の段階、処置内の事象、並びに処置及び患者の特性をユーザが選択できるようにしてもよい。ステップ８２０において、プロセス８００は、記憶されたビデオ映像の一致するサブセットを識別するために、少なくとも１つの選択された段階タグ、選択された事象タグ、及び選択された事象特性と一致する手術ビデオ映像のデータ構造においてルックアップを実行することを含むことができる。ステップ８２２において、プロセス８００は、記憶されたビデオ映像の一致するサブセットをユーザに表示させ、それにより、選択された事象特性を欠くビデオ映像の再生を省略しつつ、選択された事象特性を共有する少なくとも１つの術中手術事象の手術映像をユーザが見ることができるようにすることを含んでもよい。このフィルタリングにより、ユーザは、ユーザの関心に関連しない大量のビデオデータの再生を省略しながら、ユーザの関心に対応するビデオセグメントのみを迅速に見ることができる。
外科的処置の準備をするとき、外科医が同様の手術事象を有する外科的処置のビデオ映像を見直しすることは有益であり得る。しかしながら、外科医がビデオ全体を見るには時間がかかりすぎるか、又はスキップして手術映像の関連部分を見つけるには時間がかかりすぎる場合がある。したがって、他の無関係な映像を省略しながら関連する手術事象の映像を集約する手術ビデオ概要を外科医が効率的且つ効果的に見ることができるようにする非従来的な手法が必要とされている。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む、手術概要映像の生成に関するものとなり得る。例えば、１つの外科的処置の映像を以前に解析された手術の映像と比較して、関連する術中手術事象を識別してタグ付けすることができる。外科医は、他の無関係な映像の多くを省略しながら、術中手術事象を集約する手術の概要を見ることができる。説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、本方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの異なる手段を使用して達成され得る。
開示された実施形態と整合して、方法は、少なくとも１つの術中手術事象に関連付けられたフレームの第１のグループを含む特定の手術映像にアクセスすることを含むことができる。手術映像は、任意のビデオ、ビデオフレームのグループ、又は外科的処置の表示を含むビデオ映像を指すことができる。例えば、手術映像は、手術中に捕捉された１つ以上のビデオフレームを含むことができる。手術映像にアクセスすることは、メモリデバイスなどの記憶場所からビデオを取得することを含むことができる。手術映像は、ローカルハードドライブなどのローカルメモリからアクセスされてもよく、又は例えばネットワーク接続を介してリモートソースからアクセスされてもよい。上記でより詳細に説明したように、ビデオは、記録された画像及び／又は音声を含む任意の形態の記録された視覚媒体を含むことができる。ビデオは、音声・ビデオ・インターリーブ（ＡＶＩ）ファイル、フラッシュ・ビデオ・フォーマット（ＦＬＶ）ファイル、クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４Ｐなど）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（ＷＭＶ）ファイル、マテリアル・エクスチェンジ・フォーマット（ＭＸＦ）ファイル、又はその他任意の適切なビデオ・ファイル・フォーマット等のビデオファイルとして記憶され得る。これに加えて又は代えて、幾つかの例では、特定の手術映像にアクセスすることは、１つ以上の画像センサを使用して特定の手術映像を捕捉することを含み得る。
上述したように、術中手術事象は、外科的処置又は段階に関連する任意の事象又は動作であり得る。フレームは、ビデオを構成する複数の静止画像のうちの１つを指すことができる。フレームの第１のグループは、術中手術事象中に捕捉されたフレームを含むことができる。例えば、特定の手術映像は、患者に対して実行されて手術室内の少なくとも１つの画像センサによって捕捉される外科的処置を描写することができる。画像センサは、例えば、手術室１０１に配置されたカメラ１１５，１２１、１２３、及び／又は１２５を含むことができる。幾つかの実施形態では、少なくとも１つの画像センサは、手術室内の手術台の上方又は患者内のうちの少なくとも１つである。例えば、画像センサは、上述したように、患者の上方に配置されてもよく、又は患者の手術体腔、器官、もしくは脈管構造内に配置されてもよい。フレームの第１のグループは、解剖学的構造、手術器具、術中手術事象を実行するヘルスケア専門家、又は術中手術事象の他の視覚的表示を含む、術中手術事象の表示を含んでもよい。しかしながら、幾つかの実施形態では、フレームの一部又は全ては、術中手術事象の表示を含まなくてもよいが、そうでなければ事象に関連付けられてもよい（例えば、事象が実行されている間に捕捉されるなど）。
本開示と整合して、特定の手術映像は、手術行動に関連しないフレームの第２のグループを含むことができる。例えば、外科的処置は、著しい手術行動が行われておらず、映像を見直しするための重要な理由がない長時間のダウンタイムを伴うことがある。手術行動は、外科的処置に関連して行われる任意の行動を指すことができる。幾つかの実施形態では、手術行動は、術前行動、周術期行動、術中行動、及び／又は術後行動を含む、外科的処置に関連する任意の行動を広く指すことができる。したがって、フレームの第２のグループは、そのような行動に関連付けられていないフレームを含むことができる。他の実施形態では、手術行動は、外科医によって行われる患者の臓器又は組織の物理的操作などのより狭い一連の行動を指すことができる。したがって、フレームの第２のグループは、準備、麻酔の提供、バイタルサインの監視、手術器具の収集又は準備、ヘルスケア専門家間の議論、又は手術行動と見なされない可能性がある他の行動に関連する様々な行動を含むことができる。
本開示によれば、本方法は、以前の外科的処置の履歴手術映像に基づいて履歴データにアクセスするステップを含むことができる。履歴データは、以前に記録及び／又は記憶された任意のフォーマットのデータを指すことができる。幾つかの実施形態では、履歴データは、履歴手術映像を含む１つ以上のビデオファイルであってもよい。例えば、履歴データは、以前の外科的処置中に捕捉された一連のフレームを含むことができる。しかしながら、この履歴データは、ビデオファイルに限定されない。例えば、履歴データは、履歴手術映像の少なくとも１つの態様を表すテキストとして記憶された情報を含むことができる。例えば、履歴データは、履歴手術映像を要約又は参照する情報のデータベースを含むことができる。別の例では、履歴データは、履歴手術映像の少なくとも１つの態様を表す数値として記憶された情報を含むことができる。更なる例では、履歴データは、履歴手術映像の解析に基づく統計情報及び／又は統計モデルを含むことができる。更に別の例では、履歴データは、トレーニング例を使用してトレーニングされた機械学習モデルを含むことができ、トレーニング例は、履歴手術映像に基づくことができる。履歴データにアクセスすることは、電子送信を介して履歴データを受信すること、記憶装置（例えば、メモリデバイス）から履歴データを読み出すこと、又はデータにアクセスするための任意の他のプロセスを含むことができる。幾つかの実施形態では、履歴データは、上述した特定の手術映像と同じリソースからアクセスすることができる。他の実施形態では、履歴データは、別個のリソースからアクセスされてもよい。これに加えて又は代えて、履歴データにアクセスすることは、例えば、以前の外科的処置の履歴手術映像を解析することによって、又は以前の外科的処置の履歴手術映像に基づいてデータを解析することによって、履歴データを生成することを含むことができる。
本開示の実施形態によれば、履歴データは、手術映像の部分を術中手術事象に関連するフレームと手術行動に関連しないフレームとに区別する情報を含むことができる。情報は、様々な方法で手術映像の部分を区別することができる。例えば、履歴的な手術映像に関連して、手術行動及び非手術行動に関連付けられたフレームが既に区別されてしまってもよい。これは、例えば、手術行動の手動フラグ付けによって、又は手術行動と非手術行動とを区別するための人工知能エンジンのトレーニングによって既に行われてしまってもよい。履歴情報は、例えば、手術映像のフレームのセットを（例えば、開始フレーム番号、フレーム数、終了フレーム番号などを使用して）識別することができる。また、情報は、開始タイムスタンプ、終了タイムスタンプ、持続時間、タイムスタンプ範囲、又は手術映像のタイミングに関する他の情報などの時間情報を含むことができる。一例では、履歴データは、手術行動を非手術行動から区別する様々な指標及び／又は規則を含むことができる。そのような指標及び／又は規則の幾つかの非限定的な例を以下に説明する。別の例では、履歴データは、例えば履歴手術映像に基づいて、手術行動に対応する映像の部分及び／又は非手術行動に対応する映像の部分を識別するようにトレーニングされた機械学習モデルを含むことができる。
様々な指標を使用して、手動、半手動、又は自動（例えば、機械学習を介して）のいずれかの非手術行動から手術行動を区別することができる。例えば、幾つかの実施形態では、履歴的な手術映像の一部を術中手術事象に関連するフレームに区別する情報は、手術器具の存在又は動きのうちの少なくとも一方の指標を含むことができる。手術器具は、外科的処置中に使用され得る任意の器具又はデバイスであってもよく、そのような器具又はデバイスとしては、切断器具（例えば、メス、ハサミ、ノコギリなど）、把持及び／又は保持器具（例えば、ビルロート鉗子、止血「蚊」鉗子、非外傷性止血鉗子、デシャンプ針、ホップナー止血鉗子など）、リトラクタ（例えば、ファラベフのＣ字型層状フック、平滑歯付きフック、鋭利歯付きフック、溝付きプローブ、タンプ鉗子など）、組織一体化器具及び／又は材料（例えば、針ホルダ、手術針、ステープラ、クリップ、接着テープ、メッシュなど）、保護機器（例えば、顔用及び／又は呼吸用保護具、帽子、履物、手袋など）、腹腔鏡、内視鏡、患者監視デバイスなどを挙げることができるが、これらに限定されない。ビデオインデックス付けに関して上述したような映像又は画像解析アルゴリズムを使用して、映像内の手術器具の存在及び／又は動きを検出することができる。幾つかの例では、手術器具の動きの指標を計算することができ、計算された動きの指標を選択された閾値と比較して、手術行動を非手術行動から区別することができる。例えば、閾値は、外科的処置のタイプに基づいて、外科的処置の時間又は外科的処置内に基づいて、外科的処置の段階に基づいて、外科的処置のビデオ映像を解析することによって決定されたパラメータに基づいて、履歴データを解析することによって決定されたパラメータに基づくなどして、選択することができる。幾つかの例では、信号処理アルゴリズムを使用して、外科的処置のビデオ映像内の様々な時間の計算された動きの測定値を解析し、手術行動を非手術行動から区別することができる。そのような信号処理アルゴリズムの幾つかの非限定的な例としては、手術行動を非手術行動から区別するためにトレーニング例を使用してトレーニングされた機械学習ベースの信号処理アルゴリズム、手術行動を非手術行動から区別するように構成された人工ニューラルネットワーク（例えば、再帰ニューラルネットワーク、長期短期記憶ニューラルネットワーク、深層ニューラルネットワークなど）、マルコフモデル、ビタビモデルなどを挙げることができる。
幾つかの例示的な実施形態では、履歴的な手術映像の一部を術中手術事象に関連するフレームに区別する情報は、関連するフレーム内の検出された器具及び解剖学的特徴を含むことができる。例えば、開示された方法は、画像及び／又はビデオ解析アルゴリズムを使用して器具及び解剖学的特徴を検出することを含むことができる。器具は、上述のような手術器具、又は他の非手術器具を含むことができる。解剖学的特徴は、生体の解剖学的構造（上記でより詳細に定義される）又は他の部分を含み得る。手術行動は、一般に解剖学的構造と相互作用する手術器具を含むため、１つ以上の関連するフレームで検出された手術器具及び解剖学的構造の両方の存在は、手術行動の指標として役立ち得る。例えば、フレームのグループ内の第１の器具の検出に応じて、フレームのグループは、術中手術事象に関連付けられていると決定されてもよく、一方、フレームのグループ内の第１の器具の検出がないことに応じて、フレームのグループは、術中手術事象に関連付けられていないと識別されてもよい。別の例では、フレームのグループ内の第１の解剖学的特徴の検出に応じて、フレームのグループは、術中手術事象に関連付けられていると決定されてもよく、一方、フレームのグループ内の第１の解剖学的特徴の検出がないことに応じて、フレームのグループは、術中手術事象に関連付けられていないと識別されてもよい。幾つかの例では、ビデオ映像を更に解析して、検出された器具と解剖学的特徴との間の相互作用を検出することができ、また、手術行動を非手術行動から区別することは、検出された相互作用に基づくことができる。例えば、フレームのグループ内の第１の相互作用の検出に応じて、フレームのグループは、術中手術事象に関連付けられていると決定されてもよく、一方、フレームのグループ内の第１の相互作用の検出がないことに応じて、フレームのグループは、術中手術事象に関連付けられていないと識別されてもよい。幾つかの例では、ビデオ映像を更に解析して、検出された器具によって実行された動作を検出することができ、また、手術行動を非手術行動から区別することは、検出された動作に基づくことができる。例えば、フレームのグループ内の第１の動作の検出に応じて、フレームのグループは、術中手術事象に関連付けられていると決定されてもよく、一方、フレームのグループ内の第１の動作の検出がないことに応じて、フレームのグループは、術中手術事象に関連付けられていないと識別されてもよい。幾つかの例では、ビデオ映像を更に解析して解剖学的特徴の状態の変化を検出し、検出された変化に基づいて手術行動を非手術行動から区別することができる。例えば、フレームのグループの第１の変化の検出に応じて、フレームのグループは、術中手術事象に関連付けられていると決定されてもよく、一方、フレームのグループの第１の変化の検出がないことに応じて、フレームのグループは、術中手術事象に関連付けられていないと識別されてもよい。
本発明の幾つかの態様は、履歴データの情報に基づいて、特定の手術映像においてフレームの第１のグループをフレームの第２のグループから区別することを含むことができる。例えば、情報は、特定の手術映像のどのフレームが術中事象及び／又は手術行動に関連付けられているかを決定するのに有用なコンテキストを提供することができる。幾つかの実施形態では、特定の手術映像において、フレームの第１のグループをフレームの第２のグループから区別することは、機械学習アルゴリズムの使用を含み得る。例えば、機械学習モデルは、履歴データの情報に基づいてトレーニング例を使用して術中事象及び／又は手術行動を識別するようにトレーニングすることができる。
本開示によれば、フレームの第１及び第２のグループは、手術映像を解析して履歴データの情報と同様の情報を識別することによって区別され得る。図９は、フレームの第１のグループをフレームの第２のグループから区別するための例示的なプロセス９００を示すフローチャートである。プロセス９００が一例として提供されることが理解されるべきである。当業者であれば、本開示と整合して、フレームの第１のグループを第２のグループから区別するための様々な他のプロセスを理解し得る。ステップ９１０において、プロセス９００は、特定の手術映像を解析して医療機器を検出することを含むことができる。医療機器は、上述したように、手術器具を含む、患者の治療に使用される任意の器具又はデバイスを指すことができる。上記の手術器具に加えて、医療機器としては、聴診器、ガーゼスポンジ、カテーテル、カニューレ、除細動器、針、トレイ、照明、温度計、ピペット又は滴下器、酸素マスク及びチューブ、又は任意の他の医療器具を挙げることができるが、これらに限定されない。例えば、機械学習モデルは、画像及び／又はビデオ内の医療機器を検出するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、特定の手術映像を解析し、医療機器を検出するために使用されてもよい。そのようなトレーニング例の一例は、ビデオ及び／又は画像内の１つ以上の特定の医療機器の存在を示すラベルと共に、又はビデオ及び／又は画像内の特定の医療機器の不在を示すラベルと共に、外科的処置のビデオ及び／又は画像を含むことができる。
ステップ９２０において、プロセス９００は、特定の手術映像を解析して解剖学的構造を検出することを含むことができる。解剖学的構造は、上述したように、任意の器官、器官の一部、又は生体の他の部分であってもよい。上述したように、１つ以上のビデオ及び／又は画像認識アルゴリズムを使用して、医療機器及び／又は解剖学的構造を検出することができる。例えば、機械学習モデルは、画像及び／又はビデオ内の解剖学的構造を検出するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、特定の手術映像を解析し、解剖学的構造を検出するために使用されてもよい。そのようなトレーニング例の一例は、ビデオ及び／又は画像内の１つ以上の特定の解剖学的構造の存在を示すラベルと共に、又はビデオ及び／又は画像内の特定の解剖学的構造の不在を示すラベルと共に、外科的処置のビデオ及び／又は画像を含むことができる。
ステップ９３０において、プロセス９００は、検出された医療機器と検出された解剖学的構造との間の相対動作を検出するためにビデオを解析することを含むことができる。相対動作は、例えば、フレーム間のピクセルの変化、オプティカルフロー、又は他の形態の動き検出アルゴリズムに基づいて、動き検出アルゴリズムを使用して検出することができる。例えば、動き検出アルゴリズムを使用して、ビデオ内の医療機器の動きを推定し、ビデオ内の解剖学的構造の動きを推定することができ、また、医療機器の推定された動きを解剖学的構造の推定された動きと比較して、相対動作を決定することができる。ステップ９４０において、プロセス９００は、相対動作に基づいてフレームの第１のグループをフレームの第２のグループから区別することを含むことができ、この場合、フレームの第１のグループは手術行動フレームを含み、フレームの第２のグループは非手術行動フレームを含む。例えば、フレームのグループ内の第１の相対動作パターンに応じて、フレームのグループは、手術行動を含むと決定されてもよく、また、フレームのグループ内の第２の相対動作パターンの検出に応じて、フレームのグループは、非手術行動フレームを含まないと識別されてもよい。したがって、フレームの第１のグループの集約を提示することにより、手術の準備をしている外科医は、要約された提示のビデオ見直し中に非手術行動フレームを省略することができる。幾つかの実施形態では、非手術行動フレームを省略することは、非手術行動を捕捉するフレームの大部分を省略することを含み得る。例えば、術中手術事象の直前又は直後のフレーム、術中手術事象にコンテキストを与える非手術行動を捕捉するフレーム、又はユーザに関連し得る任意の他のフレームなど、非手術行動を捕捉する全てのフレームが省略されるとは限らない場合がある。
本開示の幾つかの例示的な実施形態では、フレームの第１のグループをフレームの第２のグループから区別することは、医療機器と解剖学的構造との間の検出された相対位置に更に基づくことができる。相対位置は、医療機器と解剖学的構造との間の距離、解剖学的構造に対する医療機器の向き、又は解剖学的構造に対する医療機器の位置を指すことができる。例えば、相対位置は、手術映像の１つ以上のフレーム内の検出された医療機器及び解剖学的構造の相対位置に基づいて推定され得る。例えば、相対位置は、距離（例えば、ピクセル、実世界の測定値などでの）、方向、ベクトルなどを含むことができる。一例では、物体検出アルゴリズムを使用して、医療機器の位置を決定し、解剖学的構造の位置を決定することができ、また、２つの決定された位置を比較して相対位置を決定することができる。一例では、フレームのグループ内の第１の相対位置に応じて、フレームのグループは、手術行動を含むと決定されてもよく、一方、フレームのグループ内の第２の相対位置の検出に応じて、フレームのグループは、非手術行動フレームとして識別されてもよい。別の例では、医療機器と解剖学的構造との間の距離は、選択された閾値と比較されてもよく、また、フレームの第１のグループをフレームの第２のグループから区別することは、比較の結果に更に基づいてもよい。例えば、閾値は、医療機器のタイプ、解剖学的構造のタイプ、外科的処置のタイプなどに基づいて選択されてもよい。他の実施形態では、フレームの第１のグループをフレームの第２のグループから区別することは、医療機器と解剖学的構造との間の検出された相互作用に更に基づくことができる。相互作用は、解剖学的構造に影響を及ぼし得る医療機器による任意の動作を含むことができ、或いは、その逆もまた同様である。例えば、相互作用は、医療機器と解剖学的構造との間の接触、解剖学的構造に対する医療機器による作用（例えば、切断、クランプ、圧力の印加、掻き取りなど）、解剖学的構造による反応（反射作用など）、又は任意の他の形態の相互作用を含むことができる。例えば、機械学習モデルは、ビデオから医療機器と解剖学的構造との間の相互作用を検出するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、ビデオ映像を解析し、医療機器と解剖学的構造との間の相互作用を検出するために使用され得る。そのようなトレーニング例の一例は、ビデオクリップ内の医療機器と解剖学的構造との間の特定の相互作用の存在を示すラベルと共に、又はビデオクリップ内の医療機器と解剖学的構造との間の特定の相互作用の不在を示すラベルと共に、外科的処置のビデオクリップを含むことができる。
本開示の幾つかの態様は、ユーザの要求に応じて、フレームの第２のグループのユーザへの提示を省略しつつ、特定の手術映像のフレームの第１のグループの集約をユーザに提示することを伴ってもよい。フレームの第１のグループの集約は、様々な形態で提示されてもよい。幾つかの実施形態では、フレームの第１のグループの集約は、ビデオファイルを含むことができる。ビデオファイルは、フレームの第１のグループを含むビデオクリップのコンパイルであってもよい。幾つかの実施形態では、ユーザは、ビデオクリップのそれぞれを別々に提示されてもよく、又は単一のコンパイルされたビデオを提示されてもよい。幾つかの実施形態では、フレームの第１のグループの集約に関して別個のビデオファイルを生成することができる。他の実施形態では、フレームの第１のグループの集約は、提示のために含まれるべきフレーム及び省略されるべきフレームを識別するための命令を含むことができる。命令の実行は、あたかも連続ビデオが生成されたかのようにユーザに見え得る。フレームの第１のグループを静止画像として提示することを含む、様々な他のフォーマットも使用することができる。
提示は、集約をユーザに供給するための任意のプロセスを含み得る。幾つかの実施形態では、これは、コンピュータ画面もしくはモニタ、プロジェクタ、携帯電話ディスプレイ、タブレット、スマートデバイス、又は画像及び／もしくは音声を表示することができる任意のデバイスなどのディスプレイ上で集約を再生させることを含むことができる。また、提示することは、フレームの第１のグループの集約をユーザに送信すること、又はそうでなければユーザがアクセスできるようにすることを含むことができる。例えば、フレームの第１のグループの集約は、ネットワークを介してユーザのコンピューティングデバイスに送信されてもよい。別の例として、フレームの第１のグループの集約の位置は、ユーザと共有されてもよい。フレームの第２のグループは、フレームの第２のグループを集約に含まないことによって省略されてもよい。例えば、集約がビデオとして提示される場合、フレームの第２のグループを備えるビデオクリップは、ビデオファイルに含まれなくてもよい。フレームの第１のグループは、時系列順を含む任意の順序で提示されてもよい。場合によっては、フレームの第１のグループの少なくとも幾つかを非時系列順で提示することが論理的であり得る。幾つかの実施形態では、フレームの第１のグループの集約は、２つ以上の術中手術事象に関連付けられ得る。例えば、ユーザは、特定の手術映像内の複数の術中手術事象の視聴を要求することができる。第１のフレームグループの集約をユーザに提示することは、第２のグループの時系列フレームを省略して時系列順に第１のグループフレームを表示することを含むことができる。
ユーザは、手術概要映像へのアクセスを必要とし得る任意の個人又はエンティティであり得る。幾つかの実施形態では、ユーザは、外科医又は他のヘルスケア専門家であってもよい。例えば、外科医は、見直し又はトレーニング目的で手術概要映像を要求することができる。幾つかの実施形態では、ユーザは、管理者、管理者、執刀医、保険会社職員、規制当局、警察もしくは調査当局、又は手術映像へのアクセスを必要とし得る他の任意のエンティティであり得る。ビデオインデックス付け技術に関連して、ユーザの様々な他の例が上記で与えられる。ユーザは、ラップトップ、デスクトップコンピュータ、携帯電話、タブレット、スマートグラス、又は要求を提出することができる任意の他の形態のコンピューティングデバイスなどのコンピューティングデバイスを介して要求を提出することができる。幾つかの実施形態では、要求は、ネットワークを介して電子的に受信されてもよく、また、集約は、要求の受信に基づいて提示されてもよい。
幾つかの典型的な実施形態では、ユーザの要求は、対象の少なくとも１つのタイプの術中手術事象の表示を含み、また、フレームの第１のグループは、少なくとも１つのタイプの対象の術中手術事象のうちの少なくとも１つの術中手術事象を描写し得る。術中手術事象のタイプは、術中手術事象が分類され得る任意のカテゴリであり得る。例えば、タイプとしては、実行されている処置のタイプ、処置の段階、術中手術事象が有害であるか否か、術中手術事象が計画された処置の一部であるか否か、術中手術事象を実行する外科医の識別情報、術中手術事象の目的、術中手術事象に関連する医学的状態、又は任意の他のカテゴリ又は分類を挙げることができる。
本開示の実施形態は、患者の医療記録に記憶するためにフレームの第１のグループをエクスポートすることを更に含むことができる。上述したように、特定の手術映像は、患者に対して行われる外科的処置を描写することができる。開示された方法を使用して、少なくとも１つの手術中の手術事象に関連付けられたフレームの第１のグループは、患者の医療記録に関連付けられ得る。本明細書で使用される場合、医療記録は、診断、治療、及び／又はケアを含む、患者の健康に関する情報の任意の形態の文書化を含むことができる。医療記録は、電子医療記録（ＥＭＲ）などのデジタル形式で記憶することができる。フレームの第１のグループをエクスポートすることは、第１のフレームグループを送信する又はそうでなければ医療記録に記憶するために利用可能にすること、又はそうでなければフレームの第１のグループを医療記録に関連付けることを含むことができる。これは、例えば、フレームの第１のグループ（又はフレームの第１のグループのコピー）をデータベースなどの外部デバイスに送信することを含むことができる。幾つかの実施形態では、開示された方法は、フレームの第１のグループを固有の患者識別子に関連付けることと、及び、固有の患者識別子を含む医療記録を更新することとを含むことができる。固有の患者識別子は、患者を一意的に識別する英数字文字列などの任意の指標であってもよい。英数字文字列は、プライバシーの目的のために必要とされ得る患者を匿名化することができる。プライバシーが問題とならない場合、固有の患者識別子は、患者の名前及び／又は社会保障番号を含むことができる。
幾つかの例示的な実施形態では、開示された方法は、少なくとも１つの術中手術事象の指標を生成することを更に含むことができる。上述したように、インデックスは、関連するビデオフレームの検索を可能にするデータストレージの形態を指すことができる。インデックス付けは、インデックス付けされていない場合よりも効率的及び／又は効果的な態様で検索を促進することができる。インデックスは、フレームの第１のグループに示される或いはそうでなければ関連付けられる術中手術事象のリスト又は他の箇条書きを含むことができる。フレームの第１のグループをエクスポートすることは、フレームの第１のグループのコンパイルを生成することを含むことができ、コンパイルはインデックスを含み、１つ以上のインデックス項目の選択に基づいて少なくとも１つの術中手術事象の視聴を可能にするように構成される。例えば、インデックスを通じて「切開」を選択することにより、切開を描写する手術映像のコンパイルをユーザに提示することができる。様々な他の術中手術事象が指標に含まれ得る。幾つかの実施形態では、コンパイルは、連続ビデオとして記憶される異なる術中事象の一連のフレームを含むことができる。例えば、ユーザは、インデックスを介して複数の術中事象を選択することができ、選択された術中事象に関連するフレームを単一のビデオにコンパイルすることができる。
本開示の実施形態は、因果関係概要を生成することを更に含むことができる。因果関係概要は、中間のクリップ又は画像を見る必要なく、外科的処置の原因段階に関連するクリップ又は画像及び関連する転帰段階のクリップ又は画像をユーザが見ることができるようにしてもよい。本明細書で使用される「原因」は、特定の結果、現象又は状態を引き起こすトリガ又は作用を指す。「転帰」とは、原因に起因し得る現象又は状態を指す。幾つかの態様では、転帰が有害転帰であってもよい。例えば、転帰としては、出血、腸間膜気腫、損傷、計画されていない開放手術（例えば、腹壁切開）への転換、計画されたよりもかなり大きい切開などを挙げることができる。原因は、外科医によるエラーなどの、有害転帰をもたらす又は有害転帰に起因し得る動作であってもよい。例えば、エラーは、技術的エラー、通信エラー、管理エラー、判断エラー、意思決定エラー、医療機器の利用に関するエラー、又は発生し得る他の形態のエラーを含み得る。また、転帰は、成功した手術、処置、又は段階などの正の又は予測される転帰を含み得る。
因果関係概要が生成される実施形態では、履歴データは、履歴的な手術転帰データ及びそれぞれの履歴的な原因データを更に含むことができる。履歴的な手術転帰データは、転帰に関連付けられた履歴的な手術映像の部分を示すことができ、履歴的な原因データは、転帰のそれぞれの原因に関連付けられた履歴的な手術映像の部分を示すことができる。そのような実施形態では、フレームの第１のグループは、フレームの原因セット及びフレームの転帰セットを含むことができ、フレームの第２のグループは、フレームの中間セットを含むことができる。
図１０は、開示された実施形態と整合する、因果関係概要を生成するための例示的なプロセス１０００を示すフローチャートである。プロセス１０００は一例として与えられ、また、当業者は、この開示と整合する因果関係概要を生成するための様々な他のプロセスを理解し得る。ステップ１０１０において、プロセス１０００は、特定の手術映像を解析して、手術転帰及び手術転帰のそれぞれの原因を識別することを含むことができ、識別は、履歴的な転帰データ及びそれぞれの履歴的な原因データに基づく。解析は、上述したように、画像及び／又はビデオ処理アルゴリズムを使用して実行することができる。幾つかの実施形態では、ステップ１０１０は、特定の手術映像を解析するために履歴データを使用して手術転帰及び手術転帰のそれぞれの原因を識別するようにトレーニングされた機械学習モデルを使用することを含むことができる。例えば、機械学習モデルは、既知又は所定の手術転帰及びそれぞれの原因を有する履歴データに基づいてトレーニングすることができる。その後、トレーニングされたモデルを使用して、特定の手術映像などの他の映像内の手術転帰及びそれぞれの原因を識別することができる。そのような機械学習モデルをトレーニングするために使用されるトレーニング例の一例は、ビデオクリップに対応する手術転帰、及び場合によっては手術転帰のそれぞれの原因を示すラベルと共に、外科的処置のビデオクリップを含むことができる。そのようなトレーニング例は、例えば、履歴データに基づいて決定された転帰などを含む、履歴データからのビデオクリップを含む履歴データに基づくことができる。
ステップ１０２０において、プロセス１０００は、解析に基づいて、特定の手術映像内のフレームの転帰セットを検出することを含むことができ、フレームの転帰セットは外科的処置の転帰段階内にある。転帰段階は、上記のような転帰に関連する外科的処置の時間帯又は部分であり得る。ステップ１０３０において、プロセス１０００は、解析に基づいて、特定の手術映像内のフレームの原因セットを検出することを含むことができ、フレームの原因セットは、転帰段階から時間的に離れた外科的処置の原因段階内にある。幾つかの実施形態において、転帰段階は、転帰が観察可能である手術段階を含んでもよく、また、フレームの転帰セットは、転帰段階におけるフレームのサブセットであり得る。原因段階は、転帰段階における転帰の原因に関連する外科的処置の時間帯又は部分であり得る。幾つかの実施形態では、原因段階は、原因が発生した手術段階を含むことができ、フレームの原因セットは、原因段階におけるフレームのサブセットであり得る。フレームの中間セットは、フレームの原因セットとフレームの転帰セットとの間に介挿される中間段階内にあり得る。ステップ１０４０において、プロセス１０００は、手術映像の因果関係概要を生成することを含むことができ、因果関係概要は、フレームの原因セット及びフレームの転帰セットを含み、フレームの中間セットを省略する。幾つかの実施形態では、因果関係概要は、上述したように、フレームの第１のグループの集約と同様であり得る。したがって、因果関係概要は、フレームの原因セット及びフレームの転帰セットに関連付けられたビデオクリップのコンパイルを含み得る。上述したように、ユーザに提示されるフレームの第１のグループの集約は、因果関係概要を含むことができる。
図１１は、開示された実施形態と整合する、手術概要映像を生成するための例示的なプロセス１１００を示すフローチャートである。プロセス１１００は、処理デバイスによって実行されてもよい。幾つかの実施形態では、持続性コンピュータ可読媒体は、プロセッサによって実行されるときにプロセッサにプロセス１１００を実行させる命令を含むことができる。ステップ１１１０において、プロセス１１００は、少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスすることを含んでもよい。上記で更に詳細に説明したように、フレームの第１のグループは、複数の術中手術事象に関連付けられてもよく、必ずしも連続したフレームでなくてもよい。更に、幾つかの実施形態では、プロセス１０００に関して上述したように、フレームの第１のグループは、フレームの原因セット及びフレームの転帰セットを含むことができ、また、フレームの第２のグループは、フレームの中間セットを含むことができる。
ステップ１１２０において、プロセス１１００は、以前の外科的処置の履歴的な手術映像に基づいて履歴データにアクセスすることを含んでもよく、この場合、手術映像の一部を術中手術事象と関連付けられるフレームと手術行動と関連付けられないフレームとに区別する情報を含む。幾つかの実施形態では、履歴的な手術映像の一部を術中手術事象に関連するフレームに区別する情報は、手術器具の存在又は動き及び／又は解剖学的特徴のうちの少なくとも一方の指標を含むことができる。ステップ１１３０において、プロセス１１００は、履歴データの情報に基づき、特定の手術映像において、フレームの第１のグループをフレームの第２のグループから区別することを含んでもよい。
ステップ１１４０において、プロセス１１００は、ユーザの要求に基づいて、フレームの第２のグループのユーザへの提示を省略しつつ、特定の手術映像のフレームの第１のグループの集約をユーザに提示することを含んでもよい。ユーザの要求は、ユーザが要求を行うことができるようにするユーザインタフェースを含むことができるコンピューティングデバイスから受信されてもよい。幾つかの実施形態では、ユーザは、術中事象の特定のタイプ又はカテゴリに関連付けられたフレームを更に要求することができる。プロセス１１００に記載されたステップに基づいて、ユーザは、術中事象に関連するフレームを含むとともに手術行動に関連しないフレームを省く概要を提示されてもよい。概要は、例えば、他の無関係な映像の多くを省略しながら、術中手術事象を集約するトレーニングビデオとして外科医によって使用され得る。
外科的処置の準備をするとき、外科医が同様の手術事象を有する幾つかの外科的処置のビデオ映像を見直しすることは有益であり得る。従来の手法では、外科医が同様の手術事象を有する外科的処置のビデオ映像に容易にアクセスすることができない場合がある。更に、映像がアクセスされたとしても、ビデオ全体を視聴したりビデオの関連部分を見つけたりするには時間がかかりすぎる可能性がある。したがって、外科医が異なる患者に対して行われた手術からの手術事象のビデオコンパイル映像を見ることを効率的且つ効果的に可能にする非従来的な手法が必要とされている。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む手術準備に関するものとなり得る。特に、異なる患者に対して行われた手術における異なる事象のコンパイルビデオが、外科医又は他のユーザに提示されてもよい。コンパイルは、複合形式で自動的に集約され得る、同様の外科的処置からの異なる術中事象の手術ビデオの抜粋を含み得る。外科医は、異なる患者の同様の手術から選択されたビデオセグメントのコンパイルを検索するために、症例特有の情報を入力することができる。コンパイルは、１つの手術からの１つの術中事象及び１つ以上の第２の手術からの他の異なる術中事象を含むことができる。例えば、異なる患者に対して手術するときに発生する異なる合併症は全て、１つの合併症ビデオに含まれ得る。複数の外科的処置のビデオが共有特性（例えば、使用される同様の技術）を有する同じ事象を含む状況では、システムは、冗長性を回避するために１つ以上の外科的処置から映像を省略することができる。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、本方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの異なる手段を使用して達成され得る。
開示された実施形態と整合して、方法は、複数セットの手術ビデオ映像のリポジトリにアクセスすることを伴うことができる。本明細書で使用される場合、リポジトリは、ビデオ映像を電子的に記憶することができる任意の記憶場所又は記憶場所のセットを指すことができる。例えば、リポジトリは、ハードドライブ及び／又はフラッシュドライブなどのメモリデバイスを含むことができる。幾つかの実施形態では、リポジトリは、サーバ、クラウドストレージロケーション、共有ネットワークドライブ、又はネットワークを介してアクセス可能な任意の他の形態のストレージなどのネットワーク位置であってもよい。リポジトリは、様々な時間及び／又は場所で捕捉された手術ビデオ映像のデータベースを含むことができる。幾つかの実施形態では、リポジトリは、手術ビデオ映像以外の更なるデータを記憶することができる。
上述したように、手術ビデオ映像は、任意のビデオ、ビデオフレームのグループ、又は外科的処置の表示を含むビデオ映像を指すことができる。例えば、手術映像は、手術中に捕捉された１つ以上のビデオフレームを含むことができる。手術ビデオ映像のセットは、１つ以上の手術ビデオ又は手術ビデオクリップのグループ化を指すことができる。ビデオ映像は、同じ場所に記憶されてもよく、或いは、複数の記憶場所から選択されてもよい。必ずしもそうとは限らないが、セット内の映像は何らかの方法で関連していてもよい。例えば、セット内のビデオ映像としては、同じ捕捉デバイスによって記録された、同じ施設で記録された、同時に又は同じ時間枠内で記録された、同じ患者又は患者のグループに対して行われた外科的処置を描写する、同じ又は同様の外科的処置を描写する、共通の特性（例えば、同様の医療機器などの使用を含む同様の技術の使用を含む同様の事象を含む同様の複雑度レベルなど）を共有する又は任意の他の特性又は特性を共有する外科的処置を描写する、ビデオを含むことができる。
複数の手術ビデオ映像セットは、異なる患者に対して行われた複数の外科的処置を反映することができる。例えば、同じ又は同様の外科的処置を受けた、又は同様の技術が使用された外科的処置を受けた多数の異なる個体が、共通のセット又は複数のセット内に含まれ得る。これに代えて又は加えて、１つ以上のセットは、異なる時間に単一の患者から捕捉された手術映像を含むことができる。複数の外科的処置は、例えば全てが虫垂切除術を含む同じタイプのものであってもよく、又は異なるタイプのものであってもよい。幾つかの実施形態では、複数の外科的処置は、同じ又は同様の段階又は術中事象などの共通の特性を共有することができる。
複数の手術ビデオ映像セットは、術中手術事象、手術転帰、患者特性、外科医特性、及び術中手術事象特性を更に含むことができる。そのような事象、転帰、及び特性の例は、本開示の全体にわたって記載される。手術転帰は、外科的処置全体の転帰（例えば、患者が回復したか又は完全に回復したかどうか、患者が退院後に再入院したかどうか、手術が成功したかどうか）、又は外科的処置内の個々の段階又は事象の転帰（例えば、合併症が発生したかどうか、又は技術が成功したかどうか）を含み得る。
本開示の幾つかの態様は、企図された外科的処置の準備をしている外科医が、企図された外科的処置に対応する症例特有の情報を入力できるようにすることを含み得る。企図された外科的処置は、まだ行われていない任意の外科的処置を含み得る。幾つかの実施形態では、外科的処置は、外科医が患者に対して実行しようとする計画された外科的処置であってもよい。他の実施形態では、企図された外科的処置は、仮想的な処置であってもよく、必ずしも特定の患者に関連付けられなくてもよい。幾つかの実施形態では、企図された外科的処置は、実験的であってもよく、広く実施されていなくてもよい。症例特有の情報は、企図された外科的処置又は企図されたもしくは仮想的な患者の任意の特性又は特性を含み得る。例えば、症例特有の情報としては、処置が実行される患者の特性、処置を実行する外科医の特性、処置に関与する他のヘルスケア専門家の特性、実行されている処置のタイプ、処置の固有の詳細又は態様、関与する機器又は器具のタイプ、関与する技術のタイプ、処置の複雑な要因、処置の位置、処置されている医学的状態のタイプ又はその特定の態様、手術転帰、術中事象転帰、又は企図された外科的処置を定義又は説明し得る任意の他の情報を挙げることができるが、これらに限定されない。例えば、症例特有の情報としては、患者の年齢、体重、病状、バイタルサイン、他の身体的特性、過去の病歴、家族の病歴、又は潜在的な転帰に何らかの直接的又は間接的な関係を有し得る任意の他のタイプの患者関連情報を挙げることができる。また、症例特有の情報としては、実行している外科医のスキルレベル、使用された外科的手技、直面した合併症、又は外科医、処置、使用された器具、もしくは施設に関する任意の他の情報の指標も挙げることができる。
症例特有の情報は、様々な方法で入力され得る。幾つかの実施形態では、外科医は、グラフィカルユーザインタフェースを介して症例特有の情報を入力することができる。ユーザインタフェースは、情報を入力するための１つ以上のテキストフィールド、プロンプト、ドロップダウンリスト、チェックボックス、又は他のフィールドもしくは機構を含むことができる。幾つかの実施形態では、グラフィカルユーザインタフェースは、開示された方法を実行するコンピューティングデバイス又はプロセッサに関連付けられてもよい。他の実施形態では、グラフィカルユーザインタフェースは、携帯電話、タブレット、ラップトップ、デスクトップコンピュータ、コンピュータ端末、ウェアラブルデバイス（スマートウォッチ、スマートグラス、スマート宝飾品、ヘッドマウントディスプレイなどを含む）、又はユーザ入力を受信することができる任意の他の電子デバイスなどの外部コンピューティングデバイスに関連付けることができる。幾つかの実施形態では、症例特有の情報は、より早い時点又は一定期間（例えば、数日、数ヶ月、数年、又はそれ以上）にわたって入力され得る。症例特有の情報の一部又は全部は、病院もしくは他の医療施設データベース、電子医療記録、又は患者データ及び／又は他の医療データを記憶し得る任意の他の場所から抽出され得る。幾つかの実施形態では、企図された外科的処置に対応する症例特有の情報は、外部デバイスから受信され得る。例えば、症例特有の情報は、外部コンピューティングデバイス、サーバ、クラウドコンピューティングサービス、ネットワークデバイス、又は開示された方法を実行するシステムの外部の任意の他のデバイスから検索又はさもなければ受信され得る。一例では、企図された外科的処置に対応する症例特有の情報の少なくとも一部は、電子カルテ（ＥＭＲ）から、又はＥＭＲを扱うシステム（例えば、処置が実行される特定の患者のＥＭＲ、企図された外科的処置に関連するＥＭＲなど）から、スケジューリングシステムから、企図された外科的処置に関連する医療専門家に対応する電子記録から、又は電子記録を扱うシステムなどから受信され得る。
幾つかの典型的な実施形態では、症例特有の情報は、企図された処置に関連する患者の特性を含み得る。例えば、先に述べたように、症例特有の情報は、企図された患者の特性を含み得る。患者の特性としては、患者の性別、年齢、体重、身長、体力、心拍数、血圧、体温、病状又は疾患、病歴、以前の治療、又は任意の他の関連する特性を挙げることができるが、これらに限定されない。他の例示的な患者の特性は、本開示の全体にわたって記載される。幾つかの実施形態では、患者の特性は、外科医によって直接に入力されてもよい。例えば、上述したように、グラフィカルユーザインタフェースを介して患者特性を入力することができる。他の実施形態では、患者の特性は、データベース又は他の電子記憶場所から検索されてもよい。幾つかの実施形態では、患者の特性は、患者の医療記録から受信することができる。例えば、患者特性は、外科医によって入力された識別子又は他の情報に基づいて、医療記録又は他の情報源から検索することができる。例えば、外科医は、患者識別子を入力することができ、また、患者の医療記録及び／又は患者特性は、患者識別子を使用して検索することができる。本明細書で説明するように、患者識別子は匿名であってもよく（例えば、英数字コード又は機械可読コード）、又は識別可能な方法で患者を識別してもよい（例えば、患者名又は社会保障番号）。幾つかの例では、症例特有の情報は、企図された処置に関連する２人以上の患者の特性（例えば、２人以上の患者を含む企図された外科的処置、例えば移植）を含み得る。
本開示によれば、症例特有の情報は、手術器具に関する情報を含み得る。手術器具は、手術の一部として使用される任意のデバイス又は機器であり得る。幾つかの典型的な手術器具は、本開示の全体にわたって記載される。幾つかの実施形態では、手術器具に関する情報は、器具タイプ又は器具モデルのうちの少なくとも１つを含むことができる。器具タイプは、器具の任意の分類を指すことができる。例えば、器具タイプは、使用されている器具のタイプ（例えば、「メス」、「ハサミ」、「鉗子」、「レトラクタ」、又は他の種類の器具）を指すことができる。器具タイプは、器具が電子的であるかどうか、器具が低侵襲手術に使用されるかどうか、器具が構成される材料、器具のサイズ、又は任意の他の識別特性など、様々な他の分類を含むことができる。器具モデルは、器具の特定の製造元及び／又は製造業者（例えば、「１５９２１ホールステッドモスキート鉗子」）を指すことができる。
本開示の実施形態は、症例特有の情報を複数の手術ビデオ映像セットに関連するデータと比較して、企図された外科的処置中に直面する可能性が高い術中事象のグループを識別することを更に含むことができる。複数の手術ビデオのセットに関連付けられたデータは、手術ビデオ映像に関する任意の記憶された情報を含むことができる。データは、手術ビデオ映像に描写又は関連付けられた術中手術事象、手術段階、又は手術事象特性を識別する情報を含むことができる。データは、患者又は外科医の特性、ビデオの特性（例えば、撮影日、ファイルサイズ、撮影装置に関する情報、撮影場所など）、又は手術ビデオ映像に関する任意の他の情報などの他の情報を含むことができる。データは、タグ又はビデオファイル内の他のデータとして記憶することができる。他の実施形態では、データが別個のファイルに記憶されてもよい。幾つかの実施形態では、手術ビデオ映像は、データをビデオ映像に関連付けるためにインデックス付けされてもよい。したがって、データは、上述のデータ構造６００などのデータ構造に記憶することができる。一例では、症例特有の情報を１つ以上の手術ビデオ映像に関連付けられたデータと（例えば、複数のセットの手術ビデオ映像と）比較することは、例えば１つ以上の類似性関数を使用して、症例特有の情報と１つ以上の手術ビデオ映像に関連付けられたデータとの間の１つ以上の類似性指標計算することを含むことができる。更に、一例では、ｋ個の最も類似した手術ビデオ映像で一般的に発生する事象が企図された手術中に直面する可能性が高いことを予測するべく、例えばｋ近傍法アルゴリズムを使用して、１つ以上の手術ビデオ映像で発生した事象が企図された外科的処置で発生する可能性が高いかどうかを決定するために、計算された類似性指標を選択された閾値と比較することができる。幾つかの例では、機械学習モデルは、特定の外科的処置に関連する情報から特定の外科的処置中に直面する可能性が高い術中事象を識別するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、企図された外科的処置の症例特有の情報を解析し、企図された外科的処置中に直面する可能性が高い術中事象のグループを識別するために使用されてもよい。そのようなトレーニング例の一例は、特定の外科的処置中に直面する可能性が高い術中事象を示すラベルと共に、特定の外科的処置に関する情報を含むことができる。
企図された外科的処置中に直面する可能性が高い術中事象のグループは、データに基づいて決定され得る。例えば、症例特有の情報は、複数の手術ビデオ映像のセットに関連付けられたデータと比較されてもよい。これは、企図された外科的処置の特性（症例特有の情報に表される）を比較して、同じ又は同様の特性を有する外科的処置に関連付けられた手術ビデオ映像を識別することを含み得る。例えば、症例特有の情報が、企図された処置に関連する患者の病状を含む場合、同じ又は同様の病状を有する患者の外科的処置に関連する手術ビデオ映像のセットを識別することができる。別の例として、糖尿病、高コレステロール、高血圧、及び心疾患の家族歴を有する７３歳の男性に対してカテーテル検査を実施する準備をしている外科医は、同様の特性を共有する患者（又は特定の患者と同様に提示すると予測される患者）の見直しのためのビデオ映像を描くために、その症例特有の情報を入力することができる。企図された外科的処置中に直面する可能性が高い術中事象のグループは、識別された手術ビデオ映像に関連する外科的処置中に直面した術中手術事象を含むことができる。幾つかの実施形態では、手術ビデオ映像及び／又は直面する可能性が高い術中事象のグループを識別する際に、複数の要因を考慮することができる。
術中事象が企図された外科的処置中に直面する可能性が高いと考えられるかどうかは、術中事象が企図された外科的処置と同様の外科的処置において発生する頻度に依存し得る。例えば、術中事象は、同様の処置で発生した回数、同様の処置で発生した回数の割合、又は複数の手術ビデオ映像セットに基づく他の統計情報に基づいて識別され得る。幾つかの実施形態では、術中事象は、尤度を閾値と比較することに基づいて識別され得る。例えば、術中事象は、同様の外科的処置の５０％超、又は任意の他の割合で発生する場合に識別され得る。幾つかの実施形態では、術中事象のグループは、発生の可能性に基づいて術中事象の階層を含むことができる。例えば、グループは、発生の可能性が高い術中事象の階層と、発生の可能性が低い術中事象の１つ以上の階層とを含むことができる。
本開示の幾つかの実施形態によれば、機械学習又は他の人工知能技術を使用して、術中事象のグループを識別することができる。したがって、症例特有の情報を手術ビデオ映像の複数のセットと関連付けられるデータと比較することは、人工ニューラルネットワークを使用して、企図された外科的処置中に直面する可能性が高い術中事象のグループを識別することを含んでもよい。一例では、人工ニューラルネットワークは、手動で構成されてもよく、２つ以上の他の人工ニューラルネットワークの組み合わせなどから生成されてもよい。一例では、人工ニューラルネットワークは、様々な症例特有の情報を直面する可能性が高い術中事象と相関させるトレーニングデータを供給され得る。幾つかの実施形態では、トレーニングデータは、リポジトリに含まれる手術ビデオ及び手術映像に関連付けられたデータの１つ以上のセットを含むことができる。また、トレーニングデータは、患者の特性又は過去の病歴などの非映像関連データを含むことができる。人工ニューラルネットワークを使用して、トレーニングデータに基づいてトレーニングされたモデルを生成することができる。したがって、人工ニューラルネットワークを使用することは、入力として症例特有の情報を人工ニューラルネットワークに提供することを含むことができる。モデルの出力として、企図された外科的処置中に直面する可能性が高い術中事象のグループを識別することができる。ロジスティック回帰、線形回帰、回帰、ランダムフォレスト、ｋ近傍法（ＫＮＮ）モデル（例えば、上記のようなモデル）、ｋ平均法モデル、決定木、コックス比例ハザード回帰モデル、ナイーブベイズモデル、サポートベクターマシン（ＳＶＭ）モデル、勾配ブースティングアルゴリズム、又は任意の他の形態の機械学習モデルもしくはアルゴリズムを含む、様々な他の機械学習アルゴリズムが使用されてもよい。
本開示の幾つかの態様は、症例特有の情報及び直面する可能性が高い術中事象の識別されたグループを使用して、術中事象の識別されたグループに対応する手術ビデオ映像の複数のセットのうちの特定のセット内の特定のフレームを識別することを更に含んでもよい。複数の手術ビデオ映像の特定のセット内の特定のフレームは、術中事象が発生するビデオ映像内の位置であってもよい。例えば、術中事象のグループが合併症を含む場合、特定のフレームは、合併症を描写する又は合併症に関連付けられたビデオ映像を含んでもよい。幾つかの実施形態では、特定のフレームは、例えば、術中事象のコンテキストを提供するために、術中事象の発生前又は発生後の幾つかの手術ビデオ映像を含むことができる。また、特定のフレームは、必ずしも連続していなくてもよい。例えば、術中事象が有害事象又は転帰である場合、特定のフレームは、有害転帰及び有害転帰の原因に対応するフレームを含むことができ、これらのフレームは連続していなくてもよい。特定のフレームは、フレーム番号（例えば、フレーム番号、開始フレーム番号及び終了フレーム番号、開始フレーム番号及び後続フレームの数など）に基づいて、時間情報（例えば、開始時間及び停止時間、持続時間など）に基づいて、又はビデオ映像の特定のフレームを識別するための任意の他の態様に基づいて識別することができる。
幾つかの実施形態では、特定のフレームは、複数の手術ビデオ映像のインデックス付けに基づいて識別されてもよい。例えば、上述したように、ビデオ映像は、映像位置を段階タグ、事象タグ、及び／又は事象特性に関連付けるためにインデックス付けされてもよい。したがって、複数の手術ビデオ映像の特定のセット内の特定のフレームを識別することは、図６に関連して説明したようなデータ構造６００などのデータ構造を使用して術中事象に関してルックアップ又は検索を実行することを含むことができる。
本開示によれば、識別された特定のフレームは、異なる患者に対して実行される複数の外科的処置からのフレームを含むことができる。したがって、識別された特定のフレームは、手術準備に使用され得る、異なる患者に対して行われた外科的処置からの術中事象に関連する映像のコンパイルを形成することができる。例えば、最良のビデオクリップの例（ビデオ品質、明瞭性、代表性、企図された外科的処置との適合性などに関して）は、異なる患者に対して実行された異なる処置から選択され、互いに関連付けられてもよく、それにより、例えば、準備外科医は、それぞれの場合のビデオを１つずつ別々に見直す必要なく、ビデオクリップのグループの最良のものを見ることができる。
本開示の実施形態は、例えば、冗長性を回避するために、結果として生じるコンパイルを短縮するために、関連性の低い又は情報量の少ない部分を除去するなどのために、識別された特定のフレームの部分を省略することを更に含むことができる。したがって、幾つかの実施形態は、異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象に関連するフレームを含むと決定することを含むことができる。ビデオ映像の第１のセット及び第２のセットは、術中事象の識別されたグループに対応する識別された特定のフレームのうちのフレームを含むことができる。共通の特性は、第１のセット及び第２のセットからのフレームの両方が含まれるべきかどうかを決定することに関連する術中事象の任意の特性であり得る。共通の特性は、第１のセット及び第２のセットが冗長であるかどうかを決定するために使用され得る。例えば、術中事象は、外科的処置中に生じる合併症であってもよく、共通の特性は、一種の合併症であってもよい。フレームの第１のセット及びフレームの第２のセットにおける合併症が同じタイプである場合、手術の準備をしている外科医がフレームの第１のセット及びフレームの第２のセットの両方を見ることは効率的又は有益でない場合がある。したがって、外科医に提示するために１つのセットのみを選択することができ、他のセットは省略される。本開示の幾つかの実施形態では、共通の特性は、異なる患者の特性を含み得る。例えば、共通の特性は、患者の年齢、体重、身長、又は他の人口統計を含むことができ、患者の状態などを含むことができる。本開示の全体にわたって記載される様々な他の患者特性もまた共有され得る。他の実施形態では、共通の特性は、企図された外科的処置の術中手術事象特性を含み得る。術中手術事象特性は、術中事象の任意の特質又は特性を含むことができる。例えば、手術事象の有害転帰、外科的手技、外科医のスキルレベル、特定の外科医の識別情報、生理的応答、事象の持続時間、又は事象に関連する任意の他の特性もしくは特性。
本開示の様々な例示的な実施形態によれば、異なる患者からのビデオ映像の第１のセット及び第２のセットが、共通の特性を共有する術中事象に関連するフレームを含むと決定することは、機械学習モデルの実装を使用して共通の特性を識別することを含むことができる。一例では、特定の特性を有するビデオ映像のフレームを識別するためにトレーニング例を使用して機械学習モデルをトレーニングすることができ、また、トレーニングされた機械学習モデルを使用して、異なる患者からのビデオ映像の第１のセット及び第２のセットを解析して、共通の特性を共有する術中事象に関連するフレームを識別することができる。そのようなトレーニング例の一例は、ビデオクリップの特定のフレームの特定の特性を示すラベルと共にビデオクリップを含むことができる。様々な機械学習モデルが上述されており、そのような機械学習モデルとしては、ロジスティック回帰モデル、線形回帰モデル、回帰モデル、ランダムフォレストモデル、ｋ近傍法（ＫＮＮ）モデル、ｋ平均法モデル、決定木、コックス比例ハザード回帰モデル、ナイーブベイズモデル、サポートベクターマシン（ＳＶＭ）モデル、勾配ブースティングアルゴリズム、深層学習モデル、又は任意の他の形態の機械学習モデルもしくはアルゴリズムを挙げることができる。本開示の幾つかの実施形態は、ビデオ映像の２つのセットが共通の特性を共有するかどうかを決定するべく機械学習モデルをトレーニングするためにビデオ映像例を使用することを更に含んでもよく、この場合、機械学習モデルを実装することは、トレーニングされた機械学習モデルを実装することを含む。一例では、例示的なビデオ映像は、共通の特性を共有することが知られているビデオ映像のセットの対を含むことができるトレーニング映像であってもよい。トレーニングされた機械学習モデルは、２つのビデオ映像セットが共通の特性を共有するかどうかを決定するように構成され得る。
開示された実施形態は、外科医に提示されるコンパイルから第２のセットの包含を省略することと、外科医に提示されるコンパイルに第１のセットを含めることとを更に含むことができる。本明細書で使用されるように、コンパイルは、連続再生及び／又は連続再生のために提示され得る一連のフレームを含み得る。幾つかの実施形態では、コンパイルは別個のビデオファイルとして記憶されてもよい。他の実施形態では、コンパイルは、例えばリポジトリに記憶された、それぞれの手術ビデオ映像からの一連のフレームを提示するための命令として記憶されてもよい。コンパイルは、識別された特定のフレームからの他のフレームを含む、第１のセットに含まれるフレーム以外の更なるフレームを含むことができる。
本開示の幾つかの態様は、異なる患者に対して行われた異なる外科的処置からのフレームを含むコンパイルを含む提示を外科医が見ることができるようにすることを更に含むことができる。提示は、フレームのコンパイルを含む任意の形態の視覚的表示であってもよい。幾つかの実施形態において、提示は、コンパイルビデオであってもよい。提示は、コンパイルに加えて、メニュー、コントロール、インデックス、タイムライン、又は他のコンテンツなどの他の要素を含むことができる。幾つかの実施形態では、外科医が提示を見ることができるようにすることは、音声提示を伴って又は伴わずに、スクリーン（例えば、ＯＬＥＤ、ＱＬＥＤ ＬＣＤ、プラズマ、ＣＲＴ、ＤＬＰＴ、電子ペーパー、又は同様のディスプレイ技術）、光プロジェクタ（例えば、ムービープロジェクタ、スライドプロジェクタ）、３Ｄディスプレイ、スマートグラス、又は任意の他の視覚的提示機構などの表示デバイスを使用して提示を表示するためのデータを出力することを含むことができる。他の実施形態では、外科医が提示を見ることができるようにすることは、１つ以上の他のコンピューティングデバイスによってアクセス可能な場所に提示を記憶することを含むことができる。そのような記憶場所としては、ローカル記憶装置（フラッシュメモリのハードドライブなど）、ネットワーク位置（サーバ又はデータベースなど）、クラウドコンピューティングプラットフォーム、又は任意の他のアクセス可能な記憶場所を挙げることができる。したがって、提示は、外部デバイスからアクセスされ、外部デバイスに表示されてもよい。幾つかの実施形態では、ビデオを出力することは、ビデオを外部デバイスに送信することを含むことができる。例えば、外科医が提示を見ることができるようにすることは、外部デバイス上で再生するために、ネットワークを介してユーザデバイス又は他の外部デバイスに提示を送信することを含むことができる。
提示は、異なる処置からの異なるクリップを互いに縫い合わせ、それらをそれらが手術中に起こり得る時系列順に外科医に提示することができる。クリップは、連続的に再生するように提示されてもよく、又は外科医が後続のクリップを再生するために積極的に動作することを要するように提示されてもよい。外科医が複数の代替技術を見ること、又は有害事象に対する異なる応答を見ることが有益であり得る幾つかの例では、異なる外科的処置からの複数の別のクリップが順次提示され得る。
本開示の幾つかの実施形態は、提示に沿った識別された特定のフレームのうちの１つ以上に対応する１つ以上の時系列マーカを含む共通の手術タイムラインの表示を可能にすることを更に含むことができる。例えば、上述したように、共通の手術タイムラインは、提示にオーバーレイされてもよい。時系列マーカを含む例示的な手術タイムライン４２０が図４に示されている。時系列マーカは、マーカ４３２，４３４、及び／又は４３６に対応することができる。したがって、時系列マーカは、手術段階、術中手術事象、意思決定ジャンクション、又は提示に沿った識別された特定のフレームの他の顕著な発生に対応することができる。マーカは、上記で更に詳細に説明したように、タイムラインに沿った形状、アイコン、又は他のグラフィカル表示として表すことができる。タイムラインは、単一の患者に対して行われた手術に関連するフレームと共に提示されてもよく、又は複数の患者に対して行われた手術からのビデオクリップのコンパイルと共に提示されてもよい。
本開示の幾つかの実施形態によれば、外科医が提示を見ることができるようにすることは、異なる患者に対して実行される異なる外科的処置のビデオ映像の別個のセットを順次に表示することを含むことができる。ビデオ映像のそれぞれの別個のセットは、異なる患者に対して行われる異なる外科的処置に対応することができる。幾つかの実施形態では、ビデオ映像の別個のセットを順次に表示することは、外科医又は他のユーザに連続ビデオとして現れ得る。他の実施形態では、ビデオ映像の別個のセット間で再生を停止又は一時停止することができる。外科医又は他のユーザは、シーケンス内のビデオ映像の次のセットを手動で開始することができる。
本開示の幾つかの実施形態によれば、提示は、直面する可能性が高い術中事象の識別されたグループ及び／又は術中事象の識別されたグループに対応する手術ビデオ映像の複数のセットの特定のセット内の識別された特定のフレームに基づくシミュレートされた外科的処置の表示を含むことができる。例えば、機械学習アルゴリズム（敵対的生成ネットワークなど）を用いて、トレーニング例を使用して機械学習モデル（例えば、人工ニューラルネットワーク、深層学習モデル、畳み込みニューラルネットワークなど）をトレーニングすることにより、術中事象のグループ及び／又は手術ビデオ映像のフレームに基づいて外科的処置のシミュレーションを生成することができ、また、トレーニングされた機械学習モデルを使用して、直面する可能性が高い術中事象の識別されたグループ及び／又は識別された術中事象のグループに対応する複数の手術ビデオ映像の特定のセット内の識別された特定のフレームを解析し、シミュレートされた外科的処置を生成することができる。
幾つかの実施形態では、ビデオ映像の別個のセットを順次に表示することは、ビデオ映像の別個のセットのうちの１つ以上を外科医又は他のユーザが選択できるようにするビデオ映像の別個のセットのインデックスを表示することを含むことができる。インデックスは、例えば、術中事象、手術段階、又はビデオ映像の異なる別個のセットの他の指標をリストアップするテキストベースのインデックスであってもよい。他の実施形態では、インデックスは、上述のタイムラインなどのグラフィック表示、又はグラフィック情報とテキスト情報との組み合わせであってもよい。例えば、インデックスは、別個のセットを対応する手術段階及びテキスト段階指標へと構文解析するタイムラインを含むことができる。そのような実施形態では、別個のセットは、外科的処置の異なる手術段階に対応し得る。別個のセットは、異なる色、異なる陰影、境界ボックスもしくはセパレータ、又は別個のセットを区別するための他の視覚的指標を使用して表示することができる。テキスト段階指標は、対応する手術段階を記述又は識別することができる。テキスト段階指標は、それらが別個のセットを識別するように、タイムライン内、タイムラインの上、タイムラインの下、又は任意の位置に表示され得る。幾つかの実施形態では、タイムラインはリスト形式で表示されてもよく、テキスト段階指標はリスト内に含まれてもよい。
本開示によれば、タイムラインは、術中手術事象に対応する術中手術事象マーカを含むことができる。術中手術事象マーカは、手術ビデオ映像内の位置に関連付けられた術中手術事象に対応することができる。外科医は、術中手術事象マーカをクリックして、対応する術中手術事象を描写する少なくとも１つのフレームを表示できるようにされてもよい。例えば、術中手術事象をクリックすると、コンパイルビデオの表示が選択されたマーカに関連付けられた位置にスキップすることができる。幾つかの実施形態では、外科医は、上記でより詳細に説明したように、処置の態様を要約する情報又は過去の外科的処置から導き出された情報を含むことができる、マーカに関連する事象又は発生に関する追加情報を見ることができる。手術ビデオ上のタイムラインオーバーレイに関して上述した特徴又は機能のいずれかは、本明細書に記載のコンパイル映像にも適用することができる。
本開示の実施形態は、術中手術事象、手術転帰、患者特性、外科医特性、及び術中手術事象特性に基づいてリポジトリのインデックスを生成するべく機械学習モデルをトレーニングすること、及び、リポジトリのインデックスを生成することを更に含むことができる。症例特有の情報を複数のセットと関連付けられるデータと比較することは、インデックスを検索することを含み得る。ロジスティック回帰モデル、線形回帰モデル、回帰モデル、ランダムフォレストモデル、ｋ近傍法（ＫＮＮ）モデル、ｋ平均法モデル、決定木、コックス比例ハザード回帰モデル、ナイーブベイズモデル、サポートベクターマシン（ＳＶＭ）モデル、勾配ブースティングアルゴリズム、深層学習モデル、又は任意の他の形態の機械学習モデルもしくはアルゴリズムを含む、上述した様々な機械学習モデルを使用することができる。既知の術中手術事象、手術転帰、患者特性、外科医特性、及び術中手術事象特性を有する手術ビデオ映像のトレーニングデータセットを使用して、モデルをトレーニングすることができる。トレーニングされたモデルは、トレーニングセットに含まれていない更なる手術ビデオ映像に基づいて、術中手術事象、手術転帰、患者特性、外科医特性、及び術中手術事象特性を決定するように構成することができる。リポジトリ内の手術ビデオ映像に適用される場合、ビデオ映像は、識別された特性に基づいてタグ付けされ得る。例えば、ビデオ映像は、ビデオインデックス付けに関して上述したように、映像位置、段階タグ、事象位置、及び／又は事象タグに関連付けることができる。したがって、リポジトリは、上述したデータ構造６００などのデータ構造として記憶することができる。
図１２は、開示された実施形態と整合する、手術準備のための例示的なプロセス１２００を示すフローチャートである。プロセス１２００は、本明細書に記載されたような１つ以上の並置された又は分散されたプロセッサなどの処理デバイスによって実行されてもよい。幾つかの実施形態では、持続性コンピュータ可読媒体は、プロセッサによって実行されるときにプロセッサにプロセス１２００を実行させる命令を含むことができる。プロセス１２００は、必ずしも図１２００に示されるステップに限定されず、本開示の全体にわたって記載される様々な実施形態の任意のステップ又はプロセスもプロセス１２００に含まれ得る。ステップ１２１０において、プロセス１２００は、異なる患者に対して行われた複数の外科的処置を反映する複数の手術ビデオ映像セットのリポジトリにアクセスすることを含むことができる。複数のセットの手術ビデオ映像は、術中手術事象、手術転帰、患者特性、外科医特性、及び術中手術事象特性を含むことができる。幾つかの実施形態では、リポジトリは、例えばプロセス８００を使用してインデックス付けされ、複数の手術ビデオ映像セットの検索及び識別を容易にすることができる。
ステップ１２２０において、プロセス１２００は、企図された外科的処置の準備をしている外科医が、企図された外科的処置に対応する症例特有の情報を入力できるようにすることを含み得る。上述したように、企図された外科的処置は、計画された処置、仮想的な処置、実験的処置、又はまだ行われていない別の処置であり得る。症例特有の情報は、例えばユーザインタフェースを介して、外科医によって手動で入力され得る。幾つかの実施形態では、症例特有の情報の一部又は全部は、患者の医療記録から受信され得る。症例特有の情報は、企図された処置に関連する患者の特性を含むことができ、情報は、手術器具に関する情報（例えば、器具タイプ、器具モデル、器具製造業者など）、又は関連する手術ビデオ映像を識別するために使用され得る任意の他の情報を含むことができる。
ステップ１２３０において、プロセス１２００は、症例特有の情報を手術ビデオ映像の複数のセットと関連付けられるデータと比較して、企図された外科的処置中に直面する可能性が高い術中事象のグループを識別することを含むことができる。直面する可能性が高い術中事象のグループは、例えば、履歴的なビデオ映像、ビデオデータ以外の履歴的なデータ、又は予測を導き出すことができる任意の他の形式のデータに対して実行された機械学習解析に基づいて決定することができる。ステップ１２４０において、プロセス１２００は、症例特有の情報及び直面する可能性が高い識別された術中事象のグループを使用して、術中事象の識別されたグループに対応する手術ビデオ映像の複数のセットの特定のセット内の特定のフレームを識別することを含むことができる。識別された特定のフレームは、前述したように、異なる患者に対して実行される複数の外科的処置からのフレームを含むことができる。
ステップ１２５０において、プロセス１２００は、前述したように、異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象に関連付けられたフレームを含むと決定することを含むことができる。ステップ１２６０において、プロセス１２００は、前述したように、外科医に提示されるコンパイルから第２のセットの包含を省略することと、外科医に提示されるコンパイルに第１のセットを含めることとを含むことができる。
ステップ１２７０において、プロセス１２００は、異なる患者に対して行われる異なる外科的処置からのフレームを含むコンパイルを含む提示を外科医が見ることができるようにすることを含むことができる。上述したように、提示を外科医が見ることができるようにすることは、提示を画面又は他の表示デバイス上に表示することを可能にするためのデータを出力すること、提示を別のコンピューティングデバイスにアクセス可能な場所に記憶すること、提示を送信すること、又は提示及び／又はコンパイルを見ることを可能にすることを引き起こすことができる任意の他のプロセス又は方法を含むことができる。
外科的処置の準備をするとき、外科医が過去の外科的処置のビデオ映像を見直しすることは有益であり得る。しかしながら、場合によっては、外科的処置の特に複雑な部分のみが外科医に関連し得る。従来の手法を使用すると、外科医が処置の複雑度に基づいて手術ビデオの一部を識別することは、困難で時間がかかりすぎる可能性がある。したがって、手術映像の複雑度を効率的且つ効果的に解析し、外科医が手術ビデオの関連部分を迅速に見直すことができるようにするための非従来型の手法が必要とされている。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む手術準備に関するものとなり得る。特に、外科的処置の準備をするとき、外科医は、特定の複雑度レベルを有する手術ビデオの部分を見たい場合がある。例えば、一般的に日常的な手術ビデオ内で、高度に熟練した外科医は、非常に複雑な単一の事象のみを見たい場合がある。しかしながら、適切なビデオ及びビデオ内の適切な位置を見つけることは、外科医にとって時間がかかる可能性がある。したがって、幾つかの実施形態では、手術映像の複雑度を解析するための方法及びシステムが提供される。例えば、複雑度に基づいて手術ビデオクリップを見るプロセスは、手術ビデオの一部分に複雑度スコアを自動的にタグ付けすることによって加速され、それにより、外科医が複雑度に基づいて対象のフレームを迅速に見つけることが可能になる。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、本方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの異なる手段を使用して達成され得る。
開示された実施形態と整合して、方法は、手術映像のフレームを解析して、フレームの第１のセットにおいて解剖学的構造を識別することを含むことができる。上述したように、手術映像は、任意のビデオ、ビデオフレームのグループ、又は外科的処置の表示を含むビデオ映像を指すことができる。例えば、手術映像は、手術中に捕捉された１つ以上のビデオフレームを含むことができる。フレームの第１のセットは、手術映像内に含まれる１つ以上のフレームのグループであってもよい。幾つかの実施形態では、フレームの第１のセットは連続フレームであってもよいが、これは必ずしも当てはまるとは限らない。例えば、フレームの第１のセットは、連続するフレームの複数のグループを含むことができる。
上述したように、解剖学的構造は、例えば器官、組織、管、動脈、細胞、又は他の解剖学的部分を含む、生体の任意の特定の部分であってもよい。フレームの第１のセットは、例えば上述したように、様々な技術を使用して解剖学的構造を識別するために解析することができる。幾つかの実施形態では、上述したように、手術映像のフレームは、物体検出アルゴリズムを使用して解析され得る。例えば、物体検出アルゴリズムは、外観、画像特徴、テンプレートなどのうちの１つ以上に基づいて検出された物体であってもよい。幾つかの実施形態では、フレームの第１のセット内の解剖学的構造を識別することは、例えば上述したように、解剖学的構造を検出するようにトレーニングされた機械学習モデルを使用することを含む。例えば、画像及び／又はビデオは、画像及び／又はビデオに描写されることが知られている解剖学的構造の識別とともに、トレーニングデータとして機械学習モデルに入力されてもよい。結果として、トレーニングされたモデルは、フレームの第１のセットにおいて解剖学的構造を識別するべく手術映像を解析するために使用され得る。例えば、画像及び／又はビデオ内の解剖学的構造を識別するように構成された人工ニューラルネットワークを使用して、手術映像を解析し、フレームの第１のセット内で解剖学的構造を識別することができる。ロジスティック回帰、線形回帰、回帰、ランダムフォレスト、ｋ近傍法（ＫＮＮ）モデル、ｋ平均法モデル、決定木、コックス比例ハザード回帰モデル、ナイーブベイズモデル、サポートベクターマシン（ＳＶＭ）モデル、勾配ブースティングアルゴリズム、深層学習モデル、又は任意の他の形態の機械学習モデルもしくはアルゴリズムを含む、様々な他の機械学習アルゴリズムが使用されてもよい。
本開示の幾つかの態様は、第１の履歴データにアクセスすることを更に含むことができ、第１の履歴データは、以前の外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づく。一般に、フレームデータは、本明細書に記載の外科的処置を描写する任意の画像又はビデオデータを含むことができる。第１の履歴データ及び／又は第１のフレームデータは、１つ以上の記憶場所に記憶することができる。したがって、第１の履歴データにアクセスすることは、記憶場所から履歴データを読み出すことを含むことができる。他の実施形態では、第１の履歴データにアクセスすることは、例えば、画像捕捉デバイス又はコンピューティングデバイスから第１の履歴データ及び／又は第１のフレームデータを受信することを含むことができる。本開示の実施形態と整合して、第１の履歴データにアクセスすることは、第１のフレームデータを検索又は受信すること、及び、第１のフレームデータを解析して第１の履歴データを識別することを含むことができる。
履歴データは、以前の外科的処置に関する任意の情報であり得る。そのような履歴データの幾つかの非限定的な例が上記に記載されている。幾つかの実施形態では、第１の履歴データは、以前の外科的処置の第１のグループに関連する複雑度情報を含むことができる。複雑度情報は、以下で更に説明するように、手術の複雑度レベルを示す任意のデータを含むことができる。第１の履歴データは、第１のフレームデータから収集することができる外科的処置の第１のグループに関する任意の他の情報を含むことができる。例えば、第１のフレームデータは、関与する解剖学的構造、使用される医療器具、行われた外科的処置のタイプ、処置中に発生する術中事象（有害事象を含む）、患者によって示される医学的状態、患者の特性、外科医の特性、関与する外科医又は他のヘルスケア専門家の熟練度、タイミング情報（例えば、医療器具と解剖学的構造との間の相互作用の持続時間、手術段階又は術中事象の持続時間、医療器具の外観と医療器具と解剖学的構造との間の最初の相互作用との間の時間、又は他の関連する持続時間又はタイミング情報）、解剖学的構造の状態、関与する外科医又は他のヘルスケア専門家の数、又は以前の外科的処置に関連する任意の他の情報を含む、以前の外科的処置に関連する情報を含む又は示すことができる。
第１の履歴データが複雑度情報を含む実施形態では、そのような情報は、外科的処置又はその一部の複雑度を示すか、又はそれに関連付けられ得る。例えば、第１の履歴データは、特定の解剖学的構造と特定の手術複雑度レベルとの間の統計的関係の表示を含むことができる。統計的関係は、特定の手術複雑度レベルと特定の解剖学的構造との間の何らかの相関関係を示すことができる任意の情報であってもよい。例えば、特定の血管が外科的処置において露出されるとき、器官の特定の部分が裂けるとき、又は特定の量の血液が検出されるとき、そのような事象は、手術複雑度レベルと統計的に相関し得る。同様に、大量の脂肪又は臓器の不良状態の検出も複雑度レベルに相関し得る。これらは単なる一例であり、手術の複雑度に相関する任意の状態又は事象は、手術の複雑度の指標として役立ち得る。
幾つかの実施形態では、第１の履歴データは、物体検出アルゴリズム及び／又は動き検出アルゴリズムを含む１つ以上の画像又はビデオ解析アルゴリズムを使用して第１のフレームデータから識別することができる。他の実施形態では、フレームデータに基づいて履歴データを識別するようにトレーニングされた機械学習モデルを使用して、第１のフレームデータから第１の履歴データを識別することができる。例えば、機械学習モデルは、フレームデータから（上述のように）履歴データを識別するためにトレーニング例を使用してトレーニングされてもよく、トレーニングされた機械学習モデルは、第１の履歴データを決定するために第１のフレームデータを解析するために使用されてもよい。そのようなトレーニング例の一例は、外科的処置又は外科的処置の一部の複雑度レベルを示すラベルと共に、外科的処置又は外科的処置の一部を示す画像及び／又はビデオを含むことができる。例えば、そのようなラベルは、手動で生成されてもよく、異なるプロセスによって生成されてもよく、メモリから読み出されるなどしてもよい。
本開示の実施形態は、第１の履歴データを使用して及び識別された解剖学的構造を使用してフレームの第１のセットを解析し、フレームの第１のセットと関連付けられる第１の手術複雑度レベルを決定することを伴うことができる。本明細書で使用される場合、複雑度レベルは、外科的処置又は外科的処置の一部の相対的な複雑度を示す値又は他の分類子であり得る。例えば、複雑度は、他の外科的処置に対する外科的処置の難易度に基づいてもよい。難易度は、外科的処置に関与する１つ以上の技術を実行するために必要とされる外科医のスキルレベル、有害事象（例えば、涙、出血、傷害、又は他の有害事象など）の発生の可能性、外科的処置の成功率、又は手技の難易度の任意の他の指標に基づいてもよい。より高い相対的難易度レベルを有する外科的処置は、より高い複雑度レベルに関連付けられ得る。
別の例示的な例として、複雑度レベルは、外科的処置又はその一部を完了するための持続時間又は時間要件に基づくことができる。例えば、より長い実行時間を必要とする処置又は技術は、より複雑であると考えることができ、より高い複雑度レベルに関連付けられ得る。別の例として、複雑度レベルは、外科的処置又はその一部を実行するために必要なステップの数に基づいてもよい。例えば、より多くのステップを必要とする処置又は技術は、より複雑であると考えることができ、より高い複雑度レベルに関連付けられ得る。幾つかの実施形態では、複雑度レベルは、実行されている外科的手技又は処置のタイプに基づいてもよい。特定の技術又は処置は、所定の複雑度を有することができ、複雑度レベルは、関与する技術又は処置の複雑度に基づくことができる。例えば、胆嚢切除術は、全摘出術よりも複雑であると考えることができ、したがって、胆嚢切除術を含む外科的処置には、より高い複雑度レベルを割り当てられ得る。複雑度レベルに関連し得る他の要因としては、疾患重症度、複雑化要因、関与する解剖学的構造、使用される医療器具のタイプ、実行された外科的処置のタイプ、処置で発生する術中事象（有害事象を含む）、患者の生理的応答、患者によって示される医学的状態、患者の特性、外科医の特性、関与する外科医もしくは他のヘルスケア提供者のスキルレベル、タイミング情報（例えば、医療器具と解剖学的構造との間の相互作用の持続時間、手術段階又は術中事象の持続時間、医療器具の出現と医療器具と解剖学的構造との間の最初の相互作用との間の時間、又は他の関連する持続時間又はタイミング情報）、解剖学的構造の状態、関与する外科医もしくは他のヘルスケア専門家の数、又は以前の手術に関連する任意の他の情報に関連する情報を挙げることができる。手術複雑度レベルは、上記の例のいずれにも限定されず、上記の例を含む要因の組み合わせに基づいてもよい。
手術複雑度レベルは、様々な態様で表すことができる。幾つかの実施形態では、複雑度レベルが値として表されてもよい。例えば、手術複雑度レベルは、複雑度のスケール（例えば、０～５、０～１０、０～１００、又は任意の他の適切なスケール）に対応する値の範囲内の１つの値であってもよい。パーセンテージ又は他のスコアも使用することができる。一般に、より高い値はより高い複雑度レベルを示すことができるが、幾つかの実施形態では、手術複雑度は値の逆数であり得る。例えば、１の複雑度レベルは、７の複雑度レベルよりも高い複雑度を示すことができる。他の実施形態では、複雑度レベルは、複雑度のテキストベースの指標として表されてもよい。例えば、フレームの第１のセットには、「高い複雑度」、「中程度の複雑度」、「低い複雑度」、又は様々な他の分類子の複雑度レベルを割り当てられ得る。幾つかの実施形態では、手術複雑度レベルは、手術複雑度を表すために使用される標準化されたスケール又は指数に対応し得る。手術複雑度レベルは、特定のタイプの外科的処置（又は外科的処置タイプのサブセット）に固有であってもよく、又は任意の外科的処置に適用可能な汎用複雑度レベルであってもよい。
上述したように、第１の手術複雑度レベルは、履歴データを使用してフレームの第１のセットを解析することによって決定され得る。フレームの第１のセットを解析することは、フレームの第１のセットに含まれる情報に基づいて複雑度レベルを決定するための任意のプロセスを含むことができる。手術複雑度レベルを決定するための解析の例は、以下により詳細に与えられる。
更に、第１の手術複雑度レベルは、識別された解剖学的構造を使用して決定されてもよい。幾つかの実施形態では、処置に関与する解剖学的構造のタイプは、手術複雑度レベルを少なくとも部分的に示すことができる。例えば、特定の解剖学的構造（例えば、患者の脳又は心臓に関連する解剖学的構造）に対して行われる処置は、より複雑であると考えられ得る。幾つかの実施形態では、解剖学的構造の状態は、以下でより詳細に説明するように、複雑度レベルの決定にも関連し得る。
本開示の幾つかの態様は、手術映像のフレームを解析して、フレームの第２のセットにおいて医療器具、解剖学的構造、及び医療器具と解剖学的構造との間の相互作用を識別することを含むことができる。例えば、フレームの第２のセットは、解剖学的構造に対して外科的処置が行われている手術映像の一部を示すことができる。医療器具は、医療処置の一部として使用される任意の装置又は機器を含むことができる。幾つかの実施形態では、上述したように、医療器具が手術器具であってもよい。例えば、医療器具としては、切断器具、把持及び／又は保持器具、リトラクタ、組織一体化器具及び／又は材料、保護器具、腹腔鏡、内視鏡、患者監視装置、患者撮像装置、又は同様の器具を挙げることができるが、これらに限定されない。上述したように、相互作用は、解剖学的構造に影響を及ぼし得る医療機器による任意の動作を含むことができ、或いは、その逆もまた同様である。例えば、相互作用としては、医療機器と解剖学的構造との間の接触、解剖学的構造に対する医療機器による作用（例えば、切断、クランプ、把持、圧力の印加、掻き取りなど）、解剖学的構造による生理的応答、又は任意の他の形態の相互作用を挙げることができる。
フレームの第１のセットと同様に、フレームの第２のセットは、手術映像内に含まれる１つ以上のフレームのグループ化であってもよい。フレームの第２のセットは、連続したフレームであってもよく、又は連続したフレームの複数のグループを含んでもよい。幾つかの実施形態では、フレームの第１のセット及びフレームの第２のセットは、完全に異なっていてもよい。他の実施形態では、フレームの第１のセット及びフレームの第２のセットは、フレームの第１のセット及びフレームの第２のセットの両方に現れる少なくとも１つの共通フレームを含むことができる。フレームの第１のセットと同様に、フレームの第２のセットを解析し、様々な技術を使用して医療器具、解剖学的構造、及び医療器具と解剖学的構造との間の相互作用を識別することができる。幾つかの実施形態では、手術映像のフレームは、物体検出アルゴリズム（例えば、外観ベースの検出アルゴリズム、画像特徴ベースの検出アルゴリズム、テンプレートベースの検出アルゴリズムなど）及び／又は動き検出アルゴリズムを使用して解析され得る。幾つかの実施形態では、フレームの第２のセット内の医療器具、解剖学的構造、及び医療器具と解剖学的構造との間の相互作用を識別することは、医療器具、解剖学的構造、及び医療器具と解剖学的構造との間の相互作用を検出するようにトレーニングされた機械学習モデルを使用することを含むことができる。例えば、機械学習モデルは、画像及び／又はビデオから医療器具及び／又は解剖学的構造及び／又は医療器具と解剖学的構造との間の相互作用を検出するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、医療器具及び／又は解剖学的構造及び／又は医療器具と解剖学的構造との間の相互作用を検出するためにフレームの第２のセットを解析するために使用され得る。そのようなトレーニング例の一例としては、画像及び／又はビデオクリップに描写された医療器具、画像及び／又はビデオクリップに描写された解剖学的構造、並びに画像及び／又はビデオクリップに描写された医療器具と解剖学的構造との間の相互作用のうちの少なくとも１つを示すラベルと共に、外科的処置の画像及び／又はビデオクリップを含み得る。
幾つかの例示的な実施形態では、フレームの第１のセットにおいて解剖学的構造を識別することは、医療器具の識別、及び医療器具と解剖学的構造との間の第１の相互作用に基づくことができる。幾つかの実施形態では、フレームの第１のセットにおいて識別された医療器具は、フレームの第２のセットにおいて識別された医療器具と同じ器具であってもよい。したがって、フレームの第２のセットにおける医療器具と解剖学的構造との間の相互作用は、医療器具と解剖学的構造との間の後の相互作用であり得る。これは、例えば、手術複雑度レベルを少なくとも部分的に示すことができる、第１の相互作用と後の相互作用との間の時間を決定するのに役立つことができる。
本開示の実施形態は、第２の履歴データにアクセスすることを更に含むことができ、第２の履歴データは、以前の外科的処置の第２のグループから捕捉された第２のフレームデータの解析に基づく。幾つかの実施形態では、以前の外科的処置の第１のグループ及び以前の外科的処置の第２のグループは、同じタイプであってもよい。例えば、第１の履歴データ及び第２の履歴データは、虫垂切除術の第１のグループ及び虫垂切除術の第２のグループに関連し得る。第１のグループ及び第２のグループは、特性に応じて異なり得る。１つの非限定的な例として、第１のグループは、腹膜炎を示す患者を伴ってもよく、第２のグループは、腹膜炎を示さなかった患者を含み得る。
幾つかの実施形態では、第１のフレームデータ及び第２のフレームデータは同一であってもよい（すなわち、第１の履歴データ及び第２の履歴データは、同じフレームデータに基づくことができる）。例えば、第１の履歴データ及び第２の履歴データは、同じフレームデータの異なる解析に基づくことができる。例示的な例として、第１のフレームデータは、本実施形態と整合して、第２のフレームデータに含まれていない手術接触力の推定値を含むことができる。幾つかの実施形態では、第１の履歴データ及び第２の履歴データは、同じフレームデータの異なるサブセット（例えば、異なる手術段階及び／又は異なる外科的処置）に基づくことができる。
幾つかの実施形態では、第１のフレームデータと第２のフレームデータとは異なり得る（すなわち、異なるデータ構造にアクセス又は記憶される）。例えば、同じ外科的処置の異なるフレームを解析して、第２の履歴データとは異なる第１の履歴データを生成することができる。
他の実施形態では、以前の外科的処置の第１のグループと以前の外科的処置の第２のグループとは、少なくとも１つの態様において異なり得る。例えば、第１及び第２のグループは、虫垂切除術を含むことができるが、第１のグループが異常な流体漏れ事象を検出した虫垂切除術を含むが第２のグループでは異常な流体漏れ事象が検出されなかったという点で異なり得る。幾つかの実施形態では、以前の外科的処置の第１のグループ及び以前の外科的処置の第２のグループは、共通の少なくとも１つの外科的処置（例えば、両方のグループが切開を含んでもよい）を有することができる。しかしながら、他の実施形態では、従来の外科的処置の第１のグループ及び従来の外科的処置の第２のグループは、共通の外科的処置を有さなくてもよい。
幾つかの実施形態では、方法は、フレームの第１のセットを第１の手術複雑度レベルでタグ付けすること、フレームの第２のセットを第２の手術複雑度レベルでタグ付けすること、第１のタグを伴うフレームの第１のセット及び第２のタグを伴うフレームの第２のセットをデータ構造に記憶することとを更に含んでもよい。これにより、外科医は第２の複雑度レベルを選択することができ、それによってフレームの第１のセットの表示を省略しながらフレームの第２のセットを表示させることができる。幾つかの実施形態では、方法は、複雑度レベルの選択を受信すること（例えば、インタフェースへのユーザ入力に基づいて選択を受信すること）を含むことができる。更に、方法は、選択されたフレームを読み出すためにデータ構造にアクセスすることを含むことができる。方法は、選択された複雑度レベルを伴わずにタグ付けされたフレームを省略しながら、選択された複雑度レベルでタグ付けされたフレームを表示することを含むことができる。
第１の履歴データ及びフレームデータと同様に、第２の履歴データ及びフレームデータは、１つ以上の記憶場所に記憶することができる。幾つかの実施形態では、第２の履歴データは、第１の履歴データと同じ記憶場所に記憶されてもよい。他の実施形態では、第１及び第２の履歴データは、別々の場所に記憶されてもよい。他の実施形態と整合して、第１の履歴データにアクセスすることは、例えば画像捕捉デバイス又はコンピューティングデバイスから第２の履歴データ及び／又は第２のフレームデータを受信することを含むことができる。更に、第１の履歴データと同様に、第２の履歴データにアクセスすることは、第２のフレームデータを検索又は受信すること、及び、第２のフレームデータを解析して第２の履歴データを識別することを含むことができる。幾つかの実施形態では、第１の履歴データ及び第２の履歴データは同一であってもよい。他の実施形態では、第１の履歴データ及び第２の履歴データは異なっていてもよい。第２の履歴データは、上述したように、第１の履歴データと同様に、第２のフレームデータに関する情報を含むことができる。第２の履歴データは、医療器具情報、解剖学的構造情報、及び／又は関連する複雑度情報など、第１の履歴データに関して上述した情報のいずれかを含むことができる。第２の履歴データが複雑度情報を含む実施形態では、そのような情報は、複雑度情報を示すか又はそれに関連付けられてもよい。例えば、第２の履歴データは、特定の解剖学的構造と特定の手術複雑度レベルとの間の統計的関係の表示を含むことができる。
本開示の幾つかの態様は、第２の履歴データを使用して及び識別された相互作用を使用してフレームの第２のセットを解析し、フレームの第２のセットと関連付けられる第２の手術複雑度レベルを決定することを伴ってもよい。第２の手術複雑度レベルは、第１の手術複雑度レベルと同様であってもよく、したがって、第１の手術複雑度レベルに関して上記で提供された例示的な要因のうちの１つ以上に基づいてもよい。幾つかの実施形態では、第２の手術複雑度レベルは、第１の手術複雑度レベルと（例えば、同じスケール内の値などと）同じ形式で表されてもよいが、幾つかの実施形態では異なる表示形式が使用されてもよい。
本開示の実施形態と整合して、第１及び第２の手術複雑度レベルは、様々な方法に従って決定することができる。幾つかの実施形態では、開示された実施形態は、第１の手術複雑度レベル又は第２の手術複雑度レベルの少なくとも一方を決定するために、以前の外科的処置から捕捉されるフレームデータを使用して手術複雑度レベルを識別するようにトレーニングされる機械学習モデルを使用することを含むことができる。例えば、機械学習アルゴリズムを使用して機械学習モデルを開発することができる。トレーニングデータは、以前の外科的処置から捕捉されたフレームデータと、フレームデータに対応することが知られている手術複雑度レベルを示すラベルとを含むことができ、トレーニングモデルを開発するために機械学習アルゴリズムに供給することができる。機械学習アルゴリズムとしては、ロジスティック回帰、線形回帰、回帰、ランダムフォレスト、ｋ近傍法（ＫＮＮ）モデル、ｋ平均法モデル、決定木、コックス比例ハザード回帰モデル、ナイーブベイズモデル、サポートベクターマシン（ＳＶＭ）モデル、人工ニューラルネットワーク、勾配ブースティングアルゴリズム、又は任意の他の形態の機械学習モデルもしくはアルゴリズムを挙げることができる。したがって、第１の履歴データは、以前の外科的処置の第１のグループから捕捉された第１のフレームデータを使用してトレーニングされた機械学習モデルを含むことができる。同様に、第２の履歴データは、以前の外科的処置の第２のグループから捕捉された第２のフレームデータを使用してトレーニングされた機械学習モデルを含むことができる。結果として、トレーニングされたモデルは、フレームの第１のセット及びフレームの第２のセットが提供されると、第１及び第２の手術複雑度レベルをそれぞれ決定するように構成され得る。
幾つかの例示的な実施形態では、第１の複雑度レベル又は第２の複雑度レベルを決定することのうちの少なくとも一方は、生理的応答に基づくことができる。上述のように、生理的応答は、外科的処置から直接的又は間接的に生じる患者の任意の物理的又は解剖学的状態又は反応を含み得る。例えば、生理的応答としては、心拍数の変化、身体運動、１つ以上の器官の機能の不全又は減少、体温の変化、患者の音声反応、脳行動の変化、呼吸数の変化、発汗の変化、血中酸素レベルの変化、心機能の変化、交感神経系の活性化、内分泌応答、サイトカイン産生、急性期反応、好中球白血球増加症、リンパ球増殖、又は外科的処置に応答した他の任意の身体的変化を挙げることができる。幾つかの実施形態では、生理的応答は、手術複雑度レベルを示すことができる。例えば、特定の生理的応答を引き起こす外科的処置は、より複雑であると考えることができ、したがって、より高い複雑度レベルの評価を有し得る。例えば、機械学習モデルは、画像及び／又はビデオから生理的応答を識別するためにトレーニング例を使用してトレーニングされてもよく、トレーニングされた機械学習モデルは、第１の生理的応答を識別するべくフレームの第１のセットを解析するために、及び／又は第２の生理的応答を識別するべくフレームの第２のセットを解析するために使用されてもよく、また、第１の手術複雑度レベルは、識別された第１の生理的応答に基づいて決定されてもよく、及び／又は第２の手術複雑度レベルは、識別された第２の生理的応答に基づいて決定されてもよい。そのようなトレーニング例の一例は、画像及び／又はビデオクリップに描かれた生理的応答を示すラベルと共に、外科的処置の画像及び／又はビデオクリップを含むことができる。
幾つかの例示的な実施形態では、第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定することは、上述したように、解剖学的構造の状態に基づいてもよい。一例として、状態は、解剖学的構造の検出された劣化、裂傷、出血、腫脹、変色、歪み、又はその現在の状態を反映した解剖学的構造の任意の特性を含み得る。幾つかの実施形態では、解剖学的構造の状態は、解剖学的構造に影響を及ぼす医学的状態を含み得る。この医学的状態は、実行されている外科的処置の目的又はタイプを示すことができ、したがって、関連する複雑度レベルを示すことができる。例えば、胆嚢が大きなポリープを有する場合、これは、胆嚢切除術が外科的処置に関与していることを示すことができ、このことは複雑度レベルを決定するのに有用であり得る。他の実施形態では、医学的状態は、外科的処置に関連する１つ以上の複雑な要因を示すことができる。例えば、解剖学的構造に生じる出血は、外科的処置中に生じた合併症を示すことができ、これは手術複雑度レベルに影響を及ぼし得る。これに代えて又は加えて、医学的状態自体は、特定の複雑度レベルに関連付けられてもよい。幾つかの実施形態では、解剖学的構造の状態は、外科的処置の現在の段階又は段階に基づく解剖学的構造の状態であり得る。例えば、解剖学的構造に行われた切開は、解剖学的構造の状態に影響を及ぼし、したがって、切開前の複雑度レベルと比較して複雑度レベルを変化させることができる。例えば、機械学習モデルは、画像及び／又はビデオから解剖学的構造の状態を識別するためにトレーニング例を使用してトレーニングされてもよく、トレーニングされた機械学習モデルは、第１の解剖学的構造の第１の状態を識別するべくフレームの第１のセットを解析するために、及び／又は第２の解剖学的構造の第２の状態を識別するべくフレームの第２のセットを解析するために使用されてもよく（一方、第１の解剖学的構造と同じであっても、異なる解剖学的構造であってもよい）、第１の手術複雑度レベルは、識別された第１の状態に基づいて決定されてもよく、及び／又は第２の手術複雑度レベルは、識別された第２の状態に基づいて決定されてもよい。そのようなトレーニング例の一例は、解剖学的構造の状態を示すラベルと共に、解剖学的構造の画像及び／又はビデオクリップを含むことができる。
本開示の幾つかの実施形態では、第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定することは、患者特性に基づくことができる。患者の特性としては、年齢、性別、体重、身長、ボディーマス指数（ＢＭＩ）、更年期状態、典型的な血圧、患者のゲノムの特性、教育状態、教育レベル、経済状態、収入レベル、職業レベル、保険のタイプ、健康状態、自己評価による健康、機能状態、機能障害、疾患の持続期間、疾患の重症度、病気の数、病気の特性（例えば、病気のタイプ、腫瘍の大きさ、組織学的悪性度、浸潤リンパ節の数など）、医療の利用、医療訪問の回数、医療訪問間隔、定期的な医療の供給源、家族の状況、結婚歴の状態、子供の数、家族の支え、民族性、人種、宗教、宗教のタイプ、母国語、患者に対して行われた過去の医療検査の特性（例えば、試験のタイプ、試験の時間、試験の結果など）、患者に対して行われた過去の医学的治療の特性（治療のタイプ、治療時間、治療結果など）、又は任意の他の関連する特性を挙げることができるが、これらに限定されない。他の例示的な患者の特性は、本開示の全体にわたって記載される。これらの特性は、特定のレベルの手術複雑度と相関し得る。例えば、高齢及び／又は過体重の患者は、若齢又はより良好な身体形状の患者よりも複雑度が高い外科的処置に関連し得る。
幾つかの実施形態によれば、第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定することは、手術映像に関連する外科医のスキルレベルに基づくことができる。例えば、手術映像に描写された外科医が低いスキルレベルを有する場合、通常は複雑度が低いと考えられる処置は、パフォーマンススキルが低下した結果としてより複雑になる可能性がある。したがって、上述したように、スキルレベルは、外科的処置又は外科的処置内の特定の技術を実行する外科医の能力の表示となり得る。幾つかの実施形態では、スキルレベルは、外科医の過去の成績、外科医が受けたトレーニング又は教育のタイプ及び／又はレベル、外科医が行った手術の回数、外科医が行った手術のタイプ、外科医の資格、外科医の経験年数、患者又は他のヘルスケア専門家からの外科医の評価、過去の手術転帰、過去の手術合併症、又は外科医のスキルレベルの評価に関連する任意の他の情報に関連してもよい。これに代えて又は加えて、外科医のスキルレベルは、ビデオ映像のコンピュータ解析によって決定されてもよい。例えば、以下でより詳細に説明するように、人工知能を使用して外科医のスキルレベルを分類することができる。スキルレベルは、本明細書では外科医のスキルレベルとして説明されているが、幾つかの実施形態では、スキルレベルは、麻酔専門医、看護師、認定看護師麻酔専門医（ＣＲＮＡ）、外科技術者、居住者、医学生、医師助手、又は任意の他のヘルスケア専門家などの別のヘルスケア専門家に関連付けられてもよい。したがって、本開示の全体にわたって使用される外科医への言及は、任意の関連する医療専門家の省略表示である。
本開示の幾つかの実施形態は、手術映像においてヘルスケア提供者によって実証されたスキルのレベルを決定することを更に含むことができる。第１の複雑度レベル又は第２の複雑度レベルを決定することのうちの少なくとも一方は、ヘルスケア提供者によって実証される決定されたスキルレベルに基づくことができる。ヘルスケア提供者のスキルレベルは、物体及び／又は動き検出アルゴリズムなどの画像及び／又はビデオ解析アルゴリズムを使用して、フレームの第１のセット又は第２のセットの解析に基づいて決定することができる。例えば、ヘルスケア提供者は、特定レベルのスキルを実証する態様で１つ以上の技術を実行することができる。一例では、機械学習モデルは、画像及び／又はビデオからヘルスケア提供者のスキルレベルを決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、手術映像を解析し、手術映像に提供されるヘルスケアによって実証されるスキルレベルを決定するために使用されてもよい。そのようなトレーニング例の一例は、ビデオクリップで実証された熟練度を示すラベルと共に、外科的処置の一部を示すビデオクリップを含むことができる。他の実施形態では、スキルレベルは、手術映像内のヘルスケア提供者の識別情報に基づいて決定されてもよい。例えば、外科医の識別情報に基づいて、様々な外科医に関するスキルレベル情報を含むデータベースなどの外部ソースから関連するスキルレベルを決定することができる。したがって、１つ以上の顔認識アルゴリズムを使用してヘルスケア提供者を識別することができ、また、ヘルスケア提供者の識別情報を使用してヘルスケア提供者のスキルレベルを決定することができる。
幾つかの例示的な実施形態では、第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定することは、電子医療記録の解析に基づくことができる。幾つかの実施形態では、電子医療記録に含まれ得る患者の病歴に関する情報は、患者に対して実行されている外科的処置の複雑度レベルに関連し得る。例えば、電子医療記録としては、手術歴（患者に対して行われた手術のリスト、手術報告など）、産科歴（例えば、妊娠のリスト、場合によっては合併症、転帰などの妊娠に関連する詳細と共に）、アレルギー、過去及び現在の薬剤、免疫履歴、成長チャート及び／又は発達履歴、過去の医療的直面からのノート（例えば、そのような注記は、愁訴、身体検査、医学的評価、診断などに関する詳細を含むことができる）、検査結果、医療画像（例えば、Ｘ線画像、コンピュータ断層撮影画像、磁気共鳴画像画像、ポジトロン放出断層撮影画像、単光子放出コンピュータ断層撮影画像、超音波画像、心電図画像、脳電図画像、筋電図画像、脳磁図画像など）及び／又は医療画像に基づく情報、医療ビデオ、及び／又は、医療ビデオに基づく情報、順序、処方箋、患者の家族の病歴などを挙げることができる。
本開示の実施形態によれば、第１の手術複雑度レベルを決定することは、フレームの第１のセットにおいて医療器具を識別することを更に含むことができる。幾つかの実施形態では、フレームの第１のセットにおいて識別された医療器具は、フレームの第２のセットにおいて識別された医療器具に対応することができる。例えば、フレームの両方のセットで同じ器具を識別することができる。他の実施形態では、フレームの第１のセットで識別された医療器具は、フレームの第２のセットで識別された医療器具とは異なり得る。第１の手術複雑度レベルを決定することは、医療器具のタイプに基づくことができる。フレームの第１のセットに現れる器具のタイプは、実行されている処置のタイプ及び／又は複雑度を示すことができる。例えば、医療器具が特定の処置又は処置のタイプにのみ使用される特殊な器具である場合、複雑度レベルは、それらの処置又は処置のタイプに関連する複雑度に少なくとも部分的に基づいて決定され得る。
幾つかの例示的な実施形態では、第１の手術複雑度レベルを決定することは、フレームの第１のセットの後に生じる事象に基づくことができる。例えば、縫合を描写するフレームの第１のセットの後のフレームで発生する漏れなどの手術事象は、フレームの第１のセットに関連する複雑度レベルを知らせることができる（例えば、そうでなければフレームの第１のセットのみに基づいてより低い複雑度レベルに関連付けられ得る縫合処置は、映像から不適切な縫合の結果として漏れが発生した可能性が高いと決定された場合により高い複雑度レベルに上げられ得る）。後の事象は、本開示の全体にわたって記載される術中手術事象の様々な例を含む、映像の手術複雑度に影響を及ぼす外科的処置に関連する任意の事象を含むことができる。別の例として、フレームの第１のセットの後に発生した事象は、フレームの第１のセットの後に発生する出血などの有害事象であり得る。事象の発生は、第１の手術複雑度レベルを決定するためのコンテキストを提供することができる。幾つかの実施形態では、フレームの第１のセットの後に発生する事象は、更なるフレームの解析に基づいて識別することができる。例えば、事象は、フレームの第２のセットの前に発生してもよく、第１のフレームセットと第２のフレームセットとの間のフレームを解析することに基づいて識別されてもよい。他の実施形態では、第１のフレームセットと第２のフレームセットとの間の事象の発生は、更なるフレームを解析することなく、第２のフレームセットに基づいて推測することができる。更に、幾つかの実施形態では、事象は、第２のフレームセットの後に発生することができる。
同様に、幾つかの実施形態では、第２の手術複雑度レベルを決定することは、フレームの第１のセットとフレームの第２のセットとの間で生じる事象に基づくことができる。事象は、第１のフレームセット、第１のフレームセットの前、又は第２のフレームセットの後を含む他の時間に発生することができる。幾つかの実施形態では、第１及び／又は第２の手術複雑度レベルは、事象及び／又は事象タイミングを様々な複雑度レベルと相関させるようにトレーニングされた機械学習モデルに基づく事象の発生に基づいて決定することができる。例示的な例として、第２の手術複雑度レベルを決定することは、フレームの第１のセットの後に更なる外科医が呼び出されたという表示に基づいてもよい。更なる外科医が呼び出されたという表示は、例えば、フレームの第２のセット内であるがフレームの第１のセット内の外科医の存在を含むことができる。更なる外科医の呼び出しは、手術を行う外科医が、手術複雑度レベルを決定することに関連し得る支援及び／又は指針を必要としたことを示すことができる。別の例では、第２の手術複雑度レベルを決定することは、特定の薬剤がフレームの第１のセットの後に投与されたという表示に基づいてもよい。例えば、薬剤としては、麻酔薬（例えば、局所麻酔、局所麻酔、及び／又は全身麻酔）、バルビツレート、ベンゾジアゼピン、鎮静薬、凝固薬、又は外科的処置中に投与され得る様々な他の薬物を挙げることができる。薬剤の投与は、手術複雑度レベルの決定に関連し得る。幾つかの実施形態では、薬剤の投与は、発生した可能性がある１つ以上の合併症を示すことができ、これも手術複雑度レベルを決定することに関連し得る。
本開示の実施形態によれば、第２の手術複雑度レベルを決定することは、フレームの第１のセットからフレームの第２のセットまでの経過時間に基づくことができる。例えば、フレームの第１のセットからフレームの第２のセットまでの経過時間は、解剖学的構造が最初に手術映像に現れるときと、医療器具が解剖学的構造と相互作用する最初のときとの間の時間を表すことができる。別の例として、経過時間は、２つの手術段階間の時間及び／又は術中手術事象を示すことができる。例えば、第１の手術複雑度レベルを決定することがフレームの第１のセットにおいて医療器具を識別することを更に含む実施形態では、フレームの第１のセットは、切開などの１つの手術段階を示すことができ、フレームの第２のセットは、縫合などの第２の手術段階を示すことができる。２つの段階又は事象間の経過時間は、手術複雑度レベルを少なくとも部分的に示すことができる。（例えば、特定の処置に関して正常よりも長い経過時間は、その処置が正常よりも複雑であったことを示し得る。）また、外科的処置内の他の時間長は、動作の持続時間、事象の持続時間、手術段階の持続時間、動作と対応する生理的応答との間の持続時間など、手術複雑度レベルを示すことができる。手術映像は、そのような持続時間を測定するために解析されてもよく、また、手術複雑度レベルの決定は、決定された持続時間に基づいてもよい。
本開示の実施形態は、第１及び／又は第２の手術複雑度レベルを選択された閾値と比較することを更に含むことができる。幾つかの実施形態では、選択された閾値を使用して、表示及び／又はデータ構造への包含のためにどのフレームを選択すべきかを選択することができる。例えば、開示された方法は、第１の手術複雑度レベルが選択された閾値未満であると決定すること、及び、第２の手術複雑度レベルが選択された閾値を超えると決定することを含むことができる。これは、フレームの第２のセットが最小複雑度レベルを満たす複雑度レベルに関連付けられているが、フレームの第１のセットがそうではないことを示し得る。したがって、開示された方法は、第１の手術複雑度レベルが選択された閾値未満であるという決定及び第２の手術複雑度レベルが選択された閾値を超えるという決定に応じて、データ構造からフレームの第１のセットを省略しながら、フレームの第２のセットをデータ構造に記憶することを更に含むことができる。データ構造は、最小複雑度レベル要件を満たす表示用のビデオを選択するために外科医又は他のユーザによって使用されてもよい。
本開示の幾つかの実施形態は、フレームの第１のセットを第１の手術複雑度レベルでタグ付けすること、フレームの第２のセットを第２の手術複雑度レベルでタグ付けすること、及び、第１のタグを伴うフレームの第１のセット及び第２のタグを伴うフレームの第２のセットを含むデータ構造を生成することを更に含んでもよい。データ構造は、第１及び第２のフレームセット、並びに手術ビデオ映像の他のフレームを、容易な検索のためにインデックス付けされるように、対応する複雑度レベルと関連付けることができる。そのようなインデックス付けは、上記で詳細に説明したビデオインデックス付けに対応することができる。例えば、手術複雑度レベルは、上述したような、及び図６に示すデータ構造６００に示すような事象特性であってもよい。したがって、データ構造を生成することは、外科医が第２の手術複雑度レベルを選択できるようにし、それにより、フレームの第１のセットの表示を省略しつつフレームの第２のセットを表示させることができる。例えば、ビデオは、図８Ａ及び図８Ｂに関して上述したプロセス８００に基づいて再生のために選択することができる。
図１３は、開示された実施形態と整合する、手術映像の複雑度を解析するための例示的なプロセス１３００を示すフローチャートである。プロセス１３００は、本明細書で説明されるように、プロセッサなどの少なくとも１つの処理デバイスによって実行されてもよい。一例として、プロセッサは、図１４に示すようにプロセッサ１４１２を含むことができる。本開示の全体にわたって、「プロセッサ」という用語は、「少なくとも１つのプロセッサ」の省略表示として使用される。言い換えれば、プロセッサは、そのような構造が並置されるか、接続されるか、又は分散されるかにかかわらず、論理演算を実行する１つ以上の構造を含むことができる。幾つかの実施形態では、持続性コンピュータ可読媒体は、プロセッサによって実行されるときにプロセッサにプロセス１３００を実行させる命令を含むことができる。プロセス１３００は、必ずしも図１３００に示されるステップに限定されず、本開示の全体にわたって記載される様々な実施形態の任意のステップ又はプロセスもプロセス１３００に含まれ得る。ステップ１３１０において、プロセス１３００は、前述したように、手術映像のフレームを解析して、フレームの第１のセットにおいて解剖学的構造を識別することを含むことができる。幾つかの実施形態では、解剖学的構造は、前述のように、物体又は動き検出アルゴリズムなどの画像及び／又はビデオ解析アルゴリズムを使用して識別することができる。他の実施形態では、解剖学的構造は、前述のように、解剖学的構造を検出するようにトレーニングされた機械学習モデルを使用して識別することができる。
ステップ１３２０において、プロセス１３００は、第１の履歴データにアクセスすることを含んでもよく、第１の履歴データが、以前の外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づく。幾つかの実施形態では、第１の履歴データは、前述のように、以前の外科的処置の第１のグループから捕捉された第１のフレームデータを使用してトレーニングされた機械学習モデルを含むことができる。ステップ１３３０において、プロセス１３００は、第１の履歴データを使用して及び識別された解剖学的構造を使用してフレームの第１のセットを解析し、フレームの第１のセットと関連付けられる第１の手術複雑度レベルを決定することを含んでもよい。例えば、機械学習モデルは、フレームのセットに関連する手術複雑度レベルを識別するために、トレーニングデータ（例えば、以前の外科的処置から捕捉されたフレームデータの解析に基づく履歴データに基づくトレーニングデータ）を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、フレームの第１のセットを解析して、フレームの第１のセットに関連する第１の手術の複雑度レベルを決定するために使用され得る。
ステップ１３４０において、プロセス１３００は、より詳細に前述したように、手術映像のフレームを解析して、フレームの第２のセットにおいて医療器具、解剖学的構造、及び医療器具と解剖学的構造との間の相互作用を識別することを含むことができる。例えば、物体検出アルゴリズム及び／又は動作検出アルゴリズムを使用して、フレームの第２のセットを解析して、医療器具及び／又は解剖学的構造及び／又は医療器具と解剖学的構造との間の相互作用を検出することができる。別の例では、トレーニング例を用いてトレーニングされた機械学習モデルを使用して、医療器具及び／又は解剖学的構造、及び／又は画像及び／又はビデオ内の医療器具と解剖学的構造との間の相互作用を検出することができる。ステップ１３５０において、プロセス１３００は、第２の履歴データにアクセスすることを含むことができ、第２の履歴データは、以前の外科的処置の第２のグループから捕捉された第２のフレームデータの解析に基づく。幾つかの実施形態では、第１の履歴データ及び第２の履歴データは同一であってもよい。他の実施形態では、第１の履歴データ及び第２の履歴データは異なっていてもよい。ステップ１３６０において、プロセス１３００は、前述したように、第２の履歴データを使用して及び識別された相互作用を使用してフレームの第２のセットを解析し、フレームの第２のセットと関連付けられる第２の手術複雑度レベルを決定することを含んでもよい。
手術室スケジュールは、外科的に開示されたシステム及び方法に関連する遅延に基づいて調整する必要がある場合があり、また、方法は、手術映像を解析して手術の特徴、患者の状態、及び他の特徴を識別し、手術室スケジュール、手術室で行われる処置に対する調整を決定することを伴うことができる。逆に、外科的処置がスケジュールされた時間よりも前に完了した場合、スケジュールを調整する必要があり得る。したがって、外科的処置中の手術映像から得られた情報を使用して効果的且つ効率的に手術室スケジュールを調整する必要がある。
本開示の態様は、方法、システム、デバイス、及びコンピュータ可読媒体を含む手術室スケジュールの調整に関するものとなり得る。手術室スケジュールは、進行中の外科的処置の完了に関連するスケジュールされた時間、並びに将来の外科的処置を開始及び終了するスケジュールされた時間を含むことができる。
方法又はシステムの態様が有線、無線、又はその両方のネットワークを介して電子的に行われ得ることを理解して、手術室スケジュールの調整を可能にするための方法及びシステムの両方を以下に説明する。そのような方法又はシステムの他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、方法又はシステムは、特定の物理的及び／又は電子的手段に限定されず、むしろ多くの異なる手段を使用して達成され得る。説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下で最初に説明する。
開示された実施形態は、手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受信することを伴うことができる。本明細書で使用される場合、視覚データは、記録画像、１つ以上のフレーム又は画像又はクリップ、及び／又は上記から直接的又は間接的に導き出されたデータを含む、任意の形態の記録された視覚媒体を含むことができる。また、映像データは、音声を含んでもよい。例えば、視覚データは、図１に関連して上述したように、カメラ１１５，１２１，１２３及び／又は１２５などの画像センサによって捕捉された１つ以上の画像のシーケンスを含むことができる。一部のカメラ（例えば、カメラ１１５，１２１及び１２５）は、手術台１４１の映像／画像データを捕捉することができ、カメラ１２１は、手術を実行する外科医１３１の映像／画像データを捕捉することができる。場合によっては、カメラは、麻酔専門医、看護師、外科技術者、又は手術室１０１に配置された他のヘルスケア専門家などの外科チームの人員に関連するビデオ／画像データを捕捉することができる。
様々な実施形態では、画像センサは、可視光、Ｘ線光（例えば、蛍光透視法による）、赤外光、又は紫外光を画像、一連の画像、ビデオ、及び任意の他の表示形式に変換することによって視覚データを捕捉するように構成され得る。画像／ビデオデータは、ＪＰＥＧ、ＰＮＧ、ＴＩＦＦ、音声・ビデオ・インターリーブ（ＡＶＩ）、フラッシュ・ビデオ・フォーマット（ＦＬＶ）、クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４Ｐなど）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（ＷＭＶ）、マテリアル・エクスチェンジ・フォーマット（ＭＸＦ）、非圧縮フォーマット、可逆圧縮フォーマット、非可逆圧縮フォーマット、又は他の音声又はビデオフォーマット等の任意の適切なフォーマットを用いてコンピュータファイルとして記憶されてもよい。
画像センサは、画像又はビデオデータを捕捉することができる任意のセンサであってもよい。単一のセンサが使用されてもよく、又は複数の画像センサが手術室に配置されてもよい（例えば、センサは、手術室全体に配置されてもよい）。例示的な実施形態では、例示的な画像センサは、患者の上方に配置されてもよい。例示的な画像センサは、手術台の上、手術台の隣、手術室に配置された装置の隣、又は手術に関する情報を検出することができる他の場所にあってもよい。図１に示すように、画像センサは、カメラ１１５～１２５を含むことができる。場合によっては、画像センサはウェアラブルデバイス（例えば、頭部装着型カメラ、身体装着型カメラ、又は人と関連付けることができる任意のセンサ）であってもよい。これに加えて又は代えて、例示的な画像センサは、手術器具（すなわち、外科用器具の一部である）上に配置されてもよい。例えば、画像センサは、気管支鏡チューブ、腹腔鏡、内視鏡、又は患者の内側又は外側に配置するように構成された任意の他の医療機器（例えば、胃鏡検査、大腸内視鏡検査、子宮鏡検査、膀胱鏡検査、軟性Ｓ状結腸鏡検査、無線カプセル内視鏡検査などの処置のため）の一部であってもよい。
画像センサは、特に外科用器具の一部である場合、可視光、赤外光、及び／又は紫外光などの適切な波長の光を放射するための１つ以上の発光源を含むことができる。発光源は、任意の適切な源（例えば、可視光を発する発光ダイオード（ＬＥＤ）、蛍光光源、白熱光源、赤外線ＬＥＤ、紫外線ＬＥＤ、及び／又は他のタイプの光源）を含むことができる。画像センサは、光を捕捉することに限定されず、捕捉された信号に関連する視覚データを生成するために他の信号を処理するように構成されてもよい。例えば、画像センサは、捕捉された信号に関連する視覚データを生成するために、超音波、電磁場の変化、又は任意の他の適切な信号（例えば、表面上の力の分布）などを捕捉するように構成され得る。
外科的処置は、患者の身体に対する手動又は手術処置に関連する、又はそれを含む任意の医療処置を含み得る。外科的処置は、切断、研磨、縫合、及び／又は身体組織及び／又は器官の測定、処置、又は物理的変化を含む他の技術を含み得る。そのような外科的処置の幾つかの非限定的な例としては、腹腔鏡手術、胸腔鏡手術、気管支鏡手術、顕微鏡手術、開放手術、ロボット手術、虫垂切除、頸動脈内膜切除、手根管解放、白内障手術、帝王切開、胆嚢切除、結腸切除（例えば、部分的結腸切除術、全結腸切除術など）、冠動脈血管形成術、冠動脈バイパス、デブリードマン（例えば、創傷、火傷、感染症など）、遊離皮膚移植、痔核切除術、股関節置換術、子宮摘出術、子宮鏡検査、鼠径ヘルニア修復、膝関節鏡検査、膝関節置換術、乳房切除術（例えば、部分的乳房切除術、全乳房切除術、非定型的乳房切除術など）、前立腺切除術、前立腺除去術、肩関節鏡検査、脊椎手術（例えば、脊椎固定術、椎弓切除術、椎間孔切開術、椎間板切除術、椎間板置換術、層間インプラントなど）、扁桃摘出術、人工内耳手術、脳腫瘍（例えば髄膜腫など）切除術、経皮経管冠動脈形成術などの介入手術、経カテーテル大動脈弁置換術、脳内出血排出のための低侵襲手術、又は、何らかの形態の切除を伴う任意の他の医療処置を挙げることができる。本開示は外科的処置に関連して説明されているが、一般に他の形態の医療処置又は処置にも適用され得ることが理解されるべきである。
手術室は、外科的処置が無菌環境で行われる任意の適切な施設（例えば、病院内の部屋）であってもよい。手術室は、良好に照明され、頭上手術照明を有するように構成され得る。手術室は、制御された温度及び湿度を特徴とすることができ、窓なしであってもよい。例示的な実施形態では、手術室は、空気を濾過し、汚染を防止するために手術室内のわずかに高い圧力を維持することができる空調装置を含むことができる。手術室は、停電の場合に電気バックアップシステムを含むことができ、酸素及び麻酔ガスの供給を含むことができる。手術室は、一般的な外科用品、使い捨て用品用の容器、麻酔カート、手術台、カメラ、モニタ、及び／又は手術用の他の物品のための貯蔵空間を含むことができる。手術前に外科医、麻酔医、術部開業医（ＯＤＰ）、及び看護師によって使用される専用の洗浄領域が、手術室の一部であってもよい。更に、手術室に含まれるマップは、端末清掃員が清掃中に手術台及び機器を所望のレイアウトに再調整できるようにしてもよい。様々な実施形態では、１つ以上の手術室は、ヘルスケア施設内に別個のセクションを形成することができる手術室の一部であってもよい。手術室は、１つ以上の洗面室、準備室及び回収室、貯蔵施設及び清掃施設、オフィス、専用廊下、並びに場合によっては他の支援ユニットを含むことができる。様々な実施形態では、手術室は、気候及び空気制御され、他の部門から分離されてもよい。
様々な実施形態では、画像センサによって捕捉された視覚データは、進行中の外科的処置を追跡することができる。場合によっては、視覚データを使用して、手術が行われる患者の身体の領域（例えば、図１に示すように、領域１２７）などの関心領域（ＲＯＩ）を追跡することができる。例示的な実施形態では、カメラ１１５～１２５は、カメラ動き、カメラ回転を介してＲＯＩを追跡することによって、又はＲＯＩに向かってズームすることによって視覚データを捕捉することができる。例えば、カメラ１１５は、移動可能であり、ＲＯＩに向くことができ、そのＲＯＩでは、外科的処置中、外科的処置前、又は、外科的処置後にビデオ／画像データを捕捉する必要がある。例えば、図１に示すように、カメラ１１５は、ピッチ方向を示す矢印１３５Ａ、及びカメラ１１５のヨー方向を示す矢印１３５Ｂで示すように回転することができる。様々な実施形態では、カメラ（例えば、カメラ１１５）のピッチ角及びヨー角を制御してＲＯＩを追跡することができる。
例示的な実施形態では、カメラ１１５は、位置１２７内の外科用器具（手術器具、医療機器などとも呼ばれる）、解剖学的構造、外科医１３１の手、切開、解剖学的構造の動き、及び／又は任意の他の物体を追跡するように構成され得る。様々な実施形態において、カメラ１１５は、正確な追跡のためにレーザ１３７（例えば、赤外線レーザ）を装備することができる。場合によっては、カメラ１１５は、ＲＯＩのビデオ／画像データを捕捉するべくカメラを位置決めするための画像認識アルゴリズムを使用するコンピュータベースの制御アプリケーションを介して自動的に追跡され得る。例えば、制御アプリケーションは、解剖学的構造を識別し、解剖学的構造内の特定の位置で手術器具、外科医の手、出血、動きなどを識別し、カメラ１１５を適切なヨー角及びピッチ角だけ回転させることによってその位置をカメラ１１５で追跡することができる。幾つかの実施形態では、制御アプリケーションは、外科的処置中に複数のＲＯＩからビデオ／画像データを捕捉するために、様々なカメラ１１５～１２５の位置（すなわち、ヨー角及びピッチ角）を制御することができる。これに加えて又は代えて、人間の術者は、様々なカメラ１１５～１２５の位置を制御することができ、及び／又は人間の術者は、カメラの位置を制御する際に制御アプリケーションを監督することができる。
本明細書で使用される場合、「解剖学的構造」という用語は、例えば、１つ以上の器官、組織、管、動脈、細胞、又は任意の他の解剖学的部分を含む、生体の任意の特定の部分を含み得る。場合によっては、補綴物、人工器官などが解剖学的構造と見なされ得る。
カメラ１１５～１２５は、１つ以上のＲＯＩを拡大するためのズームレンズを更に含むことができる。例示的な実施形態では、カメラ１１５は、ＲＯＩ（例えば、解剖学的構造の近くにある手術器具）を拡大するためのズームレンズ１３８を含むことができる。カメラ１２１は、ＲＯＩの周りのより大きな領域からビデオ／画像データを捕捉するためのズームレンズ１３９を含むことができる。例えば、カメラ１２１は、場所１２７全体のビデオ／画像データを捕捉することができる。幾つかの実施形態では、カメラ１２１から取得されたビデオ／画像データは、外科的処置中にＲＯＩを識別するために解析されてもよく、制御アプリケーションは、カメラ１１５に、カメラ１２１によって識別されたＲＯＩに向かってズームさせるように構成され得る。
様々な実施形態では、制御アプリケーションは、外科的処置中に様々なカメラの位置及びズームを調整するように構成されてもよい。例えば、制御アプリケーションは、解剖学的構造を視覚的に追跡するようにカメラ１１５に指示することができ、外科用器具を追跡するようにカメラ１２１及び１２５に指示することができる。カメラ１２１及び１２５は、異なる視野角から同じＲＯＩ（例えば、外科用器具）を追跡することができる。例えば、異なる視野角から得られたビデオ／画像データを使用して、解剖学的構造の表面に対する外科用器具の位置を決定することができる。
様々な実施形態では、カメラ１１５～１２５の位置及びズームの制御は、規則ベースであり、所定の外科的処置のために開発されたアルゴリズムに従うことができる。例えば、制御アプリケーションは、外科用器具を追跡するようにカメラ１１５に指示し、位置１２７にカメラ１２１を向け、外科医の手の動きを追跡するようにカメラ１２３に指示し、解剖学的構造にカメラ１２５を向けるように構成され得る。アルゴリズムは、外科的処置中の様々な事象に応じて、カメラ１１５～１２５の位置及びズーム（倍率）を決定する任意の適切な論理的記述を含むことができる。例えば、アルゴリズムは、処置中に出血を発生させる解剖学的構造の領域に少なくとも１つのカメラを向けることができる。
様々な場合において、カメラ（例えば、カメラ１１５）が移動又は変形物体（例えば、カメラ１１５が移動する外科用器具、又は移動／脈動する解剖学的構造を追跡する場合）を追跡するとき、制御アプリケーションは、移動又は変形物体がカメラの視野から脱出しないように、カメラ１１５の最大許容ズームを決定することができる。例示的な実施形態では、制御アプリケーションは、カメラ１１５の第１のズームを最初に選択し、移動又は変形物体がカメラの視野から逃げるかどうかを評価し、移動又は変形物体がカメラの視野から逃げるのを防止するために必要に応じてカメラのズームを調整することができる。様々な実施形態では、カメラズームは、移動又は変形する物体の方向及び速度に基づいて再調整することができる。場合によっては、制御アプリケーションは、外科医の手の動き、外科用器具の動き、外科医の身体の動き、可能性のある次のステップを反映する履歴データ、又は将来の動きが導き出され得る他の任意のデータに基づいて、カメラ１１５～１２５の将来の位置及び向きを予測するように構成され得る。
画像センサによって捕捉された視覚データは、更なる解析及び記憶のためにネットワークを介してコンピュータシステムに通信することができる。例えば、図１４は、コンピュータシステム１４１０、ネットワーク１４１８、並びにネットワーク１４１８を介してコンピュータシステム１４０１に接続された画像センサ１４２１（例えば、手術室内に配置されたカメラ）、及び１４２３（例えば、外科用器具の一部である画像センサ）を含むことができる例示的なシステム１４０１を示す。システム１４０１は、以前に行われた手術（すなわち、履歴的な画像、ビデオ又は音声データ、テキストデータ、医師のノート、履歴的な手術データを解析することによって得られたデータ、及び履歴的な手術に関する他のデータを含むことができる履歴的な手術データ）に関連する様々なタイプのデータを記憶するためのデータベース１４１１を含むことができる。様々な実施形態において、履歴的な手術データは、以前に行われた外科的処置に関連する任意の手術データであってもよい。更に、システム１４０１は、１つ以上の音声センサ１４２５、発光素子１４２７、及びスケジュール１４３０を含むことができる。
コンピュータシステム１４１０は、画像センサによって収集された視覚データを解析するための１つ以上のプロセッサ１４１２と、視覚データ及び／又は他のタイプの情報を記憶するためのデータ記憶装置１４１３と、コンピュータシステム１４１０のための任意の適切な入力を入力するための入力モジュール１４１４と、コンピュータシステム１４１０の動作の様々な態様を制御するためのソフトウェア命令１４１６とを含むことができる。
システム１４１０の１つ以上のプロセッサ１４１２は、複数の動作及び／又はストリームを同時に処理する複数のコアプロセッサを含むことができる。例えば、プロセッサ１４１２は、異なる画像センサ１４２１及び１４２３からの視覚データを同時に処理するための並列処理ユニットであってもよい。幾つかの実施形態では、プロセッサ１４１２は、これらに限定されないが、Ｉｎｔｅｌ（商標）製のＰｅｎｔｉｕｍ（商標）もしくはＸｅｏｎ（商標）ファミリー、ＡＭＤ（商標）製のＴｕｒｉｏｎ（商標）ファミリー、又は他の製造業者からの様々なプロセッサのいずれかからのマイクロプロセッサなどの、１つ以上の処理デバイスを含むことができる。プロセッサ１４１２は、それぞれが浮動小数点演算、グラフィック、信号処理、ストリング処理、又はＩ／Ｏインタフェースなどの特定の動作を実行するように構成された複数のコプロセッサを含むことができる。幾つかの実施形態では、プロセッサは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）などを含むことができる。
データベース１４１１は、システム１４１０にコンテンツを提供するための動作を実行するための適切なソフトウェアで構成された１つ以上のコンピューティングデバイスを含むことができる。データベース１４１１は、例えば、Ｏｒａｃｌｅ（商標）データベース、Ｓｙｂａｓｅ（商標）データベース、及び／又は他のリレーショナルデータベースもしくはＨａｄｏｏｐ（商標）シーケンスファイル、ＨＢａｓｅ（商標）もしくはＣａｓｓａｎｄｒａ（商標）などの非リレーショナルデータベースを含むことができる。例示的な実施形態では、データベース１４１１は、データベースのメモリデバイスに記憶されたデータの要求を受信及び処理し、データベースからデータを提供するように構成されたコンピューティング構成要素（例えば、データベース管理システム、データベースサーバなど）を含むことができる。前述のように、データベース１４１１は、外科的処置に関連するデータを収集及び／又は維持するように構成することができる。データベース１４１１は、例えばオンラインリソースを含む様々なソースからデータを収集することができる。
ネットワーク１４１８は、様々なコンピューティング構成要素間の任意のタイプの接続を含むことができる。例えば、ネットワーク１４１８は、インターネット接続、ローカルエリアネットワーク接続、近距離無線通信（ＮＦＣ）、及び／又はシステム１４０１の構成要素間の情報の送受信を可能にする他の適切な（１又は複数の）接続を含むことができるネットワーク接続を介して情報の交換を容易にすることができる。幾つかの実施形態では、システム１４０１の１つ以上の構成要素は、１つ以上の専用通信リンクを介して直接通信することができる。
システム１４０１の様々な例示的な実施形態は、コンピュータ実装方法、有形の持続性コンピュータ可読媒体、及びシステムを含むことができる。コンピュータ実装方法は、例えば、図１４に示すように、媒体１４１３などの持続性コンピュータ可読記憶媒体から命令を受信する少なくとも１つのプロセッサによって実行されてもよい。同様に、本開示と整合するシステム及びデバイスは、少なくとも１つのプロセッサ及びメモリを含むことができ、また、メモリは、持続性コンピュータ可読記憶媒体となり得る。本明細書で使用される場合、持続性コンピュータ可読記憶媒体は、少なくとも１つのプロセッサによって読み取り可能な情報又はデータを記憶することができる任意のタイプの物理メモリを指す。例としては、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、及び任意の他の既知の物理記憶媒体を、それらの一部又は全部が手術室内又は手術室の近く、同じ施設の別の部屋内、遠隔キャプティブサイト内、又はクラウドベースのサーバファーム内に物理的に配置されているかどうかにかかわらず、挙げることができる。「メモリ」及び「コンピュータ可読記憶媒体、」などの単数形の用語は、複数のメモリ又はコンピュータ可読記憶媒体などの複数の構造を更に指すことができる。本明細書で言及されるように、「メモリ」は、特に明記しない限り、任意のタイプのコンピュータ可読記憶媒体を含むことができる。コンピュータ可読記憶媒体は、本明細書の実施形態と整合するステップ又は段階をプロセッサに実行させるための命令を含む、少なくとも１つのプロセッサによる実行のための命令を記憶することができる。更に、１つ以上のコンピュータ可読記憶媒体を、コンピュータ実装方法を実施する際に利用することができる。「コンピュータ可読記憶媒体」という用語は、有形の項目を含み、搬送波及び過渡信号を除外すると理解されるべきである。
入力モジュール１４１４は、１つ以上のプロセッサ１４１２に入力を提供するための任意の適切な入力インタフェースであってもよい。例示的な実施形態では、入力インタフェースは、英数字を入力するためのキーボード、マウス、ジョイスティック、タッチスクリーン、オンスクリーンキーボード、スマートフォン、音声捕捉デバイス（例えば、マイクロフォン）、ジェスチャ捕捉デバイス（例えば、カメラ）、及びデータを入力するための他のデバイスであってもよい。ユーザが情報を入力している間、情報は、入力の正確さを確保するためにモニタに表示されてもよい。様々な実施形態において、入力は、システム１４１０に提出される前に検証又は変更されて解析されてもよい。
ソフトウェア命令１４１６は、画像センサからの視覚データの受信及び解析、画像センサの様々な態様の制御（例えば、動画センサ、回転画像センサ、例示的なＲＯＩに向かってズームするための画像センサのズームレンズの動作、及び／又は他の動き）、手術室内の他の装置の様々な態様の制御（例えば、音声センサ、化学センサ、発光素子、及び／又は他のデバイスの動作を制御すること）を含むことができるシステム１４１０の動作の様々な態様を制御するように構成することができる。
前述のように、画像センサ１４２１は、画像又はビデオデータを捕捉することができる任意の適切なセンサであってもよい。例えば、そのようなセンサは、カメラ１１５～１２５であってもよい。
音声センサ１４２５は、音声データを捕捉するための任意の適切なセンサであってもよい。音声センサ１４２５は、音声をデジタル情報に変換することによって音声を捕捉するように構成されてもよい。音声センサ１４２５の幾つかの例としては、マイクロフォン、一方向マイクロフォン、双方向マイクロフォン、カージオイドマイクロフォン、全方向マイクロフォン、オンボードマイクロフォン、有線マイクロフォン、無線マイクロフォン、上記の任意の組み合わせ、及び任意の他の音声捕捉デバイスを挙げることができる。
発光素子１４２７は、例えば、画像センサ１４２１によるより良好な画像捕捉を可能にするために、光を放射するように構成されてもよい。幾つかの実施形態では、光の放射は、画像センサ１４２１の捕捉動作と調整することができる。これに加えて又は代えて、光の放射は連続的であってもよい。場合によっては、光の放射は選択された時間に実行されてもよい。放射光は、可視光、赤外光、紫外光、深紫外光、Ｘ線、ガンマ線、及び／又は光スペクトルの任意の他の部分であってもよい。
以下に説明するように、スケジュール１４３０は、進行中の外科的処置の完了に関連するスケジュールされた時間、並びに将来の外科的処置を開始及び終了するスケジュールされた時間を表示するためのインタフェースを含むことができる。スケジュール１４３０は、任意の適切な手法（例えば、スタンドアロンのソフトウェアアプリケーションとして、ウェブサイトとして、スプレッドシートとして、又は任意の他の適切なコンピュータベースのアプリケーションもしくは紙ベースの文書として）を使用して実施することができる。例示的なスケジュール１４３０は、処置のリスト、並びに特定の処置に関連する開始時間及び終了時間のリストを含むことができる。これに加えて又は代えて、スケジュール１４３０は、進行中の外科的処置の完了に関連するスケジュールされた時間、並びに将来の外科的処置を開始及び終了するスケジュールされた時間などの、少なくとも１つの手術室のスケジュールに関連する、及び／又は少なくとも１つの外科的処置のスケジュールに関連する情報を表すように構成されたデータ構造を含むことができる。
図１５は、処置Ａ～Ｃ（例えば、外科的処置、又はスケジュール１４３０が使用される手術室で実行され得る任意の他の適切な医療処置）などの処置のリストを含むことができる例示的なスケジュール１４３０を示す。各処置Ａ～Ｃについて、対応する開始時間及び終了時間を決定することができる。例えば、過去の処置Ａの場合、開始時間１５２１Ａ及び終了時間１５２１Ｂは実際の開始時間及び終了時間であってもよい。（処置Ａが完了したので、スケジュール１４３０は、実際の時間を反映するように自動的に更新されてもよい）。図１５は、現在の処置Ｂに関して、開始時間１５２３Ａが実際の時間であってもよく、終了時間１５２３Ｂが推定され得る（推定時間として記録され得る）ことを示す。更に、将来実行されるようにスケジュールされている処置Ｃについて、開始時間１５２５Ａ及び終了時間１５２５Ｂを推定して記録することができる。スケジュール１４３０は、処置のリスト及び処置の開始／終了時間を表示及び／又は保持することに限定されず、例示的な外科的処置に関連する様々な他のデータを含むことができることに留意すべきである。例えば、スケジュール１４３０は、スケジュール１４３０のユーザがスケジュール１４３０の様々な要素と相互作用できるようにするべく構成されてもよい（スケジュール１４３０が、ウェブページ、ソフトウェアアプリケーション、及び／又は別のインタフェースなどのコンピュータベースのインタフェースによって表される場合について）。例えば、ユーザは、処置Ａ、Ｂ又はＣの詳細をそれぞれ取得するために、領域１５１３、１５１５又は１５１７をクリック又は選択することができる。そのような詳細は、患者情報（例えば、患者の名前、年齢、病歴など）、外科的処置情報（例えば、手術のタイプ、手術に使用される器具のタイプ、手術に使用される麻酔のタイプ、及び／又は手術の他の特性）、及びヘルスケア提供者情報（例えば、外科医の名前、麻酔専門医の名前、外科医の経験、外科医の成功率、外科医の手術転帰に基づく外科医の評価、及び／又は外科医に関する他のデータ）を含むことができる。前述の情報の一部又は全ては、更なるドリルダウンを必要とせずに、領域１５１３、１５１５、及び１５１７に既に表示されてもよい。
様々な実施形態において、外科的処置に関する情報は、図１６に示すように、例示的なフォーム１６０１を介してヘルスケア提供者（例えば、看護師、手術助手、外科医、及び／又は他のヘルスケア専門家）によって入力されてもよい。例えば、フォーム１６０１は、ヘルスケア提供者がスケジュールされた外科的処置の緊急度を指定することができる「ＵＲＧＥＮＣＹ」フィールドと、ヘルスケア提供者が外科的処置のタイプ（又は外科的処置の名前）を指定することができる「手術タイプ」フィールドと、ヘルスケア提供者が外科的処置中に合併症を引き起こす可能性がある患者についての医療履歴事象を指定することができる「合併症」フィールドと、ヘルスケア提供者が患者に関する対応する情報を指定することができる「氏名」、「住所」、「誕生日」、「接触」、及び「緊急連絡先」などの「患者プロファイル」フィールドとを有することができる。更に、フォーム１６０１は、患者の病歴を記述するために使用することができる「病歴」フィールドを含むことができ（例えば、「病歴」フィールドは、プルダウンリスト、ヘルスケア提供者が患者の病歴を記述するテキストを入力することができる空間、又は患者の病歴の記述に使用することができる任意の他の適切なグラフィカルユーザインタフェース要素とすることができる）。更に、フォーム１６０１は、患者のための外科的処置を提供するようにスケジュールされている医療従事者の名前及び責任を指定することができる「外科チーム」関連フィールドを含むことができる。複数のヘルスケア提供者に関する情報は、図１６に示すように、「次のメンバーを追加」ボタンによって追加することができる。フォーム１６０１は、外科的処置に関する情報をスケジュール１４３０に入力するために使用することができる幾つかの例示的なフィールドを有するフォームの一例にすぎず、スケジュール１４３０の関連情報を入力することを可能にする任意の他の適切なフォームを使用することができる。フォームに関する情報のフィールドの数及び捕捉のために識別された情報のタイプは、管理者の好みの問題であり得る。これに加えて又は代えて、外科的処置のための情報は、病院情報システム（ＨＩＳ）、電子医療記録（ＥＭＲ）、計画された手術室スケジュール、デジタルカレンダー、外部システムなどの他のソースから受信されてもよい。
手術室スケジュールの調整を可能にするための実施形態の態様は、履歴的な手術データに基づく情報を含むデータ構造にアクセスすること、及び、進行中の外科的処置の視覚データ及び履歴的な手術データを解析して、進行中の外科的処置の推定完了時間を決定することを含むことができる。様々な実施形態において、本方法の任意のステップは、ソフトウェア命令１４１６を実行するシステム１４１０の１つ以上のプロセッサによって実行されてもよい。
データ構造は、データベース１４１１に記憶されてもよく、ネットワーク１４１８を介してアクセスされてもよく、又はシステム１４１０のメモリに局所的に記憶されてもよい。履歴的な手術データを含むデータ構造としては、任意の適切なデータ（例えば、画像データ、ビデオデータ、テキストデータ、数値データ、スプレッドシート、公式、ソフトウェアコード、コンピュータモデル、及び／又は他のデータオブジェクト）、並びに様々なデータ値（又はデータ値の組み合わせ）間の任意の適切な関係を挙げることができる。データは、線形的に、水平的に、階層的に、関係的に、非関係的に、単次元的に、多次元的に、動作的に、順序付けられた態様で、順序付けられない態様で、オブジェクト指向的な態様で、集中的態様で、非集中的態様で、分散的態様で、カスタム態様で、又は、データアクセスを可能にする任意の態様で記憶されてもよい。非限定的な例として、データ構造は、配列、連想配列、リンクされたリスト、二分木、平衡木、塊、スタック、キュー、セット、ハッシュテーブル、記録、タグ付き結合体、ＥＲモデル、及び、グラフを含んでもよい。例えば、データ構造は、例えば、ＭｏｎｇｏＤＢ、Ｒｅｄｉｓ、Ｃｏｕｃｈｂａｓｅ、Ｄａｔａｓｔａｘ Ｅｎｔｅｒｐｒｉｓｅ Ｇｒａｐｈ、Ｅｌａｓｔｉｃ Ｓｅａｒｃｈ、Ｓｐｌｕｎｋ、Ｓｏｌｒ、Ｃａｓｓａｎｄｒａ、Ａｍａｚｏｎ ＤｙｎａｍｏＤＢ、Ｓｃｙｌｌａ、ＨＢａｓｅ、及びＮｅｏ４Ｊなどの、データストレージ／検索のためのＸＭＬコード、ＸＭＬデータベース、ＲＤＢＭＳデータベース、ＳＱＬデータベース又はＮｏＳＱＬ代替物を含むことができる。データ構造は、開示されたシステムのコンポーネント又はリモートコンピューティングコンポーネント（例えば、クラウドベースのデータ構造）であってもよい。データ構造内のデータは、連続したメモリ又は不連続なメモリに記憶されてもよい。更に、本明細書中で使用されるデータ構造は、情報が同じ場所に配置されることを必要としない。データ構造は、例えば、同じ又は異なるエンティティによって所有又は動作され得る複数のサーバにわたって分散され得る。したがって、単数形で本明細書で使用される「データ構造」という用語は、複数のデータ構造を含む。
例示的な実施形態では、データ構造は、処置のタイプ（例えば、バイパス手術、気管支鏡検査、又は上述の任意の他の外科的処置）、患者の１つ以上の特性（例えば、年齢、性別、処置に影響を及ぼし得る医学的考察、過去の病歴、及び／又は他の患者情報）、外科医及び／又は麻酔科医の（１又は複数の）名前及び／又は特性、並びに処置を完了するのにかかった時間を含むことができる。場合によっては、処置の完了のための時間は、手術室を準備するための時間、外科的処置のために患者を準備するための時間、医療従事者（すなわち、看護師、外科医、麻酔専門医など）に必要な時間、患者が麻酔されるか又は眠りにつくために必要な時間、手術室を洗浄するために必要な時間、又は手術室を次の外科的処置のための状態にするために必要な任意の他の手術関連時間を含むことができる。
例示的な実施形態では、データ構造は、１つ以上のデータベーステーブルを有するリレーショナルデータベースであってもよい。例えば、図１７Ａは、データテーブル１７１１及び１７１３を含むことができるデータ構造１７０１の例を示す。例示的な実施形態では、データ構造１７０１は、リレーショナルデータベースの一部であってもよく、メモリなどに記憶されてもよい。テーブル１７１１及びテーブル１７１３は、複数の記録（例えば、図１７Ａに示すように、記録１及び２）を含むことができ、フィールド「記録番号」、「処置」、「年齢」、「性別」、「医学的考察」、「時間」、及び「その他データ」などの様々なフィールドを有することができる。例えば、フィールド「記録番号」は、整数であり得る記録のラベルを含むことができ、フィールド「処置」は、外科的処置の名前を含むことができ、フィールド「年齢」は、患者の年齢を含むことができ、フィールド「性別」は、患者の性別を含むことができ、フィールド「医学的考察」は、フィールド「処置」に示される名前を有する外科的処置に関連し得る患者の病歴に関する情報を含むことができ、フィールド「時間」は、外科的処置にかかった時間を含むことができ、フィールド「その他データ」は、外科的処置に関連する任意の他の適切なデータへのリンクを含むことができる。例えば、図１７Ａに示すように、１７１１は、画像データに対応し得るデータ１７１２Ａ、ビデオデータに対応し得るデータ１７１２Ｂ、テキストデータ（例えば、外科的処置中又は外科的処置後に記録されたノート、患者記録、術後報告など）に対応し得るデータ１７１２Ｃ、及び音声データに対応し得るデータ１７１２Ｄへのリンクを含み得る。様々な実施形態では、画像、ビデオ、又は音声データは、外科的処置中に捕捉されてもよい。場合によっては、ビデオデータは音声データも含むことができる。画像、ビデオ、テキスト又は音声データ１７１２Ａ～１７１２Ｄは、外科的処置中に収集され得るデータの一部にすぎない。他のデータは、心拍数データ、血圧データ、血液試験データ、酸素レベル、又は外科的処置中に記録された任意の他の患者関連データなどの患者のバイタルサインデータを含むことができる。データの幾つかの更なる例は、室温、使用される外科用器具のタイプ、又は外科的処置に関連し、外科的処置の前、最中、又は後に記録された任意の他のデータを含むことができる。
図１７Ａに示すように、テーブル１７１１及び１７１３は、外科的処置のための記録を含むことができる。例えば、テーブル１７１１の記録１には、腎疾患を有する６５歳の男性に対してバイパス外科的処置を行い、バイパス手術を４時間で終了したことが示されている。テーブル１７１１の記録２には、外科的処置を複雑化させるような背景的な病状を有さない７８歳女性に対してバイパス手術を行い、バイパス手術を３時間で終了したことが示されている。テーブル１７１３は、６５歳の男性に対するバイパス手術がＭａｃ医師によって行われたこと、及び、７８歳の女性のためのバイパス手術がＤｏｅ医師によって行われたことを示す。テーブル１７１１に列挙された年齢、性別、及び医学的考慮事項などの患者特性は、例示的な患者特性の一部にすぎず、任意の他の適切な特性を使用して、ある外科的処置を別の外科的処置と区別することができる。例えば、患者特性は、患者のアレルギー、麻酔薬に対する患者の耐性、患者の様々な詳細（例えば、バイパス手術中に治療する必要がある動脈の数）、患者の体重、患者のサイズ、患者の解剖学的構造の詳細、又は外科的処置の期間（及び成功）に影響を及ぼし得る任意の他の患者関連特性を更に含み得る。
データ構造１７０１は、外科的処置の任意の適切な態様を特徴付けることができる任意の他の数の適切なテーブルを有することができる。例えば、１７０１は、関連する麻酔医の識別情報、外科的処置の時間、外科的処置が外科医によって行われた第１、第２、第３などの処置であったかどうか（例えば、外科医の生涯、特定の日内など）、関連する麻酔医のナースアシスタント、外科的処置中に合併症があったかどうか、及び処置に関連する任意の他の情報を示すテーブルを含むことができる。
データ構造にアクセスすることは、データ構造への情報の読み出し及び／又は書き込みを含むことができる。例えば、データ構造から／データ構造への読み出し及び／又は書き込みは、履歴視覚データ、履歴音声データ、履歴テキストデータ（例えば、例示的な過去の外科的処置の間の注記）、及び／又は他の履歴データフォーマットなどの任意の適切な履歴的な手術データの読み出し及び／又は書き込みを含むことができる。例示的な実施形態では、データ構造にアクセスすることは、データベース１１１又は任意の他の適切な電子ストレージリポジトリから／データベース１１１又は任意の他の適切な電子ストレージリポジトリへのデータの読み取り及び／又は書き込みを含むことができる。場合によっては、データの書き込みは、印刷データ（例えば、紙の履歴データを含む報告の印刷）を含むことができる。
開示された実施形態は、進行中の外科的処置の推定完了時間を決定するために、データ構造を使用して進行中の外科的処置の視覚データを解析することを更に含むことができる。推定完了時間は、例えば、外科的処置が完了すると予測される時間、完了までの残り時間、外科的処置の推定全体期間、外科的処置の完了の確率分布時間値などを含む、外科的処置の推定完了の任意の適切な指標であり得る。更に、完了時間は、履歴的な手術データ（例えば、履歴的な完了時間に関連する標準逸脱、平均履歴的な完了時間、履歴的な完了時間の平均、及び／又は完了時間の他の統計的メトリック）に基づいて、完了の可能性を示す更なる統計情報を含むことができる。幾つかの例では、機械学習モデルは、画像及び／又はビデオから手術の完了時間を推定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、視覚データを解析し、進行中の外科的処置の推定完了時間を決定するために使用されてもよい。そのようなトレーニング例の一例は、外科的処置の推定完了時間を示すラベルと共に、外科的処置の画像及び／又はビデオを含むことができる。例えば、トレーニング例のラベルは、履歴的な手術データ、履歴的なデータ、ユーザ入力などに基づく情報を含むデータ構造のうちの少なくとも１つに基づくことができる。例えば、トレーニング例は、履歴的な手術データ、履歴的なデータなどに基づく情報を含むデータ構造のうちの少なくとも１つからの画像及び／又はビデオを含むことができる。
一例では、外科的処置を開始する前に、履歴的な手術データを解析して、進行中の外科的処置の初期推定完了時間（本明細書では完了時間とも呼ばれる）を決定することができ、又は進行中の外科的処置の初期推定完了時間は、他の方法で、例えばユーザ、スケジューリングシステム、外部システムなどから受信することができる。
幾つかの実施形態では、平均履歴完了時間を使用して、推定完了時間を決定することができる。例えば、平均履歴完了時間は、進行中の外科的処置と同じタイプの履歴的な外科的処置について計算されてもよく、平均履歴完了時間は推定完了時間として使用されてもよい。別の例では、同様の履歴的な外科的処置が選択されてもよく（例えば、ｋ近傍法アルゴリズムを使用すること、外科的処置間の類似性指標を使用することなど）、選択された同様の履歴的な外科的処置について平均履歴完了時間が計算されてもよい。
履歴データの解析は、確率分布関数が様々な患者／外科医の特性（例えば、患者の年齢）、線形回帰、及び／又は統計的関係を定量化する他の方法によってどのように影響を受けるかを決定するために、ベイズ干渉を使用して確率分布関数に基づいて予測完了時間値を決定するなど、任意の適切な統計データ解析を含むことができる。例えば、図１７Ｂは、異なる年齢の患者に対する特定の外科的処置（例えば、バイパス手術）の完了時間の分布を表す点１７１５の例示的なグラフ１７０３を示す。例えば、点１７１５Ａは、特定の場合において、年齢Ａ０の患者について、外科的処置を完了するのに時間Ｔ０がかかったことを示している。点１７１５のデータを使用して線形回帰モデル１７１７を構築することができ、回帰モデル１７１７を使用して、線形回帰モデル上の点１７１８に従って年齢Ａ１の患者の予測完了時間Ｔ１を決定することができる。グラフ１７０３は、患者の一特性パラメータ（例えば、患者の年齢）に対する完了時間の依存性を示しているが、完了時間は、前述のように、複数の特性パラメータ（例えば、患者の体重、外科的処置を行うヘルスケア専門家の特性、麻酔専門医の特性、及び患者又は処置を記述する他のデータ）に依存してもよく、点１７１５は、多次元デカルト座標系にプロットされてもよく、回帰モデル１７１７は、多変量回帰モデルを含んでもよい。他の例では、回帰モデル１７１７は、非線形回帰モデルを含み得る。
例示的な実施形態では、推定完了時間を決定することは、進行中の外科的処置を行うヘルスケア専門家に関連付けられた１つ以上の記憶された特性に基づくことができる。そのような特性は、例えば上述したように、年齢、名前、経験年数、ヘルスケア専門家の場所、過去のパフォーマンス、及び／又はヘルスケア専門家を記述する他の情報を含むことができる。特性は、任意の適切な電子（又は場合によっては紙）記憶装置を使用して任意の適切なデータ構造を使用して記憶することができる。例示的な実施形態では、特性は、データベース（例えば、図１４に示すように、データベース１４１１）に記憶されてもよい。例えば、所定のタイプの手術についての所定のヘルスケア専門家の履歴データの解析に基づいて、予測完了時間を推定することができる（例えば、予測完了時間は、所定のタイプの手術についての所定のヘルスケア専門家の履歴データから決定された平均完了時間であってもよい）。更に、所定のタイプの手術について所定のヘルスケア専門家の履歴データを使用して、他の統計（例えば、予測完了時間からの標準逸脱、患者の年齢又は手術が行われた日の時間などの外科的処置の他の特性との予測完了時間の相関、及び／又は履歴的な完了時間から生成された他の統計）を決定することができる。
図１８は、機械学習モデル１８１３を使用して完了時間１８１５を取得する典型的な実施形態を示す。モデル１８１３は、入力パラメータ１８１１として、患者の様々な特性、医療従事者の様々な特性、並びに患者に投与される外科的処置のタイプをとることができる。例えば、パラメータＰ１は、図１８に示すように、外科的処置のタイプを示すことができ、パラメータＰ２は、患者の年齢を示すことができ、パラメータＰＮは、患者の体重を示すことができるなどである。使用されている外科用器具のタイプ、手術されている解剖学的構造のサイズなど、様々な他のパラメータが使用されてもよい。
様々な実施形態では、完了時間１８１５は、例えば上述したように、ニューラルネットワーク、決定木、アンサンブル法に基づくモデル（ランダムフォレストなど）、又は任意の他の機械学習モデルなどの機械学習モデルを含むことができるモデル１８１３を使用して計算することができる。場合によっては、モデル１８１３は、完了時間に関連する単一の数字を返すように構成されてもよく、幾つかの実施形態では、モデル１８１３は、完了時間の確率分布を返すように構成されてもよい。
様々な実施形態では、モデル１８１３は、所定の外科的処置を受けている様々な患者の履歴的な完了時間を含むことができる履歴的な手術データに対応する適切なパラメータ１８１１を含むデータセットを使用してトレーニングすることができる。
本開示の実施形態は、進行中の外科的処置の推定完了時間を決定するために、進行中の外科的処置の視覚データ及び履歴的な手術データを解析することを更に含むことができる。そのような解析は、推定完了時間を決定するために機械学習及び／又は本明細書に記載の他の技術によって行うことができる。例示的な一実施形態では、手術の完了時間を決定するために、方法は、入力情報（例えば、外科的処置のタイプ、手術の画像又は手術のビデオデータなどの進行中の外科的処置の１つ以上の視覚データ、患者及び／又は医療従事者の特性）として取り込み且つ出力として完了時間の推定値を返す機械学習モデルを利用することができる。幾つかの例では、進行中の外科的処置の履歴的な手術データ及び視覚データは、例えば視覚的類似性関数を使用して、視覚データを表すグラフ上の不正確なグラフマッチングアルゴリズムを使用して、ｋ近傍法アルゴリズムを使用するなどして、進行中の外科的処置と同様の履歴的な手術データ内の識別された記録を解析することができる。更に、幾つかの例では、識別された記録を使用して、進行中の外科的処置の推定完了時間を決定することができる。例えば、識別された記録からの完了時間の関数（例えば、平均、中央値、最頻値、統計関数、線形関数、非線形関数など）を計算することができ、進行中の外科的処置の推定完了時間は、計算された関数に基づくことができる。例示的な実施形態では、進行中の外科的処置の視覚データは、所定の時間間隔で分離された時間に収集されてもよい（例えば、視覚データは、１秒ごと、数秒ごと、数十秒ごと、１分ごと、又は任意の他の適切な間隔で収集されてもよい）。これに加えて又は代えて、視覚データは、医療従事者によって要求されたときに収集されてもよい（例えば、視覚データは、外科医及び／又は麻酔医及び／又は看護師、又は任意の他の指定された個人によって要求された時間に収集されてもよい）。例えば、外科医は、１つ以上の画像センサ／音声センサによって捕捉されて視覚データを収集するためのトリガとして認識され得る視覚／音声信号（例えば、ハンドジェスチャ、ボディジェスチャ、医療機器によって生成された光源によって生成された視覚信号、話し言葉、又は任意の他のトリガ）を生成することができる。これに加えて又は代えて、視覚データは、以下で更に説明するように、外科的処置中に検出された特性事象に基づいて収集されてもよい。
様々な実施形態では、手術室スケジュールを調整することは、完了時間を推定するべく機械学習モデルをトレーニングするために履歴視覚データを使用することを含むことができ、推定完了時間を計算することは、トレーニングされた機械学習モデルを実装することを含む。機械学習モデルの入力データの例としては、複数の視覚的データ記録及びパラメータを挙げることができる。視覚データの記録は、外科的処置中の特定の時間間隔の間に画像センサによって捕捉された画像のセット及び／又はビデオの複数のフレームであり得る。例えば、視覚的データ記録は、外科的処置の最初の数分間のビデオデータであってもよく、視覚的データ記録は、外科的処置の次の数分間のビデオデータであってもよく、視覚的データ記録は、外科的処置の次の数分間のビデオデータであってもよい。幾つかの例では、機械学習モデルは、上述のようにトレーニングされ及び／又は使用されてもよい。
開示された実施形態の態様は、進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む手術室に関するスケジュールにアクセスすることを含むことができる。例示的な実施形態では、アクセスは、スケジュールに対する情報の読み取り及び／又は書き込みを含むことができる。そのようなスケジュールの一例は、スケジュール１４３０、又はスケジュール１４３０に関連して説明した情報と同様の情報を含むデータ構造を含むことができる。例えば、スケジュール１４３０から／スケジュール１４３０への読み取り及び／又は書き込みは、対応して以前に実行された、又は手術室で実行中もしくは実行予定の過去、現在もしくは将来の外科的処置に関連する任意の適切なデータの読み取り及び／又は書き込みを含むことができる。そのようなデータは、処置の名前、処置を実行する外科医、患者の名前、患者又は／及び医療従事者に関連する任意の特性パラメータ、処置の開始時間（又は推定開始時間）及び処置の終了時間（又は推定終了時間）を含むことができる。様々な実施形態において、システム１４１０は、スケジュール１４３０を読み取る及び／又は書き込むために使用されてもよい。
様々な実施形態は、進行中の外科的処置の推定完了時間に基づいて、予測完了時間が完了に関連するスケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算すること、及び、分散の計算時に通知を出力することによって手術室の後続のユーザが自分のスケジュールをそれに応じて調整できるようにすることを更に含んでもよい。例えば、進行中の外科的処置の推定（予測とも呼ばれる）完了時間は、上述の手法のいずれかを使用して取得することができる（例えば、上記の機械学習モデル及び／又は履歴的な手術データの線形回帰モデルを使用する）。予測完了時間は、例示的な医療処置の推定終了時間と比較されてもよく（例えば、図１５に示すように、推定終了時間１５２３Ｂ）、また、予測完了時間が時間１５２３Ｂと実質的に一致しない場合（例えば、予測完了時間が時間１５２３Ｂより後又は前である）、方法は、予測完了時間と時間１５２３Ｂとの差を計算するように構成されてもよい。差が所定の閾値よりも小さい場合（例えば、閾値は、分、数分、５分、１０分、１５分、及び／又は他の時間値であってもよい）、方法は、予測完了時間が時間１５２３Ｂと実質的に同じであると決定することができる。或いは、差が十分に大きい（すなわち、所定の閾値よりも大きい）場合、方法は、進行中の外科的処置の推定完了時間に基づいて、予測完了時間が完了に関連するスケジュールされた時間からの変動をもたらす可能性が高いと計算する（すなわち、決定する）ことができる。様々な実施形態において、推定完了時間は、外科的処置を完了するための持続時間であってもよく、予測完了時間は、外科的処置が完了する予測時間であってもよい。
様々な実施形態では、分散が検出された場合、分散を決定する際に通知を出力することができる（例えば、分散は、予測完了時間と時間１５２３Ｂとの間の差を計算することによって決定されてもよい）。例示的な実施形態では、通知は、更新された手術室スケジュールを含むことができる。例えば、スケジュール１４３０に対する更新は、テキスト更新、グラフィック更新、又は任意の他の適切な更新（例えば、ビデオデータ、アニメーション、又は音声データ）を含むことができる。これに加えて又は代えて、通知は警告信号（例えば、光信号、音声信号、及び／又は他のタイプの送信信号）として実施されてもよい。場合によっては、通知は、様々なユーザ（例えば、様々な医療関係者、管理者、患者、患者の血縁者又は友人、及び他の対象の個人）の所有する任意の適切なデバイス（例えば、スマートフォン、ラップトップ、ページャ、デスクトップ、ＴＶ、及び前述の他のもの）に配信されるＳＭＳメッセージ、電子メール、及び／又は他のタイプの通信であってもよい。例えば、通知は、手術室の後続のスケジュールされたユーザ（例えば、外科医、麻酔専門医、及び／又は他のヘルスケア専門家）に関連付けられた（前述したような）デバイスに送信された電子メッセージであってもよい。そのような通知は、様々なユーザ（例えば、手術室のユーザ）がスケジュールの更新に従って自分のスケジュールを調整できるようにする。様々な実施形態において、更新された手術室スケジュールは、待機中のヘルスケア専門家が後続の外科的処置に備えることを可能にすることができる。例えば、外科的処置の予測完了時間が推定終了時間（例えば、時間１５２３Ｂ）を過ぎている場合、待機中のヘルスケア専門家（例えば、外科医、麻酔医、看護師など）は、外科的処置の準備を遅らせることができる。或いは、外科的処置の予測完了時間が時間１５２３Ｂ）の前である場合、待機中のヘルスケア専門家（例えば、外科医、麻酔医、看護師など）は、以前にスケジュールされたよりも早い時間に外科的処置の準備を開始することができる。
開示された実施形態の態様は、完了に関連するスケジューリングされた時間からの分散の範囲を決定すること、第１の決定された範囲に応じて、通知を出力すること、及び、第２の決定された範囲に応じて、通知を出力しないで済ませることを更に含むことができる。例えば、第１の決定された範囲が所定の閾値（例えば、数分超、数十分、及び／又は他の時間指標）を上回る場合、幾つかの実施形態は、そのような第１の決定された範囲が他の外科的処置のスケジューリング時間に影響を及ぼし得ると決定することができる。そのような場合、分散の通知は、任意の適切な受信側に（例えば、以下の外科的処置を施すヘルスケア提供者に）送信され得る。或いは、第２の決定された範囲が十分に小さい（例えば、所定の閾値よりも小さい）と決定された場合、実施形態は、通知を送信しないように構成されてもよい。
開示された実施形態の態様は、予測完了時間が、完了に関連するスケジューリングされた時間からの少なくとも選択された閾値時間の遅延をもたらす可能性が高いかどうかを決定することを更に含むことができる。幾つかの実施形態では、そのような決定は、上述のモデル１８１３などの適切な機械学習モデルを使用して行うことができる。選択された閾値量は、任意の適切な所定量（例えば、数分、数十分、３０分、１時間、及び／又は他の時間の指標）であってもよい。例えば、選択された閾値量は、手術室の手術に基づいてもよい。これに加えて又は代えて、選択された閾値量は、手術室のスケジュールにおける将来の事象に基づくことができる。例えば、第１の外科的処置の完了後３０分後にスケジュールされている第２の外科的処置がある場合、第１の外科的処置の選択された閾値量は３０分を超えなくてもよい。これに加えて又は代えて、選択された閾値時間量は、手術室の後続のユーザに基づいて選択されてもよい。例えば、後続のユーザのための外科的処置が実質的に高度な準備を必要とし得る場合、選択された閾値量は十分に小さくてもよい（例えば、数分）。或いは、後続のユーザのための外科的処置が実質的に高度な準備を必要とせず、容易に遅延又は再スケジュールされ得る場合、選択された閾値量は十分に大きくてもよい（例えば、３０分、１時間、及び／又は他の時間の指標である）。場合によっては、後続のユーザのための外科的処置の緊急性又は重要性が、選択された閾値量を決定することができる。例えば、緊急のその後の外科的処置のために、早期の通知が必要とされる場合があり、したがって、短い選択された閾値量を必要とする。
予測完了時間が少なくとも選択された閾値時間の遅延をもたらす可能性が高いという決定に応じて、開示された実施形態は、通知を出力することを含むことができる。前述したように、通知は、完了時間を解析するために（例えば、図１４に示すように、システム１４１０によって）出力され得る任意のタイプの電子データ又は紙データであり得る。例示的な実施形態では、システム１４１０は、開示された実施形態と整合して、ヘルスケア提供者のデバイスに電子メッセージとして通知を出力するように構成することができる。予測完了時間が少なくとも選択された閾値時間の遅延をもたらしそうにないという決定に応じて、方法は、通知を出力しないで済ませるように構成され得る。
場合によっては、開示された実施形態は、外科的処置が時間の前に終了する可能性が高いかどうかを決定すること（すなわち、外科的処置の予測完了時間は、外科的処置の計画時間よりも短い）を更に含むことができる。予測完了時間が外科的処置の計画時間よりも少なくとも選択された閾値時間だけ短い可能性が高いという決定に応じて、実施形態は、通知を出力する及び／又は通知を出力しないで済ませるように構成され得る。
図１９は、開示された実施形態と整合する手術室スケジュールを調整するための例示的なプロセス１９０１を示す。ステップ１９１１において、プロセスは、画像センサから視覚データを受信することを含むことができる。視覚データは、進行中の外科的処置を追跡する画像／ビデオデータを含むことができる。例示的な実施形態では、視覚データは、様々な画像センサによって収集されてもよい。場合によっては、２つ以上の画像センサ（例えば、カメラ）は、異なる視点から外科的処置の同じ領域（例えば、ＲＯＩ）の視覚データを捕捉することができる。これに加えて又は代えて、２つ以上の画像センサは、異なる倍率を使用してＲＯＩの視覚データを捕捉することができる。例えば、第１の画像センサは、ＲＯＩの概要を捕捉することができ、第２の画像センサは、ＲＯＩ内に位置する手術器具の近傍の直近領域を捕捉することができる。
ステップ１９１３において、プロセス１９０１は、上述したような履歴的な手術データを含むデータ構造にアクセスすることを含むことができる。ステップ１９１５において、プロセス１９０１は、進行中の外科的処置の推定完了時間を決定するために、進行中の外科的処置の視覚データ及び履歴的な手術データを解析することを含むことができる。前述のように、解析は、第１の履歴的な手術データを解析する（例えば、進行中の外科的処置と同じタイプであり、進行中の外科的処置と同様の特性を有する外科的処置の平均推定完了時間を計算する）ための統計的手法を使用することができる。これに加えて又は代えて、解析は、進行中の外科的処置の推定完了時間を決定するための機械学習方法をトレーニング及び使用することを伴ってもよい。場合によっては、幾つかの異なる解析手法を使用してもよく、また、推定完了時間は、異なる解析手法を使用して得られた完了時間の平均時間として決定されてもよい。
ステップ１９１７において、プロセス１９０１は、任意の適切な手段を使用して手術室のスケジュールにアクセスすることを含むことができる。例えば、アクセスすることは、入力装置（例えば、キーボード、マウスなど）を介して、又はスケジュールから／スケジュールへのデータの読み出し及び／又は書き込みを可能にするための任意の他の手段を介して、有線又は無線ネットワークを介してアクセスすることを含むことができる。
ステップ１９１９において、プロセス１９０１は、上述したように、予測完了時間が外科的処置の完了に関連するスケジュールされた時間からの分散をもたらし得るかどうかを計算することを含むことができる。分散が予測される場合（ステップ１９２１，Ｙｅｓ）、プロセス１９０１は、上述したように、ステップ１９２３で通知を出力することを含むことができる。ステップ１９２３に続いて、プロセス１９０１を完了することができる。分散が予測されない場合（ステップ１９２１，Ｎｏ）、プロセス１９０１は完了することができる。
手術室スケジュールの調整を可能にするための開示された実施形態の態様は、視覚データを解析することを含むことができ、この場合、解析するプロセスは、受信された視覚データ内の特性事象を検出すること、履歴的な手術データに基づいて情報を評価して、履歴的な手術データ内の特性事象の発生後に外科的処置を完了する予測時間を決定すること、決定された完了予測時間に基づいて推定完了時間を決定することを含むことができる。例えば、上述したように、受信した視覚データにおいて特性事象を検出することができる。幾つかの例では、履歴的な手術データは、外科的処置を完了するための予測時間と特性事象とを結び付けるデータ構造を含むことができる。例えば、履歴的な手術データは、第１の事象から外科的処置を完了するための第１の時間、及び第２の事象から外科的処置を完了するための第２の時間を指定するデータ構造を含むことができ、第２の時間は第１の時間とは異なり得る。更に、検出された特性事象を使用してデータ構造にアクセスし、特性事象の発生から外科的処置を完了する時間を決定することができる。
様々な実施形態において、受信した視覚データ内の検出された特性事象は、医療専門家によって（例えば、外科医、麻酔専門医、看護師、及び／又は他の医療専門家によって）実行される特定の処置又は動作を指すことができる。例えば、腹腔鏡下胆嚢切除術の特性事象としては、トロッカ配置、カロー三角切開、胆嚢管及び動脈のクリッピング及び切断、胆嚢切開、胆嚢包装、肝床の清浄化及び凝固、胆嚢収縮などを挙げることができる。別の例では、白内障手術の外科的な特性事象としては、ポビドンヨード注射、角膜切開、水晶体嚢切開、水晶体超音波乳化吸引、皮質吸引、眼内レンズ移植、眼内レンズ調整、創傷封止などを挙げることができる。更に別の例では、下垂体手術の外科的な特性事象としては、準備、鼻切開、鼻開創器の設置、腫瘍へのアクセス、腫瘍の除去、鼻置換、縫合、鼻圧搾機の設置などを挙げることができる。外科的な特性事象の幾つかの他の例は、切開、腹腔鏡位置決め、縫合などを含むことができる。これに関連して、特性事象としては、外科的処置の特定の段階内で一般的に発生する任意の事象、外科的処置内の特定の合併症を一般的に示唆する任意の事象、又は外科的処置内の特定の合併症に応じて一般的に発生する任意の事象を挙げることができる。そのような特性事象の幾つかの非限定的な例としては、特定の医療器具の使用、特定の動作の実行、特定の物質の注入、特定の専門家への連絡、特定の装置、器具、機器の薬剤、血液、血液製剤、又は供給品の注文、特定の生理的応答などを挙げることができる。
特性事象（術中手術事象とも呼ばれる）は、外科的処置又は段階中に発生する任意の事象又は動作であり得る。幾つかの実施形態では、術中手術事象は、外科医、外科技術者、看護師、医師の助手、麻酔科医、医師、又は任意の他のヘルスケア専門家によって実行される動作など、外科的処置の一部として実行される動作を含むことができる。術中手術事象は、切開、薬物の投与、外科用器具の使用、切除、切開除去、結紮、移植片、縫い合わせ、縫合、又は外科的処置もしくは段階に関連する任意の他の計画された事象などの計画された事象であり得る。幾つかの実施形態では、術中手術事象は、有害事象又は合併症を含み得る。術中有害事象の幾つかの例としては、出血、腸間膜気腫、傷害、計画されていない開放手術（例えば、腹壁切開）への転換、計画されたよりも有意に大きい切開などを挙げることができる。術中合併症の幾つかの例としては、高血圧、低血圧、徐脈、低酸素血症、癒着、ヘルニア、非定型解剖学的構造、硬膜裂傷、腹膜損傷、動脈閉塞などを挙げることができる。術中事象は、技術的エラー、通信エラー、管理エラー、判断エラー、意思決定エラー、医療機器の利用に関連するエラー、誤通信、又は他の任意の誤りを含む他のエラーを含むことができる。
様々な実施形態では、事象は短時間であってもよく、持続時間にわたって持続してもよい。例えば、短い事象（例えば、切開）は、外科的処置中の特定の時間に発生すると決定されてもよく、また、長い事象（例えば、出血）は、ある期間にわたって発生すると決定されてもよい。場合によっては、長い事象は、明確な開始事象及び明確な終了事象（例えば、縫合の開始及び縫合の終了）を含むことができ、縫合は長い事象である。場合によっては、長い事象は、外科的処置中の段階とも呼ばれる。
履歴的な手術データに基づいて情報を評価して、履歴的な手術データ内の特性事象の発生後に外科的処置を完了する予測時間を決定するプロセスは、特性事象の発生を含む履歴的な外科的処置の完了時間を解析するための適切な統計的手法を使用することを含み得る。例えば、完了時間は、そのような処置の平均完了時間を決定するために解析されてもよく、また、平均完了時間は、外科的処置を完了するための予測時間として使用されてもよい。幾つかの実施形態では、決定された予測完了時間（すなわち、外科的処置を完了するのに必要な持続時間）に基づいて推定完了時間（すなわち、特性事象を含む例示的な外科的処置が完了する時点）を決定することを含むことができる。
手術室スケジュールを調整するための実施形態は、特性事象を検出するべく機械学習モデルをトレーニングするために履歴視覚データを使用することを更に含むことができる。様々な実施形態では、特徴（又は複数の特徴）を認識するための機械学習モデルは、例えば教師あり学習手法などの任意の適切な手法を介してトレーニングすることができる。例えば、特性事象に対応する特徴を含む履歴視覚データを機械学習モデルの入力データとして提示することができ、また、機械学習モデルは、履歴視覚データ内の特徴に対応する特性事象の名前を出力することができる。
様々な実施形態では、特性事象を検出することは、トレーニングされた機械学習モデルを実装することを含む。トレーニングされた機械学習モデルは、特性事象のためのトリガ（又は複数のトリガ）として使用され得る視覚データ内の特性（又は複数の特性）を認識するための画像認識モデルであり得る。機械学習モデルは、１つ以上の画像内又はビデオ内の特徴を認識することができる。例えば、ビデオのフレーム間の動き及び／又は他の変化を検出するために、ビデオ内の特徴を認識することができる。幾つかの実施形態では、画像解析は、Ｖｉｏｌａ－Ｊｏｎｅｓ物体検出、畳み込みニューラルネットワーク（ＣＮＮ）、又は任意の他の形態の物体検出アルゴリズムなどの物体検出アルゴリズムを含むことができる。他の例示的なアルゴリズムとしては、ビデオ追跡アルゴリズム、動き検出アルゴリズム、特徴検出アルゴリズム、カラーベースの検出アルゴリズム、テクスチャベースの検出アルゴリズム、形状ベースの検出アルゴリズム、ブースティングベースの検出アルゴリズム、顔検出アルゴリズム、又はビデオフレームを解析するための任意の他の適切なアルゴリズムを挙げることができる。
場合によっては、特性事象は、正（すなわち、正の転帰をもたらす事象）及び有害（すなわち、負の転帰をもたらす事象）として分類され得る。正の転帰及び負の転帰は、推定完了時間に対して異なる影響を及ぼし得る。
場合によっては、画像認識モデルは、視覚データ内の特徴を認識するだけでなく、視覚データ（又は履歴的な視覚データ）の解析に基づいて、進行中の（又は履歴的な）外科的処置の様々な態様に関する結論を形成するように構成されてもよい。例えば、例示的な外科的処置の視覚データを解析することによって、画像認識モデルは、外科医のスキルレベルを決定するか、又は外科的処置の成功の指標を決定するように構成され得る。例えば、視覚データにおいて決定された有害事象がない場合、画像認識モデルは、外科的処置に対して高い成功レベルを割り当て、外科医のスキルレベルを更新（例えば、増加）することができる。或いは、視覚データにおいて有害事象が決定された場合、画像認識モデルは、外科的処置の低い成功レベルを割り当て、外科医のスキルレベルを更新（例えば、減少）することができる。外科的処置の成功レベルを割り当てるためのアルゴリズム及び外科医のスキルレベルを更新するプロセスは、例示的な外科的処置中に検出された有害事象のタイプ、患者の特定の特性（例えば、患者の年齢）を考慮した外科的処置中の有害事象の可能性、同様の患者特性を有する患者に対して行われた同じタイプの履歴的な外科的処置の有害事象の平均数、同様の患者特性を有する患者に対して行われた同じタイプの履歴的な外科的処置の有害事象の平均数からの標準逸脱、及び／又は有害事象の他のメトリックなどの複数の要因に基づいて決定することができる。
場合によっては、視覚データを解析するプロセスは、上述したように、視覚データにおける外科医のスキルレベルを決定することを含むことができる。場合によっては、推定完了時間の計算は、決定されたスキルレベルに基づいてもよい。例えば、外科的処置について決定されたそれぞれのスキルレベルごとに、推定完了時間を決定することができる。例示的な実施形態では、そのような推定完了時間は、決定されたスキルレベルを有する外科医によって行われた履歴的な外科的処置に対応する履歴的な完了時間に基づくことができる。例えば、上記の履歴的な完了時間に対して計算された平均履歴完了時間を使用して、推定完了時間を決定することができる。そのような推定完了時間は、データベースに記憶されてもよく、決定されたスキルレベルに基づいてデータベースから検索されてもよい。
機械学習方法を使用して特性事象を検出することは、１つの可能な手法であり得る。これに加えて又は代えて、特性事象は、様々な他の手法を使用して、画像センサから受信した視覚データ内で検出されてもよい。一実施形態では、特性事象は、外科的処置中に医療専門家（例えば、外科医）によって識別され得る。例えば、外科医は、１つ以上の画像センサ／音声センサによって捕捉されて特性事象のためのトリガとして認識され得る外科医からの視覚信号又は音声信号（例えば、ハンドジェスチャ、ボディジェスチャ、医療機器によって生成された光源によって生成された視覚信号、話し言葉、又は任意の他の信号）を使用して特性事象を識別することができる。
様々な実施形態では、手術室スケジュールの調整を可能にすることは、履歴視覚データにおける特性事象の発生後に外科的処置を完了するために履歴時間を解析することを含むことができる。例えば、実施形態は、履歴視覚データ内の特性事象の発生後に外科的処置を完了するための平均履歴時間（本明細書では平均履歴完了時間とも呼ばれる）を計算することと、及び、平均履歴完了時間を進行中の外科的処置の完了時間の推定値として使用することを含むことができる。しかしながら、場合によっては、推定完了時間は、上述した他の手法を使用して（例えば、機械学習方法を使用して）計算されてもよく、平均履歴完了時間は、（進行中の処置の完了後に決定された）進行中の外科的処置を完了するための決定された実際の時間に基づいて更新されてもよい。様々な実施形態において、平均履歴完了時間は、推定完了時間を使用して最初に更新されてもよく、次いで、更新は、外科的処置の完了後に最終決定されてもよい。
これに加えて又は代えて、完了時間を推定するために、特性事象の発生後の履歴的な完了時間を解析することは、機械学習モデルを使用することを含むことができる。機械学習モデルは、事象の発生後の完了時間を推定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、特性事象の発生に基づいて完了時間を推定するために使用されてもよい。そのようなトレーニング例の一例は、完了時間の所望の推定を示すラベルと共に、特性事象の指示を含むことができる。一例では、トレーニング例は、例えば、履歴的な外科的処置における特性事象の発生後の履歴的な外科的処置における完了までの実際の時間を表す、履歴的な手術データに基づくことができる。別の例では、トレーニング例は、ユーザ入力に基づくことができ、外部システムなどから受信することができる。また、機械学習モデルは、患者の様々な特性、医療従事者の様々な特性、並びに患者に投与される外科的処置のタイプ（例えば、図１８に示すように、パラメータ１８１１）、並びに外科的処置中の１つ以上の特性事象などの他の入力パラメータに基づいて完了時間を推定するようにトレーニングすることができる。更に、そのような入力パラメータは、完了時間を推定するようにトレーニングされた機械学習モデルに提供されてもよい。
前述のように、本開示の実施形態は、進行中の外科的処置の推定完了時間を決定するために、進行中の外科的処置の視覚データ及び履歴的な手術データを解析するためのシステム、プロセス、又はコンピュータ可読媒体を含むことができる。例示的な実施形態では、解析することは、履歴的な時間の解析に基づいて推定完了時間を決定することを含むことができる。完了時間の推定値は、（上述したような）機械学習方法を使用することなどの任意の適切な手法を使用して、又は外科的処置を完了するための平均履歴時間を計算し、そのような平均履歴時間を推定完了時間として使用することによって決定され得る。
手術室スケジュールの調整を可能にするための実施形態の態様は、視覚データ内の医療器具を検出すること、及び、検出された医療器具に基づいて推定完了時間を計算することを更に含むことができる。医療器具（手術器具とも呼ばれる）は、図１８に示されるように、外科的処置の推定完了時間の計算に影響を及ぼし得るパラメータＰ１－ＰＮなどの手術の特性パラメータのうちの１つであってもよい。上述したように、例示的な実施形態では、機械学習方法を使用して、例えば、外科的処置中に使用される医療器具のタイプなどの様々なパラメータＰ１～ＰＮに基づいて推定完了時間を計算することができる。更に、進行中の外科的処置を追跡する視覚データ内の医療器具の検出は、任意の適切な手法を使用して（例えば、上記のような適切な画像認識アルゴリズムを使用して）達成することができる。一例では、第１の医療器具の検出に応じて、第１の完了時間が推定されてもよく、また、第２の医療器具の検出に応じて、第２の完了時間が推定されてもよく、第２の完了時間は第１の完了時間と異なってもよい。一例では、第１の医療器具の検出に応じて、第１の完了時間を推定することができ、また、医療器具が検出されないことに応じて、第２の完了時間を推定することができ、第２の完了時間は第１の完了時間とは異なり得る。
場合によっては、視覚データを解析するための実施形態は、視覚データ内の解剖学的構造を検出すること、及び検出された解剖学的構造に基づいて推定完了時間を計算することを含むこともできる。解剖学的構造は、画像認識アルゴリズムを使用して視覚データ内で検出及び識別することができる。これに加えて又は代えて、解剖学的構造は、解剖学的構造を識別するために、進行中の外科的処置中にヘルスケア専門家によって識別されてもよい（例えば、ヘルスケア専門家は、ジェスチャ、音、言葉、及び／又は他の信号を使用することができる）。解剖学的構造を描写する進行中の外科的処置の視覚データを使用して、推定完了時間を計算することができる。例えば、そのような視覚データは、推定完了時間を取得するための機械学習方法への入力として使用されてもよい。一例では、第１の解剖学的構造の検出に応じて、第１の完了時間が推定されてもよく、また、第２の解剖学的構造の検出に応じて、第２の完了時間が推定されてもよく、第２の完了時間は第１の完了時間と異なってもよい。一例では、第１の解剖学的構造の検出に応じて、第１の完了時間を推定することができ、また、解剖学的構造の検出に応じて、第２の完了時間を推定することができ、第２の完了時間は第１の完了時間とは異なり得る。
視覚データを解析するための実施形態の態様は、視覚データ内の解剖学的構造と医療器具との間の相互作用を検出すること、及び、検出された相互作用に基づいて推定完了時間を計算することを含むことができる。例えば、解剖学的構造と医療器具との間の相互作用は、上述のように検出することができる。相互作用は、解剖学的構造に影響を及ぼし得る、又はその逆の医療器具による任意の動作を含み得る。例えば、相互作用としては、医療器具と解剖学的構造との間の接触、解剖学的構造に対する医療器具による作用（例えば、切断、クランプ、把持、圧力の印加、掻き取りなど）、解剖学的構造による生理的応答、解剖学的構造に向かって光を放出する医療器具（例えば、医療器具は、解剖学的構造に向かって光を放射するレーザであってもよい）、解剖学的構造に向かって放出される音、解剖学的構造の近くに生成される電磁場、解剖学的構造に誘導される電流、又は任意の他の適切な形態の相互作用を挙げることができる。一例では、解剖学的構造と医療器具との間の第１の相互作用の検出に応じて、第１の完了時間を推定することができ、また、解剖学的構造と医療器具との間の第２の相互作用の検出に応じて、第２の完了時間を推定することができ、第２の完了時間は第１の完了時間とは異なり得る。一例では、解剖学的構造と医療器具との間の第１の相互作用の検出に応じて、第１の完了時間を推定することができ、また、解剖学的構造と医療器具との間の相互作用がないことの検出に応じて、第２の完了時間を推定することができ、第２の完了時間は第１の完了時間とは異なり得る。
解剖学的構造及び医療器具を示す進行中の外科的処置の視覚データを使用して、推定完了時間を計算することができる。例えば、そのような視覚データは、例えば上述したように、推定完了時間を取得するための機械学習方法への入力として使用することができる。
前述したように、本開示は、手術室スケジュールの調整を可能にするための方法及びシステム、並びに、少なくとも１つのプロセッサによって実行されるときに少なくとも１つのプロセッサに手術室スケジュールの調整を可能にする動作を実行させる命令を含むことができるとともに上述したように手術室スケジュールの調整を可能にするための方法の様々なステップを含むことができる持続性コンピュータ可読媒体に関する。
開示されるシステム及び方法は、手術映像を解析して手術の特徴、患者の状態、及び他の特徴を識別し、保険払い戻しを決定することを含むことができる。外科的処置の様々なステップに関して保険払い戻しを決定する必要があり得る。外科的処置のステップが識別される必要がある場合があり、また、保険払い戻しコードが識別されたステップに関連付けられる必要があり得る。したがって、手術映像から得られた情報を用いて外科的処置のステップを識別し、これらのステップに保険払い戻しを関連付ける必要がある。
本開示の態様は、保険払い戻しを決定するために手術画像を解析するための方法、システム、デバイス、及びコンピュータ可読媒体に関するものとなり得る。説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの異なる手段を使用して達成され得る。
開示された実施形態と整合して、保険払い戻しを決定するために手術画像を解析するための方法は、患者の外科的処置中に捕捉されたビデオフレームにアクセスすることを含むことができる。手術画像を解析するための実施形態は、外科的処置の段階、外科的処置中の事象、手術されている解剖学的構造、外科的処置中に使用される外科用器具、外科用器具と解剖学的構造との相互作用、外科用器具の動き、解剖学的構造の動き、解剖学的構造の変形、解剖学的構造の色の変化、解剖学的構造の漏れ（例えば、出血）、解剖学的構造内の切開、又は例示的な外科的処置中の解剖学的構造に対する任意の他の変化（例えば、解剖学的構造の断裂）を決定するための任意の適切な手法を使用する（例えば、機械学習手法を用いる）ことを含むことができる。
様々な実施形態では、保険払い戻しは、所定の外科的処置又はそのセグメント（一部分）に関して保険会社及び／又は保険プログラム（政府の健康保険プログラムなど）によって支払われ得る金額に関する情報を含むことができる。例えば、保険払い戻しは、外科的処置のセグメントの全部又は一部に関連するコストをカバーすることができる。外科的処置のセグメントは、外科的処置の手術映像のセグメントに対応することができる。場合によっては、保険払い戻しは、外科的処置のセグメントに関連するコスト全体をカバーすることができ、他の場合では、保険払い戻しは、外科的処置のセグメントに関連するコストを部分的にカバーすることができる。外科的処置のタイプ（例えば、外科的処置が患者にとって選択的である場合）に応じて、保険払い戻しは、外科的処置のセグメント（又は全体）に関連するコストをカバーしない場合がある。他の例では、患者の状態及び／又は外科的処置の特性に基づいて、異なる患者及び／又は異なる外科的処置（又は外科的処置に関連する異なる動作）に対して異なる払い戻し手段（例えば、異なる払い戻しコード）が存在し得る。
幾つかの実施形態では、外科的処置中に捕捉されたビデオフレームにアクセスすることは、適切なコンピュータベースのソフトウェアアプリケーションによってデータベース（例えば、図１４に示すようなデータベース１４１１）にアクセスすることを含むことができる。例えば、データベースは、様々な外科的処置中に捕捉されたビデオフレームを記憶するように構成されてもよく、外科的処置に関連する任意の他の情報（例えば、外科的処置を行う外科医からのメモ、外科的処置中に収集されたバイタル信号）を記憶するように構成されてもよい。本明細書に記載されるように、外科的処置は、患者の身体に対して行われる手動行動又は手術行動に関連する、又はそれを含む任意の医療処置を含み得る。
開示された実施形態と整合して、例えば上述したように、外科的処置中に捕捉されるビデオフレームを解析して、ビデオフレーム内で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用を識別する。様々な実施形態では、本明細書で説明するように、外科的処置中に捕捉されるビデオフレームを解析することは、画像認識を使用することを含むことができる。手術映像を解析するとき、少なくとも幾つかのフレームは解剖学的構造（本明細書では、生物学的構造とも呼ばれる）を捕捉することができる。手術映像のそのような部分は、１つ以上の解剖学的構造と相互作用する１つ以上の医療機器（本明細書に記載される）を含むことができる。
医療機器及び解剖学的構造は、本開示に記載されて様々な開示された実施形態と整合するように、画像認識を使用して手術映像内で認識することができる。医療機器と解剖学的構造との間の相互作用は、解剖学的構造に影響を及ぼし得る又はその逆も同様の医療機器による任意の動作を含み得る。例えば、相互作用としては、医療機器と解剖学的構造との間の接触、解剖学的構造に対する医療機器による作用（例えば、切断、クランプ、把持、圧力の印加、掻き取りなど）、解剖学的構造による生理的応答、医療機器が解剖学的構造に向かって光を放出すること（例えば、手術器具は、発光レーザであってもよい）、解剖学的構造に向かって放出される音、解剖学的構造に近接する電磁場、解剖学的構造に誘導される電流、又は任意の他の形態の相互作用を挙げることができる。
場合によっては、相互作用を検出することは、解剖学的構造に対する医療機器の近接性を識別することを含むことができる。例えば、手術ビデオ映像を解析することによって、医療機器と解剖学的構造のポイント（又はポイントのセット）との間の距離は、本明細書で説明するように、画像認識技術によって決定することができる。
開示された実施形態の態様は、医療機器、解剖学的構造、及び医療機器と解剖学的構造との間の相互作用に相関する払い戻しコードのデータベースにアクセスすることを更に含むことができる。一例として、払い戻しコードと１つ以上の医療機器、１つ以上の解剖学的構造、並びに医療機器と解剖学的構造との間の１つ以上の相互作用との相関は、１つ以上のテーブル、リンクされたリスト、ＸＭＬデータ、及び／又は他の形式のフォーマット及び／又は記憶されたデータなどのデータ構造で表すことができる。幾つかの実施形態では、相関は、コード生成機械学習モデルによって確立されてもよい。様々な場合において、払い戻しコードは、コードが医療機器、解剖学的構造、及び医療機器と解剖学的構造との間の相互作用とどのように相関するかに関する情報と共にデータ構造に記憶されてもよい。
図２０は、払い戻しコードが医療機器、解剖学的構造、及び医療機器間の相互作用とどのように相関するかに関する情報を提供するためのデータ構造２００１の一例を示す。例えば、データ構造２００１は、テーブル２０１１、２０１３、及び２０１５などの幾つかのテーブルを含むことができる。様々な実施形態において、例示的なテーブルは、記録（例えば、行）及びフィールド（例えば、列）を含むことができる。例えば、テーブル２０１１は、記録ラベル（例えば、図２０に示すように「１」）を含む「記録」と題するフィールドを有することができる。それぞれの記録ごとに、「コード」と題されるフィールドは、（例えば、コード「１．２０：１１．３０．５０」）払い戻しコードを含むことができ、「処置セグメント」と題されるフィールドは、外科的処置のセグメントの番号及び場合によっては名前を含むことができ（例えば、「１、切開、バイパス手術」）、「第１の器具」と題されるフィールドは、外科的処置のセグメント中に使用される第１の医療機器の番号及び場合によっては名前を含むことができ（例えば、「２０外科用メス」）、「第２の器具」と題されるフィールドは、外科的処置のセグメント中に使用される第２の医療機器の番号及び場合によっては名前を含むことができ（そのような器具が存在する場合）（例えば、「１１、鉗子」）、「他のデータ」と題されるフィールドは、外科的処置又はそのセグメントを特徴付けるために更に使用され得る任意の関連データを含むことができる（例えば、そのようなデータは、外科的処置のセグメントの持続時間、外科的処置のセグメント中の一連の事象、外科的処置中に使用される一連の器具（例えば、「外科用メス－＞鉗子」は、外科用メスが鉗子の前に使用されたことを示すことができる）及び／又はセグメントの他の特性を含んでもよい）。例示的なテーブル２０１３は、テーブル２０１３の「記録」と題されたフィールドでラベル付けされた、記録「１」に関連付けられた解剖学的構造の番号及び場合によっては名前を含むことができる（例えば、「３０、内部乳房動脈」）、「第１の解剖学的構造」と題されるフィールドなどの他の関連するフィールドを含むことができる。更に、例示的なテーブル２０１５は、記録を識別するための「記録」と題するフィールドと、医療機器と解剖学的構造との間の相互作用の記述を含むことができる「相互作用」フィールドとを含むことができ、それは、数字及び場合によっては名前（例えば、「５０、左内胸動脈の切開」）によって表すことができる。更に、テーブル２０１５は、テーブル２０１５に示すように、画像データ２０１２Ａ、ビデオデータ２０１２Ｂ、テキストデータ２０１２Ｃ、及び／又は音声データ２０１２Ｄへのリンクを含むことができる「相互作用データ」と題するフィールドを含むことができる。
様々な実施形態において、払い戻しコードは、構造２０２０によって示されるように、内部データ構造を有することができる。例えば、払い戻しコードに関する第１の番号は、外科的処置のセグメントに関連付けられた番号（例えば、番号「１」）であってもよく、第２の番号のセットは、外科的処置のセグメント中に使用される外科用器具に関連付けられてもよく（例えば、番号「２０：１１」は、「２０」とラベル付けされた第１の器具及び「１１」とラベル付けされた第２の器具に関連付けられてもよい）、第３の番号のセットは、手術中の解剖学的構造に関連付けられてもよく（例えば、「３０」）、及び、第４の番号のセットは、器具と解剖学的構造との相互作用に関連付けられてもよい（例えば、「５０」）。別の例では、保険プログラム又は規制当局によって払い戻しコードが設定されてもよい。幾つかの例では、単一の払い戻しコードを外科的処置全体に関連付けることができる。
医療機器、解剖学的構造、並びに医療機器と解剖学的構造との相互作用に基づいて払い戻しコードを決定するためにデータ構造を使用することは、１つの可能な手法であり得る。更に、コード生成機械学習方法を使用して、外科的処置又はそのセグメントの払い戻しコードを決定することができる。例えば、コード生成機械学習方法は、手術映像のセグメントを入力として取り込み、手術映像のセグメントによって表される外科的処置のセグメントに対する払い戻しコードを出力することができる。様々な実施形態において、コード生成機械学習方法は、様々なタスクのために構成された様々な機械学習方法の集合であってもよい。例えば、コード生成機械学習方法は、手術映像のセグメント内の医療機器を認識するための第１の画像認識アルゴリズムと、手術映像のセグメント内の解剖学的構造を認識するための第２の画像認識アルゴリズムとを含むことができる。様々な実施形態では、画像認識アルゴリズムは、本明細書に記載されて様々な開示された実施形態と整合する任意の適切なアルゴリズム（例えば、ニューラルネットワーク）であってもよい。
開示された実施形態は、少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の識別された少なくとも１つの相互作用を払い戻しコードのデータベース内の情報と比較して、外科的処置に関連する少なくとも１つの払い戻しコードを決定することを更に含むことができる。例えば、実施形態は、特定された相互作用をデータベースに記憶された相互作用に関する様々な詳細と比較することを含むことができる。したがって、一例として、機械学習モデル（例えば、画像認識アルゴリズム）は、手術映像内の相互作用を識別し、相互作用を分類する（例えば、相互作用は、相互作用に名前を割り当てることによって、又は相互作用のタイプを決定することによって分類されてもよい）ように構成することができる。例えば、相互作用の名前又はタイプは、「左内胸動脈の切開」であってもよい。幾つかの実施形態では、機械学習モデルは、手術映像を解析し、可能な相互作用のリストから最も適切な相互作用を選択するように構成することができる。相互作用が識別されると、名前（又は相互作用の他の識別）は、データベースに記憶された相互作用の識別と比較されてもよく、また、データベースは、識別された相互作用、又は識別された相互作用を含む外科的処置に対応する払い戻しコードを見つけるために使用されてもよい。
機械学習アルゴリズムを使用して相互作用を識別することは、１つの可能な手法である。これに加えて又は代えて、相互作用は、外科的処置を施す外科医、外科的処置中に存在する看護専門家、及び／又は他のヘルスケア専門家によって識別されてもよい。例えば、相互作用は、相互作用に対応する手術映像のセグメントを選択してセグメントにタグ付けすることができる名前を割り当てることによって識別することができる。様々な実施形態では、コンピュータベースのソフトウェアアプリケーションを使用し、手術映像のセグメントにより様々な操作を行うことができる（異なるセグメントに名前タグを割り当てること、異なるセグメントを選択すること、及び／又は他のデータ操作など）。コンピュータベースのソフトウェアアプリケーションは、関連データ（例えば、手術映像の異なるセグメントの名前タグ、及び手術映像のセグメントの開始時間及び終了時間）をデータベースに記憶するように構成されてもよい。
様々な実施形態は、外科的処置に対する保険払い戻しを取得する際に使用するための少なくとも１つの払い戻しコードを出力することを更に含むことができる。例えば、上述したように、コード生成機械学習モデルを使用して、少なくとも１つの払い戻しコードを出力することができる。或いは、医療機器と解剖学的構造との相互作用に対応する払い戻しコードを含むデータベースに、クエリを介して払い戻しコードを出力することができる。
場合によっては、払い戻しコードを出力することは、開示された実施形態と整合する本明細書で説明される任意の適切な送信手法を使用して保険プロバイダに払い戻しコードを送信することを含むことができる。
場合によっては、出力された少なくとも１つの払い戻しコードは、出力された複数の払い戻しコードを含む。例えば、複数の払い戻しコードは、外科的処置の１つ以上のセグメントに対応することができる。一実施形態では、第１の払い戻しコードが切開関連セグメントに対応することができ、第２の払い戻しコードが例えば縫合関連セグメントに対応することができる。場合によっては、複数の払い戻しコードは、外科的処置のセグメント中に１つ以上の手術動作を実行するために使用される複数の医療機器に対応し得る。外科的処置中に複数の外科医（又は任意の他のヘルスケア専門家）が存在する場合、各外科医によって実行された処置に対して複数の払い戻しコードが決定され得る。そして、複数の払い戻し可能な処置が単一のセグメントで実行される場合、その単一のセグメントに対して複数の払い戻しコードが出力され得る。
例示的な実施形態では、複数の出力された払い戻しコードのうちの少なくとも２つは、共通の解剖学的構造との異なる相互作用に基づくことができる。例えば、第１の相互作用は、解剖学的構造と相互作用する第１の医療機器を含むことができ、第２の相互作用は、解剖学的構造と相互作用する第２の医療機器を含むことができる。場合によっては、同じ器具を解剖学的構造との異なるタイプの相互作用に使用することができる（例えば、鉗子を使用して、様々な方法で解剖学的構造と相互作用させることができる）。
幾つかの実施形態では、少なくとも２つの出力された払い戻しコードは、２つの異なる医療機器の検出に部分的に基づいて決定される。例えば、第１及び第２の医療機器は、任意の適切な方法を使用して（例えば、適切な機械学習手法を使用して又はヘルスケア提供者からの情報を使用して）手術映像内で検出することができる。第１の医療機器と第２の医療機器の両方を同時に使用してもよく、場合によっては、第１の医療機器を使用した後に第２の医療機器を使用してもよい。第１の医療機器の使用は、第２の医療機器の使用と（時間的に）部分的に重複してもよい。そのような場合、コードをトリガした医療機器が同時に使用されていたか又は異なる時間に使用されていたかにかかわらず、２つ以上の払い戻しコードが出力され得る。
様々な実施形態において、少なくとも１つの払い戻しコードを決定することは、術後手術報告の解析に基づくことができる。例えば、外科的処置の特定のセグメントに関して払い戻しコードを決定するべく、外科的処置のセグメントに関する情報を取得するために術後手術報告を参照することができる。外科的処置のセグメントに関する任意の情報、及び／又は術後報告から得られた情報を使用して、払い戻しコード（例えば、外科的処置のセグメント、使用される外科用器具、手術される解剖学的構造、外科用器具と解剖学的構造との相互作用、行われた撮像、行われた様々な測定、関与する外科医の数、及び／又は他の外科的処置中に発生した事象）を決定することができる。
様々な実施形態では、手術映像のビデオフレームは、本明細書で説明されて様々な説明された実施形態と整合するように、患者の上方に配置された画像センサから捕捉されてもよい。例えば、図１に関連して上述したように、画像センサ１１５，１２１，１２３及び／又は１２５を使用して、手術映像のビデオフレームを捕捉することができる。これに加えて又は代えて、ビデオフレームは、本明細書に記載されて様々な記載された実施形態と整合するように、医療デバイスに関連付けられた画像センサから捕捉されてもよい。図３は、本明細書で説明するように、関連する画像センサを有する医療デバイスの一例を示す。
保険払い戻しを決定するために手術画像を解析するための実施形態は、少なくとも１つの払い戻しコードを外科的処置に関連付けることによってデータベースを更新することを含むことができる。データベースは、任意の適切な手段を使用して（例えば、機械学習モデルを使用して、適切なデータをデータベースに送信することにより、ＳＱＬコマンドを介して、情報をメモリに書き込むなどによって）更新することができる。例えば、上述したように、外科的処置の手術映像を解析して、払い戻しコードを関連付けることができる外科的処置の様々なセグメントを決定することができる。払い戻しコードが決定された時点で、コードは、外科的処置に関連付けられて、データ構造に記憶するように構成され得る。データ構造は、データを保持可能である限り、任意の形態又は構造をとることができる。一例として、データ構造は、リレーショナルデータベースであってもよく、外科的処置に関する情報を記憶するテーブルフィールドであって（例えば、例示的なテーブルフィールドは、外科的処置の名前を含むことができる）外科的処置に関連する払い戻しコードを記憶するテーブルフィールドを有するテーブルを含んでもよい。
様々な実施形態は、処理された払い戻しコードと、履歴的なビデオ映像内の複数の医療機器、前記履歴的なビデオ映像内の複数の解剖学的構造、又は、前記履歴的なビデオ映像内の医療機器と解剖学的構造との間の複数の相互作用のうちの少なくとも１つとの間の相関関係を生成すること、及び、生成された相関関係に基づいてデータベースを更新することを含んでもよい。例示的な実施形態では、相関関係は、機械学習方法を使用すること、及び／又はヘルスケア専門家、ヘルスケア管理者、及び／又は他のユーザの入力を使用することなどの任意の適切な手段を使用して生成することができる。相関関係は、上述のように、テーブル（例えば、図２０に示すテーブル２０１１～２０１５）によって表され得る。場合によっては、相関関係は、処理された払い戻しコード（例えば、患者の健康保険事業者が以前にヘルスケア提供者に払い戻した履歴的な外科的処置の部分に関する払い戻しコード）に関して生成されてもよい。例えば、履歴的な手術データ（例えば、履歴的な手術映像）を解析して（例えば、機械学習法を用いて）、履歴的なビデオ映像内の１つ以上の医療機器、履歴的なビデオ映像内の１つ以上の解剖学的構造、又は履歴的なビデオ映像内の医療機器と解剖学的構造との間の１つ以上の相互作用を決定することができる。履歴的な外科的処置のセグメントが関連する処理された払い戻しコード（例えば、処理された払い戻しコードは、ヘルスケア提供者からの入力などの、過去に利用可能な任意の適切な手法を使用して、履歴的な外科的処置のセグメントに割り当てられた）を有することを条件として、処理された払い戻しコードは、履歴的な手術データから取得された情報（例えば、医療機器、解剖学的構造、及び履歴的な手術データで識別された医療機器と解剖学的構造との間の相互作用に関する情報）と相関させることができる。
様々な実施形態では、この開示で説明するように、相関関係を生成するための機械学習方法をトレーニングすることができる。履歴的な手術データは、トレーニングプロセスの一部として使用することができる。例えば、外科的処置の所定のセグメントの履歴的な手術映像を機械学習入力として提供することができ、その後、これにより、払い戻しコードが決定される。払い戻しコードは、機械学習モデルが正しい予測を出力するかどうかを決定するために、外科的処置の所定のセグメントの処理された払い戻しコードと比較され得る。機械学習モデルの様々なパラメータは、例えば、逆伝播トレーニングプロセスを使用して修正することができる。
様々な実施形態では、本明細書で説明するように、履歴ビデオフレームを使用して、ビデオフレーム内に含まれる情報（すなわち、任意の適切な画像ベースの情報）に基づいて様々なタスクのための任意の適切な機械学習モデルをトレーニングすることができる。前述したように、機械学習モデルは、医療器具、解剖学的構造、又は医療器具と解剖学的構造との間の相互作用のうちの少なくとも１つを検出することができる。モデルが相関関係を認識した時点で、それらの相関関係を解析中の現在のビデオに外挿することができる。
場合によっては、相関関係を生成することは、統計的モデルを実装することを含むことができる。例えば、履歴的な処理された払い戻しコードは、相関関係を決定するために履歴的な外科的処置の同様のセグメントについて解析することができる。相関関係は、払い戻しコードと外科的処置のセグメントの様々な態様との間であってもよい。手術セグメントは、医療機器、解剖学的構造、及び医療機器と解剖学的構造との間の相互作用によって特徴付けることができる。異なる処理された払い戻しコードがそのような同様のセグメントに使用された場合、使用されるべき最も可能性の高い払い戻しコードを評価することによって相関関係を生成することができる。例えば、所定のタイプの履歴的な処置のセグメントについて、処理された払い戻しコードＣ１が１００回使用され、処理された払い戻しコードＣ２が２０回使用され、処理された払い戻しコードＣ３が１０回使用された場合、払い戻しコードＣ１は、使用されるべき最も可能性の高い払い戻しコードとして選択することができる。
場合によっては、処理された払い戻しコードが履歴的な外科的処置の同じ（又は同様の）セグメントで異なる場合、これらのセグメントの特性を解析して、これらのセグメントの特性の幾つかの差が処理された払い戻しコードの差の原因であるかどうかを決定することができる。様々な実施形態では、履歴的な外科的処置のセグメントの特性の差は、（任意の適切な統計的手法を使用して測定された）処理された払い戻しコードの差と相関し得る。
様々な実施形態において、相関関係を生成した後、上述したように、生成された相関関係に基づいてデータベースを更新することができる。例えば、所定の解剖学的構造と相互作用する所定の医療機器について、予測される払い戻しコード（又は、場合によっては、可能な一連の払い戻しコード）をデータベースに関連付けて記憶することができる。可能な払い戻しコードのセットを使用して、手術映像内で識別された外科的処置のセグメントに関連付けられた特性に基づいて、払い戻しコードの特定の１つを更に絞り込むことができる。
これに加えて又は代えて、開示された実施形態は、外科的処置に関連する処理された払い戻しコードを受信すること、及び、処理された払い戻しコードに基づいてデータベースを更新することを含むことができる。処理された払い戻しコードは、ヘルスケア提供者、ヘルスケア管理者、及び／又は他のユーザによって提供されてもよい。又は、本明細書で説明するように、処理された払い戻しコードは、履歴的な外科的処置を解析して履歴的な外科的処置に使用された処理された払い戻しコードを識別するための機械学習方法を介して提供されてもよい。様々な実施形態において、処理された払い戻しコードは、出力された払い戻しコードのうちの少なくとも１つと異なり得る。これは、ヘルスケア専門家による正しいコードの手動識別後、又は更なる機械学習解析がより正確な払い戻しコード候補を決定した後に行われ得る。
前述したように、幾つかの実施形態は、機械学習モデルを使用して、履歴ビデオ映像において、少なくとも１つの複数の医療機器、複数の解剖学的構造、又は医療機器と解剖学的構造との間の複数の相互作用を検出することを含むことができる。本明細書で説明するように、機械学習方法は、１つ以上の医療機器、解剖学的構造、及び該機器と該構造との間の相互作用を認識するようにトレーニングされた任意の適切な画像認識方法であってもよい。例示的な実施形態では、機械学習方法は、複数の画像認識アルゴリズムを使用することができ、この場合、各アルゴリズムは、特定の医療機器又は特定の解剖学的構造を認識するようにトレーニングされる。
開示された実施形態の態様は、外科的処置中に捕捉されるビデオフレームを解析して、患者の解剖学的構造の状態を決定すること、及び、解剖学的構造の決定された状態に基づいて外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定することを更に含んでもよい。例えば、劣悪な状態の解剖学的構造に対して行われる処置は、より良好な状態の解剖学的構造に対して行われる処置よりも高い払い戻しを正当化し得る。例示的な実施形態では、機械学習方法は、患者の解剖学的構造の状態を決定するための様々なセンサから得られた情報に基づいて使用することができる。解剖学的構造の状態は、サイズ、色、形状、半透明性、表面の反射率、蛍光、及び／又は他の画像特徴などの解剖学的構造の観察された視覚的特性に基づいて決定することができる。状態は、解剖学的構造、解剖学的構造の時間的特性（動き、形状変化など）、音響特性（例えば、解剖学的構造を通る音の伝達、解剖学的構造によって生成された音、及び／又は音の他の態様）、解剖学的構造の撮像（例えば、Ｘ線を使用した撮像、磁気共鳴を使用した撮像、及び／又は他の手段）、又は構造の電磁測定（例えば、解剖学的構造の電気伝導率、及び／又は構造の他の特性）のうちの１つ以上に基づくことができる。画像認識を使用して、解剖学的構造の状態を決定することができる。これに加えて又は代えて、他の特殊化されたセンサ（例えば、磁場センサ、電気抵抗センサ、音センサ又は他の検出器）を状態決定に使用することができる。
様々な実施形態では、解剖学的構造の状態を決定する際、例えば、適切な機械学習モードを使用して払い戻しコードを識別することができる。例えば、機械学習モデルは、１つ以上の払い戻しコードを決定するための１つの可能なパラメータとして解剖学的構造の状態をとることができる。図２１は、１つ以上の払い戻しコード（例えば、図２１に概略的に示すようなコード２１３７）を決定するための例示的なシステム２１０１を示す。例示的な実施形態では、手術映像２１１１は、機械学習方法２１３によって処理することができ、また、方法２１３は、医療機器２１１６、解剖学的構造２１１８、医療機器と解剖学的構造２１２０との相互作用、及び器具２１１６を記述するパラメータＣ１～ＣＮ、解剖学的構造２１１８、相互作用２１２０、及び払い戻しコードに影響を与える可能性がある任意の他の情報などの様々なパラメータ２１２２（本明細書では特性又は特性とも呼ばれる）を識別することができる。例示的なパラメータＣ１は、切開部のサイズであってもよく、パラメータＣ２は、解剖学的構造（例えば、解剖学的構造のサイズ、色、形状、及び／又は他の画像特性）の状態であってもよく、パラメータＣＮは、例示的な医療機器が例示的な解剖学的構造と相互作用する位置であってもよい。医療機器２１１６、解剖学的構造２１１８、相互作用２１２０、及びパラメータ２１２２に関する情報は、機械学習モデル２１３５などのコンピュータベースのソフトウェアアプリケーションの入力２１１０として使用することができる。モデル２１３５は、入力２１１０を処理するとともに、入力２１１０によって記述されるような情報を有する外科的処置のセグメントに関連付けられた１つ以上の払い戻しコードを出力することができる。
幾つかの実施形態では、手術画像を解析して保険払い戻しを決定することは、外科的処置中に捕捉されるビデオフレームを解析して、外科的処置中の患者の解剖学的構造の状態の変化を決定すること、及び、解剖学的構造の状態の決定された変化に基づいて、外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定することを含んでもよい。ビデオフレームを解析して患者の解剖学的構造の状態の変化を決定するプロセスは、任意の適切な機械学習方法を使用して実行することができる。例えば、解剖学的構造の状態の変化は、解剖学的構造の形状、色、サイズ、位置、及び／又は他の画像特性の変化を含むことができる。そのような変化は、本明細書に記載されて様々な記載された実施形態と整合する画像認識アルゴリズムによって決定され得る。画像認識アルゴリズムは、外科的処置の第１のフレームセット内の解剖学的構造を識別し、外科的処置の第２のフレームセット内の解剖学的構造を識別し、解剖学的構造が第１のフレームセットから第２のフレームセットに変化したかどうかを評価することができる。変化が観察された場合、画像認識アルゴリズムは、変化関連識別子を割り当てることによって変化を認定することができる。幾つかの例として、変化関連識別子は、文字列「除去された腫瘍」、「除去された虫垂」、「除去された閉塞を有する頸動脈」、及び／又は変更を記述する他のデータであってもよい。変化関連識別子は、事前構成された識別子のリストから選択することができ、機械学習モデル（例えば、モデル２１３５）のための入力の一部として使用されて払い戻しコード（例えば、コード２１３７）を出力する、図２１に示すようなパラメータＣ１～ＣＮなどの外科的処置のパラメータのうちの１つを含むことができる。このようにして、解剖学的構造の状態の決定された変化に基づいて、払い戻しコードを外科的処置に関連付けることができる。
また、開示された実施形態は、特定の医療デバイスの使用を決定するために外科的処置中に捕捉されるビデオフレームを解析すること、及び、特定の医療デバイスの決定された使用に基づいて外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定することを含んでもよい。特定の医療機器の使用は、払い戻しコードに影響を及ぼす可能性がある。例えば、特定の使い捨て医療デバイスの検出は、それらの機器の払い戻しをトリガすることができる。又は、高価な撮像機（ＭＲＩ、ＣＴ等）の使用は、その機器の使用に対する払い戻しをトリガすることができる。更に、特定の機器の使用は、それらのコストに関係なく、複雑度、したがって処置のコストに相関させることができる。
幾つかの実施形態は、特定の医療デバイスの使用のタイプを決定するために外科的処置中に捕捉されるビデオフレームを解析すること、第１の決定された使用タイプに応じて、外科的処置と関連付けられる少なくとも第１の払い戻しコードを決定すること、第２の決定された使用タイプに応じて、外科的処置と関連付けられる少なくとも第２の払い戻しコードを決定することを更に含んでもよく、少なくとも第１の払い戻しコードは少なくとも第２の払い戻しコードとは異なる。使用のタイプは、切開、撮像、縫合、表面処理、放射線処理、化学処理、切断、及び／又は他の治療様式などの医療デバイスの任意の技術又は操作であってもよい。様々な実施形態において、使用のタイプは、外科的処置中に捕捉されたビデオフレーム（すなわち、手術映像）を解析することによって解析されてもよい。
本明細書に記載の様々な実施形態と整合して、使用のタイプの検出は、前述のように、画像認識を介して行うことができる。場合によっては、解剖学的構造に対するデバイスの位置を使用して、医療デバイスと解剖学的構造との相互作用を決定することができる。様々な実施形態では、医療デバイスを使用する治療のタイプごとに、対応する払い戻しコードを使用することができる。場合によっては、同じ医療デバイスは、異なる関連する払い戻しコードを有し得る異なるタイプの治療に関して使用されてもよい。例えば、鉗子を最初に使用して解剖学的構造をクランプし、次いで解剖学的構造を抽出することができる。幾つかの例では、特定の医療デバイスの使用のタイプは、外科的処置中に捕捉されたビデオフレームを解析することによって決定され得る。例えば、機械学習モデルは、外科的処置の画像及び／又はビデオから医療デバイスの使用のタイプを決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、外科的処置中に捕捉されたビデオフレームを解析し、特定の医療デバイスの使用のタイプを決定するために使用されてもよい。そのようなトレーニング例の一例は、外科的処置における特定の医療装置の使用のタイプを示すラベルと共に、外科的処置の少なくとも一部の画像及び／又はビデオを含むことができる。
幾つかの例では、機械学習モデルは、外科的処置に関する情報に基づいて外科的処置に関する払い戻しコードを決定するためにトレーニング例を使用してトレーニングされてもよい。そのようなトレーニング例の一例は、特定の外科的処置の所望の払い戻しコードを示すラベルと共に、特定の外科的処置に関する情報を含むことができる。外科的処置に関連するそのような情報の幾つかの非限定的な例としては、外科的処置の画像及び／又はビデオ、外科的処置の画像及び／又はビデオの解析に基づく情報（そのような解析及び情報の幾つかの非限定的な例は本明細書に記載される）、外科的処置に関連する解剖学的構造、外科的処置に関連する解剖学的構造の状態、外科的処置で使用される医療機器、外科的処置における医療機器と解剖学的構造との間の相互作用、外科的処置の段階、外科的処置で発生した事象、外科的処置の術後報告の解析に基づく情報などを挙げることができる。更に、幾つかの例では、トレーニングされた機械学習モデルを使用して、外科的処置中に捕捉されたビデオフレームを解析し、外科的処置に関連する少なくとも１つの払い戻しコードを決定することができる。他の例では、トレーニングされた機械学習モデルを使用して、外科的処置における少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用（例えば、少なくとも１つの医療機器と、外科的処置中に捕捉されたビデオフレームを解析することによって識別された少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用）、外科的処置の術後手術報告の解析、患者の解剖学的構造の状態（例えば、外科的処置中に捕捉されたビデオフレームを解析することによって決定された患者の解剖学的構造の状態）、外科的処置中の患者の解剖学的構造の状態の変化（例えば、外科的処置中に捕捉されたビデオフレームを解析することによって決定された外科的処置中の患者の解剖学的構造の状態の変化）、特定の医療デバイスの使用法（例えば、外科的処置中に捕捉されたビデオフレームを解析することによって決定された特定の医療デバイスの使用法）、特定の医療デバイスの使用のタイプ（例えば、外科的処置中に捕捉されたビデオフレームを解析することによって決定された特定の医療デバイスの使用のタイプ）、外科的処置で使用される特定のタイプの医薬物資の量（例えば、外科的処置で使用されて外科的処置中に捕捉されたビデオフレームを解析することによって決定された特定のタイプの医療物資の量）などの外科的処置に関する任意の情報に基づいて、外科的処置に関連する少なくとも１つの払い戻しコードを決定することができる。
更に、実施形態は、外科的処置中に捕捉されるビデオフレームを解析して、外科的処置で使用される特定のタイプの医療物資の量を決定すること、及び、決定された量に基づいて外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定することを更に含んでもよい。例示的な実施形態では、特定のタイプの医療物資の量は、外科的処置中に使用された医療物資の量を示すことができる外科的処置のビデオフレームを観察するための画像認識アルゴリズムを使用して決定することができる。医療物資は、薬剤、針、カテーテル、又は任意の他の使い捨て又は消耗材料など、処置中に使用される任意の材料であってもよい。供給量は、外科的処置のビデオフレームから決定することができる。例えば、患者によって使用される薬剤の量は、薬剤及び流体を患者に供給するための静脈内（ＩＶ）装置を観察することによって決定され得る。静脈内の血液又は流体のバッグは、それらが交換されるときにカウントされ得る。様々な実施形態では、適切な機械学習モデルを使用して、外科的処置中、外科的処置前、及び／又は外科的処置後に使用される特定のタイプの医療物資の量を識別し、決定された量に基づいて外科的処置に関連する少なくとも１つの払い戻しコードを決定することができる。機械学習モデルは、履歴的な外科的処置の履歴的な手術映像及び履歴的な外科的処置中に使用された医療物資の量の履歴的なデータを使用してトレーニングすることができる。幾つかの例では、外科的処置中に捕捉されたビデオフレームを解析することによって、外科的処置で使用される特定のタイプの医療物資の量を決定することができる。例えば、機械学習モデルは、外科的処置の画像及び／又はビデオから外科的処置で使用される特定のタイプの医療物資の量を決定するためにトレーニング例を使用してトレーニングすることができ、また、トレーニングされた機械学習モデルは、外科的処置中に捕捉されたビデオフレームを解析し、外科的処置で使用される特定のタイプの医療物資の量を決定するために使用することができる。そのようなトレーニング例の一例は、特定の外科的処置で使用される特定のタイプの医療物資の量を示すラベルと共に、特定の外科的処置の少なくとも一部の画像及び／又はビデオを含むことができる。
図２２に示すように、保険払い戻しコードを決定するために手術画像を解析する方法の態様は、例示的なプロセス２２０１によって示されている。プロセス２２０１のステップ２２１１において、方法は、患者の外科的処置中に捕捉されたビデオフレームにアクセスすることを含むことができる。ビデオフレームは、任意の適切な画像センサを使用して捕捉することができ、上述したように、機械学習方法及び／又はヘルスケア提供者を使用してアクセスすることができる。ステップ２２１３において、方法は、上述したように、外科的処置中に捕捉されたビデオフレームを解析して、ビデオフレーム内で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用を識別することを含んでもよい。例えば、フレームは、前述したように、画像認識アルゴリズムなどの適切な機械学習方法を使用して解析することができる。ステップ２２１５において、方法は、医療機器、解剖学的構造、及び医療機器と解剖学的構造との間の相互作用に相関する払い戻しコードのデータベースにアクセスすることを含むことができる。ステップ２２１７において、方法は、前述したように、少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の特定された少なくとも１つの相互作用を、払い戻しコードのデータベース内の情報と比較して、外科的処置に関連付けられた少なくとも１つの払い戻しコードを決定することを含んでもよく、また、ステップ２２１９において、方法は、外科的処置に対する保険の払い戻しを得る際に使用するために、少なくとも１つの払い戻しコードを出力することを含んでもよい。
前述したように、本開示は、上述したように、保険払い戻しを決定するために手術画像を解析するための方法及びシステム、並びに、少なくとも１つのプロセッサによって実行されるときに保険払い戻しを決定するべく手術画像を解析できるようにする動作を少なくとも１つのプロセッサに実行させる命令を含むことができる持続性コンピュータ可読媒体に関する。
開示されるシステム及び方法は、手術映像を解析して手術の特徴、患者の状態、及び外科的術中事象を識別し、術後報告を作成するための情報を取得することを含むことができる。術後報告は、手術の特徴、患者の状態、及び外科的術中事象を識別するべく外科的処置から得られた手術データを解析するとともに、術後報告を作成するための情報を解析されたデータから抽出することによって作成することができる。したがって、手術データを解析するとともに、術後報告を作成するために使用され得る情報を手術データから抽出する必要がある。
本開示の態様は、方法、システム、装置、及びコンピュータ可読媒体を含む、外科的処置の術後報告の作成に関するものとなり得る。説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、方法は、特定の物理的手段及び／又は電子的手段に限定されず、むしろ多くの異なる手段を使用して達成され得る。
開示された実施形態と整合して、外科的処置の術後報告を作成するための方法は、患者の識別子の入力を受信することを含むことができる。更に、方法は、ヘルスケア提供者の識別子の入力を受信することを含むことができる。術後報告は、外科的処置を文書化する任意の適切なコンピュータベース又は紙ベースの報告であり得る。様々な実施形態では、術後報告は、手術映像、音声データ、画像データ、テキストデータ（例えば、医師のメモ）などの複数のフレームを含むことができる。例示的な実施形態では、術後報告は、作成されてもよく、部分的に作成されてもよく、又は作成されなくてもよい。例えば、術後報告は、外科的処置中に得られた様々な詳細を保持するためのフィールド（例えば、報告書の領域）を含むことができる。例示的な実施形態では、少なくとも幾つかのフィールドは、フィールドに入力できる情報のタイプを決定することができる関連する特性（フィールド名とも呼ばれる）を有することができる。例えば、関連付けられた名前「患者の名前」を有するフィールドは、そのフィールドに患者の名前を入力することを可能にすることができる。「パルスプロット」という名前のフィールドは、時間の関数としてプロットされた外科的処置中の患者のパルスを表示するためのフィールドであってもよい。様々な実施形態では、報告が作成されない場合、報告内の全てのフィールドが空となることができ、報告が部分的に作成される場合、フィールドの幾つかは、外科的処置から取得された情報を含むことができ、また、報告が完全に作成される（又は殆ど作成される）場合、フィールドの大部分は、関連する外科的処置に関する情報を含むことができる。幾つかの例では、術後報告の少なくとも一部は、ユーザ及び／又は自動プロセスがフリーテキストなどの様々な組織及び／又はフォーマットでデータを入力することを可能にするフリーフォーム形式を有することができ、幾つかの例では、外部要素、画像、ビデオ、音声記録、デジタルファイルなどへのリンクなど、フリーテキストに自由に埋め込まれた又はそれに付随する他の要素を含むことができる。特定の分野における術後報告に含まれるものとして本明細書に記載される任意の詳細は、そのようなフリーテキスト情報の一部として術後報告に等しく含まれ得るか、フリーテキストに埋め込まれるか、又はそれに付随し得ることが理解される。
例示的な術後報告２３０１が図２３に示される。報告２３０１は、複数のフィールド、セクション、及びサブセクションを含むことができる。異なるフィールドは、異なるタイプの情報を含み得る。例えば、フィールド２３１０は、外科的処置の名前を含むことができ、フィールド２３１２は、患者の名前を含むことができ、フィールド２３１４は、ヘルスケア提供者の名前を含むことができる。フィールド２３１６は、外科的処置の段階の名前を含むことができ、フィールド２３１８は、段階の連続番号（例えば、外科的処置の第１の段階）を含むことができる。外科的処置の複数の段階を説明するために、フィールド２３１４及び／又は２３１６の複数の例を術後報告２３０１に含めることができる。報告２３０１は、外科的処置中の特定の事象を記述することができるセクション２３１５を含むことができる。複数の事象を説明するための複数のセクションが報告２３０１に存在し得る。１つ以上の事象は、特定の手術段階に結び付けられてもよく、他の事象は、いかなる手術段階にも結び付けられない。例示的な実施形態では、セクション２３１５は、事象の名前を含むフィールド２３２０と、事象の開始時間を含むフィールド２３２１Ａと、事象の終了時間を含むフィールド２３２１Ｂと、事象の説明（例えば、フィールド２３２４は、事象を記述するヘルスケア提供者からのメモを含むことができる）を含むフィールド２３２４とを含むことができる。セクション２３１５は、フィールドＩＭＡＧＥ １～ＩＭＡＧＥ Ｎなどの画像用のフィールドを含むサブセクション２３２６、並びに事象関連手術映像を含むサブセクション２３２８を含むことができる。例えば、サブセクション２３２８は、フィールドＶ１－ＶＮを含むことができる。更に、セクション２３１５は、外科的処置に関連する様々な他のデータへのリンクを含み得るサブセクション２３２９を含み得る。様々な実施形態では、術後報告は、図２３に示すように、タブ２３３１及び２３３３によって示される異なる部分に分割することができる。例えば、ユーザがタブ２３３１を選択すると、手術報告の第１の一部に関する情報が表示され、ユーザがタブ２３３３を選択すると、手術報告の第２の一部に関する情報が表示されてもよい。様々な実施形態では、手術報告は、任意の適切な数の部分を含むことができる。
また、図２３は、アップロード入力フォーム２３３７を介して、情報を報告２３０１にアップロードできることを示している。例えば、ユーザは、フィールド（例えば、図２３に示すように、フィールドＶ１）をクリックすることができ、フォーム２３３７は、フィールドＶ１のデータをアップロードするためにユーザに提示され得る。様々な実施形態では、図２３に示すように、フィールド、セクション、サブセクション、及びタブは単なる例示であり、任意の他の適切なフィールド、セクション、サブセクション、及びタブを使用することができる。更に、フィールド、セクション、サブセクション、及びタブの数及びタイプは、術後報告２３０１に入力された情報に依存し得る。
様々な実施形態では、術後報告の少なくとも一部を作成するための情報は、外科的処置の手術映像から取得することができる。このような情報は、画像ベースの情報と呼ばれる場合がある。更に、外科的処置に関する情報は、ヘルスケア提供者又はユーザのノート、患者の以前に提出されたフォーム（例えば、患者の病歴）、外科的処置中に使用される医療デバイスなどから取得することができる。このような情報は、補助情報と称されてもよい。例示的な実施形態では、補助情報は、外科的処置中に使用される様々な医療デバイスによって報告される脈拍、血圧、体温、呼吸数、酸素レベルなどのバイタルサインを含むことができる。画像ベースの情報及び補助情報は、適切なコンピュータベースのソフトウェアアプリケーションによって処理することができ、また、処理された情報は、術後報告を作成するために使用することができる。例えば、図２４Ａは、情報を処理して術後報告２３０１を作成するためのプロセス２４０１の一例を示す。例示的な実施形態では、画像ベースの情報２４１１及び補助情報２４１３は、コンピュータベースのソフトウェアアプリケーション２４１５への入力として使用することができ、また、アプリケーション２４１５は、情報２４１１及び２４１３を処理し、術後報告（例えば、図２４Ａに示すように、報告２３０１）に存在する様々なフィールドのデータを抽出し、様々なフィールドを作成するように構成することができる（矢印２４３０Ａ～２４３０Ｄで概略的に示すように）。図２４Ｂは、情報を処理して術後報告２３０１を作成するための例示的なシステム２４０２を示している。２４０２は、アプリケーション２４１５によって処理された様々なデータが術後報告２３０１を作成する前にデータベース２４４０に記憶され得るという点で、システム２４０１とは異なり得る。データベース２４４０にデータを記憶することにより、様々な他の報告を生成する際に使用するためにデータに容易にアクセスすることができる。データベース２４４０は、矢印２４３１Ａ～２４３１Ｄによって概略的に示されるように、データベース２４４０からのデータを報告のフィールド２３０１にマッピングするためのソフトウェアアプリケーションを実行するように構成されてもよい。
上述したように、術後報告を入力するための実施形態は、患者及びヘルスケア提供者の識別子の入力を受信することを含むことができる。患者の識別子は、任意の適切なデータ又は物理的指標（例えば、患者の名前、生年月日、社会保障番号もしくは他の政府識別子、患者番号もしくは他の固有のコード、患者画像、ＤＮＡ配列、音声ＩＤ、又は患者を一意的に識別する任意の他の指標であってもよい。場合によっては、識別子のグループを結合識別子として使用することができる。例示的な実施形態では、識別子は、患者を一意的に識別する英数字文字列であってもよい。
様々な実施形態において、患者識別子は、入力として受信されてもよい。これは、任意の適切な送信プロセス（例えば、有線又は無線ネットワークを介してデータを送信するプロセス、キーボード、マウス、ジョイスティックなどの適切な入力デバイスを使用してデータを送信するプロセス）を使用して行われ得る。場合によっては、「入力の受信」は、郵便又は宅配便（例えば、直接配達される紙文書）による受領を含むことができる。
患者識別子と同様に、ヘルスケア提供者の識別子は、名前、コード、所属、住所、従業員番号、医師免許番号、又はヘルスケア提供者を識別する任意の他の機構などの識別の任意の適切な表示であってもよい。例示的な実施形態では、識別子は、ヘルスケア提供者を一意的に識別する英数字文字列であってもよい。
開示された実施形態は、ヘルスケア提供者によって患者に対して行われた外科的処置の手術映像の入力を受信することを更に含むことができる。手術映像は、入力を解析するためのコンピュータベースのソフトウェアアプリケーション（例えば、図２４Ａに示すようなアプリケーション２４１５）による入力として受信することができ、及び／又は場合によっては、入力を受信することは、ヘルスケア専門家又はユーザによる入力を受信することを含むことができる。これは、例えば、ヘルスケア専門家又はユーザが記憶場所からビデオ映像をアップロードするとき、及び／又はビデオ映像を捕捉するセンサから直接ビデオ映像をアップロードするときに起こり得る。
外科的処置の手術映像は、音声データも含むことができる記録画像及び／又はビデオデータを含む任意の形態の記録された視覚データを含むことができる。視覚データは、図１に関連して上述したように、カメラ１１５，１２１，１２３及び／又は１２５などの画像センサによって捕捉された１つ以上の画像のシーケンスを含むことができる。一部のカメラ（例えば、カメラ１１５，１２１、及び１２５）は、手術台１４１のビデオ／画像データを捕捉し、カメラ１２１は、手術を行う外科医１３１の映像／画像データを捕捉してもよい。場合によっては、カメラは、手術室１０１に配置された麻酔科医、看護師、外科技術などの外科チームの人員に関連するビデオ／画像データを捕捉することができる。
様々な実施形態では、画像センサは、可視光、Ｘ線光（例えば、蛍光透視法による）、赤外光、又は紫外光を画像、一連の画像、ビデオなどに変換することによって手術映像を捕捉するように構成され得る。画像／ビデオデータは、ＪＰＥＧ、ＰＮＧ、ＴＩＦＦ、音声ビデオ・インターリーブ（ＡＶＩ）、フラッシュ・ビデオ・フォーマット（ＦＬＶ）、クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４Ｐなど）、ウィンドウズ・メディア・ビデオ（ＷＭＶ）、材料交換フォーマット（ＭＸＦ）などの任意の適切なフォーマットを使用してコンピュータファイルとして記憶することができる。
外科的処置は、患者の身体に対する手動又は手術処置に関連する、又はそれを含む任意の医療処置を含み得る。外科的処置は、切断、擦過、縫合、又は身体組織及び／もしくは器官の物理的変化を伴う他の技術を含み得る。また、外科的処置は、患者を診断すること、又は患者に薬物を投与することを含み得る。そのような外科的処置の幾つかの例としては、腹腔鏡手術、胸腔鏡手術、気管支鏡手術、顕微鏡手術、開放手術、ロボット手術、虫垂切除、頸動脈内膜切除、手根管解放、白内障手術、帝王切開、胆嚢切除、結腸切除（例えば、部分的結腸切除術、全結腸切除術など）、冠動脈血管形成術、冠動脈バイパス、デブリードマン（例えば、創傷、火傷、感染症など）、遊離皮膚移植、痔核切除術、股関節置換術、子宮摘出術、子宮鏡検査、鼠径ヘルニア修復、膝関節鏡検査、膝関節置換術、乳房切除術（例えば、部分的乳房切除術、全乳房切除術、非定型的乳房切除術など）、前立腺切除術、前立腺除去術、肩関節鏡検査、脊椎手術（例えば、脊椎固定術、椎弓切除術、椎間孔切開術、椎間板切除術、椎間板置換術、層間インプラントなど）、扁桃摘出術、人工内耳手術、脳腫瘍（例えば髄膜腫など）切除術、経皮経管冠動脈形成術などの介入手術、経カテーテル大動脈弁置換術、脳内出血排出のための低侵襲手術、又は、何らかの形態の切除を伴う任意の他の医療処置を挙げることができる。本開示は外科的処置に関連して説明されているが、一般に他の形態の医療処置又は処置にも適用され得ることが理解されるべきである。
様々な実施形態において、外科的処置は、上述したように、患者が識別子によって識別された状態で、ヘルスケア提供者によって患者に対して実行されてもよい。ヘルスケア提供者は、患者に健康サービスを提供することを認可された人、人々のグループ、組織、又は任意のエンティティであってもよい。例えば、ヘルスケア提供者は、外科医、麻酔医、ナース開業医、一般小児科医、又は外科的処置を実行することを認可及び／又は可能にすることができる任意の他の人又は人々のグループであってもよい。様々な実施形態において、ヘルスケア提供者は、外科的処置を実行するための外科チームであってもよく、頭部外科医、助手外科医、麻酔科医、看護師、技師などを含んでもよい。ヘルスケア提供者は、外科的処置を施すこと、患者のための外科的処置を支援することなどを行うことができる。病院、診療所、又は他の組織もしくは施設は、開示された実施形態と整合して、ヘルスケア提供者として特徴付けることもできる。同様に、患者は、外科的処置が行われる人（又は任意の生物）であってもよい。
開示された実施形態の態様は、外科的処置の術後報告を作成するための画像ベースの情報を導き出すために、手術映像の複数のフレームを解析することを含むことができる。様々な実施形態では、画像ベースの情報は、外科的処置中に発生した事象に関する情報、外科的処置の段階に関する情報、外科的処置中に使用された手術器具に関する情報、外科的処置が行われた解剖学的構造に関する情報、様々な装置（例えば、脈拍、血圧、体温、呼吸数、酸素レベルなどのバイタルサイン）からのデータ、又は画像から取得することができ、術後報告で文書化するために適用可能とすることができる任意の他の適切な情報を含むことができる。手術映像の解析に基づく情報の幾つかの他の非限定的な例、及び／又は手術映像を解析し、情報を決定するためのアルゴリズムがこの開示に記載される。
様々な実施形態では、画像ベースの情報は、例えば上述したように、事象、外科的処置の段階、手術器具、手術映像内の解剖学的構造などを識別するための任意の適切なトレーニングされた機械学習モデル（又は他の画像認識アルゴリズム）を使用して、手術映像から導き出され得る。場合によっては、機械学習方法は、事象、段階、手術器具、解剖学的構造などの様々な特性を識別することができる。例えば、切開などの事象の特性は、切開の長さを含むことができ、解剖学的構造の特性は、構造のサイズ又は構造の形状を含むことができる。様々な実施形態において、任意の適切な特性は、例えば上述したように、機械学習方法を使用して識別することができ、識別されると、手術報告を入力するために使用することができる。
様々な実施形態において、導き出された画像ベースの情報は、外科的処置の術後報告を作成するために使用されてもよい。術後報告を作成するプロセスは、報告のフィールドにフィールドに固有の情報を入力することを含むことができる。例示的な実施形態では、術後報告の作成は、コンピュータベースのアプリケーション（例えば、２４Ａに示すように、アプリケーション２４１５）によって行われてもよい。例えば、コンピュータベースのアプリケーションは、術後報告からフィールドを検索し、フィールドに関連付けられた名前を決定し、決定された名前に基づいてフィールドに入力される必要がある情報のタイプ（例えば、画像ベースの情報、又は任意の他の適切な情報）を決定し、手術映像又は補助情報（例えば、図２４Ａに示すような補助情報２４１３）のいずれかからそのような情報を検索するように構成され得る。例示的な実施形態では、情報を検索することは、手術映像から画像ベースの情報を導き出すことを含むことができる。例えば、「使用された手術器具」というフィールド名の場合、情報を検索することは、外科的処置中に使用された（手術映像内の）手術道具を識別するための画像認識アルゴリズムを使用すること、及び、識別された器具の名前で手術報告を作成することを含むことができる。したがって、導き出された画像ベースの情報を使用して、外科的処置の術後報告を作成することができる。報告を作成するために使用され得る画像ベースの情報の他の例は、処置又はその一部の開始時間及び終了時間、直面した合併症、臓器の状態、及びビデオデータの解析によって導き出され得る他の情報を含み得る。また、これらは、患者の特性、１人又は複数のヘルスケア提供者の特性、手術室に関する情報（例えば、手術室に存在する装置のタイプ、手術室で利用可能な画像センサのタイプなど）、又は任意の他の関連データを含むことができる。
図２５に示すように、外科的処置の術後報告を作成する方法の態様が、例示的なプロセス２５０１によって示されている。プロセス２５０１のステップ２５１１において、方法は、上述したように、患者の識別子の入力を受信することを含むことができ、ステップ２５１３において、方法は、ヘルスケア提供者の識別子の入力を受信することを含むことができる。ステップ２５１５において、方法は、ヘルスケア提供者によって患者に対して行われた外科的処置の手術映像の入力を受信することを含むことができる。手術映像の入力を受信することは、上述したように、適切なコンピュータベースのソフトウェアアプリケーション又はヘルスケア専門家によって入力を受信することを含むことができる。ステップ２５１７において、方法は、本明細書に記載のように、手術映像の複数のフレームを解析して、外科的処置の術後報告を作成するための画像ベースの情報を導き出すことを含むことができ、ステップ２５１９において、方法は、前述のように、導き出された画像ベースの情報が外科的処置の術後報告を作成するようにすることを含むことができる。
外科的処置の術後報告を作成する方法の態様は、外科的処置の１つ以上の段階を識別するために手術映像を解析することを含むことができる。段階は、例えば本明細書に記載されるように、外科的処置のある部分を別の部分から区別するようにトレーニングされたトレーニングモデルに基づいて自動的に互いに区別することができる。
本開示の目的のために、段階は、プロセス又は一連の事象の特定の期間又は段階を指すことができる。したがって、手術段階は、外科的処置の下位部分を指すことができる。例えば、腹腔鏡下胆嚢切除術の手術段階としては、トロッカ配置、準備、カロー三角切開、胆嚢管及び動脈のクリッピング及び切断、胆嚢切開、胆嚢包装、肝床の清浄化及び凝固、胆嚢収縮などを挙げることができる。別の例では、白内障手術の手術段階は、準備、ポビドンヨード注射、角膜切開、水晶体嚢切開、水晶体超音波乳化吸引、皮質吸引、眼内レンズ移植、眼内レンズ調整、創傷封止などを含み得る。更に別の例では、下垂体手術の手術段階としては、準備、鼻切開、鼻開創器の設置、腫瘍へのアクセス、腫瘍の除去、鼻置換、縫合、鼻圧迫の設置などを挙げることができる。手術段階の幾つかの他の例としては、準備、切開、腹腔鏡位置決め、縫合などを挙げることができる。
幾つかの例では、ユーザは、手術映像のセクションを段階の名前又はタイプを識別する単語／文／文字列でマークすることによって段階を識別することができる。また、ユーザは、使用される事象、処置、又はデバイスを識別することができ、これらの入力は特定のビデオ映像に（例えば、例えば、ルックアップテーブル又は他のデータ構造を介して）関連付けることができる。ユーザ入力は、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話、ウェアラブルデバイス、モノのインターネット（ＩｏＴ）デバイス、又はユーザからの入力を受信するための任意の他の手段などのユーザデバイスのユーザインタフェースを介して受信することができる。インタフェースは、例えば、段階名の１つ以上の選択リストを有する１つ以上のドロップダウンメニュー、ユーザが段階名を入力できるようにする及び／又は数文字が入力された時点で段階名を示唆するデータ入力フィールド、そこから段階名を選択することができる選択リスト、それぞれが異なる段階に関連付けられた選択可能なアイコンのグループ、又はユーザが段階を識別又は選択できるようにする任意の他のメカニズムを提供することができる。
幾つかの実施形態では、外科的処置の１つ以上の段階を識別するために外科的処置を解析することは、例えば上述したように、ビデオ映像のフレームを解析するためにコンピュータ解析（例えば、機械学習モデル）を使用することを含むことができる。コンピュータ解析は、コンピューティングデバイスを使用する任意の形態の電子解析を含むことができる。幾つかの実施形態では、コンピュータ解析は、ビデオ映像の１つ以上のフレームの特徴を識別するために１つ以上の画像認識アルゴリズムを使用することを含み得る。コンピュータ解析は、個々のフレームに対して実行されてもよく、例えば、フレーム間の動き又は他の変化を検出するために複数のフレームにわたって実行されてもよい。
幾つかの実施形態では、外科的処置の少なくとも１つの段階を識別するために外科的処置を解析することは、名前を少なくとも１つの段階に関連付けることを含み得る。例えば、特定された段階が胆嚢剥離を含む場合、「胆嚢剥離」という名前をその段階に関連付けることができる。様々な実施形態では、導き出された画像ベースの情報（段階を識別することによって外科的処置の手術映像から導き出される）は、上述したように、関連する段階名を含むことができる。
更に、外科的処置の術後報告を作成する方法の態様は、識別された段階のうちの少なくとも１つの段階の特性を識別することを含むことができる。段階の特性は、段階の持続時間、外科的処置中の一連の段階における段階の場所、段階の複雑度、使用される技術の識別、段階で使用される医療機器に関する情報、段階で実行される動作に関する情報、段階中の解剖学的構造の状態の変化、又は段階を特徴付けることができる任意の他の情報などの段階の任意の特性であってもよい。段階特性は、英数字文字列の形式で表現されてもよい。例えば、「第１の段階」は、外科的処置中の段階のシーケンスにおける第１の段階として段階を識別することができ、「１時間」は、段階が１時間の持続時間を有することを記述することができ、「気管支鏡検査」は、気管支鏡検査として段階を識別することができる、などである。これに加えて又は代えて、段階の特性は、外科的処置中に収集された非テクスチャデータ（例えば、画像、音声、数値、及び／又はビデオデータ）であってもよい。例えば、外科的処置の段階中に実行された解剖学的構造の代表的な画像（又は外科用器具、又は外科用器具と例示的な解剖学的構造との相互作用）を段階の特性として使用することができる。一例では、機械学習モデルは、画像及び／又はビデオから手術段階の特性を識別するためにトレーニング例を使用してトレーニングされ得る。そのようなトレーニング例の一例は、外科的処置の手術段階の１つ以上の特性を示すラベルと共に、外科的処置の手術段階の少なくとも一部の画像及び／又はビデオを含むことができる。そのような特性の幾つかの非限定的な例は、手術段階の名前、手術段階のテキスト記述、又は上述した手術段階の任意の他の特性を含むことができる。更に、幾つかの例では、トレーニングされた機械学習モデルを使用して、手術映像を解析し、識別された段階の少なくとも１つの段階の特性を識別することができる。様々な実施形態では、導き出された画像ベースの情報（手術記録を入力するために使用される）は、識別された少なくとも１つの段階及び少なくとも１つの段階の識別された特性に基づくことができる。例えば、段階と特性の両方の組み合わせは、より意味のある方法で段階を記録することを可能にし得る。例えば、弁の縫合段階中に、術中漏れが検出された場合（段階の特性）、段階／特性の組み合わせを手術記録に記録することができる。場合によっては、導き出された画像ベースの情報は、外科的処置の段階中に捕捉されたビデオのセグメントを含むことができる。
外科的処置の術後報告を作成する方法の態様は、少なくとも１つの段階の少なくとも開始を決定することを含むことができ、この場合、導き出された画像ベースの情報は、決定された開始に基づく。少なくとも１つの段階の開始は、例えば上述したように、手術映像に対してコンピュータ画像解析を実行することによって決定することができる。例えば、トレーニングされた機械学習モデル（回帰性畳み込みニューラルネットワークなど）を使用して、特定の段階の開始を前の段階の終了と区別することができ、また、位置を識別して手術記録に記憶することができる。別の例では、特定の医療機器がビデオ映像に最初に現れるときに段階が開始され、また、物体検出アルゴリズムを使用して、手術映像内の特定の医療機器の最初の外観を識別することができる。
場合によっては、時間マーカを少なくとも１つの段階に関連付けることができ、また、導き出された画像ベースの情報は、少なくとも１つの段階に関連付けられた時間マーカを含むことができる。時間マーカは、外科的処置の開始からの経過時間、時間によって測定される時間、又は何らかの他の術中記録時間に関連する時間を含む、幾つかの方法で記録されてもよい。様々な実施形態では、時間マーカは、識別された各段階の開始に関連付けられ得る（例えば、時間マーカは、手術映像内の手術段階の開始位置に関連付けられてもよい）。時間マーカは、任意の適切な英数字識別子、又は任意の他のデータ識別子（例えば、音声信号又は画像）であってもよく、識別された段階の開始に関連する時間（及び／又は場合によっては時間範囲）に関する情報を含んでもよい。
切開などの例示的な手術事象は、例えば上述したように、動作検出アルゴリズムを使用して検出することができる。そのような識別された手術事象は、手術段階の開始を識別することができる。例示的な実施形態では、手術段階を開始する事象は、機械学習技術に基づいて検出することができる。例えば、機械学習モデルは、手術段階を開始する既知の事象を含む履歴的な手術映像を使用してトレーニングすることができる。
更に、開示された実施形態は、少なくとも１つの段階の少なくとも終了を決定することを含むことができ、また、導き出された画像ベースの情報は、決定された終了に基づくことができる。手術段階の終了は、手術映像内の手術段階の終了位置を検出することによって決定され得る。様々な実施形態において、時間マーカは、識別された各段階の終わりに関連付けられてもよい（例えば、時間マーカは、手術映像内の手術段階の終了位置に関連付けられてもよい）。上述したように、終了マーカは、開始マーカと同じ方法で記録されてもよく、任意の適切な英数字識別子、又は任意の他のデータ識別子によって特徴付けられてもよい。例えば、手術映像は、連続する手術段階の開始を識別するために解析されてもよく、また、１つの段階の終了は、連続する手術段階の開始と同一であってもよい。別の例では、特定の医療機器がビデオ映像に最後に出現したときに段階が終了し、また、物体検出アルゴリズムを使用して、手術映像内の特定の医療機器の最後の出現を識別することができる。
また、外科的処置の術後報告を自動的に入力するための実施形態は、患者識別子及び導き出された画像ベースの情報を含むデータをヘルスケア提供者に送信することを含むことができる。外科的処置中又は外科的処置後に、外科的処置中に捕捉されたビデオは、患者の関連する手術記録を入力するためにヘルスケア提供者に送信され得る。ビデオが適切な記録を作成するようにするべく、患者識別子はビデオを送信に添付することができる。幾つかの実施形態では、これにより、人間の介入を伴うことなく、手術記録をビデオで自動的に更新することができる。他の実施形態では、送信側及び／又は受信側のいずれかで、人間は送信用のビデオを選択するか、又は患者の医療記録に組み込むためのビデオを受け入れることができる。場合によっては、データを送信することは、データを記述する文書の物理的コピー（例えば、紙コピー、ＣＤ－ＲＯＭ、ハードドライブ、ＤＶＤ、ＵＳＢドライブなど）を郵送すること（又は直接配達すること）を含むことができる。これに加えて又は代えて、データを送信することは、健康保険提供者又は医療過誤キャリアのうちの少なくとも１つにデータを送信することを含むことができる。
本開示の態様は、術後治療のための少なくとも１つの推奨を識別するために手術映像を解析すること、及び、識別された少なくとも１つの推奨を提供することを含んでもよい。前述したように、手術映像は、様々な方法で（例えば、機械学習方法を使用して、ヘルスケア提供者などによって）解析することができる。様々な実施形態では、機械学習方法は、ビデオフレーム内の事象を認識するように構成されるだけでなく、手術映像の解析に基づいて外科的処置の様々な態様に関する結論を形成するように構成されてもよい。例えば、術後創傷ケアは、外科的創傷の性質に応じて異なり得る。ビデオ解析は、その性質を決定することができ、創傷部位の術後治療のための推奨を提供することもできる。このような情報は、手術記録に送信されて記憶されてもよい。場合によっては、機械学習方法は、術中事象（例えば、有害事象）を識別し、特定の術後処置が必要なこれらの事象のための表示を提供することができる。これは、機械学習によって解析することができ、術後治療のための推奨を自動的に提供することができる。一例では、手術映像で識別された第１の手術事象に応じ、術後治療のための第１の推奨を識別することができ、また、手術映像で識別された第２の事象に応じて、術後治療のための第２の推奨を識別することができ、第２の推奨は第１の推奨とは異なり得る。一例では、手術映像内で識別された解剖学的構造の第１の状態に応じて、術後治療のための第１の推奨を識別することができ、また、手術映像内で識別された解剖学的構造の第２の状態に応じて、術後治療のための第２の推奨を識別することができ、第２の推奨は第１の推奨とは異なり得る。幾つかの例では、機械学習モデルは、手術画像及び／又は手術映像から術後治療の推奨を生成するためにトレーニング例を使用してトレーニングされてもよくまた、トレーニングされた機械学習モデルは、手術映像を解析し、術後治療の少なくとも１つの推奨を識別するために使用されてもよい。そのようなトレーニング例の一例は、外科的処置に対応する術後治療のための所望の推奨を示すラベルと共に、外科的処置の少なくとも一部の画像又はビデオを含むことができる。
そのような推奨は、理学療法、薬物療法、更なる理学的検査、外科的処置のフォローなどを提案することを含み得る。場合によっては、推奨は、医学的行動に直接関連しないかもしれないが、食事の推奨、睡眠の推奨、身体的行動の推奨、又はストレス管理の推奨を含み得る。様々な実施形態において、特定された推奨は、患者の術後治療を担当するヘルスケア専門家に提供されてもよい。これに加えて又は代えて、推奨は、患者、家族、友人などであってもよい第三者に提供されてもよい。
一実施形態では、手術映像の解析は、外科的処置の所定の時間中に、外科医が、例えばエネルギー装置を使用して、患者の腸に接近しすぎて作業した可能性があることを識別することを含むことができる。そのような事象が（例えば、物体検出アルゴリズムを使用して、トレーニングされた機械学習モデルを使用するなどして）識別されると、手術映像を更に解析して壊滅的な術後事象（例えば、出血、心停止など）を回避するように特別な処置が計画されるように外科医（又は患者の術後治療を監督する他のヘルスケア専門家）に警告する通知（例えば、プッシュ通知）を送信することができる。
様々な実施形態では、外科的処置の術後報告を作成することは、術後報告内の導き出された画像ベースの情報の少なくとも一部をヘルスケア提供者が変更できるようにすることを含み得る。例えば、ヘルスケア提供者（ヘルスケア専門家とも呼ばれる）は、術後報告に情報を表示するように構成されたソフトウェアアプリケーションを介して術後報告にアクセスすることができる。様々な実施形態において、ヘルスケア専門家は、術後報告内の幾つか又は全てのフィールドを変更することができる。幾つかの実施形態では、特定のフィールドは、管理権なしに変更できないとしてロックされてもよい。変更可能なフィールドの例は、テキストベースのデータ（例えば、キーボード、マウス、マイクロフォンなどを介して新しいデータを入力することによって変更可能である）、画像データ（例えば、外科的処置に関連する１つ以上の画像をアップロードすること、１つ以上の画像上に情報をオーバーレイすることなどによって）、ビデオデータ（例えば、外科的処置に関連する１つ以上のビデオをアップロードし、１つ以上のビデオの１つ以上のフレームにわたって情報をオーバーレイすることなどによって）、音声データ（例えば、外科的処置中に捕捉された音声データ）などを含むフィールドであってもよい。
様々な実施形態において、術後報告に対する更新は、バージョン追跡システムを使用して追跡することができる。例示的な実施形態では、バージョン追跡システムは、術後報告を作成するために以前に使用された全てのデータを維持することができる。バージョン追跡システムは、術後報告の異なるバージョン間の差を追跡するように構成されてもよく、報告に変更を加えた当事者（例えば、ヘルスケア専門家の名前、更新の時間など）に関する情報を追跡するように構成されてもよい。
幾つかの実施形態では、外科的処置の術後報告を作成することは、導き出された画像ベースの情報の少なくとも一部を自動的に生成されたデータとして術後報告で識別させるように構成され得る。様々な実施形態では、導き出された画像ベースの情報が術後報告を作成するために使用される際、報告を作成することは、導き出された画像ベースの情報がどのように生成されたかを識別することを含むことができる。例えば、血管内の検出されたパルスのコンピュータビジョン解析を使用して上昇した心拍数が決定された場合、その決定源はビデオ決定に基づくものとして留意され得る。同様に、ビデオ解析は、破裂の結果として失血量を自動的に推定することができ、また、手術報告は、推定された損失と共に、損失量がビデオ解析に基づく推定であることに留意することができる。実際に、ビデオ解析から導き出された任意の表示は、データのソースを反映するために任意のテキスト、グラフィック、又はアイコンベースの情報を使用して、術後報告でそのように示され得る。例えば、ビデオから導き出されたデータの隣に動画アイコンが表示されてもよい。或いは、ヘルスケア専門家が、手術映像内の事象を識別して、識別された事象に対応する手術映像のセグメントを導き出された画像ベースの情報として提供する場合、そのような情報は、ヘルスケア専門家によって生成されたと見なされてもよく、自動的に生成されたデータとして分類されなくてもよい。
開示された実施形態は、例えば上述したように、手術映像を解析して手術映像内の手術事象を識別することを含むことができる。解析は、前述したように、機械学習モデルを使用して行うことができる。識別は、手術事象の名前と共に、手術事象が既に識別された履歴データから導き出されてもよい。したがって、機械学習によって同様の事象が検出された場合、その事象について以前に識別された名前を現在の事象識別に同様に適用することができる。
更に、開示された実施形態と整合して、事象が識別され得るだけでなく、手術事象の特性も識別され得る。手術事象の特性は、事象のタイプ、又は事象を特徴付ける任意の他の情報であってもよい。例えば、事象が切開である場合、機械学習モデルは、事象のタイプとして名前「切開」を返し、事象の特性として切開の長さ及び深さを返すように構成され得る。場合によっては、様々な事象に対して可能なタイプの所定のリストが機械学習モデルに提供されてもよく、また、機械学習モデルは、事象を正確に特徴付けるために事象タイプのリストからタイプを選択するように構成されてもよい。特性の数は、識別された事象のタイプに基づいて変化し得る。幾つかのかなり直接的な事象は、関連する特性の比較的短いリストを有することができるが、他の事象は、より多くの関連する別の特性を有することができる。
説明したように、機械学習モデルは、事象を識別するための１つの方法であり、この場合、モデルは、事象を識別（又は決定）するために例を使用してトレーニングされる。トレーニングは、例えば教師あり学習手法などの任意の適切な手法を含み得る。例えば、事象に対応する特徴を含む履歴的な手術映像を機械学習モデルの入力データとして提示することができ、また、機械学習モデルは、映像内の特徴に対応する事象の名前を出力することができる。機械学習モデルの様々なパラメータは、履歴視覚データ内の特徴に対応する事象を正しく識別するように機械学習モデルをトレーニングするために調整することができる。例えば、機械学習モデルがニューラルネットワークである場合、そのようなニューラルネットワークのパラメータ（例えば、ネットワークの重み、ニューロンの数、活性化関数、ネットワークのバイアス、ネットワーク内の層の数など）は、任意の適切な手法を使用して調整することができる（例えば、ニューラルネットワークの重みは、逆伝播プロセスを使用して調整することができる）。
一実施形態では、事象は、医療専門家（例えば、外科医）によって識別されてもよく、また、事象は、その発生時にタグ付けされてもよい。機械学習モデルが手術行動を潜在的に対象のものとして識別するが、その行動の関連する名前がない場合、関連する映像を保存することができ、ユーザは後で関連する名前を提供するように促されることができる。
場合によっては、外科医は、その後の識別のために外科的処置中に事象をマークすることができる。例えば、外科医は、１つ以上の画像センサ／音声センサによって捕捉されて事象のトリガとして認識され得る視覚信号又は音声信号（例えば、ハンドジェスチャ、ボディジェスチャ、医療機器によって生成された光源によって生成された視覚信号、話し言葉など）を使用して事象をマークすることができる。
様々な実施形態において、導き出された画像ベースの情報は、識別された手術事象及び事象の識別された特性に基づくことができる。事象及び事象の１つ以上の特性が前述のように識別された後、これらの組み合わせを解析して、事象又は特性のみから導き出できなかった可能性がある画像ベースの情報を決定することができる。例えば、特定の事象の特定の特性が術後合併症の既知のリスクと関連付けられている場合、そのリスクを決定し、画像ベースの情報に含めることができる。或いは、例として、導き出された画像ベースの情報としては、事象の名前、事象に対応する手術映像のセグメント、事象中に使用された外科用器具の名前及び／又は画像、事象中に操作された解剖学的構造の名前及び／又は画像、外科用器具と解剖学的構造との相互作用の画像、事象の持続時間、及び／又はビデオから導き出された任意の他の情報のうちの１つ以上を挙げることができる。
上述したように、手術映像は、識別された手術事象の事象名を決定するために解析され得る。上述したように、事象名は、適切な機械学習モデルを使用して決定することができる。或いは、事象の名前は、ヘルスケア専門家によって識別されてもよい。様々な実施形態において、導き出された画像ベースの情報は、決定された事象名を含むことができる。
また、開示された実施形態の態様は、時間マーカを識別された手術事象と関連付けることを含むことができる。時間マーカを識別された手術事象と関連付けるプロセスは、時間マーカを外科的処置の段階と関連付けるプロセスと同様であり得る。例えば、時間マーカは、外科的処置の事象の開始（例えば、手術映像内の手術事象の開始又は他の何らかの中間位置又は位置の範囲）に関連付けられてもよい。時間マーカは、任意の適切な英数字識別子、又は任意の他のグラフィックもしくはデータ識別子であってもよい。例えば、時間マーカは、外科的処置の一部又は全部の動的又は静的タイムライン上に表示されるアイコン又は他のグラフィックであってもよい。動的である場合、関連する事象の映像を提示させるために、時間マーカをクリック可能（又は選択可能）にすることができる。マーカは、映像上のテキスト又はグラフィックオーバーレイを介して、又は再生提示のために埋め込まれた識別音声指標を介して、映像に表示させることができる。そのような指標は、時間データ（発生の時間又は時間範囲）、位置データ（事象が発生した位置データ）、又は特性データ（発生の特性を表す）などの情報の１つ以上の断片を含むことができる。状況によっては、時間マーカは、事象の終了に関連付けられてもよい（例えば、時間マーカは、手術映像内の事象の終了位置に関連付けられてもよい）。導き出された画像ベースの情報は、複数の事象及び／又は事象内の複数の位置に関して、複数の時間マーカを含むことができる。
幾つかの実施形態では、導き出された画像ベースの情報を提供することは、電子医療記録を更新できるようにする形式で行われてもよい。例えば、導き出された画像ベースの情報は、電子医療記録（例えば、医療記録を記憶及び表示するためのスタンドアロンアプリケーション、データベースに記憶された情報を使用して医療記録を表示するためのウェブインタフェースなど）を記憶及び表示することができるソフトウェアアプリケーションにアップロードすることができる形式であり得るテキストデータ、画像データ、ビデオデータ、音声データなどを含むことができる。様々な実施形態において、医療記録を記憶及び表示するためのソフトウェアアプリケーションは、導き出された画像ベースの情報を使用して電子医療記録を更新するためのインタフェースを含むことができる。インタフェースは、画像、ビデオ、及び音声データをアップロードするため、テキストデータをアップロードするため、テキストデータを電子医療記録に入力するため、コンピュータマウスを使用して電子医療記録を更新するためなどのグラフィカルユーザ要素を含むことができる。
様々な実施形態において、導き出された画像ベースの情報は、ユーザ入力に部分的に基づくことができる。例えば、ヘルスケア専門家などのユーザは、例えば上述したように、手術映像が捕捉されている間に入力を提供することができ、また、導き出された画像ベースの情報は、そのような入力に部分的に基づくことができる。例えば、そのような入力は、手術映像内の特定の時点を示すことができる。
様々な実施形態において、導き出された画像ベースの情報は、外科的処置の第１の一部に関連付けられた第１の部分と、外科的処置の第２の一部に関連付けられた第２の部分とを含むことができる。画像ベースの情報を部分に分離することは、画像ベースの情報の分類を容易にすることができる。例えば、外科的処置の第１の一部が複数の切開を行うことを含み、外科的処置の第２の一部が縫合を含む場合、そのような一部分は、外科的処置のそれらの一部分を分類するために使用され得る。場合によっては、外科的処置の第１の一部の間、センサの第１のセットを使用して画像ベースの情報を収集することができ、また、外科的処置の第２の一部の間、センサの異なるセットを使用して画像ベースの情報を収集することができる。例えば、第１の一部の間、外科用器具に配置された画像センサを使用して手術映像を捕捉することができ、また、外科的処置の第２の一部の間、俯瞰画像センサ（すなわち、手術台の上方に配置された画像センサ）を使用して手術映像を捕捉することができる。
様々な実施形態において、術後報告は、外科的処置の第１の一部に対応する第１の一部及び外科的処置の第２の一部に対応する第２の一部を含むことができる。術後報告の第１の一部の開始は、第１の位置（例えば、第１の位置は、データファイル内のポインタ、テキストファイル内のカーソルの位置、データベース内のデータ記録などであってもよい）によって示され得る。術後報告の第２の一部の開始が第２の位置によって示されてもよく、この第２の位置は、術後報告の第２の一部の開始点であるファイル内の位置の任意の適切な表示となり得る（例えば、第１の位置は、データファイル内のポインタ、テキストファイル内のカーソルの位置、データベース内のデータ記録などであってもよい）。様々な実施形態では、術後報告は、外科的処置の対応する部分に基づく部分に分離することができる。例示的な実施形態では、機械学習方法（又はヘルスケア提供者）は、外科的処置の一部分を識別し、そのような識別された一部分を有するように術後報告を構成することができる。術後報告は、２つの一部分に限定されず、２つより多い又は少ない一部分を含んでもよい。
開示された実施形態の態様は、事前の術後報告を受信することを含むことができる。術後報告は、組織、個人、又はコンピュータ（例えば、図２４Ａに示すように、保険会社もしくはヘルスケア組織、ヘルスケア専門家、又はアプリケーション２４１５などの術後報告を作成するためのコンピュータベースのプログラム）にかかわらず、任意のエンティティによって受信され得る。様々な実施形態では、予備術後報告を解析することは、予備術後報告内の第１の位置及び第２の位置を選択することを含むことができ、第１の位置は外科的処置の第１の一部に関連付けられ、第２の位置は外科的処置の第２の一部に関連付けられる。そのような選択は、報告を解析する誰か（又は機械）が報告内の関心領域に直接スキップすることを可能にすることができる。したがって、予備術後報告を解析することは、第１の位置及び第２の位置のうちの１つ以上の指標を識別することを含むことができる。指標は、任意の適切な英数字又はグラフィカル指標であってもよい。例えば、第１の位置の指標は、「これは術後報告の第１の一部の開始です」という文字列又はグラフィカル開始アイコンであり得る。一例では、自然言語処理（ＮＬＰ）アルゴリズムを使用して、事前術後報告に含まれるテキスト情報を解析し、外科的処置の異なる態様について論じる部分（例えば、異なる手術段階、異なる手術事象、異なる医療機器の使用など）をテキスト情報内で識別し、テキスト情報の識別された部分を外科的処置の異なる部分と（例えば、対応する手術段階と、対応する外科事象と、対応する医療機器の使用などと）関連付けることができる。更に、幾つかの例では、事前術後報告内の第１の位置及び第２の位置（並びに更なる位置）は、テキスト情報の識別された部分に基づいてもよく、及び／又はそれとリンクされてもよい。
更に、実施形態は、導き出された画像ベースの情報の第１の部分を選択された第１の位置に挿入させ、導き出された画像ベースの情報の第２の部分を選択された第２の位置に挿入させることを含んでもよい。例えば、術後報告の第１の一部は、外科的処置の第１の一部の間に捕捉された導き出された画像ベースの情報によって作成され得るフィールドの第１のドセットを含むことができ、また、術後報告の第２の一部は、外科的処置の第２の一部の間に捕捉された導き出された画像ベースの情報によって作成され得るフィールドの第２のセットを含むことができる。別の例では、導き出された画像ベースの情報の第１の一部は、外科的処置の第１の一部に対応することができ、導き出された画像ベースの情報の第２の一部は、外科的処置の第２の一部に対応することができ、予備術後報告内の第１の位置は、（上述したように）外科的処置の第１の一部に対応するものとして識別することができ、予備術後報告内の第２の位置は、（上述したように）外科的処置の第２の一部に対応するものとして識別することができ、それに応じて、導き出された画像ベースの情報の第１の部分を第１の位置に挿入することができ、導き出された画像ベースの情報の第２の部分を第２の位置に挿入することができる。外科的処置の第１及び第２の一部の幾つかの非限定的な例は、異なる手術段階、異なる手術事象、異なる医療機器の使用、異なる動作などを含み得る。
また、本開示の態様は、手術映像を解析して、手術映像の少なくとも１つのフレームの少なくとも一部を選択すること、及び、手術映像の少なくとも１つのフレームの選択された少なくとも一部を外科的処置の術後報告に含ませることを含んでもよい。例えば、術後報告が外科的処置中に使用される外科用器具の１つ以上の画像を保持するように構成されたフィールドを含む場合、例示的な機械学習モデルは、手術映像の１つ以上のフレームを識別し、外科用器具を含む識別されたフレームの部分を選択するように構成され得る。更に、少なくとも１つのフレームの選択された部分（例えば、ポピュレート）を術後報告に挿入することができる。また、機械学習モデルは、手術映像の他の関連フレームを抽出するように構成されてもよい。例えば、手術の焦点である解剖学的構造を描写する手術映像のフレーム、又は外科用器具と解剖学的構造との間の相互作用を描写するフレームが抽出され得る。また、そのような関連するフレームは、術後報告を作成することもできる。
また、開示される実施形態は、予備術後報告を受けること、及び、予備術後報告及び手術映像を解析して、手術映像の少なくとも１つのフレームの少なくとも一部を選択することを含んでもよい。例えば、機械学習モデルは、術後報告を解析し、有害事象の議論（例えば、出血）を識別するように構成することができる。有害事象は、例えば、術後報告に記憶された表示を介して、ＮＬＰアルゴリズムなどを使用して識別することができる。表示は、例えば、有害事象の名前の表示であってもよい。表示は、有害事象が外科的処置中に発生した時間を含み得る。有害事象は、外科的処置のための手術映像を検索し、有害事象を表す視覚データを示すフレームの一部（例えば、出血を示すフレームの一部）を識別するように構成された機械学習モデルを使用して決定され得る。更に、幾つかの例では、フレームの識別部分は、有害事象の議論に関連して術後報告に挿入されてもよく、又は別の方法で有害事象の議論に関連付けられてもよい。
開示された実施形態の更なる態様は、予備術後報告及び手術映像を解析して予備術後報告と手術映像との間の少なくとも１つの不一致を識別することを含むことができる。様々な実施形態では、報告に記憶された情報を、エラーを決定する機械学習モデルを介して導き出された情報と比較することによって、不一致を決定することができる。例示を目的として、手術部位が縫合糸で閉鎖されたことを医療専門家が報告において示し、一方、部位がステープルで閉鎖されたことをビデオが明らかにすると、仮想無限数の潜在的な不一致のうちの１つが発生する可能性がある。ビデオ暴露は、例えば、術後報告が関連処置のビデオ映像と比較されるコンピュータベースのソフトウェアアプリケーション（例えば、図２４Ａに示すように、アプリケーション２４１５）を用いて起こり得る。違いが示されている場合、コンピュータベースのソフトウェアアプリケーションは、エラーの原因を決定することができ、エラーを示すことができ、エラーの通知を送信することができ、及び／又はエラーを自動的に修正することができる。例えば、アプリケーションは、予備術後報告の様々なバージョンを解析して（例えば、上述したようにバージョン追跡システムを使用して）予備術後報告を生成するどのステップで差が最初に現れたかを識別することができる。
前述のように、本開示の実施形態は、識別された少なくとも１つの不一致箇所の指示を提供することを含むことができる。指示は、上述したように、任意の適切な手段を使用してヘルスケア専門家に通知を送信することによって提供することができる。
様々な実施形態は、前述のように、患者識別子の入力及びヘルスケア提供者の識別子の入力を受信することを含むことができる。更に、方法は、前述のように、ヘルスケア提供者によって患者に対して行われた外科的処置の手術映像の入力を受信することを含むことができる。また、方法は、医療機器と生体構造との間の検出された相互作用に基づいて外科的処置の段階を識別するために手術映像の複数のフレームを解析すること、及び、相互作用に基づいて、識別された各段階に名前を関連付けることを含むことができる。例えば、手術映像のフレームの少なくとも一部は、生体構造（本明細書では解剖学的構造とも呼ばれる）に対して手術が行われている手術映像の部分を示すことができる。上述のように、相互作用は、生物学的構造に影響を及ぼし得る又はその逆の医療機器による任意の動作を含み得る。例えば、相互作用としては、医療機器と生物学的構造との間の接触、生物学的構造に対する医療機器による作用（例えば、切断、クランプ、把持、圧力の印加、掻き取りなど）、生物学的構造による生理的応答、医療機器が生物学的構造に向かって光を放出すること（例えば、手術器具は、生物学的構造に向かって光を放射するレーザであってもよい）、解剖学的構造に向かって放出される音、生物学的構造の近くに生成される電磁場、生物学的構造内に誘導される電流、又は任意の他の適切な形態の相互作用を挙げることができる。
場合によっては、相互作用を検出することは、生物学的構造に対する医療機器の近接を識別することを含むことができる。例えば、手術ビデオ映像を解析することによって、画像認識モデルは、医療機器と生体構造上の点（又は点のセット）との間の距離を決定するように構成され得る。
本開示の態様は、医療機器と生物学的構造との間の検出された相互作用に基づいて、識別された各段階に名前を関連付けることを含むことができる。名前は、任意の適切な手段を使用して各識別された段階に関連付けられてもよい。例えば、上記のように、名前は、ユーザによって提供されてもよく、又は上記のように、適切な機械学習方法を使用して自動的に決定され得る。特に、外科的処置の段階を識別するプロセスは、識別された各段階に名前を関連付けることを含む。様々な実施形態では、段階に関連する名前は、生物学的構造の名前及び構造と相互作用する外科用器具の名前を含み得る。
様々な実施形態では、識別された段階に関連する名前は、進行中の手術段階中又は手術段階の完了後に更新、修正、定量化することができ、又は他の方法で変更することができる。例えば、機械学習モデルは、最初に手術段階の名前を「切開」として決定し、その後、医療機器と生物学的構造との間の検出された相互作用に基づいて、手術段階の名前を例示的な名前「腹腔鏡鋏を使用する腹腔鏡手術を介して行われる、腹直筋に向かって内側に延びるランツ切開」に更新することができる。これに加えて又は代えて、手術段階を識別する名前に別個の記録（本明細書ではノートとも呼ばれる）を追加することができ、ノートは手術段階の様々な詳細及び／又は特性を含む。そのような詳細としては、手術段階中に使用される器具、手術段階中に使用される光、例示的な生体構造に加えられる圧力の圧力値、圧力が加えられた領域、手術段階中の生体構造及び／又は医療機器の１つ以上の画像、事象の識別（例えば、出血などの有害事象）、又は手術段階を特徴付ける任意の他の関連情報を挙げることができる。
また、本開示の態様は、患者識別子、外科的処置の識別された段階の名前、及び識別された段階に関連付けられた時間マーカを含むデータをヘルスケア提供者に送信することを含むことができる。
実施形態は、上述したように、各識別された段階の少なくとも開始を決定すること、及び、時間マーカを各識別された段階の開始と関連付けることとを含むことができる。これに加えて又は代えて、時間マーカは、上述したように、識別された段階の終了を識別することができる。送信されるデータは、テキスト、グラフィック、ビデオデータ、アニメーション、音声データなどを含むことができる。場合によっては、送信されるデータは、様々なヘルスケア提供者（例えば、様々な医療従事者、管理者、及び他の対象の個人又はシステム）が所有する任意の適切なデバイス（例えば、スマートフォン、ラップトップ、デスクトップ、ＴＶなど）に配信されるＳＭＳメッセージ、電子メールなどであってもよい。また、場合によっては、送信されるデータは、患者、患者の親戚又は友人に提供されてもよい。
更に、本開示の態様は、ヘルスケア提供者が術後報告の段階名を変更できるようにする態様で、送信されるデータを用いて術後報告を作成することを含み得る。そのような変更は、術後報告の変更を可能にするインタフェースを介して行われ得る。例えば、インタフェースは、ヘルスケア提供者がキーボードを使用して新しい段階名を入力することによって段階名を更新することを可能にすることができる。また、様々な実施形態では、インタフェースは、手術映像で識別されて術後報告に記録される様々な事象の名前を変更するように構成されてもよい。
開示されたシステム及び方法は、外科的処置中に事象を識別するために手術映像を解析すること、事象を一連の推奨事象と比較すること、及び、一連の推奨事象からの任意の事象が外科的処置中に実行されなかったかどうかを決定することを含むことができる。省略された手術事象は、外科的処置中又は外科的処置後に識別される必要があり得る。事象は、一連の推奨事象と比較されてもよく、また、一連の推奨事象と比較することによって決定されるように、外科的処置中に幾つかの事象が実行されなかった場合、どの事象が省略されたかを示すために通知が提供されてもよい。したがって、手術映像を解析し、外科的処置中に省略された事象を識別する必要がある。
本開示の態様は、関連する方法、システム、デバイス、及びコンピュータ可読媒体を含む、外科的処置において省かれる事象の決定及び通知を可能にすることに関するものとなり得る。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、方法は、特定の物理的及び／又は電子的な器具に限定されず、むしろ多くの異なる器具を使用して達成され得る。
開示された実施形態は、省かれた事象の決定及び通知を可能にすることを含むことができ、特定の外科的処置中に捕捉されたビデオのフレームにアクセスすることを伴うことができる。本明細書で使用される場合、ビデオのフレームは、画像捕捉デバイスによって捕捉された連続画像又は非連続画像を含むことができる。そのような画像は、例えば、図１に関連して上述したように、カメラ１１５，１２１，１２３及び／又は１２５によって捕捉され得る。場合によっては、ビデオのフレームは、ビデオのためのサウンドトラックを形成する対応する音声信号を有することができ、音声信号は、音声捕捉デバイス（例えば、図１に示すようなマイクロフォンＤ１１１）によって捕捉される。ビデオフレームは、個々のファイルとして記憶されてもよく、対応する音声データを含むことができるビデオファイルなどの結合フォーマットで記憶されてもよい。幾つかの実施形態では、ビデオは、画像捕捉デバイスから出力される生データ及び／又は画像として記憶することができる。他の実施形態では、ビデオフレームを処理することができる。例えば、ビデオファイルとしては、音声・ビデオ・インターリーブ（ＡＶＩ）、フラッシュ・ビデオ・フォーマット（ＦＬＶ）、クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４Ｐなど）、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｖｉｄｅｏ（ＷＭＶ）、材料交換フォーマット（ＭＸＦ）、非圧縮ビデオファイル、可逆圧縮ビデオファイル、非可逆圧縮ビデオファイル、又は任意の他の適切なビデオ・ファイル・フォーマットを挙げることができる。
本明細書で使用される特定の外科的処置は、任意の医療行為、手術、診断、又は他の医療関連の処置もしくは行為を含み得る。そのような処置は、切断、アブレーション、縫合、又は身体組織及び器官を物理的に変化させることを含む他の技術を含み得る。そのような外科的処置の幾つかの例としては、腹腔鏡手術、胸腔鏡手術、気管支鏡手術、顕微鏡手術、開腹手術、ロボット手術、虫垂切除術、頸動脈内膜切除術、手根トンネル解放、白内障手術、帝王切開、胆嚢摘出術、結腸切除術（結腸部分切除術、結腸全摘術など）、冠状動脈バイパス、創面切除（例えば、創傷、火傷、感染症など）、遊離皮膚移植、痔核切除術、股関節置換術、子宮鏡検査、鼠径ヘルニア修復術、スリーブ胃切除術、腹側ヘルニア修復術、膝関節鏡検査、膝置換術、乳房切除術（部分乳房切除術、全乳房切除術、修正根治的乳房切除術など）、前立腺切除術、前立腺除去術、肩関節鏡検査、脊椎手術（脊椎癒合、椎弓切除術、孔切開術、椎間板切除術、椎間板置換術、層間インプラントなど）、扁桃摘出術、コッホリアインプラント手技、脳腫瘍（例えば髄膜腫など）切除、経皮経管冠動脈形成術、経カテーテル大動脈弁置換術、脳内出血排出のための低侵襲手術、胸腔鏡下手技、気管支鏡検査、ヘルニア修復、子宮摘出術（例えば、単純子宮摘出術、又は根治的子宮摘出術）、根治的子宮摘出術、腎部分切除術、甲状腺摘出術、半結腸摘出術、又は何らかの形の切開、診断、治療又は組織変化を伴う、又は例えば治療、診断、薬物投与、切除、修復、移植、再建、又は改善を伴う任意の他の医療処置を挙げることができる。
各タイプの外科的処置は、それ自体の推奨される一連の事象のうちの１つ以上を含み得るため、特定の外科的処置と推奨される一連の事象との間の逸脱は、外科的処置に特有であり得る。１つのそのような推奨されるシーケンスに従わない場合、逸脱が発生したと言うことができ、通知を提供することができる（例えば、以下で説明するように）。一部の胆嚢手術（腹腔鏡又はロボット胆嚢切除術など）では、例えば、逸脱は、脂肪及び線維組織の肝細胞三角形を除去すること、胆嚢を肝臓から分離すること、嚢胞性プレートを露出させること、又は胆嚢に入る嚢胞管及び嚢胞性動脈を識別できないことを無視することを含み得る。別の例として、幾つかの虫垂手術（腹腔鏡又はロボットによる虫垂切除術など）では、逸脱は、周囲の癒着から虫垂を切除することを無視することを含み得るか、又は周方向に虫垂の基部を同定することができないことを含み得る。幾つかのヘルニア手術（腹腔鏡下腹部ヘルニア修復など）では、逸脱は、ヘルニア内容を減少させることを無視すること、メッシュを固定する前にヘルニアの周囲の筋膜を視覚化することを無視すること、ヘルニアの周囲の筋膜を分離することを無視すること、又は鼠径管要素を識別及び／又は分離することを無視することなどを含み得る。そのような鼠径管要素の例は、精巣動脈、静脈の乳頭状神経叢、神経、血管などであり得る。腹腔鏡単純子宮摘出術などの一部の子宮手術では、逸脱には、子宮動脈の識別及び／又は結紮を無視すること、尿管の識別を無視することなどが含まれ得る。ロボット広汎子宮全摘出術などの幾つかの他の子宮手術では、逸脱は、腸骨血管を識別することを無視すること、栓塞子神経を識別することを無視することなどを含むことができる。ロボットによる根治的前立腺切除術などの幾つかの前立腺手術では、逸脱は、前膀胱壁の膀胱頸部を識別することを無視すること、後膀胱壁の膀胱頸部を識別することを無視すること、尿管開口部を識別することを無視すること、及び／又は他の解剖学的構造を識別することを無視することを含み得る。腹腔鏡又はロボット部分的腎摘出術などの腎臓を伴う処置では、逸脱は、腎門を識別することを無視することを含むことができ、腎門を識別することを無視することは、動脈、静脈、及び尿管を含む収集系のうちの少なくとも１つを識別することを無視することを含むことができる。開放型又はロボット式甲状腺摘出術などの甲状腺手術では、逸脱は、再発性喉頭神経を同定することを無視することを含み得る。結腸処置（例えば、開腹、腹腔鏡、又はロボットのいずれであるかにかかわらず、結腸切除術又は半結腸切除術など）では、逸脱は、結腸を後腹膜から切開することを無視すること、結腸を肝臓から切開することを無視すること、結腸を脾臓曲から切開することを無視すること、又は吻合を行うことを無視すること、結腸を癒着のないように視覚化することを無視すること、及び／又は張力なしで視覚化することを無視すること、吻合を行うことを無視すること、張力なしの吻合及び／又は十分に灌流された吻合及び／又は技術的に十分に密封された吻合を視覚化することを無視することなどを含み得る。上記はほんの数例である。より広義には、予測される又は認識された行動経路からの任意の逸脱は、逸脱と見なされ得る。
外科的処置は、手術室又は任意の他の適切な場所で行われてもよい。手術室は、無菌環境で手術が行われる施設（例えば、病院内の部屋）であってもよい。手術室は、良好に照明され、頭上手術照明を有するように構成され得る。手術室は、制御された温度及び湿度を特徴とすることができ、窓なしであってもよい。例示的な実施形態では、手術室は、空気を濾過し、汚染を防止するために手術室内のわずかに高い圧力を維持する空調装置を含むことができる。手術室は、停電の場合に電気バックアップシステムを含むことができ、酸素及び麻酔ガスの供給を含むことができる。部屋は、一般的な外科用品、使い捨て用品用の容器、麻酔カート、手術台、カメラ、モニタ、及び手術用の他の物品のための貯蔵空間を含むことができる。手術前に外科医、麻酔医、術部開業医（ＯＤＰ）、及び看護師によって使用される専用の洗浄領域が、手術室の一部であってもよい。更に、手術室に含まれるマップは、端末清掃員が清掃中に手術台及び機器を所望のレイアウトに再調整できるようにしてもよい。様々な実施形態では、１つ以上の手術室は、ヘルスケア施設内に別個のセクションを形成することができる手術室の一部であってもよい。手術室は、１つ以上の洗面室、準備室及び回収室、貯蔵施設及び清掃施設、オフィス、専用廊下、並びに場合によっては他の支援ユニットを含むことができる。様々な実施形態では、手術室は、気候制御及び／又は空気制御され、他の部門から分離されてもよい。
特定の外科的処置中に捕捉されたビデオのビデオフレームにアクセスすることは、手術室に配置された画像センサ（又は複数の画像センサ）からフレームを受信することを含むことができる。画像センサは、画像又はビデオデータを捕捉することができる任意の検出器であってもよい。ビデオフレームは、任意の持続時間のクリップなど、動画を構成する多くの静止画像のうちの１つの少なくとも一部を含むことができる。ビデオの捕捉は、１つ以上の静止画像又はその一部が画像センサから受信されたときに行われ得る。これに代えて又は加えて、１つ以上の静止画像又はその一部が記憶場所内のメモリから読み出されるときに捕捉が行われてもよい。例えば、ビデオフレームは、ローカルハードドライブなどのローカルメモリからアクセスされてもよく、又は例えばネットワーク接続を介してリモートソースからアクセスされてもよい。例示的な実施形態では、ビデオフレームは、図１４に示すように、データベース１４１１から読み出されてもよい。例えば、システム１４１０のプロセッサ１４１２は、データベース１４１１からビデオフレームを読み出すために命令（例えば、ソフトウェア１４１６として実装される命令）を実行するように構成され得る。ビデオフレームは、特定の外科的処置のために読み出されてもよい。
省かれる事象の決定及び通知を可能にするための実施形態の態様は、外科的処置のための推奨される一連の事象を識別する記憶されたデータにアクセスすることを更に含むことができる。本明細書で使用される場合、外科的処置の事象（手術事象とも呼ばれる）は、外科医、外科技術者、看護師、医師の助手、麻酔科医、医師、又は任意の他のヘルスケア専門家によって実行される動作など、外科的処置（例えば、術中手術事象）の一部として実行される動作を指すことができる。術中手術事象は、切開、薬物の投与、外科用器具の使用、切除、切開除去、結紮、移植片、縫い合わせ、縫合、又は外科的処置もしくは段階に関連する任意の他の計画された事象などの計画された事象であり得る。
腹腔鏡下胆嚢摘出手術における手術事象の例としては、トロッカ配置、カロー三角切開、胆嚢管及び動脈のクリッピング及び切断、胆嚢切開、胆嚢のパッケージング、肝床の洗浄及び凝固、胆嚢の収縮などを挙げることができる。別の例では、白内障手術の手術事象としては、ポビドンヨード注射、角膜切開、嚢切開、水晶体乳化術、皮質吸引、眼内レンズ移植、眼内レンズ調整、創傷封止などを挙げることができる。更に別の例では、下垂体手術の外科的な特性事象としては、準備、鼻切開、鼻開創器の設置、腫瘍へのアクセス、腫瘍の除去、鼻置換、縫合、鼻圧搾機の設置などを挙げることができる。上記は、外科的処置と外科的処置内の事象との間の区別を説明するためのほんの数例であり、本明細書に記載の実施形態を限定することを意図するものではない。一般的な手術事象の幾つかの他の例は、切開、腹腔鏡位置決め、縫合などを含み得る。
幾つかの実施形態では、手術事象は、計画されていない事象、有害事象又は合併症を含み得る。有害な手術事象の幾つかの例としては、出血、腸間膜気腫、傷害、計画されていない開放手術（例えば、腹壁切開）への転換、計画されたよりも有意に大きい切開などを挙げることができる。術中合併症の幾つかの例としては、高血圧、低血圧、徐脈、低酸素血症、癒着、ヘルニア、非定型解剖学的構造、硬膜裂傷、腹膜損傷、動脈閉塞などを挙げることができる。場合によっては、手術事象は、技術的エラー、通信エラー、管理エラー、判断エラー、状況認識エラー、意思決定エラー、医療機器利用に関連するエラーなどを含む他のエラーを含み得る。様々な実施形態では、事象は短時間であってもよく、持続時間にわたって持続してもよい。例えば、短い事象（例えば、切開）は、外科的処置中の特定の時間に発生すると決定されてもよく、また、長い事象（例えば、出血）は、ある期間にわたって発生すると決定されてもよい。場合によっては、長い事象は、明確な開始事象及び明確な終了事象（例えば、縫合の開始及び縫合の終了）を含むことができ、縫合は長い事象である。場合によっては、長い事象は、外科的処置中の段階とも呼ばれる。
様々な実施形態において、推奨事象は、外科的処置中に必要とされる事象であり得る。同様に、推奨事象は、外科的処置中に発生することが提案される事象であってもよい。例えば、気管支鏡検査中の推奨される事象は、患者の鼻又は口を通して、患者の喉を通って患者の肺に気管支鏡を挿入することを含み得る。推奨される一連の事象は、推奨される一連の推奨事象を含むことができる。場合によっては、手術事象は、サブ事象のグループ（すなわち、２つ以上のサブ事象又はステップ）を識別することができる。例えば、患者に全身麻酔を投与する事象は、意識消失を誘発するためにＩＶラインを介して患者に薬剤を提供する第１のステップ、及び全身麻酔を維持するために適切なガス（例えば、イソフルラン又はデスフルラン）を投与する第２のステップなどの幾つかのステップを含み得る。
例示的な実施形態では、推奨事象は、患者に鎮痛薬を投与すること、患者を好ましい位置に配置すること、患者から生検サンプルを取得すること、又は必要ではない任意の他の提案された事象を含むことができる。
推奨される一連の事象は、外科的処置中に使用される任意の適切な確立された一連の事象を含み得る。推奨される一連の事象は、履歴的な外科的処置を解析して外科的処置の指針を決定することによって、ヘルスケア専門家（例えば、外科医、麻酔科医、又は他の医療専門家）によって確立され得る。推奨される一連の事象の例は、例えば、円周方向のビューで付録ベースを検査することを含むことができる。場合によっては、推奨される一連の事象は、当該技術分野で知られているように、安全性の危機的観点（ＣＶＳ）に基づいてもよい。例えば、腹腔鏡下胆嚢切除中に、安全性の危機的観点を使用して、胆管の損傷を最小限に抑えるために嚢胞管及び嚢胞動脈を識別することができる。他の実施形態では、必須の推奨される一連の事象の決定は、履歴的な手術ビデオ映像に人工知能を適用することによって自動的に決定されてもよい。
実例として、幾つかの実施形態では、胆道損傷を回避するためにＣＶＳを使用することができる。ＣＶＳを使用して、胆嚢切除術で分割される２つの管状構造、すなわち嚢胞管と嚢胞動脈とを識別することができる。ＣＶＳは、両方の嚢胞性構造が推定的に識別され、その後、胆嚢が自由にぶら下がって２つの嚢胞性構造によって付着するように、胆嚢が嚢胞板から取り出される開放胆嚢切除術におけるプロセスとして使用され得る。腹腔鏡手術では、胆嚢の本体を嚢胞性プレートから完全に分離すると、嚢胞性構造のクリッピングが困難になる。したがって、腹腔鏡検査の場合、要件は、胆嚢の下部（約１／３）が嚢胞性プレートから分離され得ることであり得る。他の２つの要件は、肝細胞三角形から脂肪及び線維組織が取り除かれること、並びに胆嚢に結合した構造が２つしかないことであり得る。ＣＶＳの３つの要素全てが達成されるまでは、嚢胞性構造をクリップして分割することはできない。術中のＣＶＳは、ＣＶＳの３つの要素が実証されている「タイムアウト」において確認されるべきである。ＣＶＳは解剖の方法ではなく、安全なハンチング処置で使用される概念に似た標的同定の方法であることに留意されたい。
推奨される一連の事象は、以下の条件項を含むことができる。例示的な例として、バイパス手術のための推奨される一連の事象は、（１）患者に全身麻酔を投与すること、（２）バイパスグラフトとして使用される動脈を準備すること、（３）患者の心臓及び冠動脈にアクセスするために、胸骨（胸骨）を介して患者の胸部の中央で切開を行うこと、（４）人工心肺装置を接続すること、（５）患者の心臓が拍動している間に、疾患のある冠動脈の閉塞の下の開口部の周りに動脈の１つのセクションを縫合すること、（６）患者の心臓が血液を圧送し続けているかどうかを確認すること、（７）患者の心臓が拍動を停止した場合、人工心肺装置を作動させること、（８）大動脈に形成された開口部に他端を取り付けることなどを含み得る。上述したように、人工心肺装置を作動させる事象は、推奨される一連の事象の一部であってもよく、心拍の停止の手術事象などの任意の適切な手術事象（又はその欠如）によってトリガされてもよい。場合によっては、推奨される一連の事象は、一連の事象における次の事象を決定するための決定木を含むことができる。幾つかの例では、推奨される一連の事象は、推奨される一連の事象で指定され得る特定の時間間隔内に発生する必要がある事象を含み得る。例えば、事象は、外科的処置の特定の時間間隔内、外科的処置の開始後の特定の時間間隔内、外科的処置の完了前の特定の時間間隔内、第２の事象（例えば、第２の事象の完了後、第２の事象の開始後など）の発生後の外科的処置の特定の時間間隔内、第２の事象の発生前の外科的処置の特定の時間間隔内などで発生することが要求され得る。
記憶されたデータにアクセスして推奨される一連の事象を識別することは、適切な記憶場所（例えば、メモリ、ハードドライブ、データベース、サーバなどのデータ記憶装置）から記憶されたデータを検索することを含むことができる。例示的な実施形態では、記憶されたデータは、図１４に示すように、データベース１４１１から読み出すことができる。例えば、システム１４１０のプロセッサ１４１２は、命令（例えば、ソフトウェア１４１６として実装される命令）を実行してデータベース１４１１から記憶されたデータを読み出すように構成されてもよい。記憶されたデータは、特定の外科的処置のために読み出され得る。幾つかの例では、推奨される一連の事象を識別することは、複数の別のシーケンスの推奨される一連の事象を選択することを含み得る。例えば、推奨される一連の事象は、外科的処置のタイプに基づいて、外科的処置で使用されている又は使用されると予測される医療機器に基づいて、外科的処置に関連する解剖学的構造の状態に基づいて、外科的処置に関連する患者の特性に基づいて（そのような特性の幾つかの例は上記で説明されている）、外科的処置に関連する外科医又は医療専門家の特性に基づいて（そのような特性の幾つかの例は上記で説明されている）、外科的処置に関連する手術室の特性に基づくなどして選択され得る。幾つかの例では、推奨される一連の事象は、外科的処置中に、外科的処置において既に発生した１つ以上の事象に従って選択（又は修正）されてもよい。例えば、外科的処置における特定の事象の発生は、外科的処置のタイプ（例えば、切開の位置及び／又は長さは、外科的処置が開腹外科的処置であるか腹腔鏡外科的処置であるかを示すことができ、特定の医療機器の使用は、特定の一連の事象を必要とし得る特定の技術の選択を示すことができる）又は外科医が特定の外科的処置のために選択した技術を示すことができ、また、対応する推奨される一連の事象を選択することができる。別の例では、外科的処置における特定の事象の発生は、異なる推奨される一連の事象を必要とする合併症を示すことができ、また、対応する一連の事象を選択することができる。更に別の例では、特定の進行中の外科的処置において発生する第１の事象に応じて、特定の進行中の外科的処置の残りの部分に対して第１の推奨される一連の事象が選択されてもよく、また、特定の進行中の外科的処置において発生する第２の事象に応じて、特定の進行中の外科的処置の残りの部分に対して第２の推奨される一連の事象が選択されてもよく、第２の推奨される一連の事象は、第１の推奨される一連の事象と異なってもよい。幾つかの例では、特定の進行中の外科的処置から捕捉された画像データを解析して、特定の進行中の外科的処置の残りの部分に対する推奨される一連の事象を選択することができる。例えば、画像データは、特定の進行中の外科的処置における事象及び／又は状態を検出するために解析されてもよく（例えば、上述したように）、推奨される一連の事象は、検出された事象及び／又は状態に基づいて選択され得る。別の例では、機械学習モデルは、画像及び／又はビデオに基づいて推奨される一連の事象を選択するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、画像データを解析し、特定の進行中の外科的処置の残りの部分について推奨される一連の事象を選択するために使用されてもよい。そのようなトレーニング例の一例は、外科的処置の残りの部分に対する推奨される一連の事象の所望の選択を示すラベルと共に、外科的処置の第１の部分を描写する画像及び／又はビデオを含み得る。
推奨される一連の事象２６０１の例が図２６に概略的に示されている。例えば、事象Ｅ１（例えば、人工心肺装置の接続）は、推奨シーケンスにおける最初の事象であってもよい。事象Ｅ１は、外科的処置の時間間隔Ｔ１Ａ～Ｔ１Ｂの間に発生する必要があり得る。事象Ｅ２（例えば、縫合）は、第２の事象であってもよく、外科的処置の時間間隔Ｔ２Ａ～Ｔ２Ｂ（又は他の例では、事象Ｅ１の完了後の時間間隔Ｔ２Ａ～Ｔ２Ｂの間、事象Ｅ１の開始後の時間間隔Ｔ２Ａ～Ｔ２Ｂの間など）の間に発生する必要があってもよい。事象Ｅ２の完了後、条件文Ｃ１（例えば、患者の心臓のパルスを決定すること）が評価され得る。条件文Ｃ１が値Ｖ１に対して評価する場合（例えば、患者に脈がない場合）、時間間隔Ｔ３Ａ～Ｔ３Ｂの間に事象Ｅ３（例えば、人工心肺装置を作動させる）が必要とされ得る。文Ｃ１が値Ｖ２（例えば、毎分１０拍のパルス）に対して評価する場合、時間間隔Ｔ４Ａ～Ｔ４Ｂの間に事象Ｅ４（例えば、第１の薬剤を患者に投与する）が必要とされてもよく、文Ｃ１が値Ｖ３（例えば、毎分１００ビートのパルス）に対して評価する場合、時間間隔Ｔ５Ａ～Ｔ５Ｂの間に事象Ｅ５（例えば、第２の薬剤を患者に投与する）が必要とされ得る。
省かれる事象の決定及び通知を可能にする方法の態様は、アクセスされたビデオフレームを推奨された一連の事象と比較して、特定の外科的処置と外科的処置のための推奨された一連の事象との間の逸脱の表示を識別することを更に含むことができる。幾つかの例では、機械学習モデルは、画像及び／又はビデオから外科的処置と外科的処置のための推奨される一連の事象との間の逸脱の表示を識別するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、ビデオフレームを解析し、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱の表示を識別するために使用されてもよい。そのようなトレーニング例の一例は、外科的処置が一連の事象から逸脱したかどうかを示すラベルと共に、外科的処置を描写する一連の事象及び画像及び／又はビデオを含むことができる。
幾つかの例では、アクセスされたビデオフレームを推奨された一連の事象と比較することは、例えば上述したように、ビデオフレームを解析し、ビデオフレーム内の事象を識別することを含むことができる。例えば、ビデオフレーム内の事象を識別することは、例えば上述したように、トレーニングされた機械学習モデルを使用して達成することができる。一例では、事象を識別することは、事象のタイプを識別すること、事象の名前を識別すること、事象の特性を識別すること（そのような特性の幾つかの例は上述されている）、事象の発生時間（又は時間間隔）を識別することなどのうちの少なくとも１つを含むことができる。更に、幾つかの例では、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱の表示を識別するために、識別された事象を推奨される一連の事象と比較することができる。幾つかの例では、ビデオフレームの解析及びビデオフレーム内の事象の識別は、特定の外科的処置が進行している間に行われてもよく、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱は、特定の外科的処置が進行している間に識別されてもよい。他の例では、ビデオフレームの解析及びビデオフレーム内の事象の識別は、特定の外科的処置の完了後に行われてもよく、及び／又は特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱は、特定の外科的処置が完了した後に識別されてもよい。
機械学習方法を使用して特性事象を検出することは、１つの可能な手法であり得る。これに加えて又は代えて、特性事象は、様々な他の手法を使用して画像センサから受信されたビデオフレーム内で検出されてもよい。一実施形態では、特性事象は、外科的処置中に医療専門家（例えば、外科医）によって識別され得る。例えば、特性事象は、１つ以上の画像センサ／音声センサによって捕捉されて特性事象のトリガとして認識され得る外科医からの視覚信号又は音声信号（例えば、ハンドジェスチャ、ボディジェスチャ、医療機器によって生成された光源によって生成された視覚信号、話し言葉など）を使用して識別され得る。
更に、アクセスされたビデオフレームを推奨される事象シーケンスと比較することは、ビデオフレーム内の識別された事象のシーケンスを外科的処置のための推奨される事象シーケンスと比較することを含むことができる。例えば、図２７は、ビデオフレーム内の推奨（又は必須）事象のシーケンス２７０１及び識別された事象のシーケンス２７０２を示す。シーケンス２７０１をシーケンス２７０２と比較する際、シーケンス２７０１からのシーケンス２７０２の逸脱が決定され得る。シーケンス２７０２は、様々な方法でシーケンス２７０１から逸脱し得る。場合によっては、シーケンス２７０２はシーケンス２７０１とは異なる事象を有し得る。例えば、図２７に示すように、シーケンス２７０１は事象Ｅ１～Ｅ４を有することができ、シーケンス２７０２は事象Ｓ１～Ｓ５を有することができる。シーケンス２７０１及び２７０２は、図２７に示すように、区間Ｉ１～Ｉ４のそれぞれについて比較することができる。例えば、シーケンス２７０１の事象Ｅ１は、シーケンスの間隔Ｉ１について事象Ｓ１と比較され得る。例示的な実施形態では、事象Ｅ１は事象Ｓ１から逸脱してもよい。或いは、事象Ｅ１は、事象Ｓ１と実質的に同じであってもよい。場合によっては、事象Ｅ１は事象Ｓ１とは実質的に異なり得る。
様々な実施形態において、事象Ｅ１と事象Ｓ１との間の差を定量化するために、ある範囲の値を有することができる適切な測定関数Ｆ（Ｅ１，Ｓ１）を規定することができる。例示的な実施形態では、測定関数Ｆは、事象Ｅ１とＳ１との間の差を決定する単一の数を返すことができ、例えば、Ｆ（Ｅ１，Ｓ１）＜Ｆ０（Ｅ１）の場合、事象Ｅ１及びＳ１は実質的に同じであると決定され、Ｆ（Ｅ１，Ｓ１）＞Ｆ１（Ｅ１）の場合、事象Ｅ１及びＳ１は実質的に異なると決定される。ここで、値Ｆ０及びＦ１は、事象のタイプ（すなわち、事象Ｅ１の閾値Ｆ０（Ｅ１）及びＦ１（Ｅ１）は、事象Ｅ２の閾値Ｆ０（Ｅ２）及びＦ１（Ｅ２）とは異なり得る）ごとに選択され得る任意の適切な所定の閾値であり得る。様々な場合において、事象Ｅ１及びＳ１は、（事象特性とも称される）パラメータのセットによって特徴付けけられてもよい。例えば、事象Ｅ１は、図２７に示すように、パラメータＰ１Ｅ１～ＰＮＥ１によって特徴付けることができる。パラメータＰ１Ｅ１－ＰＮＥ１は、数字の配列（例えば、画像）によって表され得る単語、数字、又はデータを含み得る。例えば、パラメータＰ１Ｅ１は、文字列（例えば、「切開」）によって特徴付けられる事象Ｅ１のタイプを示すことができ、パラメータＰ２Ｅ１は、切開の長さを特徴付ける番号（例えば、１センチメートル）とすることができ、パラメータＰ３Ｅ１は、切開の深さ（例えば、３ミリメートル）とすることができ、パラメータＰ４Ｅ１は、２つの番号（例えば、｛１０，２０｝）によって特徴付けることができる切開の位置とすることができる。切開の位置は、外科的処置中に捕捉されたビデオフレームのうちの１つ以上の切開を識別することによって指定することができ、パラメータＰＮＥ１は、切開に使用される手術器具のタイプ（例えば、「ＣＯ２レーザ」）を示すことができる。事象Ｅ１は、事象を完全に特徴付けるのに必要な数のパラメータを有することができる。更なる事象Ｅ１は、任意の適切な精度（例えば、ミリ秒の精度まで）に規定することができる開始時間ＴＳＥ１及び終了時間ＴＦＥ１によって特徴付けることができる。ＴＳＥ１及びＴＦＥ１は、任意の適切な時間フォーマット（例えば、フォーマットは、時間：分：秒：ミリ秒であってもよい）を使用して表すことができる。同様に、事象Ｓ１は、図２７に示すように、パラメータＰ１Ｓ１－ＰＮＳ１、開始時間ＴＳＳ１、及び終了時間ＴＦＳ１によって特徴付けることができる。例示的な例として、パラメータ｛Ｐ１Ｅ１，Ｐ２Ｅ１，Ｐ３Ｅ１，Ｐ４Ｅ１，ＰＮＥ１，ＴＳＥ１，ＴＦＥ１｝は、任意の適切なデータ構造（例えば、｛Ｐ１Ｅ１，Ｐ２Ｅ１，Ｐ３Ｅ１，Ｐ４Ｅ１，ＰＮＥ１，ＴＳＥ１，ＴＦＥ１｝＝｛「切開」、１［ｃｍ］、３［ｍｍ］、｛１０，２０｝、「ＣＯ２レーザ」、１３：２０：５４：８０、１３：２０：５９：７６｝である）によって表されてもよい。
様々な実施形態において、測定関数Ｆ（Ｅ１，Ｓ１）は、任意の適切な方法で規定されてもよい。例示的な実施形態として、測定関数は、
Figure 0007596269000001
として規定されてもよく、ここで
Figure 0007596269000002
及び
Figure 0007596269000003
は関連する数値パラメータであり、事象Ｅ１及び事象Ｓ１が同じタイプである（例えば、両方の事象は「切開」タイプである）場合、パラメータ
Figure 0007596269000004
はテキスト文字列（又は、数の配列によって表すことができる画像などのデータ）であり、関数Ｍは、テキスト文字列
Figure 0007596269000005
が同じ意味を含む場合は０を返し、テキスト文字列
Figure 0007596269000006
が異なる意味を含む場合は１を返す。
Figure 0007596269000007
が画像に対応する場合、関数Ｍは、画像が実質的に同じである場合には０を返し、画像が異なる場合には１を返すことができる。様々な実施形態において、画像は、以下で更に説明する任意の適切な画像認識アルゴリズムを使用して比較することができる。或いは、関数Ｍは、パラメータ
Figure 0007596269000008
によって表されるデータのタイプに応じて、
Figure 0007596269000009
を比較するための任意の適切なアルゴリズムを実行するように構成されてもよく、データは、テキスト文字列、数字の配列、画像、ビデオ、音声信号などを含んでもよい。
事象Ｅ１及びＳ１が同じタイプでない場合（例えば、事象Ｅ１は「切開」に対応し得、事象Ｓ１は「薬剤を投与する」に対応し得る）、及びシーケンス２７０２が事象Ｅ１と同じタイプの事象を含まない場合、測定関数Ｆ（Ｅ１，Ｓ１）は、事象Ｅ１及びＳ１が実質的に異なることを示す大きい所定の数（又は文字列）まで評価され得る。
上述したように、一連の事象２７０１と２７０２との間の逸脱は、外科的処置Ｉ１～Ｉ４の各区間について適切な測定関数Ｆ（Ｅｉ，Ｓｉ）を評価することによって決定することができる。完全な逸脱は、測定関数の和Σｉ（Ｅｉ，Ｓｉ）として計算することができ、ここでｉ＝｛Ｉ１…Ｉ４｝である。しかしながら、様々な実施形態では、対応する事象Ｅ１～Ｅ４からの事象Ｓ１～Ｓ４の全ての逸脱を計算することは、重要及び／又は必要ではない場合がある。様々な場合において、大きな逸脱（すなわち、Ｆ（Ｅｉ，Ｓｉ）＞Ｆ１（Ｅｉ）の逸脱）のみが重要であり得る。そのような逸脱については、事象Ｅｉ、Ｓｉを識別し、更なる解析のために記憶することができる。更に、測定関数Ｆ（Ｅｉ，Ｓｉ）の値もまた、更なる解析のために記憶されてもよい。様々な実施形態において、事象Ｅｉ、Ｓｉ、及び測定関数Ｆ（Ｅｉ，Ｓｉ）に関するデータは、任意の適切な手段（例えば、ハードドライブ、データベース１１１など）を使用して記憶することができる。
測定関数を使用することは、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱の表示を識別する１つの可能な手法であり得る。例えば、リスト及び／又はグラフを比較するための任意のアルゴリズムを使用して、実際の一連の事象を推奨される一連の事象と比較し、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱の表示を識別することができる。これに代えて又は加えて、逸脱の表示を識別することは、例えば上述したように、一連の事象と手術映像との間の逸脱の表示を識別するためにトレーニング例を使用してトレーニングされた機械学習モデルを使用して行われる。例示的な実施形態では、例示的なトレーニング例は、特定のタイプ（例えば、胆嚢切除術）の外科的処置中に捕捉されたビデオのフレームなどの手術映像、並びにそのタイプの外科的処置の推奨される一連の事象を含むことができる。トレーニング例は、機械学習トレーニングアルゴリズムの入力として使用することができ、また、結果として得られる機械学習モデルは、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱の適切な指標とすることができる。逸脱の指標は、任意の適切な指標であり得る。例示的な実施形態では、測定値は、推奨される事象とは実質的に異なる、外科的処置中の事象を列挙又は分類することができる。例えば、推奨される事象が縫合を必要とするが、外科的処置中に代わりに外科用接着剤が使用された場合、そのような事象は、推奨される事象とは実質的に異なるものとして列挙又は分類され得る。これに加えて又は代えて、指標は、外科的処置中に実行されなかった推奨される事象を列挙することができる（例えば、縫合が必要であったが実施されなかった場合、そのような事象は、実施されていないものとして列挙され得る）。更に、指標は、実行されたが推奨されない外科的処置中の事象を列挙することができる。例えば、外科的処置中に患者に鎮痛薬を投与する事象が行われてもよく、推奨されなくてもよい。更に、機械学習モデルは、上述したように、手術中に行われた事象の特性と対応する推奨事象との間の逸脱を出力することができる。例えば、外科的処置中の切開事象中に、切開長さが推奨事象によって記述される切開よりも短い場合、そのような逸脱は、機械学習方法によって識別され、更なる解析のために記録され（例えば、記憶され）得る。
様々な実施形態において、逸脱の表示を識別することは、フレームを、推奨される一連の事象を示す基準フレームと比較することを含む。基準フレームは、履歴的な外科的処置中に捕捉された履歴的なフレームであってもよい。例示的な実施形態では、推奨される一連の事象を描写するビデオフレーム及び基準フレームは、推奨される（又は必須の）一連の事象の対応する開始事象と同じ（又は実質的に同様の）事象（本明細書では開始事象とも呼ばれる）によって同期され得る。場合によっては、開始事象の開始を描写するフレームは、推奨される一連の事象の開始事象を描写する基準フレームと同期されてもよい。場合によっては、外科的処置の事象は、上述の任意の適切な手法を使用して（例えば、事象を認識するために画像認識アルゴリズムを使用する）、推奨シーケンスの対応する基準事象に最初に相関させることができる。例示的な手術事象を推奨シーケンスの対応する基準事象と相関させた後、手術事象の開始を表すフレームを、対応する推奨事象の開始を表す基準フレームと同期させることができる。
これに加えて又は代えて、逸脱の表示を識別することは、術中外科的処置に関連する経過時間に基づいてもよい。例えば、外科的処置に関連する経過時間が、推奨される一連の事象を有する外科的処置に関連する平均経過時間よりも著しく長い（又は短い）場合、方法は、推奨される一連の事象からの逸脱が発生したと決定するように構成され得る。
また、方法の態様は、逸脱に関連する外科的処置のフレームのセットを識別すること、及び、逸脱が発生したという通知を提供することを含むことができる。通知は、逸脱に関連する識別されたフレームのセットを表示することを含むことができる。例えば、逸脱に関連するフレームのセットは、基準対応推奨事象とは異なる（例えば、異なる特性を有する）外科的処置中の特定の事象を描写することができる。或いは、逸脱に関連付けられたフレームのセットは、推奨される一連の事象に存在しない事象のフレームを含むことができる。様々な実施形態において、通知は、フレームを静止画像として表示すること、又はフレームをビデオデータとして表示することを含むことができる。フレームは、電子デバイスの任意の適切な画面に表示されてもよく、又は（場合によっては）印刷されてもよい。幾つかの実施形態では、フレームの幾つかは、フレームのセットから選択され、任意の適切な手段を使用して（例えば、電子デバイスの表示画面を使用する）表示され得る。
省かれる事象の決定及び通知を可能にする方法の態様は、例えば上述したように、一連の事象と手術映像との間の逸脱を識別するためにトレーニング例を使用して機械学習モデルをトレーニングすることを更に含むことができる。例えば、トレーニング例を機械学習モデルの入力として使用し、モデルによって返された逸脱の指標を解析することができる（例えば、逸脱の指標は、ヘルスケア専門家などのモデルトレーニング専門家によって解析することができる）。モデルによって返された逸脱の指標が逸脱の所望の指標と一致しない場合、機械学習モデルの様々なパラメータを調整して、逸脱の指標を正しく予測するように機械学習モデルをトレーニングすることができる。例えば、機械学習モデルがニューラルネットワークである場合、そのようなニューラルネットワークのパラメータ（例えば、ネットワークの重み、ニューロンの数、活性化関数、ネットワークのバイアス、ネットワーク内の層の数など）は、任意の適切な手法を使用して調整することができる（例えば、ニューラルネットワークの重みは、逆伝播プロセスを使用して調整することができる）。様々な実施形態では、そのような調整は自動的に（例えば、逆伝播プロセスを使用して）行われてもよく、又は場合によっては、調整はトレーニング専門家によって行われてもよい。
様々な実施形態において、逸脱の指標が逸脱の所望の指標とどの程度よく一致するかは、任意の適切な数学的測定関数Ｇを使用して断言することができる。例えば、事象の逸脱の指標が数（例えば、ｄ）であり、逸脱の所望の指標が別の数（例えば、ｄ０）である場合、所定の事象の例示的な数学的測定関数ＥｉはＧｉ（ｄ，ｄ０）であってもよく、Ｇｉ（ｄ，ｄ０）＝ｄ－ｄ０であってもよく、測定関数は、例えば数
Figure 0007596269000010
であってもよく、或いは、別の例示的な実施形態では、Ｇがベクトル
Figure 0007596269000011
であってもよい。
シーケンス２７０１からのシーケンス２７０２の逸脱を決定するプロセスを更に説明するために、図２７は、シーケンス２７０１の事象Ｅ１～Ｅ４がシーケンス２７０２の事象Ｓ１～Ｓ５と比較され得る区間Ｉ１～Ｉ４を示す。例えば、区間Ｉ１の間、事象Ｓ１は事象Ｅ１と実質的に同じであってもよく、また、区間Ｉ２の間、事象Ｓ２は事象Ｅ２から逸脱してもよいが事象Ｅ２と十分に類似し得る。例えば、事象Ｓ２は、３センチメートルの切開長さを有する「切開」に対応することができ、事象Ｅ２は、２センチメートルの切開長さを有する「切開」に対応することができる。例示的な実施形態では、外科的処置の間隔Ｉ３の間、事象Ｅ３は事象Ｓ３とは実質的に異なり得る（例えば、事象Ｅ３は「切開」として識別され、事象Ｓ３は「縫合」として識別され得る）。区間Ｉ４の間、事象Ｅ４は、事象Ｓ４とは実質的に異なり得るが、区間Ｉ５の間に識別された事象Ｓ５と実質的に同じ（図２７に示すように、矢印２７１１で示すように）であり得る。２７０１からのシーケンス２７０２の逸脱を計算するとき、シーケンス２７０２の事象Ｓ４は、シーケンス２７０１において対応する対応物を有しない「挿入」事象として識別され得る。事象Ｓ４のそのような特徴付けは、更なる解析のために記録され得る（例えば、ハードドライブ、データベース１１１、又は他の何らかの場所に記憶される）。
開示された実施形態の態様は、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱の表示を識別することを更に含むことができる。場合によっては、逸脱の表示を識別することは、例えば、外科的処置中にリアルタイムでなど、進行中の外科的処置中に逸脱の表示を識別することを含むことができる。様々な実施形態において、逸脱は、逸脱の表示を識別することに関連する処理のために、外科的処置の進行中の時間から測定されるような小さな遅延で識別することができる。遅延は、ミリ秒、秒、数秒、数十秒、分、数分などであり得る。逸脱が識別されると、開示の実施形態は、進行中の外科的処置中に通知を提供することを含むことができる（例えば、逸脱が識別されるとすぐに通知を提供する。）例えば、通知の提供は、外科的処置中にリアルタイムで行われ得る。
開示された実施形態の態様は、特定の外科的処置において特定の動作がまさに起ころうとしているという表示を受けることを含んでもよい。特定の動作がまさに起ころうとしているという表示は、外科的処置のフレームの解析に基づくことができる。例示的な実施形態では、表示は、進行中の外科的処置の手術映像を解析するための機械学習モデルなどのコンピュータベースのソフトウェアアプリケーションから受信することができる。例えば、機械学習モデルは、本明細書に記載の開示された実施形態と整合する画像認識アルゴリズムであってもよい。
幾つかの実施形態では、画像認識アルゴリズムは、解剖学的構造に近接する手術器具を認識し、認識された手術器具に基づいて、外科的処置において特定の動作がまさに起ころうとしていると決定することができる。幾つかの実施形態では、手術器具、解剖学的構造の存在、及び／又は手術器具と解剖学的構造との間の相互作用は、特定の動作がまさに起ころうとしていることの指標として機能することができる。本明細書に開示されるように、画像認識アルゴリズムは、前述のいずれかを識別するために外科的処置のフレームを解析することができる。例えば、画像認識アルゴリズムは、器具と解剖学的構造との間の相互作用のタイプ、相互作用の名前、相互作用に関与する解剖学的構造の名前、又は相互作用の任意の他の識別可能な態様を決定することができる。
これに加えて又は代えて、手術室内のヘルスケア専門家の位置、ヘルスケア専門家のいずれか１人の動き、ヘルスケア専門家のいずれか１人の手の動き、患者の位置及び／又は位置、医療デバイスの配置、並びにヘルスケア専門家、患者、又は器具の他の空間的特徴は、特定の動作がまさに起ころうとしていることを更に示すことができる。場合によっては、特定の動作がまさに起ころうとしているという表示は、特定の外科的処置を実行する外科医からの入力に基づくことができる。例えば、ヘルスケア専門家のいずれか１人からの音声音、ジェスチャ、又は手術映像内で識別可能な任意の他の信号、音声データ、画像データ、又はデバイスベースのデータ（例えば、患者のバイタルサインに関するデータ）を、特定の動作がまさに起ころうとしていることの表示として使用することができる。
開示された実施形態は、推奨された一連の事象を使用して、特定の動作に対する予備的動作を識別することを含むことができる。例えば、縫合などの特定の動作の場合、予備的動作は、鉗子で解剖学的構造の部分を留めること、患者に薬剤を投与すること、手術室内の画像センサを再配置すること、バイタル信号を測定すること、医療デバイスを患者に接続すること（例えば、ＥＣＭＯ装置を患者に接続すること）、又は特定の動作を実行する前に実行する必要がある任意の他の動作であってもよい。
開示された実施形態は、アクセスされたフレームの解析に基づいて、識別された予備的動作がまだ発生していないと決定すること、及び、それに応じて、逸脱の表示を識別することを更に含むことができる。一例では、識別された予備的動作がまだ発生していないと決定することは、前述したように、画像認識を使用して達成することができる。例えば、画像認識は、外科用器具が手術映像に現れなかった、又は外科用器具と解剖学的構造との間に相互作用がなかったと決定すること（例えば、解剖学的構造の形状、色、サイズ、又は位置が不変であると決定すること）によって、又は解剖学的構造に変化がないと決定することによって、予備的動作がまだ発生していないことを識別することができる。これに加えて又は代えて、画像認識は、他の方法で（例えば、ヘルスケア専門家がまだ患者に接近していないと決定することによって、ＥＣＭＯ機械がまだ患者に接続されていないと決定することによって）、又は手術映像内で識別され得る任意の他の表示を使用することによって、予備的動作の不在を決定することができる。例示的な実施形態では、特定の外科的処置と推奨される一連の事象との間の逸脱の表示は、予備的動作の欠如であり得る。或いは、予備的動作が識別された場合、予備的動作の１つ以上の特性は、逸脱の表示であってもよい。例えば、予備的動作が切開である場合、切開の長さは予備的動作の特性であり得る。例えば、切開長さが１０～２０ｃｍの範囲内にあると予測され、長さが３ｃｍであると識別される場合、予備的動作のそのような特性は逸脱を示し得る。
開示された実施形態の態様は、特定の動作が実行される前に、特定の外科的処置と推奨される一連の事象との間の逸脱の通知を提供することを含むことができる。通知は、本明細書に記載され、開示された実施形態と整合する任意の適切な電子通知であってもよい。或いは、通知は、ヘルスケア専門家（例えば、外科的処置を施す外科医）に送信され得る任意の適切な音声信号、視覚信号、又は任意の他の信号（例えば、振動などの触覚信号）であってもよい。
開示された実施形態の態様は、術後（すなわち、外科的処置の完了後に）に通知を提供することを含むことができる。例えば、逸脱は、外科的処置中又は外科的処置後に識別されてもよく、また、通知は、上記の手法のいずれか１つ（又は任意の組み合わせ）を使用して逸脱が評価された後に提供されてもよい。これに加えて又は代えて、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱は、ヘルスケア専門家によって解析及び／又は評価され得る。
開示された実施形態の態様は、逸脱に関連する術中手術事象の名前を決定することを含むことができる。例えば、特定の外科的処置と推奨される一連の事象との間の逸脱が識別されると、その逸脱に関与する事象の名前及び／又はタイプが識別され得る。例えば、シーケンス２７０２の事象と推奨シーケンス２７０１との間の逸脱が識別され（例えば、事象Ｅ３が事象Ｓ３と実質的に異なる場合）、事象Ｓ３の名前及び／又はタイプ（例えば、名前は「縫合」であってもよい）が決定され得る。更に、事象Ｅ３の名前及び／又はタイプを決定することができる。例示的な実施形態では、事象Ｓ３の名前は、上述したように、機械学習画像認識モデルを使用して識別することができる。
様々な実施形態において、逸脱に関連する術中手術事象の名前は、手術事象において識別された特定の動作の前の予備的動作の名前であってもよい。或いは、逸脱に関連する術中手術事象の名前は、特定の動作の名前であってもよい。場合によっては、術中手術事象の名前は、逸脱に寄与する事象又は動作の複数の名前を含むテキスト文字列であってもよい。場合によっては、句読点（又は、文字、段落記号、又は改行などの任意の他の適切な手段）を使用して、テキスト文字列内の異なる名前を分離することができる。例えば、逸脱に関連する術中の手術事象の名前は、「鉗子で動脈を留める；レーザビームを印加する；動脈を縫合する」であってもよい。
幾つかの実施形態では、名前を決定することは、名前をビデオ映像の特性と相関させるデータ構造にアクセスすることを含む。データ構造は、図１７Ａに示すように、構造１７０１などの任意の適切なデータ構造であってもよい。例えば、名前を決定することは、本開示で説明されて本開示の様々な実施形態と整合するように、手術映像（本明細書では、ビデオ映像とも呼ばれる）にアクセスすること、及び、事象、動作、又は事象特性などのビデオ映像特性を決定することを含み得る。
様々な実施形態では、決定された逸脱に関連する術中手術事象の名前を決定する際、逸脱に関連する術中手術事象の名前を含む逸脱の通知を提供することができる。例示的な実施形態では、通知は様々なユーザ（例えば、医療従事者、管理者など）に提供されてもよい。場合によっては、通知は、患者、患者の親戚又は友人などに提供されてもよい。通知は、テキストデータ、グラフィックデータ、又は任意の他の適切なデータ（例えば、ビデオデータ、アニメーション、又は音声データ）を含むことができる。これに加えて又は代えて、通知は警告信号（例えば、光信号、音声信号など）として実施されてもよい。場合によっては、通知は、通知を受信することを許可された様々なユーザ（例えば、様々な医療関係者、管理者、患者、患者の血縁者又は友人など）を有する任意の適切なデバイス（例えば、スマートフォン、ラップトップ、デスクトップ、モニタ、ページャ、ＴＶなど）に配信されるＳＭＳメッセージ、電子メールなどであってもよい。
開示された実施形態の態様は、ヘルスケア専門家が動作を実行しようとしていることを示す入力を受信することを含むことができる。そのような入力は、外科医によって動作がとられる前に逸脱（例えば、推奨される一連の事象に従って必要とされるスキップされたステップ）の通知を提供することを可能にすることができる。場合によっては、外科医又は別のヘルスケア専門家からのそのような入力は、上述したように、ボタンの押下、可聴入力、ジェスチャ、又は外科医が特定の動作を実行しようとしていることを示す任意の他の適切な入力を含むことができる。
動作（ヘルスケア専門家によって実行されようとしている）は、任意の処置関連の動作であってもよい。例えば、動作は、縫合、切開、切開、吸引、患者の身体に隣接した又は身体内のカメラの配置、又は処置中に起こり得るその他のことを含み得る。場合によっては、動作は、薬剤を患者に投与すること、又は脈拍、血圧、酸素レベルなどの患者のバイタル信号を測定することを含むことができる。
様々な場合において、入力を受けることは、ヘルスケア専門家からの入力を受けることを含むことができる。例えば、外科医は、１つ以上の画像センサ／音声センサによって捕捉されてヘルスケア専門家が動作を実行しようとしていることを示す入力として認識され得る視覚信号又は音声信号（例えば、ハンドジェスチャ、ボディジェスチャ、医療機器によって生成された光源によって生成された視覚信号、話し言葉などを使用する）を介して入力を提供することができる。場合によっては、ヘルスケア専門家は、ボタンを押すか、又は任意の他のデバイス（例えば、スマートフォン、ラップトップなど）を使用して入力を提供することができる。
場合によっては、入力は、どのタイプの動作が実行されるかを示すことができる。例えば、外科医は、実行されようとしている動作の名前を発音することができ、また、外科医からの音声信号は、マイクロフォンを使用して捕捉され得る。例示的な実施形態では、音声認識モデルを使用して、外科医によって発音された１つ以上の単語を認識することができる。
場合によっては、ヘルスケア専門家が動作を実行しようとしていることを示す入力を受けることは、ヘルスケア専門家ではないユーザからの入力を受けることを含むことができる。例えば、入力は、外科的処置を観察する人から受けられてもよい。
これに加えて又は代えて、入力は、外科的処置中に起こり得る将来の動作につながる様々な手術事象を認識するようにトレーニングされる機械学習アルゴリズムから受けられてもよい。例えば、機械学習アルゴリズムは、解剖学的構造の近くで外科医がメスを保持及び／又は動かすなどの特定の手術事象に基づいて切開が実行されようとしていることを認識するように構成され得る。
様々な実施形態において、特定の動作がまさに起ころうとしているという表示は、選択された関心領域（ＲＯＩ）への特定の医療機器の進入であってもよい。例えば、そのような表示は、選択されたＲＯＩにおける特定の医療機器の存在を検出するために物体検出アルゴリズムを使用して決定され得る。様々な実施形態では、外科的処置の時間（又は時間間隔）の間に所定のＲＯＩの近くにある手術器具の存在は、特定の動作が講じられようとしていることを認識するために（例えば、機械学習モデルによって）使用され得る。外科的処置中の異なる時間について、ＲＯＩの近くに手術器具が存在することは、講じられようとしている異なる動作を示すことができる。場合によっては、方法は、所定の手術器具がＲＯＩの近くに存在するときに通知を提供すること、及び、手術器具がＲＯＩ内にないときに通知を提供しないで済ませることを含むことができる。上述したように、通知は、ヘルスケア専門家、ヘルスケア管理者、又はそのような情報を受信することを許可された他の人に提供される任意の適切な通知であってもよい。
様々な実施形態では、本明細書に記載されて開示された実施形態と整合するように、特定の医療機器が選択された関心領域（ＲＯＩ）に進入したという識別は、外科的処置のフレームを解析するための画像認識を使用するなど、任意の適切な手法を使用して達成することができる。場合によっては、解剖学的構造の位置に基づいてＲＯＩを選択することができる。又は、外科的処置中に第２の医療機器が使用される場合、第２の医療機器の位置に基づいてＲＯＩが選択され得る。これに加えて又は代えて、ＲＯＩは、画像センサの視野に基づいて選択されてもよい。例えば、特定の画像センサ（例えば、解剖学的構造の拡大部分を表示するセンサ）の視野を使用してＲＯＩを選択することができる。
様々な実施形態では、ヘルスケア専門家が動作を実行しようとしていることを示す入力に基づいて、方法は、推奨される一連の事象を識別する記憶されたデータ構造にアクセスすることを含むことができる。記憶されたデータ構造は、アレイ、連想配列、リンクされたリスト、二分木、平衡木、山、スタック、キュー、セット、ハッシュテーブル、記録、タグ付き和集合、ＸＭＬコード、ＸＭＬデータベース、ＲＤＢＭＳデータベース、ＳＱＬデータベースなどの任意の適切なデータ構造であってもよい。データ構造は、推奨される一連の事象を含むことができる。例えば、データ構造は、一方の事象が他方の事象に続くテーブル内の事象の名前をリストアップすることができる。或いは、事象は、リンクされたリストを介して編成及びリンクされてもよい。様々な実施形態において、データ構造は、推奨される事象を識別してシーケンスを形成するように事象を順序付けるように構成された任意の適切なデータ構造であってもよい。
開示された実施形態の態様は、所定の解剖学的領域内の手術器具の存在を検出することを更に含むことができる。本明細書で使用される場合、手術器具は、外科的処置中に使用され得る任意の器具又はデバイスであってもよく、そのような器具又はデバイスとしては、切断器具（例えば、メス、ハサミ、ノコギリなど）、把持及び／又は保持器具（例えば、ビルロート鉗子、止血「蚊」鉗子、非外傷性止血鉗子、デシャンプ針、ホップナー止血鉗子など）、リトラクタ（例えば、ファラベフのＣ字型層状フック、平滑歯付きフック、鋭利歯付きフック、溝付きプローブ、タンプ鉗子など）、組織一体化器具及び／又は材料（例えば、針ホルダ、手術針、ステープラ、クリップ、接着テープ、メッシュなど）、保護機器（例えば、顔用及び／又は呼吸用保護具、帽子、履物、手袋など）、腹腔鏡、内視鏡、患者監視デバイスなどを挙げることができるが、これらに限定されない。手術器具（医療器具又は医療機器とも呼ばれる）は、医療処置の一部として使用される任意の装置又は機器の一部を含むことができる。
解剖学的領域は、生体の解剖学的構造を含む任意の領域であり得る。例えば、解剖学的領域は、体腔（例えば、手術体腔）、器官、組織、管、動脈、細胞、又は任意の他の解剖学的部分を含み得る。場合によっては、補綴物、人工器官などは解剖学的構造と見なされ、解剖学的領域内に現れることがある。一例では、機械学習モデルは、画像及び／又はビデオ内の解剖学的領域を識別するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、外科的処置の様々な捕捉されたフレームを解析し、解剖学的領域を検出するために使用されてもよい。そのようなトレーニング例の一例は、画像内及び／又はビデオ内の解剖学的領域を示すラベルと共に、画像及び／又はビデオを含むことができる。
所定の解剖学的領域内の手術器具の存在は、任意の適切な手段を使用して検出することができる。例示的な実施形態では、トレーニングされた機械学習モデルを使用して、外科的処置の様々な捕捉されたフレームを解析して、所定の解剖学的領域内の手術器具の存在を検出することができる。トレーニングされた機械学習モデルは、所定の解剖学的領域内の手術器具などの画像特徴を認識するための画像認識モデルであってもよい。様々な実施形態では、所定の解剖学的領域内の手術器具の存在に基づいて、方法は、上述したように、記憶されたデータ構造にアクセスして推奨される一連の事象を識別することを含むことができる。
好ましい実施形態の態様は、手術器具が特定の解剖学的領域内にあると決定することによって、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱の表示を識別することを更に含むことができる。例えば、手術器具が特定の解剖学的領域に存在すると（例えば、機械学習方法を使用して、又はヘルスケア専門家からの表示を使用して）決定される場合、幾つかの実施形態は、逸脱が発生したと決定することができる。場合によっては、手術器具が存在すべきではない外科的処置の時間（又は時間間隔）の間に特定の解剖学的領域に存在する場合、幾つかの実施形態は逸脱が発生したと決定することができる。或いは、場合によっては、逸脱の表示を識別することは、手術器具が特定の解剖学的領域にないと決定することを含むことができる。例えば、外科的処置の時間（又は時間間隔）中に、手術器具が特定の解剖学的領域に存在しない場合、幾つかの実施形態は、逸脱が生じたと決定するように構成され得る。
これに加えて又は代えて、逸脱の表示を識別することは、手術器具と解剖学的構造との間の相互作用を識別することを含むことができる。手術器具と解剖学的構造との間の相互作用を識別するプロセスは、例えば上述したように、相互作用を識別するために外科的処置のフレームを解析することを含むことができる。例えば、外科的処置のフレームの少なくとも幾つかは、解剖学的構造に対して外科的処置が行われている外科的処置の一部を示すことができる。上述したように、相互作用は、解剖学的構造に影響を及ぼし得る又はその逆の手術器具による任意の動作を含み得る。例えば、相互作用としては、手術器具と解剖学的構造との間の接触、解剖学的構造に対する手術器具による作用（例えば、切断、クランプ、把持、圧力の印加、掻き取りなど）、解剖学的構造による生理的応答、解剖学的構造に向かって光を放出する手術器具（例えば、手術器具は、解剖学的構造に向かって光を放射するレーザであってもよい）、解剖学的構造に向かって放出される音、解剖学的構造の近くに生成される電磁場、解剖学的構造に誘導される電流、又は任意の他の認識可能な形態の相互作用を挙げることができる。
場合によっては、相互作用を識別することは、解剖学的構造に対する手術器具の近接性を識別することを含むことができる。例えば、外科的処置の手術ビデオ映像を解析することによって、画像認識モデルは、手術器具と解剖学的構造の表面上又は解剖学的構造内の点（又は点のセット）との間の距離を決定するように構成され得る。
様々な実施形態では、外科的処置中の手術器具と解剖学的構造との間の相互作用が識別され、そのような相互作用が基準外科的処置（すなわち、推奨される一連の事象に従う外科的処置）に対して予測されない場合、一実施形態は、逸脱が生じたと決定するように構成され得る。或いは、手術器具と解剖学的構造との間の相互作用が識別されず（例えば、外科的処置中に相互作用が存在しない場合）、相互作用が基準外科処置に対して予測される場合、一実施形態は、逸脱が発生したと決定するように構成され得る。幾つかの実施形態は、手術器具と解剖学的構造との間の相互作用が外科的処置及び基準外科的処置の両方において存在する（又は存在しない）場合、外科的処置及び基準外科的処置の実質的な逸脱がないと決定するように構成され得る。
外科的処置において省かれる事象の決定及び通知を可能にするための実施形態の態様が、プロセス２８０１によって図２８に示されている。ステップ２８１１において、プロセス２８０１は、任意の適切な手段を使用して特定の外科的処置中に捕捉されたビデオのフレームにアクセスすることを含むことができる。例えば、アクセスは、入力デバイス（例えば、キーボード、マウスなど）を介して、又はデータの読み取り／書き込みを可能にするための任意の他の手段を介して、有線又は無線ネットワークを介してアクセスすることを含むことができる。
ステップ２８１３において、プロセス２８０１は、上述したように、外科的処置のための推奨される一連の事象を識別する記憶されたデータにアクセスすることを含むことができる。ステップ２８１５において、プロセス２８０１は、アクセスされたフレームを推奨される一連の事象と比較して、特定の外科的処置と外科的処置に対する推奨される一連の事象との間の逸脱の表示を識別することを含むことができる。特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱は、上述した任意の適切な手法を使用して（例えば、適切な指標関数を使用して異なる事象間の差を計算することによって、機械学習モデルを使用することなどによって）決定され得る。ステップ２８１７において、プロセス２８０１は、上述の任意の適切な手法（例えば、機械学習モデルを使用して術中手術事象を識別すること）を使用して逸脱に関連する術中手術事象の名前を決定することを含むことができる。プロセス２８０１は、逸脱に関連する術中手術事象の名前を含む逸脱の通知を提供するステップ２８１９で終了することができる。上述したように、通知は、任意の適切な通知（例えば、ＳＭＳテキスト、ビデオ、画像など）であってもよく、ヘルスケア専門家、管理者、又は任意の他の許可された個人に配信することができる。
前述したように、本開示は、外科的処置において省かれる事象の決定及び通知を可能にするための方法及びシステム、並びに少なくとも１つのプロセッサによって実行されるときに外科的処置において省かれる事象の決定及び通知を可能にする動作を少なくとも１つのプロセッサに実行させる命令を含むことができる持続性コンピュータ可読媒体に関する。動作は、上述したように、外科的処置において省かれる事象の決定及び通知を可能にするための方法の様々なステップを含むことができる。
開示されるシステム及び方法は、現在及び／又は履歴的な手術映像を解析して、手術の特徴、患者の状態、及び手術転帰を予測し改善するための他の特徴を識別することを含むことができる。外科的処置のための決定支援を提供するための従来の手法は、リアルタイムで実行することができない場合があり、又は手術ビデオ内の意思決定ジャンクションを決定して手術転帰を改善する特定の動作を実行するための推奨を開発することができない場合がある。そのような状況では、外科医は重要な意思決定ポイントを見失い、及び／又は転帰を改善することができる特定の動作を実行できず、手術は患者にとって最適以下の転帰をもたらし得る。これに対し、本開示の幾つかの実施形態は、効率的、効果的、及びリアルタイムで外科的処置の決定支援を提供する非従来的な手法を提供する。
本開示によれば、外科的処置のための決定支援を提供するための方法が開示される。外科的処置は、１人以上の外科医によって行われる処置を含み得る。外科医は、医師又は他の医療専門家を含む外科的処置を行う任意の人、外科的処置を支援する任意の人、及び／又は手術用ロボットを含むことができる。患者は、外科的処置を受けている任意の人を含むことができる。外科的処置の非限定的な例としては、インプラントを患者に挿入すること、切断、縫合、組織の除去、移植、焼灼、器官の除去、器官の挿入、四肢又は他の身体部分の除去、人工装具の追加、腫瘍の除去、生検の実施、デブリードマンの実施、バイパス、及び／又は患者を治療又は診断するための任意の他の動作を挙げることができる。インプラント又はインプラントユニットが、欠損した生物学的構造を置換し、損傷した生物学的構造を支持し、又は既存の生物学的構造を増強するために、ステント、監視ユニット、及び／又は体内で使用される任意の他の材料を含むことができる。腹腔鏡、カメラ、カッター、針、ドリル、及び／又は任意の他のデバイス又はインプラントなどの手術器具を外科的処置中に使用することができる。また、外科的処置中に薬剤（例えば、麻酔薬、静脈内輸液、治療薬、及び／又は任意の他の化合物もしくは製剤）を使用してもよい。
決定支援は、決定を下す際に外科医を案内することができる推奨を提供することを含むことができる。決定支援は、以前の同様の外科的処置のビデオ映像を解析すること、正の転帰をもたらす可能性が最も高い行動経路を識別すること、及び対応する推奨を手術外科医に提供することを含むことができる。より一般的には、外科的処置のための決定支援は、処置をとる又は回避するための（決定を明らかにする情報における）推奨など、外科的処置中に医療専門家に情報を提供することを含むことができる。幾つかの実施形態では、決定支援は、医療専門家に状況を警告するためのコンピュータ化されたインタフェースを提供することを含むことができる。インタフェースは、例えば、ディスプレイ、スピーカ、ライト、触覚フィードバックコンポーネント、及び／又は任意の他の入力及び／又はフィードバック機構を含むことができる。幾つかの実施形態では、外科的処置に対する決定支援を提供することは、外科医にリアルタイムの推奨を提供することを含むことができる（すなわち、外科的処置に対する決定支援を提供するための方法は、外科的処置中にリアルタイムで実行することができる）。リアルタイムの推奨は、手術室（例えば、図１に示す手術室）のインタフェースを介して推奨を提供することを含むことができる。リアルタイムの推奨は、外科的処置中に更新され得る。
幾つかの実施形態では、方法は、手術室内の患者に対して外科医によって実行された外科的処置のビデオ映像を受けることを含むことができる。ビデオ映像は、１つ以上のカメラ及び／又はセンサによって捕捉されたビデオを含むことができる。ビデオ映像は、連続ビデオ、ビデオクリップ、ビデオフレーム、腔内ビデオ、及び／又は任意の他のビデオ映像を含むことができる。ビデオ映像は、外科的処置の任意の態様を描写することができ、また、患者（内部又は外部）、医療専門家、ロボット、医療器具、動作、及び／又は外科的処置の任意の他の態様を描写することができる。幾つかの実施形態では、ビデオ映像は、内視鏡又は体内カメラ（例えば、腔内ビデオの画像）のうちの少なくとも１つからの画像を含むことができる。内視鏡は、患者の体内からの画像の収集及び送信を支援するために、剛性又は可撓性の管、ライト、光ファイバ、レンズ、接眼レンズ、カメラ、通信構成要素（例えば、有線又は無線接続）、及び／又は任意の他の構成要素を含むことができる。体内カメラは、外科的処置の前、最中、又は後に患者の体内から画像を収集するために使用される任意の画像センサを含むことができる。
ビデオ映像を受けることは、センサ（例えば、患者の上方、患者内、又は手術室内の他の場所に配置された画像センサ）、手術用ロボット、カメラ、モバイル装置、通信装置を使用する外部装置、共有メモリ、及び／又は画像を捕捉及び／又は送信することができる任意の他の接続されたハードウェア及び／又はソフトウェアコンポーネントを介して行われ得る。ビデオ映像は、ネットワークを介して、及び／又は有線及び／又は無線接続を介してデバイスから直接受けることができる。ビデオ映像を受けることは、データベース、ディスク、メモリ、リモートシステム、オンラインデータストレージ、及び／又は情報が保持され得る任意の場所又は媒体などのデータストレージからビデオ映像を読み取り、検索し、及び／又はアクセスすることを含み得る。
開示された実施形態と整合して、手術室は、病院、診療所、一時診療所（例えば、災害救助又は戦争事象中の手術のために構成された部屋又はテント）、及び／又は外科的処置を実行することができる任意の他の場所の部屋を含む、手術を実行するように構成された任意の部屋を含むことができる。例示的な手術室が図１に示されている。
開示された実施形態と整合して、外科的処置のための決定支援を提供するための方法は、外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスすることを含み得る。データ構造にアクセスすることは、ネットワークを介して、及び／又は有線及び／又は無線接続を介してデバイスから直接、データ構造のデータを受信することを含むことができる。データ構造にアクセスすることは、幾つかの開示された実施形態と整合して、データ記憶装置からデータ構造のデータを検索することを含むことができる。
本実施形態と整合して、データ構造は、ブール型、文字型、浮動小数点型、整数型、参照型、及び列挙型などのプリミティブ型；コンテナ、リスト、タプル、マルチマップ、連想配列、セット、マルチセット、スタック、キュー、グラフ、ツリー、積み重ねなどの複合型；任意の形式のハッシュベースの構造又はグラフを含むことができる。更なる例は、リレーショナルデータベース、テーブルデータ、及び／又は検索のために編成された他の形態の情報を含むことができる。データ構造内のデータは、データ型、キー値ペア、ラベル、メタデータ、フィールド、タグ、インデックス、及び／又は他のインデックス付け機能を含むデータスキーマに従って編成することができる。
外科的処置を特徴付けるビデオ及び／又は画像関連データをデータ構造内に含めることができる。そのような画像関連データは、ビデオ特徴情報及び／又はビデオ映像自体、画像、及び／又はビデオ及び／又は画像データの前処理されたバージョンの一部又は全てを含むことができる。別の例では、そのようなビデオ及び／又は画像関連データは、ビデオ及び／又は画像の解析に基づく情報を含むことができる。更に別の例では、そのようなビデオ及び／又は画像関連データは、画像データを解析するための情報及び／又は１つ以上の規則を含むことができる。データ構造の一例を図１７Ａに示す。
開示された実施形態と整合して、外科的処置を特徴付ける画像関連データとしては、事象特性、事象位置、転帰、外科的処置と必須の一連の事象との間の逸脱、スキルレベル、事象位置、術中手術事象、術中手術事象特性、特性事象、漏れ状況、手術段階内の事象、タグ、必須の一連の事象、省略された事象、推奨される一連の事象、解剖学的構造、状態、解剖学的構造と医療機器との間の接触、相互作用、及び／又は外科的処置の態様を記述又は規定する任意の他の情報に関するデータを挙げることができる。
幾つかの実施形態では、外科的処置のための決定支援を提供するための方法は、画像関連データを使用して受信ビデオ映像を解析して、外科的意思決定ジャンクションの存在を決定することを含み得る。外科的意思決定ジャンクションは、手術ビデオ内に時間（例えば、時点又は期間）を含むことができる。例えば、外科的意思決定ジャンクションは、別の行動方針を追求する機会をもたらす事象又は状況に関連し得る。例えば、意思決定ジャンクションは、外科医が、手術転帰を変更する、外科的処置に従う、異なる外科的処置に変更する、外科的処置から逸脱する、及び／又は任意の他の手法を変更するために１つ以上の動作を講じることができる時間を反映することができる。
受けたビデオ映像を解析することは、開示された実施形態と整合して、受けたビデオ映像の１つ以上のフレームに対して画像解析の方法を実行することを含むことができる。受けたビデオ映像を解析することは、例えば、上述したように、例えば、物体認識、画像分類、ホモグラフィ、ポーズ推定、動き検出、及び／又は他のビデオ解析方法の方法を含むことができる。受けたビデオ映像を解析することは、開示された実施形態と整合して、トレーニングされた機械学習モデルを使用すること、及び／又は機械学習モデルをトレーニング及び／又は実装することを含むことができる。例えば、受けたビデオ映像は、画像及び／又はビデオから外科的な決定ジャンクションを検出及び／又は識別するために、トレーニング例を使用してトレーニングされた機械学習モデルを使用して解析することができる。例えば、受けたビデオ映像は、画像及び／又はビデオから外科的な決定ジャンクションを検出及び／又は識別するように構成された人工ニューラルネットワークを使用して解析することができる。幾つかの実施形態では、受けたビデオ映像を画像関連データと比較して、外科的な決定ジャンクションの存在を決定することができる。これは、例えばビデオ解析によって行われてもよく、リアルタイムで行われてもよい。（例えば、外科医の手術のビデオが捕捉されると、リアルタイムでビデオに対して解析を実行することができ、外科的ジャンクションを識別することができる）。一例では、画像関連データは、画像データを解析するための１つ以上の規則（例えば、トレーニングされた機械学習モデル、人工ニューラルネットワークなど）を含むことができ、また、１つ以上の規則を使用して、受けたビデオ映像を解析し、外科的意思決定ジャンクションの存在を決定することができる。一例では、受けたビデオ映像からのフレームの解析に基づいてマルコフモデルを利用して、外科的意思決定ジャンクションの存在を決定することができる。他の例では、人工ニューラルネットワーク（リカレントニューラルネットワーク又はロングショートタームメモリニューラルネットワークなど）を使用して、受けたビデオ映像を解析し、外科的意思決定ジャンクションの存在を決定することができる。
一例として、意思決定ジャンクションは、不適切なアクセス又は露出、解剖学的構造の退縮、解剖学的構造又は流体漏れの誤った解釈、及び／又は別の行動方針を追求する機会をもたらす任意の他の手術事象の検出時に生じ得る。不適切なアクセス又は露出は、誤った組織、器官、及び／又は他の解剖学的特徴を開く及び／又は切断することを含み得る。退縮は、組織、又は器官、及び／又は外科医が見るための他の解剖学的構造を露出させるための組織の移動、牽引、及び／又は反対牽引を含み得る。解剖学的構造又は流体漏れの誤った解釈は、誤った分類（例えば、誤った構造又は流体タイプの分類）及び／又は流体漏れの原因及び／又は重症度の誤った推定を含み得る。より一般的には、誤解は、外科的処置中にシステム又は人が到達した任意の誤った結論を含み得る。
幾つかの実施形態では、意思決定ジャンクションは、共通の手術状況の後に異なる動作経過が発生した複数の異なる履歴的な処置の解析によって決定され得る。例えば、複数の異なる履歴処置が履歴ビデオ映像及び／又は受信ビデオ映像に含まれてもよい。履歴的な処置は、１つ以上の外科的処置、１人もしくは複数の患者、１つ以上の状態、１つ以上の転帰、及び／又は１人もしくは複数の外科医を描写することができる。幾つかの実施形態では、異なる動作経過は、本明細書に記載されるように、外科的処置中の異なる動作を含み得る。異なる動作経過は、同じではない動作を含み得る（例えば、裂傷を縫合する動作と裂傷をステープル留めする動作とは異なる動作と考えることができる）。異なる動作経過は、同じ動作を実行する異なる方法を含み得る（例えば、１つの接触力を加えることと、別の接触力を加えることとは、同じ動作を実行する異なる方法であってもよい）。異なる動作経路は、異なる医療器具を使用することを含み得る。一般的な外科的状況は、ある種の外科的処置（胆嚢切除術など）、手術事象（例えば、切開、流体漏れ事象など）、及び／又は複数の歴史的外科的処置に共通であり得る外科的処置の任意の他の態様を含む状況を指すことができる。
幾つかの実施形態では、意思決定ジャンクションの存在を決定することは、解剖学的構造の検出された生理的応答及び／又は手術器具に関連する動きに基づくことができる。生理的応答は、解剖学的構造の動き、漏出、及び／又は任意の他の生理学的活性を含み得る。生理的応答は、心拍数、呼吸数、血圧、温度、血流の変化、及び／又は任意の他の生物学的パラメータもしくは健康状態の変化を含み得る。可能な生理的応答の他の非限定的な例は、上に記載されている。手術器具に関連する動きは、手術器具の任意の動き（例えば、並進及び／又は回転）を含む。手術器具は、本明細書に開示されるように、任意の手術器具を含むことができる。手術器具に関連する生理的応答及び／又は動きを検出することは、本明細書でも説明するように、画像解析の方法を実行することを含むことができる。
幾つかの実施形態では、外科的処置のための決定支援を提供するための方法は、少なくとも１つのデータ構造において、転帰と意思決定ジャンクションで行われた特定の動作との間の相関関係にアクセスすることを含み得る。相関関係にアクセスすることは、相関関係の存在を決定すること、メモリから相関関係を読み取ること、及び／又は特定の動作と転帰との間に相関関係が存在することを任意の他の態様で決定することを含むことができる。幾つかの実施形態では、相関関係は、インデックスに基づいてデータ構造でアクセスされてもよく、インデックスは、特定の動作、意思決定ジャンクション、及び／又は転帰のタグ、ラベル、名前、又は他の識別子のうちの少なくとも１つを含む。幾つかの実施形態では、相関関係にアクセスすることは、モデル、式、及び／又は任意の他の論理的手法などのアルゴリズムを使用して相関関係を決定すること（例えば、生成、ルックアップ、又は識別）を含むことができる。開示された実施形態と整合して、相関関係は、特定の動作に関連する所望の転帰（例えば、正の転帰）及び／又は望ましくない転帰（例えば、負の転帰）の確率（例えば、尤度）を示し得る。相関関係は、相関係数、適合度指標、回帰係数、オッズ比、確率、及び／又は任意の他の統計的又は論理的相互関係を含み得る。一例では、特定のタイプの全ての意思決定ジャンクションに１つの相関関係を使用することができ、別の例では、特定のタイプの全ての意思決定ジャンクションのグループの異なるサブセットに複数の相関関係を使用することができる。例えば、そのようなサブセットは、患者の特定のグループ、外科医（及び／又は他のヘルスケア専門家）の特定のグループ、手術の特定のグループ、手術室の特定のグループ、外科的処置における特定の以前の事象、そのようなグループの任意の結合又は交差などに対応することができる。
特定の動作は、外科的処置中に外科医（例えば、人間又はロボット外科医）によって、又は外科的処置を支援する人もしくはロボットによって実行される任意の動作を含むことができる。特定の動作の例としては、是正措置、診断動作、外科的処置後の動作、外科的処置から逸脱する動作、及び／又は外科的処置中に起こり得る任意の他の動作を挙げることができる。そのような動作は、医療機器を生物学的構造と係合させること、薬剤を投与すること、切断すること、縫合すること、外科的接触を変更すること、医療検査を行うこと、解剖学的構造を洗浄すること、過剰な流体を除去すること、及び／又は外科的処置中に起こり得る任意の他の動作を含むことができる。
特定の動作は、単一のステップ又は複数のステップ（例えば、手術中に行われる複数の動作）を含むことができる。ステップは、本明細書に記載の任意の動作又は動作のサブセットを含むことができる。特定の動作の非限定的な例としては、切開を行うステップ、インプラントを挿入するステップ、インプラントを取り付けるステップ、及び切開をシールするステップのうちの１つ以上を含み得る。
幾つかの実施形態では、特定の動作は、更なる外科医を手術室に導入することを含むことができる。例えば、更なる外科医は、手術室に既に存在する外科医よりも多くの経験、より高いスキルレベル、特定の専門知識（例えば、技術的専門知識、特定の問題解決の専門知識、及び／又は他の専門知識）を有することができる。外科医を手術室へと至らせることは、外科医に手術室に来るように要求又は指示する通知を送信することを含み得る。幾つかの実施形態では、更なる外科医は手術用ロボットであってもよく、更なる外科医を手術室へと至らせるとは、ロボットを起動すること、及び／又は外科的処置を実行及び／又は支援するためにロボットに命令を提供することを含んでもよい。ロボットに命令を提供することは、１つ以上の動作を実行するための命令を含むことができる。
幾つかの実施形態では、外科的処置に対する決定支援を提供するための方法は、特定の行動を行う及び／又は回避するための推奨をユーザに出力することを含むことができる。そのような推奨は、ガイダンスの形式（例えば、音声、ビデオ、テキストベース、手術用ロボットへの制御コマンド、又はアドバイス及び／又は指示を提供する他のデータ送信）にかかわらず、任意のガイダンスを含むことができる。場合によっては、ガイダンスは命令の形態であってもよく、他の場合では推奨の形態であってもよい。そのようなガイダンスのためのトリガは、決定された意思決定ジャンクションの存在及びアクセスされた相関関係であってもよい。推奨を出力することは、デバイスに推奨を送信すること、インタフェースに推奨を表示すること、及び／又は意思決定者に情報を供給するための任意の他のメカニズムを含むことができる。ユーザに推奨を出力することは、手術室にいる人、外科医（例えば、人間の外科医及び／又は手術用ロボット）、外科的処置を支援する人（例えば、看護師）、及び／又は他のユーザに推奨を出力することを含むことができる。例えば、推奨を出力することは、コンピュータ、モバイルデバイス、外部デバイス、スマートグラス、プロジェクタ、手術用ロボット、及び／又はユーザに情報を伝達することができる任意の他のデバイスに推奨を送信することを含むことができる。幾つかの実施形態では、外科医は手術用ロボットであってもよく、推奨は手術用ロボットに対する命令の形態で提供されてもよい（例えば、特定の動作を実行する、及び／又は特定の動作を回避する命令）。
推奨を出力することは、ネットワークを介して、及び／又は直接接続を介して行われてもよい。幾つかの実施形態では、推奨を出力することは、手術室のインタフェースで出力を提供することを含むことができる。例えば、推奨を出力することは、推奨をインタフェース（例えば、手術室内の視覚及び／又は音声インタフェース）を介して提示させることを含むことができる。幾つかの実施形態では、推奨を出力することは、音を再生すること、光を変更すること（例えば、光をオン又はオフにすること、光をパルス化すること）、触覚フィードバック信号を提供すること、及び／又は人に警告するか、人もしくは手術用ロボットに情報を提供する任意の他の方法を含むことができる。
一例として、推奨は、医療検査を行う推奨を含むことができる。幾つかの実施形態では、医療検査は、血液解析、患者の医療撮像、尿解析、センサによるデータ収集、及び／又は任意の他の解析を含むことができる。医療撮像は、Ｘ線撮像、コンピュータ断層撮影（ＣＴ）、医療共鳴撮像（ＭＲＩ）、造影剤を含む他の処置、超音波、又は診断及び／又は治療目的で身体部分画像を作成するための他の技術などの術中医療撮像（すなわち、外科的処置中に発生する撮像）を含むことができる。
幾つかの実施形態では、外科的処置のための決定支援を提供するための方法は、意思決定ジャンクションの決定された存在、アクセスされた相関関係、及び医療検査の受信結果に基づいて、特定の動作を実行又は回避するための推奨（例えば、第１の推奨、第２の推奨、及び／又は更なる推奨）をユーザに出力することを含み得る。したがって、外科的処置のための決定支援を提供するための方法は、医療検査の結果を受信することを含むことができる。医療検査の結果は、医療データ、センサデータ、器具データ、及び／又は生物学的状態を反映する任意の他の情報を含むことができる。医療検査の結果は、患者の健康状態及び／又は状態の指標を含むことができる。結果は、例えば、バイオマーカの有無、腫瘍の有無、解剖学的特徴の位置、代謝活性の指標（例えば、グルコース取り込み）、酵素レベル、心臓状態（例えば、心拍数）、温度、呼吸指標、及び／又は任意の他の健康もしくは状態指標を含み得る。結果は、ネットワークを介して、及び／又は接続されたデバイスから受信することができる。結果を受信することは、開示された実施形態と整合して、データ記憶装置を受信すること及び／又はデータ記憶装置にアクセスすることを含むことができる。例えば、受信した医療検査の結果の第１の値に応じて、第１の動作を実行する（又は回避する）推奨を出力してもよく、受信した医学的検査の結果の第２の値に応じて、第１の動作を実行する（又は回避する）推奨を出力することを保留してもよい。
幾つかの実施形態では、推奨は、更なる外科医の名前及び／又は他の識別子（例えば、従業員ＩＤ）を含むことができる。幾つかの実施形態では、推奨を出力することは、更なる外科医に表示を提供することを含むことができる。表示は、通知、警告、手術室に来る要求、医療検査の結果、外科的処置中に支援が必要であり得るという情報表示、及び／又は任意の他の表示を含むことができる。一例では、更なる外科医は、外科的処置を受ける患者の特性、外科的処置を現在実行している外科医、手術室、外科的処置で使用される器具、外科的処置に関連する解剖学的構造の状態、外科的処置における医療機器と解剖学的構造との間の相互作用、外科的処置に関連する生理的応答、更なる外科医の特性などのうちの１つ以上に基づいて選択され得る（例えば、複数の別の更なる外科医から）。
本実施形態と整合して、推奨は、現在の手術状況の説明、ガイダンス、先取り又は是正措置の指示、代替手法の指示、危険領域マッピング、及び／又は外科的処置に関して外科医に通知することができる任意の他の情報を含むことができる。現在の手術状況の説明は、患者の健康状態及び／又は状態（例えば、心拍数モニタデータ、脳行動データ、温度データ、漏洩データ、及び／又は任意の他の健康データなどのセンサデータに反映された状態）を含むことができる。また、現在の手術状況の説明は、同様に又は代わりに、現在又は可能性のある将来の転帰の評価を含んでもよい。予防措置及び／又は是正措置は、外科的処置に従う、及び／又は外科的処置を変更する動作を含むことができる。予防措置及び／又は是正措置は、外科医及び／又は手術を支援する人による任意の行動、及び／又は負の転帰を回避することをもたらし得る動作を含み得る。是正措置は、転帰を改善し得る動作を含み得る。幾つかの実施形態では、危険ゾーンマッピングは、１つ以上の特定の動作及び可能性のある転帰（例えば、死亡、身体障害、又は他の望ましくない事象などの負の転帰に関連する特定の動作のセット）を識別することを含むことができる。危険ゾーンマッピングは、例えば、適切にアクセスされないと患者の安全性及び手術転帰に悪影響を及ぼす可能性がある解剖学的領域の識別を含むことができる。例えば、鼠径ヘルニアでは、危険ゾーンは、男性の精管又は女性の子宮の丸い靭帯（内側）と男性の精巣血管（外側）との間にあり、腸骨血管、大腿神経、膝大腿神経の生殖枝などの重要な構造を保持する「運命の三角形」、及び／又は精巣血管（内側）、腰筋（外側）、及び回蓋管（上側）の間にあり、膝大腿神経の大腿枝及び外側大腿皮神経などの重要な構造を保持する「疼痛の三角形」を含むことができ、これらは重要である。「運命の三角形」内の構造体の損傷は、場合によっては致命的であり得る。「疼痛の三角形」内の構造の損傷は、場合によっては、慢性疼痛をもたらし得る。幾つかの例では、機械学習モデルは、手術画像及び／又は手術ビデオ内の危険ゾーンを識別するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、映像映像を解析し、危険ゾーンを識別及び／又はマッピングするために使用されてもよい。そのようなトレーニング例の一例は、画像及び／又はビデオに描写された危険領域を示すラベルと共に、画像及び／又はビデオを含み得る。一例では、危険ゾーンマッピングの記述は、関連する識別された危険ゾーンのテキスト記述を含むことができる。別の例では、危険ゾーンマッピングの記述は、関連する識別された危険ゾーンの視覚的マーキング、例えばビデオ映像の少なくとも１つのフレーム上のオーバーレイ、拡張現実システムなどを含み得る。
例として、推奨は、炎症性流体、血液、胆汁、及び／又は他の流体を患者から排出するための外科用排液管の推奨される配置を含むことができる。
推奨は、特定の動作が行われた場合に所望の手術転帰が生じるという信頼度レベル、及び／又は特定の動作が行われなかった場合に所望の転帰が生じないという信頼度レベルを含み得る。信頼度レベルは、開示された実施形態と整合する、履歴的な外科的処置の解析に基づくことができ、転帰が生じる確率（すなわち、尤度）を含むことができる。所望の転帰は、改善された健康状態、医療用インプラントの成功した配置、及び／又は任意の他の有益な事象などの正の転帰であり得る。幾つかの実施形態では、所望の転帰は、意思決定ジャンクション（例えば、副作用、術後合併症、流体漏れ事象、患者の健康状態の負の変化、及び／又は任意の他の望ましくない状況の回避）の後に起こり得る望ましくない状況の回避を含み得る。
幾つかの実施形態では、推奨を出力することは、外科的処置における特定の時点からの経過時間に基づくことができる。例えば、推奨は、開示された実施形態と整合して、手術事象から経過した時間に基づくことができる。推奨は、意思決定ジャンクションの少なくとも指定された数分前に発生した手術事象に基づくことができる。幾つかの実施形態では、手術事象は、意思決定ジャンクションの前に外科医によって実行された過去の動作を含むことができる。また、推奨は、別の動作を含み得る。一連の動作は、動作のセット、シーケンス、及び／又はパターンを含むことができる。別の一連の動作は、外科医が従う進行中の外科的処置に関連する動作とは異なり得る。
幾つかの実施形態では、推奨は、特定の動作が行われない場合に起こりそうな望ましくない手術転帰の表示を含むことができる。そのような表示は、信頼度レベル、望ましくない手術転帰（例えば、転帰の名前）の説明、及び／又は任意の他の表示を含むことができる。
幾つかの実施形態では、推奨は、外科医のスキルレベルに基づくことができる。例えば、高いスキルレベルを有する外科医は、低いスキルレベルを有する外科医とは異なる推奨を受けることができる。幾つかの実施形態では、推奨は、複数の代替動作から選択された特定の動作を含むことができ、また、特定の動作の選択は、外科医のスキルレベル及び複数の代替動作に関連する複雑度レベルに基づくことができる。スキルレベルは、履歴的なパフォーマンススコア、実行された手術の数、外科医として費やされた全体の時間（例えば、年数；手術に費やした時間数）、トレーニングのレベルの指示、外科医のスキルの分類、及び／又は手動入力、データ解析、もしくはビデオ画像解析から導き出されるかどうかにかかわらず、外科医のスキルの任意の他の評価に基づくことができる。
幾つかの実施形態では、推奨は、意思決定ジャンクション（すなわち、以前の手術事象）の前の外科的処置で発生した手術事象に基づくことができる。以前の手術事象は、意思決定ジャンクションに先行する本明細書に記載の任意の手術事象を含むことができる。以前の手術事象は、意思決定ジャンクション後の正の又は負の転帰と相関させることができ、また、推奨は、後の正の転帰を達成する可能性又は後の負の転帰を回避する可能性を高める特定の動作を実行する推奨を含むことができる。したがって、そのような方法は、以前の手術事象が後の転帰と相関すると決定することを含むことができる。そのような相関関係は、相関が手術事象と意思決定ジャンクションとの間の経過時間に基づいて決定され得るという点で、時間ベースであり得る。
幾つかの実施形態では、推奨を出力することは、第１のステップを実行するための第１の命令を提示すること、第１のステップが正常に実行されたという表示を受信することと、及び、第１のステップが正常に実行されたという受信された表示に応じて、第２のステップを実行するための第２の命令を提示することを含むことができる。幾つかの実施形態では、推奨を出力することは、第１のステップを実行するための第１の命令を提示すること、及び、第１のステップが正常に実行されなかったという表示を受信することを含むことができる。幾つかの実施形態では、推奨を出力することは、第１のステップが正常に実行されなかったという受信された表示に応じて第２の命令を提示しないで済ませることを含むことができる。幾つかの実施形態では、第１のステップが正常に実行されなかったという受信された表示に応じて、推奨を出力することは、別のステップを実行するための別の命令を提示することを含むことができ、別のステップは第２のステップとは異なる。
第１のステップが成功又は失敗したという表示は、開示された実施形態と整合するビデオ映像の解析に基づくことができる。表示を受信することは、第１のステップを実行する命令を提示した後にビデオ映像を受信し、ビデオ映像の解析に基づいて表示を生成することを含むことができる。
幾つかの実施形態では、外科的処置のための決定支援を提供するための方法は、患者のバイタルサインを受信することを含むことができ、推奨は、アクセスされた相関関係及びバイタルサインに基づくことができる。バイタルサインは、医療機器、デバイス、外部デバイス、データストレージ、センサ、及び／又は任意の他のコンピューティング構成要素から受信することができ、患者の健康状態の状態（例えば、心拍数、呼吸数、脳行動、及び／又は他のバイタルサイン）の任意の指標を含むことができる。幾つかの実施形態では、バイタルサインは、接続されたデバイスからネットワークを介して受信されてもよく、従来のセンサを介して、又はビデオ映像の解析を介して検出されてもよい。
幾つかの実施形態では、推奨は、患者の組織の状態及び／又は患者の臓器の状態に基づくことができる。一般に、組織又は器官の状態は、組織又は器官の状態又は特性を示す任意の情報を指すことができる。例えば、状態は、組織又は器官が正常であるか、異常であるか、損傷しているか、漏出しているか、水和しているか、酸素化しているか、脱水しているか、後退しているか、拡大しているか、収縮しているか、存在しているか、不在であるか、及び／又は任意の他の外観又は状態であるかなどの評価に基づくことができる。開示された実施形態と整合して、患者の組織及び／又は器官の状態は、ビデオ映像の解析に基づいて決定することができる。例えば、そのような解析は、組織の色、解剖学的構造のテクスチャ、心拍数、肺容量、塊又は他の不規則性の存在、及び／又は解剖学的構造の任意の他の特性を決定することができる。幾つかの実施形態では、推奨は、心拍数モニタデータ、脳行動データ、温度データ、漏れデータ、及び／又は任意の他の健康データなどのセンサデータに反映された状態に基づくことができる。
別の例として、特定の動作の推奨は、瘻孔、又は特定のタイプの瘻孔（例えば、ループ瘻孔、エンド瘻孔、ループコロストミー瘻孔、エンドコロストミー瘻孔、ループ回腸瘻孔、エンドロー瘻孔、ウロ瘻孔、及び／又は任意の他のタイプの瘻孔）を形成するための提案又は指示を含むことができる。推奨は、瘻孔形成技術、瘻孔を形成するための結腸及び／又は回腸の一部の表示、及び／又は瘻孔を形成するための患者の皮膚上の位置を提案することができる。或いは、推奨は、例えば、瘻孔の形成が望ましくない転帰と相関する場合、瘻孔が形成されないことを提案し得る。
瘻孔を形成するか、又は形成することを回避する（又は任意の他の一連の動作を行う）ための推奨は、患者に対する生理学的影響、及び転帰に対する可能な改善の指標の閾値に基づくことができる。閾値は、患者の特性（例えば、年齢、以前の健康状態、家族歴、バイタルサイン、及び／又は他の特性）に基づいて選択することができる。例えば、所望の転帰に関連する瘻孔を以前に有していた患者に対して、より低い閾値を選択することができる。また、閾値は、患者が手術前に瘻孔の可能性を知らされたかどうかに基づいてもよい。
意思決定ジャンクションの一例は、例えば、虫垂切除の準備段階において、回腸及び／又は盲腸を動かすか否かを決定することを含むことができ、また、推奨は、回腸及び／又は盲腸を動かす提案、又は回腸及び／又は盲腸を動かさない提案を含むことができる。決定に影響を及ぼし得る要因の幾つかの非限定的な例としては、処置の複雑度レベル、患者の年齢、患者の性別、以前の炎症及び以前の手術を挙げることができる。推奨は、これらの要因のうちの少なくとも１つに基づいてもよい。このジャンクションで行われる決定は、罹患した虫垂を切除する能力に影響を及ぼし得る。意思決定ジャンクションの別の例としては、例えば、虫垂切除術の切開及び骨格化段階において、虫垂を安全に分割できるか否かを決定することを挙げることができ、また、推奨は、虫垂を切開するか否かの提案を含み得る。決定に影響を及ぼし得る要因の幾つかの非限定的な例としては、手技の、自由な虫垂の達成、及び回腸／盲腸が適切に動かされたか否かを含み得る。推奨は、これらの要因のうちの少なくとも１つに基づいてもよい。このジャンクションで行われる決定は、虫垂炎（「断端虫垂炎」）の再発があるか否かを決定し得る。意思決定ジャンクション別の例としては、例えば、虫垂切除術の分割段階において、虫垂の分割にどの器具を使用するかを決定することを挙げることができ、また、推奨は、分割のための器具の提案を含むことができる。決定に影響を及ぼし得る要因の幾つかの非限定的な例は、手術の複雑度レベル、虫垂の円形ビューが達成されたか否か、及び患者の体格指数を含み得る。推奨は、これらの要因のうちの少なくとも１つに基づいてもよい。このジャンクションで行われる決定は、治療の長さ及びコストに影響を及ぼし得る。意思決定ジャンクションの別の例は、例えば、虫垂切除の分割段階において、虫垂切除断端を治療するか否かを決定することを含み得る。幾つかの選択肢は、虫垂断端の治療、焼灼、又は縫合のための動作を回避することを含み得る。推奨は、虫垂切除断端を治療するかどうかの提案、及び／又は虫垂切除断端を治療するためにとるべき特定の措置の提案を含み得る。決定に影響を及ぼし得る要因の幾つかの非限定的な例は、処置の複雑度レベル及びどの機器を使用して付録を分割したかを含み得る。推奨は、これらの要因のうちの少なくとも１つに基づいてもよい。このジャンクションで行われる決定は、術後感染率及び瘻孔率に影響を及ぼし得る。意思決定ジャンクションの別の例は、例えば、虫垂切除術のパッケージング段階において、切除された試料（例えば、内袋内又はトロカールを介して）をどのように除去するかを決定することを含むことができ、また、推奨は、切除された試料をどのように除去するかに関する提案を含むことができる。例えば、決定は、処置複雑度レベルに基づいてもよい。このジャンクションで行われる決定は、手術部位感染率に影響を及ぼし得る。意思決定ジャンクションの別の例は、例えば、虫垂切除の最終検査段階で洗浄を行うか否かを決定することを含んでもよく、また、推奨は、洗浄を行う提案又は洗浄を行わない提案を含んでもよい。決定に影響を及ぼし得る要因の幾つかの非限定的な例は、処置の複雑度レベル、患者の既存の併存症、及び患者の性別を含み得る。推奨は、これらの要因のうちの少なくとも１つに基づいてもよい。このジャンクションで行われる決定は、感染率に影響を及ぼし得る。意思決定ジャンクションの合流点の別の例は、例えば、虫垂切除術の最終検査段階において、ドレーンを配置するか否かを決定することを含むことができ、推奨は、ドレーンを配置する提案又はドレーンを配置しない提案を含み得る。決定に影響を及ぼし得る要因の幾つかの非限定的な例は、処置の複雑度レベル、患者の年齢、及び患者の既存の併存症を含み得る。推奨は、これらの要因のうちの少なくとも１つに基づいてもよい。このジャンクションで行われる決定は、感染率、合併症率及び術後滞在期間に影響を及ぼし得る。
腹腔鏡下胆嚢摘出のアクセス段階における意思決定ジャンクションの一例は、挿入方法（例えば、Ｖｅｒｅｓ針、Ｈａｓｓｏｎ技術、ＯｐｔｉＶｉｅｗ）の選択及び／又はポート配置構成（「通常」及び「代替」など）の選択を含むことができ、また、推奨は、挿入方法の提案及び／又はポート配置構成の提案を含むことができる。腹腔鏡下胆嚢摘出術の癒着剥離段階における意思決定ジャンクションの一例としては、胆嚢を減圧するか否かの選択を挙げることができ、また、推奨は、胆嚢を減圧するか否かの提案を含むことができる。例えば、胆嚢が膨張している及び／又は緊張している場合、又は急性胆嚢炎の他の徴候が存在する場合、推奨は、胆嚢を減圧する提案を含み得る。腹腔鏡下胆嚢摘出術における意思決定ジャンクションの一例としては、胆嚢切開手法（例えば、伝統的、ドームダウン方式、部分合計など）の選択を挙げることができ、また、推奨は胆嚢切開手法の提案を含み得る。例えば、重症の胆嚢炎の場合、ドームダウン切開術の推奨が提供され得る。別の例では、曝露を得ることができない場合、例えば、肝臓床の大きな側枝のリスク増加のために、緊急離脱の推奨が提供され得る。腹腔鏡下胆嚢摘出術における意思決定ジャンクションの一例としては、ドレーンを設置するか否かの選択を挙げることができ、また、推奨は、ドレーンを設置する提案や、ドレーンを設置しない提案を含むことができる。
幾つかの例では、出力される特定の動作を行う及び／又は回避するためのユーザへの推奨は、トレーニングされた機械学習モデルを使用して決定されてもよい。例えば、機械学習モデルは、外科的意思決定ジャンクションに関連する情報に基づいて推奨を決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、外科的意思決定ジャンクションの特定の発生に関連する情報に基づいて、外科的意思決定ジャンクションの特定の発生に対する特定の動作を実行及び／又は回避するためにユーザに出力される推奨を決定するために使用されてもよい。外科的意思決定ジャンクションの発生に関連するそのような情報の幾つかの非限定的な例が上述されている。例えば、情報としては、外科的意思決定ジャンクションのタイプ、外科的意思決定ジャンクションの特性、外科的意思決定ジャンクションの時間（例えば、外科的処置内）、外科的処置を受ける患者の特性、外科的処置の少なくとも一部を実行する外科医（又は別のヘルスケア専門家）の特性、外科的処置に関連する手術室の特性、外科的意思決定ジャンクションに関連する解剖学的構造、外科的意思決定ジャンクションに関連する解剖学的構造の状態、外科的処置で使用される医療機器、外科的処置における医療機器と解剖学的構造との間の相互作用、外科的意思決定ジャンクションに関連する生理的応答、外科的意思決定ジャンクションの前に外科的処置において発生した１つ以上の手術事象、外科的意思決定ジャンクションの前に外科的処置において発生した１つ以上の手術事象の持続時間、外科的処置における手術段階の持続時間、転帰と外科的意思決定ジャンクションで応じられ得る想定し得る動作との間の１つ以上の相関関係、既に提供された推奨に対するユーザの過去の応答などを挙げることができる。そのようなトレーニング例の一例は、所望の推奨を示すラベルと共に、外科的意思決定ジャンクションに関する情報を含むことができる。例えば、ラベルは、所望の推奨のための所望のテキスト及び／又はグラフィックコンテンツを含むことができる。別の例では、ラベルは、転帰とそのような外科的意思決定ジャンクションで行われる特定の動作との間の相関関係に基づいてもよい。
図２９は、開示された実施形態と整合する、外科的処置のための決定支援のための例示的なプロセス２９００を示すフローチャートである。プロセス２９００は、１つ以上のマイクロプロセッサなどの少なくとも１つのプロセッサを使用して実行することができる。幾つかの実施形態では、プロセス２９００は必ずしも例示されたステップに限定されず、本明細書に記載された様々な実施形態のいずれかもプロセス２９００に含まれ得る。当業者であれば分かるように、プロセス２９００のステップは、例えばシステム１４０１の構成要素を含むシステムによって実行されてもよい。幾つかの実施形態では、持続性コンピュータ可読媒体は、少なくとも１つのプロセッサによって実行されるときにプロセス２９００に従って外科的処置のための決定支援を提供するための動作を少なくとも１つのプロセッサに実行させる命令を含む。幾つかの実施形態では、プロセス２９００は、外科的処置中にリアルタイムで実行されてもよい。プロセス２９００に記載されたステップに基づいて、外科医又は他のユーザは、正の転帰で外科的処置をより効果的且つより効率的に実行すること、及び／又は負の転帰を回避することができる。
ステップ２９０２において、プロセスは、開示された実施形態と整合して一例として前述したように、手術室内の患者に対して外科医によって実行された外科的処置のビデオ映像を受信することを含むことができる。図１は、手術室、外科医、患者、及び外科的処置のビデオ映像を捕捉するように構成されたカメラの一例を示す図である。ビデオ映像は、内視鏡又は体内カメラ（例えば、腔内ビデオの画像）の少なくとも一方からの画像を含むことができる。
ステップ２９０４において、プロセスは、開示された実施形態と整合して一例として前述したように、外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスすることを含むことができる。幾つかの実施形態では、データ構造にアクセスすることは、ネットワークを介して、及び／又は接続を介してデバイスからデータ構造のデータを受信することを含むことができる。データ構造にアクセスすることは、開示された実施形態と整合して、データ記憶装置からデータを検索することを含むことができる。
ステップ２９０６において、プロセスは、開示された実施形態と整合して一例として前述したように、画像関連データを使用して受けたビデオ映像を解析して、外科的意思決定ジャンクションの存在を決定することを含むことができる。受けたビデオ映像を解析することは、開示された実施形態と整合して、受けたビデオ映像の１つ以上のフレームに対して画像解析の方法を実行することを含むことができる。受けビデオ映像を解析することは、外科的意思決定ジャンクションの存在を決定するようにトレーニングされたモデルを実装することを含むことができる。意思決定ジャンクションは、前述のように、不適切なアクセス又は露出、解剖学的構造の退縮、解剖学的構造又は流体漏れの誤った解釈、及び／又は任意の他の手術事象を含むことができる。幾つかの実施形態では、意思決定ジャンクションは、共通の手術状況の後に異なる動作経過が発生した複数の異なる履歴的な処置の解析によって決定され得る。幾つかの実施形態では、意思決定ジャンクションの存在を決定することは、解剖学的構造の検出された生理的応答及び／又は手術器具に関連する動きに基づくことができる。
ステップ２９０８において、プロセスは、一例として前述したように、少なくとも１つのデータ構造において、転帰と意思決定ジャンクションにおいて行われる特定の動作との間の相関関係にアクセスすることを含むことができる。前述したように、特定の動作は、開示された実施形態と整合して、正の又は負の転帰と相関し得る。相関関係にアクセスすることは、相関関係を生成すること、メモリから相関関係を読み出すこと、及び／又はデータ構造内の相関関係にアクセスする任意の他の方法を含むことができる。
特定の動作は、単一のステップ又は複数のステップ（例えば、外科医によって実行される複数の動作）を含むことができる。特定の動作は、更なる外科医を手術室に呼び出すことを含むことができる。
ステップ２９１０において、プロセスは、一例として前述したように、開示された実施形態と整合して、特定の動作を実行するための推奨をユーザに出力することを含むことができる。推奨を出力することは、本実施形態と整合して、意思決定ジャンクション及びアクセスされた相関関係の決定された存在に基づいてもよい。幾つかの実施形態では、推奨を出力することは、手術室のインタフェースを介して出力を提供することを含むことができる。幾つかの実施形態では、外科医は手術用ロボットであり、推奨は手術用ロボットへの表示の（例えば、特定の動作を実行する、及び／又は特定の動作を回避する表示）形態で提供されてもよい。一例として、推奨は、医療検査を行う推奨を含むことができる。推奨（例えば、第１の推奨、第２の推奨、及び／又は更なる推奨）は、決定された意思決定ジャンクションの存在、アクセスされた相関関係、及び医療検査の受信結果に基づいて、特定の動作を実行又は回避するためのユーザへの推奨を含むことができる。推奨は、更なる外科医の名前及び／又は他の識別子（例えば、従業員ＩＤ）を含むことができる。推奨は、現在の手術状況の説明、予防措置又は是正措置の表示、及び／又は危険ゾーンマッピングを含むことができる。一例では、前述のように、推奨は、患者から炎症性流体、血液、胆汁、及び／又は他の流体を除去するための外科用排液管の推奨される配置を含み得る。特定の処置が行われた場合又は行われなかった場合に所望の手術転帰が生じる又は生じない信頼度レベルは、推奨の一部であり得る。推奨は、外科医のスキルレベル、相関及びバイタルサイン、並びに／又は意思決定ジャンクションの前の外科的処置で発生した手術事象（すなわち、以前の手術事象）に基づくことができる。幾つかの実施形態では、推奨は、患者の組織の状態及び／又は患者の臓器の状態に基づくことができる。別の例として、特定の動作の推奨は、一例として前述したように、瘻孔の作成を含むことができる。
開示されたシステム及び方法は、現在及び／又は履歴的な手術映像を解析して、手術の特徴、患者の状態、及び他の特徴を識別し、外科的接触力を推定することを含むことができる。処置中に接触力が大きすぎると、患者の健康に悪影響を及ぼす可能性がある。逆に、不十分な接触力は、幾つかの処置では最適以下の結果をもたらし得る。任意の所定の手術状況において適用するのに適切なレベルの力を評価することは困難であり、患者にとって最適以下の結果をもたらす可能性がある。したがって、外科的接触力を効率的に、効果的に、リアルタイムに又は術後に決定する非従来的な手法が必要とされている。
本開示によれば、外科的処置中に解剖学的構造上の接触力を推定するための方法が開示される。接触力は、外科的処置中に１つ以上の解剖学的構造（例えば、患者の組織、四肢、器官、又は他の解剖学的構造）に対して外科医又は手術器具によって及ぼされる任意の力を含むことができる。本明細書で使用される「接触力」という用語は、その力が重量の単位（例えば、適用されるキログラム又はポンド）、力の単位（例えば、ニュートン）、面積に加えられる圧力（例えば、１平方インチ当たりに適用されるポンド）、張力（例えば、牽引力）、又は圧力（例えば、押圧力）のいずれを特徴とするかにかかわらず、解剖学的構造に加えられ得る任意の力を指す。
接触力は、多くの方法で直接的又は間接的に加えられ得る。例えば、接触力は、外科医が解剖学的構造（例えば、外科医の手によって適用される）と直接接触することによって加えられてもよく、又は外科医の手の中の外科用器具、手術器具又は他の構造を通して加えられてもよい。外科医が手術用ロボットである場合、ロボットは、ロボット構造（ロボットアーム、指、把持部）を介して、直接に、又はロボットによって操作される器具、器具、もしくは他の構造を介して接触力を及ぼすことができる。
接触力は、垂直（すなわち、直交）力、せん断力、及び／又は垂直力とせん断力との組み合わせを含むことができる。より一般的には、接触力は、手術中に患者の身体の任意の部分に加えられる任意の力又は圧力を含み得る。
本実施形態と整合して、接触力を推定することは、スケールに従って実際の接触力の大きさの推定値を生成するために画像及び／又は手術ビデオを解析することを含むことができる。画像解析による力の推定は、組織への影響を観察するための組織／モダリティインタフェースの検査を含むことができる。例えば、モダリティが胆嚢などの臓器を圧迫する鉗子などの医療機器である場合、力印加の位置に適用されるマシンビジョン技術は、印加された力を反映する臓器の動き及び／又は変化を明らかにすることができる。力の印加が以前に観察された以前の処置からの履歴ビデオ映像に基づいて、現在のビデオに対して印加された力の大きさの推定を行うことができる。力の大きさの推定値は、測定単位（例えば、ポンド、ポンド／平方インチ、ニュートン、キログラム、又は他の物理単位）を含むことができ、又は相対スケールに基づくことができる。相対指標は、カテゴリ指標、数値指標、及び／又は任意の他の指標を含むことができる。カテゴリ指標は、力のレベル（例えば、高力、中力、低力、又は任意の他の数のレベルなどの複数のレベルを含むスケール）を反映することができる。接触力は、１～１０のスケールなどの数値スケールに従って推定することができる。更に、力は、離散的な時点で推定されてもよく、又は連続的に推定されてもよい。幾つかの実施形態では、接触力の推定値は、接触位置、接触角、及び／又は接触力の任意の他の特徴の推定値を含むことができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定するための方法は、手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信することを含むことができる。画像センサは、カメラ及び／又は任意の他の画像捕捉デバイスを含むことができる。画像センサは、画像データ及び／又はビデオデータを収集するように構成されてもよく、例えば、患者の上方又は患者内（例えば、体内腔で）など、任意の手術室内のどこに配置されてもよい。画像データは、手術ビデオ、ビデオクリップ、ビデオ映像、画像フレーム、連続ビデオ、及び／又はビデオから導出された任意の他の情報を含むことができる。例えば、画像データは、記憶フォーマットにかかわらず、ピクセルデータ、色データ、彩度データ、及び／又は画像を表す任意の他のデータを含むことができる。画像データは、時間データ（例えば、画像がセンサによって取り込まれた時間）、位置データ、外科的処置に関する情報（例えば、患者識別子、外科的処置の名前）、及び／又は任意の他のメタデータを含むことができる。幾つかの実施形態では、外科的処置の画像データは、手術室内の画像センサによって収集され、手術室内、手術室の近く、又は手術室から離れたデータ構造（例えば、図１７Ａのデータ構造）に記憶され得る。力の推定はリアルタイムで行われ得るが、データがデータ構造から検索されるときなど、非リアルタイムで推定されてもよい。
幾つかの実施形態では、解剖学的構造上の接触力を推定する方法は、受信した画像データを解析して、画像データに反映された解剖学的構造の識別情報を決定することを含むことができる。受信した画像データを解析することは、本実施形態と整合する任意の画像解析方法を含むことができる。画像及び／又は映像内の解剖学的構造を識別するためのアルゴリズムの幾つかの非限定的な例が上述されている。受信した画像データを解析することは、例えば、物体認識、画像分類、ホモグラフィ、ポーズ推定、動き検出、及び／又は他の画像解析方法の方法を含むことができる。受信した画像データを解析することは、開示された実施形態と整合する、トレーニング例を使用してトレーニングされた機械学習モデルを実装することを含む人工知能方法を含むことができる。例えば、受信した画像データは、例えば上述したように、解剖学的構造を検出及び／又は識別するためにトレーニング例を使用してトレーニングされた機械学習モデルを使用して解析することができる。例えば、受信した画像データは、画像及び／又はビデオから解剖学的構造を検出及び／又は識別するように構成された人工ニューラルネットワークを使用して解析することができる。トレーニング例は、解剖学的構造を描写するものとしてラベル付け又は分類された画像データ（例えば、膵臓を描写するものとして分類された画像）を含むことができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定する方法は、受信した画像データを解析して解剖学的構造の状態を決定することを含むことができる。一般に、解剖学的構造の状態は、解剖学的構造の状態又は特性を示す任意の情報を指すことができる。例えば、状態は、解剖学的構造が正常であるか、異常であるか、損傷しているか、漏出しているか、水和しているか、脱水しているか、酸素化しているか、後退しているか、拡大しているか、収縮しているか、存在しているか、不在であるか、及び／又は任意の他の評価を反映し得る。状態は、解剖学的構造の活力の指標、酸素化のレベル、水和のレベル、苦痛のレベル、及び／又は解剖学的構造の任意の他の状態の指標を含むことができる。一例では、解剖学的構造の状態は、数学的空間内の点に対応する数値のベクトルとして表すことができる。幾つかの例では、機械学習モデルは、画像及び／又はビデオから解剖学的構造の状態を識別するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、受信した画像データを解析し、解剖学的構造の状態を決定するために使用されてもよい。そのようなトレーニング例の一例は、解剖学的構造の状態を示すラベルと共に、解剖学的構造の画像及び／又はビデオを含むことができる。
幾つかの実施形態では、解析は、状態を示す解剖学的構造の特性に基づいて状態を決定することができる。非限定的な例として、解析は、組織の色、解剖学的構造のテクスチャ、心拍数、肺容量、及び／又は解剖学的構造の任意の他の特性を決定することができる。幾つかの実施形態では、推奨は、心拍数モニタデータ、脳行動データ、温度データ、血圧データ、血流データ、漏れデータ、及び／又は任意の他の健康データなどのセンサデータに反映された特性に基づくことができる。解剖学的構造のそのような特性は、解剖学的構造の状態を示すことができ、既知の状態と相関させることができる。例えば、脳行動の低下は血管閉塞を示す可能性があり、又は頭蓋圧力の上昇は脳出血を示す可能性がある。そのような相関関係は、図１７Ａのデータ構造などのデータ構造に記憶することができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定する方法は、解剖学的構造に関連する接触力閾値を選択することを含むことができる。接触力閾値は、最小又は最大接触力を含むことができる。幾つかの実施形態では、接触力閾値を選択することは、閾値を上回る又は下回る力を加えることに関連する可能性のある転帰を示す情報に基づくことができる。接触力閾値の選択は、推奨される接触力を示すデータ（例えば、最大安全力又は最小有効力）に基づいてもよい。例えば、接触力閾値を選択することは、対応する接触力閾値を含む解剖学的構造のテーブルに基づくことができる。表は、解剖学的構造の状態の表示を含むことができる。幾つかの実施形態では、選択された接触力閾値は、解剖学的構造の決定された状態に基づくことができる。例えば、選択された接触力閾値は、解剖学的構造が漏れている、特定の色を有する、特定のレベルの収縮を有する、及び／又は任意の他の状態を示す情報に基づいて増減することができる。別の例では、解剖学的構造の第１の決定された状態に応じて、第１の接触力閾値を選択することができ、また、解剖学的構造の第２の決定された状態に応じて、第２の接触力閾値を選択することができ、第２の接触力閾値は第１の接触力閾値とは異なり得る。更に別の例では、解剖学的構造の決定された状態は、（上述したように）ベクトルとして表されてもよく、また、接触力閾値は、決定された状態のベクトル表示の関数を使用して計算されてもよい。幾つかの例では、選択された接触力閾値は、接触力のタイプ（例えば、張力、圧縮など）の関数であり得る。例えば、第１のタイプの接触力に応じて、選択された接触力閾値が第１の値を有してもよく、また、第２のタイプの接触力に応じて、選択された接触力閾値が第２の値を有してもよく、第２の値は第１の値と異なってもよい。
幾つかの実施形態では、接触力閾値は、引張レベル（すなわち、解剖学的構造を引っ張る力のレベル）又は退縮レベルに関連付けられてもよい。退縮は、組織、器官、及び／又は外科医が見るための他の解剖学的構造を露出させるための組織の移動、牽引、及び／又は反対牽引を含み得る。幾つかの実施形態では、接触力閾値は、圧力レベル（例えば、解剖学的構造を押す接触力の量）及び／又は圧縮レベルに関連付けられてもよい。圧迫レベルは、解剖学的構造（例えば、接触力による解剖学的構造のサイズの縮小）の圧迫の程度又は量を含み得る。
本実施形態と整合して、接触力を選択することは、解剖学的構造と医療機器との間の接触態様に関するデータに基づくことができる。例えば、幾つかの実施形態では、解剖学的構造の幾つかの領域は他の領域よりも大きな力感受性を有し得るため、接触力閾値を選択することは、解剖学的構造と医療機器との間の接触位置に基づいてもよい。開示された実施形態と整合して、受信した画像データを解析することによって位置を決定することができる。したがって、選択された接触力閾値は、解剖学的構造と医療機器との間のある接触位置で、他の位置よりも高くなり得る。また、接触力閾値を選択することは、解剖学的構造と医療機器との間の接触角に基づいてもよい。接触角は、解剖学的構造と医療機器との間の入射角を識別するために画像データを解析することによって決定され得る。例えば、姿勢推定アルゴリズムを使用して、画像データを解析し、解剖学的構造の姿勢及び／又は医療機器の姿勢を決定することができ、また、解剖学的構造と医療機器との間の角度は、決定された姿勢に基づいて決定することができる。別の例では、機械学習アルゴリズムは、解剖学的構造と医療機器との間の角度を決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、画像データを解析し、解剖学的構造と医療機器との間の角度を決定するために使用されてもよい。そのようなトレーニング例の例は、解剖学的構造と医療機器との間の角度を示すラベルと共に、解剖学的構造及び医療機器を描写する画像を含むことができる。幾つかの例では、選択された接触力閾値は、接触力に関連する接触角の関数であり得る。例えば、第１の接触角に応じて、選択された接触力閾値が第１の値を有してもよく、また、第２の接触角に応じて、選択された接触力閾値が第２の値を有してもよく、第２の値は第１の値と異なってもよい。
幾つかの実施形態では、接触力閾値を選択することは、モデル（例えば、統計的モデル及び／又は機械学習モデル）を実装及び／又は使用することを含むことができる。例えば、接触力閾値を選択することは、解剖学的構造の状態を入力として回帰モデルに提供すること、及び、回帰モデルの出力に基づいて接触力閾値を選択することを含むことができる。幾つかの実施形態では、回帰モデルは、対応する状態及び手術転帰を有する解剖学的構造に加えられた接触力を含む履歴データに適合させることができる。
幾つかの実施形態では、接触力閾値を選択することは、トレーニング例を使用してトレーニングされた機械学習モデルを使用して接触力閾値を選択することを含むことができる。例えば、機械学習モデルは、入力データに基づいて接触力閾値を選択するためにトレーニング例を使用してトレーニングされてもよい。そのような入力データとしては、外科的処置の画像データ、解剖学的構造を描写する画像データ、外科的処置のタイプ、外科的処置の段階、動作のタイプ、解剖学的構造のタイプ、解剖学的構造の状態、外科医のスキルレベル、患者の状態などを挙げることができる。そのようなトレーニング例の一例は、所望の接触力閾値を示すラベルと共にサンプル入力データを含むことができる。一例では、所望の接触力閾値は、既知の医療ガイドラインに基づいて選択することができる。別の例では、所望の接触力閾値を手動で選択することができる。更に別の例では、所望の接触力閾値は、例えば、正の転帰と高度に相関する（例えば、履歴的なデータに従って正の転帰を保証する、履歴的なデータに従って選択された症例比で正の転帰を保証するなど）接触力閾値を選択するために、履歴的事例における又は履歴的事例のグループの所定のサブセットにおける転帰と印加された接触力との相関関係の解析に基づいて選択されてもよい。更に、幾つかの例では、トレーニングされた機械学習モデルを使用して、特定の事例（例えば、特定の外科的処置、外科的処置の特定の段階、外科的処置における特定の動作、特定の外科医、特定の患者、特定の解剖学的構造など）に対応するそのような入力データを解析し、接触力閾値を選択することができる。例えば、トレーニングされた機械学習モデルを使用して、外科的処置の画像データ及び／又は解剖学的構造の決定された識別情報及び／又は解剖学的構造の決定された状態及び／又は外科的処置の現在の状態の特性を解析して、接触力閾値を選択することができる。
幾つかの実施形態では、機械学習モデルは、画像及び／又はビデオから接触特性（接触位置、接触角、接触力など）を決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、ビデオ映像を解析し、実際の接触位置、実際の接触角、実際の接触力などの、外科的処置で発生する実際の接触の特性を決定するために使用されてもよい。トレーニング例の一例は、接触位置、接触角、接触力などの特定の接触の特性を示すラベルと共に特定の接触を示す画像データを含むことができる。例えば、トレーニング例は、センサ（例えば、医療機器に埋め込まれたセンサ）を使用して収集された接触力の測定値を含むことができる。別の例では、トレーニング例は、医療記録（例えば、記録に記憶された接触力の推定値、センサデータ又は外科医の意見に基づく推定値）に含まれる接触力の推定値を含むことができる。
幾つかの実施形態では、接触力閾値を選択することは、外科医によって実行される１つ以上の動作に基づくことができる。例えば、方法は、例えば動作認識アルゴリズムを使用して、外科医（例えば、人間又は手術用ロボット）によって実行された動作を識別するために画像データを解析することを含むことができる。一例では、選択された接触力閾値は、外科医によって実行された１つ以上の動作、接触力、及び転帰を相関させる履歴データに基づくことができる。例えば、正の転帰と高度に相関する（例えば、履歴的なデータに従って正の転帰を保証する、履歴的なデータに従って選択された症例比において正の転帰を保証するなど）接触力閾値を選択することができる。一例では、データ構造は、異なる動作の接触力閾値を指定することができる。一例では、接触力閾値は、開示された実施形態と整合する、外科医のスキルのレベルに基づくことができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定する方法は、解剖学的構造上の実際の接触力の表示を受信することを含むことができる。実際の接触力の表示は、外科医（例えば、人間又はロボット外科医）と解剖学的構造との間の接触に直接的又は間接的に関連付けられ得る。例えば、実際の接触力は、医療機器と解剖学的構造との間（例えば、解剖学的構造と反応器、メス、外科用クランプ、ドリル、骨カッター、ノコギリ、ハサミ、鉗子、及び／又は任意の他の医療機器との間）の接触に関連付けられ得る。幾つかの実施形態では、実際の力は、引張レベル、退縮レベル、圧力レベル、及び／又は圧縮レベルに関連付けられてもよい。表示は、開示された実施形態と整合する、接触のレベルを含む接触力の推定値を含むことができる。より一般的には、実際の力の表示は、本明細書で説明するように、手術事象中に加えられる任意の接触力の任意の表示を含むことができる。一例では、実際の接触力の表示は、接触角の表示、接触力の大きさ又はレベルの表示、及び接触力のタイプの表示などのうちの少なくとも１つを含むことができる。
幾つかの実施形態では、実際の接触力の表示は、画像データの画像解析に基づいて推定することができる。接触力の表示を推定するための画像データの画像解析は、本明細書に開示される画像解析の任意の方法を含むことができる。幾つかの実施形態では、接触力の表示は、接触力を解剖学的構造（例えば、解剖学的構造の変形）の変化、外科医もしくは外科用器具の位置、外科医及び／もしくは外科用器具の動き、並びに／又は手術事象の任意の他の特徴と関連付ける画像解析方法に基づくことができる。幾つかの実施形態では、実際の接触力の表示は、接触力を手術事象の特徴と関連付ける履歴データに適合する回帰モデルを使用して推定することができる。また、実際の接触力の表示は、例えば上述のように機械学習モデルを使用して推定することができる。
幾つかの実施形態では、実際の接触力の表示は、力を直接的又は間接的に測定するセンサデータに基づくことができる。例えば、実際の力は、医療機器又は手術用ロボットと解剖学的構造との間の接触位置で力を測定する力センサ（例えば、医療機器又はロボットに埋め込まれた力センサ）に基づくことができる。例示的な実施形態では、実際の接触力の表示は、手術器具又は他の医療機器から受信されてもよい。同様に、実際の接触力の表示を手術用ロボットから受信することができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定するための方法は、実際の接触力の表示を選択された接触力閾値と比較することを含むことができ、これは、実際の接触力が選択された接触力閾値を超えるか超えないかを決定することを含むことができる。実際の接触力の表示を選択された接触力閾値と比較することは、実際の接触力と選択された接触力閾値との差、比、対数、及び／又は任意の他の関数を計算することを含むことができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定する方法は、実際の接触力の表示が選択された接触力閾値を超えるという決定に基づいて通知を出力することを含むことができる。通知を出力することは、デバイスに推奨を送信すること、インタフェースに通知を表示すること、音を再生すること、触覚フィードバックを提供すること、及び／又は過剰な力が加えられたことを個人に通知する任意の他の方法を含むことができる。通知は、手術室内の装置、外科医に関連付けられた装置（例えば、人間の外科医及び／又は手術用ロボット）、及び／又は任意の他のシステムに出力され得る。例えば、通知を出力することは、コンピュータ、モバイルデバイス、外部デバイス、手術用ロボット、及び／又は任意の他のコンピューティングデバイスに通知を送信することを含むことができる。別の例では、通知を出力することは、通知をファイルにロギングすることを含むことができる。
幾つかの実施形態では、通知は、接触力が選択された接触力閾値を超えたか超えなかったことを指定する情報を含むことができる。幾つかの実施形態では、通知は、接触角の表示、接触力の大きさ、接触位置、及び／又は接触力に関する他の情報を含む、選択された接触力及び／又は実際の接触力の推定値に関する情報を含むことができる。
幾つかの例では、実際の力の表示に従って、異なる強度（すなわち、重大度又は大きさ）の通知を提供することができる。例えば、通知を出力することは、実際の力の表示と選択された力閾値との間の差、又は実際の力の表示と複数の閾値との比較に基づいてもよい。通知は、実際の力の強度のレベル、又は実際の力と選択された力閾値との間の差の強度に基づくことができる。幾つかの実施形態では、通知は、強度のレベルを指定する情報を含むことができる。
本実施形態と整合して、外科的処置を行う外科医に警告を提供するなどのために、外科的処置中にリアルタイムで通知を出力することができる。幾つかの実施形態では、通知は、力印加を変更するための手術用ロボットへの命令を含むことができる。例示的な例として、通知は、接触力の大きさ、角度、及び／又は位置を変更するための命令を含むことができる。
幾つかの実施形態では、解剖学的構造上の接触力を推定するための方法は、受信した画像データから、外科的処置が臨時措置を必要とし得る戦闘モードにあると決定することを含むことができる。そのような状況では、典型的な接触力閾値を保留することができる。受信した画像データから、外科的処置が戦闘モードであり得ると決定することは、本明細書に開示されるように、画像解析の方法を使用することを含むことができる。例えば、ビデオに示される特定の生理的応答及び／又は手術行動は、外科的処置が戦闘モードにあることを示すことができる。戦闘モード決定は、統計モデル（例えば、回帰モデル）及び／又は機械学習モデル、例えば、戦闘モードにある及びそうでない手術の部分を描写するものとして分類された手術ビデオの履歴例を使用して、戦闘モードを認識するようにトレーニングされたモデルを使用することを含むことができる。幾つかの実施形態では、通知は、戦闘モード中に中断されてもよい。例えば、通知の出力は、無期限に、又は少なくとも外科的処置が戦闘モードではない可能性があると決定されるまで遅延され得る。幾つかの実施形態では、通知の出力を所定の期間（例えば、数分又は任意の他の期間）遅延させることができる。他の例では、出力される通知のタイプは、外科的処置を受けている患者が戦闘モードにあるかどうかに基づいて決定されてもよい。幾つかの例では、接触力閾値は、外科的処置を受けている患者が戦闘モードにあるかどうかに基づいて選択されてもよい。
幾つかの実施形態では、解剖学的構造上の接触力を推定するための方法は、受信した画像データから、外科医が接触力通知を無視するモードで手術している可能性があると決定することを含むことができる。接触力通知は、接触力に関する情報（例えば、実際の接触力及び／又は選択された接触力閾値）を含む通知を含んでもよい。幾つかの実施形態では、外科医が接触力通知を無視するモードで手術している可能性があるという決定は、１つ以上の接触力通知に続く実際の接触力の１つ以上の表示を解析することを含むことができる。例えば、実施形態は、１つ以上の接触力通知の出力後に、１つ以上の実際の接触力表示が選択された接触力閾値を超えるか超えないかを決定することを含むことができる。受信した画像データから、外科医が接触力通知を無視するモードで手術している可能性があると決定することは、画像解析の方法を使用することを含むことができ、統計モデル（例えば、回帰モデル）及び／又は機械学習モデルを使用することを含むことができる。そのような機械学習モデルは、接触力通知を無視している及び無視していない外科医として分類された手術ビデオの履歴例を使用して、外科医が接触力通知を無視するモードで手術している可能性があることを決定するようにトレーニングされ得る。
実施形態は、外科医が接触力通知を無視するモードで手術している可能性があるという決定に基づいて、少なくとも一時的に更なる接触力通知を保留する（遅延させる）ことを含むことができる。幾つかの実施形態では、接触力通知は、所定の期間（例えば、数分又は任意の他の期間）後に再開することができる。
図３０は、開示された実施形態と整合する、解剖学的構造上の接触力を推定するための例示的なプロセス３０００を示すフローチャートである。プロセス３０００は、一つ以上のマイクロプロセッサ等の少なくとも１つのプロセッサによって実行されてもよい。幾つかの実施形態では、プロセス３０００は、必ずしも図示されたステップに限定されず、本明細書に記載された様々な実施形態のいずれかがプロセス３０００に含まれてもよい。当業者であれば分かるように、プロセス３０００のステップは、例えばシステム１４０１の構成要素を含むシステムによって実行されてもよい。幾つかの実施形態では、持続性コンピュータ可読媒体は、少なくとも１つのプロセッサによって実行されるときにプロセス３０００に従って解剖学的構造上の接触力を推定するための動作を少なくとも１つのプロセッサに実行させる命令を含む。幾つかの実施形態では、プロセス３０００は、外科的処置中にリアルタイムで実行されてもよい。
ステップ３００２において、プロセスは、様々な例を通して前述したように、手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信することを含むことができる。画像センサは、任意の手術室のどこに配置されてもよく、画像データは、任意のビデオデータ、画像を表すデータ、及び／又はメタデータを含んでもよい。
ステップ３００４において、プロセスは、実施例を通して前述したように、開示された実施形態と整合して、解剖学的構造の識別情報を決定し、画像データに反映された解剖学的構造の状態を決定するために、受信した画像データを解析することを含むことができる。受信した画像データを解析することは、前述したように、任意の画像解析方法を含むことができ、また、解剖学的構造の状態は、解剖学的構造の状態又は特性を示す任意の情報を指すことができる。前述したように、受信した画像データを解析することは、画像データ内の解剖学的構造の状態を決定するためにトレーニング例を使用してトレーニングされた機械学習モデルを使用することを含むことができる。
ステップ３００６において、プロセスは、解剖学的構造に関連する接触力閾値を選択することを含むことができ、また、選択された接触力閾値は、解剖学的構造の決定された状態に基づく。より詳細に前述したように、接触力閾値を選択することは、推奨される接触力を示すデータ（例えば、最大安全力又は最小有効力）に基づくことができる。接触力閾値を選択することは、接触力の位置及び／又は角度に基づくことができ、モデル（例えば、回帰モデル及び／又は機械学習モデルなどの統計モデル）を実装することを含むことができる。更に、対応する接触力閾値を含む解剖学的構造のテーブルを、接触力閾値の選択の一部として使用することができる。接触力閾値は、引張レベル又は圧縮レベルに関連付けられてもよい。幾つかの例では、接触力閾値を選択することは、トレーニング例を使用してトレーニングされた機械学習モデルを使用して接触力閾値を選択することを含むことができる。更に、接触力閾値を選択することは、外科医によって実行される１つ以上の動作に基づくことができる。接触力閾値の選択の他の非限定的な例は、上述されている。
ステップ３００８において、プロセスは、医療機器と解剖学的構造との間の接触に関連する力などで、解剖学的構造に作用する実際の接触力の表示を受信すること（例えば、前述のように）を含むことができる。実際の力は、引張レベル、退縮レベル、圧力レベル、及び／又は圧縮レベルに関連付けられ得る。実際の接触力の表示は、画像データの画像解析に基づいて推定することができる。実際の接触力の表示は、直接的又は間接的に力を測定するセンサデータに基づくことができる。幾つかの実施形態では、実際の接触力の表示は、画像データの画像解析に基づいて推定されてもよく、及び／又は手術器具、手術用ロボット、又は他の医療機器から受信された実際の接触力の表示であってもよい。
ステップ３０１０において、プロセスは、前述したように、実際の接触力の表示を選択された接触力閾値と比較することを含むことができる。実際の接触力の表示を選択された接触力閾値と比較することは、実際の接触力と選択された接触力閾値との差、比、対数、及び／又は任意の他の関数を計算することを含むことができる。
ステップ３０１２において、プロセスは、前述のように、実際の接触力の表示が選択された接触力閾値を超えるという決定に基づいて通知を出力することを含むことができる。通知の出力は、進行中の外科的処置中にリアルタイムで実行することができる。例えば、通知を出力することは、外科的処置を行う外科医にリアルタイム警告を提供すること、又は手術用ロボットに命令を提供することを含むことができる。
開示されるシステム及び方法は、現在及び／又は履歴的な手術映像を解析して、手術の特徴、患者の状態、及び他の特徴を識別し、予測される手術転帰を更新することを含むことができる。外科的処置の過程にわたって、状態が変化し得るか、又は外科的処置の予測転帰を変化させる事象が発生し得る。手術を実行するための従来の手法は、手術事象が発生するときに手術事象に基づいてリアルタイムで予測転帰を更新するための決定支援システムを欠いている可能性がある。結果として、外科医は、可能性のある手術転帰を認識していない可能性があり、それにより、転帰を改善し得る、又は転帰の悪化を回避し得る動作を実行することができない可能性がある。したがって、本開示の態様は、予測された手術転帰を効率的、効果的、及びリアルタイムで更新する非従来的な手法に関する。
本開示によれば、外科的処置中の予測転帰を更新するためのシステム、方法及びコンピュータ可読媒体が提供され得る。例えば、画像データを解析して予測転帰の変化を検出することができ、是正措置を外科医に伝達することができる。予測転帰は、関連する信頼度又は確率（例えば、尤度）で起こり得る転帰を含み得る。例えば、予測転帰は、合併症、健康状態、回復期間、死亡、身体障害、内出血、手術後の入院、及び／又は任意の他の手術事象を含み得る。幾つかの態様において、予測転帰は、スコア（例えば、下部尿路症状（ＬＵＴＳ）転帰スコアなど）を含む。より一般的には、予測転帰は、外科的処置に関連する任意の健康指標を含み得る。
幾つかの実施形態では、予測転帰は、患者が外科的処置後に退院した後、指定された時間間隔内に外科的処置を受けている患者の入院の可能性などの、入院の可能性を含み得る。入院は、外科的処置に関連する健康状態に基づいてもよく、又は他の要因に基づいてもよい。例えば、術後合併症（例えば、腫脹、出血、アレルギー反応、縫合糸の破裂、及び／又は任意の他の合併症）のために入院が起こり得る。幾つかの実施形態では、入院の可能性は、画像データの解析に基づいて（例えば、本明細書に記載の画像解析方法を使用して）決定され得る。更に、幾つかの実施形態では、外科的処置を受けている患者の情報に基づいて、入院の可能性を決定することができる。例えば、入院の可能性は、患者の特性（例えば、年齢、以前の健康状態、家族歴、バイタルサイン、及び／又は他の患者関連データ）に基づいてもよい。入院は、異なる時間間隔（例えば、２４時間以内、１週間以内、１ヶ月以内、又は別の期間内の再入院）に関して規定され得る。
幾つかの態様において、予測転帰は、統計的モデル及び／又は機械学習モデルなどの少なくとも１つのモデルに基づくことができる。例えば、予測転帰は、外科的処置に関連する情報（例えば、患者の特性及び／又は手術事象）と履歴的な転帰との間の統計的相関関係に基づいてもよい。予測転帰は、トレーニング例を使用して（例えば、履歴データに基づくトレーニング例を使用して）転帰を外科的処置に関連する情報（例えば、患者の特性及び／又は手術事象）と関連付けるようにトレーニングされた機械学習モデルによって生成され得る。
開示された実施形態は、開示された実施形態と整合して、外科的処置の画像を捕捉するように構成された少なくとも１つの画像センサから、外科的処置中の第１の事象に関連する画像データを受信することを含むことができる。第１の事象に関連する画像データは、外科的処置に関連する静止画像、画像フレーム、クリップ、及び／又はビデオ関連データを含むことができる。第１の事象は、開示された実施形態と一致する任意の手術事象を含むことができる。例示的な実施形態では、第１の事象は、外科医（例えば、人間又はロボット外科医）によって実行される動作を含むことができる。別の例では、第１の事象は、動作に対する生理的応答を含み得る。更に別の例では、第１の事象は、解剖学的構造の状態の変化を含み得る。そのような手術事象の幾つかの他の非限定的な例が上述されている。本明細書で例として説明するように、第１の事象に関連する画像データをメモリ及び／又はデータ構造で受信することができる。
画像センサは、本明細書で同様に説明される任意の画像センサ（例えば、カメラ又は他の検出器）を含むことができる。幾つかの実施形態では、画像センサは手術室に配置されてもよい。例えば、画像センサは、外科的処置を受けている患者の上方又は外科的処置を受けている患者内に配置されてもよい（例えば、腔内カメラ）。
開示された実施形態は、開示された実施形態と整合して、第１の事象に関連する受信画像データに基づいて、外科的処置に関連する予測転帰を決定することを含むことができる。予測転帰は、上述したように、外科的処置に関連する任意の健康転帰を含み得る。例えば、これは、第１の事象と何らかの方法で相関する事象を含むことができる。予測は、バイナリ（例えば、破裂をもたらす可能性がある対破裂をもたらす可能性がない）であってもよく、相対的な信頼度又は確率（例えば、破裂の可能性のパーセント；１～５段階で破裂する可能性；以下同様）を提供してもよい。決定された予測転帰は、術後の健康状態（例えば、ＬＵＴＳ転帰スコア）などの転帰の特性を反映するスコアを含み得る。予測転帰は、信頼度又は確率と関連付けられ得る。
前段落で述べたように、第１の事象は、任意の術中発生を含み得る。例えば、第１の事象は、外科医によって実行された動作、患者の特性の変化、解剖学的構造の状態の変化、及び／又は任意の他の状況を含むことができる。幾つかの実施形態では、事象自体の指標に加えて、事象が発生した時間の指標も受信されるように、第１の事象に関連する少なくとも１つの時点が受信されてもよい。この時点は、ビデオタイムライン上のカウンタと一致してもよく、又は事象が発生した絶対時間又は相対時間を反映する任意の他のマーカ又は指標を含んでもよい。
幾つかの実施形態は、第１の事象などの事象を識別することを含むことができる。そのような識別は、例えば、医療機器、解剖学的構造、及び／又は医療機器と解剖学的構造との間の相互作用の検出に基づいてもよい。検出は、本開示を通して説明したビデオ解析技術を使用して行うことができる。例えば、上記のように機械学習モデルを用いて画像データを解析することにより、事象を特定してもよい。
幾つかの実施形態では、予測転帰を決定することは、手術器具と解剖学的構造との間の相互作用を識別すること、及び識別された相互作用に基づいて予測転帰を決定することを含み得る。例えば、手術器具と解剖学的構造との間の相互作用は、例えば上述したように、画像データを解析することによって識別することができる。更に、一例において、第１の特定された相互作用に応じて、第１の転帰が予測されてもよく、また、第２の特定された相互作用に応じて、第２の転帰が予測されてもよく、第２の転帰は第１の転帰と異なり得る。別の例では、機械学習モデルは、手術器具と解剖学的構造との間の相互作用に基づいて外科的処置の転帰を予測するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、識別された相互作用に基づいて転帰を予測するために使用されてもよい。そのようなトレーニング例の一例は、所望の予測転帰を示すラベルと共に、手術器具と解剖学的構造との間の相互作用の表示を含むことができる。所望の予測転帰は、履歴データの解析、ユーザ入力（専門家の意見など）などに基づくことができる。
幾つかの実施形態では、予測転帰を決定することは、データ構造に以前に記憶されたデータなどの画像データに描写された外科医のスキルのレベルに基づくことができる。外科医のスキルのレベルは、例えば上述のように、画像データの解析に基づいて決定することができる。例えば、顔認識アルゴリズムを画像データに適用して、既知の外科医を識別することができ、対応するスキルのレベルをデータベースなどのデータ構造から読み出すことができる。幾つかの実施形態では、外科医のスキルのレベルは、画像データで識別された一連の事象に基づいて（例えば、１つ以上の動作を実行する時間の長さに基づいて、手術中に画像データ内で検出された患者応答に基づいて、及び／又は外科医のスキルのレベルを示す他の情報に基づいて）決定され得る。一例では、第１の決定されたスキルレベルに応じて、第１の転帰が予測されてもよく、また、第２の決定されたスキルレベルに応じて、第２の転帰が予測されてもよく、第２の転帰は第１の転帰と異なり得る。別の例では、外科医のスキルレベルに基づいて外科的処置の転帰を予測するために機械学習モデルがトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、決定されたスキルレベルに基づいて転帰を予測するために使用され得る。そのようなトレーニング例の一例は、所望の予測転帰を示すラベルと共に、外科医のスキルレベルの表示を含み得る。所望の予測転帰は、履歴データの解析、ユーザ入力（専門家の意見など）などに基づくことができる。
また、予測転帰を決定することは、場合によっては、画像データに描写された解剖学的構造の状態に基づいてもよい。例えば、予測転帰は、臓器状態と相関する履歴的な転帰に基づいて決定され得る。例えば、状態の悪い臓器との合併症は、状態の良い臓器との合併症よりも大きい可能性がある。解剖学的構造の状態は、幾つかの実施形態では、本開示を通して説明したように、画像データの解析に基づいて決定することができる。解剖学的構造の状態は、一時的又は慢性であってもよく、及び／又は外科的処置によって治療されている状態又は別個の医学的状態などの医学的状態を含んでもよい。解剖学的構造の状態は、色、テクスチャ、サイズ、水和のレベル、及び／又は任意の他の観察可能な特性によって示され得る。一例では、解剖学的構造の第１の決定された状態に応じて、第１の転帰が予測されてもよく、また、解剖学的構造の第２の決定された状態に応じて、第２の転帰が予測されてもよく、第２の転帰は第１の転帰と異なり得る。別の例では、機械学習モデルは、解剖学的構造の状態に基づいて外科的処置の転帰を予測するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、解剖学的構造の決定された状態に基づいて転帰を予測するために使用されてもよい。そのようなトレーニング例の一例は、所望の予測転帰を示すラベルと共に、解剖学的構造の状態の表示を含み得る。所望の予測転帰は、履歴データの解析、ユーザ入力（専門家の意見など）などに基づくことができる。
これに加えて又は代えて、予測転帰は、解剖学的構造に対する推定接触力に基づいて決定され得る。例えば、解剖学的構造に過度の力が加えられると、好ましい転帰が起こりにくくなる可能性がある。例えば、上述したように、画像データを解析することにより、接触力を推定してもよい。別の例では、接触力は、例えば上述のようにセンサから受けることができる。一例では、第１の推定接触力に応じて、第１の転帰が予測されてもよく、また、第２の推定接触力に応じて、第２の転帰が予測されてもよく、第２の転帰は第１の転帰と異なり得る。別の例では、機械学習モデルは、解剖学的構造上の接触力に基づいて外科的処置の転帰を予測するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、推定された接触力に基づいて転帰を予測するために使用されてもよい。そのようなトレーニング例の一例は、所望の予測転帰を示すラベルと共に、接触力の表示を含み得る。所望の予測転帰は、履歴データの解析、ユーザ入力（専門家の意見など）などに基づくことができる。
予測転帰の決定は、様々な方法で行われ得る。そのような方法は、履歴的な手術映像及び履歴的な手術ビデオに対応する手術転帰を示す情報に基づいて予測転帰を決定するようにトレーニングされた機械学習モデルを使用することを含むことができる。例えば、第１の事象の受信画像データは、画像及び／又はビデオから外科的処置の転帰を予測するように構成された人工ニューラルネットワークを使用して解析することができる。別の例として、予測転帰を決定することは、受信された画像データに基づいて第１の事象を識別すること、及び、転帰を予測するために第１の事象に関する情報にモデル（例えば、統計的モデル又は機械学習モデル）を適用することを含むことができる。そのようなモデルは、第１の事象に関する情報（例えば、第１の事象の識別子、第１の事象の持続時間、及び／又は外科的接触力などの第１の事象の他の特性）及び／又は外科的処置に関する情報（例えば、患者の特性、外科医の技術レベル、又は他の情報）を含む入力を受信することができる。上記の例などの入力に基づいて、システムは予測転帰を出力として返すことができる。
開示された実施形態は、開示された実施形態と整合して、外科的処置の画像を捕捉するように構成された少なくとも１つの画像センサから、外科的処置中の第２の事象に関連する画像データを受信することを含むことができる。第２の事象は、第１の事象の後に発生してもよく、第１の事象とは異なっていてもよい。第２の事象に関連付けられた少なくとも１つの時点が受信され得る。第２の事象に関連するデータを捕捉するための画像センサは、第１の事象に関連するデータを捕捉するために使用される画像センサと同じであっても異なっていてもよい。
開示された実施形態は、第２の事象に関連付けられた受信画像データに基づいて、予測転帰の変化を決定し、予測転帰を閾値未満に低下させることを含むことができる。例えば、予測転帰を決定するために上記の方法のいずれかを使用して、新たな予測転帰が、決定されて、以前に決定された予測転帰（例えば、第１の事象に関連する受信画像データに基づいて決定された予測転帰）と比較され、それにより、予測された転帰の変化が決定され得る。別の例において、新たな予測転帰は、以前に決定された予測転帰（例えば、第１の事象に関連する受信画像データに基づいて決定された予測転帰）及び第２の事象に関連する受信画像データの解析に基づいて決定され得る。例えば、機械学習モデルは、以前の予測転帰並びに画像及び／又はビデオに基づいて新しい予測転帰を決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、新しい予測転帰を決定するために、以前に決定された予測転帰及び第２の事象に関連する受信された画像データを解析するために使用され得る。そのようなトレーニング例の例は、新たな予測転帰を示すラベルと共に、以前に決定された予測転帰及び事象を描写する画像データを含み得る。別の例では、マルコフモデルを使用して、以前に決定された予測転帰を更新し、新しい予測転帰を得ることができ、この場合、マルコフモデルにおける遷移は、第２の事象に関連する受信画像データを解析することによって決定された値に基づくことができる。前述したように、予測転帰は、術後健康状態（例えば、ＬＵＴＳ転帰スコア）などの転帰の特性を反映する確率、信頼度、及び／又はスコアを含み得る。予測転帰の変化を決定することは、そのような信頼度、確率又はスコアの変化を含み得る。幾つかの例において、予測転帰の変化は、新たな予測転帰を計算することなく決定され得る。例えば、機械学習モデルは、以前の予測転帰並びに画像及び／又はビデオに基づいて予測転帰の変化を決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、予測転帰の変化の発生を決定するために、以前に決定された予測転帰及び第２の事象に関連する受信された画像データを解析するために使用され得る。そのようなトレーニング例の例は、予測転帰が第２の事象に応じて変化したかどうかを示すラベルと共に、以前に決定された予測転帰及び事象を表す画像データを含むことができる。
幾つかの実施形態では、信頼度、確率及び／又はスコアの変化は、予測転帰を閾値（例えば、閾値信頼度、閾値確率、閾値スコア）未満に低下させ得る。そのような閾値は、人工知能方法を使用して自動的に生成されてもよく、ユーザ入力などに基づいて決定されてもよい。閾値は、負の転帰（例えば、入院、合併症、死亡、又は任意の望ましくない事象など）又は正の転帰に対応し得る。
幾つかの例示的な実施形態では、予測転帰の変化を決定することは、２つのマーカ間の経過時間に基づき得る。例えば、閾値を超える切開と縫合との間の期間は、感染の可能性の増加の指標として役立ち得る。例えば、第１の経過時間に応じて、予測転帰の変化が決定されてもよく、また、第２の経過時間に応じて、予測転帰の変化が決定されなくてもよい。
幾つかの例では、２つ以上の変数は、例えば統計的方法を使用して、機械学習方法を使用してなど、正の又は負の転帰のいずれかに相関させることができる。変数は無限であってもよい。そのような変数は、患者、外科医の状態、処置の複雑度、合併症、使用される器具、２つ以上の事象間の経過時間、又は予測転帰に何らかの直接的又は間接的な影響を及ぼし得る任意の他の変数又は変数の組み合わせに関連し得る。そのような変数の１つは、流体漏れ（例えば、大きさ、持続時間、又は決定されたソース）であり得る。例えば、予測転帰の変化を決定することは、出血の大きさに基づくことができる。流体漏れ事象（例えば、出血の大きさ、出血源）の特徴は、画像データの解析に基づいて決定することができる。
開示される実施形態は、画像データに描写された外科医のスキルレベルを決定することを含むことができ、また、予測転帰の変化を決定することは、スキルレベルに基づくことができる。例えば、予測転帰の変化を決定することは、外科医の技能のレベルの更新された推定値に基づくことができる（例えば、画像解析は、外科医が１つ以上の間違いをしたと決定し、スキルレベルの推定値を減少させることができる）。別の例として、以前に決定された予測転帰は、第１の外科医のスキルレベルに基づくことができ、また、予測転帰の変化は、支援するために介入する第２の外科医のスキルレベルに基づくことができる。スキルレベルは、本明細書に記載されるように、様々な方法で決定され得る（例えば、上述のような画像解析を介して、及び／又はデータ構造からスキルレベルを読み出すことによって）。
更なる例として、予測転帰の変化を決定することは、解剖学的構造の少なくとも一部の色、テクスチャ、サイズ、状態、又は他の外観もしくは特性の１つ以上の変化に基づいてもよい。転帰予測に使用され得る解剖学的構造の状態の例は、活力、酸素化のレベル、水和のレベル、苦痛のレベル、及び／又は解剖学的構造の状態の任意の他の指標であり得る。
解剖学的構造の状態は、既知の状態の例でトレーニングされた機械学習モデルなどの様々な方法で決定することができる。幾つかの実施形態では、物体認識モデル及び／又は画像分類モデルは、履歴例を使用してトレーニングされ、解剖学的構造の状態を決定するために実装され得る。トレーニングは、監督されてもよく、及び／又は監督されなくてもよい。解剖学的構造の状態を決定するための方法の幾つかの他の非限定的な例は、上述されている。
実施形態は、解剖学的構造の状態及び／又は任意の他の入力データに基づいて予測転帰を決定する様々な方法を含み得る。例えば、回帰モデルは、解剖学的構造の状態及び転帰を含む履歴データに適合させることができる。より一般的には、履歴データを使用して、解剖学的構造の状態、患者の特性、外科医のスキルレベル、推定接触力、流体漏れ源、流体漏れ特性の程度、及び／又は外科的処置に関する任意の他の入力データを含む様々な入力データの１つ以上に基づき、回帰モデルを適合させて転帰を予測することができる。転帰は、例えば、外科的処置に関する入力データと転帰データとの間の相関関係に基づくことを含め、他の既知の統計解析に基づいて予測され得る。
開示された実施形態は、開示された実施形態と整合して、以前の外科的処置に基づいて画像関連データのデータ構造にアクセスすることを含むことができる。アクセスは、データ構造からのデータの読み出し及び／又は書き込みを含むことができる。幾つかの実施形態では、これは、図１７に示すようなデータ構造又は図６に示すようなデータ構造を使用して達成することができる。画像関連データは、画像から直接的又は間接的に導き出された任意のデータを含むことができる。このデータは、例えば、患者特性、外科医特性（例えば、スキルレベル）、及び／又は外科的処置特性（例えば、外科的処置の識別子、外科的処置の予測持続時間）を含むことができる。画像関連データは、履歴的な術中手術事象と履歴的な転帰との間の統計的関係を記述する相関又は他のデータを含むことができる。幾つかの実施形態では、データ構造は、推奨される動作、別の動作方針、及び／又は手術転帰の確率、尤度、又は信頼度を変更し得る他の動作に関するデータを含み得る。例えば、データ構造は、外科的処置の中断と改善された転帰とを相関させる情報を含むことができる。実装に応じて、データ構造は、外科医のスキルレベル、別の外科医からの支援の要求、及び転帰を相関させる情報を含むことができる。同様に、データ構造は、手術事象、動作（例えば、是正措置）、及び転帰の間の関係を記憶することができる。本開示の全体にわたって記載したように、多数の相関モデルを予測に使用することができるが、例示的な予測モデルは、履歴画像関連データ（例えば、是正措置に関する情報）及び転帰に適合する統計モデルを含むことができ、また、履歴例に基づくトレーニングデータを使用して画像関連データに基づいて転帰を予測するようにトレーニングされた機械学習モデルを含む。
開示された実施形態は、アクセスされた画像関連データに基づいて、推奨される是正措置を識別することを含むことができる。例えば、推奨される是正措置は、外科医が異なる器具又は処置を使用するための推奨、薬物を投与すること、別の外科医からの支援を要求すること、外科的処置を修正すること、外科的処置を一休みすること（例えば、注意力を高めるために）、及び／又は転帰に影響を及ぼし得る任意の他の措置を行うことを含むことができる。推奨される是正措置が支援を要求する提案を含む場合、提案は、外科医が手術外科医よりも高い又は異なるレベルの経験で呼び出されることを推奨することができる。外科的処置の修正を提案する是正措置は、以前は外科的処置の一部ではなかった更なる動作を実行するか、又は特定の予測される動作を回避する提案を含むことができる。
是正措置を識別することは、画像関連データから少なくとも部分的に導き出された、是正措置が予測転帰を閾値を超える可能性があるという表示に基づいてもよい。例えば、データ構造は、履歴的な是正措置と予測転帰との間の相関関係を含むことができ、また、是正措置は、相関関係に基づいて識別することができる。幾つかの実施形態では、是正措置を識別することは、是正措置及び手術転帰の履歴例を使用して是正措置を識別するようにトレーニングされた機械学習モデルを使用することを含むことができる。トレーニングは、監督されてもよく、又は監督されなくてもよい。例えば、機械学習モデルは、是正措置を識別するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニング例は、是正措置及び手術転帰の履歴例の解析に基づいてもよい。
開示された実施形態は、推奨された是正措置を出力することを含むことができる。推奨される是正措置を出力することは、推奨をデバイスに送信すること、通知をインタフェースに表示させること、音を再生すること、触覚フィードバックを提供すること、及び／又は手術室、外科医に関連付けられたデバイス（例えば、人間の外科医及び／又は手術用ロボット）、及び／又は任意の他のシステムに、所望のメッセージを伝達する任意の他の方法を含むことができる。例えば、推奨される是正措置を出力することは、コンピュータ、モバイルデバイス、外部デバイス、手術用ロボット、及び／又は任意の他のコンピューティングデバイスに通知を送信することを含むことができる。
更に、幾つかの実施形態では、方法は、予測転帰が閾値を下回ることに応じて、外科的処置に関連する手術室に関連付けられるスケジューリング記録を更新することを含むことができる。例えば、手術の予測される持続時間の変更は、現在の手術の遅延を説明するために次の患者の手術が時間内に押し戻されるように、スケジューリング記録の自動変更をトリガすることができる。より一般的には、任意の予測転帰の変化は、予測される持続期間の増加又は減少に関連し得る。幾つかの実施形態では、データ構造（例えば、図１７のデータ構造）は、予測転帰を手術のそれぞれの予測される持続時間と相関させることができる。本実施形態と整合して、予測転帰に基づいて予測持続時間を生成するためのモデル（例えば、回帰モデル又はトレーニングされた機械学習モデル）を使用することができる。したがって、予測転帰変化が手術の持続時間に影響を与える場合、手術スケジュールは、手術室スケジュールの変更を後続の医療スタッフに知らせるために自動的に更新され得る。更新は、電子手術室スケジューリングボードに自動的に表示されてもよい。これに代えて又は加えて、更新は、電子メール又は他のメッセージングアプリを介して、影響を受けた医療専門家に関連付けられたアカウントにブロードキャストされてもよい。スケジューリングは、上述のように予測転帰と相関し得るが、他の要因とも相関し得る。例えば、予測転帰が変化しない場合でも、外科的処置のビデオ映像に対して実行されたマシンビジョン解析は、手術が予定よりも遅れている（又は予定よりも進んでいる）ことを明らかにすることができ、前述したように、予定の更新が自動的に押し出され得る。
図３１は、開示された実施形態と整合する、手術中の予測転帰を更新するための例示的なプロセス３１００を示すフローチャートである。プロセス３１００は、一つ以上のマイクロプロセッサ等の少なくとも１つのプロセッサによって実行されてもよい。幾つかの実施形態では、プロセス３１００は、必ずしも図示されたステップに限定されず、本明細書に記載された様々な実施形態のいずれかがプロセス３１００に含まれてもよい。当業者であれば分かるように、プロセス３１００のステップは、例えばシステム１４０１の構成要素を含むシステムによって実行されてもよい。幾つかの実施形態では、持続性コンピュータ可読媒体は、少なくとも１つのプロセッサによって実行されるときにプロセス３１００に従って予測転帰を更新するための動作を少なくとも１つのプロセッサに実行させる命令を含む。幾つかの実施形態では、プロセス３１００は、外科的処置中にリアルタイムで実行されてもよい。
ステップ３１０２において、プロセスは、開示された実施形態と整合して、外科的処置の画像を捕捉するように構成された少なくとも１つの画像センサから、外科的処置中の第１の事象に関連する画像データを受信することを含むことができる。画像センサは、前述したように、手術室（例えば、患者の上方、患者内）のどこに配置されてもよい。
ステップ３１０４において、プロセスは、例を用いて前述して図示したように、第１の事象に関連する受信画像データに基づいて、外科的処置に関連する予測転帰を決定することを含んでもよい。前述したように、例えば、予測転帰を決定することは、手術器具と解剖学的構造との間の相互作用を識別すること、及び、識別された相互作用に基づいて予測転帰を決定することを含み得る。予測転帰を決定することは、画像データに描写された外科医のスキルレベルに基づいてもよい。幾つかの実施形態では、予測転帰を決定することは、画像データに描写された解剖学的構造の状態に基づくことができ、履歴的な手術ビデオ及び履歴的な手術映像に対応する手術転帰を示す情報に基づいて予測転帰を決定するようにトレーニングされた機械学習モデルを使用することを含むことができる。予測転帰の一例は、入院の可能性を含み得る。他の例は以前に提供された。
ステップ３１０６において、プロセスは、例を用いて前述して図示したように、外科的処置の画像を捕捉するように構成された少なくとも１つの画像センサから、外科的処置中の第２の事象に関連する画像データを受信することを含むことができる。
ステップ３１０８において、プロセスは、同じく前述したように、第２の事象に関連付けられた受信画像データに基づいて、予測転帰の変化を決定し、予測転帰を閾値未満に低下させることを含んでもよい。例えば、予測転帰の変化を決定することは、外科的処置における特定の時点と第２の事象との間の経過時間に基づいてもよい。他の例では、予測転帰の変化を決定することは、出血の大きさ、解剖学的構造の少なくとも一部の色の変化、解剖学的構造の少なくとも一部の外観の変化に基づいてもよい。解剖学的構造の状態を決定することは、トレーニング例を使用してトレーニングされた機械学習モデルを使用して解剖学的構造の状態を決定することを含むことができる。
ステップ３１１０において、プロセスは、前述のように及び例を用いて示されたように、以前の外科的処置に基づいて画像関連データのデータ構造にアクセスすることを含むことができる。上述したように、図１７に示すようなデータ構造にアクセスすることができる。これは一例にすぎず、開示された実施形態と整合して、他の多くのタイプ及び形態のデータ構造を使用することができる。
ステップ３１１２において、プロセスは、アクセスされた画像関連データに基づいて、前述のように推奨される是正措置を識別することを含むことができる。例えば、推奨される是正措置は、外科的プロセスを変更する、異なる手術器具を使用する、別の外科医に連絡する、外科的処置を修正する、休憩を取る、及び／又は外科的処置の転帰に影響を及ぼし得る任意の他の措置をとるための推奨を含むことができる。是正措置を識別することは、是正措置及び手術転帰の履歴例を使用して是正措置を識別するようにトレーニングされた機械学習モデルを使用することを含むことができる。
ステップ３１１４において、プロセスは、前述したように、推奨される是正措置を出力することを含むことができる。
開示されるシステム及び方法は、現在及び／又は履歴的な手術映像を解析して、手術の特徴、患者の状態、及び流体漏れを検出するための他の特徴を識別することを含むことができる。手術中、流体が漏れることがある。例えば、血液、胆汁、又は他の流体が解剖学的構造から漏れる可能性がある。多くの場合、流体漏れの発生源又は程度は未知であり得る。チェックされないままにしておくと、流体漏れは負の健康転帰を引き起こす可能性がある。したがって、本開示の態様は、手術中の流体漏れの発生源及び／又は程度を自動的且つ効果的に決定する非従来的な手法に関する。
本開示によれば、手術中の流体漏れの解析のためのシステム、方法、及びコンピュータ可読媒体を提供することができる。解析は、進行中の外科的処置中にリアルタイムで実行することができる。実施形態は、流体漏れに関連する情報を外科医にリアルタイムで提供することを含むことができる。例えば、流体漏れの解析は、外科医が流体漏れの大きさ及び／又は原因を識別できるようにし、それによって外科医が流体漏れを軽減する是正措置を実行できるようにする。流体漏れは、臓器又は組織の内部から組織又は臓器の外部の空間へ（例えば、血管の内側から外側へ、胆嚢の内側から外側へなど）の流体の漏れを含み得る。漏れ流体としては、血液、胆汁、糜粥、尿、及び／又は任意の他のタイプの流体を挙げることができる。
手術中の流体漏れの解析は、開示された実施形態と整合して、外科的処置の腔内ビデオをリアルタイムで受信することを含むことができる。腔内ビデオは、開示された実施形態と整合して、患者内に配置された画像センサによって捕捉され得る。例えば、患者の外部に配置された画像センサは、腔内ビデオ（例えば、手術中に腔が開かれた場合）を収集することができる。腔内ビデオをリアルタイムで受信することは、ネットワークを介して、又は画像センサから直接ビデオを受信することを含むことができる。
本実施形態と整合して、腔内ビデオは、外科的処置の様々な態様を描写することができる。例えば、腔内ビデオは、外科的処置の一部又は全部を実行する手術用ロボット及び／又は人間の外科医を描写することができる。腔内ビデオは、開示された実施形態と整合する、医療機器、解剖学的構造、流体漏れ状況、手術事象、及び／又は外科的処置の任意の他の態様を描写することができる。
手術中の流体漏れの解析は、開示された実施形態と整合して、腔内ビデオのフレームを解析して、腔内ビデオの異常な流体漏れ状況を決定することを含み得る。フレームを解析することは、異常な流体漏れを決定するために画像解析の任意の方法を使用することを含むことができる。例えば、画像を解析することは、ホモグラフィの方法を使用して、画像位置合わせ技術を適用して、及び／又は他の画像処理方法を適用して、差分画像（例えば、次の画像のピクセルデータから前の画像のピクセルデータを減算することによって生成された画像）を解析することを含むことができる。解析は、物体認識モデル、機械学習モデル、回帰モデル、及び／又は任意の他のモデルを使用することができる。そのようなモデルは、履歴例を含むトレーニングデータを使用して異常な流体漏れ状況を決定するようにトレーニングすることができる。例えば、機械学習モデルは、異常な流体漏れ状況を検出し、及び／又は画像及び／又はビデオから異常な流体漏れ状況の特性を決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、腔内ビデオを解析して、異常な流体漏れ状況及び／又は異常な流体漏れ状況の特性を決定するために使用され得る。そのような特性の幾つかの非限定的な例は、流体のタイプ、流体漏れの大きさ、流体漏れの位置源、流体漏れに関連する解剖学的構造などを含むことができる。そのようなトレーニング例の一例は、異常な流体漏れ状況が腔内画像及び／もしくは腔内ビデオに描写されているかどうかを示すラベルと共に、並びに／又は腔内画像及び／もしくは腔内ビデオに描写された異常な流体漏れ状況の特性を示すラベルと共に、腔内画像及び／又は腔内ビデオを含み得る。
異常な流体漏れ状況（すなわち、異常な流体漏れ事象である）を決定することは、流体漏れの様々な態様を決定することを含むことができ、解剖学的構造内又はその上の流体の存在、閾値を超える流体漏れの大きさ（例えば、所定の分位点にわたる大きさ、幾つかの標準逸脱にわたる大きさ）、流体のタイプ（例えば、血液、胆汁、尿、糜粥、及び／又は他のタイプ）、流体漏れの位置源、及び／又は流体漏れ状況の任意の他の特徴を含む。一部の流体漏れは正常（例えば、正常な流体漏れに関連する位置において、特定の手術事象についての正常な流体のタイプなどの閾値の大きさを下回る）であり得るが、他は異常（例えば、閾値の大きさを超えて、望ましくない位置にあり、正常な流体漏れに関連する手術事象、及び／又は異常な流体タイプに接続されていない）である。
漏れ源を決定するための開示された技術は、破裂した解剖学的器官、血管、及び／又は他の解剖学的構造を識別することを含むことができる。破裂した解剖学的構造は、流体漏れ特性（例えば、大きさ、流量、流れ方向、色、又は他の流体漏れ特性）の解析に基づいて識別することができる。破裂した解剖学的構造は、任意の器官、血管（例えば、動脈）、通路（例えば、気管）、組織（例えば、ライニング）、及び／又は任意の他の解剖学的構造を含むことができる。本明細書で使用される破裂という用語は、解剖学的構造に対する任意の破損、裂傷、穿刺、又は他の損傷を指し得る。
幾つかの実施形態では、識別された破裂した解剖学的構造は、手術室（例えば、図１に示す部屋）の画像センサによって捕捉された腔内ビデオの画像フレームで見ることができる。これに代えて又は加えて、破裂した解剖学的構造は、腔内ビデオのフレームでは見えない場合があり（例えば、それは他の解剖学的構造によって不明瞭にされ得る）、フレームに反映された情報（例えば、流体漏れ状況に関する情報）に基づいて識別される場合がある。破裂した構造を識別することは、回帰モデルを使用することによって、機械学習モデルを使用することによって、物体認識の方法を実行することによって、及び／又は画像解析の任意の他の方法によって、腔内ビデオの前のフレームを後続のフレームと比較することを含むことができる。例えば、機械学習モデルは、腔内画像及び／又は腔内ビデオから破裂した解剖学的器官、血管、及び／又は他の解剖学的構造を識別するためにトレーニング例を使用してトレーニングすることができ、また、トレーニングされた機械学習モデルは、腔内ビデオを解析して破裂した解剖学的器官、血管、及び／又は他の解剖学的構造を識別するために使用することができる。そのようなトレーニング例の一例は、破裂した解剖学的器官、血管、及び／又は他の解剖学的構造が腔内画像及び／又は腔内ビデオについて識別されるべきかどうかを示すラベルと共に、腔内画像及び／又は腔内ビデオを含むことができる。
実施形態は、腔内ビデオのフレームを解析して、血液飛散及び血液飛散の少なくとも１つの特性を識別することを含むことができる。血液飛散は、血液の存在及び／又は血液の漏出を指し得る。血液飛沫の識別は、腔内ビデオの色データに基づいてもよい。幾つかの実施形態では、血液飛散の特性は、血液飛散の供給源、血液飛散の強度（速度）、血液飛散の色、血液飛散の粘度、及び／又は血液飛散の体積（大きさ）に関連付けられ得る。より一般的には、血液飛散の特性は、血液飛散の任意の特性を含むことができる。例えば、機械学習モデルは、血液飛散を識別し、及び／又は画像及び／又はビデオから血液飛散の特性を決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、腔内ビデオを解析して血液飛散及び／又は血液飛散の特性を識別するために使用され得る。血液飛散のそのような特性の幾つかの非限定的な例としては、血液飛散の供給源、血液飛散の強度、血液飛散の速度、血液飛散の色、血液飛散の粘度、血液飛散の体積、血液飛散の大きさなどを挙げることができる。そのようなトレーニング例の一例は、血液のはねが腔内画像及び／又は腔内ビデオに描かれているかどうかを示すラベルと共に、並びに／或いは腔内画像及び／又は腔内ビデオに描かれている血液のはねの特性を示すラベルと共に、腔内画像及び／又は腔内ビデオを含むことができる。
実施形態は、腔内ビデオのフレームを解析して、血液のスプレーを識別すること、及び／又は血液のスプレーの少なくとも１つの特性を識別することを含むことができる。幾つかの例では、血液のスプレーを識別することは、腔内ビデオの色データ、腔内ビデオ内の動きなどに基づいてもよい。幾つかの実施形態では、血液スプレーの特性は、血液スプレーの供給源、血液スプレーの強度（速度）、スプレーされた血液の色、スプレーされた血液の動き（例えば、速度、方向など）、及び／又はスプレーされた血液の体積（大きさ）に関連し得る。より一般的には、血液のスプレーの特性は、スプレーされた血液及び／又はスプレーの任意の特性を含み得る。例えば、機械学習モデルは、血液のスプレーを識別し、及び／又は画像及び／又はビデオから血液のスプレーの特性を決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、腔内ビデオを解析して血液のスプレー及び／又は血液のスプレーの特性を識別するために使用され得る。そのようなトレーニング例の一例は、血液のスプレーが腔内画像及び／又は腔内ビデオに描写されているかどうかを示すラベルと共に、及び／又は腔内画像及び／又は腔内ビデオに描写された血液のスプレーの特性を示すラベルと共に、腔内画像及び／又は腔内ビデオを含み得る。
更に、腔内ビデオのフレームを解析することは、異常な流体漏れ状況の特性を決定することを含むことができる。例えば、特性は、流体漏れの体積、流体漏れの色、流体漏れに関連する流体のタイプ、流体漏れ速度、流体の粘度、流体の反射率、及び／又は流体の任意の他の観察可能な特徴に関連付けられ得る。更に、フレームを解析することは、流体漏れ状況に関連する流量を決定すること、流体漏れ状況に関連する流体損失の量を決定すること、及び／又は流体漏れ状況の任意の他の特性を決定することを含むことができる。流体又は流体の漏れ状況の特性は、色相、彩度、ピクセル値、及び／又は他の画像データに基づいて決定することができる。より一般的には、流体の特性又は流体漏れ状況を決定することは、本明細書に開示されるような任意の画像解析方法を含むことができる。例えば、流体の特性又は流体漏れ状況を決定することは、上述したように、トレーニングされた機械学習モデルの使用を含むことができる。
本実施形態と整合して、流体漏れ解析は、腔内ビデオを記憶すること、及び、現在のビデオの異常な漏れ状況を決定する際に、例えば開示された実施形態と整合する比較を介して、記憶された腔内ビデオの以前の履歴フレームを解析して漏れ源を決定することを含むことができる。腔内ビデオは、メモリ、データ構造（例えば、図１７Ａのデータ構造）などに記憶することができる。例えば、漏れた流体の量が選択された量を上回る（例えば、異常な漏れ状況を正常な漏れ状況と区別するために使用される選択された閾値を上回る）ときに異常な漏れ状況が決定されてもよく、その時点で、漏れ発生源は現在のビデオでは見えない可能性がある（例えば、漏れ源は、漏れた流体によって覆われてもよく、現在のビデオの現在の視野外にあってもよく、以下同様である）。しかしながら、例えば上述したように、漏れ源は、記憶された腔内ビデオの以前の履歴フレームで見ることができ、また、記憶された腔内ビデオの以前の履歴フレームを解析して漏洩源を識別することができる。別の例では、異常な漏れ状況は、第１のアルゴリズムを使用して現在のビデオを解析することによって決定することができ、その時点で、漏れ源は現在のビデオでは見えない可能性がある。そのような決定に応じて、第２のアルゴリズム（より計算集約的であるか、そうでなければ第１のアルゴリズムとは異なり得る）を使用し、記憶された腔内ビデオの以前の履歴フレームを解析して、記憶された腔内ビデオの以前の履歴フレームで見ることができる漏れ源を識別することができる。更に別の例では、トリガ（例えば、ユーザ入力、現在のビデオ内の事象検出、外科的処置を受けている患者に接続されたセンサからの入力など）は、異常な漏れ状況を決定するために現在のビデオの解析を引き起こすことができる。更に、幾つかの例では、そのような決定に応じて、例えば上述したように、保存された腔内ビデオの以前の履歴フレームを解析して漏れ源を識別することができる。
漏れ源を決定するために前のフレームを解析することは、異なる時点（例えば、２つ以上の時点で）におけるフレームを比較することを含むことができる。例えば、実施形態は、差分画像を（例えば、２つの異なる時点におけるフレームのピクセルデータを減算することによって）生成すること、及び、生成された差分画像を解析することを含むことができる。別の例では、フレームを比較することは、異なる時点における流体漏れ状況の特性を決定すること、及び、特性の変化を決定することを含むことができる。
実施形態は、異常な流体漏れ状況が決定されたときに是正措置を導入することを含むことができる。是正措置は、異常な流体漏れ状況に関連する任意の通知、提案された応答、又は対抗措置を含むことができる。是正措置は、流体漏れの様々な特性にかかわらず同じであってもよく、又は流体漏れの様々な特性に基づいて変化してもよい。後者の状況では、是正措置を導入することは、様々なオプションから是正措置を選択することを含むことができる。したがって、後者の状況では、是正措置の選択は、流体漏れ状況の決定された特性又は特性に依存し得る。例えば、決定された出血の程度が特定の閾値を下回り、出血源が識別された場合、関連する是正措置は、出血源に圧力を加えるための推奨又は命令であり得る。より有意な破裂が検出された場合、是正措置は、出血源を縫合するための推奨又は命令を含み得る。漏れに関連する流体のタイプ、漏れの程度、及び漏れ状況の特性に応じて、多くの異なる潜在的な是正措置が可能であり得る。適切な是正措置の選択を支援するために、データ構造は、流体漏れ状況、是正措置、及び転帰の間の関係を記憶することができる。更に、履歴的な流体漏れ状況、是正措置、及び転帰に基づいて統計モデルを適合させることができ、モデル出力に基づいて是正措置を選択することができる。これに代えて又は加えて、選択は、履歴的な流体漏れ状況、是正措置、及び転帰に基づいて是正措置を選択するようにトレーニングされた機械学習モデルの出力に基づくことができる。他の例では、データ構造は、流体漏れ状況と推奨される是正措置との間の関係を記憶することができ、また、是正措置は、流体漏れ状況の特性及び／又は特性に基づいてデータ構造から選択することができる。そのようなデータ構造は、ユーザ入力に基づくことができる。例えば、特定された漏れ源を有する流体漏れ状況に応じて、第１の是正措置を選択することができ（手術用ロボットを使用して漏れ源を密封するなど）、一方、特定された漏れ源を有さない流体漏れ状況に応じて、第２の是正措置を選択することができる（ユーザに通知を提供するなど）。
本実施形態と整合して、是正措置を導入することは、漏れ源の通知を提供することを含むことができる。通知は、破裂した血管、破裂した臓器、及び／又は任意の他の破裂した解剖学的構造などの漏出源を識別するメッセージを含むことができる。例えば、通知は、識別された漏れ解剖学的構造、流体漏れ特性（例えば、流体漏れの体積、流量、流体のタイプ、期間）、及び／又は流体漏れ状況に関連する任意の他の情報を含むことができる。更に、通知は、漏洩を是正するために、又はそうでなければ漏洩に応答するためにとることができる提案された一連の措置を含むことができる。別の例では、通知は、例えば、外科的処置から捕捉された画像及び／又はビデオ上のオーバーレイとして、拡張現実デバイスの指標などとして、漏れ源の視覚指標を含むことができる。通知を提供することは、デバイスに通知を送信すること、通知をインタフェースに表示させること、音を再生すること、触覚フィードバックを提供すること、及び／又は上述したような情報を出力する任意の他の方法を含むことができる。手術室内の装置（例えば、図１に示すように）、外科医に関連付けられた装置（例えば、人間の外科医及び／又は手術用ロボット）、及び／又は任意の他のシステムに通知を提供することができる。例えば、通知を出力することは、コンピュータ、モバイルデバイス、外部デバイス、手術用ロボット、及び／又は任意の他のコンピューティングデバイスに通知を送信することを含むことができる。
幾つかの実施形態では、是正措置は、ロボットに命令を送信することを含むことができる。そのような命令は、漏れを改善するか又は改善するのを支援する動作を実行するようにロボットに指示することができる。これに代えて又は加えて、命令は、ロボットに、現在の行動の経過を中止するように、及び／又は人間の介入を可能にするために脇に移動するように指示することができる。
是正措置は、様々な入力に基づくことができる。例えば、是正措置を導入することは、例えば上述したように、流量、流体損失の量、及び／又は流体もしくは流体漏れ状況の任意の特性に基づくことができる。是正措置は、流体の特性又は流体漏れ状況の統計的解析に基づくことができる。例えば、是正措置は、流体漏れ状況の特性と転帰との間の既知の（又は決定された）相関関係に基づいて選択され得る。更に、図１７Ａのデータ構造などのデータ構造は、流体漏れ状況の特性を転帰と相関させることができる。統計解析は、回帰モデルを使用して是正措置を識別することを含むことができる（例えば、流体漏れデータ、是正措置データ、及び転帰データを含む履歴データに適合する回帰モデル）。
本実施形態と整合して、腔内ビデオのフレームを解析して腔内ビデオの異常な流体漏れ状況を決定することは、流体漏れ状況が異常であるかどうかを決定することを含むことができる。一部の流体漏れ状況は正常であり得る（例えば、正常な流体漏れに関連する位置において、特定の手術事象についての正常な流体のタイプなどの閾値の大きさを下回る）。一部の流体漏れ状況は、異常であり得る（例えば、異常な流体漏れに関連する位置において、特定の手術事象の異常な流体タイプなどの閾値の大きさを超える）。正常及び／又は異常として分類された流体漏れ状況の特性は、図１７Ａに示すようなデータ構造に記憶することができる。流体漏れ状況が異常であるかどうかを決定することは、回帰モデル（例えば、履歴例に適合するモデル）及び／又はトレーニングされた機械学習モデル（例えば、履歴的な例を使用して、決定された流体漏れ状況が異常であるかどうかを決定するようにトレーニングされたモデル）を使用することを含むことができる。例えば、機械学習モデルは、流体漏れ状況に関する情報（例えば、流体漏れ状況の画像及び／又は映像、上述の流体漏れ状況を描写する映像を解析することによって決定された流体漏れ状況の特性、流体漏れ状況の原因、漏れ量、流体漏れ状況のタイプ、流体のタイプ、患者の特性、漏れ状況が発生した手術段階など）に基づいて流体漏れ状況が正常であるか異常であるかを決定するためにトレーニング例を使用してトレーニングされてもよく、また、トレーニングされた機械学習モデルは、流体漏れ状況に関する情報を解析し、流体漏れ状況が異常であるかどうかを決定するために使用されてもよい。そのようなトレーニング例の一例は、特定の流体漏れ状況が異常であるかどうかを示すラベルと共に、特定の流体漏れ状況に関する情報を含むことができる。
幾つかの実施形態は、例えば上述したように、検出された流体漏れ状況の特性を決定するために腔内ビデオのフレームを解析することを含むことができる。決定された特性は、流体漏れの量、流体漏れのタイプ、流体漏れの速度、流体漏れの原因、及び／又は外科的処置の任意の他の観察可能な特徴に関連付けられ得る。次いで、決定された特性を使用して、例えば、流体漏れが正常であるか異常であるかを確認することができる。そのような特性を決定するためにフレームを解析することは、本明細書に記載の画像解析の任意の方法を含むことができる。
幾つかの実施形態では、流体漏れ状況が異常な流体漏れ状況であるかどうかを決定することは、外科的処置を受けている患者の血圧及び／又は任意の他のバイタルサインの測定に基づくことができる。バイタルサインは、本明細書に記載の画像解析技術を介して手術ビデオから導出されてもよく、及び／又はバイタルサインを測定するように構成されたセンサから導き出されてもよい。更に、バイタルサインを異常の可能な指標として使用するために、異常は、手術事象、外科的処置のタイプ、及び／又は外科的処置の任意の他の態様などの外科的処置の任意の特性に基づくことができる。例えば、外科的処置を受けている患者の血圧の第１の測定に応じて、特定の流体漏れ状況が正常であると決定されてもよく、また、外科的処置を受けている患者の血圧の第２の測定に応じて、特定の流体漏れ状況が異常であると決定されてもよい。
開示された実施形態は、検出された流体漏れ状況が異常な流体漏れ状況であるという決定に応じて是正措置を導入することを含むことができる。更に、幾つかの実施形態は、流体漏れが正常であるという決定に応じて、是正措置の開始を見合わせることを含むことができる。是正措置を見合わせることは、是正措置を一定期間又は無期限に遅らせることを含むことができる。例えば、漏れの解析の結果、是正措置が必要ではないという決定が得られた場合、是正措置は省略され得る。或いは、是正措置が既に開始され、更なる解析によって是正措置が不要であることが明らかになった場合、是正措置を見合わせることは、更新された通知を提供することを含むことができる（例えば、通知は、推奨される是正措置を変更するか、又は以前の通知とは異なる情報を提示することができる）。
図３２は、開示された実施形態と整合する、手術中に流体漏れ検出を可能にするための例示的なプロセス３２００を示すフローチャートである。プロセス３２００は、一つ以上のマイクロプロセッサ等の少なくとも１つのプロセッサによって実行されてもよい。幾つかの実施形態では、プロセス３２００は、必ずしも図示されたステップに限定されず、本明細書に記載された様々な実施形態のいずれかがプロセス３２００に含まれてもよい。プロセス３２００のステップは、例えば、システム１４０１の構成要素を含むシステムによって実行されてもよい。幾つかの実施形態では、プロセス３２００は、少なくとも１つのプロセッサによって実行されるときに手術中の流体漏れの解析のための動作を少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体で具現化されてもよい。幾つかの実施形態では、プロセス３２００は、外科的処置中にリアルタイムで実行されてもよい。
ステップ３２０２において、プロセスは、開示された実施形態と整合して、外科的処置の腔内ビデオを受信し、リアルタイムで受信することを含むことができる。腔内ビデオをリアルタイムで受信することは、ネットワークを介して、又は画像センサから直接ビデオを受信することを含むことができる。幾つかの実施形態では、腔内ビデオは、前述のように、外科的処置の一部又は全部を実行する手術用ロボットを描写することができる。
ステップ３２０４で、プロセスは、実施例を用いて前述及び図示したように、腔内ビデオのフレームを解析して、腔内ビデオの異常な流体漏れ状況を決定することを含むことができる。上述のように、例えば、流体としては、血液、胆汁、尿、及び／又は任意の他のタイプの流体を挙げることができる。漏れ源を決定することは、破裂した解剖学的器官を識別すること、破裂した血管を識別すること、及び／又は任意の他の破裂した解剖学的構造を識別することを含み得る。幾つかの実施形態では、ステップ３２０４は、腔内ビデオのフレームを解析して、血液飛散及び血液飛散の少なくとも１つの特性を識別することを含むことができる。血液飛散の特性は、血液飛散源、血液飛散の強度（速度）、血液飛散の色、血液飛散の粘度、及び／又は血液飛散の体積（大きさ）に関連付けられ得る。腔内ビデオのフレームを解析することは、異常な流体漏れ状況の特性を決定することを含むことができる。例えば、特性は、流体漏れの体積、流体漏れの色、流体漏れに関連する流体のタイプ、流体漏れ速度、流体の粘度、流体の反射率、及び／又は流体の任意の他の特性に関連付けられ得る。更に、フレームを解析することは、流体漏れ状況に関連する流量を決定すること、流体漏れ状況に関連する流体損失の量を決定すること、及び／又は流体漏れ状況の任意の他の特性を決定することを含むことができる。方法は、腔内ビデオを記憶すること、及び、異常な漏れ状況を決定する際に、記憶された腔内ビデオの前のフレームを解析して漏れ源を決定することを更に含むことができる。
ステップ３２０６において、プロセスは、異常な流体漏れ状況が決定されたときに是正措置を導入することを含むことができる。是正措置の選択は、例えば、識別された血液飛沫の少なくとも１つの特性に依存し得る。幾つかの実施形態では、是正措置の選択は、流体漏れ状況の決定された特性に依存し得る。
開示されたシステム及び方法は、外科的処置中の事象を識別するために手術映像を解析することを含むことができ、これは患者の退院後のリスクに影響を及ぼし得る。患者の退院後のリスクは、外科的処置中の術中事象及び患者の特性に基づいて、外科的処置後に識別される必要があり得る。退院後リスクは、外科的処置中に事象を識別し、履歴データを使用して、識別された事象が患者の退院後リスクにどのように影響し得るかを決定することによって決定することができる。したがって、手術映像を解析し、患者の退院後のリスクに影響を及ぼし得る外科的処置中の事象を識別する必要がある。
本開示の態様は、方法、システム、装置、及びコンピュータ可読媒体を含む、外科的処置後の退院後リスクの予測に関するものとなり得る。
説明を容易にするために、方法の態様がシステム、デバイス、及びコンピュータ可読媒体に等しく適用されることを理解して、方法を以下に説明する。例えば、そのような方法の幾つかの態様は、有線、無線、又はその両方のネットワークを介して電子的に行われ得る。そのような方法の他の態様は、非電子的手段を使用して行われてもよい。最も広い意味では、方法は、特定の物理的及び／又は電子的な器具に限定されず、むしろ多くの異なる器具を使用して達成され得る。
開示された実施形態と整合して、退院後リスクを予測するための方法は、患者に対する特定の外科的処置中に捕捉されたビデオのフレームにアクセスすることを含むことができる。本明細書で使用される場合、ビデオは、記録された画像及び／又は音声を含む任意の形態の記録された視覚媒体を含むことができる。例えば、ビデオは、図１に関連して上述したように、カメラ１１５，１２１，１２３及び／又は１２５などの画像捕捉デバイスによって捕捉された１つ以上の画像のシーケンスを含むことができる。画像は、個々のファイルとして記憶されてもよく、対応する音声データを含むことができるビデオファイルなどの結合フォーマットで記憶されてもよい。幾つかの実施形態では、ビデオは、画像捕捉デバイスから出力される生データ及び／又は画像として記憶することができる。他の実施形態では、ビデオを処理することができる。例えば、ビデオファイルとしては、音声・ビデオ・インターリーブ（ＡＶＩ）、フラッシュ・ビデオ・フォーマット（ＦＬＶ）、クイックタイム・ファイル・フォーマット（ＭＯＶ）、ＭＰＥＧ（ＭＰＧ、ＭＰ４、Ｍ４Ｐ、又は任意の他のフォーマット）、ウィンドウズ・メディア・ビデオ（ＷＭＶ）、素材交換フォーマット（ＭＸＦ）、又は任意の他の適切なビデオ・ファイル・フォーマットを挙げることができる。
ビデオ映像は、画像捕捉デバイスによって捕捉されたビデオを指すことができる。幾つかの実施形態では、ビデオ映像は、それらが最初に捕捉された順序で一連の画像を含むビデオを指すことができる。例えば、ビデオ映像は、ビデオコンパイルを形成するためにコンパイルされていないビデオを含むことができる。他の実施形態では、ビデオ映像は、外科的処置中の不動作に関連するフレームを除去するため、又は最初は連続して捕捉されていないフレームをコンパイルするためなど、１つ以上の方法でコンパイルすることができるビデオ映像にアクセスすることは、メモリデバイスなどの記憶場所からビデオ映像を読み出すことを含み得る。ビデオ映像は、ローカルハードドライブなどのローカルメモリからアクセスされてもよく、例えばネットワーク接続を介してリモートソースからアクセスされてもよい。本開示と整合して、インデックス付けは、より効率的及び／又は効果的に検索され得るようにデータを記憶するためのプロセスを指すことができる。ビデオ映像にインデックス付けするプロセスは、ビデオ映像が特性又は指標に基づいて識別され得るように、１つ以上の特性又は指標をビデオ映像に関連付けることを含み得る。
外科的処置は、患者の身体に対する手動又は手術処置に関連する、又はそれを含む任意の医療処置を含み得る。外科的処置は、切断、擦過、縫合、又は身体組織及び／もしくは器官の物理的変化を伴う他の技術を含み得る。また、外科的処置は、患者を診断すること、又は患者に薬物を投与することを含み得る。そのような外科的処置の幾つかの例としては、腹腔鏡手術、胸腔鏡手術、気管支鏡手術、顕微鏡手術、開放手術、ロボット手術、虫垂切除、頸動脈内膜切除、手根管解放、白内障手術、帝王切開、胆嚢切除、結腸切除（例えば、部分的結腸切除術、全結腸切除術など）、冠動脈血管形成術、冠動脈バイパス、デブリードマン（例えば、創傷、火傷、感染症など）、遊離皮膚移植、痔核切除術、股関節置換術、子宮摘出術、子宮鏡検査、鼠径ヘルニア修復、膝関節鏡検査、膝関節置換術、乳房切除術（例えば、部分的乳房切除術、全乳房切除術、非定型的乳房切除術など）、前立腺切除術、前立腺除去術、肩関節鏡検査、脊椎手術（例えば、脊椎固定術、椎弓切除術、椎間孔切開術、椎間板切除術、椎間板置換術、層間インプラントなど）、扁桃摘出術、人工内耳手術、脳腫瘍（例えば髄膜腫など）切除術、経皮経管冠動脈形成術などの介入手術、経カテーテル大動脈弁置換術、脳内出血排出のための低侵襲手術、又は、何らかの形態の切除を伴う任意の他の医療処置を挙げることができる。本開示は外科的処置に関連して説明されているが、一般に他の形態の医療処置又は処置にも適用され得ることが理解されるべきである。
幾つかの例示的な実施形態では、アクセスされたビデオ映像は、手術台の上、患者の手術室、患者の臓器内又は患者の脈管構造内の少なくとも１つの位置に配置された少なくとも１つの画像センサを介して捕捉されたビデオ映像を含むことができる。画像センサは、ビデオを記録することができる任意のセンサであってもよい。手術台の上方の位置に配置された画像センサは、患者の上方から画像を捕捉するように構成された患者の外部に配置された画像センサを含むことができる。例えば、画像センサは、図１に示すように、カメラ１１５及び／又は１２１を含むことができる。他の実施形態では、画像センサは、例えば体腔内など、患者の体内に配置されてもよい。本明細書で使用される場合、体腔は、物体内の任意の比較的空いた空間を含むことができる。したがって、手術体腔は、外科的処置又は手術が行われている患者の体内の空間を指すことができる。手術体腔は、完全に空でなくてもよく、組織、臓器、血液、又は体内に存在する他の流体を含んでもよいことが理解される。器官は、生物の任意の自己完結型領域又は部分を指し得る。ヒト患者の器官の幾つかの例には、心臓又は肝臓が含まれ得る。脈管構造は、生物内の血管の系又はグループを指すことができる。手術体腔、臓器、及び／又は脈管構造に配置された画像センサは、患者に挿入された手術器具に含まれるカメラを含むことができる。
特定の外科的処置中に捕捉されたビデオのフレームにアクセスすることは、フレーム、フレームによって関連するメタデータ、フレームのピクセルのピクセル値、フレームの解析に基づく情報などのうちの少なくとも１つにアクセスすることを含むことができる。例えば、特定の外科的処置中に捕捉されたビデオのフレームは、例えば少なくとも１つの処理デバイスによる処理のために、メモリから情報を読み取るコンピュータ化された装置によってアクセスされてもよい。例えば、処理デバイスは、例えば上述したように、ビデオデータの様々な態様を解析するように構成された機械学習方法を使用してアクセスフレームを解析することができる。例えば、機械学習方法は、ビデオフレーム内の事象を認識するように、又はビデオフレームを解析することによって、外科用器具、解剖学的構造、及び外科用器具と解剖学的構造との間の相互作用などを認識するように構成することができる。場合によっては、ビデオのフレームにアクセスすることは、外科医、麻酔科医、又は任意の他のヘルスケア専門家などのヘルスケア専門家によってフレームにアクセスすることを含むことができる。場合によっては、ビデオフレームは、患者、患者の家族、又は任意の他の認可された関係者によってアクセスされてもよい。
本開示の態様は、術中事象及び関連する転帰を識別する記憶された履歴データにアクセスすることを含み得る。本明細書で使用される場合、外科的処置の術中事象（手術事象とも呼ばれる）は、外科医、外科技術者、看護師、医師の助手、麻酔科医、医師、任意の他のヘルスケア専門家、手術用ロボットなどによって実行される動作など、外科的処置の一部として実行される動作を指すことができる。術中手術事象は、切開、薬物の投与、外科用器具の使用、切除、切開除去、結紮、移植片、縫い合わせ、縫合、又は外科的処置もしくは段階に関連する任意の他の計画された事象などの計画された事象であり得る。また、これに加えて又は代えて、術中事象は、ヘルスケア専門家によって実行された動作を含むか否かにかかわらず、解剖学的構造及び／又は外科的処置に関連する医療機器に発生する事象を指すこともできる。そのような術中事象の一例は、解剖学的構造の状態の変化を含み得る。そのような術中事象の別の例は、医療機器（例えば、「部分的に充填された」から「充填された」）の状態の変化を含み得る。
腹腔鏡下胆嚢摘出手術のための例示的な外科的術中事象としては、トロッカ配置、カロー三角切開、嚢胞管及び動脈のクリップ及び切断、胆嚢切開、胆嚢包装、肝床の洗浄及び凝固、胆嚢収縮などを挙げることができる。別の例では、白内障手術の手術事象としては、ポビドンヨード注射、角膜切開、嚢切開、水晶体乳化術、皮質吸引、眼内レンズ移植、眼内レンズ調整、創傷封止などを挙げることができる。更に別の例では、下垂体手術の外科的な特性事象としては、準備、鼻切開、鼻開創器の設置、腫瘍へのアクセス、腫瘍の除去、鼻置換、縫合、鼻圧搾機の設置などを挙げることができる。外科的な特性事象の幾つかの他の例は、切開、腹腔鏡位置決め、縫合などを含むことができる。
幾つかの実施形態では、外科的術中事象は、有害事象又は合併症を含み得る。有害な手術事象の幾つかの例としては、出血、腸間膜気腫、傷害、計画されていない開放手術（例えば、腹壁切開）への転換、計画されたよりも有意に大きい切開などを挙げることができる。術中合併症の幾つかの例としては、高血圧、低血圧、徐脈、低酸素血症、癒着、ヘルニア、非定型解剖学的構造、硬膜裂傷、腹膜損傷、動脈閉塞などを挙げることができる。場合によっては、手術事象は、技術的エラー、通信エラー、管理エラー、判断エラー、意思決定エラー、医療機器の利用に関連するエラー、誤通信などを含む他のエラーを含み得る。様々な実施形態では、事象は短時間であってもよく、持続時間にわたって持続してもよい。例えば、短い事象（例えば、切開）は、外科的処置中の特定の時間に発生すると決定されてもよく、また、長い事象（例えば、出血）は、ある期間にわたって発生すると決定されてもよい。場合によっては、長い事象は、明確な開始事象及び明確な終了事象（例えば、縫合の開始及び縫合の終了）を含むことができ、縫合は長い事象である。場合によっては、長い事象は、外科的処置中の段階とも呼ばれる。
場合によっては、手術事象は、サブ事象のグループ（すなわち、２つ以上のサブ事象又はステップ）を識別することができる。例えば、患者に全身麻酔を投与する事象は、ＩＶラインを介して患者に薬物を提供して意識消失を誘発する第１のステップ、及び全身麻酔を維持するために適切なガス（例えば、イソフルラン又はデスフルラン）を投与する第２のステップなどの幾つかのステップを含み得る。
履歴データは、履歴（すなわち、以前に実行された）外科的処置に関連する、又はそれに基づく任意の情報を含むことができる。例えば、履歴データとしては、履歴的な手術映像、履歴的な手術映像の解析に基づく情報、１つ以上のヘルスケア提供者からの履歴的なノート、医療デバイスからの履歴的なデータ（例えば、履歴的な外科的処置中に収集された履歴的なバイタル信号）、履歴的な音声データ、様々なセンサから収集された履歴的なデータ（例えば、画像センサ、化学センサ、温度センサ、電気センサ）、又は１つ以上の履歴的な外科的処置に関連し得る任意の他の履歴的なデータを挙げることができる。
術中事象及び関連する転帰を識別する記憶された履歴データにアクセスすることは、術中事象及び関連する転帰に関する情報を含むデータベースにアクセスすることを含むことができる。例えば、データベースは、履歴的な術中事象及び術中事象に関連する履歴的な転帰を維持するテーブル、データベース、又はデータの他の編成などのデータ構造を含むことができる。例えば、術中事象は「出血」であってもよく、歴史的に関連する転帰は「貧血」であってもよい。場合によっては、１つの術中事象が、異なる特性を伴う関連する転帰を有してもよい。例えば、術中事象「出血」は、第１つの特性「１６ｇ／ｄＬから１３ｇ／ｄＬへの低下」を伴う第１の関連転帰「ヘモグロビンの喪失」及び第２の特性「１５ｇ／ｄＬから１２ｇ／ｄＬへの低下」を伴う第２の関連転帰「ヘモグロビンの喪失」を有し得る。場合によっては、「出血」などの術中事象は、第１の転帰「ヘモグロビンの損失」及び第１の転帰とは異なり得る第２の転帰（例えば、「心停止」）を有し得る。
これに加えて又は代えて、術中事象及び関連する転帰を識別する記憶された履歴データにアクセスすることは、例えば少なくとも１つの処理装置による処理のために、履歴データの少なくとも一部をメモリから読み取るコンピュータ化された装置によって履歴データにアクセスすることを含むことができる。履歴データは、履歴的な手術映像、履歴的な術中事象に関する情報など、及び関連する履歴的な転帰を含むことができる。場合によっては、アクセスされた履歴データの処理は、履歴的な手術映像の様々な態様（及び任意の他の履歴的な手術データ）を解析するように構成された機械学習モデルによって実行されてもよい。例えば、機械学習方法は、履歴的な手術映像内の外科用器具、解剖学的構造、及び外科用器具と解剖学的構造との間の相互作用を認識することによって、履歴的な手術映像のビデオフレーム内の術中事象を識別するように構成され得る。
場合によっては、術中事象及び関連する転帰を識別する記憶された履歴データにアクセスすることは、外科医、麻酔専門医、看護師、又は任意の他のヘルスケア専門家によって履歴データにアクセスすることを含むことができる。場合によっては、履歴データは、患者、患者の家族、又は履歴データへのアクセスを許可された任意の他の当事者によってアクセスされてもよい。
様々な実施形態では、機械学習モデルを使用して、例えば上述したように、外科的処置のアクセスされたビデオフレーム内で少なくとも１つの特定の術中事象を識別することができる。トレーニングされた機械学習モデルは、事象を識別するための画像認識モデルであってもよい。例えば、機械学習モデルは、ビデオのフレームとして表される画像内の動き又は他の変化を検出するために、複数のビデオフレームを解析することができる。幾つかの実施形態では、画像解析は、Ｖｉｏｌａ－Ｊｏｎｅｓ物体検出、畳み込みニューラルネットワーク（ＣＮＮ）、又は任意の他の形態の物体検出アルゴリズムなどの物体検出アルゴリズムを含むことができる。機械学習モデルは、事象の名前、事象のタイプ、及び事象の特性を返すように構成することができる。例えば、事象が切開である場合、機械学習モデルは、事象を特徴付けるための名前「切開」と、事象の特性として切開の長さ及び深さとを返すように構成され得る。場合によっては、様々な事象の可能な名前の所定のリストが機械学習モデルに提供されてもよく、また、機械学習モデルは、事象を正確に特徴付けるために事象のリストから名前を選択するように構成されてもよい。
開示された実施形態の幾つかの態様は、少なくとも１つの特定の術中事象の発生を識別するために機械学習モジュールを使用することを含むことができる。例えば、機械学習モデルは、事象の開始を識別することによって特定の術中事象が発生したことを識別することができる。場合によっては、機械学習モデルは、事象の特性及び／又は特定の術中事象の終了を識別することができる。
機械学習モデルは、例示的なトレーニングデータを使用して術中事象を識別するようにトレーニングすることができる。例示的なトレーニング入力データは、術中事象を含む外科的処置の履歴映像を含むことができる。様々な場合に、トレーニングデータの複数のサンプルを生成し、機械学習モデルをトレーニングするために使用することができる。トレーニングプロセスの間、トレーニングデータ（例えば、第１のトレーニングデータ）をモデルの入力データとして使用することができ、また、モデルは、計算を実行して、術中事象の事象識別文字列（例えば、事象の名前）を出力することができる。様々な実施形態において、事象識別文字列は、モデルの関連するエラーを評価するために、対応する術中事象の既知の履歴名と比較されてもよい。エラーが所定の閾値を下回る場合、モデルは、他の入力データを使用してトレーニングされてもよい。或いは、エラーが閾値を上回る場合、モデルパラメータを修正することができ、第１のトレーニングデータを使用してトレーニングステップを繰り返すことができる。
機械学習モデルによる検出に加えて又は代えて、特性事象は、様々な他の手法を使用して画像センサから受信したビデオフレーム内で検出することができる。一実施形態では、特性事象は、外科的処置中に医療専門家（例えば、外科医）によって識別され得る。例えば、外科医は、１つ以上の画像センサ／音声センサによって捕捉されて特性事象のためのトリガとして認識され得る外科医からの視覚信号又は音声信号（例えば、ハンドジェスチャ、ボディジェスチャ、医療機器によって生成された光源によって生成された視覚信号、話し言葉、又は任意の他の適切な信号）を使用して特性事象を識別することができる。
また、本開示の態様は、アクセスされたフレーム内の検出された手術器具、アクセスされたフレーム内の検出された解剖学的構造、手術器具と解剖学的構造との間のアクセスされたフレーム内の相互作用、又はアクセスされたフレーム内の検出された異常な流体漏れ状況のうちの少なくとも１つに基づいて、少なくとも１つの特定の術中事象を識別することを含むことができる。
手術器具は、外科的処置中に使用され得る任意の器具又はデバイスであってもよく、そのような器具又はデバイスとしては、切断器具（メス、ハサミ、ノコギリ等）、把持及び／又は保持器具（例えば、ビルロート鉗子、止血「蚊」鉗子、非外傷性止血鉗子、デシャンプ針、又はホップナー止血鉗子など）、リトラクタ（例えば、ファラベのＣ字型層状フック、平滑歯付きフック、鋭利歯付きフック、溝付きプローブ、又はタンプ鉗子）、組織一体化器具及び／又は材料（例えば、針ホルダ、手術針、ステープラ、クリップ、接着テープ、又はメッシュ）、保護機器（例えば、顔用及び／又は呼吸用保護具、帽子、履物、又は手袋）、腹腔鏡、内視鏡、患者監視デバイスなどを挙げることができるが、これらに限定されない。手術器具（医療器具又は医療機器とも呼ばれる）は、医療処置の一部として使用される任意の装置又は機器の一部を含むことができる。
手術器具は、例えば上述したように、任意の適切な手段を使用して手術ビデオ映像内で検出することができる。
同様に、手術器具を検出するために、機械学習モデルを使用して手術映像内の解剖学的構造を検出することができる。解剖学的構造は、例えば、器官、組織、管、動脈、又は任意の他の解剖学的部分を含む、生体の任意の特定の部分であり得る。場合によっては、補綴物、インプラント、又は人工器官は、解剖学的構造と見なされ得る。
機械学習方法を使用して手術器具及び／又は解剖学的構造を検出することは、例えば上述したような１つの可能な手法であり得る。これに加えて又は代えて、手術器具（又は解剖学的構造）は、様々な他の手法を使用して、画像センサから受信された手術ビデオ映像内で検出されてもよい。一実施形態では、手術器具（又は解剖学的構造）は、外科的処置中に医療専門家（例えば、外科医）によって識別され得る。例えば、外科医は、外科医からの音声音が１つ以上の音声センサによって捕捉されて音声認識コンピュータベースのモデルによって（又は外科的処置中に情報を記録するための人間の術者によって）認識され得るように、手術器具及び／又は解剖学的構造の名前を言うことによって手術器具（又は解剖学的構造）を識別することができる。
本開示の幾つかの態様は、例えば上述したように、医療器具と解剖学的構造との間の相互作用を識別するために手術映像のフレームを解析することを含むことができる。例えば、手術映像のフレームの少なくとも一部は、解剖学的構造に対して外科手術が行われている手術映像の部分を示すことができる。上述したように、相互作用は、解剖学的構造に影響を及ぼし得る又はその逆の医療機器による任意の動作を含み得る。例えば、相互作用としては、医療機器と解剖学的構造との間の接触、解剖学的構造に対する医療機器による作用（切断、クランプ、把持、圧力の印加、又は削り取りなど）、解剖学的構造による生理的応答、解剖学的構造に向かって光を放出する手術器具（例えば、手術器具は、解剖学的構造に向かって光を放射するレーザであってもよい）、解剖学的構造に向かって放出される音、解剖学的構造の近くに生成される電磁場、解剖学的構造に誘導される電流、又は任意の他の適切な形態の相互作用を挙げることができる。
場合によっては、相互作用を識別することは、解剖学的構造に対する手術器具の近接性を識別することを含むことができる。例えば、例示的な外科的処置の手術ビデオ映像を解析することによって、画像認識モデルは、手術器具と解剖学的構造の点（又は点のセット）との間の距離を決定するように構成され得る。
また、本開示の態様は、例えば上述したように、アクセスされたフレームにおける異常な流体漏れ状況を検出することを含むことができる。異常な流体漏れは、出血、尿漏れ、胆汁漏れ、リンパ漏れ、又は任意の他の漏れを含み得る。異常な流体漏れは、外科的処置中に捕捉された手術ビデオ映像内の異常な流体漏れ事象を検出するようにトレーニングされた対応する機械学習モデルによって検出することができる。外科用器具を検出するための機械学習モデル（例えば、第１の機械学習モデル）は、解剖学的構造（例えば、第２の機械学習モデル）を検出するための機械学習モデルとは異なるように構成及び／又はトレーニングされてもよく、異常な漏れ（例えば、第３の機械学習モデル）を検出するための機械学習モデルとは異なるように構成及び／又はトレーニングされてもよいことに留意されたい。更に、第２の機械学習モデルは、第３の機械学習モデルとは異なるように構成及び／又はトレーニングされてもよい。様々な実施形態において、機械学習モデルを構成することは、機械学習モデルの任意の適切なパラメータを構成する（例えば、選択する）ことを含むことができる。例えば、機械学習モデルがニューラルネットワークである場合、ニューラルネットワークを構成することは、ニューラルネットワークの層の数、各層のノードの数、ニューラルネットワークの重み、又はニューラルネットワークの任意の他の適切なパラメータを選択することを含むことができる。
開示された実施形態の態様は、アクセスされたフレームを解析すること、及び、履歴データから取得された情報に基づいて、アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別することを含むことができる。前述したように、様々な実施形態と整合して、アクセスされたフレームを解析するプロセスは、開示された実施形態と整合して、上述したように、画像認識アルゴリズムなどの適切な機械学習モデルによって実行することができる。様々な実施形態では、前述したように、履歴データから取得された情報を使用して、画像認識アルゴリズムをトレーニングして、手術映像のアクセスされたフレームに基づいて特定の術中事象を認識することができる。一例では、履歴データは、（例えば、上述したように）履歴的な外科的処置からの情報及び／又はビデオ映像の解析に基づく統計モデル及び／又は機械学習モデルを含むことができ、また、統計モデル及び／又は機械学習モデルは、アクセスされたフレームを解析し、アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するために使用されることができる。
本開示の態様は、履歴データ及び識別された少なくとも１つの術中事象から得られた情報に基づいて、特定の外科的処置に関連する予測転帰を決定することを含み得る。例えば、データ構造は、術中事象と予測転帰との間の関係を表す履歴データを含むことができる。そのようなデータ構造は、特定の外科的処置に関連する予測転帰を取得するために使用され得る。例えば、図３２Ａは、接続ｎ１１～ｎ３２を使用して可能な転帰Ｃ１～Ｃ３に接続された術中事象Ｅ１～Ｅ３の例示的なグラフ３２００を示す。例示的な実施形態では、接続ｎ１１は、転帰Ｃ１の確率を示す情報（すなわち、事象Ｅ１を含む外科的処置において転帰Ｃ１が起こる頻度を示す情報）を含み得る。例えば、接続ｎ１１は、術中事象Ｅ１の発生を考慮して、転帰Ｃ１が時間の３０％で起こり得ることを示すことができ、接続ｎ１２は、転帰Ｃ２が時間の５０％で起こり得ることを示すことができ、接続ｎ１３は、転帰Ｃ３が時間の２０％で起こり得ることを示すことができる。同様に、接続ｎ２２は、術中事象Ｅ２の発生を考慮して、転帰Ｃ２の確率を示すことができ、接続ｎ２３は、術中事象Ｅ２の発生を考慮して、転帰Ｃ３の確率を示すことができる。接続ｎ３２は、術中事象Ｅ３の発生を考慮して、転帰Ｃ２の確率を示すことができる。したがって、術中事象が分かると、履歴データから得られた情報を使用して（例えば、グラフＣ１００からの情報を使用して）、最も可能性の高い転帰（例えば、転帰Ｃ２）を、接続ｎ１１～ｎ１３に割り当てられた確率に基づいて決定することができる。別の例では、履歴情報は、ハイパーグラフを含むことができ、ハイパーグラフのハイパーエッジは、複数の術中事象を転帰と関連付けることができ、複数の事象を含む外科的処置における転帰の特定の確率を示すことができる。したがって、複数の術中事象が知られると、履歴データから（例えば、ハイパーグラフから）得られた情報を使用して、最も可能性の高い転帰を、ハイパーエッジに割り当てられた確率に基づいて決定することができる。幾つかの例では、グラフＣ１００のエッジ又はハイパーグラフのハイパーエッジに割り当てられた確率は、例えば、特定のエッジ又は特定のハイパーエッジに対応する術中事象の特定のグループを含む履歴的な外科的処置のグループにおける転帰の統計的確率を計算することによって、履歴的な外科的処置の解析に基づくことができる。幾つかの他の例では、履歴情報は、術中事象に基づいて転帰を予測するためのトレーニングされた機械学習モデルを含むことができ、また、トレーニングされた機械学習モデルは、識別された少なくとも１つの術中事象に基づいて特定の外科的処置に関連する転帰を予測するために使用され得る。一例では、トレーニングされた機械学習モデルは、トレーニング例を使用して機械学習アルゴリズムをトレーニングすることによって取得することができ、また、トレーニング例は、履歴的な外科的処置に基づくことができる。そのようなトレーニング例の一例は、術中手術事象のリストと、術中手術事象のリストに対応する転帰を示すラベルとを含むことができる。一例では、２つのトレーニング例は、異なる転帰を示す異なるラベルを有しながら、術中手術事象の同じリストを有することができる。
場合によっては、予測転帰は、外科的処置後の特定の予測される事象であり得る。例えば、予測転帰は、退院後の不調、退院後の有害事象、退院後の合併症、又は再入院のリスクの推定値であり得る。場合によっては、予測転帰は事象のセットであり得る。例えば、そのような事象のセットは、患者の「幸福」が評価される事象を含むことができる。これらの事象は、患者の「幸福」が評価されるとき、特定の時点（例えば、外科的処置の翌日の特定の時間、外科的処置の後の特定の日、外科的処置の後の特定の週、月、年、又は他の時間間隔で）で発生し得る。「幸福」は、例えば、ＣＡＴスキャンなどの撮像、超音波撮像、目視検査、身体検査中に決定することができる合併症の存在、又は患者（例えば、血液検査を介して）の幸福を評価するための任意の他の適切な方法もしくは試験を使用するなど、任意の適切な客観的指標を使用して評価することができる。また、幸福は、患者に自身の全体的な状態を説明するよう求めることなどによる主観的指標から決定され得る。
決定された術中事象に基づく外科的処置に関連する予測転帰の決定は、統計解析を使用して達成され得る。例えば、術中事象を含む過去（履歴とも呼ばれる）の外科的処置の履歴的な手術データを解析して、そのような過去の外科的処置の履歴的な転帰を決定することができる。例えば、所定のタイプの履歴的な外科的処置について、図３２Ｂに示すように、手術転帰統計を収集することができる。例えば、バー３２１１Ａ～３２１７Ａによって表される確率分布３２０１Ａ（本明細書では確率バーとも呼ばれる）は、術中事象が存在しない場合（例えば、出血、心停止、又は任意の他の有害事象などの有害な術中事象が存在しない場合）、対応する転帰Ｃ１～Ｃ４の確率を決定することができる。同様に、確率バー３２１１Ｂ～３２１７Ｂによって表される確率分布３２０１Ｂは、術中事象（例えば、有害な術中事象）が存在するときに対応する転帰Ｃ１～Ｃ４の確率を決定することができる。例示的な実施形態では、転帰Ｃ１は特定の退院後障害（例えば、患者の体内にガーゼなどの異物が残っている）に対応してもよく、転帰Ｃ２は特定の退院後有害事象（例えば、出血、疼痛、悪心、錯乱、又は任意の他の有害事象）に対応してもよく、転帰Ｃ３は退院後合併症（例えば、麻痺、疼痛、出血、又は任意の他の合併症）に対応し得、転帰Ｃ４は再入院のリスク上昇に対応してもよい。外科的処置（例えば、外科的処置の数日後の患者の「幸福」の客観的指標を評価する転帰）を評価するために、任意の他の適切な転帰が使用され得ることに留意すべきである。例示的な実施形態では、確率バー３２１１Ａ～３２１７Ａ及び３２１１Ｂ～３２１７Ｂの高さは、対応する転帰Ｃ１～Ｃ４の発生の確率に関連し得る。
例示的な実施形態では、術中事象は、対応するバー３２１１Ａ～３２１７Ａとは異なる高さを有するバー３２１１Ｂ～３２１７Ｂによって示されるように、転帰Ｃ１～Ｃ４の発生確率に影響を及ぼし得る。例示的な例では、術中事象が外科的処置中の心停止に対応する場合、転帰Ｃ２（例えば、混乱）の確率に対応するバー３２１３Ｂは、術中事象が外科的処置中に検出されなかった場合の転帰Ｃ２の確率に対応するバー３２１１Ｂよりも高くてもよい。
場合によっては、統計解析を使用して、外科的処置中に起こり得る幾つかの術中事象の決定に基づいて、外科的処置に関連する予測転帰を決定することができる。例えば、図３３は、（上述のように）有害な術中事象が存在しないときの転帰Ｃ１～Ｃ４の確率に対応する確率バー３２１１Ａ～３２１７Ａを有する確率分布３２０１Ａを示す。また、図３３は、外科的処置中に「Ｂ」とラベル付けされた第１の有害事象が存在する場合の転帰Ｃ１～Ｃ４の確率に対応する確率バー３２１１Ｂ～３２１７Ｂを有する確率分布３２０１Ｂを示す。同様に、図３３は、外科的処置中に「Ｃ」とラベル付けされた第２の有害事象が存在する場合の転帰Ｃ１～Ｃ４の確率に対応する確率バー３２１１Ｃ～３２１７Ｃを有する確率分布３２０１Ｃも示す。更に、事象「Ｂ」及び事象「Ｃ」を含む外科的処置の統計データを使用して、事象「Ｂ」が事象「Ｃ」の開始前に開始し、確率分布３２０１ＢＣは、転帰Ｃ１～Ｃ４の確率に対応するバー３２１１ＢＣ～３２１７ＢＣによって示されるように決定され得る。
これに加えて又は代えて、事象「Ｂ」及び事象「Ｃ」を含む外科的処置の統計データを使用して、事象「Ｂ」が事象「Ｃ」の開始後に開始し、確率分布３２０１ＣＢは、転帰Ｃ１～Ｃ４の確率に対応するバー３２１１ＣＢ－３２１７ＣＢによって示されるように決定され得る。事象「Ｂ」及び／又は「Ｃ」及び／又はそれらの組み合わせの様々な特性に応じて、適切な統計データを使用して他の確率分布（分布３２０１Ｂ、３２０１Ｃ、３２０１ＢＣ、３２０１ＣＢ以外）を決定することができることに留意すべきである。例えば、事象特性は、事象の持続時間、事象の開始時間、事象の終了時間、又は任意の他の適切な特性（例えば、事象が切開である場合、事象特性は切開の長さであってもよい。事象が心停止である場合、事象特性は心停止中の血圧値であり得る；又は任意の他の適切な特性）を含むことができる。確率分布が事象特性によってどのように影響を受けるかの例示的な実施形態が、三次元直交座標系における転帰Ｃ１～Ｃ４の確率に対応するバー３４１１～３４１７の高さをプロットすることによって図３４に示されている。図３４に示すように、一方の軸は転帰Ｃ１～Ｃ４に対する確率であり、他方の軸は転帰（例えば、転帰Ｃ１～Ｃ４）を示し、第３の軸は術中事象の「事象特性」を示し、例えば切開である術中事象に対する切開長などの数値（本明細書では事象特性値と呼ぶ）によって表される。図３４は、バー３４１１～３４１７のバー高さが、事象特性値が変化するにつれて連続的に変化し得る一方で、他の例では、事象特性値が離散的であり得ることを示している。所定の事象特性値（例えば、図３４に示すようにＶ１）について、事象特性Ｖ１の場合の転帰Ｃ３の確率に対応する、例示的なバー（例えば、３４１５）の高さ値（例えば、Ｈ１）は、高さ値Ｈ１が値Ｖ１について知られていないとき、バー３４１５の近くの高さ値を使用して補間することができる。
本開示の態様は、患者の特性、電子医療記録、又は術後手術報告のうちの少なくとも１つに基づいて予測転帰を決定することを含み得る。患者特性は、年齢、性別、体重、身長、及び／又は患者を直接的又は間接的に特徴付ける任意の他の情報（例えば、患者が患者を介護することができる血縁者を有するかどうかは、外科的処置の予測転帰に間接的に影響を及ぼす特性であり得る）を含むことができ、そのような特性は外科的処置の予測転帰に影響を及ぼし得る。患者の特性の幾つかの他の非限定的な例は、上に記載されている。一例では、類似性指標を使用して、特定の外科的処置（例えば、ｋ近傍法アルゴリズムの使用、網羅的探索アルゴリズムの使用など）に類似する外科的処置（例えば、履歴データ内の）を識別することができ、識別された同様の外科的処置を使用して、例えば、識別された同様の外科的処置（例えば、平均、中央値、最頻値など）の転帰の統計関数を計算することによって、予測転帰を決定することができる。類似性指標は、患者の特性、電子医療記録、術後手術報告、外科的処置で発生した術中事象、外科的処置の段階の期間などのうちの少なくとも１つに基づくことができる。
電子医療記録（又は紙の医療記録などの任意の他の適切な医療記録）は、患者の医療情報（例えば、患者の以前の外科的処置、患者の以前の又は現在の疾患、患者のアレルギー、患者の両親の疾患、患者の兄弟姉妹の疾患、患者の精神的健康、又は患者に関する任意の他の医療情報）を含むことができる。医療情報は、任意の適切な方法で編成することができる（例えば、情報は、テーブル、リンクされたリスト、又は任意の他の適切なデータ構造を使用して編成することができる）。場合によっては、患者に関する他の（非医療的な）情報（例えば、患者の場所、食事、宗教、人種、職業、フィットネス記録、結婚歴、アルコール又はタバコの使用、又は以前の薬物使用）が電子医療記録に含まれる（記録される）場合がある。様々な実施形態では、電子医療記録内のそのような情報を使用して、外科的処置の予測転帰を決定することができる。
様々な実施形態では、術後手術報告を更に使用して、外科的処置の転帰を決定することができる。術後手術報告は、外科的処置に関連する任意の適切な情報を含むことができる。例えば、報告は、外科的処置の名前、上述したような患者の特性、患者の医療報告を含む患者の病歴、上述したような患者に関連する他の情報、外科的処置中に行われた動作などの処置手術事象に関する情報、並びに有害又は正の手術事象に関する情報を含む、外科的処置中に発生した手術事象に関する情報を含むことができる。例示的な実施形態では、手術事象は、切開、縫合、又は外科医によって実行される任意の他の行動などの動作を含むことができる。有害な手術事象は、出血、組織の破裂、血栓、心停止、又は任意の他の有害な手術事象など、手術及び外科的処置の予測転帰に悪影響を及ぼし得る任意の事象を含み得る。正の手術事象は、外科的処置の少なくとも幾つかのステップが必要でない可能性があると決定することを含むことができる。例えば、外科的処置中に患者が腫瘍を有していないと決定された場合、腫瘍の除去は必要でない場合がある。様々な実施形態では、術後手術報告内の情報は、外科的処置を描写する手術映像、音声データ、テキストデータ、又は外科的処置の前、最中、もしくは後に記録された任意の他の適切なデータを含むことができる。
様々な実施形態では、患者の特性、電子医療記録、又は術後手術報告のうちの少なくとも１つに基づいて予測転帰を決定することは、患者の特性、電子医療記録に見られる病歴データ、又は術後手術報告に記載された様々な事象及び事象特性などの様々なパラメータに基づいて履歴的な手術転帰を解析することによって達成され得る。
様々な実施形態において、予測転帰を決定することは、術中事象に基づいて特定の外科的処置に関連する予測転帰を決定するようにトレーニングされた機械学習モデル（本明細書では事象ベースの機械学習モデルとも呼ばれる）を使用することを含むことができる。更に、事象ベースの機械学習方法は、患者の特性、患者の病歴、外科的処置を管理する１人又は複数のヘルスケア専門家の特性、又は任意の他の適切なパラメータなどの様々な他のパラメータ（術中事象以外）に基づいて手術転帰を予測するようにトレーニングすることができる。
図３５Ａは、入力３５１０を受け取り、外科的処置３５１５の予測転帰を出力する例示的な事象ベースの機械学習モデル３５１３を示す。入力３５１０は、図３５Ｂに示すように、前述のように患者の特性及び医療記録からの情報などの入力パラメータ３５２３を含むことができる。更に、入力３５１０は、図３５Ｂに示すように、事象データ３５２１を含むことができる術後手術報告からの情報を含むことができる。例示的な実施形態では、事象データ３５２１は、事象のリスト（例えば、事象Ｅ１～ＥＮ）と、事象Ｅ１－ＥＮに対応する手術映像セグメントＶ１－ＶＮとを含むことができる。更に、図３５Ｂのデータ３５２１は、事象開始時間Ｔ１Ａ～ＴＮＡ及び終了時間Ｔ１Ｂ～ＴＮＢを含むことができる。手術映像（例えば、Ｖ１）は、事象（例えば、Ｅ１）に対応する外科的処置のフレームのセットであり得る。例示的な実施形態では、例示的な外科的処置の場合、事象Ｅ１は、Ｔ１Ａ及びＴ１Ｂがほぼ同時であり得る短い事象（例えば、切開）であってもよく、事象Ｅ２は、延長された時間（例えば、縫合）であってもよく、Ｔ２Ａは、縫合が開始された時間であり、Ｔ２Ｂは、縫合が終了した時間であり、事象ＥＮは、対応する開始時間ＴＮＡ及び終了時間ＴＮＢを有する麻酔を逆転させるために薬剤を投与するプロセスであり得る。
様々な実施形態において、事象ベースの機械学習方法は、例えば上述のように、トレーニング例を使用してトレーニングすることができる。例えば、トレーニング例は、履歴データに基づくことができる。別の例では、トレーニング例は、転帰を示すラベルと共に、（例えば上述のような）外科的処置に関する情報を含むことができる。
開示された実施形態の態様は、識別された術中事象及び患者の識別された特性に基づいて手術転帰を予測するためにトレーニングされた機械学習モデルを使用して予測転帰を決定することを含むことができる。例えば、術中事象は「切開」であってもよく、患者の識別された特性のうちの１つは「６５歳女性」であり得る。例示的な実施形態では、識別された術中事象及び患者の１つ以上の識別された特性を、トレーニングされた機械学習モデルの入力データとして使用することができる。例えば、図３５Ｂに示すように、入力データが入力３５１０されてもよい。場合によっては、識別された術中事象及び患者の識別された特性に加えて、トレーニングされた機械学習モデルの更なる入力データは、ヘルスケア専門家データ、患者医療データ、及び外科的処置の転帰に影響を及ぼす他の任意の適切なデータを含むことができる。事象ベースのモデルは、例えば上述したように、履歴事象を含むか、又は履歴事象に基づくことができる様々なトレーニングデータを使用してトレーニングすることができる。上述したように、開示された実施形態は、トレーニングされた機械学習モデルを使用して手術転帰を予測することを含むことができる。様々な実施形態において、予測される手術転帰は、例えば、図３３に示すようにプロット３２０１Ａによって示されるように、異なる転帰のセットに対する確率の分布であり得る。
また、退院後リスクを予測するための実施形態の態様は、患者の特性を識別すること、及び、識別された患者の特性に基づいて外科的処置に関連する予測転帰を決定することを含むことができる。識別された患者特性に基づく外科的処置に関連する予測転帰は、図３５Ａに示すように、例えばモデル３５１３などの適切な機械学習モデルを使用して決定することができる。
幾つかの実施形態では、識別された患者特性は、術前の患者データ（例えば、術前血液検査値、術前バイタル信号、又は任意の他の術前特性）に基づくことができる。これに加えて又は代えて、識別された患者特性は、術後患者データ（例えば、術後血液検査値、術後バイタル信号、術後体重、又は任意の他の術後特性）に基づいてもよい。
様々な実施形態では、患者特性を識別することは、機械学習モデルを使用して手術映像のフレームを解析することを含むことができる。例示的な機械学習モデルは、前述したように、外科的処置中に捕捉された手術ビデオ映像のフレーム内の特徴を認識するための画像認識アルゴリズムであってもよい。例えば、画像認識アルゴリズムを使用して、手術対象の解剖学的構造のサイズ、患者のサイズ、患者の推定年齢、患者の性別、患者の人種、又は患者に関連する任意の他の特性などの特徴を認識することができる。患者特性を識別するための機械学習モデルは、例えば上述したように、（関連する履歴的な手術ビデオ映像を含む）履歴的な外科的処置及び対応する履歴的な患者特性のトレーニング例を使用して患者特性を識別するようにトレーニングすることができる。患者特性を識別するための機械学習方法のトレーニングは、上述したように、任意の適切な手法を使用することができる。様々な実施形態において、機械学習方法をトレーニングすることは、履歴的な手術映像に対応する出力１つ以上の患者特性に基づくラベルを有する履歴的な手術映像に基づくトレーニング例を使用することができる。
これに加えて又は代えて、患者の特性を識別することは、電子医療記録から導き出されてもよい。例えば、電子医療記録は、適切なコンピュータベースのソフトウェアアプリケーションを使用して読み取り（又は解析）することができ、また、患者特性は、読み取り（解析）データから識別することができる。例えば、電子記録が「ジェームズは肺疾患を有する６５歳の白人男性」を含む場合、コンピュータベースのソフトウェアアプリケーションは、「年齢：６５歳」、「氏名：ジェームズ」、「性別：男性」、「医学的状態：肺疾患」、及び／又は「人種：白人」などの記録例によって表される患者特性を識別することができる。
また、退院後リスクを予測するための実施形態の態様は、外科的処置後に実現された手術転帰を識別する情報（本明細書では術後情報とも呼ばれる）を受信すること、及び、受信した情報を使用して機械学習モデルをトレーニングすることによって機械学習モデルを更新することを含むことができる。例えば、オンライン機械学習アルゴリズム及び／又は強化機械学習アルゴリズムを使用して、受信した情報に基づいて機械学習モデルを更新することができる。例示的な実施形態では、術後情報を受信することは、外科的処置後の身体検査中に視覚又は音声データを受信すること、外科的処置後の検査結果（例えば、血液検査結果、尿結果、医療撮像データ、又は任意の他の適切な検査）を受信すること、患者のバイタルサイン（例えば、患者の脈拍、患者の血圧、又は任意の他のバイタルサイン）に関連するデータを受信すること、及び／又はヘルスケア提供者からメモを受信すること（例えば、患者の身体検査を行う医師）を含むことができる。場合によっては、受信した術後情報を使用して、実現された手術転帰を決定することができる。例えば、受信した情報は、ヘルスケア提供者（例えば、医師）によって解析されてもよく、また、医師は、実現された手術転帰を識別し得る（例えば、実現された手術転帰は、患者がそれ以上の医学的介入を必要としないという医師による決定を含むことができる）。或いは、受信された術後情報は、適切な転帰決定機械学習モデルによって使用されて、実現された手術転帰を決定することができる。様々な実施形態では、手術後情報を入力として取り込む転帰決定機械学習モデルは、上述したように、外科的処置中に取得された情報、及び患者の特性、ヘルスケア提供者の特性、又は患者の病歴などの他の関連情報に基づいて手術の転帰を予測する機械学習モデルとは異なり得る。
様々な実施形態において、受信した情報を使用して、実現された手術転帰を決定することができ、また、識別された術中事象及び識別された患者特性に基づいて手術転帰を予測するための機械学習モデルは、実現された手術転帰を識別する受信した情報を使用して機械学習方法をトレーニングすることによって更新することができる。機械学習方法のトレーニングは、上述のような任意の適切な手法を使用することができる。
幾つかの実施形態では、手術転帰を予測するための機械学習モデルの出力は、予測転帰の確率であり得る。場合によっては、モデルは、モデルによって出力された確率を、履歴的な外科的処置の履歴的な手術データ（例えば、履歴的な手術映像データ）から推測される予測転帰の対応する確率と比較することによってトレーニングすることができる。例えば、様々な履歴的な手術データを使用して、所定のタイプの外科的処置に対する外科的処置の所定の転帰の履歴確率を取得することができる。場合によっては、履歴的な逸脱（すなわち、履歴的な外科的処置と外科的処置のための推奨される一連の事象との間の逸脱）を使用して、履歴的な逸脱が所定の転帰の履歴的な確率の変化にどのように影響するかを決定することができる。
履歴確率値は、機械学習方法によって返された確率値と比較されて、方法の誤差を決定することができる。様々な実施形態において、機械学習方法によって返された予測転帰が確率又は確率ベクトルである場合、適切な指標は、確率と履歴確率との間の差又は確率ベクトルと履歴確率ベクトルとの間の差であり得る。例えば、確率ベクトルを使用して、事象のセットに対する予測転帰の確率を決定することができる。例えば、予測転帰のセットが、「Ｃ１：麻痺している」「Ｃ２：３ヶ月以内に死亡」「Ｃ３：２週間以内に輸血が必要」「Ｃ４：医学的介入を必要としない」などの例示的な転帰Ｃ１～Ｃ４を含む場合、転帰ベクトル｛Ｃ１、Ｃ２、Ｃ３、Ｃ４｝の確率ベクトルは｛Ｐ１、Ｐ２、Ｐ３、Ｐ４｝であってもよく、Ｐ１～Ｐ４は転帰Ｃ１～Ｃ４の確率を示す。
また、退院後リスクを予測するための実施形態の態様は、予測転帰を患者と関連付ける方法で予測された転帰を出力することを含み得る。幾つかの実施形態では、出力するプロセスは、予測転帰を受信側に送信することを含み得る。受信側は、１人又は複数のヘルスケア専門家、患者、家族、又は任意の他の人、組織、又はデータストレージを含むことができる。送信するプロセスは、任意の適切な電子的手法（例えば、上述したように、有線又は無線通信を使用して、）を使用して任意の適切な電子デバイスに情報を送信することを含むことができる。例えば、予測転帰を送信することは、予測転帰をヘルスケア提供者に関連するデータ受信機器（例えば、ラップトップ、スマートフォン、又は任意の他の適切な電子デバイス）に送信することを含み得る。場合によっては、情報を送信することは、予測転帰を詳述する文書の物理的コピー（例えば、紙コピー、ＣＤ－ＲＯＭ、ハードドライブ、ＤＶＤ、ＵＳＢドライブ、又は任意の他の電子記憶装置）を郵送すること（又は直接配達すること）を含み得る。これに加えて又は代えて、予測転帰を送信することは、予測転帰を健康保険提供者又は医療過誤キャリアの少なくとも１つに送信することを含み得る。
様々な実施形態において、予測転帰を出力することは、予測転帰を患者と関連付けるように行われ得る。例えば、患者の名前及び／又は患者に関する任意の他の適切な情報は、予測転帰を記述する文書に列挙され得る。
幾つかの実施形態では、予測転帰を送信することは、患者に関連付けられた電子医療記録を更新することを含み得る。電子医療記録を更新するプロセスは、電子医療記録内の任意の適切なデータを置換又は変更することを含むことができる。例えば、医療記録を更新することは、予測転帰を「２週間の理学療法後に手足を使うと予測される」から「患者の残りの生涯にわたって麻痺すると予測される」に変更することを含み得る。
本開示の態様は、推奨される一連の手術事象を含むデータ構造にアクセスすること、及び、データ構造において識別された外科的処置のための推奨される一連の事象と、アクセスされたフレームにおいて検出された事象の実際のシーケンスとの間の逸脱の識別に基づいて、少なくとも１つの特定の術中事象を識別することとを含むことができる。データ構造にアクセスするプロセスは、本開示で説明するように、逸脱を識別するように構成された任意の適切なアルゴリズム及び／又は機械学習モデルによって実行することができる。例えば、機械学習モデルを使用して、データ構造にアクセスし、推奨される一連の手術事象と手術中に実行された実際の事象との間の逸脱を出力することができる。例えば、実際の切開事象中に、切開長さが対応する推奨事象によって記述される切開よりも短い場合、そのような逸脱は機械学習方法によって識別することができる。推奨される一連の手術事象を含むデータ構造は、開示された実施形態と整合する、本明細書に記載の任意の適切なデータ構造であってもよい。例えば、データ構造は、１つ以上のデータベーステーブルを有するリレーショナルデータベースであってもよい。データ構造は、推奨される一連の事象を含むことができ、事象の名前、事象に対応する画像、事象に関連するビデオデータ、又は事象を記述することができる任意の他の適切なデータを含むことができる。データ構造は、シーケンス内の事象の順序と関連付けられた番号を各事象に割り当てることによって推奨される一連の事象を規定することができる。
様々な実施形態では、外科的処置のための推奨される一連の事象と実際の一連の事象との間の逸脱を識別することは、例えば、図２６～図２８に関連して説明したように、及びこれらの図の関連する説明のように、本開示で説明した様々な手法を含むことができる。例示的な実施形態では、外科的処置の事象は、前述のように外科的処置の手術映像を解析することによって識別することができる。外科的処置と推奨される一連の事象との間の逸脱を識別することは、本開示に記載されるように、機械学習手法を利用することを含むことができる。逸脱の識別に基づいて少なくとも１つの特定の術中事象を識別することは、外科的処置のための推奨される一連の事象から逸脱するアクセスされたフレーム内で検出された少なくとも１つの実際の事象を識別することを含むことができ、そのような識別は、逸脱を識別するための機械学習方法によって実行することができる。
逸脱ベースのモデルは、履歴逸脱を含む様々なトレーニングデータを使用してトレーニングすることができる。例示的な実施形態では、履歴逸脱は、所定のタイプ（例えば、気管支鏡検査）の例示的な履歴外科処置の事象の履歴シーケンス及び同じタイプの外科的処置の事象の対応する推奨シーケンスに対する逸脱を評価することによって決定することができる。逸脱ベースのモデルは、例えば上述のように、任意の適切なトレーニングプロセスを使用してトレーニングすることができる。
様々な実施形態では、逸脱を識別することは、履歴的な手術ビデオ映像、履歴的な推奨された一連の事象、及び履歴的なビデオ映像内の履歴的な推奨された一連の事象からの逸脱を識別する情報に基づいて推奨される一連の事象からの逸脱を識別するようにトレーニングされた機械学習モデルを使用することを含む。履歴的な手術ビデオ映像及び履歴的な推奨された一連の事象に基づいて逸脱を識別するための機械学習方法の使用は、本明細書に記載されており、簡潔にするために繰り返されない。
様々な実施形態において、逸脱を識別することは、外科的処置のフレーム（例えば、上述したように、フレーム内の情報を解析するために任意の適切なコンピュータベースのソフトウェアアプリケーション又はヘルスケア専門家によってアクセスされるフレーム）を、推奨される一連の事象を描写する基準フレームと比較することを含む。前述のように、基準フレームは、履歴的な外科的処置中に捕捉された履歴的なフレームであってもよい。例示的な実施形態では、必須の一連の事象を描写するビデオフレーム及び基準フレームは、必須の（又は推奨される）一連の事象の対応する開始事象と同じ（又は実質的に同様の）事象（本明細書では開始事象とも呼ばれる）によって同期され得る。場合によっては、開始事象の開始を描写するフレームは、必須の（推奨される）一連の事象の開始事象を描写する基準フレームと同期されてもよい。場合によっては、外科的処置の事象は、上記の任意の適切な手法を使用して、必須シーケンスの対応する基準事象に最初に相関付けられてもよい（例えば、事象を認識するために画像認識アルゴリズムを使用する）。手術事象を必須シーケンスの対応する基準事象と相関させた後、手術事象の開始を表すフレームを、対応する必須事象の開始を表す基準フレームと同期させることができる。
様々な実施形態では、特定の外科的処置と外科的処置のための推奨される一連の事象との間の逸脱を識別することは、手術映像のアクセスされたフレーム内の検出された手術器具、アクセスされたフレーム内の検出された解剖学的構造、又は検出された手術器具と検出された解剖学的構造との間の相互作用のうちの少なくとも１つに基づくことができる。場合によっては、逸脱を識別することは、手術ビデオ映像内の検出された異常な流体漏れ状況に基づいてもよい。
例えば、手術器具が特定の解剖学的領域に存在すると（例えば、機械学習方法を使用して、視覚物体検出器を使用して、ヘルスケア専門家からの指示などを使用して）決定された場合、方法は、逸脱が発生したと決定することができる。場合によっては、存在すべきではない外科的処置の時間（又は時間間隔）の間に、特定の解剖学的領域に（手術映像で識別されるように）手術器具が存在する場合、方法は逸脱が発生したと決定することができる。或いは、場合によっては、逸脱を識別することは、手術器具が特定の解剖学的領域にないと決定することを含むことができる。例えば、外科的処置の時間（又は時間間隔）中に、手術器具が特定の解剖学的領域に存在しない場合、方法は、逸脱が生じたと決定するように構成され得る。
場合によっては、解剖学的構造が手術映像内に存在すると決定（例えば、機械学習方法を使用して、視覚物体検出器を使用して、ヘルスケア専門家からの指示等を使用してなど）決定されるとき、逸脱が発生したと更に決定されてもよい。例えば、解剖学的構造が存在すべきではない外科的処置の時間（又は時間間隔）の間に手術映像内で識別された場合、方法は逸脱が発生したと決定することができる。或いは、場合によっては、逸脱を識別することは、解剖学的構造が手術映像に存在しないと決定することを含むことができる。例えば、外科的処置の時間（又は時間間隔）中に解剖学的構造が手術映像内に存在しない場合、方法は、逸脱が発生したと決定するように構成され得る。
これに加えて又は代えて、逸脱を識別することは、手術器具と解剖学的構造との間の相互作用を識別することを含むことができる。手術器具と解剖学的構造との間の相互作用を識別するプロセスは、上述したように、相互作用を識別するために外科的処置のフレームを解析することを含むことができる。
様々な実施形態では、外科的処置中の手術器具と解剖学的構造との間の相互作用が識別され、そのような相互作用が基準外科的処置（すなわち、必須の（又は推奨される）一連の事象に続く外科的処置）に推奨されない（又は予測されない）場合、方法は、逸脱が生じたと決定するように構成され得る。或いは、手術器具と解剖学的構造との間の相互作用が識別されない場合（例えば、外科的処置中に相互作用が存在しない場合）、及び、相互作用が基準外科処置に推奨される場合、方法は、逸脱が発生したと決定するように構成され得る。方法は、手術器具と解剖学的構造との間の相互作用が外科的処置及び基準外科的処置の両方において存在する（又は存在しない）場合、外科的処置及び基準外科的処置の実質的な逸脱がないと決定するように構成され得る。
また、本開示の態様は、手術ビデオ映像内の検出された異常な流体漏れ状況に基づいて逸脱を識別することを含むことができる。上述したように、異常な流体漏れは、出血、尿漏れ、胆汁漏れ、リンパ漏れ、又は他の任意の漏れを含むことができ、上述したように（例えば、対応する機械学習モデルによって）検出することができる。例えば、異常な流体漏れが、存在すべきではない外科的処置の時間（又は時間間隔）の間に特定の解剖学的領域で（手術映像で識別されるように）検出される場合、方法は、逸脱が発生したと決定することができる。或いは、場合によっては、逸脱を識別することは、異常な流体漏れが特定の解剖学的領域に存在しないと決定することを含むことができる。例えば、外科的処置の時間（又は時間間隔）中に、異常な流体漏れが特定の解剖学的領域に存在しない場合、方法は、逸脱が発生したと決定するように構成され得る。
開示された実施形態の態様は、アクセスされたフレーム（例えば、手術映像のフレーム）に基づいて予測転帰を改善する可能性が高い少なくとも１つの動作を決定すること、及び、決定された少なくとも１つの動作に基づいて推奨を提供することを含むことができる。様々な実施形態において、少なくとも１つの動作を決定することは、外科的処置のフレームにアクセスして解析するための適切な機械学習方法を使用することを含むことができる。幾つかの例では、機械学習モデルは、外科的処置の現在の状態に関する情報に基づいて、外科的処置の転帰及び／又は転帰に対する可能性のある改善を改善する可能性のある動作を決定するために、トレーニング例を使用してトレーニングされ得る。そのようなトレーニング例の一例は、特定の外科的処置の転帰を改善する可能性のある動作及び／又は予測転帰に対する可能性のある改善を示すラベルと共に、特定の外科的処置の状態に関する情報を含むことができる。そのようなラベルは、履歴的な外科的処置に関連する履歴的なデータの解析、ユーザ入力などに基づくことができる。外科的処置の現在の状態に関する情報の幾つかの非限定的な例としては、外科的処置の画像及び／又はビデオ、外科的処置の画像及び／又はビデオの解析に基づく情報、外科的処置を受けている患者の特性、外科的処置の少なくとも一部を実行するヘルスケア専門家の特性、外科的処置で使用される医療機器の特性、外科的処置に関連する手術室の特性、外科的処置で発生した術中事象、現在時間、外科的処置における手術段階の持続時間などを挙げることができる。更に、幾つかの例では、トレーニングされた機械学習モデルを使用して、外科的処置の現在の状態に関する情報を解析し、予測転帰及び／又は予測転帰に対する可能性のある改善を改善する可能性のある少なくとも１つの動作を決定することができる。
開示された実施形態の態様は、特定の動作が実行される前に推奨を提供することを含むことができる。推奨は、本明細書に記載され、開示された実施形態と整合する任意の適切な電子通知であってもよい。或いは、推奨は、ヘルスケア専門家（例えば、外科的処置を施す外科医）に送信され得る任意の適切な音声信号、視覚信号、又は任意の他の信号（例えば、振動などの触覚信号）であってもよい。
様々な開示された実施形態は、決定された少なくとも１つの行動による予測転帰に対する可能性のある改善が選択された閾値を下回る場合に推奨を提供しないで済ませることを含み得る。例えば、改善の可能性が５０％未満である場合、推奨は提供されなくてもよい。場合によっては、第１の予測転帰の改善は、有害な第２の予測転帰によって相殺され得、第１の予測転帰を改善するための推奨は提供され得ない。例えば、第１の予測転帰が「患者の発疹を除去する」と識別され、第２の予測転帰が「心停止」と識別された場合、第１の予測転帰の改善の可能性が十分に高い場合（例えば、患者の発疹を除去する９９％の確率）であっても、「心停止」の第２の転帰が可能であるために推奨が提供されない場合がある（たとえ第２の転帰の可能性が小さくても、例えば１パーセントであっても）。したがって、推奨を提供するように選択すること、又は推奨を提供しないで済ませることは、１つ以上の予測転帰に基づくことができる。更に、選択された閾値は、１つ以上の選択された転帰に基づくことができる。例えば、第１の転帰が人が次の２０年間生存する可能性を有する能力であり、第２の有害転帰が心停止である場合、心停止の可能性が十分に低い（例えば、３０％未満）ときに推奨が依然として提供され得る。場合によっては、患者の特性に基づいて閾値を選択することができる。例えば、患者が過体重である場合、肥満手術の推奨を提供しないで済ませるための選択された閾値は、低過体重の人の同じ閾値と比較して下げられてもよい。場合によっては、予測転帰を改善するための少なくとも１つの動作を決定することは、患者の特性に更に基づいてもよい。例えば、患者が高齢者である場合、バイパス処置は推奨されない可能性があるが、そのような処置は若年者に推奨される可能性がある。
退院後リスクを予測するための実施形態の態様が、プロセス３６０１によって図３６に示されている。ステップ３６１１において、プロセス３６０１は、任意の適切な手段を使用して、患者に対する特定の外科的処置中に捕捉されたビデオのフレームにアクセスすることを含むことができる。例えば、アクセスは、有線又は無線ネットワークを介して、機械学習モデルを介して、又はデータの読み取り／書き込みを可能にするための任意の他の手段を介して行われ得る。場合によっては、フレームにアクセスすることは、ヘルスケア専門家によるアクセスを含むことができる。そのような場合、ヘルスケア専門家は、フレームにアクセスするために入力装置（例えば、キーボード、マウス、又は任意の他の入力装置）を使用することができる。
ステップ３６１３において、プロセス３６０１は、上述したように、術中事象及び関連する転帰を識別する記憶された履歴データにアクセスすることを含むことができる。ステップ３６１５において、プロセス３６０１は、アクセスされたフレーム（例えば、手術映像のフレーム）を解析し、履歴データから取得された情報に基づいて、アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別することを含むことができる。アクセスされたフレームを解析し、アクセスされたフレームにおいて特定の術中事象を識別するプロセスは、上述したように適切な機械学習モデルによって実行することができる。
ステップ３６１７において、プロセス３６０１は、上述したように、履歴データ及び識別された少なくとも１つの術中事象から取得された情報に基づいて、特定の外科的処置に関連する予測転帰を決定することを含むことができる。プロセス３６０１は、前述のように、予測転帰を患者と関連付ける態様で予測転帰を出力するためのステップ３６１９で終了することができる。
プロセス３６０１はステップ３６１１～３６１９に限定されず、新しいステップが追加されてもよく、ステップ３６１１～３６１９の一部が置き換えられてもよく、省略されてもよいことに留意すべきである。例えば、ステップ３６１３は省略されてもよい。
前述したように、本開示は、退院後のリスクを予測するための方法及びシステム、並びに少なくとも１つのプロセッサによって実行されるときに退院後リスクを予測できるようにする動作を少なくとも１つのプロセッサに実行させる命令を含み得る持続性コンピュータ可読媒体に関する。
開示された実施形態は、少なくとも１つのプロセッサによって方法として実施される及び／又は持続性コンピュータ可読媒体に実行可能命令として記憶されるかどうかにかかわらず、以下の箇条書きされた特徴のいずれか１つを単独で又は１つ以上の他の箇条書きされた特徴と組み合わせて含んでもよい。
・外科的処置の少なくとも１つのビデオにアクセスするステップ
・少なくとも１つのビデオを表示のために出力させるステップ
・手術タイムラインを表示するために出力される少なくとも１つのビデオにオーバーレイするステップであって、手術タイムラインが、手術段階、術中手術事象、及び、意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含む、ステップ
・外科医が少なくとも１つのビデオの再生を見ながら手術タイムライン上の１つ以上のマーカを選択できるようにし、それにより、ビデオの表示を選択されたマーカと関連付けられる位置にスキップさせるステップ
・マーカは、色又は臨界レベルのうちの少なくとも１つによってコード化される
・手術タイムラインは、外科的処置の部分を識別するテキスト情報を含む
・少なくとも１つのビデオは、手続き時系列順に配置された複数の外科的処置からの映像のコンパイルを含む
・映像の合併症は、複数の外科的処置からの合併症を描写する
・１つ以上のマーカは、複数の外科的処置と関連付けられて、共通のタイムライン上に表示される
・１つ以上のマーカは、外科的処置の意思決定ジャンクションに対応する意思決定ジャンクションマーカを含む
・意思決定ジャンクションマーカの選択は、外科医が２つ以上の対応する他の外科的処置からの２つ以上の別のビデオクリップを見ることができるようにする
・２つ以上のビデオクリップが異なる行為を提示する
・１つ以上のマーカは、外科的処置の意思決定ジャンクションに対応する意思決定ジャンクションマーカを含む
・意思決定ジャンクションマーカの選択は、選択された意思決定ジャンクションマーカに関連する１つ以上の別の想定し得る決定の表示を引き起こす
・１つ以上の別の想定し得る決定と関連付けられる１つ以上の推定される転帰が、１つ以上の別の想定し得る決定の表示と併せて表示される
・１つ以上の推定される転帰は、それぞれの同様の意思決定ジャンクションを含む過去の外科的処置の複数のビデオの解析の結果である
・それぞれの同様の過去の意思決定ジャンクションにおいて行われた過去の決定の分布に関連する情報が、別の想定し得る決定の表示と併せて表示される
・外科的処置の意思決定ジャンクションが第１の患者と関連付けられ、それぞれの同様の過去の意思決定ジャンクションは、第１の患者と同様の特性を有する患者と関連付けられる過去の外科的処置から選択される
・外科的処置の意思決定ジャンクションが第１の医療専門家と関連付けられ、それぞれの同様の過去の意思決定ジャンクションは、第１の医療専門家と同様の特性を有する医療専門家と関連付けられる過去の外科的処置から選択される
・外科的処置の意思決定ジャンクションが外科的処置における第１の事前事象とに関連付けられ、同様の過去の意思決定ジャンクションは、第１の事前事象と同様の事前事象を含む過去の外科的処置から選択される
・マーカが術中手術事象マーカを含む
・術中手術事象マーカの選択は、外科医が異なる外科的処置からの別のビデオクリップを見ることができるようにする
・別のビデオクリップは、選択された術中手術事象が処理された異なる方法を提示する
・ビデオ出力上へのオーバーレイは、表示されたビデオで描写される外科的処置の終了前に表示される
・解析は、過去の外科的処置の複数のビデオと関連付けられる１つ以上の電子医療記録に基づく
・それぞれの同様の意思決定ジャンクションは、類似性メトリックに従う外科的処置の意思決定ジャンクションと同様である
・解析は、コンピュータビジョンアルゴリズムの実装の使用を含む
・マーカが術中手術事象に関連し、術中手術事象マーカの選択は、外科医が異なる外科的処置からの別のビデオクリップを見ることができるようにする
・インデックス付けされるべきビデオ映像にアクセスするステップであって、インデックス付けされるべきビデオ映像が特定の外科的処置の映像を含む、ステップ
・ビデオ映像を解析して、特定の外科的処置の手術段階と関連付けられるビデオ映像位置を識別するステップ
・手術段階と関連付けられる段階タグを生成するステップ
・段階タグを前記ビデオ映像位置と関連付けるステップ
・手術段階内の特定の術中手術事象の事象位置を識別するためにビデオ映像を解析するステップ
・事象タグを特定の術中手術事象の事象位置と関連付けるステップ
・特定の術中手術事象と関連付けられる事象特性を記憶するステップ
・特定の外科的処置のビデオ映像の少なくとも一部を、他の外科的処置の更なるビデオ映像を含むデータ構造における段階タグ、事象タグ、及び、事象特性と関連付けるステップ
・データ構造は、他の外科的処置のうちの１つ以上と関連付けられるそれぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特性も含む
・表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択された事象特性の選択によってユーザがデータ構造にアクセスできるようにするステップ
・少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事象特性と一致する手術ビデオ映像のデータ構造内でルックアップを実行して、記憶されたビデオ映像の一致するサブセットを識別するステップ
・記憶されたビデオ映像の一致するサブセットをユーザに対して表示させ、それにより、選択された事象特性を欠くビデオ映像の再生を省略しつつ、選択された事象特性を共有する少なくとも１つの術中手術事象の手術映像をユーザが見ることができるようにするステップ
・選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、選択された事象特性を有する少なくとも１つの術中手術事象の手術映像をユーザが見ることができるようにするステップは、選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、選択された事象特性を共有する複数の術中手術事象の手術映像の部分をユーザに順次に提示するステップを含む
・記憶された事象特性が手術事象の有害転帰を含む
・一致するサブセットを表示させるステップは、選択された有害転帰を欠く手術事象の再生を省略しつつ、選択された有害転帰の手術映像をユーザが見ることができるようにするステップを含む
・記憶された事象特性が外科的手技を含む
・一致するサブセットを表示させるステップは、選択された外科的手技と関連付けられない手術映像の再生を省略しつつ、選択された外科的手技の手術映像をユーザが見ることができるようにするステップを含む
・記憶された事象特性が外科医スキルレベルを含む
・一致するサブセットを表示させるステップは、選択された外科医スキルレベルを欠く映像の再生を省略しつつ、選択された外科医スキルレベルを示す映像をユーザが見ることができるようにするステップを含む
・記憶された事象特性が身体的患者特性を含む
・一致するサブセットを表示させるステップは、選択された身体的患者特性を欠く映像の再生を省略しつつ、選択された身体的患者特性を示す映像をユーザが見ることができるようにすることを含む
・記憶された事象特性は、特定の外科医の識別情報を含む
・一致するサブセットを表示させるステップは、選択された外科医による行動を欠く映像の再生を省略しつつ、選択された外科医による行動を示す映像をユーザが見ることができるようにするステップを含む
・記憶された事象特性が生理的応答を含む
・一致するサブセットを表示させるステップは、選択された生理的応答を欠く映像の再生を省略しつつ、選択された生理的反応を示す映像をユーザが見ることができるようにするステップを含む
・ビデオ映像を解析して手術事象又は手術段階のうちの少なくとも１つと関連付けられるビデオ映像位置を識別するステップは、再生のための手術段階の開始位置又は再生のための手術事象の開始のうちの少なくとも１つを識別するためにビデオ映像に対してコンピュータ画像解析を実行するステップを含む
・特定の外科的処置と同様の複数の外科的処置に関連する集約データにアクセスするステップ
・選択された事象特性と関連付けられる統計情報をユーザに提示するステップ
・アクセスされたビデオ映像は、手術台の上方、患者の手術体腔内、患者の臓器内、又は、患者の脈管構造内の位置のうちの少なくとも１つに位置される少なくとも１つの画像センサを介して捕捉されるビデオ映像を含む
・ビデオ映像位置を識別するステップは、ユーザ入力に基づく
・ビデオ映像位置を識別するステップは、コンピュータ解析を使用してビデオ映像のフレームを解析するステップを含む
・コンピュータ画像解析は、以前に識別された手術段階を含むビデオフレーム例を使用してトレーニングされたニューラルネットワークモデルを使用することによってビデオ映像位置又は段階タグのうちの少なくとも一方を識別するステップを含む
・ユーザ入力に基づいて記憶された事象特性を決定するステップ
・特定の術中手術事象を描写するビデオ映像のコンピュータ解析に基づいて記憶された事象特性を決定するステップ
・段階タグを生成するステップは、手術段階を描写するビデオ映像のコンピュータ解析に基づく
・記憶されたビデオ映像の一致するサブセットを識別するステップは、コンピュータ解析を使用して、記憶されたビデオの一致するサブセットと選択された事象特性との間の類似性の度合いを決定するステップを含む
・少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスするステップ
・以前の外科的処置の履歴的な手術映像に基づいて履歴データにアクセスするステップであって、履歴データが、手術映像の一部を術中手術事象と関連付けられるフレームと手術行動と関連付けられないフレームとに区別する情報を含む、ステップ
・履歴データの情報に基づき、特定の手術映像において、フレームの第１のグループをフレームの第２のグループから区別するステップ
・ユーザの要求に基づいて、フレームの第２のグループのユーザへの提示を省略しつつ、特定の手術映像のフレームの第１のグループの集約をユーザに提示するステップ
・履歴的な手術映像の一部を術中手術事象と関連付けられるフレームに区別する情報は、手術器具の存在又は動きのうちの少なくとも１つの指標を含む
・履歴的な手術映像の一部を術中手術事象と関連するフレームに区別する情報は、関連するフレーム内の検出された器具及び解剖学的特徴を含む
・ユーザの要求は、対象の少なくとも１つのタイプの術中手術事象の表示を含む
・フレームの第１のグループは、少なくとも１つのタイプの対象の術中手術事象のうちの少なくとも１つの術中手術事象を描写する
・ユーザの要求は、特定の手術映像内の複数の術中手術事象を見る要求を含む
・フレームの第１のグループの集約をユーザに提示するステップは、第２のグループの時系列フレームを省略してフレームの第１のグループを時系列順に表示するステップを含む
・履歴データは、履歴的な手術転帰データ及びそれぞれの履歴的な原因データを更に含む
・フレームの第１のグループは、フレームの原因セット及びフレームの転帰セットを含む
・フレームの第２のグループがフレームの中間セットを含む
・特定の手術映像を解析して手術転帰及び手術転帰のそれぞれの原因を識別するステップであって、識別するステップが履歴的な転帰データ及びそれぞれの履歴的な原因データに基づく、ステップ
・解析に基づいて、特定の手術映像内のフレームの転帰セットを検出するステップであって、フレームの転帰セットが外科的処置の転帰段階内にある、ステップ
・解析に基づいて、特定の手術映像内のフレームの原因セットを検出するステップであって、フレームの原因セットが、転帰段階から時間的に離れた外科的処置の原因段階内にある、ステップ
・フレームの中間セットは、フレームの原因セットとフレームの転帰セットとの間に介挿される中間段階内にある
・手術映像の因果関係概要を生成するステップ
・因果関係概要は、フレームの原因セット及びフレームの転帰セットを含み、フレームの中間セットを省く
・ユーザに提示されるフレームの第１のグループの集約が因果関係概要を含む
・原因段階は、原因が発生した手術段階を含む
・フレームの原因セットは、原因段階におけるフレームのサブセットである
・転帰段階は、転帰が観察できる手術段階を含む
・フレームの転帰セットは、転帰段階におけるフレームのサブセットである
・履歴データを使用して手術転帰及び手術転帰のそれぞれの原因を識別するようにトレーニングされる機械学習モデルを使用して、特定の手術映像を解析するステップ
・特定の手術映像は、患者に対して行われて手術室内の少なくとも１つの画像センサによって捕捉される外科的処置を描写する
・患者の医療記録に記憶するためにフレームの第１のグループをエクスポートするステップ
・少なくとも１つの術中手術事象のインデックスを生成してフレームの第１のグループをエクスポートするステップは、フレームの第１のグループのコンパイルを生成するステップを含み、コンパイルは、インデックスを含むとともに、１つ以上のインデックス項目の選択に基づいて少なくとも１つの術中手術事象の視聴を可能にするように構成される
・コンパイルは、連続ビデオとして記憶される異なる術中事象の一連のフレームを含む
・フレームの第１のグループを固有の患者識別子と関連付けて、固有の患者識別子を含む医療記録を更新するステップ
・少なくとも１つの画像センサの位置は、手術室内の手術台の上方又は患者内のうちの少なくとも１つである
・特定の手術映像においてフレームの第１のグループをフレームの第２のグループから区別するステップは、特定の手術映像を解析して医療機器を検出するステップを含む
・特定の手術映像を解析して解剖学的構造を検出するステップ
・ビデオを解析して、検出された医療機器と検出された解剖学的構造との間の相対動作を検出するステップ
・相対動作に基づいてフレームの第１のグループをフレームの第２のグループから区別するステップ
・フレームの第１のグループが手術行動フレームを含み、フレームの第２のグループが非手術行動フレームを含む
・集約を提示することにより、手術の準備をしている外科医は、要約される提示のビデオ見直し中に非手術行動フレームを省略することができる
・フレームの第１のグループをフレームの第２のグループから区別するステップは、医療機器と前記解剖学的構造との間の検出された相対位置に更に基づく
・フレームの第１のグループをフレームの第２のグループから区別するステップは、医療機器と解剖学的構造との間の検出された相互作用に更に基づく
・非手術行動フレームを省略することは、非手術行動を捕捉するフレームの大部分を省略することを含む
・異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数のセットのリポジトリにアクセスするステップ
・企図された外科的処置を準備している外科医が、企図された外科的処置に対応する症例特有の情報を入力できるようにするステップ
・症例特有の情報を手術ビデオ映像の複数のセットと関連付けられるデータと比較して、企図された外科的処置中に直面する可能性が高い術中事象のグループを識別するステップ
・症例特有の情報及び直面する可能性が高い術中事象の識別されたグループを使用して、術中事象の識別されたグループに対応する手術ビデオ映像の複数のセットのうちの特定のセット内の特定のフレームを識別するステップ
・識別された特定のフレームは、異なる患者に対して実行される複数の外科的処置からのフレームを含む
・異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定するステップ
・外科医に提示されるべきコンパイルから第２のセットを含めることを省略し、外科医に提示されるべきコンパイルに第１のセットを含めるステップ
・異なる患者に対して実行される異なる外科的処置からのフレームを含むコンパイルを含む提示を外科医が見ることができるようにするステップ
・提示に沿った識別された特定のフレームのうちの１つ以上に対応する１つ以上の時系列マーカを含む共通の手術タイムラインの表示を可能にするステップ
・外科医が提示を見ることができるようにするステップは、異なる患者に対して実行される異なる外科的処置のビデオ映像の別個のセットを順次に表示するステップを含む
・ビデオ映像の別個のセットを順次に表示するステップは、ビデオ映像の別個のセットのうちの１つ以上を外科医が選択できるようにするビデオ映像の別個のセットのインデックスを表示するステップを含む、
・インデックスは、別個のセットを対応する手術段階及びテキスト段階指標へと構文解析するタイムラインを含む
・タイムラインは、術中手術事象に対応する術中手術事象マーカを含む
・外科医は、術中手術事象マーカをクリックして、対応する術中手術事象を描写する少なくとも１つのフレームを表示できるようにされる
・企図された外科的処置に対応する症例特有の情報が外部デバイスから受信される
・症例特有の情報を手術ビデオ映像の複数のセットと関連付けられるデータと比較するステップは、人工ニューラルネットワークを使用して、企図された外科的処置中に直面する可能性が高い術中事象のグループを識別するステップを含む
・人工ニューラルネットワークを使用するステップは、症例特有の情報を入力として人工ニューラルネットワークに与えるステップを含む
・症例特有の情報は、企図された処置と関連付けられる患者の特性を含む
・患者の特性が患者の医療記録から受けられる
・症例特有の情報は、手術器具に関連する情報を含む
・手術器具に関連する情報は、器具タイプ及び器具モデルのうちの少なくとも一方を含む
・共通の特性は、異なる患者の特性を含む
・共通の特性は、企図された外科的処置の術中手術事象特性を含む
・異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定するステップは、機械学習モデルの実装を使用して共通の特性を識別するステップを含む
・ビデオ映像の２つのセットが共通の特性を共有するかどうかを決定するべく機械学習モデルをトレーニングするためにビデオ映像例を使用するステップ
・機械学習モデルを実装するステップは、トレーニングされた機械学習モデルを実装するステップを含む
・術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術事象特性に基づいてリポジトリのインデックスを生成するべく機械学習モデルをトレーニングするステップ
・リポジトリのインデックスを生成するステップ
・症例特有の情報を複数のセットと関連付けられるデータと比較するステップは、インデックスを検索するステップを含む
・手術映像のフレームを解析し、フレームの第１のセットにおいて解剖学的構造を識別するステップ
・第１の履歴データにアクセスするステップであって、第１の履歴データが、以前の外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づく、ステップ
・第１の履歴データを使用して及び識別された解剖学的構造を使用してフレームの第１のセットを解析し、フレームの第１のセットと関連付けられる第１の手術複雑度レベルを決定するステップ
・手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、解剖学的構造、及び、医療器具と解剖学的構造との間の相互作用を識別するステップ
・第２の履歴データにアクセスするステップであって、第２の履歴データが、以前の外科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づく、ステップ
・第２の履歴データを使用して及び識別された相互作用を使用してフレームの第２のセットを解析し、フレームの第２のセットと関連付けられる第２の手術複雑度レベルを決定するステップ
・第１の手術複雑度レベルを決定するステップは、フレームの第１のセットにおいて医療器具を識別するステップを更に含む
・第２の手術複雑度レベルを決定するステップは、フレームの第１のセットからフレームの第２のセットまでの経過時間に基づく
・第１の複雑度レベルを決定するステップ又は第２の複雑度レベルを決定するステップのうちの少なくとも一方が生理的応答に基づく
・手術映像においてヘルスケア提供者により実証されるスキルのレベルを決定するステップ
・第１の複雑度レベルを決定するステップ又は第２の複雑度レベルを決定するステップのうちの少なくとも一方は、ヘルスケア提供者によって実証されるスキルの決定されたレベルに基づく
・第１の手術複雑度レベルが選択される閾値未満であると決定するステップ、第２の手術複雑度レベルが選択される閾値を超えると決定するステップ、及び、第１の手術複雑度レベルが選択される閾値未満であるという決定と、第２の手術複雑度レベルが選択される閾値を超えるという決定とに応じて、データ構造からフレームの第１のセットを省きつつフレームの第２のセットをデータ構造に記憶するステップ
・フレームの第１のセットにおいて解剖学的構造を識別するステップは、医療器具の識別と、医療器具と解剖学的構造との間の第１の相互作用とに基づく
・フレームの第１のセットを第１の手術複雑度レベルでタグ付けするステップ
・フレームの第２のセットを第２の手術複雑度レベルでタグ付けするステップ
・外科医が第２の手術複雑度レベルを選択できるようにするべく第１のタグを伴うフレームの第１のセットと第２のタグを伴うフレームの第２のセットとを含むデータ構造を生成し、それにより、フレームの第１のセットの表示を省略しつつ、フレームの第２のセットを表示させるステップ
・第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定するために、以前の外科的処置から捕捉されるフレームデータを使用して手術複雑度レベルを識別するようにトレーニングされる機械学習モデルを使用するステップ
・第２の手術複雑度レベルを決定するステップは、フレームの第１のセットとフレームの第２のセットとの間で生じる事象に基づく
・第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定するステップは、解剖学的構造の状態に基づく
・第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定するステップは、電子医療記録の解析に基づく
・第１の手術複雑度レベルを決定するステップは、フレームの第１のセットの後に生じる事象に基づく
・第１の手術複雑度レベル又は第２の手術複雑度レベルのうちの少なくとも一方を決定するステップは、手術映像と関連付けられる外科医のスキルレベルに基づく
・第２の手術複雑度レベルを決定するステップは、フレームの第１のセットの後に更なる外科医が呼び出されたという表示に基づく
・第２の手術複雑度レベルを決定するステップは、フレームの第１のセットの後に特定の薬剤が投与されたという表示に基づく
・第１の履歴データは、以前の外科的処置の第１のグループから捕捉される第１のフレームデータを使用してトレーニングされる機械学習モデルを含む
・第１の履歴データは、特定の解剖学的構造と特定の手術複雑度レベルとの間の統計的関係の表示を含む
・手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受信するステップ
・履歴的な手術データに基づく情報を含むデータ構造にアクセスするステップ
・進行中の外科的処置の推定完了時間を決定するためにデータ構造を使用して進行中の外科的処置の視覚データを解析するステップ
・進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む手術室に関するスケジュールにアクセスするステップ
・進行中の外科的処置の推定完了時間に基づいて、予測完了時間が完了と関連付けられるスケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算するステップ
・分散の計算時に通知を出力することによって、手術室の後続のユーザがそれに応じて自分のスケジュールを調整できるようにするステップ
・通知は、更新された手術室スケジュールを含む
・更新された手術室スケジュールは、待ち行列に入れられたヘルスケア専門家が後続の外科的処置の準備をすることができるようにする
・手術室の後続のスケジュールされたユーザと関連付けられるデバイスに通知を電子的に送信するステップ
・完了と関連付けられるスケジュールされた時間からの分散の範囲を決定するステップ
・第１の決定された範囲に応じて、通知を出力するステップ
・第２の決定された範囲に応じて、通知を出力しないで済ませるステップ
・予測完了時間が、完了と関連付けられるスケジューリングされた時間からの少なくとも選択された閾値時間の遅延をもたらす可能性が高いかどうかを決定するステップ
・予測完了時間が少なくとも選択された閾値時間の遅延をもたらす可能性が高いという決定に応じて、通知を出力するステップ
・予測完了時間が少なくとも選択された閾値時間の遅延をもたらしそうにないという決定に応じて、通知を出力しないで済ませるステップ
・推定完了時間を決定するステップは、進行中の外科的処置を行うヘルスケア専門家と関連付けられる１つ以上の記憶された特性に基づく
・決定された実際の時間に基づいて完了までの履歴的な平均時間を更新して、進行中の外科的処置を完了させるステップ
・画像センサが患者の上方に位置される
・画像センサが手術器具上に位置される
・解析するステップは、受信された視覚データ内の特性事象を検出するステップと、履歴的な手術データに基づいて情報を評価して、履歴的な手術データ内の特性事象の発生後に外科的処置を完了する予測時間を決定するステップと、決定された予測完了時間に基づいて推定完了時間を決定するステップとを更に含む
・履歴的な視覚データを使用して、機械学習モデルをトレーニングし、特性事象を検出するステップ
・完了時間を推定するために機械学習モデルをトレーニングするべく履歴的な視覚データを使用するステップ
・推定完了時間を計算するステップは、トレーニングされた機械学習モデルを実装するステップを含む
・平均の履歴的な完了時間を使用して推定完了時間を決定するステップ
・視覚データ内の医療器具を検出するステップ
・推定完了時間を計算するステップは、検出された医療器具に基づく
・解析するステップは、視覚データ内の解剖学的構造を検出するステップを更に含む
・推定完了時間を計算するステップは、検出された解剖学的構造に基づく
・解析するステップは、視覚データ内の解剖学的構造と医療器具との間の相互作用を検出するステップを更に含む
・推定完了時間を計算するステップは、検出された相互作用に基づく
・解析するステップは、視覚データにおける外科医のスキルレベルを決定するステップを更に含む
・推定完了時間を計算するステップは、決定されたスキルレベルに基づく
・患者に対する外科的処置中に捕捉されるビデオフレームにアクセスするステップ
・外科的処置中に捕捉されるビデオフレームを解析して、ビデオフレーム内で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用を識別するステップ
・医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関される払い戻しコードのデータベースにアクセスするステップ
・少なくとも１つの医療機器と少なくとも１つの解剖学的構造との間の識別された少なくとも１つの相互作用を払い戻しコードのデータベース内の情報と比較して、外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステップ
・外科的処置に関する保険払い戻しを取得するのに用いる少なくとも１つの払い戻しコードを出力するステップ
・出力された少なくとも１つの払い戻しコードは、出力された複数の払い戻しコードを含む
・複数の出力された払い戻しコードのうちの少なくとも２つは、共通の解剖学的構造との異なる相互作用に基づく
・少なくとも２つの出力された払い戻しコードは、２つの異なる医療機器の検出に部分的に基づく。
・少なくとも１つの払い戻しコードを決定するステップは、術後手術報告の解析にも基づく
・ビデオフレームは、患者の上方に位置される画像センサから捕捉される
・ビデオフレームは、医療デバイスと関連付けられる画像センサから捕捉される
・少なくとも１つの払い戻しコードを外科的処置と関連付けることによってデータベースを更新するステップ
・処理された払い戻しコードと、履歴的なビデオ映像内の複数の医療機器、履歴的なビデオ映像内の複数の解剖学的構造、又は、履歴的なビデオ映像内の医療機器と解剖学的構造との間の複数の相互作用のうちの少なくとも１つとの間の相関関係を生成するステップ
・生成された相関に基づいてデータベースを更新するステップ
・相関関係を生成するステップは、統計的モデルを実装するステップを含む
・機械学習モデルを使用して、履歴的なビデオ映像内で、複数の医療機器、複数の解剖学的構造、又は、医療機器と解剖学的構造との間の複数の相互作用のうちの少なくとも１つを検出するステップ
・外科的処置中に捕捉されるビデオフレームを解析して、患者の解剖学的構造の状態を決定するステップ
・解剖学的構造の決定された状態に基づいて外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステップ
・外科的処置中に捕捉されるビデオフレームを解析して、外科的処置中の患者の解剖学的構造の状態の変化を決定するステップ
・解剖学的構造の状態の決定された変化に基づいて、外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステップ
・特定の医療デバイスの使用を決定するために外科的処置中に捕捉されるビデオフレームを解析するステップ
・特定の医療デバイスの決定された使用に基づいて外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステップ
・特定の医療デバイスの使用のタイプを決定するために外科的処置中に捕捉されるビデオフレームを解析するステップ
・第１の決定された使用タイプに応じて、外科的処置と関連付けられる少なくとも第１の払い戻しコードを決定するステップ
・第２の決定された使用タイプに応じて、外科的処置と関連付けられる少なくとも第２の払い戻しコードを決定するステップであって、少なくとも第１の払い戻しコードが少なくとも第２の払い戻しコードとは異なる、ステップ
・外科的処置と関連付けられる処理された払い戻しコードを受信し、処理された払い戻しコードに基づいてデータベースを更新するステップ
・処理された払い戻しコードは、少なくとも１つの払い戻しコードの対応する払い戻しコードとは異なる
・外科的処置中に捕捉されるビデオフレームを解析して、外科的処置で使用される特定のタイプの医療物資の量を決定するステップ
・決定された量に基づいて外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステップ
・患者の識別子の入力を受信するステップ
・ヘルスケア提供者の識別子の入力を受信するステップ
・ヘルスケア提供者によって前記患者に対して行われる外科的処置の手術映像の入力を受信するステップ
・手術映像の複数のフレームを解析して、外科的処置の術後報告を作成するための画像ベースの情報を導き出すステップ
・導き出された画像ベースの情報が外科的処置の術後報告を作成するようにするステップ
・外科的処置の１つ以上の段階を識別して識別された段階のうちの少なくとも１つの段階の特性を識別するために手術映像を解析するステップ
・導き出された画像ベースの情報は、識別された少なくとも１つの段階と、少なくとも１つの段階の識別された特性とに基づく
・手術映像を解析して、名前を少なくとも１つの段階と関連付けるステップ
・導き出された画像ベースの情報は、少なくとも１つの段階と関連付けられる名前を含む
・少なくとも１つの段階の少なくとも開始を決定するステップ
・導き出された画像ベースの情報は、決定された開始に基づく
・時間マーカを少なくとも１つの段階と関連付けるステップ
・導き出された画像ベースの情報は、少なくとも１つの段階と関連付けられる時間マーカを含む
・データをヘルスケア提供者に送信するステップであって、送信されるデータが、患者識別子と、導き出された画像ベースの情報とを含む、ステップ
・手術映像を解析して、術後治療のための少なくとも１つの推奨を識別するステップ
・識別された少なくとも１つの推奨を与えるステップ
・外科的処置の術後報告の引き起こされた作成は、術後報告内の導き出された画像ベースの情報の少なくとも一部をヘルスケア提供者が変更できるようにするべく設定される
・外科的処置の術後報告の引き起こされた作成は、導き出された画像ベースの情報の少なくとも一部を術後報告において自動的に生成されたデータとして識別させるように設定される
・手術映像を解析して、手術映像内の手術事象を識別するとともに、識別された手術事象の特性を識別するステップ
・導き出された画像ベースの情報は、識別された手術事象及び識別された特性に基づく
・手術映像を解析して、識別された手術事象の事象名を決定するステップ
・導き出された画像ベースの情報は、決定された事象名を含む
・時間マーカを識別された手術事象と関連付けるステップ
・導き出された画像ベースの情報が時間マーカを含む
・導き出された画像ベースの情報を電子医療記録の更新を可能にする形式で提供するステップ
・導き出された画像ベースの情報は、ユーザ入力に部分的に基づく
・導き出された画像ベースの情報は、外科的処置の第１の一部と関連付けられる第１の部分と、外科的処置の第２の一部と関連付けられる第２の部分とを含み、予備術後報告を受けるステップを更に含む
・予備術後報告を解析して、予備術後報告内の第１の位置及び第２の位置を選択するステップであって、第１の位置が外科的処置の第１の一部と関連付けられ、第２の位置が外科的処置の第２の一部と関連付けられる、ステップ
・導き出された画像ベースの情報の第１の部分を選択された第１の位置に挿入させ、導き出された画像ベースの情報の第２の部分を選択された第２の位置に挿入させるステップ
・手術映像を解析して、手術映像の少なくとも１つのフレームの少なくとも一部を選択するステップ
・手術映像の少なくとも１つのフレームの選択された少なくとも一部を外科的処置の術後報告に含ませるステップ
・予備術後報告を受けるステップ
・予備術後報告及び手術映像を解析して、手術映像の少なくとも１つのフレームの少なくとも一部を選択するステップ
・予備術後報告を受けるステップ
・予備術後報告及び手術映像を解析して、予備術後報告と手術映像との間の少なくとも１つの不一致を識別するステップ
・識別された少なくとも１つの不一致の表示を与えるステップ
・特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップ
・外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセスするステップ
・アクセスされたフレームを推奨された一連の事象と比較して、特定の外科的処置と外科的処置に関して推奨される一連の事象との間の逸脱の表示を識別するステップ
・逸脱と関連付けられる術中手術事象の名前を決定するステップ
・逸脱と関連付けられる術中手術事象の名前を含む逸脱の通知を与えるステップ
・逸脱の表示を識別するステップ及び通知を与えるステップは、外科的処置中にリアルタイムで起こる
・特定の外科的処置において特定の動作がまさに起ころうとしているという表示を受けるステップ
・推奨された一連の事象を使用して、特定の動作に対する予備的動作を識別するステップ
・アクセスされたフレームの解析に基づいて、識別された予備的動作が未だ起こらなかったと決定するステップ
・識別された予備的動作が未だ起こらなかったという決定に応じて、逸脱の表示を識別するステップ
・特定の外科的処置が胆嚢切除術である
・推奨された一連の事象は、安全性の危機的観点に基づく
・特定の外科的処置が虫垂切除術である
・特定の外科的処置がヘルニア修復である
・特定の外科的処置が子宮摘出である
・特定の外科的処置が根治的前立腺摘除術である
・特定の外科的処置が部分的腎摘出術であり、逸脱は、腎門を識別することを無視することを含む
・特定の外科的処置が甲状腺摘出術であり、逸脱は、再発性喉頭神経を識別することを無視することを含む
・逸脱と関連付けられるフレームのセットを識別するステップ
・通知を与えるステップは、逸脱と関連付けられる識別されたフレームのセットを表示するステップを含む
・定の動作がまさに起ころうとしているという表示は、特定の外科的処置を行う外科医からの入力に基づく
・特定の動作がまさに起ころとしているという表示は、選択された関心領域への特定の医療機器の進入である
・逸脱を識別するステップは、手術器具が特定の解剖学的領域内にあると決定するステップを含む
・特定の外科的処置が結腸半切除術である
・逸脱は、吻合を行うことを無視することを含む
・逸脱の表示を識別するステップは、術中外科的処置と関連付けられる経過時間に基づく
・手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受けるステップ
・外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスするステップ
・画像関連データを使用して受けられたビデオ映像を解析し、外科的意思決定ジャンクションの存在を決定するステップ
・少なくとも１つのデータ構造において、転帰と意思決定ジャンクションで講じられる特定の動作との間の相関関係にアクセスするステップ
・意思決定ジャンクションの決定された存在とアクセスされた相関関係とに基づいて、特定の動作を行うようにユーザに推奨を出力するステップ
・命令は、外科的処置中に少なくとも１つのプロセッサに動作をリアルタイムに実行させるように設定される
・ユーザが外科医である
・意思決定ジャンクションは、共通の手術状況に続いて異なる動作経過が起こった複数の異なる履歴的な処置の解析によって決定される
・ビデオ映像は、内視鏡及び体内カメラのうちの少なくとも一方からの画像を含む
・推奨は、医療検査を行うべき推奨を含む
・医療検査の結果を受けるステップ
・意思決定ジャンクションの決定された存在、アクセスされた相関関係、及び、医療検査の受けられた結果に基づいて、特定の動作を行うための第２の推奨をユーザに出力するステップ
・特定の動作は、更なる外科医を手術室へと至らせることを含む
・意思決定ジャンクションは、不適切なアクセス又は露出、解剖学的構造の退縮、解剖学的構造の誤った解釈、又は、流体漏れのうちの少なくとも１つを含む
・推奨は、特定の動作が講じられる場合に所望の手術転帰が起こるという信頼度レベルを含む
・推奨は、特定の動作が講じられない場合に所望の転帰が起こらないという信頼度レベルを含む
・推奨は、外科的処置における特定のポイントからの経過時間に基づく
・推奨は、特定の動作が行われない場合に起こる可能性が高い望ましくない手術転帰の表示を含む
・推奨は、外科医のスキルレベルに基づく
・推奨は、意思決定ジャンクションの前に外科的処置で起こった手術事象に基づく
・特定の動作が複数のステップを含む
・外科的意思決定ジャンクションの存在の決定は、解剖学的構造の検出された生理的応答及び手術器具と関連する動きのうちの少なくとも一方に基づく
・患者のバイタルサインを受信するステップ
・推奨は、アクセスされた相関関係及びバイタルサインに基づく
・外科医が手術用ロボットであり、推奨は、手術用ロボットへの命令の形態で与えられる
・推奨は、患者の組織の状態に基づく
・特定の動作の推奨は、瘻孔の形成を含む
・手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信するステップ
・受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、画像データで反映された解剖学的構造の状態を決定するステップ
・解剖学的構造と関連付けられる接触力閾値を選択するステップであって、選択された接触力閾値が解剖学的構造の決定された状態に基づく、ステップ
・解剖学的構造に作用する実際の接触力の表示を受けるステップ
・実際の接触力の表示と選択された接触力閾値とを比較するステップ
・実際の接触力の表示が選択された接触力閾値を超えるという決定に基づいて通知を出力するステップ
・接触力閾値が引張レベルと関連付けられる
・接触力閾値が圧縮レベルと関連付けられる
・実際の接触力は、医療機器と解剖学的構造との間の接触と関連付けられる
・実際の接触力の表示は、画像データの画像解析に基づいて推定される
・通知を出力するステップは、外科的処置を行う外科医にリアルタイム警告を与えるステップを含む
・通知は、手術用ロボットに対する命令である
・画像データから、外科的処置が戦闘モードにあると決定するステップ
・通知が戦闘モード中に保留される
・画像データから、外科医が接触力通知を無視するモードで手術していると決定し、外科医が接触力通知を無視するモードで手術しているという決定に基づいて、少なくとも一時的に更なる接触力通知を保留するステップ
・接触力閾値を選択するステップは、解剖学的構造と医療機器との間の接触の位置に基づく
・接触力閾値を選択するステップは、解剖学的構造と医療機器との間の接触角に基づく
・接触力閾値を選択するステップは、解剖学的構造の状態を入力として回帰モデルに与えるステップ、及び、回帰モデルの出力に基づいて接触力閾値を選択するステップを含む
・接触力閾値を選択するステップは、対応する接触力閾値を含む解剖学的構造のテーブルに基づく
・接触力閾値を選択するステップは、外科医によって実行される動作に基づく
・実際の接触力の表示が手術器具から受けられる
・実際の接触力の表示が手術用ロボットから受けられる
・トレーニング例を使用してトレーニングされた機械学習モデルを用いて、画像データ内の解剖学的構造の状態を決定するステップ
・トレーニング例を使用してトレーニングされた機械学習モデルを用いて接触力閾値を選択するステップ
・外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、外科的処置中に第１の事象と関連付けられる画像データを受信するステップ
・第１の事象と関連付けられる受信された画像データに基づいて、外科的処置と関連付けられる予測転帰を決定するステップ
・外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、外科的処置中に第２の事象と関連付けられる画像データを受信するステップ
・第２の事象と関連付けられる受信された画像データに基づいて、予測転帰の変化を決定し、それにより、予測転帰を閾値未満に低下させるステップ
・以前の外科的処置に基づいて画像関連データのデータ構造にアクセスするステップ
・アクセスされた画像関連データに基づいて、推奨される是正措置を識別するステップ
・推奨される是正措置を出力するステップ
・推奨される是正措置は、外科医が外科的処置をやめて休憩するための推奨を含む
・推奨される是正措置は、他の外科医からの支援を要求する推奨を含む
・推奨される是正措置は、外科的処置に対する修正を含む
・予測転帰は、入院の可能性を含む
・予測転帰の変化を決定するステップが出血の大きさに基づく
・是正措置を識別するステップは、是正措置が予測転帰を閾値を超えて上昇させる可能性が高いという表示に基づく
・是正措置を識別するステップは、是正措置及び手術転帰の履歴例を使用して是正措置を識別するようにトレーニングされた機械学習モデルを使用するステップを含む
・予測転帰を決定するステップは、履歴的な手術ビデオと履歴的な手術ビデオに対応する手術転帰を示す情報と基づいて予測転帰を決定するようにトレーニングされた機械学習モデルを使用するステップを含む
・予測転帰を決定するステップは、手術器具と解剖学的構造との間の相互作用を識別するステップ、及び、識別された相互作用に基づいて予測転帰を決定するステップを含む
・予測転帰を決定するステップは、画像データで描写される外科医のスキルレベルに基づく
・画像データで描写される外科医のスキルレベルを決定するステップ
・予測転帰の変化を決定するステップがスキルレベルに基づく
・予測転帰が閾値を下回ることに応じて、外科的処置に関連する手術室と関連付けられるスケジュール記録を更新するステップを更に含む
・予測転帰の変化を決定するステップは、外科的処置における特定のポイントと第２の事象との間の経過時間に基づく
・予測転帰を決定するステップは、画像データで描写される解剖学的構造の状態に基づく
・解剖学的構造の状態を決定するステップ
・予測転帰の変化を決定するステップは、解剖学的構造の少なくとも一部の色の変化に基づく
・予測転帰の変化を決定するステップは、解剖学的構造の少なくとも一部の外観の変化に基づく
・外科的処置の腔内ビデオをリアルタイムで受けるステップ
・腔内ビデオのフレームを解析して、腔内ビデオ内の異常な流体漏れ状況を決定するステップ
・異常な流体漏れ状況が決定されるときに是正措置を策定するステップ
・流体は、血液、胆汁、又は、尿のうちの少なくとも１つを含む
・解析するステップは、腔内ビデオのフレームを解析して、血液飛散と、血液飛散の少なくとも１つの特性とを識別するステップを含む
・是正措置の選択は、識別された血液飛散の少なくとも１つの特性に依存する
・少なくとも１つの特性は、血液飛散源と関連付けられる
・少なくとも１つの特性は、血液飛散の強さと関連付けられる
・少なくとも１つの特性は、血液飛散の量と関連付けられる
・腔内ビデオのフレームを解析するステップは、異常な流体漏れ状況の特性を決定するステップを含む
・是正措置の選択は、決定された特性に依存する
・特性が流体漏れの量と関連付けられる
・特性が流体漏れの色と関連付けられる
・特性は、流体漏れに関連する流体のタイプと関連付けられる
・特性が流体漏れ速度と関連付けられる
・腔内ビデオを記憶するとともに、異常な漏れ状況を決定する際に、記憶された腔内ビデオの以前のフレームを解析して、漏れ源を決定するステップ
・是正措置を策定するステップは、漏れ源の通知を与えるステップを含む
・漏れ源を決定するステップは、破裂した解剖学的器官を識別するステップを含む
・流体漏れ状況と関連付けられる流量を決定するステップ
・是正措置を策定するステップが流量に基づく
・流体漏れ状況と関連付けられる流体損失の量を決定するステップ
・是正措置を策定するステップが流体損失の量に基づく
・腔内ビデオのフレームを解析して腔内ビデオ内の異常な流体漏れ状況を決定するステップは、決定された流体漏れ状況が異常な流体漏れ状況であるかどうかを決定するステップを含む
・決定された流体漏れ状況が異常な流体漏れ状況であるという決定に応じて、是正措置を策定するステップ
・決定された流体漏れ状況が正常な流体漏れ状況であるという決定に応じて、是正措置の策定をしないで済ませるステップ
・腔内ビデオが外科的処置を実行する手術用ロボットを描写し、是正措置がロボットに命令を送信することを含む
・患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップ
・術中事象及び関連する転帰を識別する記憶された履歴データにアクセスするステップ
・アクセスされたフレームを解析するとともに、履歴データから取得される情報に基づいて、アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するステップ
・履歴データから取得される情報と識別された少なくとも１つの術中事象とに基づいて、特定の外科的処置と関連付けられる予測転帰を決定するステップ
・予測転帰を患者と関連付ける態様で予測転帰を出力するステップ
・少なくとも１つの特定の術中事象を識別するステップは、アクセスされたフレーム内の検出された手術器具、アクセスされたフレーム内の検出された解剖学的構造、手術器具と解剖学的構造との間のアクセスされたフレーム内の相互作用、又は、アクセスされたフレーム内の検出された異常な流体漏れ状況のうちの少なくとも１つに基づく
・アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するために機械学習モデルが使用され、前記機械学習モデルがトレーニングデータ例を使用してトレーニングされる
・予測転帰を決定するステップは、患者の特性、電子医療記録、又は、術後手術報告のうちの少なくとも１つに基づく
・機械学習モデルが、術中事象に基づいて特定の外科的処置と関連付けられる予測転帰を決定するために使用され、機械学習モデルがトレーニング例を使用してトレーニングされる
・予測転帰を決定するステップは、トレーニングされた機械学習モデルを使用して、識別された術中事象と患者の識別された特性とに基づいて手術転帰を予測するステップを含む
・外科的処置に続く実現された手術転帰を識別する情報を受信するとともに、受信された情報を使用して機械学習モデルをトレーニングすることによって機械学習モデルを更新するステップ
・患者の特性を識別するステップ
・予測転帰は、識別された患者特性に基づいても決定される
・患者特性が電子医療記録から導き出される
・患者特性を識別するステップは、機械学習モデルを使用してアクセスされたフレームを解析するステップを含み、機械学習モデルは、履歴的な外科的処置のトレーニング例と対応する履歴的な患者特性とを使用して患者特性を識別するようにトレーニングされる
・予測転帰は、退院後の事故、退院後の有害事象、退院後の合併症、又は、再入院のリスクの推定のうちの少なくとも１つを含む
・推奨される一連の手術事象を含むデータ構造にアクセスするステップ
・少なくとも１つの特定の術中事象を識別するステップは、データ構造において識別された外科的処置に関して推奨された一連の事象と、アクセスされたフレームにおいて検出された実際の一連の事象との間の逸脱の識別に基づく
・逸脱の識別は、アクセスされたフレーム内の検出された手術器具、アクセスされたフレーム内の検出された解剖学的構造、又は、手術器具と解剖学的構造との間のアクセスされたフレーム内の相互作用のうちの少なくとも１つに基づく
・逸脱の識別は、履歴的な手術ビデオ映像、履歴的な推奨された一連の事象、及び、履歴的なビデオ映像内の履歴的な推奨された一連の事象からの逸脱を識別する情報に基づいて、推奨された一連の事象からの逸脱を識別するようにトレーニングされた機械学習モデルを使用することを含む
・逸脱を識別するステップは、アクセスされたフレームと、推奨される一連の事象を描写する基準フレームとを比較するステップを含む
・予測転帰を出力するステップは、患者と関連付けられる電子医療記録を更新するステップを含む
・予測転帰を出力するステップは、予測転帰をヘルスケア提供者と関連付けられるデータ受信デバイスに送信するステップを含む
・アクセスされたフレームに基づいて予測転帰を改善する可能性が高い少なくとも１つの動作を決定するステップ
・決定された少なくとも１つの動作に基づいて推奨を与えるステップ
本明細書中に開示されるシステム及び方法は、従来の手法に優る非従来的な改善を伴う。開示された実施形態の説明は、網羅的ではなく、開示された正にその形態又は実施形態に限定されない。実施形態の変更及び適合は、開示された実施形態の仕様及びやり方を考慮することにより明らかである。更に、開示された実施形態は、本明細書で説明される例に限定されない。
以上の説明は、例示を目的として提示される。これらの説明は、網羅的ではなく、開示された正にその形態又は実施形態に限定されない。実施形態の変更及び適合は、開示された実施形態の仕様及びやり方を考慮することにより明らかである。例えば、記載された実施態様はハードウェア及びソフトウェアを含むが、本開示と整合するシステム及び方法がハードウェアのみとして実施されてもよい。
この明細書中に記載される説明及び方法に基づくコンピュータプログラムは、ソフトウェア開発者の技能の範囲内である。様々な関数、スクリプト、プログラム、又は、モジュールは、様々なプログラミング技術を使用して作成されてもよい。例えば、プログラム、スクリプト、関数、プログラムセクション、又は、プログラムモジュールは、ＪＡＶＡＳＣＲＩＰＴ（登録商標）、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、ＰＨＰ、ＰＹＴＨＯＮ、ＲＵＢＹ、ＰＥＲＬ、ＢＡＳＨ、又は、他のプログラミング言語もしくはスクリプト言語を含む言語で又は該言語によって設計されてもよい。そのようなソフトウェアセクション又はモジュールのうちの１つ以上は、コンピュータシステム、持続性コンピュータ可読媒体、又は、既存の通信ソフトウェアに組み込まれてもよい。プログラム、モジュール、又は、コードは、ファームウェア又は回路ロジックとして実装又は複製されてもよい。
更に、例示的な実施形態を本明細書中で説明してきたが、その範囲は、本開示に基づく同等の要素、修正、省略、組み合わせ（例えば、様々な実施形態にわたる態様の組み合わせ）、適合、又は、変更を有するありとあらゆる実施形態を含むことができる。特許請求の範囲における要素は、特許請求の範囲で使用される言語に基づいて広く解釈されるべきであり、本明細書中に記載された例又は出願の審査中に限定されず、それらの例は非排他的であると解釈されるべきである。更に、開示された方法のステップは、ステップの並べ替え又はステップの挿入もしくは削除によるなど、任意の態様で修正されてもよい。したがって、本明細書及び実施例が単なる典型例と見なされるにすぎず、真の範囲及び技術思想は以下の特許請求の範囲及びそれらの均等物の全範囲によって示されることが意図される。
本開示は一態様において、以下を提供する。
[項目１]
手術ビデオを見直すためのコンピュータ実装方法であって、
外科的処置の少なくとも１つのビデオにアクセスするステップと、
前記少なくとも１つのビデオを表示のために出力させるステップと、
手術タイムラインを表示するために出力される前記少なくとも１つのビデオにオーバーレイするステップであって、前記手術タイムラインが、手術段階、術中手術事象、及び、意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含む、ステップと、
外科医が前記少なくとも１つのビデオの再生を見ながら前記手術タイムライン上の１つ以上のマーカを選択できるようにし、それにより、前記ビデオの表示を前記選択されたマーカと関連付けられる位置にスキップさせるステップと、
を含むコンピュータ実装方法。
[項目２]
前記マーカは、色又は臨界レベルのうちの少なくとも１つによってコード化される、項目１に記載の方法。
[項目３]
前記手術タイムラインは、前記外科的処置の部分を識別するテキスト情報を含む、項目１に記載の方法。
[項目４]
前記少なくとも１つのビデオは、手続き時系列順に配置された複数の外科的処置からの映像のコンパイルを含み、前記映像のコンパイルは、前記複数の外科的処置からの複雑さを描写し、前記１つ以上のマーカは、前記複数の外科的処置と関連付けられて、共通のタイムライン上に表示される、項目１に記載の方法。
[項目５]
前記１つ以上のマーカは、前記外科的処置の意思決定ジャンクションに対応する意思決定ジャンクションマーカを含み、前記意思決定ジャンクションマーカの前記選択は、前記外科医が２つ以上の対応する他の外科的処置からの２つ以上の別のビデオクリップを見ることができるようにし、前記２つ以上のビデオクリップが異なる行為を提示する、項目１に記載の方法。
[項目６]
前記１つ以上のマーカは、前記外科的処置の意思決定ジャンクションに対応する意思決定ジャンクションマーカを含み、前記意思決定ジャンクションマーカの前記選択は、前記選択された意思決定ジャンクションマーカに関連する１つ以上の別の想定し得る決定の表示を引き起こす、項目１に記載の方法。
[項目７]
前記１つ以上の別の想定し得る決定と関連付けられる１つ以上の推定される転帰が、前記１つ以上の別の想定し得る決定の前記表示と併せて表示される、項目６に記載の方法。
[項目８]
前記１つ以上の推定される転帰は、それぞれの同様の意思決定ジャンクションを含む過去の外科的処置の複数のビデオの解析の結果である、項目７に記載の方法。
[項目９]
それぞれの同様の過去の意思決定ジャンクションにおいて行われた過去の決定の分布に関連する情報が、前記別の想定し得る決定の前記表示と併せて表示される、項目６に記載の方法。
[項目１０]
前記外科的処置の前記意思決定ジャンクションが第１の患者と関連付けられ、前記それぞれの同様の過去の意思決定ジャンクションは、前記第１の患者と同様の特性を有する患者と関連付けられる過去の外科的処置から選択される、項目９に記載の方法。
[項目１１]
前記外科的処置の前記意思決定ジャンクションが第１の医療専門家と関連付けられ、前記それぞれの同様の過去の意思決定ジャンクションは、前記第１の医療専門家と同様の特性を有する医療専門家と関連付けられる過去の外科的処置から選択される、項目９に記載の方法。
[項目１２]
前記外科的処置の前記意思決定ジャンクションが前記外科的処置における第１の事前事象とに関連付けられ、前記同様の過去の意思決定ジャンクションは、前記第１の事前事象と同様の事前事象を含む過去の外科的処置から選択される、項目９に記載の方法。
[項目１３]
前記マーカが術中手術事象マーカを含み、術中手術事象マーカの選択は、前記外科医が異なる外科的処置からの別のビデオクリップを見ることができるようにし、前記別のビデオクリップは、選択された術中手術事象が処理された異なる方法を提示する、項目１に記載の方法。
[項目１４]
前記ビデオ出力上への前記オーバーレイは、前記表示されたビデオで描写される前記外科的処置の終了前に表示される、項目１に記載の方法。
[項目１５]
前記解析は、過去の外科的処置の前記複数のビデオと関連付けられる１つ以上の電子医療記録に基づく、項目８に記載の方法。
[項目１６]
前記それぞれの同様の意思決定ジャンクションは、類似性メトリックに従う前記外科的処置の前記意思決定ジャンクションと同様である、項目８に記載の方法。
[項目１７]
前記解析は、コンピュータビジョンアルゴリズムの実装の使用を含む、項目８に記載の方法。
[項目１８]
前記マーカが術中手術事象に関連し、術中手術事象マーカの前記選択は、前記外科医が異なる外科的処置からの別のビデオクリップを見ることができるようにする、項目１に記載の方法。
[項目１９]
手術ビデオを見直すためのシステムであって、前記システムは、
外科的処置の少なくとも１つのビデオにアクセスし、
前記少なくとも１つのビデオを表示のために出力させ、
手術タイムラインを表示するために出力される前記少なくとも１つのビデオにオーバーレイし、前記手術タイムラインが、手術段階、術中手術事象、及び、意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含み、
外科医が前記少なくとも１つのビデオの再生を見ながら前記手術タイムライン上の１つ以上のマーカを選択できるようにし、それにより、前記ビデオの表示を前記選択されたマーカと関連付けられる位置にスキップさせる、
ように構成される少なくとも１つのプロセッサを備える、システム。
[項目２０]
少なくとも１つのプロセッサによって実行されるときに、手術ビデオの見直しを可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
外科的処置の少なくとも１つのビデオにアクセスするステップと、
前記少なくとも１つのビデオを表示のために出力させるステップと、
手術タイムラインを表示するために出力される前記少なくとも１つのビデオにオーバーレイするステップであって、前記手術タイムラインが、手術段階、術中手術事象、及び、意思決定ジャンクションのうちの少なくとも１つを識別するマーカを含む、ステップと、
外科医が前記少なくとも１つのビデオの再生を見ながら前記手術タイムライン上の１つ以上のマーカを選択できるようにし、それにより、前記ビデオの表示を前記選択されたマーカと関連付けられる位置にスキップさせるステップと、
を含む、持続性コンピュータ可読媒体。
[項目２１]
ビデオインデックス付けのためのコンピュータ実装方法であって、
インデックス付けされるべきビデオ映像にアクセスするステップであって、前記インデックス付けされるべきビデオ映像が特定の外科的処置の映像を含む、ステップと、
前記ビデオ映像を解析して、前記特定の外科的処置の手術段階と関連付けられるビデオ映像位置を識別するステップと、
前記手術段階と関連付けられる段階タグを生成するステップと、
前記段階タグを前記ビデオ映像位置と関連付けるステップと、
前記手術段階内の特定の術中手術事象の事象位置を識別するために前記ビデオ映像を解析するステップと、
事象タグを前記特定の術中手術事象の前記事象位置と関連付けるステップと、
前記特定の術中手術事象と関連付けられる事象特性を記憶するステップと、
前記特定の外科的処置の前記ビデオ映像の少なくとも一部を、他の外科的処置の更なるビデオ映像を含むデータ構造における前記段階タグ、前記事象タグ、及び、前記事象特性と関連付けるステップであって、前記データ構造が、前記他の外科的処置のうちの１つ以上と関連付けられるそれぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特性も含む、ステップと、
表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択された事象特性の選択によってユーザが前記データ構造にアクセスできるようにするステップと、
前記少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事象特性と一致する手術ビデオ映像の前記データ構造内でルックアップを実行して、記憶されたビデオ映像の一致するサブセットを識別するステップと、
前記記憶されたビデオ映像の一致するサブセットを前記ユーザに対して表示させ、それにより、前記選択された事象特性を欠くビデオ映像の再生を省略しつつ、前記選択された事象特性を共有する少なくとも１つの術中手術事象の前記手術映像を前記ユーザが見ることができるようにするステップと、
を含む、コンピュータ実装方法。
[項目２２]
前記選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、前記選択された事象特性を有する少なくとも１つの術中手術事象の手術映像を前記ユーザが見ることができるようにするステップは、前記選択された事象特性を欠く選択された手術事象の部分の再生を省略しつつ、前記選択された事象特性を共有する複数の術中手術事象の手術映像の部分を前記ユーザに順次に提示するステップを含む、項目２１に記載の方法。
[項目２３]
前記記憶された事象特性が前記手術事象の有害転帰を含み、前記一致するサブセットを表示させるステップは、選択された有害転帰の手術映像を前記ユーザが見ることができるようにする一方で、前記選択された有害転帰を欠く手術事象の再生を省略するステップを含む、項目２１に記載の方法。
[項目２４]
前記記憶された事象特性が外科的手技を含み、前記一致するサブセットを表示させるステップは、選択された外科的手技の手術映像を前記ユーザが見ることができるようにする一方で、前記選択された外科的手技と関連付けられない手術映像の再生を省略するステップを含む、項目２１に記載の方法。
[項目２５]
前記記憶された事象特性が外科医スキルレベルを含み、前記一致するサブセットを表示させるステップは、選択された外科医スキルレベルを示す映像を前記ユーザが見ることができるようにする一方で、前記選択された外科医スキルレベルを欠く映像の再生を省略するステップを含む、項目２１に記載の方法。
[項目２６]
前記記憶された事象特性が身体的患者特性を含み、前記一致するサブセットを表示させるステップは、選択された身体的患者特性を示す映像を前記ユーザが見ることができるようにする一方で、前記選択された身体的患者特性を欠く映像の再生を省略するステップを含む、項目２１に記載の方法。
[項目２７]
前記記憶された事象特性が特定の外科医の識別情報を含み、前記一致するサブセットを表示させるステップは、選択された外科医による行動を示す映像を前記ユーザが見ることができるようにする一方で、前記選択された外科医による行動を欠く映像の再生を省略するステップを含む、項目２１に記載の方法。
[項目２８]
前記記憶された事象特性が生理的応答を含み、前記一致するサブセットを表示させるステップは、選択された生理的反応を示す映像を前記ユーザが見ることができるようにする一方で、前記選択された生理的反応を欠く映像の再生を省略するステップを含む、項目２１に記載の方法。
[項目２９]
前記ビデオ映像を解析して前記手術事象又は前記手術段階のうちの少なくとも一方と関連付けられる前記ビデオ映像位置を識別するステップは、再生のための前記手術段階の開始位置又は再生のための手術事象の開始のうちの少なくとも一方を識別するために前記ビデオ映像に対してコンピュータ画像解析を実行するステップを含む、項目２１に記載の方法。
[項目３０]
前記特定の外科的処置と同様の複数の外科的処置に関連する集約データにアクセスするステップと、前記選択された事象特性と関連付けられる統計情報を前記ユーザに提示するステップとを更に含む、項目２１に記載の方法。
[項目３１]
前記アクセスされたビデオ映像は、手術台の上方、患者の手術体腔内、患者の臓器内、又は、患者の脈管構造内の位置のうちの少なくとも１つに位置される少なくとも１つの画像センサを介して捕捉されるビデオ映像を含む、項目２１に記載の方法。
[項目３２]
前記ビデオ映像位置を識別するステップがユーザ入力に基づく、項目２１に記載の方法。
[項目３３]
前記ビデオ映像位置を識別するステップは、コンピュータ解析を使用して前記ビデオ映像のフレームを解析するステップを含む、項目２１に記載の方法。
[項目３４]
前記コンピュータ画像解析は、以前に識別された手術段階を含むビデオフレーム例を使用してトレーニングされたニューラルネットワークモデルを使用することによってビデオ映像位置又は段階タグのうちの少なくとも一方を識別するステップを含む、項目２９に記載の方法。
[項目３５]
ユーザ入力に基づいて前記記憶された事象特性を決定するステップを更に含む、項目２１に記載の方法。
[項目３６]
前記特定の術中手術事象を描写するビデオ映像のコンピュータ解析に基づいて前記記憶された事象特性を決定するステップを更に含む、項目２１に記載の方法。
[項目３７]
前記段階タグを生成するステップは、前記手術段階を描写するビデオ映像のコンピュータ解析に基づく、項目２１に記載の方法。
[項目３８]
記憶されたビデオ映像の一致するサブセットを識別するステップは、コンピュータ解析を使用して、前記記憶されたビデオの一致するサブセットと前記選択された事象特性との間の類似性の度合いを決定するステップを含む、項目２１に記載の方法。
[項目３９]
インデックス付けされるべきビデオ映像にアクセスし、前記インデックス付けされるべきビデオ映像が特定の外科的処置の映像を含み、
前記ビデオ映像を解析して段階タグを生成し、
前記外科的処置の手術段階と関連付けられるビデオ映像位置を識別し、
前記段階タグを前記ビデオ映像位置と関連付け、
特定の術中手術事象の事象位置を識別するために前記ビデオ映像を解析し、
事象タグを前記特定の術中手術事象の前記事象位置と関連付け、
前記特定の術中手術事象の事象特性を記憶し、
前記特定の外科的処置の前記ビデオ映像の少なくとも一部を、他の外科的処置の更なるビデオ映像を含むデータ構造における前記段階タグ、前記事象タグ、及び、前記事象特性と関連付け、前記データ構造が、少なくとも１つの他の外科的処置と関連付けられるそれぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特性も含み、
表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択された事象特性の選択によってユーザが前記データ構造にアクセスできるようにし、
前記少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事象特性と一致する手術ビデオ映像の前記データ構造内でルックアップを実行して、記憶されたビデオ映像の一致するサブセットを識別し、
前記記憶されたビデオ映像の一致するサブセットを前記ユーザに対して表示させ、それにより、前記選択された事象特性を欠くビデオ映像の再生を省略しつつ、前記選択された事象特性を共有する少なくとも１つの術中手術事象の手術映像を前記ユーザが見ることができるようにする、
べく構成される少なくとも１つのプロセッサを含む、手術ビデオインデックス付けシステム。
[項目４０]
少なくとも１つのプロセッサによって実行されるときに、ビデオインデックス付けを可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
インデックス付けされるべきビデオ映像にアクセスするステップであって、前記インデックス付けされるべきビデオ映像が特定の外科的処置の映像を含む、ステップと、
前記ビデオ映像を解析して段階タグを生成するステップと、
前記外科的処置の手術段階と関連付けられるビデオ映像位置を識別するステップと、
前記段階タグを前記ビデオ映像位置と関連付けるステップと、
特定の術中手術事象の事象位置を識別するために前記ビデオ映像を解析するステップと、
事象タグを前記特定の術中手術事象の前記事象位置と関連付けるステップと、
前記特定の術中手術事象の事象特性を記憶するステップと、
前記特定の外科的処置の前記ビデオ映像の少なくとも一部を、他の外科的処置の更なるビデオ映像を含むデータ構造における前記段階タグ、前記事象タグ、及び、前記事象特性と関連付けるステップであって、前記データ構造が、１つ以上の他の外科的処置と関連付けられるそれぞれの段階タグ、それぞれの事象タグ、及び、それぞれの事象特性も含む、ステップと、
表示のためのビデオ映像の選択された段階タグ、選択された事象タグ、及び、選択された事象特性の選択によってユーザが前記データ構造にアクセスできるようにするステップと、
前記少なくとも１つの選択された段階タグ、選択された事象タグ、及び、選択された事象特性と一致する手術ビデオ映像の前記データ構造内でルックアップを実行して、記憶されたビデオ映像の一致するサブセットを識別するステップと、
前記記憶されたビデオ映像の前記一致するサブセットを前記ユーザに対して表示させ、それにより、前記選択された事象特性を欠くビデオ映像の再生を省略しつつ、前記選択された事象特性を共有する少なくとも１つの術中手術事象の手術映像を前記ユーザが見ることができるようにするステップと、
を含む、持続性コンピュータ可読媒体。
[項目４１]
手術概要映像を生成するためのコンピュータ実装方法であって、
少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスするステップと、
以前の外科的処置の履歴的な手術映像に基づいて履歴データにアクセスするステップであって、前記履歴データが、手術映像の一部を術中手術事象と関連付けられるフレームと手術行動と関連付けられないフレームとに区別する情報を含む、ステップと、
前記履歴データの情報に基づき、前記特定の手術映像において、フレームの前記第１のグループをフレームの前記第２のグループから区別するステップと、
ユーザの要求に基づいて、フレームの前記第２のグループのユーザへの提示を省略しつつ、前記特定の手術映像のフレームの前記第１のグループの集約を前記ユーザに提示するステップと、
を含む、コンピュータ実装方法。
[項目４２]
前記履歴的な手術映像の一部を術中手術事象と関連付けられるフレームに区別する前記情報は、手術器具の存在又は動きのうちの少なくとも一方の指標を含む、項目４１に記載の方法。
[項目４３]
前記履歴的な手術映像の一部を術中手術事象と関連するフレームに区別する前記情報は、関連するフレーム内の検出された器具及び解剖学的特徴を含む、項目４１に記載の方法。
[項目４４]
前記ユーザの前記要求は、対象の少なくとも１つのタイプの術中手術事象の表示を含み、フレームの前記第１のグループは、前記少なくとも１つのタイプの対象の術中手術事象のうちの少なくとも１つの術中手術事象を描写する、項目４１に記載の方法。
[項目４５]
前記ユーザの前記要求は、前記特定の手術映像内の複数の術中手術事象を見る要求を含み、フレームの前記第１のグループの集約を前記ユーザに提示するステップは、前記第２のグループの時系列フレームを省略してフレームの前記第１のグループを時系列順に表示するステップを含む、項目４１に記載の方法。
[項目４６]
前記履歴データは、履歴的な手術転帰データ及びそれぞれの履歴的な原因データを更に含み、
フレームの前記第１のグループは、フレームの原因セット及びフレームの転帰セットを含み、
フレームの前記第２のグループがフレームの中間セットを含み、
前記方法は、
前記特定の手術映像を解析して手術転帰及び前記手術転帰のそれぞれの原因を識別するステップであって、識別する前記ステップが前記履歴的な転帰データ及びそれぞれの履歴的な原因データに基づく、ステップと、
前記解析に基づいて、前記特定の手術映像内のフレームの前記転帰セットを検出するステップであって、フレームの前記転帰セットが前記外科的処置の転帰段階内にある、ステップと、
前記解析に基づいて、前記特定の手術映像内のフレームの原因セットを検出するステップであって、フレームの前記原因セットが、前記転帰段階から時間的に離れた前記外科的処置の原因段階内にあり、フレームの前記中間セットが、フレームの前記原因セットとフレームの前記転帰セットとの間に介挿される中間段階内にある、ステップと、
前記手術映像の因果関係概要を生成するステップであって、前記因果関係概要が、フレームの前記原因セット及びフレームの前記転帰セットを含み、フレームの前記中間セットを省く、ステップと、
を含み、
前記ユーザに提示されるフレームの前記第１のグループの前記集約が前記因果関係概要を含む、項目４１に記載の方法。
[項目４７]
前記原因段階は、前記原因が発生した手術段階を含み、フレームの前記原因セットは、前記原因段階における前記フレームのサブセットである、項目４６に記載の方法。
[項目４８]
前記転帰段階は、前記転帰が観察できる手術段階を含み、フレームの前記転帰セットは、前記転帰段階におけるフレームのサブセットである、項目４６に記載の方法。
[項目４９]
前記方法は、前記履歴データを使用して前記手術転帰及び前記手術転帰のそれぞれの原因を識別するようにトレーニングされる機械学習モデルを使用して、前記特定の手術映像を解析するステップを更に含む、項目４６に記載の方法。
[項目５０]
前記特定の手術映像は、患者に対して行われて手術室内の少なくとも１つの画像センサによって捕捉される外科的処置を描写し、前記方法は、前記患者の医療記録に記憶するためにフレームの前記第１のグループをエクスポートするステップを更に含む、項目５１に記載の方法。
[項目５１]
前記方法は、前記少なくとも１つの術中手術事象のインデックスを生成するステップを更に含み、フレームの前記第１のグループをエクスポートするステップは、フレームの前記第１のグループのコンパイルを生成するステップを含み、前記コンパイルは、前記インデックスを含むとともに、１つ以上のインデックス項目の選択に基づいて前記少なくとも１つの術中手術事象の視聴を可能にするように構成される、項目５０に記載の方法。
[項目５２]
前記コンパイルは、連続ビデオとして記憶される異なる術中事象の一連のフレームを含む、項目５１に記載の方法。
[項目５３]
前記方法は、フレームの前記第１のグループを固有の患者識別子と関連付けて、前記固有の患者識別子を含む医療記録を更新するステップを更に含む、項目５０に記載の方法。
[項目５４]
前記少なくとも１つの画像センサの位置は、前記手術室内の手術台の上方又は前記患者内のうちの少なくとも１つである、項目５１に記載の方法。
[項目５５]
前記特定の手術映像においてフレームの前記第１のグループをフレームの前記第２のグループから区別するステップは、
前記特定の手術映像を解析して医療機器を検出するステップと、
前記特定の手術映像を解析して解剖学的構造を検出するステップと、
前記ビデオを解析して、前記検出された医療機器と前記検出された解剖学的構造との間の相対動作を検出するステップと、
前記相対動作に基づいてフレームの前記第１のグループをフレームの前記第２のグループから区別するステップであって、フレームの前記第１のグループが手術行動フレームを含み、フレームの前記第２のグループが非手術行動フレームを含み、集約を提示することにより、手術の準備をしている外科医が、要約される提示のビデオ見直し中に前記非手術構造フレームを省略することができる、ステップと、
を含む、項目５１に記載の方法。
[項目５６]
フレームの前記第１のグループをフレームの前記第２のグループから区別するステップは、前記医療機器と前記解剖学的構造との間の検出された相対位置に更に基づく、項目５５に記載の方法。
[項目５７]
フレームの前記第１のグループをフレームの前記第２のグループから区別するステップは、前記医療機器と前記解剖学的構造との間の検出された相互作用に更に基づく、項目５５に記載の方法。
[項目５８]
前記非手術行動フレームを省略するステップは、非手術行動を捕捉するフレームの大部分を省略するステップを含む、項目５５に記載の方法。
[項目５９]
手術概要映像を生成するためのシステムであって、
少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスし、
以前の外科的処置の履歴的な手術映像と関連付けられる履歴データにアクセスし、前記履歴データが、前記履歴的な手術映像の一部を術中手術事象と関連付けられるフレームと手術行動と関連付けられないフレームとに区別する情報を含みと、
前記履歴データの前記情報に基づき、前記特定の手術映像において、フレームの前記第１のグループをフレームの前記第２のグループから区別し、
ユーザの要求に基づいて、フレームの前記第２のグループの前記ユーザへの提示を省略しつつ、前記特定の手術映像のフレームの前記第１のグループの集約を前記ユーザに提示する、
ように構成される少なくとも１つのプロセッサを含む、システム。
[項目６０]
少なくとも１つのプロセッサによって実行されるときに、手術概要映像を生成できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
少なくとも１つの術中手術事象と関連付けられるフレームの第１のグループと手術行動と関連付けられないフレームの第２のグループとを含む特定の手術映像にアクセスするステップと、
以前の外科的処置の履歴的な手術映像と関連付けられる履歴データにアクセスするステップであって、前記履歴データが、前記履歴的な手術映像の一部を術中手術事象と関連付けられるフレームと手術行動と関連付けられないフレームとに区別する情報を含む、ステップと、
前記履歴データの前記情報に基づき、前記特定の手術映像において、フレームの前記第１のグループをフレームの前記第２のグループから区別するステップと、
ユーザの要求に基づいて、フレームの前記第２のグループの前記ユーザへの提示を省略しつつ、前記特定の手術映像のフレームの前記第１のグループの集約を前記ユーザに提示するステップと、
を含む、持続性コンピュータ可読媒体。
[項目６１]
手術準備のためのコンピュータ実装方法であって、
異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数のセットのリポジトリにアクセスするステップと、
企図された外科的処置を準備している外科医が、前記企図された外科的処置に対応する症例特有の情報を入力できるようにするステップと、
前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比較して、前記企図された外科的処置中に直面する可能性が高い術中事象のグループを識別するステップと、
前記症例特有の情報及び前記直面する可能性が高い術中事象の識別されたグループを使用して、術中事象の前記識別されたグループに対応する前記手術ビデオ映像の複数のセットのうちの特定のセット内の特定のフレームを識別するステップであって、前記識別された特定のフレームが、異なる患者に対して実行される前記複数の外科的処置からのフレームを含む、ステップと、
異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定するステップと、
前記外科医に提示されるべきコンパイルから前記第２のセットを含めることを省略し、前記外科医に提示されるべき前記コンパイルに前記第１のセットを含めるステップと、
異なる患者に対して実行される前記異なる外科的処置からのフレームを含む前記コンパイルを含む提示を前記外科医が見ることができるようにするステップと、
を含む、コンピュータ実装方法。
[項目６２]
前記提示に沿った前記識別された特定のフレームのうちの１つ以上に対応する１つ以上の時系列マーカを含む共通の手術タイムラインの表示を可能にするステップを更に含む、項目６１に記載の方法。
[項目６３]
前記外科医が前記提示を見ることができるようにするステップは、異なる患者に対して実行される前記異なる外科的処置のビデオ映像の別個のセットを順次に表示するステップを含む、項目６１に記載の方法。
[項目６４]
ビデオ映像の別個のセットを順次に表示するステップは、前記ビデオ映像の別個のセットのうちの１つ以上を前記外科医が選択できるようにする前記ビデオ映像の別個のセットのインデックスを表示するステップを含む、項目６３に記載の方法。
[項目６５]
前記インデックスは、前記別個のセットを対応する手術段階及びテキスト段階指標へと構文解析するタイムラインを含む、項目６４に記載の方法。
[項目６６]
前記タイムラインは、術中手術事象に対応する術中手術事象マーカを含み、前記外科医は、前記術中手術事象マーカをクリックして、前記対応する術中手術事象を描写する少なくとも１つのフレームを表示できるようにされる、項目６５に記載の方法。
[項目６７]
前記企図された外科的処置に対応する前記症例特有の情報が外部デバイスから受信される、項目６１に記載の方法。
[項目６８]
前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比較するステップは、人工ニューラルネットワークを使用して、前記企図された外科的処置中に直面する可能性が高い前記術中事象のグループを識別するステップを含む、項目６１に記載の方法。
[項目６９]
前記人工ニューラルネットワークを使用するステップは、前記症例特有の情報を入力として前記人工ニューラルネットワークに与えるステップを含む、項目６８に記載の方法。
[項目７０]
前記症例特有の情報は、前記企図された処置と関連付けられる患者の特性を含む、項目６１に記載の方法。
[項目７１]
前記患者の特性が前記患者の医療記録から受けられる、項目７０に記載の方法。
[項目７２]
前記症例特有の情報は、手術器具に関連する情報を含む、項目７１に記載の方法。
[項目７３]
前記手術器具に関連する情報は、器具タイプ及び器具モデルのうちの少なくとも一方を含む、項目７２に記載の方法。
[項目７４]
前記共通の特性は、前記異なる患者の特性を含む、項目７１に記載の方法。
[項目７５]
前記共通の特性は、前記企図された外科的処置の術中手術事象特性を含む、項目６１に記載の方法。
[項目７６]
異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定するステップは、機械学習モデルの実装を使用して前記共通の特性を識別するステップを含む、項目６１に記載の方法。
[項目７７]
前記方法は、ビデオ映像の２つのセットが前記共通の特性を共有するかどうかを決定するべく前記機械学習モデルをトレーニングするためにビデオ映像例を使用するステップを更に含み、前記機械学習モデルを実装するステップは、前記トレーニングされた機械学習モデルを実装するステップを含む、項目７６に記載の方法。
[項目７８]
前記方法は、前記術中手術事象、前記手術転帰、前記患者特性、前記外科医特性、及び、前記術中手術事象特性に基づいて前記リポジトリのインデックスを生成するべく機械学習モデルをトレーニングするステップと、前記リポジトリの前記インデックスを生成するステップとを更に含み、前記症例特有の情報を前記複数のセットと関連付けられるデータと比較するステップは、前記インデックスを検索するステップを含む、項目６１に記載の方法。
[項目７９]
異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数のセットのリポジトリにアクセスし、
企図された外科的処置を準備している外科医が、前記企図された外科的処置に対応する症例特有の情報を入力できるようにし、
前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比較して、前記企図された外科的処置中に直面する可能性が高い術中事象のグループを識別し、
前記症例特有の情報及び前記直面する可能性が高い術中事象の識別されたグループを使用して、術中事象の前記識別されたグループに対応する前記手術ビデオ映像の複数のセットのうちの特定のセット内の特定のフレームを識別し、前記識別された特定のフレームが、異なる患者に対して実行される前記複数の外科的処置からのフレームを含み、
異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定し、
前記外科医に提示されるべきコンパイルから前記第２のセットを含めることを省略し、前記外科医に提示されるべき前記コンパイルに前記第１のセットを含め、
前記コンパイルを含むとともに異なる患者に対して実行される前記異なる外科的処置からのフレームを含む提示を前記外科医が見ることができるようにする、
ように構成される少なくとも１つのプロセッサを備える外科的準備システム。
[項目８０]
少なくとも１つのプロセッサによって実行されるときに、手術準備を可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
異なる患者に対して実行される複数の外科的処置を反映するとともに術中手術事象、手術転帰、患者特性、外科医特性、及び、術中手術事象特性を含む手術ビデオ映像の複数のセットのリポジトリにアクセスするステップと、
企図された外科的処置を準備している外科医が、前記企図された外科的処置に対応する症例特有の情報を入力できるようにするステップと、
前記症例特有の情報を前記手術ビデオ映像の複数のセットと関連付けられるデータと比較して、前記企図された外科的処置中に直面する可能性が高い術中事象のグループを識別するステップと、
前記症例特有の情報及び前記直面する可能性が高い術中事象の識別されたグループを使用して、術中事象の前記識別されたグループに対応する前記手術ビデオ映像の複数のセットのうちの特定のセット内の特定のフレームを識別するステップであって、前記識別された特定のフレームが、異なる患者に対して実行される前記複数の外科的処置からのフレームを含む、ステップと、
異なる患者からのビデオ映像の第１のセット及び第２のセットが共通の特性を共有する術中事象と関連付けられるフレームを含むと決定するステップと、
前記外科医に提示されるべきコンパイルから前記第２のセットを含めることを省略し、前記外科医に提示されるべき前記コンパイルに前記第１のセットを含めるステップと、
異なる患者に対して実行される前記異なる外科的処置からのフレームを含む前記コンパイルを含む提示を前記外科医が見ることができるようにするステップと、
を含む、持続性コンピュータ可読媒体。
[項目８１]
手術映像の複雑度を解析するためのコンピュータ実装方法であって、
前記手術映像のフレームを解析し、フレームの第１のセットにおいて解剖学的構造を識別するステップと、
第１の履歴データにアクセスするステップであって、前記第１の履歴データが、以前の外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づく、ステップと、
前記第１の履歴データを使用して及び前記識別された解剖学的構造を使用してフレームの前記第１のセットを解析し、フレームの前記第１のセットと関連付けられる第１の手術複雑度レベルを決定するステップと、
前記手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、前記解剖学的構造、及び、前記医療器具と前記解剖学的構造との間の相互作用を識別するステップと、
第２の履歴データにアクセスするステップであって、前記第２の履歴データが、以前の外科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づく、ステップと、
前記第２の履歴データを使用して及び前記識別された相互作用を使用してフレームの前記第２のセットを解析し、フレームの前記第２のセットと関連付けられる第２の手術複雑度レベルを決定するステップと、
を含むコンピュータ実装方法。
[項目８２]
前記第１の手術複雑度レベルを決定するステップは、フレームの前記第１のセットにおいて医療器具を識別するステップを更に含む、項目８１に記載の方法。
[項目８３]
前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットからフレームの前記第２のセットまでの経過時間に基づく、項目８１に記載の方法。
[項目８４]
前記第１の複雑度レベルを決定するステップ又は前記第２の複雑度レベルを決定するステップのうちの少なくとも一方が生理的応答に基づく、項目８１に記載の方法。
[項目８５]
前記方法は、前記手術映像においてヘルスケア提供者により実証されるスキルのレベルを決定するステップを更に含み、前記第１の複雑度レベルを決定するステップ又は前記第２の複雑度レベルを決定するステップのうちの少なくとも一方は、前記ヘルスケア提供者によって実証されるスキルの決定されたレベルに基づく、項目８１に記載の方法。
[項目８６]
前記第１の手術複雑度レベルが選択される閾値未満であると決定するステップと、前記第２の手術複雑度レベルが前記選択される閾値を超えると決定するステップと、前記第１の手術複雑度レベルが前記選択される閾値未満であるという決定と、前記第２の手術複雑度レベルが前記選択される閾値を超えるという決定とに応じて、フレームの前記第２のセットをデータ構造に記憶する一方で、前記データ構造からフレームの前記第１のセットを省くステップとを更に含む、項目８１に記載の方法。
[項目８７]
フレームの前記第１のセットにおいて前記解剖学的構造を識別するステップは、医療器具の識別と、前記医療器具と前記解剖学的構造との間の第１の相互作用とに基づく、項目８１に記載の方法。
[項目８８]
フレームの前記第１のセットを前記第１の手術複雑度レベルでタグ付けするステップと、
フレームの前記第２のセットを前記第２の手術複雑度レベルでタグ付けするステップと、
外科医が前記第２の手術複雑度レベルを選択できるようにするべく前記第１のタグを伴うフレームの前記第１のセットと前記第２のタグを伴うフレームの前記第２のセットとを含むデータ構造を生成し、それにより、フレームの前記第１のセットの表示を省略しつつ、フレームの前記第２のセットを表示させるステップと、
を更に含む、項目８１に記載の方法。
[項目８９]
前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方を決定するために、以前の外科的処置から捕捉されるフレームデータを使用して手術複雑度レベルを識別するようにトレーニングされる機械学習モデルを使用するステップを更に含む、項目８１に記載の方法。
[項目９０]
前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットとフレームの前記第２のセットとの間で生じる事象に基づく、項目８１に記載の方法。
[項目９１]
前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方を決定するステップは、前記解剖学的構造の状態に基づく、項目８１に記載の方法。
[項目９２]
前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方を決定するステップは、電子医療記録の解析に基づく、項目８１に記載の方法。
[項目９３]
前記第１の手術複雑度レベルを決定するステップは、フレームの前記第１のセットの後に生じる事象に基づく、項目８１に記載の方法。
[項目９４]
前記第１の手術複雑度レベル又は前記第２の手術複雑度レベルのうちの少なくとも一方を決定するステップは、前記手術映像と関連付けられる外科医のスキルレベルに基づく、項目８１に記載の方法。
[項目９５]
前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットの後に更なる外科医が呼び出されたという表示に基づく、項目８１に記載の方法。
[項目９６]
前記第２の手術複雑度レベルを決定するステップは、フレームの前記第１のセットの後に特定の薬剤が投与されたという表示に基づく、項目８１に記載の方法。
[項目９７]
前記第１の履歴データは、以前の外科的処置の前記第１のグループから捕捉される前記第１のフレームデータを使用してトレーニングされる機械学習モデルを含む、項目８１に記載の方法。
[項目９８]
前記第１の履歴データは、特定の解剖学的構造と特定の手術複雑度レベルとの間の統計的関係の表示を含む、項目８１に記載の方法。
[項目９９]
手術映像の複雑度を解析するためのシステムであって、
前記手術映像のフレームを解析して、フレームの第１のセットにおいて解剖学的構造を識別し、
第１の履歴データにアクセスし、前記第１の履歴データが、以前の外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づき、
前記第１の履歴データを使用して及び前記識別された解剖学的構造を使用してフレームの前記第１のセットを解析して、フレームの前記第１のセットと関連付けられる第１の手術複雑度レベルを決定し、
前記手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、前記解剖学的構造、及び、前記医療器具と前記解剖学的構造との間の相互作用を識別し、
第２の履歴データにアクセスし、前記第２の履歴データが、以前の外科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づき、
前記第２の履歴データを使用して及び前記識別された相互作用を使用してフレームの前記第２のセットを解析し、フレームの前記第２のセットと関連付けられる第２の手術複雑度レベルを決定する、
ように構成される少なくとも１つのプロセッサを備えるシステム。
[項目１００]
少なくとも１つのプロセッサによって実行されるときに、手術ビデオの見直しを可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
手術映像のフレームを解析し、フレームの第１のセットにおいて解剖学的構造を識別するステップと、
第１の履歴データにアクセスするステップであって、前記第１の履歴データが、以前の外科的処置の第１のグループから捕捉される第１のフレームデータの解析に基づく、ステップと、
前記第１の履歴データを使用して及び前記識別された解剖学的構造を使用してフレームの前記第１のセットを解析し、フレームの前記第１のセットと関連付けられる第１の手術複雑度レベルを決定するステップと、
前記手術映像のフレームを解析して、フレームの第２のセットにおいて、医療器具、解剖学的構造、及び、前記医療器具と前記解剖学的構造との間の相互作用を識別するステップと、
第２の履歴データにアクセスするステップであって、前記第２の履歴データが、以前の外科的処置の第２のグループから捕捉される第２のフレームデータの解析に基づく、ステップと、
以前の外科的処置から捕捉されるフレームデータの解析に基づく前記第２の履歴データを使用して及び前記識別された相互作用を使用してフレームの前記第２のセットを解析し、フレームの前記第２のセットと関連付けられる第２の手術複雑度レベルを決定するステップと、
を含む持続性コンピュータ可読媒体。
[項目１０１]
少なくとも１つのプロセッサによって実行されるときに、手術室スケジュールの調整を可能にする方法を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記方法は、
手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受信するステップと、
履歴的な手術データに基づく情報を含むデータ構造にアクセスするステップと、
前記進行中の外科的処置の推定完了時間を決定するために前記データ構造を使用して前記進行中の外科的処置の前記視覚データを解析するステップと、
前記進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む前記手術室に関するスケジュールにアクセスするステップと、
前記進行中の外科的処置の前記推定完了時間に基づいて、予測完了時間が前記完了と関連付けられる前記スケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算するステップと、
前記分散の計算時に通知を出力することによって、前記手術室の後続のユーザがそれに応じて自分のスケジュールを調整できるようにするステップと、
を含む持続性コンピュータ可読媒体。
[項目１０２]
前記通知は、更新された手術室スケジュールを含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０３]
前記更新された手術室スケジュールは、待ち行列に入れられたヘルスケア専門家が後続の外科的処置の準備をすることができるようにする、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０４]
前記方法は、前記手術室の後続のスケジュールされたユーザと関連付けられるデバイスに前記通知を電子的に送信するステップを更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０５]
前記方法は、
前記完了と関連付けられる前記スケジュールされた時間からの前記分散の範囲を決定するステップと、
第１の決定された範囲に応じて、前記通知を出力するステップと、
第２の決定された範囲に応じて、前記通知を出力しないで済ませるステップと、
を更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０６]
前記方法は、
前記予測完了時間が、前記完了と関連付けられる前記スケジューリングされた時間からの少なくとも選択された閾値時間の遅延をもたらす可能性が高いかどうかを決定するステップと、
前記予測完了時間が少なくとも前記選択された閾値時間の遅延をもたらす可能性が高いという決定に応じて、前記通知を出力するステップと、
前記予測完了時間が少なくとも前記選択された閾値時間の遅延をもたらしそうにないという決定に応じて、前記通知を出力しないで済ませるステップと、
を更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０７]
前記推定完了時間を決定する前記ステップは、前記進行中の外科的処置を行うヘルスケア専門家と関連付けられる１つ以上の記憶された特性に基づく、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０８]
決定された実際の時間に基づいて完了までの履歴的な平均時間を更新して、前記進行中の外科的処置を完了させるステップを更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１０９]
前記画像センサが患者の上方に位置される、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１０]
前記画像センサが手術器具上に位置される、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１１]
解析するステップは、前記受信された視覚データ内の特性事象を検出するステップと、履歴的な手術データに基づいて情報を評価して、前記履歴的な手術データ内の前記特性事象の発生後に前記外科的処置を完了する予測時間を決定するステップと、前記決定された予測完了時間に基づいて前記推定完了時間を決定するステップとを更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１２]
前記方法は、履歴的な視覚データを使用して、機械学習モデルをトレーニングし、前記特性事象を検出するステップを更に含む、項目１１１に記載の持続性コンピュータ可読媒体。
[項目１１３]
前記方法は、完了時間を推定するために機械学習モデルをトレーニングするべく履歴的な視覚データを使用するステップを更に含み、前記推定完了時間を計算するステップは、前記トレーニングされた機械学習モデルを実装するステップを含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１４]
前記方法は、平均の履歴的な完了時間を使用して前記推定完了時間を決定するステップを更に含む、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１５]
前記方法は、前記視覚データ内の医療器具を検出するステップを更に含み、前記推定完了時間を計算するステップは、前記検出された医療器具に基づく、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１６]
解析するステップは、前記視覚データ内の解剖学的構造を検出するステップを更に含み、前記推定完了時間を計算するステップは、前記検出された解剖学的構造に基づく、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１７]
解析するステップは、前記視覚データ内の解剖学的構造と医療器具との間の相互作用を検出するステップを更に含み、前記推定完了時間を計算するステップは、前記検出された相互作用に基づく、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１８]
解析するステップは、前記視覚データにおける外科医のスキルレベルを決定するステップを更に含み、前記推定完了時間を計算するステップは、前記決定されたスキルレベルに基づく、項目１０１に記載の持続性コンピュータ可読媒体。
[項目１１９]
手術室のスケジュールの調整を可能にするためのシステムであって、
手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受信し、
履歴的な手術データに基づく情報を含むデータ構造にアクセスし、
前記進行中の外科的処置の推定完了時間を決定するために前記データ構造を使用して前記進行中の外科的処置の前記視覚データを解析し、
前記進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む前記手術室に関するスケジュールにアクセスし、
前記進行中の外科的処置の前記推定完了時間に基づいて、前記予測完了時間が前記完了と関連付けられるスケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算し、
前記分散の計算時に通知を出力することによって、前記手術室の後続のユーザがそれに応じて自分のスケジュールを調整できるようにする、
ように構成される少なくとも１つのプロセッサを備えるシステム。
[項目１２０]
手術室スケジュールの調整を可能にするためのコンピュータ実装方法であって、
手術室内に位置される画像センサから、進行中の外科的処置を追跡する視覚データを受信するステップと、
履歴的な手術データに基づく情報を含むデータ構造にアクセスするステップと、
前記進行中の外科的処置の推定完了時間を決定するために前記データ構造を使用して前記進行中の外科的処置の前記視覚データを解析するステップと、
前記進行中の外科的処置の完了と関連付けられるスケジュールされた時間を含む前記手術室に関するスケジュールにアクセスするステップと、
前記進行中の外科的処置の前記推定完了時間に基づいて、前記予測完了時間が前記完了と関連付けられるスケジュールされた時間からの分散をもたらす可能性が高いかどうかを計算するステップと、
前記分散の計算時に通知を出力することによって、前記手術室の後続のユーザがそれに応じて自分のスケジュールを調整できるようにするステップと、
を含むコンピュータ実装方法。
[項目１２１]
保険払い戻しを決定するために手術画像を解析するためのコンピュータ実装方法であって、
患者に対する外科的処置中に捕捉されるビデオフレームにアクセスするステップと、
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記ビデオフレーム内で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用を識別するステップと、
医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関される払い戻しコードのデータベースにアクセスするステップと、
前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の前記識別された少なくとも１つの相互作用を払い戻しコードの前記データベース内の情報と比較して、前記外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステップと、
前記外科的処置に関する保険払い戻しを取得するのに用いる前記少なくとも１つの払い戻しコードを出力するステップと、
を含むコンピュータ実装方法。
[項目１２２]
出力された前記少なくとも１つの払い戻しコードは、出力された複数の払い戻しコードを含む、項目１２１に記載の方法。
[項目１２３]
前記複数の出力された払い戻しコードのうちの少なくとも２つは、共通の解剖学的構造との異なる相互作用に基づく、項目１２２に記載の方法。
[項目１２４]
前記少なくとも２つの出力された払い戻しコードは、２つの異なる医療機器の検出に部分的に基づく、項目１２３に記載の方法。
[項目１２５]
前記少なくとも１つの払い戻しコードを決定するステップは、術後手術報告の解析にも基づく、項目１２１に記載の方法。
[項目１２６]
前記ビデオフレームは、前記患者の上方に位置される画像センサから捕捉される、項目１２１に記載の方法。
[項目１２７]
前記ビデオフレームは、医療デバイスと関連付けられる画像センサから捕捉される、項目１２１に記載の方法。
[項目１２８]
前記少なくとも１つの払い戻しコードを前記外科的処置と関連付けることによって前記データベースを更新するステップを更に含む、項目１２１に記載の方法。
[項目１２９]
処理された払い戻しコードと、履歴的なビデオ映像内の複数の医療機器、前記履歴的なビデオ映像内の複数の解剖学的構造、又は、前記履歴的なビデオ映像内の医療機器と解剖学的構造との間の複数の相互作用のうちの少なくとも１つとの間の相関関係を生成するステップと、前記生成された相関関係に基づいて前記データベースを更新するステップとを更に含む、項目１２１に記載の方法。
[項目１３０]
相関関係を生成するステップは、統計的モデルを実装するステップを含む、項目１２９に記載の方法。
[項目１３１]
機械学習モデルを使用して、前記履歴的なビデオ映像内で、複数の医療機器、複数の解剖学的構造、又は、医療機器と解剖学的構造との間の複数の相互作用のうちの少なくとも１つを検出するステップを更に含む、項目１２９に記載の方法。
[項目１３２]
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記患者の解剖学的構造の状態を決定するステップと、前記解剖学的構造の前記決定された状態に基づいて前記外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステップとを更に含む、項目１２１に記載の方法。
[項目１３３]
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記外科的処置中の前記患者の解剖学的構造の状態の変化を決定するステップと、前記解剖学的構造の状態の前記決定された変化に基づいて、前記外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステップとを更に含む、項目１２１に記載の方法。
[項目１３４]
特定の医療デバイスの使用を決定するために前記外科的処置中に捕捉される前記ビデオフレームを解析するステップと、前記特定の医療デバイスの前記決定された使用に基づいて前記外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステップとを更に含む、項目１２１に記載の方法。
[項目１３５]
前記特定の医療デバイスの使用のタイプを決定するために前記外科的処置中に捕捉される前記ビデオフレームを解析するステップと、第１の決定された使用タイプに応じて、前記外科的処置と関連付けられる少なくとも第１の払い戻しコードを決定するステップと、第２の決定された使用タイプに応じて、前記外科的処置と関連付けられる少なくとも第２の払い戻しコードを決定するステップであって、前記少なくとも第１の払い戻しコードが前記少なくとも第２の払い戻しコードとは異なる、ステップとを更に含む、項目１３４に記載の方法。
[項目１３６]
前記外科的処置と関連付けられる処理された払い戻しコードを受信し、前記処理された払い戻しコードに基づいて前記データベースを更新するステップを更に含む、項目１２１に記載の方法。
[項目１３７]
前記処理された払い戻しコードは、前記少なくとも１つの払い戻しコードの対応する払い戻しコードとは異なる、項目１３６に記載の方法。
[項目１３８]
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記外科的処置で使用される特定のタイプの医療物資の量を決定するステップと、前記決定された量に基づいて前記外科的処置と関連付けられる前記少なくとも１つの払い戻しコードを決定するステップとを更に含む、項目１２１に記載の方法。
[項目１３９]
保険払い戻しを決定するための手術画像解析システムであって、
患者に対する外科的処置中に捕捉されるビデオフレームにアクセスし、
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記ビデオフレーム内で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用を識別し、
医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関される払い戻しコードのデータベースにアクセスし、
前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の前記識別された少なくとも１つの相互作用を払い戻しコードの前記データベース内の情報と比較して、前記外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定し、
前記外科的処置に関する保険払い戻しを取得するのに用いる前記少なくとも１つの払い戻しコードを出力する、
ように構成される少なくとも１つのプロセッサを備える手術画像解析システム。
[項目１４０]
少なくとも１つのプロセッサによって実行されるときに、保険払い戻しの決定を可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
患者に対する外科的処置中に捕捉されるビデオフレームにアクセスするステップと、
前記外科的処置中に捕捉される前記ビデオフレームを解析して、前記ビデオフレーム内で、少なくとも１つの医療機器、少なくとも１つの解剖学的構造、及び、前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の少なくとも１つの相互作用を識別するステップと、
医療機器、解剖学的構造、及び、医療機器と解剖学的構造との間の相互作用に相関される払い戻しコードのデータベースにアクセスするステップと、
前記少なくとも１つの医療機器と前記少なくとも１つの解剖学的構造との間の前記識別された少なくとも１つの相互作用を払い戻しコードの前記データベース内の情報と比較して、前記外科的処置と関連付けられる少なくとも１つの払い戻しコードを決定するステップと、
前記外科的処置に関する保険払い戻しを取得するのに用いる前記少なくとも１つの払い戻しコードを出力するステップと、
を含む持続性コンピュータ可読媒体。
[項目１４１]
少なくとも１つのプロセッサによって実行されるときに、外科的処置の術後報告を自動的に作成できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
患者の識別子の入力を受信するステップと、
ヘルスケア提供者の識別子の入力を受信するステップと、
前記ヘルスケア提供者によって前記患者に対して行われる外科的処置の手術映像の入力を受信するステップと、
前記手術映像の複数のフレームを解析して、前記外科的処置の術後報告を作成するための画像ベースの情報を導き出すステップと、
前記導き出された画像ベースの情報が前記外科的処置の前記術後報告を作成するようにするステップと、
を含む持続性コンピュータ可読媒体。
[項目１４２]
前記動作は、前記外科的処置の１つ以上の段階を識別して前記識別された段階のうちの少なくとも１つの段階の特性を識別するために前記手術映像を解析するステップを更に含み、前記導き出された画像ベースの情報は、前記識別された少なくとも１つの段階と、前記少なくとも１つの段階の前記識別された特性とに基づく、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１４３]
前記動作は、前記手術映像を解析して、名前を前記少なくとも１つの段階と関連付けるステップを更に含み、前記導き出された画像ベースの情報は、前記少なくとも１つの段階と関連付けられる前記名前を含む、項目１４２に記載の持続性コンピュータ可読媒体。
[項目１４４]
前記動作は、前記少なくとも１つの段階の少なくとも開始を決定するステップを更に含み、前記導き出された画像ベースの情報は、前記決定された開始に基づく、項目１４２に記載の持続性コンピュータ可読媒体。
[項目１４５]
前記動作は、時間マーカを前記少なくとも１つの段階と関連付けるステップを更に含み、前記導き出された画像ベースの情報は、前記少なくとも１つの段階と関連付けられる前記時間マーカを含む、項目１４２に記載の持続性コンピュータ可読媒体。
[項目１４６]
前記動作は、データを前記ヘルスケア提供者に送信するステップであって、前記送信されるデータが、前記患者識別子と、前記導き出された画像ベースの情報とを含む、ステップを更に含む、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１４７]
前記動作は、前記手術映像を解析して、術後治療のための少なくとも１つの推奨を識別するステップと、前記識別された少なくとも１つの推奨を与えるステップとを更に含む、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１４８]
前記外科的処置の前記術後報告の引き起こされた作成は、前記術後報告内の前記導き出された画像ベースの情報の少なくとも一部を前記ヘルスケア提供者が変更できるようにするべく設定される、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１４９]
前記外科的処置の前記術後報告の引き起こされた作成は、前記導き出された画像ベースの情報の少なくとも一部を前記術後報告において自動的に生成されたデータとして識別させるように設定される、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５０]
前記動作は、前記手術映像を解析して、前記手術映像内の手術事象を識別するとともに、前記識別された手術事象の特性を識別するステップを更に含み、前記導き出された画像ベースの情報は、前記識別された手術事象及び前記識別された特性に基づく、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５１]
前記動作は、前記手術映像を解析して、前記識別された手術事象の事象名を決定するステップを更に含み、前記導き出された画像ベースの情報は、前記決定された事象名を含む、項目１５０に記載の持続性コンピュータ可読媒体。
[項目１５２]
前記動作は、時間マーカを前記識別された手術事象と関連付けるステップを更に含み、前記導き出された画像ベースの情報が前記時間マーカを含む、項目１５０に記載の持続性コンピュータ可読媒体。
[項目１５３]
前記動作は、前記導き出された画像ベースの情報を電子医療記録の更新を可能にする形式で提供するステップを更に含む、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５４]
前記導き出された画像ベースの情報は、ユーザ入力に部分的に基づく、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５５]
前記導き出された画像ベースの情報は、前記外科的処置の第１の一部と関連付けられる第１の部分と、前記外科的処置の第２の一部と関連付けられる第２の部分とを含み、
前記動作は、
予備術後報告を受けるステップと、
前記予備術後報告を解析して、前記予備術後報告内の第１の位置及び第２の位置を選択するステップであって、前記第１の位置が前記外科的処置の前記第１の一部と関連付けられ、前記第２の位置が前記外科的処置の前記第２の一部と関連付けられる、ステップと、
前記導き出された画像ベースの情報の前記第１の部分を前記選択された第１の位置に挿入させ、前記導き出された画像ベースの情報の前記第２の部分を前記選択された第２の位置に挿入させるステップと、
を更に含む、
項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５６]
前記動作は、前記手術映像を解析して、前記手術映像の少なくとも１つのフレームの少なくとも一部を選択するステップと、前記手術映像の少なくとも１つのフレームの前記選択された少なくとも一部を前記外科的処置の前記術後報告に含ませるステップとを更に含む、項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５７]
前記動作は、
予備術後報告を受けるステップと、
前記予備術後報告及び前記手術映像を解析して、前記手術映像の少なくとも１つのフレームの少なくとも一部を選択するステップと、
を更に含む項目１５６に記載の持続性コンピュータ可読媒体。
[項目１５８]
前記動作は、
予備術後報告を受けるステップと、
前記予備術後報告及び前記手術映像を解析して、前記予備術後報告と前記手術映像との間の少なくとも１つの不一致を識別するステップと、
前記識別された少なくとも１つの不一致の表示を与えるステップと、
を更に含む項目１４１に記載の持続性コンピュータ可読媒体。
[項目１５９]
外科的処置の術後報告を作成するコンピュータ実装方法であって、
患者の識別子の入力を受けるステップと、
ヘルスケア提供者の識別子の入力を受けるステップと、
前記ヘルスケア提供者によって前記患者に対して実行される外科的処置の手術映像の入力を受けるステップと、
前記手術映像の複数のフレームを解析して、医療機器と生物学的構造との間の検出される相互作用に基づいて前記外科的処置の段階を識別するとともに、前記相互作用に基づいて、名前をそれぞれの識別された段階と関連付けるステップと、
それぞれの識別された段階の少なくとも開始を決定するステップと、
時間マーカをそれぞれの識別された段階の前記開始と関連付けるステップと、
前記ヘルスケア提供者にデータを送信するステップであって、前記送信されたデータが、前記患者識別子、前記外科的処置の前記識別された段階の前記名前、及び、前記識別された段階と関連付けられる時間マーカを含む、ステップと、
前記送信されたデータを用いて、術後報告を、前記ヘルスケア提供者が前記術後報告における段階名を変更できるようにする態様で作成するステップと、
を含むコンピュータ実装方法。
[項目１６０]
外科的処置の術後報告を自動的に作成するためのシステムであって、
患者の識別子の入力を受けるステップと、
ヘルスケア提供者の識別子の入力を受けるステップと、
前記ヘルスケア提供者によって前記患者に対して実行される外科的処置の手術映像の入力を受けるステップと、
前記手術映像の複数のフレームを解析して、医療機器と生物学的構造との間の検出される相互作用に基づいて前記外科的処置の段階を識別するとともに、前記相互作用に基づいて、名前をそれぞれの識別された段階と関連付けるステップと、
それぞれの識別された段階の少なくとも開始を決定するステップと、
時間マーカをそれぞれの識別された段階の前記開始と関連付けるステップと、
前記ヘルスケア提供者にデータを送信するステップであって、前記送信されたデータが、前記患者識別子、前記外科的処置の前記識別された段階の前記名前、及び、前記識別された段階の前記時間マーカを含む、ステップと、
前記送信されたデータを用いて、術後報告を、前記ヘルスケア提供者が前記術後報告における段階名を変更できるようにする態様で作成するステップと、
を含むシステム。
[項目１６１]
少なくとも１つのプロセッサによって実行されるときに、外科的処置における省かれる事象の決定及び通知を可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、
前記外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセスするステップと、
前記アクセスされたフレームを前記推奨された一連の事象と比較して、前記特定の外科的処置と前記外科的処置に関して前記推奨される一連の事象との間の逸脱の表示を識別するステップと、
前記逸脱と関連付けられる術中手術事象の名前を決定するステップと、
前記逸脱と関連付けられる前記術中手術事象の前記名前を含む前記逸脱の通知を与えるステップと、
を含む持続性コンピュータ可読媒体。
[項目１６２]
前記逸脱の前記表示を識別するステップ及び前記通知を与えるステップは、前記外科的処置中にリアルタイムで起こる、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６３]
前記動作は、
前記特定の外科的処置において特定の動作がまさに起ころうとしているという表示を受けるステップと、
前記推奨された一連の事象を使用して、前記特定の動作に対する予備的動作を識別するステップと、
前記アクセスされたフレームの解析に基づいて、前記識別された予備的動作が未だ起こらなかったと決定するステップと、
前記識別された予備的動作が未だ起こらなかったという決定に応じて、前記逸脱の前記表示を識別するステップと、
を更に含む項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６４]
前記特定の外科的処置が胆嚢切除術である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６５]
前記推奨された一連の事象は、安全性の危機的観点に基づく、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６６]
前記特定の外科的処置が虫垂切除である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６７]
前記特定の外科的処置がヘルニア修復である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６８]
前記特定の外科的処置が子宮摘出である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１６９]
前記特定の外科的処置が根治的前立腺摘除術である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７０]
前記特定の外科的処置が部分的腎摘出術であり、前記逸脱は、腎門を識別することを無視することを含む、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７１]
前記特定の外科的処置が甲状腺摘出術であり、前記逸脱は、再発性喉頭神経を識別することを無視することを含む、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７２]
前記動作は、前記逸脱と関連付けられるフレームのセットを識別するステップを更に含み、前記通知を与えるステップは、前記逸脱と関連付けられる前記識別されたフレームのセットを表示するステップを含む、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７３]
前記特定の動作がまさに起ころうとしているという前記表示は、前記特定の外科的処置を行う外科医からの入力に基づく、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７４]
前記特定の動作がまさに起ころとしているという前記表示は、選択された関心領域への特定の医療機器の進入である、項目１６３に記載の持続性コンピュータ可読媒体。
[項目１７５]
前記逸脱を識別するステップは、手術器具が特定の解剖学的領域内にあると決定するステップを含む、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７６]
前記特定の外科的処置が結腸半切除術である、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７７]
前記逸脱は、吻合を行うことを無視することを含む、項目１７６に記載の持続性コンピュータ可読媒体。
[項目１７８]
前記逸脱の表示を識別するステップは、術中外科的処置と関連付けられる経過時間に基づく、項目１６１に記載の持続性コンピュータ可読媒体。
[項目１７９]
外科的処置における省かれる事象の決定及び通知を可能にするためのコンピュータ実装方法であって、
特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、
前記外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセスするステップと、
前記アクセスされたフレームを前記推奨された一連の事象と比較して、前記特定の外科的処置と前記外科的処置に関して前記推奨される一連の事象との間の逸脱の表示を識別するステップと、
前記逸脱と関連付けられる術中手術事象の名前を決定するステップと、
前記逸脱と関連付けられる前記術中手術事象の前記名前を含む前記逸脱の通知を与えるステップと、
を含むコンピュータ実装方法。
[項目１８０]
外科的処置における省かれる事象の決定及び通知を可能にするためのシステムであって、
特定の外科的処置中に捕捉されるビデオのフレームにアクセスし、
前記外科的処置に関して推奨される一連の事象を識別する記憶されたデータにアクセスし、
前記アクセスされたフレームを前記推奨された一連の事象と比較して、前記特定の外科的処置と前記外科的処置に関して前記推奨される一連の事象との間の逸脱の表示を識別し、
前記逸脱と関連付けられる術中手術事象の名前を決定し、
前記逸脱と関連付けられる前記術中手術事象の前記名前を含む前記逸脱の通知を与える、
ように構成される少なくとも１つのプロセッサを備えるシステム。
[項目１８１]
少なくとも１つのプロセッサによって実行されるときに、外科的処置に関して決定支援を行う動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受けるステップと、
外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスするステップと、
前記画像関連データを使用して前記受けられたビデオ映像を解析し、外科的意思決定ジャンクションの存在を決定するステップと、
前記少なくとも１つのデータ構造において、転帰と前記意思決定ジャンクションで講じられる特定の動作との間の相関関係にアクセスするステップと、
前記意思決定ジャンクションの前記決定された存在と前記アクセスされた相関関係とに基づいて、前記特定の動作を行うようにユーザに推奨を出力するステップと、
を含む持続性コンピュータ可読媒体。
[項目１８２]
前記命令は、前記外科的処置中に前記少なくとも１つのプロセッサに前記動作をリアルタイムに実行させるように設定され、前記ユーザが前記外科医である、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８３]
前記意思決定ジャンクションは、共通の手術状況に続いて異なる動作経過が起こった複数の異なる履歴的な処置の解析によって決定される、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８４]
前記ビデオ映像は、内視鏡及び体内カメラのうちの少なくとも一方からの画像を含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８５]
前記推奨は、医療検査を行うべき推奨を含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８６]
前記動作は、
前記医療検査の結果を受けるステップと、
前記意思決定ジャンクションの前記決定された存在、前記アクセスされた相関関係、及び、前記医療検査の前記受けられた結果に基づいて、特定の動作を行うための第２の推奨を前記ユーザに出力するステップと、
を更に含む、項目１８５に記載の持続性コンピュータ可読媒体。
[項目１８７]
前記特定の動作は、更なる外科医を前記手術室へと至らせることを含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８８]
前記意思決定ジャンクションは、不適切なアクセス又は露出、解剖学的構造の退縮、解剖学的構造の誤った解釈、又は、流体漏れのうちの少なくとも１つを含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１８９]
前記推奨は、前記特定の動作が講じられる場合に所望の手術転帰が起こるという信頼度レベルを含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９０]
前記推奨は、前記特定の動作が講じられない場合に所望の転帰が起こらないという信頼度レベルを含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９１]
前記推奨は、前記外科的処置における特定のポイントからの経過時間に基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９２]
前記推奨は、前記特定の動作が行われない場合に起こる可能性が高い望ましくない手術転帰の表示を含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９３]
前記推奨は、前記外科医のスキルレベルに基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９４]
前記推奨は、前記意思決定ジャンクションの前に前記外科的処置で起こった手術事象に基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９５]
前記特定の動作が複数のステップを含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９６]
前記外科的意思決定ジャンクションの前記存在の前記決定は、解剖学的構造の検出された生理的応答及び手術器具と関連する動きのうちの少なくとも一方に基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９７]
前記動作は、前記患者のバイタルサインを受信するステップを更に含み、前記推奨は、前記アクセスされた相関関係及び前記バイタルサインに基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９８]
前記外科医が手術用ロボットであり、前記推奨は、前記手術用ロボットへの命令の形態で与えられる、項目１８１に記載の持続性コンピュータ可読媒体。
[項目１９９]
前記推奨は、前記患者の組織の状態に基づく、項目１８１に記載の持続性コンピュータ可読媒体。
[項目２００]
前記特定の動作の前記推奨は、瘻孔の形成を含む、項目１８１に記載の持続性コンピュータ可読媒体。
[項目２０１]
外科的処置に関して決定支援を行うためのコンピュータ実装方法であって、
手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受けるステップと、
外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスするステップと、
前記画像関連データを使用して前記受けられたビデオ映像を解析し、外科的意思決定ジャンクションの存在を決定するステップと、
前記少なくとも１つのデータ構造において、転帰と前記意思決定ジャンクションで講じられる特定の動作との間の相関関係にアクセスするステップと、
前記意思決定ジャンクションの前記決定された存在と前記アクセスされた相関関係とに基づいて、前記特定の動作を行うように又は前記特定の動作を回避するように前記外科医に推奨を出力するステップと、
を含むコンピュータ実装方法。
[項目２０２]
外科的処置に関して決定支援を行うためのシステムであって、
手術室内の患者に対して外科医により行われる外科的処置のビデオ映像を受け、
外科的処置を特徴付ける画像関連データを含む少なくとも１つのデータ構造にアクセスし、
前記画像関連データを使用して前記受けられたビデオ映像を解析し、外科的意思決定ジャンクションの存在を決定し、
前記少なくとも１つのデータ構造において、転帰と前記意思決定ジャンクションで講じられる特定の動作との間の相関関係にアクセスし、
前記意思決定ジャンクションの前記決定された存在と前記アクセスされた相関関係とに基づいて、前記特定の動作を行うように又は前記特定の動作を回避するように前記外科医に推奨を出力する、
ように構成される少なくとも１つのプロセッサを含むシステム。
[項目２０３]
少なくとも１つのプロセッサによって実行されるときに、外科的処置中に解剖学的構造に作用する接触力を推定できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信するステップと、
前記受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、前記画像データで反映された前記解剖学的構造の状態を決定するステップと、
前記解剖学的構造と関連付けられる接触力閾値を選択するステップであって、前記選択された接触力閾値が前記解剖学的構造の決定された状態に基づく、ステップと、
前記解剖学的構造に作用する実際の接触力の表示を受けるステップと、
実際の接触力の前記表示と前記選択された接触力閾値とを比較するステップと、
実際の接触力の前記表示が前記選択された接触力閾値を超えるという決定に基づいて通知を出力するステップと、
を含む持続性コンピュータ可読媒体。
[項目２０４]
前記接触力閾値が引張レベルと関連付けられる、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２０５]
前記接触力閾値が圧縮レベルと関連付けられる、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２０６]
前記実際の接触力は、医療機器と前記解剖学的構造との間の接触と関連付けられる、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２０７]
実際の接触力の前記表示は、前記画像データの画像解析に基づいて推定される、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２０８]
前記通知を出力するステップは、前記外科的処置を行う外科医にリアルタイム警告を与えるステップを含む、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２０９]
前記通知は、手術用ロボットに対する命令である、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１０]
前記動作は、前記画像データから、前記外科的処置が戦闘モードにあると決定するステップを更に含み、前記通知が前記戦闘モード中に保留される、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１１]
前記動作は、前記画像データから、前記外科医が接触力通知を無視するモードで手術していると決定するステップと、前記外科医が接触力通知を無視する前記モードで手術しているという決定に基づいて、少なくとも一時的に更なる接触力通知を保留するステップとを更に含む、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１２]
前記接触力閾値を選択するステップは、前記解剖学的構造と医療機器との間の接触の位置に基づく、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１３]
前記接触力閾値を選択するステップは、前記解剖学的構造と医療機器との間の接触角に基づく、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１４]
前記接触力閾値を選択するステップは、解剖学的構造の状態を入力として回帰モデルに与えるステップと、前記回帰モデルの出力に基づいて前記接触力閾値を選択するステップとを含む、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１５]
前記接触力閾値を選択するステップは、対応する接触力閾値を含む解剖学的構造のテーブルに基づく、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１６]
前記接触力閾値を選択するステップは、外科医によって実行される動作に基づく、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１７]
実際の接触力の前記表示が手術器具から受けられる、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１８]
実際の接触力の前記表示が手術用ロボットから受けられる、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２１９]
前記動作は、トレーニング例を使用してトレーニングされた機械学習モデルを用いて、前記画像データ内の前記解剖学的構造の状態を決定するステップを更に含む、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２２０]
前記動作は、トレーニング例を使用してトレーニングされた機械学習モデルを用いて前記接触力閾値を選択するステップを更に含む、項目２０３に記載の持続性コンピュータ可読媒体。
[項目２２１]
外科的処置中に解剖学的構造に作用する接触力を推定するためのコンピュータ実装方法であって、
手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信するステップと、
前記受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、前記画像データで反映された前記解剖学的構造の状態を決定するステップと、
前記解剖学的構造と関連付けられる接触力閾値を選択するステップであって、前記選択された接触力閾値が前記解剖学的構造の決定された状態に基づく、ステップと、
前記解剖学的構造に作用する実際の接触力の表示を受けるステップと、
実際の接触力の前記表示と前記選択された接触力閾値とを比較するステップと、
実際の接触力の前記表示が前記選択された接触力閾値を超えるという決定に基づいて通知を出力するステップと、
を含むコンピュータ実装方法。
[項目２２２]
外科的処置中に解剖学的構造に作用する接触力を推定するためのシステムであって、
手術室内の少なくとも１つの画像センサから、外科的処置の画像データを受信し、
前記受信された画像データを解析して、解剖学的構造の識別情報を決定するとともに、前記画像データで反映された前記解剖学的構造の状態を決定し、
前記解剖学的構造と関連付けられる接触力閾値を選択し、前記選択された接触力閾値が前記解剖学的構造の前記決定された状態に基づき、
前記解剖学的構造に作用する実際の接触力の表示を受け、
実際の接触力の前記表示と前記選択された接触力閾値とを比較し、
実際の接触力の前記表示が前記選択された接触力閾値を超えるという決定に基づいて通知を出力する、
ように構成される少なくとも１つのプロセッサを含むシステム。
[項目２２３]
少なくとも１つのプロセッサによって実行されるときに、外科的処置中に予測転帰を更新できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第１の事象と関連付けられる画像データを受信するステップと、
前記第１の事象と関連付けられる前記受信された画像データに基づいて、前記外科的処置と関連付けられる予測転帰を決定するステップと、
前記外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第２の事象と関連付けられる画像データを受信するステップと、
前記第２の事象と関連付けられる前記受信された画像データに基づいて、前記予測転帰の変化を決定し、それにより、前記予測転帰を閾値未満に低下させるステップと、
以前の外科的処置に基づいて画像関連データのデータ構造にアクセスするステップと、
前記アクセスされた画像関連データに基づいて、推奨される是正措置を識別するステップと、
前記推奨される是正措置を出力するステップと、
を含む持続性コンピュータ可読媒体。
[項目２２４]
前記推奨される是正措置は、外科医が前記外科的処置をやめて休憩するための推奨を含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２２５]
前記推奨される是正措置は、他の外科医からの支援を要求する推奨を含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２２６]
前記推奨される是正措置は、前記外科的処置に対する修正を含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２２７]
前記予測転帰が入院の可能性を含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２２８]
前記予測転帰の前記変化を決定するステップが出血の大きさに基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２２９]
前記是正措置を識別するステップは、前記是正措置が前記予測転帰を閾値を超えて上昇させる可能性が高いという表示に基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３０]
前記是正措置を識別するステップは、前記是正措置及び手術転帰の履歴例を使用して是正措置を識別するようにトレーニングされた機械学習モデルを使用するステップを含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３１]
前記予測転帰を決定するステップは、履歴的な手術ビデオと前記履歴的な手術ビデオに対応する手術転帰を示す情報と基づいて予測転帰を決定するようにトレーニングされた機械学習モデルを使用するステップを含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３２]
前記予測転帰を決定するステップは、手術器具と解剖学的構造との間の相互作用を識別するステップと、前記識別された相互作用に基づいて前記予測転帰を決定するステップとを含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３３]
前記予測転帰を決定するステップは、前記画像データで描写される外科医のスキルレベルに基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３４]
前記動作は、前記画像データで描写される外科医のスキルレベルを決定するステップを更に含み、前記予測転帰の前記変化を決定するステップが前記スキルレベルに基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３５]
前記動作は、前記予測転帰が閾値を下回ることに応じて、前記外科的処置に関連する手術室と関連付けられるスケジュール記録を更新するステップを更に含む、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３６]
前記予測転帰の前記変化を決定するステップは、前記外科的処置における特定のポイントと前記第２の事象との間の経過時間に基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３７]
前記予測転帰を決定するステップは、前記画像データで描写される解剖学的構造の状態に基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２３８]
前記動作は、前記解剖学的構造の状態を決定するステップを更に含む、項目２３７に記載の持続性コンピュータ可読媒体。
[項目２３９]
前記予測転帰の前記変化を決定するステップは、前記解剖学的構造の少なくとも一部の色の変化に基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２４０]
前記予測転帰の前記変化を決定するステップは、前記解剖学的構造の少なくとも一部の外観の変化に基づく、項目２２３に記載の持続性コンピュータ可読媒体。
[項目２４１]
外科的処置中に予測転帰を更新するためのコンピュータ実装方法であって、
外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第１の事象と関連付けられる画像データを受信するステップと、
前記第１の事象と関連付けられる前記受信された画像データに基づいて、前記外科的処置と関連付けられる予測転帰を決定するステップと、
前記外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第２の事象と関連付けられる画像データを受信するステップと、
前記第２の事象と関連付けられる前記受信された画像データに基づいて、前記予測転帰の変化を決定し、それにより、前記予測転帰を閾値未満に低下させるステップと、
以前の外科的処置に基づいて画像関連データのデータ構造にアクセスするステップと、
前記データ構造に基づいて、推奨される是正措置を識別するステップと、
前記推奨される是正措置を出力するステップと、
を含むコンピュータ実装方法。
[項目２４２]
外科的処置中に予測転帰を更新するためのシステムであって、
外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第１の事象と関連付けられる画像データを受信し、
前記第１の事象と関連付けられる前記受信された画像データに基づいて、前記外科的処置と関連付けられる予測転帰を決定し、
前記外科的処置の画像を捕捉するように配置される少なくとも１つの画像センサから、前記外科的処置中に第２の事象と関連付けられる画像データを受信し、
前記第２の事象と関連付けられる前記受信された画像データに基づいて、前記予測転帰の変化を決定し、それにより、前記予測転帰を閾値未満に低下させ、
以前の外科的処置に基づいて画像関連データのデータ構造にアクセスし、
前記データ構造に基づいて、推奨される是正措置を識別し、
前記推奨される是正措置を出力する、
ように構成される少なくとも１つのプロセッサを含むシステム。
[項目２４３]
手術中の流体漏れを解析するためのコンピュータ実装方法であって、
外科的処置の腔内ビデオをリアルタイムで受けるステップと、
前記腔内ビデオのフレームを解析して、前記腔内ビデオ内の異常な流体漏れ状況を決定するステップと、
前記異常な流体漏れ状況が決定されるときに是正措置を策定するステップと、
を含むコンピュータ実装方法。
[項目２４４]
前記流体が、血液、胆汁又は尿のうちの少なくとも１つを含む、項目２４３に記載の方法。
[項目２４５]
解析するステップは、前記腔内ビデオの前記フレームを解析して、血液飛散と、前記血液飛散の少なくとも１つの特性とを識別するステップを含み、前記是正措置の選択は、前記識別された血液飛散の前記少なくとも１つの特性に依存する、項目２４３に記載の方法。
[項目２４６]
前記少なくとも１つの特性は、血液飛散源と関連付けられる、項目２４５に記載の方法。
[項目２４７]
前記少なくとも１つの特性は、血液飛散の強さと関連付けられる、項目２４５に記載の方法。
[項目２４８]
前記少なくとも１つの特性は、血液飛散の量と関連付けられる、項目２４５に記載の方法。
[項目２４９]
前記腔内ビデオの前記フレームを解析するステップは、前記異常な流体漏れ状況の特性を決定するステップを含み、前記是正措置の選択は、前記決定された特性に依存する、項目２４３に記載の方法。
[項目２５０]
前記特性が前記流体漏れの量と関連付けられる、項目２４９に記載の方法。
[項目２５１]
前記特性が前記流体漏れの色と関連付けられる、項目２４９に記載の方法。
[項目２５２]
前記特性は、前記流体漏れに関連する流体のタイプと関連付けられる、項目２４９に記載の方法。
[項目２５３]
前記特性が流体漏れ速度と関連付けられる、項目２４９に記載の方法。
[項目２５４]
前記方法は、前記腔内ビデオを記憶するステップと、前記異常な漏れ状況を決定する際に、前記記憶された腔内ビデオの以前のフレームを解析して、漏れ源を決定するステップとを更に含む、項目２４３に記載の方法。
[項目２５５]
前記是正措置を策定するステップは、漏れ源の通知を与えるステップを含む、項目２４３に記載の方法。
[項目２５６]
前記漏れ源を決定するステップは、破裂した解剖学的器官を識別するステップを含む、項目２５５に記載の方法。
[項目２５７]
前記方法は、前記流体漏れ状況と関連付けられる流量を決定するステップを更に含み、前記是正措置を策定するステップが前記流量に基づく、項目２４３に記載の方法。
[項目２５８]
前記方法は、前記流体漏れ状況と関連付けられる流体損失の量を決定するステップを更に含み、前記是正措置を策定するステップが流体損失の前記量に基づく、項目２４３に記載の方法。
[項目２５９]
腔内ビデオのフレームを解析して腔内ビデオ内の異常な流体漏れ状況を決定するステップは、決定された流体漏れ状況が異常な流体漏れ状況であるかどうかを決定するステップを含み、前記方法は、
前記決定された流体漏れ状況が異常な流体漏れ状況であるという決定に応じて、前記是正措置を策定するステップと、
前記決定された流体漏れ状況が正常な流体漏れ状況であるという決定に応じて、前記是正措置の策定をしないで済ませるステップと、
を更に含む項目２４３に記載の方法。
[項目２６０]
前記腔内ビデオが前記外科的処置を実行する手術用ロボットを描写し、前記是正措置が前記ロボットに命令を送信することを含む、項目２４３に記載の方法。
[項目２６１]
流体漏れを解析するための手術システムであって、
外科的処置の腔内ビデオをリアルタイムで受け、
前記腔内ビデオのフレームを解析して、前記腔内ビデオ内の異常な流体漏れ状況を決定し、
前記異常な流体漏れ状況が決定されるときに是正措置を策定する、
ように構成される少なくとも１つのプロセッサを含む手術システム。
[項目２６２]
少なくとも１つのプロセッサによって実行されるときに、流体漏れ検出を可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
外科的処置の腔内ビデオをリアルタイムで受けるステップと、
前記腔内ビデオのフレームを解析して、前記腔内ビデオ内の異常な流体漏れ状況を決定するステップと、
前記異常な流体漏れ状況が決定されるときに是正措置を策定するステップと、
を含む持続性コンピュータ可読媒体。
[項目２６３]
退院後リスクを予測するためのコンピュータ実装方法であって、
患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、
術中事象及び関連する転帰を識別する記憶された履歴データにアクセスするステップと、
前記アクセスされたフレームを解析するとともに、前記履歴データから取得される情報に基づいて、前記アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するステップと、
前記履歴データから取得される情報と前記識別された少なくとも１つの術中事象とに基づいて、前記特定の外科的処置と関連付けられる予測転帰を決定するステップと、
前記予測転帰を前記患者と関連付ける態様で前記予測転帰を出力するステップと、
を含むコンピュータ実装方法。
[項目２６４]
前記少なくとも１つの特定の術中事象を識別するステップは、前記アクセスされたフレーム内の検出された手術器具、前記アクセスされたフレーム内の検出された解剖学的構造、手術器具と解剖学的構造との間の前記アクセスされたフレーム内の相互作用、又は、前記アクセスされたフレーム内の検出された異常な流体漏れ状況のうちの少なくとも１つに基づく、項目２６３に記載の方法。
[項目２６５]
前記アクセスされたフレームにおいて前記少なくとも１つの特定の術中事象を識別するために機械学習モデルが使用され、前記機械学習モデルがトレーニングデータ例を使用してトレーニングされる、項目２６３に記載の方法。
[項目２６６]
前記予測転帰を決定するステップは、前記患者の特性、電子医療記録、又は、術後手術報告のうちの少なくとも１つに基づく、項目２６３に記載の方法。
[項目２６７]
機械学習モデルが、術中事象に基づいて前記特定の外科的処置と関連付けられる前記予測転帰を決定するために使用され、前記機械学習モデルがトレーニング例を使用してトレーニングされる、項目２６３に記載の方法。
[項目２６８]
予測転帰を決定するステップは、前記トレーニングされた機械学習モデルを使用して、前記識別された術中事象と患者の識別された特性とに基づいて前記手術転帰を予測するステップを含む、項目２６７に記載の方法。
[項目２６９]
前記方法は、前記外科的処置に続く実現された手術転帰を識別する情報を受信するステップと、前記受信された情報を使用して前記機械学習モデルをトレーニングすることによって前記機械学習モデルを更新するステップとを更に含む、項目２６７に記載の方法。
[項目２７０]
前記方法は、前記患者の特性を識別するステップを更に含み、前記予測転帰は、前記識別された患者特性に基づいても決定される、項目２６３に記載の方法。
[項目２７１]
前記患者特性が電子医療記録から導き出される、項目２７０に記載の方法。
[項目２７２]
前記患者特性を識別するステップは、機械学習モデルを使用して前記アクセスされたフレームを解析するステップを含み、前記機械学習モデルは、履歴的な外科的処置のトレーニング例と対応する履歴的な患者特性とを使用して患者特性を識別するようにトレーニングされる、項目２７０に記載の方法。
[項目２７３]
前記予測転帰は、退院後の事故、退院後の有害事象、退院後の合併症、又は、再入院のリスクの推定のうちの少なくとも１つを含む、項目２６３に記載の方法。
[項目２７４]
推奨される一連の手術事象を含むデータ構造にアクセスするステップを更に含み、前記少なくとも１つの特定の術中事象を識別するステップは、前記データ構造において識別された前記外科的処置に関して推奨された一連の事象と、前記アクセスされたフレームにおいて検出された実際の一連の事象との間の逸脱の識別に基づく、項目２６３に記載の方法。
[項目２７５]
前記逸脱の前記識別は、前記アクセスされたフレーム内の検出された手術器具、前記アクセスされたフレーム内の検出された解剖学的構造、又は、手術器具と解剖学的構造との間の前記アクセスされたフレーム内の相互作用のうちの少なくとも１つに基づく、項目２７４に記載の方法。
[項目２７６]
前記逸脱の前記識別は、履歴的な手術ビデオ映像、履歴的な推奨された一連の事象、及び、前記履歴的なビデオ映像内の前記履歴的な推奨された一連の事象からの逸脱を識別する情報に基づいて、推奨された一連の事象からの逸脱を識別するようにトレーニングされた機械学習モデルを使用することを含む、項目２７４に記載の方法。
[項目２７７]
前記逸脱を識別するステップは、前記アクセスされたフレームと、前記推奨される一連の事象を描写する基準フレームとを比較するステップを含む、項目２７４に記載の方法。
[項目２７８]
前記予測転帰を出力するステップは、前記患者と関連付けられる電子医療記録を更新するステップを含む、項目２６３に記載の方法。
[項目２７９]
前記予測転帰を出力するステップは、前記予測転帰をヘルスケア提供者と関連付けられるデータ受信デバイスに送信するステップを含む、項目２６３に記載の方法。
[項目２８０]
前記方法は、前記アクセスされたフレームに基づいて前記予測転帰を改善する可能性が高い少なくとも１つの動作を決定するステップと、前記決定された少なくとも１つの動作に基づいて推奨を与えるステップとを更に含む、項目２６３に記載の方法。
[項目２８１]
退院後リスクを予測するためのシステムであって、
患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスし、
術中事象及び関連する転帰を識別する記憶された履歴データにアクセスし、
前記アクセスされたフレームを解析するとともに、前記履歴データから取得される情報に基づいて、前記アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別し、
前記履歴データから取得される情報と前記識別された少なくとも１つの術中事象とに基づいて、前記特定の外科的処置と関連付けられる予測転帰を決定し、
前記予測転帰を前記患者と関連付ける態様で前記予測転帰を出力する、
ように構成される少なくとも１つのプロセッサを備えるシステム。
[項目２８２]
少なくとも１つのプロセッサによって実行されるときに、退院後リスクの予測を可能にする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は
患者に対する特定の外科的処置中に捕捉されるビデオのフレームにアクセスするステップと、
術中事象及び関連する転帰を識別する記憶された履歴データにアクセスするステップと、
前記アクセスされたフレームを解析するとともに、前記履歴データから取得される情報に基づいて、前記アクセスされたフレームにおいて少なくとも１つの特定の術中事象を識別するステップと、
前記履歴データから取得される情報と前記識別された少なくとも１つの術中事象とに基づいて、前記特定の外科的処置と関連付けられる予測転帰を決定するステップと、
前記予測転帰を前記患者と関連付ける態様で前記予測転帰を出力するステップと、
を含む持続性コンピュータ可読媒体。

Claims (20)

  1. 少なくとも１つのプロセッサによって実行されるときに、外科的処置の術後報告を自動的に作成できるようにする動作を前記少なくとも１つのプロセッサに実行させる命令を含む持続性コンピュータ可読媒体であって、前記動作は、
    患者の識別子の入力を受信するステップと、
    ヘルスケア提供者の識別子の入力を受信するステップと、
    前記ヘルスケア提供者によって前記患者に対して行われる外科的処置の手術映像の入力を受信するステップと、
    少なくとも１つの畳み込みを用いて前記手術映像の少なくとも一部を変換し、変換されたデータを得るステップと、
    前記変換されたデータを用いて、前記手術映像の複数のフレームを解析して、医療装置、解剖学的構造、および前記医療装置と前記解剖学的構造の間の相対動作を識別するステップと、
    識別された前記医療装置と前記解剖学的構造との間の相対動作に基づいて、前記外科的処置の術後報告を作成するための画像ベースの情報を導き出すステップと、
    前記画像ベースの情報を分析し、それにより手術の特徴、患者の状態、及び外科的術中事象を識別することで、前記導き出された画像ベースの情報を用いて前記外科的処置の前記術後報告を作成するステップと、
    を含む持続性コンピュータ可読媒体。
  2. 前記動作は、前記手術映像を解析し、外科的処置の１つ以上の段階を識別し、少なくとも１つの前記識別された段階の特性に基づいて、意思決定ジャンクションを識別するステップであって、前記１つ以上の段階が、複数の動作コースが可能であり、外科医が複数のコースのうちの１つのコースを辿ることを選択する外科的処置を描写しているか否かを決定することによって行われるステップを更に含み、前記導き出された画像ベースの情報は、前記識別された少なくとも１つの段階と、前記識別された意思決定ジャンクションとに基づく、請求項１に記載の持続性コンピュータ可読媒体。
  3. 前記動作は、前記手術映像を解析して、前記少なくとも１つの段階と名前および期間を関連付けるステップを更に含み、前記導き出された画像ベースの情報は、前記少なくとも１つの段階と関連付けられる前記名前および期間を含む、請求項２に記載の持続性コンピュータ可読媒体。
  4. 前記動作は、前記少なくとも１つの段階の少なくとも開始を決定するステップを更に含み、前記導き出された画像ベースの情報は、前記決定された開始に基づく、請求項２に記載の持続性コンピュータ可読媒体。
  5. 前記動作は、時間マーカを前記少なくとも１つの段階と関連付けるステップを更に含み、前記導き出された画像ベースの情報は、前記少なくとも１つの段階と関連付けられる前記時間マーカを含む、請求項２に記載の持続性コンピュータ可読媒体。
  6. 前記動作は、データを前記ヘルスケア提供者に送信するステップであって、前記送信されるデータが、前記患者の識別子と、前記導き出された画像ベースの情報とを含むステップを更に含む、請求項１に記載の持続性コンピュータ可読媒体。
  7. 前記動作は、手術画像及び／又は手術映像から術後治療の推奨を生成するためにトレーニング例を使用して機械学習モデルをトレーニングし、トレーニングされた機械学習モデルを、手術映像を解析して術後治療の少なくとも１つの推奨を識別するために使用することによって、前記手術映像を解析して、術後治療のための少なくとも１つの推奨を識別するステップと、前記識別された少なくとも１つの推奨を与えるステップとを更に含む、請求項１に記載の持続性コンピュータ可読媒体。
  8. 前記外科的処置の前記術後報告の引き起こされた作成は、前記術後報告内の前記導き出された画像ベースの情報の少なくとも一部を前記ヘルスケア提供者が変更できるようにするべく設定される、請求項１に記載の持続性コンピュータ可読媒体。
  9. 前記外科的処置の前記術後報告の引き起こされた作成は、前記導き出された画像ベースの情報の少なくとも一部を前記術後報告において自動的に生成されたデータとして識別させるように設定される、請求項１に記載の持続性コンピュータ可読媒体。
  10. 前記動作は、前記手術映像を解析して、前記手術映像内の手術事象を識別するとともに、前記識別された手術事象の特性を識別するステップを更に含み、前記導き出された画像ベースの情報は、前記識別された手術事象及び前記識別された特性に基づく、請求項１に記載の持続性コンピュータ可読媒体。
  11. 前記動作は、前記手術映像を解析して、前記識別された手術事象の事象名を決定するステップを更に含み、前記導き出された画像ベースの情報は、前記決定された事象名を含む、請求項１０に記載の持続性コンピュータ可読媒体。
  12. 前記動作は、時間マーカを前記識別された手術事象と関連付けるステップを更に含み、前記導き出された画像ベースの情報が前記時間マーカを含む、請求項１０に記載の持続性コンピュータ可読媒体。
  13. 前記動作は、前記導き出された画像ベースの情報を電子医療記録の更新を可能にする形式で提供するステップを更に含む、請求項１に記載の持続性コンピュータ可読媒体。
  14. 前記導き出された画像ベースの情報は、ユーザ入力に部分的に基づく、請求項１に記載の持続性コンピュータ可読媒体。
  15. 前記導き出された画像ベースの情報は、医療機器上に位置する第１のセンサのセットを用いて得られる第１のデータと、前記医療機器上に位置しない第２のセンサのセットを用いて得られる第２のデータを含み、
    前記第１のデータは、手術事象を識別するために用いられ、前記第２のデータは手術段階の開始と終了を識別するのに用いられる、
    請求項１に記載の持続性コンピュータ可読媒体。
  16. 前記動作は、前記手術映像を解析して、前記手術映像の少なくとも１つのフレームの少なくとも一部を選択するステップと、前記手術映像の少なくとも１つのフレームの前記選択された少なくとも一部を前記外科的処置の前記術後報告に含ませるステップとを更に含む、請求項１に記載の持続性コンピュータ可読媒体。
  17. 前記動作は、
    予備術後報告を受けるステップと、
    前記予備術後報告及び前記手術映像を解析して、前記手術映像の少なくとも１つのフレームの少なくとも一部を選択するステップと、
    を更に含む請求項１６に記載の持続性コンピュータ可読媒体。
  18. 前記動作は、
    予備術後報告を受けるステップと、
    前記予備術後報告及び前記手術映像を解析して、前記予備術後報告と前記手術映像との間の少なくとも１つの不一致を識別するステップと、
    前記識別された少なくとも１つの不一致の表示を与えるステップと、
    を更に含む請求項１に記載の持続性コンピュータ可読媒体。
  19. 外科的処置の術後報告を作成するコンピュータに実装された方法であって、
    患者の識別子の入力を受けるステップと、
    ヘルスケア提供者の識別子の入力を受けるステップと、
    前記ヘルスケア提供者によって前記患者に対して実行される外科的処置の手術映像の入力を受けるステップと、
    少なくとも１つの畳み込みを用いて前記手術映像の少なくとも一部を変換し、変換されたデータを得るステップと、
    前記変換されたデータを用いて、前記手術映像の複数のフレームを解析して、医療装置、解剖学的構造、および前記医療装置と前記解剖学的構造の間の相対動作を識別するステップと、
    識別された前記医療装置と前記解剖学的構造との間の相対動作に基づいて、前記外科的処置の術後報告を作成するための画像ベースの情報を導き出すステップと、
    前記画像ベースの情報を分析し、それにより手術の特徴、患者の状態、及び外科的術中事象を識別することで、前記導き出された画像ベースの情報を用いて前記外科的処置の前記術後報告を作成するステップと、
    を含むコンピュータ実装方法。
  20. 外科的処置の術後報告を自動的に作成するためのシステムであって、
    患者の識別子の入力を受け、
    ヘルスケア提供者の識別子の入力を受け、
    前記ヘルスケア提供者によって前記患者に対して実行される外科的処置の手術映像の入力を受け、
    少なくとも１つの畳み込みを用いて前記手術映像の少なくとも一部を変換し、変換されたデータを得、
    前記変換されたデータを用いて、前記手術映像の複数のフレームを解析して、医療装置、解剖学的構造、および前記医療装置と前記解剖学的構造の間の相対動作を識別し、
    識別された前記医療装置と前記解剖学的構造との間の相対動作に基づいて、前記外科的処置の術後報告を作成するための画像ベースの情報を導き出し、および
    前記画像ベースの情報を分析し、それにより手術の特徴、患者の状態、及び外科的術中事象を識別することで、前記導き出された画像ベースの情報を用いて前記外科的処置の前記術後報告を作成する、ように構成される少なくとも１つのプロセッサを含む、システム。
JP2021537121A 2019-02-21 2020-02-20 手術ビデオの解析のためのシステム及び方法 Active JP7596269B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024021319A JP7602080B2 (ja) 2019-02-21 2024-02-15 手術ビデオの解析のためのシステム及び方法
JP2024212218A JP2025029156A (ja) 2019-02-21 2024-12-05 手術ビデオの解析のためのシステム及び方法

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US201962808500P 2019-02-21 2019-02-21
US201962808512P 2019-02-21 2019-02-21
US62/808,500 2019-02-21
US62/808,512 2019-02-21
US201962838066P 2019-04-24 2019-04-24
US62/838,066 2019-04-24
US202062960466P 2020-01-13 2020-01-13
US62/960,466 2020-01-13
US202062967283P 2020-01-29 2020-01-29
US62/967,283 2020-01-29
PCT/US2020/019050 WO2020172414A1 (en) 2019-02-21 2020-02-20 Systems and methods for analysis of surgical videos

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024021319A Division JP7602080B2 (ja) 2019-02-21 2024-02-15 手術ビデオの解析のためのシステム及び方法

Publications (3)

Publication Number Publication Date
JP2022520701A JP2022520701A (ja) 2022-04-01
JPWO2020172414A5 JPWO2020172414A5 (ja) 2023-03-01
JP7596269B2 true JP7596269B2 (ja) 2024-12-09

Family

ID=69811980

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021537121A Active JP7596269B2 (ja) 2019-02-21 2020-02-20 手術ビデオの解析のためのシステム及び方法
JP2024021319A Active JP7602080B2 (ja) 2019-02-21 2024-02-15 手術ビデオの解析のためのシステム及び方法
JP2024212218A Pending JP2025029156A (ja) 2019-02-21 2024-12-05 手術ビデオの解析のためのシステム及び方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2024021319A Active JP7602080B2 (ja) 2019-02-21 2024-02-15 手術ビデオの解析のためのシステム及び方法
JP2024212218A Pending JP2025029156A (ja) 2019-02-21 2024-12-05 手術ビデオの解析のためのシステム及び方法

Country Status (10)

Country Link
US (10) US10886015B2 (ja)
EP (2) EP3928325B1 (ja)
JP (3) JP7596269B2 (ja)
KR (3) KR102572006B1 (ja)
CN (1) CN113748468B (ja)
AU (1) AU2020224128B2 (ja)
BR (1) BR112021016621A2 (ja)
CA (1) CA3126444A1 (ja)
IL (5) IL283770B (ja)
WO (1) WO2020172414A1 (ja)

Families Citing this family (201)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471899B2 (en) * 2008-12-02 2013-06-25 Careview Communications, Inc. System and method for documenting patient procedures
US10528840B2 (en) 2015-06-24 2020-01-07 Stryker Corporation Method and system for surgical instrumentation setup and user preferences
WO2017037705A1 (en) * 2015-08-30 2017-03-09 M.S.T. Medical Surgery Technologies Ltd An intelligent surgical tool control system for laparoscopic surgeries
CN109074755B (zh) * 2016-04-06 2024-06-14 皇家飞利浦有限公司 用于使得能够分析生命体征检测器的性能的方法、设备和系统
WO2018108740A1 (en) * 2016-12-12 2018-06-21 Koninklijke Philips N.V. A method and apparatus for segmenting two dimensional images of an anatomical structure
CA3277843A1 (en) 2017-10-17 2025-10-31 Verily Life Sciences Llc Systems and methods for segmenting surgical videos
CN111263945A (zh) 2017-10-22 2020-06-09 T·马丁 用于体育赛事中的运动员的图像标识登记的系统和方法
US11622732B2 (en) 2018-04-26 2023-04-11 Vektor Medical, Inc. Identifying an attribute of an electromagnetic source configuration by matching simulated and patient data
US11259871B2 (en) 2018-04-26 2022-03-01 Vektor Medical, Inc. Identify ablation pattern for use in an ablation
US11026585B2 (en) * 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
US20200078113A1 (en) 2018-09-07 2020-03-12 Ethicon Llc Port presence detection system for modular energy system
US12144136B2 (en) 2018-09-07 2024-11-12 Cilag Gmbh International Modular surgical energy system with module positional awareness with digital logic
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11350978B2 (en) 2018-09-07 2022-06-07 Cilag Gmbh International Flexible neutral electrode
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
CN112654280A (zh) * 2018-09-11 2021-04-13 索尼公司 医学观察系统、医学观察装置和医学观察方法
KR20210076165A (ko) 2018-11-13 2021-06-23 벡터 메디칼, 인크. 근원 위치를 가진 이미지의 확대
WO2020172076A1 (en) * 2019-02-20 2020-08-27 OperVu, Inc. System and method to detect and track surgical instruments and/or surgical material
EP3931838A4 (en) * 2019-03-01 2022-11-23 The Johns Hopkins University DATA ANALYSIS FOR PREDICTIVE MODELING OF SURGICAL OUTCOMES
WO2020185556A1 (en) * 2019-03-08 2020-09-17 Musara Mubayiwa Cornelious Adaptive interactive medical training program with virtual patients
US11348235B2 (en) * 2019-03-22 2022-05-31 Verily Life Sciences Llc Improving surgical video consumption by identifying useful segments in surgical videos
US11218822B2 (en) 2019-03-29 2022-01-04 Cilag Gmbh International Audio tone construction for an energy module of a modular energy system
US11935636B2 (en) * 2019-04-26 2024-03-19 Merative Us L.P. Dynamic medical summary
US11756681B2 (en) 2019-05-07 2023-09-12 Medtronic, Inc. Evaluation of post implantation patient status and medical device performance
US11701771B2 (en) * 2019-05-15 2023-07-18 Nvidia Corporation Grasp generation using a variational autoencoder
US10595736B1 (en) 2019-06-10 2020-03-24 Vektor Medical, Inc. Heart graphic display system
US10709347B1 (en) 2019-06-10 2020-07-14 Vektor Medical, Inc. Heart graphic display system
WO2021003578A1 (en) * 2019-07-10 2021-01-14 Novadaq Technologies ULC Systems and methods for persistent ureter visualization
KR102793737B1 (ko) * 2019-08-05 2025-04-11 엘지전자 주식회사 쿠킹 로봇 시스템 및 그 제어 방법
JP7556355B2 (ja) * 2019-08-06 2024-09-26 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
USD939545S1 (en) 2019-09-05 2021-12-28 Cilag Gmbh International Display panel or portion thereof with graphical user interface for energy module
US11367179B2 (en) * 2019-09-30 2022-06-21 GE Precision Healthcare LLC Determining degree of motion using machine learning to improve medical image quality
JP7359218B2 (ja) * 2019-11-01 2023-10-11 日本電信電話株式会社 管理装置、管理方法及び管理プログラム
CN111298305B (zh) * 2020-02-18 2024-06-14 上海联影医疗科技股份有限公司 一种数据同步方法和系统
WO2021168408A1 (en) 2020-02-20 2021-08-26 Smith & Nephew, Inc. Methods for arthroscopic video analysis and devices therefor
US11475063B2 (en) * 2020-02-24 2022-10-18 Motorola Solutions, Inc. Device, system and method for providing indications of a discrepancy between a video and a textual description of an incident
JP7383790B2 (ja) * 2020-03-06 2023-11-20 オリンパス株式会社 サーバ装置、ネットワークシステム、情報提供方法、及びプログラム
US20210287785A1 (en) * 2020-03-16 2021-09-16 Vanderbilt University Automatic Sensing for Clinical Decision Support
US20230196840A1 (en) * 2020-03-24 2023-06-22 Sony Group Corporation Work management device and work state determination method
TW202137078A (zh) * 2020-03-24 2021-10-01 廣達電腦股份有限公司 資料處理系統及資料處理方法
US11295602B2 (en) * 2020-03-27 2022-04-05 Wipro Limited System and method for providing enhanced security of physical assets within a physical infrastructure
CN115210821A (zh) 2020-04-03 2022-10-18 史密夫和内修有限公司 用于关节镜中的数字标记的用户界面
EP4128149A1 (en) 2020-04-03 2023-02-08 Smith&Nephew, Inc. Methods for arthroscopic surgery video segmentation and devices therefor
US20210312949A1 (en) 2020-04-05 2021-10-07 Theator inc. Systems and methods for intraoperative video review
WO2021216535A1 (en) * 2020-04-20 2021-10-28 Avail Medsystems, Inc. Systems and methods for medical procedure preparation
US12260555B2 (en) 2020-04-30 2025-03-25 Medtronic, Inc. Post operative implantation site monitoring and medical device performance
US12262153B2 (en) * 2020-04-30 2025-03-25 Medtronic, Inc. Post operative implantation site monitoring
US20210370503A1 (en) * 2020-05-29 2021-12-02 Wipro Limited Method and system for providing dynamic cross-domain learning
US11087557B1 (en) * 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
FR3111463B1 (fr) * 2020-06-12 2023-03-24 Univ Strasbourg Traitement de flux vidéo relatifs aux opérations chirurgicales
US20220005199A1 (en) * 2020-07-05 2022-01-06 Asensus Surgical Us, Inc. Image segmentation with kinematic data in a robotic surgical system
US11153657B1 (en) * 2020-07-15 2021-10-19 Gopro, Inc. Interface for editing multiple video clips
US11961225B2 (en) * 2020-07-21 2024-04-16 Iterative Scopes, Inc. Systems and methods for detecting potential malignancies
WO2022024559A1 (ja) * 2020-07-31 2022-02-03 ソニーグループ株式会社 医療支援システム及び医療支援方法、並びにコンピュータプログラム
US12011181B2 (en) 2020-08-10 2024-06-18 Kunnskap Medical, LLC Endoscopic system with pump control
US20220101999A1 (en) * 2020-08-13 2022-03-31 P Tech, Llc Video Documentation System and Medical Treatments Used with or Independent Thereof
US11896323B2 (en) * 2020-09-01 2024-02-13 Aibolit Technologies, Llc System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure
US11818373B1 (en) * 2020-09-08 2023-11-14 Block, Inc. Machine-learning based data compression for streaming media
JP7535587B2 (ja) * 2020-09-10 2024-08-16 オリンパス株式会社 医療システムおよび医療システムの作動方法
DE102020212000A1 (de) * 2020-09-24 2022-03-24 Siemens Healthcare Gmbh Vorrichtung zum Positionieren eines medizinischen Objekts und Verfahren zum Bereitstellen einer Korrekturvorgabe
US11568318B2 (en) * 2020-10-07 2023-01-31 Panasonic Intellectual Property Management Co., Ltd. Method for developing machine-learning based tool
US20220110692A1 (en) * 2020-10-12 2022-04-14 Biosense Webster (Israel) Ltd. Procedure visualization and guidance
JP7527634B2 (ja) * 2020-10-22 2024-08-05 株式会社Ａｉメディカルサービス 検査支援装置、検査支援装置の作動方法および検査支援プログラム
WO2022092334A1 (ko) * 2020-10-27 2022-05-05 경상대학교병원 위암에 대한 위 절제술 중 조기 문합 합병증을 예방하기 위한 수술 중 내시경 검사의 안전성 및 효능
US20230419503A1 (en) * 2020-11-19 2023-12-28 Surgical Safety Technologies Inc. System and method for operating room human traffic monitoring
EP4247290A4 (en) 2020-11-20 2024-11-27 Auris Health, Inc. AUTOMATED PROCESS EVALUATION
US20230368530A1 (en) * 2020-11-20 2023-11-16 Intuitive Surgical Operations, Inc. Systems and methods for surgical operation recognition
US12451239B2 (en) * 2020-12-03 2025-10-21 Intuitive Surgical Operations, Inc. Systems and methods for assessing surgical ability
US11694533B2 (en) 2021-01-22 2023-07-04 Cilag Gmbh International Predictive based system adjustments based on biomarker trending
US20220239577A1 (en) * 2021-01-22 2022-07-28 Ethicon Llc Ad hoc synchronization of data from multiple link coordinated sensing systems
US12011163B2 (en) 2021-01-22 2024-06-18 Cilag Gmbh International Prediction of tissue irregularities based on biomarker monitoring
US12440285B2 (en) 2021-01-22 2025-10-14 Cilag Gmbh International Prediction of hemostasis issues based on biomarker monitoring
US12100496B2 (en) 2021-01-22 2024-09-24 Cilag Gmbh International Patient biomarker monitoring with outcomes to monitor overall healthcare delivery
US11682487B2 (en) * 2021-01-22 2023-06-20 Cilag Gmbh International Active recognition and pairing sensing systems
WO2022164846A1 (en) * 2021-01-29 2022-08-04 Fresenius Medical Care Holdings Co, Inc. Medical device troubleshooting using computational models
US20220262098A1 (en) * 2021-02-12 2022-08-18 University Of Washington Method for classifying images
US20240233126A9 (en) * 2021-02-24 2024-07-11 Anaut Inc. Surgery details evaluation system, surgery details evaluation method, and computer program
US12082881B2 (en) * 2021-03-22 2024-09-10 Biosense Webster (Israel) Ltd. Visualizing multiple parameters overlaid on an anatomical map
US11968776B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for mechanical packaging for modular energy system
US11978554B2 (en) 2021-03-30 2024-05-07 Cilag Gmbh International Radio frequency identification token for wireless surgical instruments
US12329437B2 (en) * 2021-03-30 2025-06-17 Cilag Gmbh International Surgical proceduralization via modular energy system
US11963727B2 (en) 2021-03-30 2024-04-23 Cilag Gmbh International Method for system architecture for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems
US12228987B2 (en) 2021-03-30 2025-02-18 Cilag Gmbh International Method for energy delivery for modular energy system
US12004824B2 (en) 2021-03-30 2024-06-11 Cilag Gmbh International Architecture for modular energy system
US11980411B2 (en) 2021-03-30 2024-05-14 Cilag Gmbh International Header for modular energy system
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US12235697B2 (en) 2021-03-30 2025-02-25 Cilag Gmbh International Backplane connector attachment mechanism for modular energy system
US12369994B2 (en) 2021-03-30 2025-07-29 Cilag Gmbh International Modular energy system with multi-energy port splitter for multiple energy devices
US12040749B2 (en) 2021-03-30 2024-07-16 Cilag Gmbh International Modular energy system with dual amplifiers and techniques for updating parameters thereof
US12444094B2 (en) 2021-04-14 2025-10-14 Cilag Gmbh International Systems and methods for controlling surgical data overlay
EP4136647A1 (en) 2021-04-14 2023-02-22 Cilag GmbH International Adaptation and adjustability of overlaid instrument information for surgical systems
CN117957534A (zh) * 2021-04-14 2024-04-30 希赛公司 使用自然语言处理技术的基于计算机视觉的外科工作流识别系统
US12014479B2 (en) * 2021-05-17 2024-06-18 Stryker Corporation Medical imaging
FR3122936B1 (fr) * 2021-05-17 2024-08-02 Vygon Procédé d’identification d’instruments médicaux
JP7611073B2 (ja) * 2021-05-21 2025-01-09 富士フイルム株式会社 医療画像処理システムおよびその作動方法
US12094493B2 (en) * 2021-05-24 2024-09-17 Getac Technology Corporation Automated classification and indexing of events using machine learning
EP4104744A1 (en) * 2021-06-15 2022-12-21 Cilag GmbH International Method of using imaging devices in surgery
US12295690B2 (en) 2021-06-15 2025-05-13 Covidien Lp Systems and methods leveraging audio sensors to facilitate surgical procedures
US20220401143A1 (en) * 2021-06-16 2022-12-22 Covidien Lp Electrosurgical systems and methods
JP2024528522A (ja) * 2021-07-04 2024-07-30 エー．アイ．ヴァリ インコーポレイテッド 医用画像をリアルタイムで処理するためのシステムおよび方法
KR102640314B1 (ko) * 2021-07-12 2024-02-23 (주)휴톰 인공지능 수술 시스템 및 그것의 제어방법
CN117693318A (zh) * 2021-07-19 2024-03-12 奥瑞斯健康公司 经皮医疗规程的阶段分割
EP4374334A1 (en) * 2021-07-21 2024-05-29 The Cleveland Clinic Foundation Object counting system using convolutional neural network for medical procedures
DE102021120300A1 (de) 2021-08-04 2023-02-09 Carl Zeiss Meditec Ag Fusion von räumlichem und zeitlichem kontext für eine lokalisierung für visualisierungssysteme
CA3228337A1 (en) 2021-08-09 2023-02-16 Vektor Medical, Inc. Tissue state graphic display system
CN113553460B (zh) * 2021-08-13 2022-06-28 北京安德医智科技有限公司 影像检索方法及装置、电子设备和存储介质
WO2023023509A1 (en) * 2021-08-17 2023-02-23 Theator inc. Automated analysis of video data during surgical procedures using artificial intelligence
WO2023022258A1 (ko) * 2021-08-19 2023-02-23 한국로봇융합연구원 영상정보기반 복강경 로봇 인공지능 수술 가이드 시스템
US12300029B2 (en) 2021-08-26 2025-05-13 Hill-Rom Services, Inc. Enhanced image-based tracking in clinical environments
CN113492410B (zh) * 2021-09-09 2022-03-18 成都博恩思医学机器人有限公司 显示机器人操作过程的方法、系统、机械设备及存储介质
US12108487B2 (en) * 2021-09-14 2024-10-01 Intercom, Inc. Matching pipeline for a communication system
CN113821681B (zh) * 2021-09-17 2023-09-26 深圳力维智联技术有限公司 视频标签生成方法、装置及设备
DE102021210899A1 (de) * 2021-09-29 2023-03-30 Siemens Healthcare Gmbh Automatisiertes datenbasiertes Bereitstellen einer patientenspezifischen medizinischen Handlungsempfehlung
US12246452B2 (en) * 2021-10-08 2025-03-11 Sanctuary Cognitive Systems Corporation Systems, robots, and methods for selecting classifiers based on context
US12326918B2 (en) * 2021-10-18 2025-06-10 Optum Services (Ireland) Limited Cross-temporal encoding machine learning models
US12327193B2 (en) 2021-10-19 2025-06-10 Optum Services (Ireland) Limited Methods, apparatuses and computer program products for predicting measurement device performance
JP7764201B2 (ja) * 2021-11-05 2025-11-05 キヤノンメディカルシステムズ株式会社 医用情報処理装置、及び、医用情報処理システム
CN113742527A (zh) * 2021-11-08 2021-12-03 成都与睿创新科技有限公司 一种基于人工智能检索和提取手术视频片段的方法及系统
CN114121208A (zh) * 2021-11-22 2022-03-01 华平祥晟(上海)医疗科技有限公司 一种基于可视化资料的手术记录质量控制方法
CN113822894B (zh) * 2021-11-25 2022-02-08 武汉大学 十二指肠胰头图像识别方法和十二指肠胰头图像识别装置
CN113888541B (zh) * 2021-12-07 2022-03-25 南方医科大学南方医院 一种腹腔镜手术阶段的图像识别方法、装置及存储介质
TWI792761B (zh) * 2021-12-10 2023-02-11 國立成功大學 氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法
US20240420833A1 (en) * 2021-12-13 2024-12-19 Rapid Medical Ltd. Analyzing actions, automatic correction of actions, and decision support and automation during endovascular procedures
EP4449726A1 (en) * 2021-12-13 2024-10-23 Koninklijke Philips N.V. Image quality management system
KR102642303B1 (ko) * 2021-12-27 2024-02-29 (주)헬스허브 인공지능 상황인지 녹화 시스템 및 그 방법
US12390155B2 (en) 2021-12-27 2025-08-19 Matrixcare, Inc. Predicting wound management treatment resources using machine learning
US20230200723A1 (en) 2021-12-27 2023-06-29 Matrixcare, Inc. Wound management system for predicting and treating wounds
CN114520041A (zh) * 2021-12-31 2022-05-20 北京航天长峰股份有限公司 一种手术日志生成方法、装置、电子设备及介质
US11699519B1 (en) 2022-01-04 2023-07-11 Ix Innovation Llc System for maintaining and controlling surgical tools
US11457983B1 (en) * 2022-01-04 2022-10-04 Ix Innovation Llc Methods and systems for using voice input to control a surgical robot
CN114366085B (zh) * 2022-01-12 2024-07-26 武汉泰乐奇信息科技有限公司 基于双重感应骨骼模型的医学动作分析方法和装置
CN114388112A (zh) * 2022-01-14 2022-04-22 上海联众网络信息股份有限公司 一种基于大数据量化手术难度和风险的方法
NL2030693B1 (en) * 2022-01-25 2023-08-04 Deo N V Computer implemented method for providing a case mix schedule
CN114267440B (zh) * 2022-03-01 2022-06-14 四川大学华西医院 医疗订单信息处理方法、装置和计算机可读存储介质
WO2023180963A1 (en) * 2022-03-23 2023-09-28 Verb Surgical Inc. Video-based analysis of stapling events during a surgical procedure using machine learning
US11464573B1 (en) * 2022-04-27 2022-10-11 Ix Innovation Llc Methods and systems for real-time robotic surgical assistance in an operating room
JP2023170967A (ja) * 2022-05-20 2023-12-01 株式会社エビデント 内視鏡装置、フレーム画像抽出方法、プログラム、及び内視鏡システム
US20230386651A1 (en) * 2022-05-30 2023-11-30 Theator inc. Analyzing surgical videos to identify a billing coding mismatch
EP4293675A1 (en) * 2022-06-14 2023-12-20 Stryker Corporation Systems and methods for non-compliance detection in a surgical environment
US12079460B2 (en) 2022-06-28 2024-09-03 Cilag Gmbh International Profiles for modular energy system
US12457509B2 (en) 2022-06-30 2025-10-28 T-Mobile Usa, Inc. Repurposing corrective actions as preemptive actions for adjacent clusters of user devices
US20240029881A1 (en) * 2022-07-15 2024-01-25 Optum, Inc. Planning system based on risks of surgical error
US12499681B2 (en) * 2022-07-27 2025-12-16 Verb Surgical Inc. Post-surgery analysis of energy tool usage in surgical videos using deep learning
US12340310B2 (en) * 2022-07-27 2025-06-24 Verb Surgical Inc. Energy tool activation detection in surgical videos using deep learning
US20240037808A1 (en) * 2022-07-27 2024-02-01 Stryker Corporation Systems and methods for real-time processing of medical imaging data utilizing an external processing device
KR102690712B1 (ko) * 2022-07-29 2024-08-05 주식회사 로브로스 관측학습을 이용한 로봇 시스템의 남은 잔여모션 소요 시간 추정 방법
KR102863318B1 (ko) * 2022-08-24 2025-09-24 주식회사 삼육오엠씨(365mc) 인공지능 기반의 수술실 내 무균 동작 모니터링 시스템 및 방법
WO2024046938A1 (en) * 2022-08-31 2024-03-07 Koninklijke Philips N.V. Improving communication between local technologists
EP4332984A1 (en) * 2022-08-31 2024-03-06 Koninklijke Philips N.V. Systems and methods for improving communication between local technologists within a radiology operations command center (rocc) framework
EP4339963A1 (de) * 2022-09-14 2024-03-20 Siemens Healthineers AG Technik zur sicherheitskontrolle eines medizinischen befunds
US20250255679A1 (en) * 2022-09-27 2025-08-14 Cmr Surgical Limited Processing surgical data
KR102539691B1 (ko) 2022-10-20 2023-06-02 주식회사 메디씽큐 수술 단계 영상 전송 방법 및 이를 이용한 시스템
US20240138940A1 (en) * 2022-10-28 2024-05-02 Covidien Lp Surgical robotic system and method for using instruments in training and surgical modes
WO2024111386A1 (ja) * 2022-11-21 2024-05-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
US20240169731A1 (en) * 2022-11-22 2024-05-23 Apella Technology Inc. Transmitting notifications based on phases of an operating room determined from captured video of the operating room
KR20240075418A (ko) * 2022-11-22 2024-05-29 (주)휴톰 시각적 다중 모달리티에 기초하여 수술 단계를 인식하는 방법 및 장치
US20240169734A1 (en) * 2022-11-22 2024-05-23 Apella Technology Inc. Tracking operating room phase from captured video of the operating room
US12238265B2 (en) 2022-12-12 2025-02-25 Cilag Gmbh International Optical filter for improved multispectral imaging performance in stereo camera
WO2024137133A1 (en) * 2022-12-19 2024-06-27 Genesis Medtech (USA) Inc. Methods and apparatus for tracking anatomical structure in video assisted surgeries
WO2024132157A1 (en) * 2022-12-22 2024-06-27 Brainlab Ag Virtual camera sources showing regions of interest of devices
US12213844B2 (en) * 2022-12-26 2025-02-04 Metal Industries Research & Development Centre Operation image positioning method and system thereof
US20240212812A1 (en) * 2022-12-27 2024-06-27 Stryker Corporation Intelligent medical report generation
US20240207626A1 (en) * 2022-12-27 2024-06-27 Stryker Corporation Systems and methods for evaluating a medical workflow
US20240221896A1 (en) * 2022-12-30 2024-07-04 Cilag Gmbh International Surgical data processing associated with multiple system hierarchy levels
US20240221895A1 (en) * 2022-12-30 2024-07-04 Cilag Gmbh International Surgical data specialty harmonization for training machine learning models
DE102023200231B4 (de) * 2023-01-12 2025-05-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Evaluieren einer Steuerung einer Robotervorrichtung
US20240257807A1 (en) * 2023-01-26 2024-08-01 Bola Technologies, Inc. Systems and methods for voice assistant for electronic health records
KR20240117842A (ko) 2023-01-26 2024-08-02 주식회사 엠티이지 요청에 따른 영상 제공 방법 및 디바이스
US12316965B2 (en) 2023-02-27 2025-05-27 Cilag Gmbh International Adaptive overlay stabilization of false color overlay heatmaps
WO2024199680A1 (en) * 2023-03-31 2024-10-03 Brainlab Ag Generation of artificial intra-operative sensor data
CN116327372A (zh) * 2023-04-10 2023-06-27 极限人工智能有限公司 一种具有触力反馈的手术器械、方法及手术机器人
CN116567348A (zh) * 2023-05-05 2023-08-08 合肥工业大学 微创手术视频摘要生成方法
JP7403895B1 (ja) 2023-05-10 2023-12-25 株式会社クオトミー 施術動画のタグ付け装置
CN116974249A (zh) * 2023-06-08 2023-10-31 三星（中国）半导体有限公司 柔性作业车间调度方法和柔性作业车间调度装置
CN116705215B (zh) * 2023-08-04 2023-09-29 南京诺源医疗器械有限公司 一种用于脑室检测的荧光标记系统
DE102023123907A1 (de) * 2023-09-05 2025-03-06 Karl Storz Se & Co. Kg Verfahren zur Erkennung von Instrumenten in Bilddaten und Vorrichtung zur Analyse von Bilddaten
CN116884570B (zh) * 2023-09-06 2023-12-12 南京诺源医疗器械有限公司 一种基于图像处理的术中实时仿真疗效评估系统
US20250095812A1 (en) * 2023-09-20 2025-03-20 Expanded Existence, Inc. System and Method for Continuously Optimizing Medical Reference Manuals
EP4531052A1 (en) * 2023-09-28 2025-04-02 Koninklijke Philips N.V. Epredicting medical procedure outcomes
WO2025071919A1 (en) * 2023-09-29 2025-04-03 Welch Allyn, Inc. Multimodal imaging guided noncontact vital signs monitoring systems and methods
US12342097B2 (en) 2023-10-13 2025-06-24 Ambu A/S Endoscopic procedure documentation system and method
WO2025111275A1 (en) * 2023-11-20 2025-05-30 Wound Pros Group Management, Inc. Methods and systems with integrated vascular assessment
WO2025120518A1 (en) * 2023-12-04 2025-06-12 Verb Surgical Inc. Suggesting reference content items for a medical practitioner through an online collaborative medical platform
KR20250086282A (ko) * 2023-12-06 2025-06-13 주식회사 엠티이지 의료 상황과 관련된 비디오를 제공하는 방법 및 디바이스
WO2025143280A1 (ko) * 2023-12-26 2025-07-03 서울대학교병원 의료 영상 데이터로부터 복강 수술 관련 정보를 예측하는 방법 및 시스템
KR102883538B1 (ko) * 2023-12-26 2025-11-11 주식회사 퍼즐에이아이 수술 동영상 분석을 통한 자동 수술 기록 생성 및 전자의무기록 통합관리시스템
EP4583117A1 (en) * 2024-01-05 2025-07-09 Leica Microsystems NC, Inc. Methods and devices for supporting a medical procedure
WO2025155852A1 (en) * 2024-01-17 2025-07-24 X-Nav Technologies, LLC Landmark registration system for image-guided navigation
WO2025158531A1 (ja) * 2024-01-23 2025-07-31 日本電気株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
WO2025168753A1 (en) * 2024-02-08 2025-08-14 Universität Zürich System and method for detection and localization of surgical events in a surgical scene
WO2025196980A1 (ja) * 2024-03-19 2025-09-25 オリンパスメディカルシステムズ株式会社 医療システム、医療データベース作成方法、医療コンテンツデータのデータ構造、医療行為サポート方法、および、データベース
CN117944070B (zh) * 2024-03-26 2024-06-04 首都医科大学附属北京同仁医院 一种用于甲状腺监护的医疗机械臂
WO2025216594A1 (ko) * 2024-04-12 2025-10-16 주식회사 로엔서지컬 의료기구의 기록된 경로를 재생하는 수술 로봇 시스템 및 제어방법
US20250339232A1 (en) * 2024-05-03 2025-11-06 Bard Access Systems, Inc. Medical Imaging System with Optical Identifier
JP2025173811A (ja) * 2024-05-15 2025-11-28 キヤノンメディカルシステムズ株式会社 医用画像処理装置、及び医用画像処理方法
CN118569512B (zh) * 2024-08-01 2024-11-01 四川超链动科技有限公司 一种基于大数据的企业安全评估方法及系统
CN118760757A (zh) * 2024-09-05 2024-10-11 北方健康医疗大数据科技有限公司 一种病历文本中医学变量的提取方法、装置、设备及存储介质
CN119113244A (zh) * 2024-09-13 2024-12-13 江苏省肿瘤医院 一种智能腹腔积水引流监测系统及方法
TWI896395B (zh) * 2024-10-30 2025-09-01 炳碩生醫股份有限公司 內視鏡影像的生成系統以及生成方法
CN119326504B (zh) * 2024-11-18 2025-07-01 中国人民解放军总医院第三医学中心 一种基于机器人辅助肾部位切除术的手术流程识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263495A (ja) 2002-03-08 2003-09-19 Hitachi Medical Corp 医療情報管理システム
US20120035963A1 (en) 2009-03-26 2012-02-09 Koninklijke Philips Electronics N.V. System that automatically retrieves report templates based on diagnostic information
JP2015097065A (ja) 2013-11-15 2015-05-21 株式会社東芝 手術情報管理装置
US20180322949A1 (en) 2015-06-09 2018-11-08 Intuitive Surgical Operations, Inc. Video content searches in a medical context
US20190206565A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method for operating surgical instrument systems

Family Cites Families (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5791907A (en) 1996-03-08 1998-08-11 Ramshaw; Bruce J. Interactive medical training system
JP2000333971A (ja) * 1999-05-31 2000-12-05 Technol Res Assoc Of Medical & Welfare Apparatus 手術支援情報表示装置
US20040078236A1 (en) 1999-10-30 2004-04-22 Medtamic Holdings Storage and access of aggregate patient data for analysis
US6481381B2 (en) 2000-03-21 2002-11-19 Cats With An Attitude, Inc. Pet-play apparatus configured for interactive use
US7231135B2 (en) 2001-05-18 2007-06-12 Pentax Of American, Inc. Computer-based video recording and management system for medical diagnostic equipment
US7460659B2 (en) 2002-09-27 2008-12-02 Rockwell Electronic Commerce Best practices learning for agents in a communication system
JP3675437B2 (ja) * 2002-10-28 2005-07-27 ソニー株式会社 情報記録再生処理装置、および方法、並びにコンピュータ・プログラム
US7082572B2 (en) 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US8055323B2 (en) 2003-08-05 2011-11-08 Imquant, Inc. Stereotactic system and method for defining a tumor treatment region
US8675059B2 (en) * 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
US8095379B2 (en) 2003-12-30 2012-01-10 Cerner Innovation, Inc. System and method for preemptive determination of the potential for an atypical clinical event related to the administering of medication
US20070156344A1 (en) 2004-01-16 2007-07-05 Disease Management Services, Plc Disease management system
JP4828919B2 (ja) * 2004-11-09 2011-11-30 株式会社東芝 医療情報システム
US20060143060A1 (en) 2004-12-28 2006-06-29 General Electric Company Integrated scheduling system for health care providers
US20060159325A1 (en) 2005-01-18 2006-07-20 Trestle Corporation System and method for review in studies including toxicity and risk assessment studies
US7966269B2 (en) * 2005-10-20 2011-06-21 Bauer James D Intelligent human-machine interface
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US20080183068A1 (en) * 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Visualization of Surgical Navigational and Neural Monitoring Information
WO2008101228A2 (en) 2007-02-15 2008-08-21 Hansen Medical, Inc. Robotic medical instrument system
US20080281301A1 (en) 2007-04-20 2008-11-13 Deboer Charles Personal Surgical Center
US10032236B2 (en) 2007-04-26 2018-07-24 General Electric Company Electronic health record timeline and the human figure
FR2920086A1 (fr) 2007-08-24 2009-02-27 Univ Grenoble 1 Systeme et procede d'analyse pour une operation chirurgicale par endoscopie
JP2009077362A (ja) * 2007-08-24 2009-04-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
KR101714060B1 (ko) 2008-05-27 2017-03-08 스트리커 코포레이션 다수의 의료 장치의 제어용 무선 의료실 제어 배열장치
KR101068916B1 (ko) 2008-07-03 2011-09-29 삼성메디슨 주식회사 의료 장치
US20100036676A1 (en) 2008-08-07 2010-02-11 E-Merge Health Solutions, Ltd. Computer implemented medical treatment management system
US8471899B2 (en) 2008-12-02 2013-06-25 Careview Communications, Inc. System and method for documenting patient procedures
US9687177B2 (en) 2009-07-16 2017-06-27 Resmed Limited Detection of sleep condition
US20110225000A1 (en) 2009-09-08 2011-09-15 Niazy Selim System for management and reporting of patient data
US8432472B2 (en) 2009-10-15 2013-04-30 Apple Inc. Camera for displaying digital images
US8392342B2 (en) 2009-11-18 2013-03-05 Empire Technology Development Llc Method and apparatus for predicting movement of a tool in each of four dimensions and generating feedback during surgical events using a 4D virtual real-time space
US20110264528A1 (en) 2010-04-26 2011-10-27 Whale Peter Contextual recommendations through proposed actions
WO2011143088A1 (en) 2010-05-10 2011-11-17 Vascular Management Associates, Inc. Billing system for medical procedures
EP2577641A4 (en) * 2010-05-26 2015-11-18 Health Research Inc METHOD AND SYSTEM FOR AUTOMATIC DETERMINATION OF A TOOL POSITION FOR EXERCISING MINIMALLY INVASIVE SURGICAL PROCEDURES
WO2011152489A1 (ja) 2010-06-03 2011-12-08 オリンパスメディカルシステムズ株式会社 画像記録システム及び画像記録方法
JP2011254975A (ja) 2010-06-09 2011-12-22 Nakashima Medical Co Ltd 手術支援システム
US8948478B2 (en) * 2010-10-08 2015-02-03 Codonics, Inc. Multi-media medical record system
KR102182874B1 (ko) 2011-02-15 2020-11-25 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 조임 예측을 나타내는 시스템
WO2012155077A2 (en) 2011-05-11 2012-11-15 Uab Research Foundation Methods, systems and computer program products for medical brain imaging analysis
JP5302484B1 (ja) 2011-10-11 2013-10-02 オリンパスメディカルシステムズ株式会社 医療情報管理システムおよび管理装置
JP2014533860A (ja) 2011-11-17 2014-12-15 ザ クリーブランド クリニック ファウンデーションＴｈｅ Ｃｌｅｖｅｌａｎｄ ＣｌｉｎｉｃＦｏｕｎｄａｔｉｏｎ 患者の縦断的なエピソードを管理するためのグラフィックツール
US20140328570A1 (en) 2013-01-09 2014-11-06 Sri International Identifying, describing, and sharing salient events in images and videos
CN104411226B (zh) * 2012-06-28 2017-01-18 皇家飞利浦有限公司 使用以机器人的方式操纵的内窥镜的增强的血管可视化
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US9094692B2 (en) 2012-10-05 2015-07-28 Ebay Inc. Systems and methods for marking content
US20140220527A1 (en) 2013-02-07 2014-08-07 AZ Board of Regents, a body corporate of the State of AZ, acting for & on behalf of AZ State Video-Based System for Improving Surgical Training by Providing Corrective Feedback on a Trainee's Movement
KR102119534B1 (ko) * 2013-03-13 2020-06-05 삼성전자주식회사 수술 로봇 및 그 제어방법
US20140270711A1 (en) 2013-03-15 2014-09-18 FitStar, Inc. Generating a custom exercise video
EP2967347B1 (en) 2013-03-15 2023-09-06 Synaptive Medical Inc. Intramodal synchronization of surgical data
US9171477B2 (en) 2013-03-25 2015-10-27 University Of Rochester Method and system for recognizing and assessing surgical procedures from video
US9619849B2 (en) 2013-03-26 2017-04-11 Eric Lee Rock Healthcare delivery system and method
US20150046182A1 (en) 2013-08-06 2015-02-12 Atigeo Llc Methods and automated systems that assign medical codes to electronic medical records
JP6782634B2 (ja) 2013-10-25 2020-11-11 ボルケーノ コーポレイション 患者の血管を評価する際の支援のために前記血管の情報を提供するためのシステム
WO2015066565A1 (en) 2013-10-31 2015-05-07 Health Research, Inc. System and method for a situation and awareness-based intelligent surgical system
US20150190208A1 (en) 2014-01-06 2015-07-09 Covidien Lp System and method for user interaction with medical equipment
US20150227501A1 (en) * 2014-02-07 2015-08-13 Arthrex, Inc. Graphical operative notes
US10373516B2 (en) 2014-03-07 2019-08-06 Global Vocabulary Llc Method for facilitating contextual vocabulary acquisition through association
WO2015164768A1 (en) 2014-04-24 2015-10-29 Arizona Board Of Regents On Behalf Of Arizona State University System and method for detecting polyps from learned boundaries
US20210290046A1 (en) 2014-05-09 2021-09-23 X-Biomedical, Inc. Portable surgical methods, systems, and apparatus
CA2961970A1 (en) 2014-09-23 2016-03-31 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
US20190362859A1 (en) 2014-11-19 2019-11-28 Kiran K. Bhat System for enabling remote annotation of media data captured using endoscopic instruments and the creation of targeted digital advertising in a documentation environment using diagnosis and procedure code entries
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US11275757B2 (en) 2015-02-13 2022-03-15 Cerner Innovation, Inc. Systems and methods for capturing data, creating billable information and outputting billable information
US10733267B2 (en) 2015-02-27 2020-08-04 Surgical Black Box Llc Surgical data control system
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
CN107615395B (zh) 2015-03-26 2021-02-05 外科安全技术公司 用于事件和差错预测的手术室黑盒设备、系统、方法和计算机可读介质
JP2018522610A (ja) * 2015-05-07 2018-08-16 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 解剖学的モデルの増補によって腹腔鏡外科処置を誘導するためのシステムおよび方法
WO2016187456A1 (en) 2015-05-20 2016-11-24 Gravitas Medical, Inc. Methods and apparatus for guiding medical care based on sensor data from the gastrointestinal tract
WO2016195698A1 (en) 2015-06-05 2016-12-08 Siemens Aktiengesellschaft Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
WO2017031175A1 (en) 2015-08-17 2017-02-23 University Of Maryland, Baltimore Automated surgeon performance evaluation
US20170053543A1 (en) 2015-08-22 2017-02-23 Surgus, Inc. Commenting and performance scoring system for medical videos
US20170083665A1 (en) * 2015-09-23 2017-03-23 Siemens Healthcare Gmbh Method and System for Radiology Structured Report Creation Based on Patient-Specific Image-Derived Information
AU2016343813A1 (en) 2015-10-29 2018-05-10 Sharp Fluidics Llc Systems and methods for data capture in an operating room
EP3834714A1 (en) 2015-11-03 2021-06-16 Fresenius Medical Care Holdings, Inc. Method and apparatus of assessment of access flow in hemodialysis patients by video imaging processing
US20170132785A1 (en) 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
CN108472084B (zh) * 2015-11-12 2021-08-27 直观外科手术操作公司 具有训练或辅助功能的外科手术系统
US10991070B2 (en) 2015-12-18 2021-04-27 OrthoGrid Systems, Inc Method of providing surgical guidance
US20170177807A1 (en) 2015-12-21 2017-06-22 Gavin Fabian Enhanced user interface for a system and method for optimizing surgical team composition and surgical team procedure resource management
WO2017114685A1 (en) * 2015-12-30 2017-07-06 Koninklijke Philips N.V. Medical reporting apparatus
EP3220301A1 (en) 2016-03-16 2017-09-20 CRF Inc. Method and system for collecting and analysing data from health monitoring devices
US10813700B2 (en) * 2016-04-27 2020-10-27 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US10806518B2 (en) * 2016-04-27 2020-10-20 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US10194990B2 (en) 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US11253321B2 (en) * 2016-04-27 2022-02-22 Arthrology Consulting, Llc Methods for augmenting a surgical field with virtual guidance and tracking and adapting to deviation from a surgical plan
US11370113B2 (en) 2016-09-06 2022-06-28 Verily Life Sciences Llc Systems and methods for prevention of surgical mistakes
US10342410B2 (en) 2016-10-26 2019-07-09 Virgo Surgical Video Solutions, Inc. Automated system for medical video recording and storage
KR20240018690A (ko) 2016-11-11 2024-02-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 외과의 숙련도 레벨 기반 기구 제어를 갖는 원격조작 수술 시스템
US10839221B2 (en) * 2016-12-21 2020-11-17 Facebook, Inc. Systems and methods for compiled video generation
EP3568783A4 (en) 2017-01-11 2020-11-11 Magic Leap, Inc. MEDICAL ASSISTANT
WO2018140415A1 (en) 2017-01-24 2018-08-02 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US11250947B2 (en) 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
US9922172B1 (en) 2017-02-28 2018-03-20 Digital Surgery Limited Surgical guidance system based on a pre-coded surgical procedural map
EP3613057B1 (en) 2017-04-18 2025-06-04 Intuitive Surgical Operations, Inc. Graphical user interface for planning a procedure
JP7165668B2 (ja) * 2017-04-21 2022-11-04 メディクレア インターナショナル １種または複数の患者特異的脊椎インプラントを開発するためのシステム
US11229496B2 (en) 2017-06-22 2022-01-25 Navlab Holdings Ii, Llc Systems and methods of providing assistance to a surgeon for minimizing errors during a surgical procedure
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US20190019574A1 (en) * 2017-07-14 2019-01-17 TruConsent System and method for creating an electronic consent-based medical record
US10878966B2 (en) * 2017-08-13 2020-12-29 Theator inc. System and method for analysis and presentation of surgical procedure videos
JP2020537205A (ja) 2017-08-23 2020-12-17 ザ ジェネラル ホスピタル コーポレーション ドゥーイング ビジネス アズ マサチューセッツ ジェネラル ホスピタル 意思決定理論モデルを用いた手術の意思決定支援
KR102609487B1 (ko) 2017-08-29 2023-12-04 리빗 메디컬 인코포레이티드 생검 조직 샘플 카세트 그리고 관련 시스템 및 방법
CA3277843A1 (en) 2017-10-17 2025-10-31 Verily Life Sciences Llc Systems and methods for segmenting surgical videos
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11659023B2 (en) * 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
KR101862360B1 (ko) * 2017-12-28 2018-06-29 (주)휴톰 수술결과에 대한 피드백 제공방법 및 프로그램
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
WO2019139478A1 (en) 2018-01-10 2019-07-18 Topic Ip3 B.V. A method of, and system for notifying medical staff involved in performing medical procedures in an operating room
US12102397B2 (en) 2018-01-19 2024-10-01 Verily Life Sciences Llc Step-based system for providing surgical intraoperative cues
US11967422B2 (en) * 2018-03-05 2024-04-23 Medtech S.A. Robotically-assisted surgical procedure feedback techniques
US11189379B2 (en) 2018-03-06 2021-11-30 Digital Surgery Limited Methods and systems for using multiple data structures to process surgical data
US11657087B2 (en) 2018-03-19 2023-05-23 Verily Life Sciences Llc Surgical video retrieval based on preoperative images
US11741365B2 (en) 2018-05-14 2023-08-29 Tempus Labs, Inc. Generalizable and interpretable deep learning framework for predicting MSI from histopathology slide images
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US20190371456A1 (en) 2018-05-31 2019-12-05 General Electric Company Operating room status and predictive scheduling
US11026585B2 (en) 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
EP3810015B1 (en) 2018-06-19 2025-01-29 Howmedica Osteonics Corp. Mixed-reality surgical system with physical markers for registration of virtual models
US10878570B2 (en) 2018-07-17 2020-12-29 International Business Machines Corporation Knockout autoencoder for detecting anomalies in biomedical images
EP3826525A4 (en) 2018-07-25 2022-04-20 The Trustees of The University of Pennsylvania METHODS, SYSTEMS AND COMPUTER-READABLE MEDIUM FOR GENERATION AND DELIVERY OF ARTIFICIAL INTELLIGENCE SUPPORTED SURGICAL GUIDANCE
US20180350144A1 (en) 2018-07-27 2018-12-06 Yogesh Rathod Generating, recording, simulating, displaying and sharing user related real world activities, actions, events, participations, transactions, status, experience, expressions, scenes, sharing, interactions with entities and associated plurality types of data in virtual world
US10679743B2 (en) 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
WO2020056086A1 (en) 2018-09-12 2020-03-19 Orthogrid Systems, Inc. An artificial intelligence intra-operative surgical guidance system and method of use
US11540794B2 (en) * 2018-09-12 2023-01-03 Orthogrid Systesm Holdings, LLC Artificial intelligence intra-operative surgical guidance system and method of use
US20240206990A1 (en) * 2018-09-12 2024-06-27 Orthogrid Systems Holdings, Llc Artificial Intelligence Intra-Operative Surgical Guidance System and Method of Use
US10930395B2 (en) 2018-11-23 2021-02-23 Asheleigh Adeline Mowery System for surgical decisions using deep learning
US10910103B2 (en) 2018-12-14 2021-02-02 Verb Surgical Inc. Method and system for extracting an actual surgical duration from a total operating room (OR) time of a surgical procedure
WO2020142537A1 (en) 2018-12-31 2020-07-09 Engauge LLC Surgical media streaming, archiving, and analysis platform
US11605161B2 (en) 2019-01-10 2023-03-14 Verily Life Sciences Llc Surgical workflow and activity detection based on surgical videos
US20200258616A1 (en) 2019-02-07 2020-08-13 The Regents Of The University Of Michigan Automated identification and grading of intraoperative quality
US20200342968A1 (en) 2019-04-24 2020-10-29 GE Precision Healthcare LLC Visualization of medical device event processing
US10791301B1 (en) 2019-06-13 2020-09-29 Verb Surgical Inc. Method and system for synchronizing procedure videos for comparative learning
US10646156B1 (en) 2019-06-14 2020-05-12 Cycle Clarity, LLC Adaptive image processing in assisted reproductive imaging modalities
US20210158845A1 (en) 2019-11-25 2021-05-27 Dell Products L. P. Automatically segmenting and indexing a video using machine learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263495A (ja) 2002-03-08 2003-09-19 Hitachi Medical Corp 医療情報管理システム
US20120035963A1 (en) 2009-03-26 2012-02-09 Koninklijke Philips Electronics N.V. System that automatically retrieves report templates based on diagnostic information
JP2015097065A (ja) 2013-11-15 2015-05-21 株式会社東芝 手術情報管理装置
US20180322949A1 (en) 2015-06-09 2018-11-08 Intuitive Surgical Operations, Inc. Video content searches in a medical context
US20190206565A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method for operating surgical instrument systems

Also Published As

Publication number Publication date
BR112021016621A2 (pt) 2021-11-03
CA3126444A1 (en) 2020-08-27
IL283770A (en) 2021-07-29
US20210012868A1 (en) 2021-01-14
JP2022520701A (ja) 2022-04-01
CN113748468B (zh) 2023-03-10
EP3928325C0 (en) 2023-07-05
KR20230126744A (ko) 2023-08-30
KR102694422B1 (ko) 2024-08-14
AU2020224128B2 (en) 2021-09-30
JP2024054349A (ja) 2024-04-16
IL283773B (en) 2022-02-01
IL283773A (en) 2021-07-29
US20250279172A1 (en) 2025-09-04
US20240055088A1 (en) 2024-02-15
IL283769A (en) 2021-07-29
US20200273575A1 (en) 2020-08-27
IL283770B (en) 2022-01-01
EP4235691A3 (en) 2023-12-27
US20250270079A1 (en) 2025-08-28
US20220301674A1 (en) 2022-09-22
EP3928325B1 (en) 2023-07-05
IL283772B (en) 2022-02-01
JP2025029156A (ja) 2025-03-05
US20200273548A1 (en) 2020-08-27
KR20240125989A (ko) 2024-08-20
US20200268457A1 (en) 2020-08-27
WO2020172414A1 (en) 2020-08-27
US11380431B2 (en) 2022-07-05
EP3928325A1 (en) 2021-12-29
US11763923B2 (en) 2023-09-19
KR102572006B1 (ko) 2023-08-31
AU2020224128A1 (en) 2021-07-08
US10943682B2 (en) 2021-03-09
EP4235691A2 (en) 2023-08-30
US20230401649A1 (en) 2023-12-14
US20200273552A1 (en) 2020-08-27
IL283767A (en) 2021-07-29
US10729502B1 (en) 2020-08-04
KR20210132130A (ko) 2021-11-03
JP7602080B2 (ja) 2024-12-17
US12315609B2 (en) 2025-05-27
US10886015B2 (en) 2021-01-05
IL283767B (en) 2022-01-01
CN113748468A (zh) 2021-12-03
IL283772A (en) 2021-07-29
US12334200B2 (en) 2025-06-17

Similar Documents

Publication Publication Date Title
JP7602080B2 (ja) 手術ビデオの解析のためのシステム及び方法
US11769207B2 (en) Video used to automatically populate a postoperative report
US11116587B2 (en) Timeline overlay on surgical video

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230220

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240215

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241127

R150 Certificate of patent or registration of utility model

Ref document number: 7596269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150