CN118216156A - 基于特征的手术视频压缩 - Google Patents

Abstract

在外科手术期间捕获的数据可以包括如来自内窥镜或显微镜相机、外部相机等的多个视频流，以及来自该外科手术期间使用的一个或多个器械的数据。因此，通过通信网络传输手术数据并存储该手术数据是资源密集型的，并且是一项技术挑战。描述了用于通过智能压缩方法来优化该手术数据的技术解决方案，这些智能压缩方法可以自适应地减小某些手术工作流程的大小。在一些方面，该压缩是可调的，使得不同的手术阶段或手术动作在对压缩后的数据的任何使用中具有可变的保真度。

Description

基于特征的手术视频压缩

背景技术

本发明总体上涉及计算技术，并且更具体地涉及用于使用机器学习预测、基于对捕获数据中的特征(如手术阶段和器械)的自动检测来压缩在外科手术或一系列手术期间捕获的数据的计算技术。

计算机辅助系统，特别是计算机辅助手术系统，依赖于在手术期间以数字方式捕获的视频数据。这种视频数据可以在外科手术期间被存储和/或流式传输或处理。在一些情况下，视频数据可以用于增强人的身体感觉、感知和反应能力或器械的功能。例如，这种系统可以有效地提供与在时间和空间上扩展的视野相对应的信息，从而使得人能够基于未包括在其物理视野中的环境部分来调整当前和未来的行动。可替代地或另外地，视频数据可以被存储和/或传输以用于几个目的，如存档、训练、术后分析、事件记录、患者咨询等。

发明内容

根据一个或多个方面，一种计算机实施的方法包括由处理器接收外科手术的视频流的一部分，该视频流在该外科手术正在执行时被传输到该处理器。该方法进一步包括由该处理器识别通过该视频流的部分捕获的该外科手术的手术操纵。该方法进一步包括由该处理器为该视频流的部分选择压缩协议，该选择基于所识别的手术操纵，并且该选择从分别用于多个手术操纵的一组预定压缩协议中进行，其中，第一手术操纵与第一压缩协议相关联，该第一压缩协议不同于与第二手术操纵相关联的第二压缩协议。该方法进一步包括由该处理器使用所选择的压缩协议来压缩该视频流的部分。该方法进一步包括由该处理器输出该视频流的部分的压缩版本。

在一个或多个方面，该手术操纵是使用一个或多个机器学习模型来识别的。

在一个或多个方面，该视频流是从一组相机中的一个相机接收的，该组相机包括内窥镜相机、便携式相机和固定相机。

在一个或多个方面，与该第一手术操纵相关联的第一部分是使用该第一压缩协议来压缩的；并且与该第二手术操纵相关联的第二部分是使用该第二压缩协议来压缩的。

在一个或多个方面，该方法进一步包括由该处理器通过通信网络来传输该视频流的部分的压缩版本。

在一个或多个方面，该方法进一步包括由该处理器来存储该视频流的部分的压缩版本。

在一个或多个方面，该方法进一步包括：由该处理器从该视频流的部分中检测该手术操纵中的异常事件，并且作为响应，在不压缩该视频流的部分的情况下由该处理器输出该视频流的部分。

在一个或多个方面，该方法进一步包括在输出该视频流的部分之前，由该处理器将该压缩协议的标识符与该部分相关联。在一个或多个方面，该方法，在该视频流的回放期间，基于与该视频流的部分相关联的该压缩协议的标识符对该部分进行解压。

根据一个或多个方面，一种系统包括机器学习训练系统，该机器学习训练系统包括一个或多个机器学习模型，该一个或多个机器学习模型被训练成识别外科手术的视频中的多个手术操纵。该系统进一步包括数据收集系统，该数据收集系统被配置为通过使用多个压缩协议压缩该外科手术的视频来生成该外科手术的视频的副本。生成该视频的副本包括识别该外科手术的视频中包括该多个手术操纵中的第一手术操纵的第一片段，并使用第一压缩协议来压缩该视频的第一片段。生成该视频的副本进一步包括识别该外科手术的视频中包括该多个手术操纵中的第二手术操纵的第二片段，并使用第二压缩协议来压缩该视频的第二片段。

在一个或多个方面，在该视频的副本中，该第一片段与该第一压缩协议的标识符相关联，并且该第二片段与该第二压缩协议的标识符相关联。

在一个或多个方面，该系统还包括视频回放系统，该视频回放系统被配置为通过基于该第一压缩协议的标识符对该第一片段进行解压并基于该第二压缩协议的标识符对该第二片段进行解压来回放该视频的副本。

在一个或多个方面，选择该第一压缩协议以基于该第一手术操纵压缩该第一片段。

在一个或多个方面，生成该视频的副本进一步包括识别该外科手术的视频中包括该多个手术操纵中的第三手术操纵的第三片段，并且响应于在该第三手术操纵期间发生异常事件而不压缩该视频的第三片段。

根据一个或多个方面，一种计算机程序产品包括其上存储有计算机可执行指令的存储器设备，这些计算机可执行指令当由一个或多个处理器执行时使该一个或多个处理器执行方法。该方法包括使用一个或多个机器学习模型来识别出外科手术的视频的第一片段包括该外科手术的第一手术操纵。该方法包括使用该一个或多个机器学习模型来识别出该视频的第二片段包括该外科手术的第二手术操纵。该方法进一步包括基于用于该外科手术的多个手术操纵的压缩协议的预定映射来将第一压缩协议与该第一片段相关联并且将第二压缩协议与该第二片段相关联。该方法进一步包括通过使用该第一压缩协议压缩该第一片段并使用该第二压缩协议压缩该第二片段来压缩该外科手术的视频。

在一个或多个方面，该方法进一步包括使用该一个或多个机器学习模型将该视频的第三片段识别为包括该外科手术的第三手术操纵。进一步地，该方法包括响应于该第三手术操纵与异常事件相关联而不将该第三片段与压缩协议相关联。

在一个或多个方面，该方法进一步包括使用该一个或多个机器学习模型将该视频的第三片段识别为包括该外科手术的第三手术操纵。该方法进一步包括响应于该第三手术操纵与异常事件相关联而将该第三片段与具有最小压缩的压缩协议相关联。

在一个或多个方面，嵌入有该视频的第一片段的该第一压缩协议的标识符用于通过使用该第一压缩协议对该第一片段进行解压来回放该视频。

该方法进一步包括存储经压缩的视频。

在一个或多个方面，将该第一压缩协议与该第一片段相关联包括在该视频的标头中包括该第一压缩协议的标识符以及该第一片段的开始时间和结束时间。

通过本发明的技术实现了附加的技术特征和益处。本文详细描述了本发明的各方面，并将其视为所要求保护的主题的一部分。为了更好地理解，请参考详细描述和附图。

附图说明

在说明书结尾处的权利要求中特别指出并明确要求保护本文描述的专有权利的细节。通过以下结合附图进行的详细描述，本发明的各方面的前述和其他特征以及优点将显而易见，在附图中：

图1示出了根据一个或多个方面的计算机辅助手术系统；

图2示出了根据一个或多个方面的用于分析由视频记录系统捕获的视频的系统；

图3描绘了根据一个或多个方面的用于进行基于特征的手术视频压缩的方法的流程图；

图4描绘了根据一个或多个方面的对视频目录进行分析以进行基于特征的手术视频压缩；

图5描绘了根据一个或多个方面的计算机系统；以及

图6描绘了根据一个或多个方面的外科手术系统。

本文描绘的图是说明性的。在不脱离本发明的精神的情况下，这些图或其中描述的操作可以有许多变型。例如，可以以不同的顺序执行动作，或者可以添加、删除或修改动作。此外，术语“耦接”及其变型描述了在两个元件之间具有通信路径，并且不暗示元件之间的没有中间元件/连接的直接连接。所有这些变型都被视为本说明书的一部分。

具体实施方式

在本文描述的技术解决方案的示例性方面，提供了一种计算机辅助手术(CAS)系统，其使用一个或多个机器学习模型来捕获在外科手术期间参与执行一个或多个动作的行动者(例如，外科医生)所感测的数据作为手术数据。

捕获的手术数据可以包括外科手术的一个或多个视频以及相关联的设备信息。例如，设备信息可以包括在手术期间收集的信号(例如，来自器械、能量设备、机器人运动控制器或其他成像源的数据)。视频可以使用内窥镜或显微镜相机来捕获，该相机在外科手术的位置附近穿过患者体内以观看和记录在外科手术期间执行的一个或多个动作。视频也可以来自安装在手术室中并位于手术部位外部的相机。在一个或多个示例中，可以传输和/或记录所捕获的视频。在一些示例中，可以在手术后对视频进行分析和注释。存储由于执行了大量外科手术而生成的大量视频数据存在技术挑战。本文描述的技术解决方案的示例性方面除其他外涉及用于维护外科手术视频的设备、系统、方法、计算机可读介质、技术和方法论。

另外，本文描述的技术解决方案的示例性方面除其他外涉及用于使用机器学习和计算机视觉来自动预测或检测手术数据中的手术阶段、解剖信息和器械信息以便预测视频的不同部分的不同压缩率的设备、系统、方法、计算机可读介质、技术和方法论。更一般地，各方面可以包括与一个或多个结构相关联的对象检测、运动跟踪和预测，这些结构被认为对于在外科手术期间参与执行一个或多个动作的行动者(例如，外科医生)或者确定外科手术阶段或过程的重要性来说是至关重要的。在一个或多个方面，当手术数据(包括视频)被本文描述的技术解决方案捕获和分析时，这些结构被动态且基本实时地预测。预测的结构可以是解剖结构、手术器械、事件等。可替代地或另外地，这些结构例如是根据存储的手术数据以离线方式预测的。

为训练机器学习模型而提供的手术数据可以包括在外科手术期间捕获的数据和模拟数据。手术数据可以包括与手术环境相对应的时变图像数据(例如，来自不同类型相机的模拟/真实视频流)。手术数据还可以包括其他类型的数据流，如音频、射频标识符(RFID)、文本、机器人传感器、来自器械的能量分布、其他信号等。机器学习模型被训练成预测和识别手术数据中的“结构”，包括特定工具、解剖对象、在模拟/真实手术阶段执行的动作。在一个或多个方面，机器学习模型被训练成定义一个或多个模型的参数，以学习如何变换新的输入数据(模型未被训练的数据)来识别一个或多个结构。在训练期间，模型接收一个或多个数据流作为输入，该一个或多个数据流可以用指示数据流中的结构的数据(如由与输入数据相关联的元数据和/或图像分割数据来指示)来扩充。训练期间使用的数据还可以包括一个或多个输入数据的时间序列。

在一个或多个方面中，可以生成模拟数据以包括与可变视角、相机姿态、照明(例如，强度、色调等)和/或成像对象(例如，工具)的运动相关联的图像数据(例如，其可以包括时序图像数据或视频数据，并且可以以任何敏感度波长生成)。在一些实例中，可以生成多个数据集——每个数据集对应于同一成像虚拟场景，但在视角、相机姿态、照明和/或成像对象的运动方面有所不同，或者在用于感测的模态(例如，红绿蓝(RGB)图像或深度或温度或特定照明光谱或对比度信息)方面有所不同。在一些实例中，多个数据集中的每一个对应于不同的成像虚拟场景，并且进一步在视角、相机姿态、照明和/或成像对象的运动方面有所不同。

机器学习模型可以包括例如全卷积网络自适应(FCN)、图形神经网络，和/或配置有用于阶段和/或手术器械检测的一个或多个超参数的条件生成式对抗网络模型。例如，机器学习模型(例如，全卷积网络自适应)可以被配置为在多个类别中执行有监督、自我监督或半监督语义分割——每个类别对应于特定的手术器械、解剖身体部位(例如，通常为或处于特定状态)和/或环境。可替代地或另外地，机器学习模型(例如，条件生成式对抗网络模型)可以被配置为执行无监督域自适应，以将模拟图像转换为语义器械分割。应当理解，在一个或多个方面中可以使用其他类型的机器学习模型或其组合。机器学习模型可以被进一步训练成执行手术阶段检测，并且可以被开发用于各种手术工作流程，如本文进一步描述的。机器学习模型可以作为一个组(也称为整体)来集体管理，其中，机器学习模型一起使用并且可以共享模型元素之间的特征空间。如此，本文对一个或多个机器学习模型的引用可以指一起使用(如对同一组数据进行操作)的多个机器学习模型的组合。尽管关于机器学习模型的类型描述了具体示例，但是也可以使用其他机器学习和/或深度学习技术来实施本文描述的特征。

在一个或多个方面中，使用联合训练过程来训练一个或多个机器学习模型以找到多个任务之间的相关性，这些相关性可以基于一组共享的输入数据来观察和预测。通过使用先前训练的机器学习网络的一部分来进一步标记或完善用于训练一个或多个机器学习模型的训练数据集，可以实现进一步的机器学习完善。例如，半监督或自我监督学习可以用于使用部分注释的输入数据作为训练数据集来对一个或多个机器学习模型进行初始训练。部分注释的训练数据集可能缺少与特定输入相关联的一些数据上的标签，如缺少器械数据上的标签。作为一个或多个机器学习模型的一部分进行学习的器械网络可以应用于部分注释的训练数据集，以将缺失的标签添加到训练数据集中的部分标记的器械数据。填充了至少一部分缺失标签的更新后的训练数据集可以用于进一步训练一个或多个机器学习模型。这种迭代训练过程可以使得模型大小压缩以获得更快的性能，并且可以通过训练整体来提高总体准确性。例如，在共享特征集使得与手术器械相关的特征集也用于手术阶段检测的情况下，可以提高整体性能。因此，提高与器械数据相关的机器学习的性能方面也可以提高主要针对其他任务的其他网络的性能。

在训练之后，一个或多个机器学习模型然后可以实时用于处理一个或多个数据流(例如，视频流、音频流、RFID数据等)。处理可以包括在各种瞬时或一段时间段内预测和表征一个或多个手术阶段、器械和/或其他结构。

这些结构可以用于识别手术工作流程内的阶段(例如，经由手术数据结构来表示)，预测工作流程内的未来阶段、手术的剩余时间等。工作流程可以分为层次结构，如事件、动作、步骤、手术目标、阶段、并发症以及与标准工作流程的偏差。例如，事件可以是相机进入、相机退出、流血、渗漏测试等。动作可以包括正在执行的手术活动，如切开、抓取等。步骤可以包括作为执行动作的一部分的低级别任务，如第一吻合器击发、第二吻合器击发等。手术目标可以定义手术期间的期望结果，如胃袖产生、胃囊产生等。阶段可以定义外科手术期间的状态，如准备、手术、闭合等。并发症可以定义问题或异常情况，如出血、吻合移位等。偏差可以包括指示从先前学习的工作流程发生任何类型的变化的替代路线。如本文进一步描述的，各方面可以包括工作流程检测和预测。

图1描绘了根据一个或多个方面的示例CAS系统。CAS系统100至少包括计算系统102、视频记录系统104和手术器械系统106。

行动者112可以是使用CAS系统100对患者110执行外科手术的医务人员。医务人员可以是外科医生、助手、护士、管理员或在手术环境中与CAS系统100交互的任何其他行动者。外科手术可以是任何类型的手术，如但不限于白内障手术、腹腔镜胆囊切除术、内镜鼻内经蝶入路(eTSA)垂体腺瘤切除术或任何其他外科手术。在一些情况下，外科手术可以是机器人手术，即行动者112是机器人，例如，机器人部分肾切除术、机器人前列腺切除术等。在其他示例中，行动者112可以是技术人员、管理员、工程师或与CAS系统100交互的任何其他这样的人员。例如，行动者112可以记录来自CAS系统100的数据、配置/更新CAS系统100的一个或多个属性、检查CAS系统100的过去性能、修复CAS系统100等。

外科手术可以包括多个阶段，并且每个阶段可以包括一个或多个手术动作。“手术动作”可以包括切开、压迫、吻合、夹闭、缝合、烧灼、封闭或为完成外科手术中的某一阶段而执行的任何其他这样的动作。“阶段”表示由一系列步骤组成的手术事件(例如，闭合)。“步骤”是指完成指定的手术目标(例如，止血)。在每个步骤期间，使用某些手术器械108(例如，镊子)以通过执行一个或多个手术动作来实现特定目标。如本文所使用的，“手术操纵”可以指任何手术阶段、手术动作、步骤等。

手术器械系统106提供电能以操作一个或多个手术器械108来执行手术动作。电能触发手术器械108的激活。电能可以以电流或电压的形式提供。激活可以使得执行手术动作。手术器械系统106可以进一步包括电能传感器、电阻抗传感器、力传感器、气泡和阻塞传感器以及各种其他类型的传感器。电能传感器可以测量和指示施加到用于外科手术的一个或多个手术器械108上的电能的量。阻抗传感器可以指示由手术器械108测量的(例如来自正在接受手术的组织的)阻抗的量。力传感器可以指示手术器械108所施加的力的大小。也可以输入来自各种其他传感器(如位置传感器、压力传感器、流量计)的测量值。

视频记录系统104包括一个或多个相机，如手术室相机、内窥镜相机等。相机捕获正在执行的外科手术的视频数据。视频记录系统104包括一个或多个视频捕获设备，该一个或多个视频捕获设备可以包括放置在手术室中以捕获正在接受手术的患者周围(即，体外)的事件的相机。视频记录系统104进一步包括穿过患者体内以捕获内窥镜数据的相机(例如，内窥镜相机)。内窥镜数据提供外科手术的视频和图像。

计算系统102包括一个或多个存储器设备、一个或多个处理器、用户界面设备以及其他部件。计算系统102可以执行一个或多个计算机可执行指令。指令的执行便于计算系统102执行一种或多种方法，包括本文描述的方法。计算系统102可以经由有线和/或无线网络与其他计算系统通信。在一个或多个示例中，计算系统102包括一个或多个经训练的机器学习模型，该一个或多个经训练的机器学习模型可以检测和/或预测正在执行或之前已经执行的外科手术的特征。特征可以包括所捕获的外科手术视频中的结构，如解剖结构、手术器械(108)或空间信息的其他表示。特征可以进一步包括如外科手术中的阶段、动作等事件。检测到的特征可以进一步包括行动者112、患者110。在一个或多个示例中，基于检测，计算系统102可以为行动者112要采取的后续动作提供建议。可替代地或附加地，计算系统102可以基于检测提供一个或多个报告。由机器学习模型进行的检测可以以自主或半自主的方式执行。

机器学习模型可以包括人工神经网络(如深度神经网络、卷积神经网络、循环神经网络)、编码器、解码器、图形网络或任何其他类型的机器学习模型。机器学习模型可以以有监督、无监督或混合的方式进行训练。机器学习模型可以被训练成使用由CAS系统100获取的一种或多种类型的数据来执行检测和/或预测。例如，机器学习模型可以使用经由视频记录系统104捕获的视频数据。可替代地或附加地，机器学习模型使用来自手术器械系统106的手术器械数据。在又其他示例中，机器学习模型可以使用在外科手术期间捕获的视频数据和手术器械数据或其他设备数据的任何组合。

另外，在一些示例中，机器学习模型还可以使用在外科手术期间捕获的音频数据。音频数据可以包括在激活一个或多个手术器械108时由手术器械系统106发出的声音。可替代地或另外地，音频数据可以包括来自一个或多个行动者112的语音命令、片段或对话。音频数据可以进一步包括手术器械108在其使用期间制造的声音。

在一个或多个示例中，机器学习模型可以从与外科手术相关联的数据中检测手术动作、手术阶段、解剖结构、手术器械以及各种其他特征。在一些示例中，检测可以实时执行。可替代地或附加地，计算系统102以离线方式(例如，在手术后)分析手术数据(即，在外科手术期间捕获的各种类型的数据)。在一个或多个示例中，机器学习模型基于检测如解剖结构、手术器械等特征中的一些特征来检测手术操纵。

可以采用数据收集系统150来存储手术数据。在一些方面，外科手术的“手术数据”是与正在执行的外科手术的捕获视频同步的外科手术的所有捕获数据的集合。手术数据P＝{视频，视频同步数据，手术数据}。这里，视频捕获了外科手术；视频同步数据包括设备数据(例如，能量分布、手术器械激活/去激活等)；并且手术数据包括外科手术的元数据(例如，外科医生身份和人口统计信息、患者身份和人口统计信息、医院身份和人口统计信息等)。在一些方面，手术数据P可以包括附加信息。在一些示例中，可以使用患者的电子病历来填充手术数据。

数据收集系统150包括一个或多个存储设备152。数据收集系统150可以是本地存储系统、基于云的存储系统或其组合。进一步地，数据收集系统150可以使用任何类型的基于云的存储架构，例如，公共云、私有云、混合云等。在一些示例中，数据收集系统可以使用分布式存储，即，存储设备152位于不同的地理位置。存储设备152可以包括用于记录机器可读数据的任何类型的电子数据存储介质，如基于半导体的存储介质、基于磁性的存储介质、基于光学的存储介质或其组合。例如，数据存储介质可以包括基于闪存的固态驱动器(SSD)、基于磁性的硬盘驱动器、磁带、光盘等。

在一个或多个示例中，数据收集系统150可以是视频记录系统104的一部分，反之亦然。在一些示例中，数据收集系统150、视频记录系统104和计算系统102可以经由通信网络彼此通信，该通信网络可以是有线的、无线的或其组合。系统之间的通信可以包括数据(例如，视频数据、器械数据等)的传输、数据操纵命令(例如，浏览、复制、粘贴、移动、删除、创建、压缩等)、数据操纵结果等。在一个或多个示例中，计算系统102可以基于来自一个或多个机器学习模型的输出(例如，阶段检测、结构检测等)来操纵已经存储/正存储在数据收集系统150中的数据。可替代地或另外地，计算系统102可以基于来自手术器械系统106的信息来操纵已经存储/正存储在数据收集系统150中的数据。

在一个或多个示例中，由视频记录系统104捕获的视频存储在数据收集系统150上。在一些示例中，计算系统102对存储在数据收集系统150上的视频数据的部分进行整理。在一些示例中，计算系统102在由视频记录系统104捕获的视频被存储在数据收集系统150上之前对该视频进行过滤。可替代地或另外地，计算系统102在由视频记录系统104捕获的视频被存储在数据收集系统150上之后对该视频进行过滤。

图2示出了根据一个或多个方面的用于分析由视频记录系统捕获的视频的系统200。该分析可以使得使用机器学习来预测视频数据中的手术操纵和结构(例如，器械、解剖结构等)。在一个或多个示例中，系统200可以是计算系统102或其一部分。根据一些方面，系统200使用手术数据中的数据流来识别手术状态。

系统200包括数据接收系统205，该数据接收系统收集手术数据，包括视频数据和手术器械数据。数据接收系统205可以包括位于外科手术室和/或控制中心内和/或与该外科手术室和/或控制中心相关联的一个或多个设备(例如，一个或多个用户设备和/或服务器)。数据接收系统205可以实时接收手术数据，即，在外科手术正在执行时接收手术数据。可替代地或另外地，数据接收系统205可以以离线方式接收或访问手术数据，例如，通过访问存储在数据收集系统150中的数据来进行访问。

系统200进一步包括机器学习处理系统210，该机器学习处理系统使用一个或多个机器学习模型来处理手术数据以识别手术数据中的一个或多个特征，如手术操纵、器械、解剖结构等。将理解的是，机器学习处理系统210可以包括一个或多个设备(例如，一个或多个服务器)，每个设备可以被配置为包括机器学习处理系统210的一个或多个所描绘部件的部分或全部。在一些实例中，机器学习处理系统210的部分或全部位于云中和/或远离与数据接收系统205的部分或全部相对应的手术室和/或物理位置。将理解的是，本文描绘和描述了机器学习处理系统210的几个部件。然而，这些部件只是机器学习处理系统210的一个示例结构，并且在其他示例中，可以使用这些部件的不同组合来构造机器学习处理系统210。部件的组合的这种变化包含在本文描述的技术解决方案中。

机器学习处理系统210包括机器学习训练系统225，该机器学习训练系统可以是将其输出存储为一个或多个经训练的机器学习模型230的单独设备(例如，服务器)。机器学习模型230可由模型执行系统240访问。在一些示例中，模型执行系统240可以与机器学习训练系统225分离。换句话说，在一些方面，“训练”模型的设备与“推断”(即，使用经训练的机器学习模型230来执行手术数据的实时处理)的设备分离。

在一些示例中，机器学习处理系统210进一步包括数据生成器215，该数据生成器用于生成模拟手术数据(如虚拟图像集)或者记录来自视频记录系统104的视频数据，以训练机器学习模型230。数据生成器215可以访问(读取/写入)数据存储器220来记录数据，包括多个图像和/或多个视频。图像和/或视频可以包括在一个或多个手术(例如，一个或多个外科手术)期间收集的图像和/或视频。例如，图像和/或视频可能已经被行动者112(例如，外科医生、外科护士、麻醉师等)在手术期间配戴的用户设备、位于手术室内的不可配戴成像设备或插入患者110体内的内窥镜相机收集。在一些示例中，数据存储器220与数据收集系统150分离。在其他示例中，数据存储器220是数据收集系统150的一部分。

记录在数据存储器220中用于训练机器学习模型230的每个图像和/或视频可以被定义为基础图像，并且可以与表征相关联手术和/或渲染规范的其他数据相关联。例如，其他数据可以标识手术类型、手术位置、参与执行手术的一个或多个人、手术目标和/或手术结果。可替代地或另外地，其他数据可以指示图像或视频所对应的手术阶段、图像或视频所对应的呈现规范和/或捕获图像或视频的成像设备的类型(例如，如果设备是可配戴设备，和/或配戴该设备的特定人的角色等)。进一步地，其他数据可以包括标识和/或表征在图像或视频中描绘的一个或多个对象(例如，工具、解剖对象等)的图像分割数据。表征可以指示图像中对象的位置、取向或姿态。例如，表征可以指示与对象相对应的一组像素和/或由过去或当前用户操作产生的对象状态。可以使用用于在一个或多个坐标系中识别对象的各种技术来执行定位。

机器学习训练系统225使用数据存储器220中的记录数据来训练机器学习模型230，该记录数据可以包括模拟手术数据(例如，虚拟图像集)和实际手术数据。机器学习模型230可以基于模型类型和超参数集来定义(例如，基于来自客户端设备的输入来定义)。机器学习模型230可以基于参数集来配置，该参数集可以基于(例如，连续或重复的)训练(即，学习、参数调整)来动态地定义。机器学习训练系统225可以使用一个或多个优化算法来定义该参数集，以最小化或最大化一个或多个损失函数。(学习到的)参数集可以作为经训练的机器学习模型230的一部分使用该经训练的机器学习模型230的特定数据结构进行存储。数据结构还可以包括一个或多个不可学习的变量(例如，超参数和/或模型定义)。

机器学习执行系统240可以访问机器学习模型230的(多个)数据结构，并相应地配置机器学习模型230以用于推断(即，预测)。机器学习模型230可以包括例如全卷积网络自适应、对抗网络模型、编码器、解码器或其他类型的机器学习模型。机器学习模型230的类型可以在对应的数据结构中指示。机器学习模型230可以根据一个或多个超参数和学习到的参数集来配置。

机器学习模型230在执行期间接收要处理的手术数据作为输入，并随后根据训练生成一个或多个推断。例如，由视频记录系统104捕获的视频数据可以包括单个图像或一组帧(例如，包括多个图像或具有序列数据的图像)中的每一个的数据流(例如，强度、深度和/或RGB值的阵列)，该组帧表示视频中固定或可变长度的时间窗口。由视频记录系统104捕获的视频数据可以由数据接收系统205接收，该数据接收系统可以包括位于正在执行外科手术的手术室内的一个或多个设备。可替代地，数据接收系统205可以包括位于远处的设备，在外科手术的执行期间，捕获的视频数据被实时地流式传输到该设备。可替代地或另外地，数据接收系统205以离线方式从数据收集系统150或任何其他数据源(例如，本地或远程存储设备)存取数据。

数据接收系统205可以处理接收到的视频数据。当接收到编码或压缩格式的视频流时，该处理可以包括解码和/或解压，使得可以提取和处理图像序列的数据。数据接收系统205还可以处理输入手术数据中包括的其他类型的数据。例如，作为设备数据的一部分，手术数据可以包括附加的非视频数据流，如音频数据、RFID数据、文本数据、来自一个或多个手术器械/传感器的测量值等，其可以表示手术室中的刺激/手术状态。数据接收系统205在将来自不同设备/传感器的不同输入输入到机器学习处理系统210之前对其进行同步。

机器学习模型230一经训练就可以分析输入手术数据，并且在一个或多个方面，可以预测和/或表征手术数据中包括的视频数据中包括的结构。视频数据可以包括连续图像和/或编码视频数据(例如，使用数字视频文件/流格式和/或编解码器和容器进行编码，如MP4、H.264、MOV、WEBM、AVCHD、OGG等)。结构的预测和/或表征可以包括分割视频数据或用概率热图预测结构的定位。在一些实例中，一个或多个机器学习模型包括在分割视频数据之前执行的预处理或增强(例如，强度归一化、调整大小、裁剪等)或与其相关联。一个或多个机器学习模型的输出可以包括图像分割或概率热图数据，其指示在视频数据内预测了定义的一组结构中的哪些结构(如果有的话)、视频数据内的(多个)结构的位置和/或定位和/或姿态、和/或(多个)结构的状态。位置可以是视频数据中的图像/帧中的一组坐标。例如，坐标可以提供边界框。坐标可以提供所预测的(多个)结构周围的边界。在一个或多个示例中，机器学习模型230被训练成执行更高级别的预测和跟踪，如预测外科手术的阶段以及跟踪外科手术中使用的一个或多个手术器械。

虽然本文描述了用于预测外科手术中的手术操纵的一些技术，但是应当理解，可以使用不影响本文描述的技术解决方案的各方面的任何其他操纵预测技术。在一些示例中，机器学习处理系统210包括操纵检测器250，该操纵检测器使用机器学习模型来识别外科手术(“手术”)内的操纵。操纵检测器250使用手术跟踪数据结构列表中的特定手术跟踪数据结构255。操纵检测器250基于正在执行的外科手术的类型来选择手术跟踪数据结构255。在一个或多个示例中，外科手术的类型由行动者112预先确定或输入。手术跟踪数据结构255识别可能对应于特定类型的手术的一部分的一组潜在操纵。

在一些示例中，手术跟踪数据结构255可以是包括一组节点和一组边的图，其中每个节点对应于潜在操纵。这些边可以提供节点之间的定向连接，该定向连接(经由方向)指示在整个程序迭代中将遇到操纵的预期顺序。手术跟踪数据结构255可以包括一个或多个分支节点，该一个或多个分支节点馈送到多个下一个节点和/或可以包括节点之间的一个或多个分歧点和/或汇聚点。在一些实例中，操纵指示正在执行或已经执行的手术动作(例如，外科手术动作)和/或指示已经执行的动作的组合。在一些示例中，操纵与正在接受外科手术的患者的生物状态有关。例如，生物状态可以指示并发症(例如，血凝块、动脉/静脉阻塞等)、先决条件(例如，病变、息肉等)。在一些示例中，机器学习模型230被训练成检测“异常事件”，如出血、心律失常、血管异常等。在一些方面，“异常事件”是在外科手术期间发生的不利事件，如流血、渗漏、关键结构中的直接操纵等。在一些方面，异常事件还可以包括新手术操纵的开始/结束。进一步地，在一些方面，异常事件可以包括检测到新的手术器械进入相机的视野。

手术跟踪数据结构255内的每个节点可以识别对应于该节点的操纵的一个或多个特征。这些特征可以包括视觉特征。在一些实例中，节点标识在操纵期间通常正在使用或可供使用(例如，在工具托盘上)的一个或多个工具。节点还标识通常正在执行手术任务的人的一个或多个角色、典型类型的移动(例如，手或工具的移动)等。因此，操纵检测器250可以使用由模型执行系统240生成的指示视野内特定对象的存在和/或特性的分段数据来识别真实图像数据所对应的估计节点。节点(即，操纵)的识别可以进一步基于先前检测到的给定程序迭代的操纵和/或其他检测到的输入(例如，包括个人对个人的请求或评论的口头音频数据、当前或过去操纵的显式标识、信息请求等)。

操纵检测器250输出与由机器学习处理系统210分析的视频数据的部分相关联的操纵预测。通过识别由机器学习执行系统240分析的视频部分的开始时间和结束时间将该操纵预测与该视频数据的部分相关联。输出的操纵预测可以包括由操纵检测器250基于机器学习执行系统240的输出检测到的手术操纵的标识。进一步地，在一个或多个示例中，操纵预测可以包括由机器学习执行系统240在所分析的视频部分中识别的结构(例如，器械、解剖结构等)的标识。操纵预测还可以包括预测的置信度得分。其他示例可以包括输出的操纵预测中的各种其他类型的信息。

图3描绘了根据一个或多个方面的用于进行基于特征的手术视频压缩的方法的流程图。方法300可以由图1中的系统100执行，是一种计算机实施的方法。方法300包括使用机器学习处理系统210来检测、预测和跟踪外科手术的视频中的特征，包括手术操纵、解剖结构和器械。系统100基于每个部分的操纵预测来以不同方式处理正在分析的视频的不同部分，该操纵预测由机器学习处理系统210输出。不同类型的处理可以包括使用不同的压缩协议(例如，不同的编解码器)对不同的部分进行编码。

在框302处，系统100可以访问输入数据，包括例如与外科手术的视频流在时间上相关联的视频数据、空间数据和传感器数据。如前所述，可以在外科手术正在执行时实时访问输入数据。可替代地，输入数据可以以离线方式(手术后)访问，例如从数据收集系统150访问。在一个或多个示例中，访问输入数据包括接收或访问外科手术的视频的一个或多个部分。在一些示例中，视频在外科手术正在执行时作为视频流实时传输到数据接收系统205。这种传输可以使用任何种类的视频压缩和容器技术以及流式传输协议(例如，HTTP、RTMP等)来进行。

图4描绘了根据一个或多个方面的对视频目录进行分析以进行基于特征的手术视频压缩。应当理解，该描绘是示例性场景，并且可以使用本文描述的技术解决方案以不同的方式分析视频目录以进行基于特征的手术视频压缩。数据收集系统150可以将从几个外科手术中捕获的视频存储在视频目录402中。视频目录402可以存储几个视频404。每个视频404包括多个部分406(或片段)，其中，每个部分406包括一个或多个帧408。每个部分406可以与其自身的存储该特定部分406的元数据的标头相关联。例如，部分406的标头可以包括如开始时间点、结束时间点、在该部分406中识别的一个或多个结构、在该部分406中识别的手术阶段等信息。附加说明

在一个或多个示例中，视频目录402可以是数据库。视频目录402可以使用已知的或以后将开发的任何数据库管理架构。视频404可以使用一个或多个电子文件(如AVI文件、MP4文件、MOV文件等)来存储。每个视频404中的帧408可以基于用于存储该视频404的格式和/或编解码器来进行编码。这里，“帧”406可以是作为图像序列的一部分的图像，该图像序列以期望的速率(例如，每秒30帧、每秒60帧等)回放，使得图像序列被视为运动图片，即“视频”。

参考图3中的流程图，在框304处，机器学习处理系统210选择正在访问的视频404的部分406。部分406可以是在视频404的预定持续时间期间(例如，从开始时间点30秒到结束时间点42秒)回放的一组帧。在其他示例中，部分406是预定数量的帧408。在其他示例中，视频404可以以替代方式被划分为一个或多个部分406。

在一些示例中，视频404中的部分406是以顺序方式选择的。例如，如果一部分被预定为五帧，则分析具有帧#1-5的第一部分406，随后分析包括帧#6-10的第二部分406，以此类推，直到视频404中的所有帧408都被分析。

在其他示例中，视频404中的部分406可以并行操作。例如，可以并行分析第一部分、第二部分和第三部分。应当理解，可以并行分析任何数量的部分406，并且以上仅是一个示例。

在框306处，机器学习执行系统240使用经训练的机器学习模型230来检测正在分析的视频404的部分406中的一个或多个结构。在框308处，操纵检测器250基于检测到的结构预测在(多个)所选择的部分404中捕获的外科手术的操纵。

在框310处，计算系统102选择要应用于视频404的部分406的压缩协议。所选择的压缩协议可以不同于用于现有视频404中的其他部分的压缩协议。压缩协议可以是任何已知的协议，如H.264、HEVC、THEORA、AV1、VP9、RV40或未来开发的协议。在一些示例中，压缩协议可以是专有压缩协议。在一些示例中，作为压缩的一部分，部分406可以被删除或标记为删除。压缩协议是一种视频编码格式或标准，用于表示用于数字视频内容的存储或传输(例如，存储在数据文件中，或作为比特流传输以用于实时回放)的数据(例如，帧、音频、字幕等)。不同的压缩协议提供不同的存储信息量。例如，不同的压缩协议可能在分辨率、帧率、像素化以及可能与视频存储相关的任何其他图像参数方面有所不同。相应地，使用第一压缩协议来压缩特定部分406与使用第二压缩协议相比可能改变在压缩版本中表示特定部分406所需的数据量。

压缩协议可以采用不同形式，包括但不限于空间压缩、时间压缩、部分空间压缩或其组合。空间压缩协议有助于降低分辨率或应用重新编码过滤器(例如，像素化、黑视(blackout)等)或者以更高的压缩率对视频404中的帧408的时间序列进行转码。时间压缩协议有助于减少视频404的部分406的时间长度(例如，重新采样、缩短、加速等)。部分空间压缩协议对帧408的部分应用重新编码过滤器或更高的压缩率(例如，像素化或模糊帧408的聚焦区域、不相关器官或区域)。这里，关注区域由行动者112自动检测或手动输入。

所选择的压缩协议基于针对部分406预测的外科手术的操纵。例如，操纵和压缩协议的预定映射可以用于计算系统102。预定映射指定了要用于外科手术中的特定操纵的压缩协议。为当前正在分析的部分406(比如部分K)选择的压缩协议可能与用于前一部分(比如部分K-1)或者将用于后续部分(比如部分K+1)的压缩协议不同。

以这种方式，使用基于特征的压缩(在这种情况下是基于操纵的压缩)来压缩视频404。例如，基于预定映射，移除/最小化当相机105位于患者110体外时捕获的操纵(例如，使用可能导致像素化/模糊部分的压缩协议)。对于执行手术的关键部分(例如，关键安全视野(CVS))的阶段，信息以全保真度(例如，无损压缩协议)存储。

在一些示例中，行动者112(例如，用户/外科医生/医院)可以手动指定操纵和压缩协议的预定映射。进一步地，行动者112还可以提供用于特定压缩协议的设置。在一些情况下，两种不同操纵可以使用相同的压缩协议，但具有不同的设置。例如，第一操纵使用具有第一配置(即，设置)的第一压缩协议；并且第二操纵也使用第一压缩协议，但是具有第二配置。

在一些示例中，行动者112可以进一步为不同类型的视频404指定不同的映射。例如，可以为单个外科手术捕获多个视频馈送。例如，多个视频馈送可以来自不同的视频捕获设备，例如手术室中的固定相机、腹腔镜相机、(外科医生身上的)头顶相机等。每种类型的视频馈送可以具有不同的映射，以用于为不同的操纵选择压缩协议。

不同的压缩协议可以有助于在空间或时间分辨率下以降低的保真度或使用不同的压缩算法来存储某些操纵。在一些示例中，由于视野的不活动性，可以在空间或时间分辨率下或在编解码器选择中以降低的保真度存储操纵的某些部分。

在一些示例中，在框312处，操纵检测器250确定在操纵期间是否发生异常事件。基于该检测，在框314、316处，确定在压缩部分406中的信息时是采用所选择的压缩协议还是改变选择。例如，如果检测到缝合操纵(在308处)，并且在部分406中没有检测到异常事件，则可以使用低保真度压缩协议(根据映射)(在314处)。可替代地，如果检测到异常事件，则压缩协议的选择被否决，并且使用高保真度压缩协议来压缩部分406(在316处)。

在框318处，确定是否要分析视频404的附加部分406。如果存在附加部分406，则通过从视频404中选择(多个)下一部分来重复方法300(在304处)。如前所述，可以选择多个部分406进行并行分析和压缩。在框320处，一旦所有部分406完成，视频404就可以被完整输出。输出可以包括通过通信网络将视频404传输到远程位置，例如用于流式传输、用于存储等。可替代地或另外地，输出可以包括将视频404以压缩版本存储。在一些示例中，输出视频404的压缩版本可以包括从视频目录402中删除早期视频404(用于压缩)并用该压缩版本来代替它。

应当注意，在一个或多个示例中，一旦部分406已经被压缩，每个部分就可以被独立输出。例如，当视频404被实时输入时，随着外科手术的执行，压缩(即，方法300)也基本上被实时执行，并且部分406的压缩版本被动态地输出(用于流式传输或存储)。

输出视频404进一步包括关联用于视频404的部分406的压缩协议的标识符。可以通过在元数据(例如，视频404的标头)中添加这样的信息来将标识符与该部分相关联。例如，在元数据中，标识符与部分406的标识一起存储。例如，部分406的标识可以包括部分406的视频回放的开始时间和结束时间。可替代地或另外地，部分406的标识可以包括包含在部分406中的帧号。

如本文所使用的，“关键解剖结构”可以特定于所执行和自动识别的外科手术的类型。另外，外科医生或任何其他用户可以将系统200配置为识别对于特定患者而言至关重要的特定解剖结构。所选择的解剖结构对于外科手术的成功至关重要，如需要在手术期间识别的解剖标志(例如，卡洛三角、His角等)或由先前的手术任务或手术产生的解剖标志(例如，吻合或缝合的组织、夹子等)。系统200可以访问与外科手术相关联的多个手术目标，并将手术目标与一个或多个手术器械和外科手术的操纵相关联。与关键解剖结构和手术目标相关的观察可以用于控制警报生成。在一些示例中，关键解剖结构可以用于确定异常事件。

本文描述的技术解决方案的各方面可以改进CAS系统，特别是通过促进视频存储优化来改进。本文描述的优化/选择性压缩改进了(即，降低了)存储要求。本文描述的技术解决方案的各方面还可以改进视频传输。优化/选择性压缩可以用于改进(即，降低)网络带宽要求。本文描述的技术解决方案使用自动分析生成(最佳视频压缩，即，不保留图像信息，仅保留相关元数据)。进一步地，本文描述的技术解决方案有助于改进计算技术，特别是用于视频存储和传输的计算技术。

本文描述的技术解决方案的各方面有助于一个或多个机器学习模型(如计算机视觉模型)使用时空信息来实时处理从外科手术的实时视频馈送获得的图像。机器学习模型使用如神经网络等技术来使用来自实时视频馈送和(如果可用的话)机器人传感器平台的信息来预测实时视频馈送的输入窗口中的一个或多个特征(如解剖结构、手术器械)，并使用可以预测外科手术的操纵的附加机器学习模型来进一步完善预测。机器学习模型可以被训练成通过从原始图像数据中学习来识别手术的(多个)手术操纵和视野中的结构。当在机器人手术中时，计算机视觉模型还可以接受传感器信息(例如，器械启用、安装等)来改进预测。预测器械和关键解剖结构的计算机视觉模型使用来自操纵预测模型的时间信息来提高实时或离线预测的置信度。

预测和对应的置信度得分可以用于基于在外科手术期间捕获的视频来生成和显示视频。生成的视频是捕获的视频数据的压缩版本，其中，压缩以基于特征的方式执行。本文描述的技术解决方案的各方面提供了外科手术中的实际应用以及在外科手术期间捕获的大量数据(兆字节、拍字节等)的存储。

应当注意的是，尽管一些附图描绘了正在分析的内窥镜视频，但是本文描述的技术解决方案也可以适用于分析在执行开放式手术(即，非腹腔镜手术)时由不是内窥镜的相机(即，患者体外的相机)捕获的视频和图像数据。例如，视频和图像数据可以由安装在手术室中的一个或多个人员(例如，外科医生)身上的相机捕获。可替代地或附加地，相机可以安装在手术器械、墙壁或手术室中的其他位置上。

现在转到图5，根据一方面总体示出了计算机系统800。如本文所述，计算机系统800可以是包括和/或采用任何数量的计算设备和利用各种通信技术的网络及其组合的电子计算机框架。计算机系统800可以容易地进行扩充、扩展和模块化，并且具有改变为不同服务或独立于其他特征而重新配置一些特征的能力。计算机系统800可以是例如服务器、台式计算机、膝上型计算机、平板计算机或智能手机。在一些示例中，计算机系统800可以是云计算节点。计算机系统800可以在由计算机系统执行的计算机可执行指令(如程序模块)的一般上下文中进行描述。通常，程序模块可以包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、部件、逻辑、数据结构等。计算机系统800可以在由通过通信网络链接的远程处理设备执行任务的分布式云计算环境中实践。在分布式云计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机系统存储介质中。

如图5所示，计算机系统800具有一个或多个中央处理单元(CPU)801a、801b、801c等(统称为或通常称为(多个)处理器801)。处理器801可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。处理器801也称为处理电路，其经由系统总线802耦接到系统存储器803和各种其他部件。系统存储器803可以包括一个或多个存储器设备，如只读存储器(ROM)804和随机存取存储器(RAM)805。ROM 804耦接到系统总线802，并且可以包括控制计算机系统800的某些基本功能的基本输入/输出系统(BIOS)。RAM是耦接到系统总线802以供处理器801使用的读写存储器。系统存储器803在操作期间为所述指令的操作提供临时存储空间。系统存储器803可以包括图形存储器、随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储器系统。

计算机系统800包括耦接到系统总线802的输入/输出(I/O)适配器806和通信适配器807。I/O适配器806可以是与硬盘808和/或任何其他类似部件通信的小型计算机系统接口(SCSI)适配器。I/O适配器806和硬盘808在本文中统称为大容量存储装置810。

用于在计算机系统800上执行的软件811可以存储在大容量存储装置810中。大容量存储装置810是处理器801可读的有形存储介质的示例，其中，软件811被存储为由处理器801执行以使计算机系统800操作的指令，如下文参考各种附图所描述的。本文更详细地讨论了计算机程序产品和这种指令的执行的示例。通信适配器807将系统总线802与网络812互连，该网络可以是使得计算机系统800能够与其他这样的系统通信的外部网络。在一方面，系统存储器803的一部分和大容量存储装置810共同存储操作系统，该操作系统可以是协调图5所示的各种部件的功能的任何适当的操作系统。

附加的输入/输出设备被示出为经由显示适配器815和接口适配器816连接到系统总线802。在一方面，适配器806、807、815和816可以连接到一个或多个I/O总线，该一个或多个I/O总线经由中间总线桥(未示出)连接到系统总线802。显示器819(例如，屏幕或显示监视器)由显示适配器815连接到系统总线802，该显示适配器可以包括用于提高图形密集型应用程序的性能的图形控制器以及视频控制器。键盘、鼠标、触摸屏、一个或多个按钮、扬声器等可以经由接口适配器816与系统总线802互连，该接口适配器可以包括例如将多个设备适配器集成到单个集成电路中的超级I/O芯片。用于连接如硬盘控制器、网络适配器和图形适配器等外围设备的合适I/O总线通常包括如外围部件互连(PCI)或快速PCI等通用协议。因此，如图5中所配置的，计算机系统800包括处理器801形式的处理能力，以及包括系统存储器803和大容量存储装置810的存储能力，如按钮、触摸屏等输入装置，以及包括扬声器823和显示器819的输出能力。

在一些方面，通信适配器807可以使用任何合适的接口或协议(如互联网小型计算机系统接口等)来传输数据。网络812可以是蜂窝网络、无线电网络、广域网(WAN)、局域网(LAN)或互联网等。外部计算设备可以通过网络812连接到计算机系统800。在一些示例中，外部计算设备可以是外部网络服务器或云计算节点。

应当理解，图5的框图并不意味着表明计算机系统800将包括图5所示的所有部件。相反，计算机系统800可以包括图5中未展示的任何适当的更少或附加的部件(例如，附加的存储器部件、嵌入式控制器、模块、附加的网络接口等)。进一步地，本文中关于计算机系统800描述的方面可以用任何适当的逻辑来实施，其中，在各个方面，如本文中所提及的逻辑可以包括任何合适的硬件(例如，处理器、嵌入式控制器或专用集成电路等)、软件(例如，应用程序等)、固件、或硬件、软件和固件的任何合适的组合。

图6描绘了根据一个或多个方面的外科手术系统900。图6的示例描绘了被配置为通过网络920与外科手术排期系统930通信的外科手术支持系统902。外科手术支持系统902可以包括或可以耦接到图1中的系统100。外科手术支持系统902可以使用一个或多个相机904来获取图像数据，如图3的图像302。外科手术支持系统902还可以与多个传感器906和效应器908介接。传感器906可以与手术支持设备和/或患者监测相关联。效应器908可以是机器人部件或可通过外科手术支持系统902控制的其他设备。外科手术支持系统902还可以与一个或多个用户界面910(如各种输入和/或输出设备)交互。在外科手术正在执行时，外科手术支持系统902可以存储、访问和/或更新与训练数据集和/或实时数据相关联的手术数据914。外科手术支持系统902可以存储、访问和/或更新手术目标916以帮助训练和指导一个或多个外科手术。

外科手术排期系统930可以访问和/或修改用于跟踪计划的外科手术的排期数据932。排期数据932可以用于对物理资源和/或人力资源进行排期，以执行计划的外科手术。基于由一个或多个机器学习模型230预测的手术操纵和当前操作时间，外科手术支持系统902可以估计外科手术结束的预期时间。这可以基于手术数据914中记录的先前观察到的类似复杂病例。外科手术的预测结束的变化可以用于通知外科手术排期系统930准备下一个患者，该患者可以在排期数据932的记录中识别。外科手术支持系统902可以向外科手术排期系统930发送警报，该警报触发与稍后的外科手术相关联的排期更新。可以在排期数据932中捕获排期变化。预测外科手术的结束时间可以提高在手术室中运行并行会话的效率，因为资源可以在手术室之间分配。基于排期数据932和预测的手术操纵，进入手术室的请求可以作为一个或多个通知934来传输。

随着手术操纵和步骤的完成，可以在手术数据914中跟踪进展，并且可以通过用户界面910来显示状态。当手术操纵完成或观察到任何问题(如并发症)时，也可以通过通知934向其他系统报告状态信息。

本发明可以是处于任何可能的集成技术细节级别的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令以使处理器执行本发明的各方面的计算机可读存储介质(或媒体)。

计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或上述各项的任何合适组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备(如穿孔卡或其上记录有指令的凹槽中的凸起结构)以及上述各项的任何合适组合。本文所使用的计算机可读存储介质不应被解释为瞬时信号本身，如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆传递的光脉冲)、或通过导线传输的电信号。

本文描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备，或者下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令以将其存储在相应计算/处理设备内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据，或者是以一种或多种编程语言的任何组合编写的源代码或目标代码，这些编程语言包括如Smalltalk、C++等面向对象的编程语言以及如“C”编程语言或类似编程语言等过程编程语言。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上执行，并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以连接到外部计算机(例如，通过互联网，使用互联网服务提供商)。在一些方面，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来个性化电子电路来执行计算机可读程序指令，以便执行本发明的各方面。

本文参考根据本发明的各方面的方法、装置(系统)和计算机程序产品的流程图说明和/或框图描述了本发明的各方面。将理解的是，流程图说明和/或框图的每个框以及流程图说明和/或框图中的框的组合可以通过计算机可读程序指令来实施。

这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的方式。这些计算机可读程序指令也可以存储在计算机可读存储介质中，这些计算机可读程序指令可以指导计算机、可编程数据处理装置和/或其他设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实施流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。

计算机可读程序指令也可以加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实施的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实施流程图和/或框图的一个或多个框中指定的功能/动作。

附图中的流程图和框图展示了根据本发明的各个方面的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实施(多个)特定逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中标注的功能可以不按附图中标注的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意的是，可以通过执行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实施框图和/或流程图说明的每个框以及框图和/或流程图说明中的框的组合。

本发明的各个方面的描述出于说明的目的而呈现，但并不旨在是穷尽性的或限于所公开的方面。在不脱离所描述的方面的范围和精神的情况下，多种修改和变型对本领域的技术人员而言将是显而易见的。选择本文所使用的术语以最佳地解释各方面的原理、实际应用或对市面上存在的技术的技术改进，或者使得本领域的普通技术人员能够理解本文描述的各方面。

本文参考相关附图描述了本发明的各个方面。在不脱离本发明的范围的情况下，可以设计本发明的替代方面。以下描述和附图中阐述了元件之间的各种连接和位置关系(例如，上方、下方、相邻等)。除非另有说明，否则这些连接和/或位置关系可以是直接的或间接的，并且本发明不旨在在这方面进行限制。相应地，实体的耦接可以指直接或间接耦接，并且实体之间的位置关系可以是直接或间接位置关系。此外，本文描述的各种任务和过程步骤可以并入到具有本文未详细描述的附加步骤或功能的更全面的程序或过程中。

以下定义和缩写用于解释权利要求和说明书。如本文所使用的，术语“包括(comprises/comprising/includes/including)”、“具有(has/having)”或“包含(contains/containing)”或其任何其他变型旨在覆盖非排他性的包括。例如，包括一系列元素的组合物、混合物、工艺、方法、制品或装置不必仅限于那些元素，而是可以包括未明确列出的或这样的组合物、混合物、工艺、方法、制品或装置所固有的其他元素。

另外，术语“示例性”在本文中用于意指“用作实例、例子或说明”。本文描述为“示例性”的任何方面或设计不必解释为相比其它方面或设计是优选的或有利的。术语“至少一个”和“一个或多个”可以被理解为包括任何大于或等于一的整数，即，一、二、三、四等。术语“多个”可以被理解为包括任何大于或等于二的整数，即，二、三、四、五等。术语“连接”可以包括间接“连接”和直接“连接”。

术语“约”、“基本上”、“大约”及其变型旨在包括与基于提交申请时可用的设备来测量特定量相关联的误差程度。例如，“约”可以包括给定值的±8％或5％或2％的范围。

为了简洁起见，与制造和使用本发明的各方面相关的传统技术可以在本文中详细描述，也可以不详细描述。特别地，用于实施本文描述的各种技术特征的计算系统和特定计算机程序的各个方面是众所周知的。相应地，为了简洁起见，许多传统实施方式细节在本文中仅简单提及或完全省略，而不提供众所周知的系统和/或过程细节。

应当理解，本文所披露的各个方面可以以与说明书和附图中具体呈现的组合不同的组合方式进行组合。还应当理解，根据示例，本文描述的任何过程或方法的某些动作或事件可以按不同的顺序执行，可以增加、合并或完全省去(例如，所有描述的动作或事件可能都不是实施这些技术所必需的)。另外，虽然为了清楚起见，本披露内容的某些方面被描述为由单个模块或单元执行，但应当理解，本披露内容的技术可以由与例如医疗设备相关联的单元或模块的组合执行。

在一个或多个示例中，可以在硬件、软件、固件或其任何组合中实施所描述的技术。如果是在软件中实施，那么这些功能可以作为一个或多个指令或代码被存储在计算机可读介质上并且由基于硬件的处理单元执行。计算机可读介质可以包括非暂态计算机可读介质，非暂态计算机可读介质对应于比如数据存储介质(例如，RAM、ROM、EEPROM、闪速存储器或可以用于存储指令或数据结构形式的所需程序代码并可以被计算机访问的任何其他介质)等有形介质。

指令可以由一个或多个处理器执行，如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其他等效的集成或离散逻辑电路。相应地，如本文所使用的术语“处理器”可以指上述结构或适合于实施所描述的技术的任何其他物理结构中的任何结构。此外，这些技术可以在一个或多个电路或逻辑元件中完全实施。

Claims (20)

1.一种计算机实施的方法，包括：

由处理器接收外科手术的视频流的一部分，该视频流在该外科手术正在执行时被传输到该处理器；

由该处理器识别通过该视频流的该部分捕获的该外科手术的手术操纵；

由该处理器为该视频流的该部分选择压缩协议，该选择基于所识别的手术操纵，并且该选择从分别用于多个手术操纵的一组预定压缩协议中进行，其中，第一手术操纵与第一压缩协议相关联，该第一压缩协议不同于与第二手术操纵相关联的第二压缩协议；

由该处理器使用所选择的压缩协议来压缩该视频流的该部分；以及

由该处理器输出该视频流的该部分的压缩版本。

2.如权利要求1所述的计算机实施的方法，其中，该手术操纵是使用一个或多个机器学习模型来识别的。

3.如权利要求1所述的计算机实施的方法，其中，该视频流是从一组相机中的一个相机接收的，该组相机包括内窥镜相机、便携式相机和固定相机。

4.如权利要求1所述的计算机实施的方法，其中，与该第一手术操纵相关联的第一部分是使用该第一压缩协议来压缩的；并且与该第二手术操纵相关联的第二部分是使用该第二压缩协议来压缩的。

5.如权利要求1所述的计算机实施的方法，进一步包括由该处理器通过通信网络来传输该视频流的该部分的压缩版本。

6.如权利要求1所述的计算机实施的方法，进一步包括由该处理器存储该视频流的该部分的压缩版本。

7.如权利要求1所述的计算机实施的方法，进一步包括：

由该处理器从该视频流的该部分中检测该手术操纵中的异常事件；以及

作为响应，在不压缩该视频流的该部分的情况下由该处理器输出该视频流的该部分。

8.如权利要求1所述的计算机实施的方法，进一步包括：

在输出该视频流的该部分之前，由该处理器将该压缩协议的标识符与该部分相关联。

9.如权利要求8所述的计算机实施的方法，进一步包括：

在该视频流的回放期间，基于与该视频流的该部分相关联的该压缩协议的标识符对该部分进行解压。

10.一种系统，包括：

机器学习训练系统，该机器学习训练系统包括一个或多个机器学习模型，该一个或多个机器学习模型被训练成识别外科手术的视频中的多个手术操纵；

数据收集系统，该数据收集系统被配置为通过使用多个压缩协议压缩该外科手术的视频来生成该外科手术的视频的副本，其中，生成该视频的副本包括：

识别该外科手术的视频中包括该多个手术操纵中的第一手术操纵的第一片段，并使用第一压缩协议来压缩该视频的第一片段；以及

识别该外科手术的视频中包括该多个手术操纵中的第二手术操纵的第二片段，并使用第二压缩协议来压缩该视频的第二片段。

11.如权利要求10所述的系统，其中，在该视频的副本中，该第一片段与该第一压缩协议的标识符相关联，并且该第二片段与该第二压缩协议的标识符相关联。

12.如权利要求11所述的系统，进一步包括视频回放系统，该视频回放系统被配置为通过基于该第一压缩协议的标识符对该第一片段进行解压并基于该第二压缩协议的标识符对该第二片段进行解压来回放该视频的副本。

13.如权利要求10所述的系统，其中，选择该第一压缩协议以基于该第一手术操纵压缩该第一片段。

14.如权利要求10所述的系统，其中，生成该视频的副本进一步包括识别该外科手术的视频中包括该多个手术操纵中的第三手术操纵的第三片段，并且响应于在该第三手术操纵期间发生异常事件而不压缩该视频的第三片段。

15.一种计算机程序产品，包括其上存储有计算机可执行指令的存储器设备，这些计算机可执行指令当由一个或多个处理器执行时使该一个或多个处理器执行包括以下各项的方法：

使用一个或多个机器学习模型来识别出外科手术的视频的第一片段包括该外科手术的第一手术操纵；

使用该一个或多个机器学习模型来识别出该视频的第二片段包括该外科手术的第二手术操纵；

基于用于该外科手术的多个手术操纵的压缩协议的预定映射，将第一压缩协议与该第一片段相关联并且将第二压缩协议与该第二片段相关联；以及

通过使用该第一压缩协议压缩该第一片段并使用该第二压缩协议压缩该第二片段来压缩该外科手术的视频。

16.如权利要求15所述的计算机程序产品，其中，该方法进一步包括：

使用该一个或多个机器学习模型将该视频的第三片段识别为包括该外科手术的第三手术操纵；以及

响应于该第三手术操纵与异常事件相关联，不将该第三片段与压缩协议相关联。

17.如权利要求15所述的计算机程序产品，其中，该方法进一步包括：

使用该一个或多个机器学习模型将该视频的第三片段识别为包括该外科手术的第三手术操纵；以及

响应于该第三手术操纵与异常事件相关联，将该第三片段与具有最小压缩的压缩协议相关联。

18.如权利要求17所述的计算机程序产品，其中，嵌入有该视频的第一片段的该第一压缩协议的标识符用于通过使用该第一压缩协议对该第一片段进行解压来回放该视频。

19.如权利要求15所述的计算机程序产品，该方法进一步包括存储经压缩的视频。

20.如权利要求19所述的计算机程序产品，其中，将该第一压缩协议与该第一片段相关联包括在该视频的标头中包括该第一压缩协议的标识符以及该第一片段的开始时间和结束时间。