[go: up one dir, main page]

CN109074665B - 用于经由医学成像系统导航到目标解剖对象的系统和方法 - Google Patents

用于经由医学成像系统导航到目标解剖对象的系统和方法 Download PDF

Info

Publication number
CN109074665B
CN109074665B CN201780002386.1A CN201780002386A CN109074665B CN 109074665 B CN109074665 B CN 109074665B CN 201780002386 A CN201780002386 A CN 201780002386A CN 109074665 B CN109074665 B CN 109074665B
Authority
CN
China
Prior art keywords
imaging system
deep learning
images
anatomical
learning network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780002386.1A
Other languages
English (en)
Other versions
CN109074665A (zh
Inventor
M·R·阿韦迪
S·A·达菲
K·C·许
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avent Inc
Original Assignee
Avent Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avent Inc filed Critical Avent Inc
Publication of CN109074665A publication Critical patent/CN109074665A/zh
Application granted granted Critical
Publication of CN109074665B publication Critical patent/CN109074665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0833—Clinical applications involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Clinical applications involving detecting or locating foreign bodies or organic structures for locating instruments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0833—Clinical applications involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Clinical applications involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Pulmonology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种用于向用户提供导航指示以经由医疗成像系统在医疗程序期间定位目标解剖对象的系统和方法。该方法包括选择对象周围的解剖区域；生成来自解剖区域周围的场景的多个实时二维图像，并将多个图像提供给控制器；开发和训练深度学习网络以自动检测和识别来自解剖区域的场景；经由所述深度学习网络基于所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，自动地标测来自所述解剖区域的所述多个图像中的每个图像；以及基于每个所识别的场景的相对空间和时间位置，向所述用户提供指示以在所述医疗程序期间定位所述对象。

Description

用于经由医学成像系统导航到目标解剖对象的系统和方法
相关申请的交叉引用
本申请要求享有2016年12月2日提交的序列号为62/429,150的美国临时申请的权益，其全部内容通过引用并入本文。
技术领域
本发明涉及医学成像领域中的解剖对象的检测和识别，并且更特别地涉及用于基于对来自目标解剖体周围的场景拍摄的多个图像内包含的解剖对象的检测和识别来提供导航指示以在基于医学成像的程序(例如超声导引的区域麻醉)中到达目标解剖对象的系统和方法。
背景技术
存在基于传统方法的各种成像系统，用于帮助医学专业人员识别目标解剖对象的总体区域，诸如超声波、计算机断层扫描(CT)、磁共振(MR) 和荧光成像系统。然而，使用这样的系统的解剖对象检测并不总是鲁棒的，特别是对于其中解剖对象在解剖学、形状和/或外观以及医学图像中的噪声和伪像中表现出大的变化的一些具有挑战性的检测问题。结果，当使用这样的成像系统时，医学专业人员通常难以快速且准确地定位目标解剖对象的总体区域。例如，神经阻滞或外周神经阻滞(PNB)是一种用于手术麻醉以及用于术后和非手术性镇痛的局部麻醉，希望精确定位目标解剖对象 (例如目标神经)。在PNB期间，医学专业人员在目标神经或神经束附近注射麻醉剂以阻断来自身体特定区域的疼痛感。然而，当使用当前可用的成像系统时，医学专业人员快速且准确地定位目标神经的总体区域可能是具有挑战性的。例如，对于某些神经阻滞程序，医生通常难以通过超声成像系统快速且准确地定位目标神经束。
因此，本公开涉及用于从拍摄自目标解剖对象(例如，目标神经)周 围的解剖区域的场景的多个实时图像中自动检测、识别和标测解剖对象的 系统和方法，以便向用户(例如，医疗专业人员)提供指示，从而使得用户能够使用可以经由现有成像系统实施的深度学习网络快速且准确地到达感兴趣的目标解剖对象。
发明内容
本发明的目的和优点将部分在下面的描述中阐述，或者可以从描述中显而易见，或者可以通过实施本发明而了解。
在一个方面中，本发明涉及一种用于经由医学成像系统在医疗程序期间为用户提供导航指示以定位目标解剖对象的方法。所述方法包括：选择目标解剖对象周围的解剖区域；生成来自目标解剖对象周围的解剖区域的场景的多个实时二维图像并将多个实时二维图像提供给控制器；开发和训练深度学习网络以自动检测和识别来自目标解剖对象周围解剖区域的场景；经由所述深度学习网络基于在所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，自动地标测来自所述目标解剖对象周围的解剖区域的所述多个实时二维图像中的每一个；以及基于每个所识别的场景的相对空间位置和相对时间位置来向用户提供指示，以在医疗程序期间定位目标解剖对象。
在一个特定实施例中，医疗程序可以是神经阻滞，其中目标解剖对象是目标神经。此外，神经阻滞可以包括肌间沟神经阻滞、锁骨上神经阻滞、锁骨下神经阻滞、腋窝神经阻滞、股神经阻滞、坐骨神经阻滞、收肌管神经阻滞、腿弯部神经阻滞、隐神经阻滞、髂筋膜神经阻滞、胸腰椎旁神经阻滞、腹横肌平面(TAP)神经阻滞、肋间神经阻滞、或胸椎旁神经阻滞。
在另一实施例中，深度学习网络可以包括一个或多个卷积神经网络或者一个或多个递归神经网络中的至少一个。
在另一实施例中，方法还可以包括开发和训练深度学习网络以经由参考标准数据自动检测和识别来自目标解剖对象周围的解剖区域的场景。此外，开发和训练深度学习网络以自动检测和识别来自目标解剖对象周围的解剖区域的场景可以包括：从多个患者中的每个患者扫描和采集来自目标解剖对象周围的解剖区域的场景的多个图像的数据集，基于用户输入来注释图像的数据集以创建参考标准数据；将图像的数据集和参考标准数据划分为训练数据集和验证数据集；以及利用训练数据集来训练深度学习网络。
在另一实施例中，利用所述训练数据集来训练所述深度学习网络可以还包括优化成本函数以最小化所述深度学习网络的输出与所述参考标准数据之间的误差。此外，优化所述成本函数以最小化所述误差还可以包括利用随机梯度下降(SGD)算法，其迭代地处理所述参考标准数据的部分，并且基于深度学习网络的输出与参考标准数据之间的误差来调整所述深度学习网络的一个或多个参数。
在另一实施例中，在优化所述成本函数之后，方法可以包括实时地利用所述深度学习网络来自动地提供对所述验证数据的预测并且将所述预测与所述参考标准数据进行比较。
在另一实施例中，基于用户输入来注释所述图像的所述数据集以创建所述参考标准数据还可以包括人工识别和注释在数据集的每个图像中的所述目标解剖对象、另外的解剖对象、标志、组织或其组合。
在另一实施例中，方法可以包括初始训练所述深度学习网络以离线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。
在另一实施例中，方法可以包括连续训练所述深度学习网络以在线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。
在另一实施例中，当探头扫描所述感兴趣的解剖区域时，可以经由所述成像系统的用户显示器以注解的形式向所述用户提供所述指示，其中所述成像系统同时生成所述多个实时二维图像。
在另一实施例中，当探头扫描所述感兴趣的解剖区域时，可以以音频的形式向所述用户提供指示，其中所述成像系统同时生成所述多个实时二维图像。
在另一实施例中，所述医学成像系统可以包括超声成像系统、计算机断层扫描(CT)成像系统、磁共振(MR)成像系统或荧光成像系统。
在另一方面，本发明涉及一种用于医疗程序中的医学成像系统。所述医学成像系统包括被配置为执行一个或多个操作的至少一个控制器和被配置为向用户显示多个实时二维图像的用户显示器。所述一个或多个操作包括：接收来自目标解剖对象周围的解剖区域的场景的多个实时二维图像；开发和训练深度学习网络以自动检测和识别来自目标解剖对象周围的解剖区域的场景；经由所述深度学习网络基于在所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，自动地标测来自所述目标解剖对象周围的解剖区域的所述多个实时二维图像中的每一个；以及基于每个所识别的场景的相对空间位置和相对时间位置向用户提供指示以在医疗程序期间定位目标解剖对象。
在一个特定实施例中，医疗程序可以是神经阻滞，其中目标解剖对象是目标神经。
在另一实施例中，深度学习网络可以包括一个或多个卷积神经网络或者一个或多个递归神经网络中的至少一个。
在另一实施例中，开发和训练深度学习网络以自动检测和识别来自目标解剖对象周围的解剖区域的场景可以经由参考标准数据来完成。例如，开发和训练深度学习网络以自动检测和识别来自目标解剖对象周围的解剖区域的场景可以包括：从多个患者中的每个患者扫描和采集来自目标解剖对象周围的解剖区域的场景的多个图像的数据集；基于用户输入来注释图像的数据集以创建参考标准数据；将图像的数据集和参考标准数据划分为训练数据集和验证数据集；以及利用训练数据集来训练深度学习网络。
此外，基于用户输入来注释所述图像的所述数据集以创建所述参考标准数据可以包括人工识别和注释在数据集的每个图像中的所述目标解剖对象、另外的解剖对象、标志、组织或其组合。
在另一实施例中，控制器可以被配置为初始训练所述深度学习网络以离线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。
在另一实施例中，控制器可以被配置为连续训练所述深度学习网络以在线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。
在另一实施例中，当探头扫描所述感兴趣的解剖区域时，控制器可以经由用户显示器以注解的形式向所述用户提供所述指示，其中所述成像系统同时生成所述多个实时二维图像。
在另一实施例中，当探头扫描所述感兴趣的解剖区域时，控制器可以以音频形式向所述用户提供指示，其中所述成像系统同时生成所述多个实时二维图像。
在另一实施例中，所述医学成像系统可以包括超声成像系统、计算机断层扫描(CT)成像系统、磁共振(MR)成像系统或荧光成像系统。
参考以下描述和所附权利要求，本发明的这些和其它特征、方面和优点将变得更好理解。并入本说明书并构成本说明书的一部分的附图示出了本发明的实施例，并且与说明书一起用于解释本发明的原理。
在另一实施例中，医学成像系统可以被配置为要由其他医学成像系统安装和托管的软件包，其中医学成像系统能够接收来自主医学成像系统的图像并提供要由主医学成像系统部署的输出。
在另一实施例中，所述深度学习网络可以采用量化权重、二进制权重和其他压缩方法来减少存储器使用并加快执行时间，诸如当有限的计算能力可用时。
在另一实施例中，所述医学成像系统可以采用各种变换、均衡和归一化技术以能够与具有不同设置、规格和图像质量的不同医学成像系统一起工作。
附图说明
在参考附图的说明书中阐述了针对本领域普通技术人员的包括其最佳模式的本发明的完整且可实现的公开内容，其中：
图1示出了各种神经阻滞的位置，其中本公开的方法和系统可以用于结合超声引导将医学专业人员导航到精确的位置；
图2更详细地示出了图1的肌间沟神经阻滞的位置；
图3示出了根据本公开的成像系统的一个实施例的透视图；
图4示出了根据本公开的成像系统的控制器的一个实施例的框图；
图5示出了根据本公开的超声成像系统的一个实施例的示意图，具体示出了与针导引件结合使用的超声探针，以便于朝向患者的目标神经的针的导航；
图6示出使用本公开的系统和方法从感兴趣的目标解剖对象周围的解剖区域采集的多个实时二维图像，其中包含在图像中的场景中的感兴趣的解剖对象、另外的解剖对象和标志可以被识别和标记；
图7示出了包含多个二维切片图像的数据集，其中数据集用于训练深度学习网络，其中深度学习网络用于检测、识别、标记和标测图6的实时超声图像中包含的感兴趣的解剖对象、另外的解剖对象和标志；
图8示出了用于自动检测和标测来自感兴趣的目标解剖对象周围的解剖区域的场景以便在医疗过程期间向用户提供指示来定位感兴趣的目标解剖对象的方法的示意图；
图9示出了用于使用递归卷积神经网络自动检测和标测来自感兴趣的目标解剖对象周围的解剖区域的场景以便在医疗程序期间向用户提供指示来定位感兴趣的目标解剖对象的方法的示意图；
图10示出了用于自动检测和标测来自感兴趣的目标解剖对象周围的解剖区域的场景，以便在医疗过程期间向用户提供指示以定位感兴趣的目标解剖学对象的方法的一个实施例的流程图；
图11示出了由根据本公开的成像系统生成的肌间沟神经阻滞周围的解剖区域的场景的实时超声图像的示意图，其中感兴趣的解剖对象和周围组织已经被检测到并且用轮廓和编号标识；
图12示出了由根据本公开的成像系统生成的肌间沟神经阻滞周围的解剖区域的场景的实时超声图像的另一个实施例的示意图，其中感兴趣的解剖对象和周围组织已经被检测到并用轮廓标识；
图13示出了由根据本公开的成像系统生成的肌间沟神经阻滞周围的解剖区域的场景的实时超声图像的又一个实施例的示意图，其中感兴趣的解剖对象和周围组织已经被检测到并通过阴影、轮廓和标签进行标识；以及
图14示出了由根据本公开的成像系统生成的肌间沟神经阻滞周围的解剖区域的场景的实时超声图像的一个或多个实施例的示意图，其中感兴趣的解剖对象和周围组织已经被检测到并通过阴影、轮廓和标签进行标识。
具体实施方式
现在将详细参考本发明的一个或多个实施例、本发明的示例，其示例在附图中示出。每个示例和实施例通过对本发明的解释而提供，并不意味着对本发明的限制。例如，作为一个实施例的一部分示出或描述的特征可以与另一个实施例一起使用，以产生又一个实施例。意图是本发明包括落入本发明的范围和精神内的这些和其他修改和变化。
通常，本公开涉及一种用于向用户(例如，医学专业人员)提供导航指示以经由医学成像系统在医疗程序期间定位目标解剖对象的系统和方法。该方法包括选择对象周围的解剖区域；从解剖区域生成场景的多个实时二维图像，并将多个图像提供给控制器；开发和训练深度学习网络以自动检测和识别来自解剖区域的场景；基于所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，经由所述深度学习网络自动地标测来自所述解剖区域的所述多个图像中的每个图像；以及在医疗程序期间基于每个所识别的场景的相对空间和时间位置为用户提供指示来定位对象或者利用外科手术器械(例如，针导引组件、导管、针、手术刀、刀、探头等)到达对象。
在一个特定实施例中，本公开涉及一种用于使用由诸如超声成像系统的成像系统生成的来自目标神经周围的解剖区域的场景的多个实时二维图像来向用户(例如，医学专业人员)提供导航指示以定位或到达感兴趣的目标神经以将神经阻滞输送至患者的成像系统和方法。参考图1，目标神经可以与神经阻滞至患者80的输送相关联。本公开设想的神经阻滞的示例包括肌间沟神经阻滞52、锁骨上神经阻滞54、锁骨下神经阻滞56、腋窝神经阻滞58、股神经阻滞60、坐骨神经阻滞62、收肌管神经阻滞64、腿弯部神经阻滞66、隐神经阻滞68、髂筋膜神经阻滞70、胸腰椎旁神经阻滞72、腹横肌平面(TAP)神经阻滞74、肋间神经阻滞76、胸椎旁神经阻滞78等。
例如，肌间神经阻滞52周围的解剖区域的详细视图在图2中示出用于参考。具体而言，解剖区域包括环状软骨29、颈内静脉31、颈外静脉 33、臂丛34、胸锁乳突肌36、前斜角肌37、中斜角肌38、后斜角肌41。通过使用本公开的系统和方法，如下面更详细讨论的，可以检测、识别/ 标记和标测上面讨论的各种解剖对象或结构，以使得可以向医学专业人员提供指示来快速和准确地将针45在针插入部位47处插入目标神经49以输送麻醉剂，从而产生肌间沟神经阻滞52。
现在转到图3和图4，示出了被配置为接收和组织由成像系统10实时生成的多个单独图像14的成像系统10的一个实施例。如本文所使用的，成像系统10可对应于可从本技术中受益的超声成像系统(如所示出的)、计算机断层扫描(CT)扫描仪、磁共振成像(MRI)扫描仪或任何其他合适的成像系统。更具体地，如所示出的，成像系统10可以包括控制器17，控制器17被配置为接收和组织由成像系统10生成的多个图像14。控制器 17通常包括一个或多个处理器16和相关联的存储器装置18，其被配置为执行各种计算机实现的功能(例如，执行如本文所公开的方法等并存储相关数据)，以及用户显示器20。例如，处理器16可以被配置为从所示出的多个实时二维超声图像46检测、识别和标测包含在由成像系统10所生成的每个图像14内的多个场景12。另外，成像系统10可以包括用户接口 22，诸如计算机和/或键盘，其被配置为帮助用户生成和/或操纵包含在每个单独图像14内的多个场景12。
另外，如图4所示，控制器17还可以包括通信模块24，以促成控制器17与成像系统10的各个组件(例如，图3和图4中的任何组件)之间的通信。此外，通信模块24可以包括传感器接口26(例如，一个或多个模数转换器)，以允许从一个或多个成像系统探头28(例如，超声探头) 发送的信号被转换成可由控制器17和/或(一个或多个)处理器16理解和处理的信号。应当理解的是，探头28可以使用任何合适的手段通信地耦合到通信模块24。例如，如图4所示，探头28可以通过有线连接耦合至传感器接口26。然而，在其他实施例中，探头28可以通过无线连接耦合到传感器接口26，诸如通过使用本领域已知的任何合适的无线通信协议。如此，控制器17可以被配置为从探头28接收一个或多个信号。
如本文所使用的，术语“控制器”不仅指本领域中被称为包括在计算机中的集成电路，还指微控制器、微型计算机、可编程逻辑控制器(PLC)、专用集成电路、现场可编程门阵列(FPGA)以及其他可编程电路。控制器17还被配置成计算高级控制算法并且与各种以太网或基于串行的协议 (Modbus、OPC、CAN等)通信。此外，在某些实施例中，控制器17可以通过因特网与服务器进行通信以用于云计算，以减少本地装置的计算时间和负担。另外，存储器装置18通常可以包括存储器元件，其包括但不限于计算机可读介质(例如，随机存取存储器(RAM))、计算机可读非易失性介质(例如，闪存)、软盘、光盘只读存储器(CD-ROM)、磁光盘(MOD)、数字多功能盘(DVD)和/或其他合适的存储器元件。这样的存储器装置 18通常可以被配置为存储适当的计算机可读指令，该指令在由控制器17 实现时配置处理器16以执行如本文所述的各种功能。
现在转到图5，当成像系统10是超声成像系统时，成像系统10的探头28(例如，超声探头)可以包括换能器壳体27和安装在其中的换能器发射器23。如通常理解的那样，换能器发射器23被配置为发射和/或接收超声波束。如此，换能器发射器16可以被配置在内腔(未标号)内，以使得换能器发射器16被配置为扫描患者的目标解剖对象149(例如，目标神经)周围的解剖区域。成像系统10还可以包括在任何合适的医疗程序期间使用的器械145，其中器械145经由控制器17以任何合适的方式(例如无线、有线等)耦合到探头28，其中器械145的位置可以通过本文所述的方法来确定。当医疗程序是神经阻滞程序时，器械145可以是经由控制器17通信地耦合到超声探头28的针导引组件82，其中控制器17可以被配置为当针导引组件82正在朝向目标解剖对象149(例如目标神经)移动以经由针45输送麻醉剂时定位针导引组件82。然而，应当理解的是，诸如手术刀、刀、腹腔镜或关节镜探头等的任何器械可以根据医学专业人员正在执行的程序使用来代替针导引组件82。
更具体地，如图所示，针导引组件82可以至少包括针45和导管83。因此，应该理解，针导引组件82的针45以及导管83可以以任何特定顺序或同时地穿过皮肤81插入患者80。例如，在一个实施例中，超声成像系统10可以包括针上(over-the-needle,OTN)导管组件，其中导管83同轴地安装在针45上。可替换地，针45可以安装在导管83上。在这样的实施例中，针45可以用作导引器，以使得其将导管83放置在目标神经49 处并且随后被移除。
现在参考图6-14，示出了用于对包含在从由成像系统10生成的多个实时二维图像46获取的多个场景12内的解剖对象进行自动检测、识别和标测以向用户提供指示的方法100的一个实施例的示意图(图6-9)和流程图(图10)，如同来自用户显示器20的屏幕截图(图11-14)的各种实施例一样，示出了包含当使用超声成像系统时从多个实时二维图像46中的一个生成的场景12的图像14。在某些实施例中，如本文所述的感兴趣的目标解剖对象30和周围的另外的解剖对象32可以包括患者的任何解剖结构和/或解剖结构的周围组织。更具体地，如图11-14所示的实施例所示，当要完成神经阻滞程序时，并且具体地当神经阻滞程序是肌间沟神经阻滞时，可以被检测、识别和标测的感兴趣的解剖对象30可以是患者的肌间沟臂丛(BP)34，其通常对应于由下部四个颈神经的前部支架和第一胸神经形成的从脊柱延伸的神经网络。因此，臂丛34穿过颈部的颈腋管，越过第一肋，并进入腋窝(即腋窝区域)，在那里它支配上肢和一些颈部和肩部肌肉。此外，臂丛34的周围的另外的解剖对象32(例如组织)通常对应于胸锁乳突肌(SM)36、中斜角肌(MCM)38、前斜角肌(ASM) 40、和/或类似物。这样的解剖对象30和32的视野或场景12对于医生来说通常难以实时导航以便将麻醉剂施加到正确的目标神经。因此，本公开的系统和方法提供了用于检测、识别和标测在图像14中捕获的各种场景 12中的感兴趣的目标解剖对象30的改进的方法，以使得麻醉剂可以被快速且准确地输送以阻挡与感兴趣的目标解剖对象30相关联的神经，由此向用户提供指示以围绕周围的另外的解剖对象32、标志、组织等进行导航。
然而，应当理解的是，本公开的系统和方法还可以用于涉及除了与臂丛34相关的那些之外的任何解剖结构的任何种类的医疗程序。例如，感兴趣的目标解剖对象30和周围的另外的解剖对象32或组织可以来自上面关于图1中描述的神经阻滞讨论的任何解剖区域或来自将要围绕其执行医疗程序的任何其他解剖区域。此外，如图11和12所示，由成像系统10 生成的图像14可以包括来自感兴趣的目标解剖对象30周围的解剖区域的场景12以及与其相邻定位的可选任务栏15。另外，任务栏15可以包括其他合适的控制特征，诸如打开、开始和停止按钮以及日期和时间。在可替换实施例中，任务栏15可以被省略。还应该理解，图像14还可以包括任何其他合适的控制和/或显示特征，并且可以经由用户界面22或经由触摸屏能力来控制。
特别地参考图6-9，本发明的方法涉及使用本公开的系统生成从感兴趣的解剖对象(例如，目标神经)30周围的解剖区域收集的多个实时二维切片图像46a、46b、46c、46d、46e、46f、46g、46h、46i和46j。另外，如图7所示，可以预先获得包含多个二维切片图像84a、84b、84c、84d、 84e、84f、84g、84h、84i、84j的数据集84，其中数据集84用于训练深度学习网络，其中深度学习网络用于检测和识别/标记来自目标解剖对象周围的解剖区域的场景，然后基于图6的实时二维超声图像46a-j中包含的解剖区域中的每个所识别场景的相对空间位置和相对时间位置来标测来自目标解剖对象周围的解剖区域的多个实时二维图像中的每一个。然后，现在参考图8，在框48处，实时二维超声图像46的场景内包含的目标解剖对象30或149以及另外的解剖对象32和其它标志/组织(未示出)可以自动地被检测、识别和跟踪，随后在框50处利用已经被图像的数据集84训练的深度学习网络进行标测和继续跟踪，以便在由医学专业人员执行的任何医疗程序期间提供连续的导航跟踪。应该理解的是，尽管在图6中生成了十个实时二维图像46a-46j，并且十个图像84a-84j用于形成图7的训练数据集，但应该理解的是，根据正在执行医疗程序的特定目标解剖对象周围的感兴趣的解剖区域的大小和复杂性，可以获得任何数量的实时二维图像46和/或数据集84中的图像。例如，可以使用不同场景的高达100,000、诸如在约5与50,000之间、诸如在约10与约10,000之间、或者任何其他合适数量的图像。在框50处经由深度学习网络基于在解剖区域中的每个所识别的场景的相对空间和时间位置已经映射了实时二维图像46之后，在框51处，所产生的标测位置可以用于为用户提供指示/连续导航跟踪以在医疗程序(例如，神经阻滞的输送)期间定位感兴趣的目标解剖对象(例如，目标神经)。
参考图9，连续导航跟踪可以基于递归卷积神经网络90的使用。递归卷积神经网络90可以在时间跨度88上处理实时图像46，并且可以识别来自图像46的所识别场景中存在的主要标志，其可以以文本、语音、数字等的形式输出至导航系统94。使用递归卷积神经网络90可以确保先前处理的帧的历史(诸如图像的数据集84)被存储，以使得可以提取视频/图像的时间相关性以用于更精确的检测和跟踪。如图9所示，跟踪系统的输出92可以是文本、音频/语音、或分配的标签和数字的形式。导航系统94 然后接收来自跟踪系统的输出92以便确定导航系统知道探头、器械等的当前位置。基于目标解剖对象149以及探头28和/或器械145的当前位置，导航系统94可以使用预先编程的标志的查找表96来计算朝向目标解剖对象149的正确路径。然后，导航系统94将向用户提供向导和指示98，诸如移动成像探头28和/或器械145向右、向左、向上和向下以及改变角度。这样的指示98可以以叠加在用户显示器上的文本或箭头的形式提供，或者可以以音频/语音的形式提供。
接下来，具体参考图10，如在102处所示，方法100一般包括选择感兴趣的目标解剖对象(例如，目标神经)周围的解剖区域。然后，如在104 处所示，方法100包括生成来自感兴趣的目标解剖对象周围的解剖区域的场景12的多个实时二维图像46，并将多个实时二维图像12提供至控制器 17。
如在106处所示，方法100还包括使用从多个患者接收到的二维图像的数据集84来开发和训练深度学习网络，以自动检测和识别来自实时二维超声图像46中包含的目标解剖对象周围的解剖区域(例如，另外的解剖对象、标志、周围组织等)的场景12，其中通过针对多个患者中的每一个扫描和采集来自感兴趣的目标解剖对象周围的解剖区域的多个图像的场景来生成图像的数据集84。这样，来自每个患者的多个实时二维图像 46中包含的每个场景12的目标解剖对象、另外的解剖对象、标志、周围组织或其组合可以被标记或注释以形成多个图像14。更具体地，在某些实施例中，深度学习网络可以包括一个或多个深度卷积神经网络(CNN)、一个或多个递归神经网络或任何其他合适的神经网络配置。在机器学习中，深度卷积神经网络通常指的是一种前馈人工神经网络，其中它的神经元之间的连接模式受到动物视觉皮层的组织的激发，其各个神经元以它们响应于平铺视野的重叠区域的方式被布置。相反，递归神经网络(RNN) 通常是指一类人工神经网络，其中单元之间的连接形成有向循环。这种连接创建了网络的内部状态，允许网络表现出动态的时间行为。与前馈神经网络(诸如卷积神经网络)不同，RNN可以使用其内部存储器来处理任意输入序列。因此，RNN可以提取图像帧之间的相关性，以便更好地实时识别和跟踪解剖对象。
在某些实施例中，控制器17可以使用参考标准数据(ground truth data) 来训练和/或开发深度神经网络，以自动检测和识别包含目标解剖对象30 或149、标志42、和/或另外的解剖对象(例如，组织)32的实时二维图像46的场景12。例如，在特定实施例中，控制器17可以被配置为初始地训练深度神经网络以自动检测和识别包含(一个或多个)目标解剖对象30 或149、另外的解剖对象32、标志42等的场景12。更具体地，在某些实施例中，初始训练可以在控制器17离线时完成。在另一实施例中，控制器17可以被配置成在线连续地训练深度神经网络以在初始训练完成之后自动检测包含目标解剖对象30或149、另外的解剖对象32、标志42等的场景12。
更具体地，在特定实施例中，控制器17可以被配置用于在线学习，以从场中新捕获的数据连续训练深度神经网络，以通过扫描和采集来自多个患者的目标解剖对象30或149、另外的解剖对象32、标志42等的图像 84的数据集来自动检测场景12中存在的目标解剖对象30或149、另外的解剖对象32、标志42等。例如，在某些实施例中，可以从多个患者扫描并采集数百和/或数千个图像，并经由存储器装置18存储在图像84的数据集中。另外，在存储之前，图像84的数据集可以基于用户输入进行注释以创建参考标准数据。例如，在某些实施例中，医生可以基于专家知识来注释和人工识别图像84的数据集以帮助深度学习网络检测和识别数据集的每个图像中的目标解剖对象30、附加解剖对象32、标志42等。这样，本文所述的参考标准数据通常是指通过现场专家的直接观察提供的信息，而不是由推论提供的信息。因此，本公开的深度学习网络被配置为在操作期间模仿人类的大脑。
在特定实施例中，图像84的数据集然后可以被分成多个组。例如，在一个实施例中，参考标准数据可以被分成包括训练数据集和验证数据集的至少两个组。如此，在特定实施例中，控制器17被配置成利用训练数据集来训练参数空间深度神经网络。更具体地，在某些实施例中，控制器 17可以被配置为优化成本函数以最小化深度神经网络的输出和参考标准数据之间的误差。例如，在一个实施例中，优化成本函数以最小化误差的步骤可以包括利用诸如随机梯度下降(SGD)算法的随机近似，其迭代地处理参考标准数据的部分并且基于深度神经网络的输出与参考标准数据之间的误差来调整深度神经网络的一个或多个参数。如本文所使用的，随机梯度下降通常指用于最小化被写为可微函数之和的目标函数的梯度下降优化方法的随机近似。更具体地，在一个实施例中，控制器17可以被配置为实施监督式学习，以使深度神经网络的输出和参考标准数据之间的误差最小化。如本文所使用的，“监督式学习”通常是指从标记的训练数据推断函数的机器学习任务。
然而，应该理解，成本函数可以用不同的方式定义，例如均方误差、骰子系数、分类交叉熵等，并且可以使用各种方法来优化，包括SGD及其变形，例如Adam、Adadelta、Nestrov等。在另外的实施例中，处理器 16可以实现进一步的深度学习技术，诸如强化学习以训练计算机代理以检测医学图像中的解剖对象，无监督学习以预训练神经网络和使用未标记的数据的集群对象，和/或本领域现在已知或以后开发的任何其他技术。这样的方法可能需要较少的训练数据和/或依靠奖励/惩罚功能，以使得系统不需要被具体地提供标记的数据。
在另一个实施例中，方法100还可以包括在优化成本函数之后，实时利用深度学习网络来自动地提供关于验证数据以及新捕获的数据的预测。因此，在这样的实施例中，控制器17可以被配置为将预测与参考标准数据进行比较以确保深度神经网络能够推广。换句话说，控制器17可以被配置为确保深度神经网络可以为落在训练数据之外的情况提供准确的预测。
仍然参考图10，如在108处所示，方法100还包括基于解剖区域中的每个所识别场景的相对空间位置和相对时间位置来自动地标测来自感兴趣的目标解剖对象周围的解剖区域的多个实时二维超声图像46中的每一个。标测可以基于来自跟踪系统的所识别的场景和被编程到系统中的查找表，如以上关于图9所讨论的。
仍然参考图10，如在110处所示，该方法还包括基于在多个实时二维图像46中识别的每个场景的相对空间位置和相对时间位置向用户(例如医学专业人员)提供指示来在医疗程序(例如，经由图5中示出的针45 的神经阻滞的输送)期间定位感兴趣的目标解剖对象(例如，目标神经)。可以在用户朝着目标解剖对象149(例如，图2中的目标神经49)移动器械145(例如，图2中的针45)时，在成像系统10的用户显示器20上以注释的形式向用户提供指示，其中，探头28同时扫描感兴趣的解剖区域，并且成像系统10同时生成多个实时二维图像46。还应该理解的是，可以以音频指令的形式单独地或者与成像系统10的用户显示器20上存在的带注释的指示结合来提供指示。当医学专业人员/用户扫描目标解剖对象30 或149附近的区域时，其当前位置可以使用图9中所述的递归卷积神经网络(跟踪系统)来识别，并且可以通过图9的导航系统94来计算到达目标解剖对象30或149的路径(参见图5)。基于路径，将以箭头、文本或音频/语音的形式给出指示，以指示医学专业人员/用户将探针28和/或器械 145移动到当前位置的右侧、左侧、顶部、底部等，以及相对于表面(患者的皮肤81)改变探头角度或器械角度，以使得可以精确定位目标解剖对象30或149以用于医疗程序(例如，神经阻滞)的成像或执行。
现在转到图11-14，当医疗程序是神经阻滞并且成像系统是超声成像系统时，示出了从实时超声图像46获得的各种图像14，其中控制器17被配置为标记图像14上的解剖对象30、标志42、和/或周围的组织32。更具体地，在某些实施例中，控制器17可以被配置成绘制出图像14上的目标解剖对象30、另外的解剖对象32等的轮廓。例如，如在图11和图12 中所示，臂丛34(即，目标解剖结构对象30)利用具有第一厚度或图案的边界绘制轮廓。另外，如图所示，各种周围的另外的解剖对象/组织32 可以用具有不同于用于绘制臂丛34的轮廓的第一厚度或图案的第二厚度的边界来绘制轮廓。这样，用户可以容易地从解剖区域中的另外的解剖对象/组织32识别和区分感兴趣的目标解剖对象30。
在其他实施例中，控制器17可以被配置成在实时二维超声图像46上的目标解剖对象30和/或周围的另外的解剖对象/组织32顶上覆盖描述性标签，以获得各种注释图像14。例如，如图11所示，周围的解剖对象/组织32可被编号并被标记为标志42(例如在图像14的右侧)以便由医生容易地识别。可替换地，如图12所示，周围的解剖对象/组织32可以通过线的类型被识别和区分，并被标识为特别示出患者身体内的位置的标志42。在又一个实施例中，如图13所示，周围的解剖对象/组织32可以使用描述性医学名称来加阴影和标记。在又一实施例中，如图13所示，还可以进一步限定和/或分割目标解剖对象30。这样，在臂丛34的情况下，用户可以在神经阻滞程序期间容易地识别不同的神经或神经束。
在另外的实施例中，如图11-14所示，控制器17还可以被配置成确定目标解剖对象30和/或周围解剖对象/组织32的置信度44。例如，如图11 和图12所示，臂丛34的位置的置信度44位于图像14的任务条15上。可替换地，如图13和图14所示，臂丛34的位置的置信度44可位于图像14 的所识别的场景12内，例如，靠近目标解剖对象30。
本书面描述使用示例来公开本发明，包括最佳模式，并且还使得本领域技术人员能够实践本发明，包括制造和使用任何装置或系统以及执行任何合并的方法。本发明的可专利范围由权利要求限定，并且可以包括本领域技术人员想到的其他示例。如果这样的其他示例包括不与权利要求的字面语言不同的结构要素，或者如果它们包括与权利要求的字面语言无实质区别的等同结构要素，则这些其它示例意图在权利要求的范围内。

Claims (25)

1.一种用于经由医学成像系统在医疗程序期间为用户提供导航指示以定位目标解剖对象的方法，其中，所述方法是计算机实现的，所述方法包括：
选择所述目标解剖对象周围的解剖区域；
生成来自所述目标解剖对象周围的解剖区域的场景的多个实时二维图像并将所述多个实时二维图像提供给控制器；
经由参考标准数据来开发和训练深度学习网络以自动检测和识别来自所述目标解剖对象周围的解剖区域的场景，其包括从多个患者中的每个患者扫描和采集来自所述目标解剖对象周围的解剖区域的场景的多个图像的数据集，基于用户输入来注释所述图像的数据集以创建所述参考标准数据，将所述图像的数据集和所述参考标准数据划分为训练数据集和验证数据集，以及利用所述训练数据集来训练所述深度学习网络；其中，所述深度学习网络包括前馈神经网络、递归神经网络、或其组合；
经由所述深度学习网络基于在所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，自动地标测来自所述目标解剖对象周围的解剖区域的所述多个实时二维图像中的每一个；以及
基于每个所识别的场景的相对空间位置和相对时间位置来向所述用户提供指示，以在所述医疗程序期间定位所述目标解剖对象。
2.根据权利要求1所述的方法，其中，所述医疗程序是神经阻滞，其中所述目标解剖对象是目标神经。
3.根据权利要求2所述的方法，其中，所述神经阻滞包括肌间沟神经阻滞、锁骨上神经阻滞、锁骨下神经阻滞、腋窝神经阻滞、股神经阻滞、坐骨神经阻滞、收肌管神经阻滞、腿弯部神经阻滞、隐神经阻滞、髂筋膜神经阻滞、胸腰椎旁神经阻滞、腹横肌平面(TAP)神经阻滞、肋间神经阻滞、或胸椎旁神经阻滞。
4.根据权利要求1所述的方法，其中，所述深度学习网络包括卷积神经网络。
5.根据权利要求1所述的方法，其中，利用所述训练数据集来训练所述深度学习网络还包括优化成本函数以最小化所述深度学习网络的输出与所述参考标准数据之间的误差。
6.根据权利要求5所述的方法，其中优化所述成本函数以最小化所述误差还包括利用随机梯度下降(SGD)算法，其迭代地处理所述参考标准数据的部分，并且基于所述深度学习网络的输出与所述参考标准数据之间的误差来调整所述深度学习网络的一个或多个参数。
7.根据权利要求6所述的方法，还包括在优化所述成本函数之后，实时地利用所述深度学习网络来自动地提供对所述验证数据的预测并且将所述预测与所述参考标准数据进行比较。
8.根据权利要求1所述的方法，其中基于用户输入来注释所述图像的数据集以创建所述参考标准数据还包括人工识别和注释在所述数据集的每个图像中的所述目标解剖对象、另外的解剖对象、标志、组织或其组合。
9.根据权利要求1所述的方法，还包括初始训练所述深度学习网络以离线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。
10.根据权利要求1所述的方法，还包括连续训练所述深度学习网络以在线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。
11.根据权利要求1所述的方法，其中当探头扫描感兴趣的解剖区域时，经由所述成像系统的用户显示器以注解的形式向所述用户提供所述指示，其中所述成像系统同时生成所述多个实时二维图像。
12.根据权利要求1所述的方法，其中当探头扫描感兴趣的解剖区域时，以音频的形式向所述用户提供指示，其中所述成像系统同时生成所述多个实时二维图像。
13.根据权利要求1所述的方法，其中所述医学成像系统包括超声成像系统、计算机断层扫描(CT)成像系统、磁共振(MR)成像系统或荧光成像系统。
14.一种用于医疗程序中的医学成像系统，所述医学成像系统包括：
至少一个控制器，其被配置为执行一个或多个操作，所述一个或多个操作包括：
接收来自目标解剖对象周围的解剖区域的场景的多个实时二维图像；
经由参考标准数据开发和训练深度学习网络以自动检测和识别来自所述目标解剖对象周围的解剖区域的场景，其包括从多个患者中的每个患者扫描和采集来自所述目标解剖对象周围的解剖区域的场景的多个图像的数据集，基于用户输入来注释所述图像的数据集以创建所述参考标准数据，将所述图像的数据集和所述参考标准数据划分为训练数据集和验证数据集，以及利用所述训练数据集来训练所述深度学习网络；其中，所述深度学习网络包括前馈神经网络、递归神经网络、或其组合；
经由所述深度学习网络基于在所述解剖区域中的每个所识别的场景的相对空间位置和相对时间位置，自动地标测来自所述目标解剖对象周围的解剖区域的所述多个实时二维图像中的每一个；以及
基于每个所识别的场景的相对空间位置和相对时间位置向用户提供指示以在所述医疗程序期间定位所述目标解剖对象；以及
用户显示器，其被配置为向用户显示所述多个实时二维图像。
15.根据权利要求14所述的医学成像系统，其中，所述医疗程序是神经阻滞，其中所述目标解剖对象是目标神经。
16.根据权利要求14所述的医学成像系统，其中，所述深度学习网络包括卷积神经网络。
17.根据权利要求14所述的医学成像系统，其中，基于用户输入来注释所述图像的数据集以创建所述参考标准数据还包括人工识别和注释在所述数据集的每个图像中的所述目标解剖对象、另外的解剖对象、标志、组织或其组合。
18.根据权利要求14所述的医学成像系统，其中，所述控制器被配置为初始训练所述深度学习网络以离线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。
19.根据权利要求14所述的医学成像系统，其中，所述控制器被配置为连续训练所述深度学习网络以在线地自动检测和识别来自所述目标解剖对象周围的解剖区域的场景。
20.根据权利要求14所述的医学成像系统，其中，当探头扫描感兴趣的解剖区域时，所述控制器经由所述用户显示器以注解的形式向所述用户提供所述指示，其中所述成像系统同时生成所述多个实时二维图像。
21.根据权利要求14所述的医学成像系统，其中，当探头扫描感兴趣的解剖区域时，所述控制器以音频形式向所述用户提供指示，其中所述成像系统同时生成所述多个实时二维图像。
22.根据权利要求14所述的医学成像系统，其中，所述医学成像系统包括超声成像系统、计算机断层扫描(CT)成像系统、磁共振(MR)成像系统或荧光成像系统。
23.根据权利要求14所述的医学成像系统，其中，所述医学成像系统被配置为要由其他医学成像系统安装和托管的软件包，其中所述医学成像系统能够接收来自主医学成像系统的图像并提供要由所述主医学成像系统部署的输出。
24.根据权利要求14所述的医学成像系统，其中，所述深度学习网络采用量化权重、二进制权重和其他压缩方法来在有限的计算能力可用时减少存储器使用并加快执行时间。
25.根据权利要求14所述的医学成像系统，其中所述医学成像系统采用变换、均衡和归一化技术以能够与具有不同设置、规格和图像质量的不同医学成像系统一起工作。
CN201780002386.1A 2016-12-02 2017-06-29 用于经由医学成像系统导航到目标解剖对象的系统和方法 Active CN109074665B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662429150P 2016-12-02 2016-12-02
US62/429150 2016-12-02
PCT/US2017/039928 WO2018101985A1 (en) 2016-12-02 2017-06-29 System and method for navigation to a target anatomical object in medical imaging-based procedures

Publications (2)

Publication Number Publication Date
CN109074665A CN109074665A (zh) 2018-12-21
CN109074665B true CN109074665B (zh) 2022-01-11

Family

ID=59363227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002386.1A Active CN109074665B (zh) 2016-12-02 2017-06-29 用于经由医学成像系统导航到目标解剖对象的系统和方法

Country Status (10)

Country Link
US (1) US10657671B2 (zh)
EP (1) EP3549103B1 (zh)
JP (1) JP6796085B2 (zh)
KR (2) KR101886990B1 (zh)
CN (1) CN109074665B (zh)
BR (1) BR112018000197A2 (zh)
CA (1) CA2989159C (zh)
MX (1) MX379308B (zh)
RU (1) RU2017142603A (zh)
WO (1) WO2018101985A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11164679B2 (en) 2017-06-20 2021-11-02 Advinow, Inc. Systems and methods for intelligent patient interface exam station
US12102397B2 (en) * 2018-01-19 2024-10-01 Verily Life Sciences Llc Step-based system for providing surgical intraoperative cues
CN117379103A (zh) * 2018-01-31 2024-01-12 富士胶片株式会社 超声波诊断装置及其控制方法、超声波诊断装置用处理器
US10939806B2 (en) * 2018-03-06 2021-03-09 Advinow, Inc. Systems and methods for optical medical instrument patient measurements
US11348688B2 (en) * 2018-03-06 2022-05-31 Advinow, Inc. Systems and methods for audio medical instrument patient measurements
EP3788632A1 (en) * 2018-04-30 2021-03-10 Koninklijke Philips N.V. Visual question answering using on-image annotations
US12499358B1 (en) * 2018-05-23 2025-12-16 Intuit Inc. Methods of generating auxilary functions for use with machine learning methods
US20200016396A1 (en) * 2018-07-11 2020-01-16 Synchron Australia Pty Limited Systems and methods for improving placement of devices for neural stimulation
JP7134017B2 (ja) 2018-08-14 2022-09-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR102179045B1 (ko) * 2018-10-18 2020-11-16 한국외국어대학교 연구산학협력단 3차원 영상에서의 강화 학습 기반 랜드마크 위치 검출 모델 학습 방법
JP7464593B2 (ja) * 2018-11-01 2024-04-09 コーニンクレッカ フィリップス エヌ ヴェ 医用画像内でのインターベンションデバイスの識別
CN109589145A (zh) * 2018-12-28 2019-04-09 吴莹 一种智能化肾穿刺控制系统
KR102659494B1 (ko) 2019-01-21 2024-04-23 삼성전자주식회사 전자 장치 및 그 제어 방법
US10970542B2 (en) * 2019-02-22 2021-04-06 Here Global B.V. Scalable three dimensional object segmentation
EP3699925A1 (en) * 2019-02-25 2020-08-26 Koninklijke Philips N.V. Camera assisted subject support configuration
US11707255B2 (en) * 2019-04-02 2023-07-25 Siemens Medical Solutions Usa, Inc. Image-based probe positioning
CN113678167B (zh) * 2019-04-02 2025-08-12 皇家飞利浦有限公司 超声成像中的分割和视图引导以及相关联的设备、系统和方法
JP7279817B2 (ja) * 2019-04-17 2023-05-23 日本電気株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20210045716A1 (en) * 2019-08-13 2021-02-18 GE Precision Healthcare LLC Method and system for providing interaction with a visual artificial intelligence ultrasound image segmentation module
US12171592B2 (en) * 2019-08-30 2024-12-24 Avent, Inc. System and method for identification, labeling, and tracking of a medical instrument
CN112446476B (zh) * 2019-09-04 2025-04-15 华为技术有限公司 神经网络模型压缩的方法、装置、存储介质和芯片
US11024027B2 (en) * 2019-09-13 2021-06-01 Siemens Healthcare Gmbh Manipulable object synthesis in 3D medical images with structured image decomposition
EP3821440B1 (en) * 2019-09-20 2024-07-24 Brainlab AG Training a machine learning algorithm using digitally reconstructed radiographs
JP7427902B2 (ja) * 2019-10-02 2024-02-06 コニカミノルタ株式会社 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
JP7432340B2 (ja) * 2019-11-07 2024-02-16 川崎重工業株式会社 手術システム及び制御方法
CN114727806A (zh) * 2019-11-21 2022-07-08 皇家飞利浦有限公司 照护点超声(pocus)扫描辅助和相关装置、系统和方法
US20210177295A1 (en) * 2019-12-11 2021-06-17 GE Precision Healthcare LLC Systems and methods for generating diagnostic scan parameters from calibration images
EP3857446B1 (en) * 2019-12-19 2023-05-24 Brainlab AG Medical image analysis using machine learning and an anatomical vector
CN119055360A (zh) 2019-12-31 2024-12-03 奥瑞斯健康公司 解剖特征识别和瞄准
EP4085419A4 (en) 2020-01-03 2024-01-10 National University of Singapore ULTRASONIC IMAGING METHOD AND SYSTEM FOR IDENTIFYING AN ANATOMICAL FEATURE OF A VERTEBRAL COLUMN
WO2021145876A1 (en) * 2020-01-16 2021-07-22 Visa International Service Association System and computer-implemented method for character recognition in payment card
EP3868303A1 (en) * 2020-02-18 2021-08-25 Koninklijke Philips N.V. Ultrasound guidance method and system
EP3862969A1 (en) * 2020-02-07 2021-08-11 Siemens Healthcare GmbH Orientation detection in medical image data
EP3881793A1 (en) * 2020-03-17 2021-09-22 CHU de NICE Surgical instrument and computer-implemented method for determining the position and orientation of such surgical instrument
US11737663B2 (en) 2020-03-30 2023-08-29 Auris Health, Inc. Target anatomical feature localization
CN111488985B (zh) * 2020-04-08 2023-11-14 华南理工大学 深度神经网络模型压缩训练方法、装置、设备、介质
JP2023523560A (ja) * 2020-04-13 2023-06-06 カリベル・ラブズ・インコーポレーテッド Ａｉ支援手術のためのシステムおよび方法
DE102020204985A1 (de) * 2020-04-21 2021-10-21 Siemens Healthcare Gmbh Steuerung eines robotisch bewegten medizinischen Objekts
US20210334955A1 (en) * 2020-04-24 2021-10-28 Nvidia Corporation Image annotation using one or more neural networks
CN112001224B (zh) * 2020-07-02 2025-01-10 北京奥维视讯科技有限责任公司 基于卷积神经网络的视频采集方法和视频采集系统
CN111839730B (zh) * 2020-07-07 2022-02-11 厦门大学附属翔安医院 一种用于引导肿瘤切除的光声成像手术导航平台
EP3967232A1 (en) * 2020-09-10 2022-03-16 Koninklijke Philips N.V. Method for providing a source of secondary medical imaging
DE102020212086A1 (de) * 2020-09-25 2022-03-31 Siemens Healthcare Gmbh Ermitteln der Qualität einer Positionierung eines in einen Patientenkörper eingeführten Objekts
EP4230147A4 (en) 2020-10-16 2024-04-03 FUJIFILM Corporation ULTRASONIC DIAGNOSTIC DEVICE AND DISPLAY METHOD FOR THE ULTRASONIC DIAGNOSTIC DEVICE
CN116600721A (zh) * 2020-12-08 2023-08-15 皇家飞利浦有限公司 为介入医学流程生成重建图像的系统和方法
CN116648724A (zh) * 2020-12-21 2023-08-25 美敦力导航股份有限公司 用于监测一个或多个解剖元素的系统和方法
US12361557B2 (en) 2020-12-21 2025-07-15 Medtronic Navigation, Inc. Systems and methods for monitoring one or more anatomical elements
CN112766314B (zh) * 2020-12-31 2024-05-28 上海联影智能医疗科技有限公司 解剖结构的识别方法、电子设备及存储介质
EP4280996A4 (en) * 2021-01-21 2024-08-07 Epidutech Ltd. METHOD FOR TRACKING A MEDICAL TOOL DURING A MEDICAL INTERVENTION USING DEEP LEARNING
CN112819724B (zh) * 2021-02-05 2024-06-28 广东电网有限责任公司广州供电局 一种基于cnn的扫描文档图像增强方法
EP4059435A1 (en) * 2021-03-15 2022-09-21 Koninklijke Philips N.V. Patient preparation for medical imaging
WO2022221341A1 (en) 2021-04-12 2022-10-20 Chandra Jonelagadda Systems and methods for using image analysis in superior capsule reconstruction
US12367261B1 (en) * 2021-05-19 2025-07-22 Nvidia Corporation Extending supervision using machine learning
WO2022272239A1 (en) * 2021-06-22 2022-12-29 Boston Scientific Scimed, Inc. Systems and methods utilizing machine-learning for in vivo navigation
CN115990059A (zh) * 2021-10-20 2023-04-21 奥林巴斯株式会社 操作用于图像引导手术过程的医疗导航系统的方法
CN114052795B (zh) * 2021-10-28 2023-11-07 南京航空航天大学 一种结合超声自主扫描的病灶成像及防误扎治疗系统
EP4445328A4 (en) * 2021-12-10 2025-11-19 Mofaip Llc MULTIDIMENSIONAL ANATOMICAL MAPPING, DESCRIPTIONS, VISUALIZATIONS AND TRANSLATIONS
CN114840110B (zh) * 2022-03-17 2023-06-20 杭州未名信科科技有限公司 一种基于混合现实的穿刺导航交互辅助方法及装置
CN119836271A (zh) * 2022-09-09 2025-04-15 庆应义塾 手术辅助程序、手术辅助装置以及手术辅助方法
US12488578B1 (en) 2022-09-16 2025-12-02 Nvidia Corporation Neural network training technique
CN118986403B (zh) * 2024-10-21 2025-01-14 广东和诚信息技术有限公司 远程超声的检测方法以及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205062A (zh) * 2012-03-26 2014-12-10 微软公司 剖析数据可视化
CN104346821A (zh) * 2013-08-09 2015-02-11 西门子公司 用于医学成像的自动规划
CN104346625A (zh) * 2013-08-09 2015-02-11 株式会社东芝 医用图像处理装置、医用图像处理方法以及分类器训练方法
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
CN105139454A (zh) * 2015-08-06 2015-12-09 北京工业大学 一种三维ct图像中肝脏三维感兴趣区域的自动提取方法
JP2016190032A (ja) * 2015-03-30 2016-11-10 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドＳｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ． 超音波イメージングにおける３次元関心ボリューム
WO2016182551A1 (en) * 2015-05-11 2016-11-17 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3642591B2 (ja) * 1994-11-29 2005-04-27 株式会社日立メディコ 画像処理装置
CN1440538A (zh) 2000-05-09 2003-09-03 西门子公司 用于测定图像中的对象的方法和装置
US7016529B2 (en) * 2002-03-15 2006-03-21 Microsoft Corporation System and method facilitating pattern recognition
JP2005199403A (ja) 2004-01-16 2005-07-28 Sony Corp 情動認識装置及び方法、ロボット装置の情動認識方法、ロボット装置の学習方法、並びにロボット装置
US7876934B2 (en) 2004-11-08 2011-01-25 Siemens Medical Solutions Usa, Inc. Method of database-guided segmentation of anatomical structures having complex appearances
JP2008017997A (ja) * 2006-07-12 2008-01-31 Hitachi Medical Corp 手術支援ナビゲーションシステム
WO2008087629A2 (en) 2007-01-16 2008-07-24 Simbionix Ltd. Preoperative surgical simulation
EP2227783A1 (en) * 2007-10-19 2010-09-15 Boston Scientific Scimed, Inc. Display of classifier output and confidence measure in an image
US8172753B2 (en) 2008-07-11 2012-05-08 General Electric Company Systems and methods for visualization of an ultrasound probe relative to an object
US8073220B2 (en) 2009-04-20 2011-12-06 Siemens Aktiengesellschaft Methods and systems for fully automatic segmentation of medical images
WO2011087807A2 (en) 2009-12-22 2011-07-21 Health Discovery Corporation System and method for remote melanoma screening
US20110182493A1 (en) 2010-01-25 2011-07-28 Martin Huber Method and a system for image annotation
US20110188715A1 (en) 2010-02-01 2011-08-04 Microsoft Corporation Automatic Identification of Image Features
RU2013110371A (ru) 2010-08-13 2014-09-20 Смит Энд Нефью, Инк. Обнаружение анатомических ориентиров
WO2012035538A1 (en) 2010-09-16 2012-03-22 Mor Research Applications Ltd. Method and system for analyzing images
US8867802B2 (en) 2011-04-19 2014-10-21 Microsoft Corporation Automatic organ localization
BR112014029528A2 (pt) * 2012-05-31 2017-06-27 Koninklijke Philips Nv método; sistema; e meio de armazenamento nãotransitório legível por computador que armazena um conjunto de instruções executáveis por um processador
WO2013183051A1 (en) 2012-06-04 2013-12-12 Tel Hashomer Medical Research Infrastructure And Services Ltd. Ultrasonographic images processing
EP2690596B1 (en) 2012-07-24 2018-08-15 Agfa Healthcare Method, apparatus and system for automated spine labeling
US9256962B2 (en) 2013-01-23 2016-02-09 Orca Health Inc. Personalizing medical conditions with augmented reality
US11278353B2 (en) * 2016-03-16 2022-03-22 Synaptive Medical Inc. Trajectory alignment system and methods
US9824446B2 (en) 2013-03-15 2017-11-21 Stephanie Littell Evaluating electromagnetic imagery by comparing to other individuals' imagery
DK2973397T3 (en) 2013-03-15 2017-10-02 Ventana Med Syst Inc Tissue-object-based machine learning system for automated assessment of digital whole-slide glass
US9390502B2 (en) * 2013-04-22 2016-07-12 Kabushiki Kaisha Toshiba Positioning anatomical landmarks in volume data sets
US9129362B2 (en) * 2013-05-22 2015-09-08 Siemens Aktiengesellschaft Semantic navigation and lesion mapping from digital breast tomosynthesis
DE102013218437A1 (de) 2013-09-13 2015-03-19 Siemens Aktiengesellschaft Verfahren zur automatischen oder halb-automatischen Segmentierung und Vorrichtung
US9730643B2 (en) 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9700219B2 (en) 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US20150164605A1 (en) * 2013-12-13 2015-06-18 General Electric Company Methods and systems for interventional imaging
CN106413565B (zh) * 2013-12-20 2019-12-17 皇家飞利浦有限公司 自动超声波束操纵和探针伪影抑制
WO2015104607A1 (en) 2014-01-07 2015-07-16 Koninklijke Philips N.V. Ultrasound imaging modes for automated real time quantification and analysis
EP3073915A4 (en) 2014-01-17 2017-08-16 Arterys Inc. Apparatus, methods and articles for four dimensional (4d) flow magnetic resonance imaging
US9990743B2 (en) * 2014-03-27 2018-06-05 Riverain Technologies Llc Suppression of vascular structures in images
WO2015175806A1 (en) 2014-05-16 2015-11-19 The Trustees Of The University Of Pennsylvania Applications of automatic anatomy recognition in medical tomographic imagery based on fuzzy anatomy models
US10297027B2 (en) 2014-06-09 2019-05-21 Siemens Healthcare Gmbh Landmark detection with spatial and temporal constraints in medical imaging
GB2528249B (en) 2014-07-11 2019-03-06 Siemens Medical Solutions Usa Inc Automatic background region selection for lesion delineation in medical images
KR101579740B1 (ko) 2014-09-01 2015-12-23 삼성메디슨 주식회사 초음파 진단장치, 그에 따른 초음파 진단 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체
US9779505B2 (en) 2014-09-30 2017-10-03 Toshiba Medical Systems Corporation Medical data processing apparatus and method
US10068340B2 (en) 2014-11-03 2018-09-04 Algotec Systems Ltd. Method for segmentation of the head-neck arteries, brain and skull in medical images
US9633306B2 (en) * 2015-05-07 2017-04-25 Siemens Healthcare Gmbh Method and system for approximating deep neural networks for anatomical object detection
US10413366B2 (en) * 2016-03-16 2019-09-17 Synaptive Medical (Bardbados) Inc. Trajectory guidance alignment system and methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205062A (zh) * 2012-03-26 2014-12-10 微软公司 剖析数据可视化
CN104346821A (zh) * 2013-08-09 2015-02-11 西门子公司 用于医学成像的自动规划
CN104346625A (zh) * 2013-08-09 2015-02-11 株式会社东芝 医用图像处理装置、医用图像处理方法以及分类器训练方法
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
JP2016190032A (ja) * 2015-03-30 2016-11-10 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドＳｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ． 超音波イメージングにおける３次元関心ボリューム
WO2016182551A1 (en) * 2015-05-11 2016-11-17 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks
CN105139454A (zh) * 2015-08-06 2015-12-09 北京工业大学 一种三维ct图像中肝脏三维感兴趣区域的自动提取方法

Also Published As

Publication number Publication date
MX2017017142A (es) 2018-11-09
US10657671B2 (en) 2020-05-19
JP2019508072A (ja) 2019-03-28
MX379308B (es) 2025-03-11
KR20180116226A (ko) 2018-10-24
CA2989159A1 (en) 2018-03-05
RU2017142603A3 (zh) 2019-08-07
EP3549103B1 (en) 2021-08-04
EP3549103A1 (en) 2019-10-09
US20190355149A1 (en) 2019-11-21
WO2018101985A1 (en) 2018-06-07
CN109074665A (zh) 2018-12-21
KR101949114B1 (ko) 2019-02-15
BR112018000197A2 (pt) 2018-09-11
JP6796085B2 (ja) 2020-12-02
RU2017142603A (ru) 2019-08-07
KR101886990B1 (ko) 2018-08-08
CA2989159C (en) 2021-12-28

Similar Documents

Publication Publication Date Title
CN109074665B (zh) 用于经由医学成像系统导航到目标解剖对象的系统和方法
US12171592B2 (en) System and method for identification, labeling, and tracking of a medical instrument
US20230044419A1 (en) Optimizing checkpoint locations along an insertion trajectory of a medical instrument using data analysis
EP2266097B1 (en) Diffusion tensor imaging confidence analysis
AU2018214141B2 (en) System and method for navigation to a target anatomical object in medical imaging-based procedures
US9336590B2 (en) Advanced fiber tracking and medical navigation in a brain
US20200029941A1 (en) Articulating Arm for Analyzing Anatomical Objects Using Deep Learning Networks
EP4318393A1 (en) Surgical path processing system, method, apparatus and device, and storage medium
US20190336225A1 (en) System and methods for updating patient registration during surface trace acquisition
US20210174523A1 (en) Method for registration of image data and for provision of corresponding trained facilities, apparatus for doing so and corresponding computer program product
WO2022254436A1 (en) Closed-loop steering of a medical instrument toward a moving target
US11766234B2 (en) System and method for identifying and navigating anatomical objects using deep learning networks
US12303204B2 (en) Automated pre-operative assessment of implant placement in human bone
CN115552480A (zh) 用于对图像中的结构进行分类的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant