CN116457826A - 图像数据中的脊柱椎骨的检测 - Google Patents
图像数据中的脊柱椎骨的检测 Download PDFInfo
- Publication number
- CN116457826A CN116457826A CN202180072894.3A CN202180072894A CN116457826A CN 116457826 A CN116457826 A CN 116457826A CN 202180072894 A CN202180072894 A CN 202180072894A CN 116457826 A CN116457826 A CN 116457826A
- Authority
- CN
- China
- Prior art keywords
- vertebrae
- image
- bounding boxes
- vertebra
- sagittal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
使用具有被训练的人工智能的多阶段检测来检测体积图像中的脊柱的椎骨。在一个实施例中,经训练的神经网络(116)被用来在第一阶段检测矢状图像中的个体椎骨。围绕被检测到的椎骨的二维边界框被组合以生成该脊柱的三维模型。基于该三维模型生成脊柱的全景图像以创建脊柱的伸直视图。经训练的神经网络被用来在第二阶段检测全景图像中的个体椎骨。全景图像中围绕被检测到的椎骨的二维边界框被转换至三维空间,以创建具有三维边界框的三维图像数据。
Description
技术领域
以下总体上涉及医学成像信息学,并且更具体地涉及图像数据中的脊柱椎骨的检测。
背景技术
当放射科医师读取没有用椎骨的标识注释的轴向脊柱图像时,在没有参考矢状脊柱和/或其它图像来交叉参考轴向脊柱图像相对于脊柱的位置的情况下,放射科医生难以确定哪个椎骨被表示在轴向脊柱图像中。在一个实例中,放射科医师被指派手动注释和/或计数椎骨中心。遗憾的是,这是乏味的、耗时的并且容易出现人为错误的。在Payer等人的“Vertebrae Localization and Segmentation with Spatial Configuration-Net andU-net”(2019),和Chen的“An Automatic Multi-stage System for VertebraSegmentation and Labelling”(2019),以及Lessmann等人的“Iterative fullyconvolutional neural networks”(2019)中,描述了自动椎骨检测算法。遗憾的是,这些方法需要相当大的计算能力。至少鉴于上述情况,存在对用于在体积图像数据中检测和标记脊柱椎骨的另一种(多种)方法的未解决的需要。
发明内容
本文描述的一些方面解决了上述提到的问题和/或其它问题。
下文描述了用于体积图像数据中脊柱椎骨的自动检测和标记的多阶段方法。在一个实施例中,在第一检测阶段中使用对象检测算法来检测矢状图像中的个体椎骨并为检测到的椎骨生成2-D边界框。矢状图像和2-D边界框被组合以生成具有3-D边界框的脊柱的3-D模型。然后基于3-D模型生成脊柱的全景图像以创建脊柱的伸直视图。在第二阶段中使用对象检测算法(或另一算法)来检测全景图像中的个体椎骨并且为检测到的椎骨生成2-D边界框。全景图像中的椎骨的2-D边界框被转换至3-D空间。
在一个方面,系统被配置为在体积图像数据中检测脊柱的椎骨。该系统包括计算装置。计算装置包括具有用于椎骨检测模块的指令的存储器。计算装置还包括被配置为执行指令以执行两阶段椎骨检测的处理器,其中椎骨的第一组边界框在两阶段椎骨检测中的第一阶段在矢状图像中被检测并且在体积图像中被聚类为框,脊柱的全景图像基于检测到的第一组边界框而被生成,并且椎骨的第二组边界框在两阶段椎骨检测的第二阶段中在全景图像中被检测。计算装置还包括被配置为显示检测到的椎骨的2-D图像的显示器。在一个实例中,所有检测到的边界框——第一组和第二组两者——都被标记为骶骨、C2或“其它”椎骨。这至少是因为C2和骶骨椎骨都具有独特的形状,并在边界框的检测之后用作椎骨注释的锚点。
在另一个方面,方法被配置为用于检测体积图像中的脊柱的椎骨。该方法包括提取脊柱的矢状图像中椎骨的第一组边界框,并且在一个实例中,将它们标记为骶骨、C2或“其它”椎骨。该方法然后包括将矢状图像的边界框聚类至体积图像中的框。该方法还包括基于检测到的第一组边界框生成脊柱的全景图像。该方法还包括以与之前同样的标记提取全景图像中椎骨的第二组边界框。
在另一个方面,计算机可读存储介质存储用于在体积图像数据中检测脊柱的椎骨的指令。这些指令,当由计算机的处理器执行时,使处理器提取脊柱的矢状图像中的椎骨的第一组边界框,并且在一个实例中,将它们标记为骶骨、C2或“其他”椎骨,将它们聚类至体积数据中的框,基于检测到的第一组体积边界框生成脊柱的全景图像,并且提取全景图像中的椎骨的第二组边界框。
本领域技术人员在阅读和理解所附说明书后将认识到本申请的又其他方面。
附图说明
本发明可以采取各种部件和部件布置以及各种步骤和步骤布置的形式。附图仅为了说明实施例,而不应被解释为限制本发明。
图1示意性地示出了根据本文的(多个)实施例的具有椎骨检测和标记模块的示例系统,该椎骨检测和标记模块被配置为在体积图像数据中检测和标记脊柱的椎骨。
图2示意性地示出了根据本文的(多个)实施例的图1系统的椎骨检测和标记模块的示例。
图3示意性地示出了根据本文的(多个)实施例的用于在体积图像数据中检测和标记脊柱的椎骨的示例方法。
具体实施方式
图1示意性地示出了根据本文的(多个)实施例的示例系统102。系统102至少包括(多个)数据储存库104和计算装置106。
(多个)数据储存库104包括被配置为至少存储数字医学图像的物理存储介质。在一个实例中,(多个)数据储存库104用于(多个)保健实体等,并且包括通过(多个)保健实体的成像模态采集的对象的数字医学图像。物理存储介质对于(多个)保健实体是本地的和/或与之远离的,例如基于“云”的资源的一部分。成像模态的示例包括磁共振(MR)、计算机断层扫描(CT)、单光子发射断层扫描(SPECT)、正电子发射断层扫描(PET)、X射线等。数字医学图像包括一系列二维(2-D)图像(其共同提供三维(3-D)体积图像数据集)和/或3-D体积图像数据集。数字医学图像至少包括对象的脊柱的椎骨的图像。
计算装置106包括处理器108(例如,中央处理单元(CPU)、微处理器(CPU)、图形处理单元(GPU)和/或其它处理器)和计算机可读存储介质(“存储器”)110(其不包括暂态介质),诸如物理存储设备,如硬盘驱动器、固态驱动器和/或光盘等。存储器110至少包括计算机可执行指令112和数据114。处理器108被配置为执行计算机可执行指令112。在一个实例中,计算系统106被配置为提供对包括数字医学图像、电子报告等的医学信息的存储、访问和/或处理。计算装置106的示例包括但不限于图像存储和传输系统(PACS)。在计算系统106是PACS时,数字医学图像和/或其它电子信息经由DICOM(医学数字成像和通信)格式和/或其它(多种)格式来存储和/或传送。
指令112包括至少用于椎骨检测模块116的指令。如下面更详细地描述,在一个实施例中,椎骨检测模块116被配置为检测在矢状平面中获取的脊柱图像(“矢状图像”)中的个体椎骨并为检测到的椎骨生成2-D边界框,组合该矢状图像和2-D边界框以生成具有3-D边界框的脊柱的3-D模型,基于3-D模型生成检测到的椎骨的全景图像以创建脊柱的伸直视图,检测全景图像中的个体椎骨并为全景图像中检测到的椎骨生成2-D边界框,将2-D边界框转换至3-D空间,以及可选地注释所显示的2-D图像。如本文所使用的,边界框以与或不与一个或多个相邻椎骨部分重叠的方式界定或包围椎骨。在一个实例中,相对于没有椎骨检测模块116的配置,椎骨检测模块116降低了用于检测和标记的计算能力和/或提高了界定椎骨的准确性。
(多个)输入设备118,诸如键盘、鼠标、触摸屏等,与计算系统102进行电气通信。在一个实例中,(多个)输入设备118被配置为允许用户经由用户输入来操作计算系统102,包括激活椎骨检测模块116、选择体积图像数据和/或矢状图像等来加载。(多个)人类可读输出设备120(诸如显示器)也与计算设备106电气通信。在一个实例中,(多个)输出设备120被配置为显示椎骨的2-D图像、提示用户输入、呈现指令等。输入/输出(“I/O”)122被配置为至少与(多个)数据储存库104通信(有线和/或无线),包括从(多个)数据储存库104、(多个)输入设备118和/或(多个)输出设备120检取/接收电子数据和/或向(多个)数据储存库104、(多个)输入设备118和/或(多个)输出设备120传送数据。
图2示意性地示出了根据本文的实施例的椎骨检测模块116的示例。所示的椎骨检测模块116包括数据预处理器200、被训练的椎骨检测器202、3-D模型生成器204、全景图像生成器206、2-D到3-D空间转换器208和注释器210。
椎骨检测模块116接收对象的脊柱扫描的图像数据作为输入,该图像数据包括一系列2-D图像(其共同提供3-D体积数据集)和/或3-D体积数据集、或从一系列2-D图像(其共同提供3-D体积数据集)和/或3-D体积数据集生成的一组或多组矢状图像。如这里简要讨论的,合适的数据集包括MR、CT、SPECT、PET、X射线等。在一个实例中,特定的图像数据经由来自(多个)输入设备118的用户输入被选择。
数据预处理器200被配置为处理输入图像数据。在一个实例中,处理的结果是一组或多组矢状切片。参数诸如窗宽、窗位、切片厚度等经由用户输入和/或预编程的设置来确定。在多组矢状切片被生成的情况下,在一个实例中,窗宽、窗位和/或其他参数对于所有切片是相同的。在另一实例中,至少两个组具有至少一个不同的参数值。窗宽是指要显示的CT数(以亨氏单位(HU)计)的范围,窗位是指该范围的中点处的CT数。用于查看包括脊柱的图像中的脊柱的窗宽和窗位(W/L)设置的示例为:W=1800HU,L=400HU。在输入图像数据包括一组或多组矢状图像的情况下,数据预处理器200不被用于处理输入图像数据以创建一组或多组矢状图像。
被训练的椎骨检测器202被配置为处理一组或多组矢状切片。在一个实例中,这包括检测切片是否包括椎骨并为检测到的椎骨生成2-D边界框。在一个实例中,椎骨检测开始于中心切片,并在两个方向上逐切片地前进到最外面的切片,即矢状切片的第一和最后切片。在所有切片被处理之后,在预定停止标准被满足之后(例如,在处理了预定数量的连续切片而没有椎骨标记之后,这指示脊柱在数据集之外)或其它预定停止标准之后,椎骨检测结束。在一个实例中,预定停止标准例如通过限制所处理的切片的数目来减少处理时间。
合适的检测器的实例包括基于人工智能的检测器,该基于人工智能的检测器包括基于神经网络的检测器,诸如在Girshick等人的“Faster R-CNN:Towards Real-TimeObject Detection with Region Proposal Networks”(2015)中描述的更快的区域卷积神经网络,在Redmon等人的“YOLOv3:An Incremental Improvement”(2018)中描述的YouOnly Look Once,和/或其它(多个)检测器。为了简洁和解释的目的,这里用YOLOv3检测器描述椎骨检测。利用YOLOv3检测器,将神经网络应用于图像,将图像划分为区域,并且为每个区域预测边界框和概率,其中边界框由预测的概率加权。
利用YOLOv3检测器,预定的最小置信度阈值被用来确定是否为可能被检测为椎骨的对象生成2-D边界框。在一个实例中,最小置信度阈值是0.55。这意味着将仅为以0.55或更高的置信度检测到的椎骨生成2-D边界框。在另一实例中,最小置信度阈值为0.50。在又一实例中,最小置信度阈值是不同的值。最小置信度阈值0将导致为可能被检测为椎骨的每个对象都生成2-D边界框。通常,较高的阈值提高了特异性,而较低的阈值提高了灵敏度。
3-D模型生成器204被配置为处理一组或多组矢状图像和2-D边界框。在一个实例中,这包括针对每个检测到的椎骨将跨矢状切片的2-D边界框组合起来以生成具有3-D边界框的3-D模型。为了简洁和解释的目的,这里使用基于密度的应用噪声的空间聚类(DBSCAN)算法描述,该DBSCAN算法在Ester等人的“Adensity-based algorithm for discoveringclusters in large spatial databases with noise.Proceeding of the SecondInternational Conference on Knowledge Discovery and Data Mining(KDD-96)”,AAAI出版社第226-331页中描述。DBSCAN是一种基于密度的数据聚类非参数算法,其中在一些空间中给定一组点,彼此接近的点被聚类/分组在一起,而其最为邻近的邻点在远处的点被认为是离群点。
全景图像产生器206被配置为处理3-D模型和3-D边界框。在一个实例中,这包括使用穿过3D边界框中心的曲线来生成全景图像。在一个实例中,在第一椎骨之前和最后椎骨之后外推曲线。这允许全景图像生成器206添加在边缘处丢失的(多个)椎骨。曲线在预定间隔(例如,0.1、0.5、1.0、2.5等毫米(mm))处被插值和采样。对于曲线上的每个点,沿着从身体一侧至对侧(例如从身体前部至身体后部)的向量在该点处在垂直于曲线的平面上的投影,对来自3-D模型的线进行采样。结果是包含垂直对齐的整个脊柱的全景(准矢状)图像。
被训练的椎骨检测器202还被配置为处理全景图像。在一个实例中,这包括检测全景图像中的椎骨并在每个检测到的椎骨周围生成2-D边界框。在一个实例中,最小置信度阈值是0.50。类似于矢状切片中的检测,最小置信度阈值可以是不同的值。通常,全景图像中的椎骨检测应该比使用矢状切片的检测更准确,这至少是因为脊柱被伸直并被完全显示,并且使用矢状图像被遗漏的任何椎骨现在在此被检测到。在一个实例中,这提高了灵敏度而没有降低特异性。在另一实施例中,单独的椎骨检测器被用于检测矢状图像和全景图像中的椎骨。
2-D到3-D空间转换器208被配置为处理具有2-D边界框的全景图像。在一个实例中,这包括将2-D边界框转换到3-D空间并将深度添加到每个边界框。例如,在一个实例中,每个边界框的每个角被转换到3-D空间,并且所有四个角的边界框被设置为椎骨的边界框,其中深度被设置为与2-D边界框的较小的边(即边界框的宽度或高度中的较小者)相同,。
被训练的椎骨检测器202还被配置为确定所标识椎骨的至少子集的标识。例如,在一个实例中,被训练的椎骨检测器202标识至少一个颈椎椎骨、多个骶骨椎骨和其它脊柱椎骨,诸如C2、S1、S2、S3、S4、S5,以及用于所有其它椎骨的另一符号或单词。除了C2和S1-S5之外的椎骨(即C3-C7,T1-T12,L1-L5和/或尾骨椎骨)可以通过从参考标识的椎骨向后或向前计数来标识。在另一实例中,椎骨子集的不同组合(例如,C2、骶骨和其它椎骨)被标识,仅一个椎骨被标识,或所有椎骨被标识。
注释器210被配置为对输入的体积图像数据的所显示的2-D图像进行注释。在一个实例中,注释是边界框的中心在当前切片上的投影。作为非限制性示例,在偏离中心的轴向切片中,注释器210对源自中心轴切片的中心进行投影。可替换地或附加地,注释器标记穿过椎骨的中心线与当前平面的交点。在另一实例中,在没有任何边界框或中心投影的情况下通过显示每个椎骨旁边的椎骨标签来注释检测到的椎骨。
接下来考虑变型。
在一个变型中,整个算法被迭代地运行。为此,处理矢状切片,找到边界框,生成3-D模型,生成全景图像,为全景图像确定边界框,将边界框转换到3-D空间,并且重复该过程直到满足停止标准。
在上文中,被训练的椎骨检测器202检测矢状图像和全景图像中的椎骨。在一个变型中,单独的被训练的椎骨检测器分别检测矢状图像和全景图像中的椎骨。
下面描述了用于训练椎骨检测器以创建用于单个成像模态的被训练的椎骨检测器202的非限制性示例。为了简洁和解释的目的,使用CT来描述训练。用于CT研究中的腰椎、胸椎和颈椎的矢状图像被注释。所有矢状图像在相同的预定分辨率下以相同的预定固定间距被采样。例如,在一个实例中,矢状图像在416×416的分辨率下以1mm的像素间距被采样。对于较大的图像,图像被分成多个区域并且每个区域被采样以覆盖全部图像。
具有2-D边界框的矢状图像被馈送到训练中。具有2-D边界框的矢状图像也被增强以产生附加的训练数据。增强的特征示例包括以下一项或多项:亮度、对比度、高斯噪声、移位、缩放、旋转和翻转。对于每个特征,增强概率和增强限值是预定的。例如,对于亮度的概率0.80和增强限值0.03将导致亮度在80%的图像中在原始值的±3%的范围内被增强。如这样增强矢状图像增加了数据的多样性和/或减轻了训练数据的过度拟合-存储。
训练数据集被分成预定大小的训练子集、测试子集和验证子集。CT训练数据集用于训练被训练的椎骨检测器202以在CT图像数据中进行椎骨检测。利用基于YOLOv3的网络,椎骨检测器被迭代训练直到满足停止标准。在一个实例中,椎骨检测器被迭代训练,直到原始边界框和产生的边界框之间的误差满足预定值。椎骨检测器被训练以检测椎骨的全部或子集。
在一个实例中,在训练期间使用验证数据集来确定停止标准。在该实例中,网络权重不受验证阶段的影响,并且通过检查指标来确定训练的质量。例如,一旦训练结束,就在测试数据集运行网络,并因此将指标与验证数据集的指标进行比较。如果指标在预定的容差内偏差,则认为训练是有效的并终止。
接下来考虑训练的变型。
在变型中,训练图像也包括基于注释的椎骨中心并具有相同分辨率和像素间距的全景图像。特征增强可以在矢状图像和全景图像之间不同,例如,全景图像不具有移位和旋转增强。
在另一变型中,椎骨检测器被训练用于多种成像模态。为了简洁和解释的目的,使用CT和MR图像数据来描述训练。利用这种变型,增强可以跨模态变化,例如,CT的对比度限值可以是0.30而MR的对比度限值可以是0.40。在一个变型中,CT和MR数据集用于分别训练单独的椎骨检测器以检测CT图像和MR图像中的椎骨。在另一变型中,CT和MR数据集用于训练CT+MR椎骨检测器,以便进行CT或MR图像数据中的椎骨检测。
图3示意性地示出了根据本文的(多个)实施例的用于在体积图像数据中检测和标记脊柱的椎骨的示例方法。
应当理解,一个或多个方法的动作顺序是不限制的。因此,本文考虑了其它排序。此外,一个或多个动作可以被省略,和/或一个或多个附加动作可以被包括。
图像加载步骤302—如本文所述和/或以其他方式描述的—加载体积图像数据。
2-D图像生成步骤304—如本文所述和/或以其他方式描述的—从体积图像数据中生成一组或多组矢状图像。
可替换地,加载步骤—如本文所述和/或以其他方式描述的—加载一组或多组矢状图像,并且步骤304被省略。
椎骨检测步骤306—如本文所述和/或以其他方式描述的—检测一组或多组矢状图像中的椎骨并为此生成2-D边界框。
3-D模型生成步骤308—如本文所述和/或以其他方式描述的—从矢状图像和2-D边界框生成具有3-D边界框的脊柱的3-D模型。
全景图像生成步骤310—如本文所述和/或以其他方式描述的—基于3-D模型生成全景图像。
椎骨检测步骤312—如本文所述和/或以其他方式描述的—检测全景图像中的椎骨并为此生成2-D边界框。
2-D到3-D转换步骤314—如本文所述和/或以其他方式描述的—将用于全景图像中的椎骨的2-D边界框转换至3-D空间。
注释步骤316—如本文所述和/或以其他方式描述的—对所显示的体积图像数据的2-D图像进行注释。
上述方法可以通过被编码或嵌入于计算机可读存储介质110上的计算机可读指令来实现,该计算机可读指令在由(多个)计算机处理器执行时,使(多个)处理器108执行所描述的动作。另外地或备选地,计算机可读指令中的至少一个指令由信号、载波或其他暂态介质来执行,这些是非计算机可读存储介质。
虽然已经在附图和前述描述中详细说明和描述了本发明,但是这样的说明和描述应被认为是说明性或示例性的而非限制性的;本发明不限于所公开的实施例。通过研究附图、公开内容和所附权利要求,本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施例的其它变型。
词语“包括”不排除其他元件或步骤,并且不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以实现权利要求中所述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的仅有事实并不表示不能有利地使用这些措施的组合。
计算机程序可以存储/分布在适当的介质上,该适当的介质诸如与其他硬件一起提供或作为其他硬件的一部分提供的光存储介质或固态介质,但是也可以以其他形式分布,诸如经由因特网或其他有线或无线电信系统。权利要求中的任何附图标记不应解释为限制范围。
Claims (20)
1.一种系统(102),被配置为检测体积图像数据中的脊柱的椎骨,所述系统包括:
计算装置(106),包括:
存储器(110),包括用于椎骨检测模块(116)的指令(112);
处理器(108),被配置为执行所述指令以执行两阶段椎骨检测,其中:所述椎骨的第一组边界框在所述两阶段椎骨检测的第一阶段中在矢状图像中被检测并且在所述体积图像数据中被聚类,所述脊柱的全景图像基于所检测的所述第一组边界框而被生成,并且所述椎骨的第二组边界框在所述两阶段椎骨检测的第二阶段中在所述全景图像中被检测;以及
显示器(120),被配置为根据检测到的椎骨的所述体积图像数据显示2-D图像。
2.根据权利要求1所述的系统,其中所述椎骨检测模块包括被训练以检测椎骨的神经网络。
3.根据权利要求1至2中的任一项所述的系统,其中所述椎骨检测模块基于第一预定置信度检测所述第一组边界框并且为检测到的椎骨生成2-D边界框。
4.根据权利要求1至3中任一项所述的系统,其中所述椎骨检测模块以所述矢状图像的中心图像开始并且在朝所述矢状图像的第一图像和所述矢状图像的最后图像的两个方向上向外移动来检测所述第一组边界框,直到满足停止标准。
5.根据权利要求4所述的系统,其中所述停止标准包括所述矢状图像中的预定数目的没有检测到椎骨的连续图像。
6.根据权利要求3至5中任一项所述的系统,其中所述椎骨检测模块将所述第一组边界框的每个椎骨标记为骶骨、C2或其它椎骨。
7.根据权利要求3至6中任一项所述的系统,其中所述椎骨检测模块组合所述矢状图像和所述2-D边界框以生成具有3-D边界框的3-D模型。
8.根据权利要求7所述的系统,其中所述椎骨检测模块生成通过所述3-D边界框的中心的曲线。
9.根据权利要求8所述的系统,其中所述椎骨检测模块在第一椎骨之前和最后椎骨之后外推所述曲线以添加遗漏的椎骨。
10.根据权利要求8至9中任一项所述的系统,其中对于所述曲线上的每个点,所述椎骨检测模块沿着从所述脊柱的前面到所述脊柱的后面的向量在该点处在垂直于所述曲线的平面上的投影,对来自所述3-D模型的线进行采样,以产生所述全景图像,所述全景图像包括准矢状图像,所述准矢状图像包含垂直对准的整个脊柱。
11.根据权利要求10所述的系统,其中所述椎骨检测模块基于第二预定置信度检测所述第二组边界框,并且为检测到的椎骨生成2-D边界框。
12.根据权利要求11所述的系统,其中所述椎骨检测模块将针对所述全景图像的所述2-D边界框转换至3-D空间以限定针对所述椎骨的3-D边界框。
13.根据权利要求11至12中任一项所述的系统,其中所述椎骨检测模块将所述第二组边界框的每个椎骨标记为骶骨、C2或其它椎骨。
14.根据权利要求1至13中任一项所述的系统,其中所述计算装置是图像存储传输系统。
15.一种用于在体积图像数据中检测脊柱的椎骨的计算机实现的方法,包括:
提取所述脊柱的矢状图像中的椎骨的第一组边界框;
基于所检测到的第一组边界框来生成所述脊柱的全景图像;以及
提取所述全景图像中所述椎骨的第二组边界框。
16.根据权利要求15所述的计算机实现的方法,其中提取所述第一组边界框包括:
以所述矢状图像的中心图像开始并且向外移动到所述矢状图像的第一图像和所述矢状图像的最后图像来检测所述第一组边界框;并且
响应于预定数目的连续矢状图像不具有椎骨而终止检测;
针对被检测到的所述椎骨,生成2-D边界框;
标识所述2-D边界框的中心;并且
注释具有所述2-D边界框的所述椎骨。
17.根据权利要求15所述的计算机实现的方法,还包括:
基于第二预定置信度检测所述全景图像中的所述第二组2-D边界框;以及
将所述全景图像中的所述2-D边界框转换至3-D空间以限定所述椎骨的3-D边界框;以及
注释具有所述3-D边界框的所述椎骨。
18.一种存储计算机可执行指令的计算机可读存储介质,所述计算机可执行指令用于在体积图像数据中检测脊柱的椎骨,所述计算机可执行指令在由计算机处理器执行时使得所述处理器:
提取所述脊柱的矢状图像中的椎骨的第一组边界框;
基于所检测到的第一组边界框生成所述脊柱的全景图像;以及
提取所述全景图像中所述椎骨的第二组边界框。
19.根据权利要求18所述的计算机可读存储介质,其中所述计算机可执行指令还使所述处理器:
以所述矢状图像的中心图像开始并且向外移动到所述矢状图像的第一图像和所述矢状图像的最后图像来检测所述第一组边界框;
响应于预定数目的连续矢状图像不具有椎骨而终止检测;
针对被检测到的所述椎骨,生成2-D边界框;
标识所述2-D边界框的中心;并且
注释具有所述2-D边界框的所述椎骨。
20.根据权利要求18所述的计算机可读存储介质,其中所述计算机可执行指令还使得所述处理器:
基于第二预定置信度检测所述全景图像中的所述第二组2-D边界框;以及
将所述全景图像中的所述2-D边界框转换至3-D空间以限定所述椎骨的3-D边界框;以及
注释具有所述3-D边界框的所述椎骨。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063106055P | 2020-10-27 | 2020-10-27 | |
| US63/106,055 | 2020-10-27 | ||
| PCT/EP2021/079444 WO2022090102A1 (en) | 2020-10-27 | 2021-10-25 | Detection of spine vertebrae in image data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116457826A true CN116457826A (zh) | 2023-07-18 |
| CN116457826B CN116457826B (zh) | 2025-08-05 |
Family
ID=78414023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180072894.3A Active CN116457826B (zh) | 2020-10-27 | 2021-10-25 | 图像数据中的脊柱椎骨的检测 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230401699A1 (zh) |
| EP (1) | EP4238055A1 (zh) |
| JP (1) | JP2023546581A (zh) |
| CN (1) | CN116457826B (zh) |
| WO (1) | WO2022090102A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117291927B (zh) * | 2023-09-22 | 2024-07-12 | 中欧智薇(上海)机器人有限公司 | 脊柱分割方法、系统、电子设备和非瞬时机器可读介质 |
| KR102850232B1 (ko) * | 2024-12-11 | 2025-08-25 | 메디컬아이피 주식회사 | X-선 영상 기반의 골감소증 진단 방법 및 그 장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008021224A1 (en) * | 2006-08-16 | 2008-02-21 | Siemens Medical Solutions Usa, Inc. | System and method for spinal cord and vertebrae segmentation |
| US9401020B1 (en) * | 2015-05-01 | 2016-07-26 | London Health Science Centre Research Inc | Multi-modality vertebra recognition |
| CN109223032A (zh) * | 2017-07-11 | 2019-01-18 | 中慧医学成像有限公司 | 一种三维超声成像检测脊柱变形的方法 |
| CN109615656A (zh) * | 2018-11-20 | 2019-04-12 | 哈尔滨理工大学 | 一种基于模型搜索的脊柱定位方法 |
| CN111374712A (zh) * | 2018-12-28 | 2020-07-07 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声成像方法及超声成像设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012510317A (ja) * | 2008-11-28 | 2012-05-10 | フジフイルム メディカル システムズ ユーエスエイ インコーポレイテッド | 脊椎のラベル付けの伝搬のためのシステムおよび方法 |
| WO2018076109A1 (en) * | 2016-10-24 | 2018-05-03 | Torus Biomedical Solutions Inc. | Systems and methods for producing real-time calibrated stereo long radiographic views of a patient on a surgical table |
-
2021
- 2021-10-25 US US18/033,434 patent/US20230401699A1/en active Pending
- 2021-10-25 EP EP21799019.1A patent/EP4238055A1/en active Pending
- 2021-10-25 WO PCT/EP2021/079444 patent/WO2022090102A1/en not_active Ceased
- 2021-10-25 JP JP2023523605A patent/JP2023546581A/ja active Pending
- 2021-10-25 CN CN202180072894.3A patent/CN116457826B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008021224A1 (en) * | 2006-08-16 | 2008-02-21 | Siemens Medical Solutions Usa, Inc. | System and method for spinal cord and vertebrae segmentation |
| US9401020B1 (en) * | 2015-05-01 | 2016-07-26 | London Health Science Centre Research Inc | Multi-modality vertebra recognition |
| CN109223032A (zh) * | 2017-07-11 | 2019-01-18 | 中慧医学成像有限公司 | 一种三维超声成像检测脊柱变形的方法 |
| CN109615656A (zh) * | 2018-11-20 | 2019-04-12 | 哈尔滨理工大学 | 一种基于模型搜索的脊柱定位方法 |
| CN111374712A (zh) * | 2018-12-28 | 2020-07-07 | 深圳迈瑞生物医疗电子股份有限公司 | 一种超声成像方法及超声成像设备 |
Non-Patent Citations (4)
| Title |
|---|
| MAXIM PISOV: "《Keypoints Localization for Joint Vertebra Detection and Fracture Severity Quantification》", 康奈尔大学图书馆, 10 July 2020 (2020-07-10) * |
| TIJANA ŠUŠTERŠIČ: "《A Deep Learning Model for Automatic Detection and Classification of Disc Herniation in Magnetic Resonance Images》", IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, vol. 26, no. 12, 31 December 2022 (2022-12-31) * |
| WINDSOR RHYDIAN: "《The Ladder Algorithm: Finding Repetitive Structures in Medical Images by Induction"》", 2020 IEEE 17TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI), 3 April 2020 (2020-04-03) * |
| 李鉴轶;焦培峰;张美超;聂兰英;赵卫东;: "脊柱在体三维运动检测系统的建立", 南方医科大学学报, no. 12, 28 December 2006 (2006-12-28) * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4238055A1 (en) | 2023-09-06 |
| US20230401699A1 (en) | 2023-12-14 |
| CN116457826B (zh) | 2025-08-05 |
| JP2023546581A (ja) | 2023-11-06 |
| WO2022090102A1 (en) | 2022-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Choi et al. | Using a dual-input convolutional neural network for automated detection of pediatric supracondylar fracture on conventional radiography | |
| England et al. | Artificial intelligence for medical image analysis: a guide for authors and reviewers | |
| Cicero et al. | Training and validating a deep convolutional neural network for computer-aided detection and classification of abnormalities on frontal chest radiographs | |
| US8958614B2 (en) | Image-based detection using hierarchical learning | |
| US9299145B2 (en) | Image segmentation techniques | |
| US10878564B2 (en) | Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof | |
| US20120170823A1 (en) | System and method for image based multiple-modality cardiac image alignment | |
| CN110619945A (zh) | 针对机器学习网络的输入的训练的量的表征 | |
| US10225086B2 (en) | Image fingerprinting | |
| CN106796621B (zh) | 图像报告注释识别 | |
| CN113168912B (zh) | 使用深度学习确定3d数据集中对象的增长速度 | |
| Wang et al. | Preparing CT imaging datasets for deep learning in lung nodule analysis: Insights from four well-known datasets | |
| CN116457826B (zh) | 图像数据中的脊柱椎骨的检测 | |
| Zhu et al. | 3D pyramid pooling network for abdominal MRI series classification | |
| Perl et al. | Can a novel deep neural network improve the computer-aided detection of solid pulmonary nodules and the rate of false-positive findings in comparison to an established machine learning computer-aided detection? | |
| WO2025180099A1 (zh) | 目标对象识别方法、对象识别模型训练方法、ct图像中的可见淋巴结检测方法、计算机辅助诊断方法、电子设备、存储介质及程序产品 | |
| Han et al. | BiRPN-YOLOvX: A weighted bidirectional recursive feature pyramid algorithm for lung nodule detection | |
| US9538920B2 (en) | Standalone annotations of axial-view spine images | |
| Mehrnia et al. | Landscape of 2D Deep Learning Segmentation Networks Applied to CT Scan from Lung Cancer Patients: A Systematic Review | |
| US10896762B2 (en) | 3D web-based annotation | |
| Lestari et al. | Deep Learning for Pneumonia Detection in Chest X-Rays using Different Algorithms and Transfer Learning Architectures | |
| US20220351000A1 (en) | Method and apparatus for classifying nodules in medical image data | |
| Zhao et al. | A Coarse‐to‐Fine Detection Framework for Automated Lung Tumour Detection From 3D PET/CT Images | |
| Lee et al. | Learning Radiologist’s Step-by-Step Skill for Cervical Spinal Injury Examination: Line Drawing, Prevertebral Soft Tissue Thickness Measurement, and Swelling Detection | |
| Ramezani | Transformer-Based Auto-Segmentation Clinical Decision Support System for Lung Nodules in Multi-Disciplinary Tumor Boards |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |