RU2568635C2 - Регистрация двумерных/трехмерных изображений на основе признаков - Google Patents

Abstract

Изобретение относится к области техники медицинской диагностики методом визуализации. Техническим результатом является повышение точности регистрации двумерных/трехмерных изображений. Способ содержит этапы, на которых: извлекают двумерный набор признаков из двухмерного изображения; извлекают трехмерный набор признаков из трехмерного изображения; математически проецируют трехмерный набор признаков в двумерный набор проецируемых признаков с помощью проекционной геометрии; выполняют первую регистрацию двумерного набора признаков и двумерного набора проецируемых признаков и выполняют вторую регистрацию двумерного изображения и математической проекции трехмерного изображения; в котором операции извлечения содержат этап, на котором применяют алгоритм определения углов для извлечения признаков, содержащих угловые точки, из двухмерного или трехмерного изображения путем идентификации локально максимальных собственных значений инерционной матрицы градиента изображения вдоль множества направлений и путем идентификации дискретного набора пересечений линий исходя из идентифицированных локально максимальных собственных значений. 4 н. и 11 з.п. ф-лы, 2 ил.

Description

Нижеследующее относится к области техники медицинской диагностики методом визуализации. В некоторых вариантах осуществления оно относится к регистрации двумерных (2D) рентгеновских флуороскопических изображений с помощью трехмерных (3D) изображений, полученных посредством компьютерной томографии, магнитно-резонансной визуализации или другого метода визуализации. Если обобщить, тем не менее, нижеследующее относится к регистрации двухмерных изображений, полученных посредством любого метода медицинской диагностики методом визуализации, с помощью трехмерных изображений, полученных посредством идентичного или отличающегося метода медицинской диагностики методом визуализации.

В процедурах медицинской диагностики методом визуализации иногда имеет место то, что релевантные данные визуализации получаются с помощью как двумерной, так и трехмерной визуализации. В некоторых таких случаях, полезно формировать и регистрировать двумерное представление трехмерного изображения с помощью соответствующего двухмерного изображения, чтобы сравнивать или комбинировать информацию, предоставленную посредством этих двух технологий.

Один пример иногда случается в оперативной кардиальной электрофизиологии. Во время этой процедуры рентгеновская флуороскопия иногда используется для того, чтобы визуализировать катетеры или другие хирургические инструменты. Преимущественно, рентгеновские флуороскопические изображения могут получаться с помощью устройства типа C-arm, в котором рентгеновская трубка и детектор рентгеновского излучения установлены на противоположных концах C-образного рычага, а пациент располагается в промежутке. Устройство типа C-arm является относительно открытым, что делает пациента легкодоступным для медицинского персонала. Тем не менее, часть анатомии мягких тканей не визуализируется эффективно посредством рентгеновской флуороскопии. Дополнительно, флуороскопические изображения типично получаются при низкой дозе рентгеновского излучения, что может оказывать негативное влияние на разрешение.

Соответственно, известен способ получения дооперационных изображений пациента перед прохождением процедуры кардиальной электрофизиологии с помощью технологии трехмерной визуализации, такой как многослойная компьютерная томография (CT) или магнитно-резонансная томография (MRI), все из которых предоставляют лучшую контрастность мягких тканей, чем рентгеновская флуороскопия. Дооперационно полученные CT- или MRI-изображения затем соединяются с рентгеновскими флуороскопическими изображениями, полученными в ходе процедуры кардиальной электрофизиологии так, что CT- или MRI-изображения предоставляют недостающую контрастность мягких тканей.

CT- или MRI-изображения типично формируются для трехмерного объема, несмотря на то что рентгеновские флуороскопические изображения являются двумерными. Известен способ математически проецировать трехмерное изображение в двухмерное изображение с помощью технологий отслеживания лучей. Применение отслеживания лучей к CT- или MRI-изображению формирует двухмерное изображение. Тем не менее, математически проецируемое CT- или MRI-изображение, в общем, пространственно не регистрируется в рентгеновском флуороскопическом изображении, поскольку проекционная геометрия рентгеновского флуороскопа относительно пациента, в общем, отличается от проекционной геометрии, используемой при математическом формировании CT- или MRI-проецирования. В некоторых случаях, дополнительная ошибка может возникать вследствие искажений или других недостатков или артефактов в рентгеновском флуороскопическом изображении и/или в трехмерном CT- или MRI-изображении.

Нижеследующее предоставляет усовершенствования, которые преодолевают вышеуказанные и другие проблемы.

Раскрыт способ регистрации изображений, содержащий этапы, на которых: извлекают двумерный набор признаков из двухмерного изображения; извлекают трехмерный набор признаков из трехмерного изображения; математически проецируют трехмерный набор признаков в двумерный набор проецируемых признаков с помощью проекционной геометрии; выполняют первую регистрацию двумерного набора признаков и двумерного набора проецируемых признаков и выполняют вторую регистрацию двумерного изображения и математической проекции трехмерного изображения с помощью параметров, выведенных из первой регистрации.

Цифровой носитель или носители хранения данных способные к сохранению инструкций, выполняемых посредством цифровой системы, чтобы осуществлять способ по предыдущему параграфу.

Раскрыто устройство регистрации изображений, содержащее: детектор признаков, выполненный с возможностью извлечения двумерного набора признаков из двухмерного изображения и извлечения трехмерного набора признаков из трехмерного изображения; процессор проецирования, выполненный с возможностью проецирования трехмерных данных в данные двумерной проекции; и процессор регистрации, выполненный с возможностью (i) регулировки параметров, чтобы регистрировать двумерный набор признаков и трехмерный набор признаков, проецируемые посредством процессора проецирования с помощью проекционной геометрии, и (ii) использования отрегулированных параметров, чтобы регистрировать двухмерное изображение и трехмерное изображение, проецируемые посредством процессора проецирования с помощью проекционной геометрии.

Также раскрыто устройство, содержащее: модуль формирования двумерных изображений, выполненный с возможностью получения двухмерного изображения; модуль формирования трехмерных изображений, выполненный с возможностью получения трехмерного изображения; детектор признаков, выполненный с возможностью извлечения двумерного набора признаков из двухмерного изображения и извлечения трехмерного набора признаков из трехмерного изображения; процессор проецирования, выполненный с возможностью проецирования трехмерных данных в данные двумерной проекции; и процессор регистрации, выполненный с возможностью регистрации двухмерного изображения и трехмерного изображения, проецируемые посредством процессора проецирования с помощью параметров, отрегулированных так, чтобы регистрировать двумерный набор признаков и трехмерный набор признаков, проецируемые посредством процессора проецирования.

Одно преимущество состоит в более быстрой регистрации двумерных/трехмерных изображений.

Другое преимущество состоит в более точной регистрации двумерных/трехмерных изображений.

Другое преимущество состоит в более быстрой оперативной визуализации.

Дополнительные преимущества настоящего изобретения должны приниматься во внимание специалистами в данной области техники после прочтения и понимания нижеследующего подробного описания.

Чертежи служат только для целей иллюстрации предпочтительных вариантов осуществления и не должны рассматриваться как ограничивающие изобретение.

Фиг. 1 схематически показывает устройство двумерной/трехмерной комплексной визуализации.

Фиг. 2 схематически показывает устройство трехмерной/трехмерной комплексной визуализации с регистрацией двумерных проекций трехмерных изображений, полученных посредством различных методов.

Со ссылкой на фиг. 1 система двумерной/трехмерной комплексной визуализации включает в себя модуль 10 формирования двумерных изображений, такой как рентгеновское флуороскопическое устройство, и модуль 12 формирования трехмерных изображений, такой как система магнитно-резонансной томографии (MRI), система визуализации на базе компьютерной томографии (CT), сканер позитрон-эмиссионной томографии (PET), гамма-камера и т.д. Модуль 10 формирования двумерных изображений необязательно допускает трехмерную визуализацию, но используется в настоящей системе двумерной/трехмерной визуализации как модуль формирования двумерных изображений. Например, модуль 10 формирования двумерных изображений рассматривается как CT-сканер, работающий без портального вращения.

Модуль 10 формирования двумерных изображений является модулем формирования изображений проекционного типа, включающим в себя источник 20, такой как рентгеновская трубка, в случае рентгеновского флуороскопического устройства, которая передает излучение 22 через область 24 визуализации, содержащую объект (не показан), так что, в общем, размещенная напротив двумерная детекторная решетка 26 определяет передаваемое излучение как функцию от положения, чтобы формировать двухмерное изображение 30 проекционного типа. Следовательно, двухмерное изображение 30 имеет проекционную геометрию, отличающуюся за счет параметров проецирования, таких как угол установки, положение источника, положение детектора или другие геометрические параметры, и необязательно также посредством параметров проецирования, связанных с искажением, таких как один или более параметров искажения, отличающих так называемые "подушкообразные" искажения, которые иногда наблюдаются в рентгеновских флуороскопах и других устройствах двумерной визуализации проекционного типа. Проекционная геометрия, по меньшей мере, приблизительно известна, например, на основе номинальных настроек положений детектора и источника рентгеновского излучения. В некоторых вариантах осуществления, точная калибровка модуля 10 формирования двумерных изображений предоставляет высокоточные параметры проецирования для проекционной геометрии, включающие в себя точные геометрические параметры и количественные значения для параметров искажения.

Модуль 12 формирования трехмерных изображений получает трехмерное изображение 32. Например, если модулем 12 формирования трехмерных изображений является MRI, он получает такое трехмерное изображение 32 посредством трехмерной дискретизации каонного пространства и восстановления выборок каонного пространства в трехмерное изображение 32. Если модулем 12 формирования трехмерных изображений является CT-сканер, он получает данные проекции в то время, когда рентгеновская трубка вращается вокруг объекта, где третье измерение предоставляется посредством наличия нескольких рядов детекторов (многослойная CT) и/или посредством перемещения пациента с дискретными приращениями или непрерывно (спиральная CT), после чего выполняется фильтрованная обратная проекция или другое восстановление, которое восстанавливает данные проекции в трехмерное изображение 32. Другие подходы могут использоваться, в зависимости от типа модуля 12 формирования трехмерных изображений и типа получения, требуемого радиологом или другим специалистом-медиком.

Зависимость между проекционной геометрией двухмерного изображения 30 и пространственным опорным кадром трехмерного изображения 32 известна приблизительно на основе того, как объект размещается в двух различных модулях 10, 12 формирования изображений. В некоторых вариантах осуществления, эта зависимость известна более точно, например, если два различных модуля 10, 12 формирования изображений осуществлены неразъемно как гибридная система визуализации или используется механизм механического совмещения модулей формирования изображений. В любом случае, тем не менее, в общем, возникает определенная неправильная регистрация между двухмерным изображением 30, полученным посредством модуля 10 формирования двумерных изображений, с одной стороны, и трехмерным изображением 32, полученным посредством модуля 12 формирования трехмерных изображений, с другой стороны. Эта неправильная регистрация может принимать различные формы или комбинации форм, к примеру, неправильная регистрация вследствие жестких перемещений в пространстве, неправильная регистрация вследствие жестких вращений, неправильная регистрация вследствие нежестких перемещений в пространстве и/или вращений, неправильная регистрация вследствие подушкообразных искажений или других типов искажения в одном или обоих изображениях 30, 32 и т.д. Соответственно, требуется математически проецировать трехмерное изображение 32, чтобы формировать двумерную проекцию изображения, и регистрировать эту двумерную проекцию изображения в двухмерном изображении 30, полученном посредством модуля 10 формирования двумерных изображений.

Детектор 34 признаков обрабатывает двухмерное изображение 30, чтобы извлекать двумерный набор признаков 36 из двухмерного изображения 30. Детектор 34 признаков также обрабатывает трехмерное изображение 32, чтобы извлекать трехмерный набор признаков 38 из трехмерного изображения 32. В варианте осуществления по фиг. 1, один детектор 34 признаков применяется как к двухмерному изображению 30, так и к трехмерному изображению 32; тем не менее, также допускается использовать два различных детектора признаков, например, когда один из детекторов признаков оптимизирован для двухмерных изображений, а другой детектор признаков оптимизирован для трехмерных изображений. Если два различных детектора признаков используются таким образом, определенные признаки должны быть сопоставимыми, к примеру, иметь один тип.

Детектор 34 признаков допускает определение, например, угловых признаков, надлежащим образом представляемых как угловые точки. Для определения угловых признаков, этот детектор 34 признаков работает посредством алгоритма определения углов, к примеру, посредством идентификации областей с высоким градиентом силы света, типично соответствующих углам, посредством идентификации локально максимальных собственных значений инерционной матрицы градиента изображения вдоль каждого направления и посредством идентификации дискретного набора пересечений линий. Преимущественно, фактически одинаковые угловые признаки, в общем, определяются как для двухмерных, так и для трехмерных изображений, даже если механизмы контрастности этих двух модулей 10, 12 формирования изображений в значительной степени отличаются (например, рентген против магнитного резонанса). Характер на основе производной определения углов, вместе с высокой вероятностью контрастности для угловых элементов объекта, обеспечивает, что процесс определения углов, в общем, является независимым от типа контрастности, уровня контрастности и других характеристик изображений. Другое преимущество использования определения углов посредствам детектора 34 признаков состоит в том, что угловые точки являются дискретными как в двух измерениях, так и в трех измерениях.

Детектор 34 признаков альтернативно или дополнительно также допускает определение других типов признаков. Например, детектор 34 признаков альтернативно или дополнительно допускает определение контурных признаков. В некоторых вариантах осуществления, детектор 34 признаков допускает определение контурных признаков посредством алгоритма определения контуров, который реализуется следующим образом. Линии в проецируемом двухмерном изображении соответствуют проекции поверхностей раздела внутри трехмерного изображения, которые ориентированы вдоль рентгеновского луча 22. Эти поверхности раздела надлежащим образом определяются посредством использования абсолютной величины градиента силы света воксела и направления поверхности раздела наряду с рентгеновским направлением луча, известным из проекционной геометрии. Местоположения поверхности раздела могут преобразовываться из трехмерной формы в двумерную с помощью проекционной матрицы уравнения (2), чтобы формировать карту контурных и угловых местоположений.

В целом, детектор 34 признаков сворачивает соответствующие изображения 30, 32 в двумерные или трехмерные наборы признаков 36, 38, соответственно, которые являются меньшими соответствующими поднаборами данных и, следовательно, легко коррелируются в пространстве и более эффективно обрабатываются с точки зрения вычислений по сравнению с полными изображениями 30, 32. Соответствующие наборы признаков 36, 38 сохраняют геометрии изображений 30, 32 источника. Таким образом, для детектора 34 признаков, который определяет угловые признаки, двумерный набор признаков 36 содержит набор точек на плоскости, тогда как трехмерный набор признаков 38 содержит трехмерное "облако" точек. Аналогично, для детектора контуров двумерный набор признаков 36 содержит набор линий, лежащих копланарно на плоскости, тогда как трехмерный набор признаков 38 содержит трехмерную компоновку линий.

Процессор 40 проецирования математически проецирует трехмерный набор признаков 38 в соответствии с проекционной геометрией 42, которая, по меньшей мере, первоначально задается равной проекционной геометрии, используемой посредством модуля 10 формирования двумерных изображений при получении двухмерного изображения 12. Для иллюстративного оперативного рентгеновского флуороскопического устройства типа C-arm, такого как Allura XPer FD 10 (предлагаемого компанией Philips Medical Systems, Эйндховен, Нидерланды), проекционная геометрия, соответственно, задается следующим образом. Вектор s идет от изоцентра к источнику 20 рентгеновского излучения, тогда как вектор d идет от изоцентра к центру детектора 26. Две нормали n1 и n2 задают плоскость детектора и известны для каждой проекции. Любая трехмерная точка P, следовательно, может преобразовываться (т.е. проецироваться) в двумерную точку p на детекторе 26 согласно любому конкретному углу установки C-образного рычага. Раскрытие этих векторов в декартову систему координат дает следующее:

(1).

Матрично-векторное уравнение, задающее проекционную геометрию 42, может быть записано следующим образом:

(2).

Уравнение (2) применяется посредством процессора 40 проецирования к каждой трехмерной угловой точке P (в случае детектора углов) трехмерного набора признаков 38 с помощью выбранной проекционной геометрии 42, чтобы формировать соответствующие точки p двумерного набора проецируемых признаков 44.

Процессор 46 регистрации регистрирует двумерный набор проецируемых признаков 44 с помощью двумерного набора признаков 36, извлеченного из двухмерного изображения 30. Если регистрация влечет за собой регулирование параметров проецирования, то этот процесс регистрации необязательно является итерационным согласно итерационному циклу 48, чтобы повторно проецировать трехмерный набор признаков 38 с помощью параметров проецирования, отрегулированных посредством регистрации итерационным способом. Выводом процессора 46 регистрации является набор из одного или более параметров 50 регистрации. Регистрация может влечь за собой регулирование различных параметров, таких как параметры проецирования (например, угол установки, увеличение, параметры местоположения источника/детектора, параметр, определяющий количественно подушкообразные искажения, и т.п.)), жесткие перемещения в пространстве или вращения, нежесткие перемещения в пространстве или вращения и т.д. Регистрация может влечь за собой выбор или уточнение параметров проецирования проекционной геометрии, используемой для математической операции проецирования. Тем не менее, вычисление параметров 50 регистрации на основе готовых изображений 30, 32 требует большого объема вычислений, особенно для итерационных технологий регистрации.

Параметры 50 регистрации эффективно регулируются посредством процессора 46 регулирования (что необязательно включает итерационную повторную проекцию через цикл 48 и процессор 40 проецирования) относительно меньших наборов признаков 36, 38. В качестве одного примера, двумерный набор признаков 36, извлеченный из двухмерного изображения 30, считается опорным, и параметры проецирования проекционной геометрии 42 и/или пространственные параметры двумерного набора проецируемых признаков 44 регулируются.

Если проекционная геометрия 42 точно или определенно известна, например на основе калибровок модуля 10 формирования двумерных изображений, и только жесткая регистрация должна выполняться, то пространство оптимизации включает в себя только шесть параметров, например три вращения и три перемещения в пространстве, относительно пространственных параметров двумерного набора проецируемых признаков, и процессор 46 регистрации может использовать нисходящий симплексный метод для числового регулирования и оптимизации этих шести параметров. Регулирование или оптимизация являются надлежащим образом применимыми к критерию подобия, вычисляемому (например) как сумма расстояния, возведенного в квадрат между каждой угловой точкой в двумерном наборе признаков 36 и соответствующей проецируемой угловой точкой в двумерном наборе проецируемых признаков 44.

Если проекционная геометрия 42 не известна с достаточной определенностью или точностью, то процессор 46 регистрации необязательно регулирует параметры проецирования проекционной геометрии 42 как часть регистрации. Например, процессор 40 проецирования применяется к трехмерному набору признаков 38 с множеством различных углов установки проекции, отклоняющихся на выбранные величины от номинального угла установки, используемого при получении двухмерного изображения 30. Регистрация применяется к двумерному набору проецируемых признаков 44, сформированному посредством математического проецирования при каждом выбранном угле установки, регистрация по "методу наилучшего приближения" выбирается, и угол установки, соответствующий методу наилучшего приближения, выбирается в качестве отрегулированного угла отрегулированной проекционной геометрии 42. Этот подход решения "в лоб" является достижимым, поскольку уменьшение размерности, предоставляемое посредством регистрации только признаков (например, угловых точек) вместо регистрации полных изображений, обеспечивает быструю обработку. Дополнительно или альтернативно, угол установки или другие параметры проецирования могут быть включены как параметры, которые оптимизируются посредством процессора 46 регистрации с помощью минимизации методом наименьших квадратов или другой технологии оптимизации. Необязательная итерационная или полная регистрация, в которой процессор 46 регистрации применяется к различным двумерным наборам проецируемых признаков 44, сформированным посредством процессора 40 проецирования с различными углами установки математического проецирования (или с другими варьированиями в проекционной геометрии 42), схематически указана на фиг. 1 посредством стрелки 48 итерационного цикла.

В большинстве случаев ожидается, что проекционная геометрия двухмерного изображения 30 должна быть известна с относительно высокой степенью точности, например, на основе калиброванной проекционной геометрии модуля 10 формирования двумерных изображений, используемой при получении двухмерного изображения 30. В таких вариантах осуществления, в общем, предполагается, что каждый признак в двумерном наборе признаков 36 и ближайший признак в двумерном наборе проецируемых признаков 44 соответствуют одной угловой точке объекта. В таком случае, критерий подобия, оптимизированный посредством процессора 46 регистрации, надлежащим образом вычисляется как сумма возведенных в квадрат расстояний, где каждое расстояние - это расстояние между признаком набора двумерных признаков 36 и ближайшим признаком набора двумерных проецируемых признаков 44.

Предполагается, тем не менее, что в некоторых ситуациях проекционная геометрия двухмерного изображения 30 должна быть известна с достаточно ограниченной определенностью и/или точностью, так что неразумно допускать, что каждый признак в двумерном наборе признаков 36 и ближайший признак в двумерном наборе проецируемых признаков 44 соответствуют одной угловой точке объекта. В таких случаях, предполагается, что процессор 46 регистрации применяет комбинаторный алгоритм, чтобы ассоциировать признаки двумерного набора проецируемых признаков 44 с соответствующими признаками двумерного набора признаков 36, извлеченными из двухмерного изображения 30.

Как дополнительно показано на фиг. 1, отрегулированные параметры 50 регистрации используются посредством модуля 52 проецирования и регулирования изображений, чтобы регистрировать соответствующие двумерные и трехмерные изображения 30, 32 на втором этапе регистрации. Параметры 50 регистрации регулируются относительно двумерного набора признаков 36 и двумерного набора проецируемых признаков 44; тем не менее, эти признаки 36, 44 представляют пространственные характеристики соответствующих двух- и трехмерных изображений 30, 32, и, соответственно, параметры 50 регистрации являются применимыми во втором процессе регистрации, выполняемом посредством модуля 52 проецирования и регулирования изображений, который проецирует трехмерное изображение 32 и регулирует проецируемое изображение в соответствии с проекционной геометрией 42 и параметрами 50 регистрации, чтобы формировать двумерное проецируемое и зарегистрированное изображение 54, которое зарегистрировано с помощью двухмерного изображения 30.

Проекция, выполняемая посредством модуля 52 проецирования и регулирования изображений, может использовать практически любой тип способа проецирования из трехмерной формы в двумерную, такой как способ рентгенограмм после цифрового восстановления (DRR), который задает каждую точку на плоскости проекции равной линейному интегралу, математически вычисленному вдоль линии, соединяющей (виртуальный) источник с (виртуальной) точкой на плоскости проекции. Другие способы проецирования также предполагаются, например проекция по максимальной силе света (MIP), которая задает каждую точку на плоскости проекции равной наибольшему значению вдоль линии, соединяющей (виртуальный) источник с (виртуальной) точкой на плоскости проекции.

Двумерное проецируемое изображение 54 надлежащим образом сравнивается или комбинируется с двухмерным изображением 30, полученным посредством модуля 10 формирования двумерных изображений, посредством процессора 56 изображений, такого как модуль комбинирования изображений или процессор слияния, модуль сравнения изображений, дисплей для отображения изображений (такой как пользовательский интерфейс с графическим дисплеем) и т.д. Например, двумерное изображение 30 и двумерное проецируемое и зарегистрированное изображение 54 могут соединяться посредством технологии слияния изображений, и соединенное изображение отображается либо два изображения 30, 54 могут отображаться рядом или в вертикальной компоновке. Во втором случае предполагается блокировать указатели мыши или другого указательного устройства, которые отображаются в одном пространственном положении в обоих из двух отображаемых изображений 30, 54, с тем чтобы радиолог мог легко находить соответствующие признаки в двух изображениях 30, 54.

Хотя ожидается, что описанный процесс регистрации должен предоставлять определенные и точные результаты во многих случаях, в некоторых случаях результирующая регистрация изображений может быть не полностью удовлетворительной. В некоторых ситуациях зарегистрированные двухмерные изображения 30, 54 сравниваются, и если не совмещаются в пределах заранее выбранного порогового значения или по мнению радиолога, то подвергаются другой процедуре регистрации изображений, такой как процедура регистрации изображений на основе силы света, выполняемая посредством процессора 56 изображений или другого компонента.

Один предполагаемый вариант применения для системы комплексной визуализации по фиг. 1 лежит в области оперативной кардиальной электрофизиологии. Процедуры оперативной кардиальной электрофизиологии типично выполняются согласно рентгеновской флуороскопии для визуализации катетеров или других хирургических инструментов относительно признаков пациента с сильным утончением, таких как грудной отдел позвоночника и ребра. Эти проекции, тем не менее, не содержат информацию об анатомии мягких тканей. Соответственно, преимущественно соединять эти двумерные рентгеновские флуороскопические изображения с дооперационно полученными объемными кардиальными спиральными или многослойными CT- или MRI-изображениями. Система по фиг. 1 предоставляет быстрое слияние двумерных рентгеновских флуороскопических изображений (соответствующих двухмерным изображениям 30) с трехмерными CT- или MRI-изображениями (соответствующими трехмерным изображениям 32) посредством модуля 56 сравнения или комбинирования изображений (которым в этом варианте осуществления является процессор слияния изображений), чтобы предоставлять визуализацию в реальном времени катетеров, присутствующих внутри грудной клетки, относительно анатомии сердечно-сосудистой системы, видимой в объемном наборе 32 данных.

Со ссылкой на фиг. 2, в другом предполагаемом варианте применения оба модуля формирования изображений системы комплексной визуализации допускают и используются для того, чтобы формировать трехмерные изображения. Другими словами, в варианте осуществления по фиг. 2 модуль 10 формирования двумерных изображений заменяется на второй модуль 60 формирования трехмерных изображений, который может применять идентичный метод или отличающийся метод по сравнению с модулем 12 формирования трехмерных изображений. Процессор 40 проецирования применяется к трехмерному изображению, сформированному посредством второго модуля 60 формирования трехмерных изображений, чтобы формировать двухмерное изображение 30, имеющее проекционную геометрию 42, которая в этом варианте осуществления является выбранной геометрией, используемой для математического проецирования трехмерного изображения, сформированного посредством второго модуля 60 формирования трехмерных изображений. С этого момента и далее компоненты и обработка системы комплексной визуализации по фиг. 2 являются аналогичными компонентам и обработке модуля формирования комплексных изображений по фиг. 1. Подход по фиг. 2 может предоставлять быструю регистрацию рентгенограмм после цифрового восстановления (DRR) или других проекций, сформированных посредством различных модулей формирования трехмерных изображений, например, посредством модулей формирования CT- и MRI-изображений или посредством двух различных модулей формирования CT-изображений. Более быстрая обработка возможна, поскольку регистрация выполняется в двумерном формате и, кроме того, выполняется только относительно небольших наборов 36, 44 данных признаков.

Специалисты в данной области техники должны легко принимать во внимание, что способы регистрации изображений, раскрытые в данном документе, могут быть осуществлены посредством цифрового носителя или носителей хранения данных, сохраняющих инструкции, выполняемые посредством цифровой системы, чтобы осуществлять раскрытый способ. Например, цифровым носителем или носителями хранения данных могут быть магнитный диск, оптический диск, магнитная лента, флэш-память или другое электростатическое запоминающее устройство, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), Интернет-сервер и т.п., либо комбинация таких носителей и сохраненных инструкций может выполняться в цифровой системе, такой как компьютер, цифровая сеть, Интернет-сервер и т.п.

Описаны предпочтительные варианты осуществления. Очевидно, что после прочтения и понимания вышеозначенного подробного описания могут выполняться модификации и изменения. Изобретение должно трактоваться как включающее в себя все подобные модификации и изменения до тех пор, пока они попадают в пределы объема прилагаемой формулы изобретения или ее эквивалентов.

Claims (15)

1. Способ регистрации изображений, содержащий этапы, на которых: извлекают двумерный набор признаков (36) из двухмерного изображения (30); извлекают трехмерный набор признаков (38) из трехмерного изображения (32); математически проецируют трехмерный набор признаков в двумерный набор проецируемых признаков (44) с помощью проекционной геометрии; выполняют первую регистрацию двумерного набора признаков и двумерного набора проецируемых признаков и выполняют вторую регистрацию двумерного изображения и математической проекции трехмерного изображения с помощью параметров, извлеченных из первой регистрации; в котором операции извлечения содержат этап, на котором применяют алгоритм определения углов для извлечения признаков, содержащих угловые точки, из двухмерного или трехмерного изображения путем идентификации локально максимальных собственных значений инерционной матрицы градиента изображения вдоль множества направлений и путем идентификации дискретного набора пересечений линий исходя из идентифицированных локально максимальных собственных значений.

2. Способ регистрации изображений по п.1, в котором операции извлечения дополнительно содержат этап, на котором применяют алгоритм определения контуров для извлечения признаков, содержащих отрезки прямых.

3. Способ регистрации изображений по п.1 или 2, в котором первая регистрация содержит этап, на котором регулируют пространственные параметры по меньшей мере одного из двумерного набора признаков (36) и двумерного набора проецируемых признаков (44), выбираемые из группы, состоящей из по меньшей мере трех параметров поворота и по меньшей мере трех параметров переноса, причем отрегулированные пространственные параметры используются при второй регистрации.

4. Способ регистрации изображений по п.1 или 2, в котором первая регистрация содержит этап, на котором регулируют один или более параметров проекционной геометрии (42), выбираемых из группы, состоящей из параметра угла установки, параметра увеличения, параметра местоположения источника, параметра местоположения детектора и параметра искажения, причем отрегулированные параметры проекционной геометрии используются при второй регистрации для математического проецирования трехмерного изображения.

5. Способ регистрации изображений по п.1, в котором первая регистрация содержит этап, на котором оптимизируют сравнительный критерий расстояния, статистически отличающий расстояния между признаками двумерного набора признаков (36) и ближайшими соответствующими признаками двумерного набора проецируемых признаков (44).

6. Способ регистрации изображений по п.1, в котором проекционная геометрия (42) является проекционной геометрией модуля (10) формирования двумерных изображений в ходе получения двухмерного изображения (30).

7. Способ регистрации изображений по п.1, в котором при первой регистрации применяют комбинаторный алгоритм для связывания признаков двумерного набора признаков (36) с соответствующими признаками двумерного набора проецируемых признаков (44).

8. Способ регистрации изображений по п.1, дополнительно содержащий этапы, на которых: получают двухмерное изображение (30) с помощью модуля (10) формирования двумерных изображений, содержащего рентгеновское флуороскопическое устройство; и получают трехмерное изображение (32) с помощью модуля (12) формирования трехмерных изображений, содержащего модуль формирования магнитно-резонансных изображений (MRI) или модуль формирования изображений на базе компьютерной томографии (СТ).

9. Способ регистрации изображений по п.1, дополнительно содержащий этапы, на которых: получают второе трехмерное изображение и формируют двухмерное изображение (30) посредством математического проецирования второго трехмерного изображения с помощью проекционной геометрии (42).

10. Способ регистрации изображений по п. 1, дополнительно содержащий этап, на котором отображают комбинацию, слияние или сравнение двухмерного изображения и математической проекции трехмерного изображения после второй регистрации с помощью параметров, выведенных из первой регистрации.

11. Цифровой носитель данных, на котором сохранены инструкции, исполняемые цифровой системой для осуществления способа по любому из пп.1-10.

12. Устройство регистрации изображений, включающее в себя один или более процессоров, запрограммированных осуществлять способ по любому из пп.1-10.

13. Устройство регистрации изображений, содержащее: детектор (34) признаков, содержащий детектор углов, выполненный с возможностью извлечения двумерного набора признаков (36) из двухмерного изображения (30) и извлечения трехмерного набора признаков (38) из трехмерного изображения (32); процессор (40) проецирования, выполненный с возможностью проецирования трехмерных данных в данные двумерной проекции; и процессор (46, 52) регистрации, выполненный с возможностью: (I) регулировать параметры для регистрации двумерного набора признаков и трехмерного набора признаков, проецируемых посредством процессора проецирования с помощью проекционной геометрии (42), и (II) использовать отрегулированные параметры для регистрации двухмерного изображения и трехмерного изображения, проецируемого посредством процессора проецирования с помощью проекционной геометрии, при этом детектор (34) признаков, содержащий детектор углов, выполнен с возможностью извлекать признаки, содержащие угловые точки, из двухмерного или трехмерного изображения путем идентификации локально максимальных собственных значений инерционной матрицы градиента изображения вдоль множества направлений и путем идентификации дискретного набора пересечений линий исходя из идентифицированных локально максимальных собственных значений.

14. Устройство регистрации изображений по п. 13, в котором детектор (34) признаков дополнительно содержит детектор контуров.

15. Устройство регистрации изображений пп. 13 или 14, в котором процессор (46, 52) регистрации выполнен с возможностью регулировки проекционной геометрии (42), чтобы регистрировать или упрощать регистрацию двумерного набора признаков (36) и трехмерного набора признаков (38), проецируемых посредством процессора (40) проецирования.

Images