RU2575055C2

RU2575055C2 - System for imaging localisation of anterior crucial ligament

Info

Publication number: RU2575055C2
Application number: RU2012128424/14A
Authority: RU
Inventors: Пол Роберт ДЮХЭМЕЛ; Чарльз Х. БРАУН; Карлос РОДРИГЕС
Original assignee: Смит Энд Нефью, Инк.
Priority date: 2009-12-14
Filing date: 2010-12-14
Publication date: 2016-02-10

Abstract

FIELD: medicine.

SUBSTANCE: invention refers to medical equipment, namely to agents for performing a medical surgery. A method comprises the stages of imaging an anatomical structure on a graphic user interface, marking a collection of reference points identifying the respective anatomical positions, displaying a graphic overlay, which encloses at least one localisation marker detecting a surgical site, above the anatomical structure image. The stage of marking the collection of reference point involves selecting a specific anatomical structure in the form of bone references. The graphic overlay includes a number of guide indicators. The device comprises a memory storage, a processor unit, a communication interface and a communication set to connect them. A machine-readable carrier comprises a computer program logic code for implementing the method by means of the device.

EFFECT: using the declared group of inventions enables increasing the location accuracy of a tissue graft.

19 cl, 17 dwg

Description

Перекрестная ссылка на родственные заявкиCross reference to related applications

Настоящая международная заявка, поданная в соответствии с Договором о патентной кооперации, испрашивает приоритет по предварительной заявке на патент США 61/327416, поданной 23 апреля 2010 г. под названием «Компьютерная визуализация и установка маркеров локализации при проведении медицинских операций», и по предварительной заявке на патент США 61/286170, поданной 14 декабря 2009 г. под названием «Система для осуществления локализации передней крестообразной связки с применением визуализации», причем полное содержание каждой из этих заявок включено в настоящее описание посредством ссылки.This international application filed under the Patent Cooperation Treaty claims priority on provisional patent application US 61/327416, filed April 23, 2010, entitled "Computer Visualization and Installation of Localization Markers in Medical Operations", and on provisional application US patent 61/286170, filed December 14, 2009 under the title "System for the localization of the anterior cruciate ligament using visualization", the full content of each of these applications is included in the present description by reference.

Область применения изобретенияThe scope of the invention

Изобретение относится к области компьютерного обеспечения и визуализации, применяемых при определении места установки маркеров локализации, используемых в ходе хирургических вмешательств.The invention relates to the field of computer software and visualization used to determine the location of localization markers used during surgical interventions.

Уровень техникиState of the art

Значительный прогресс в области артроскопии был достигнут благодаря различным современным технологиям, включая методы компьютеризированного формирования изображений и компьютеризированной эндоскопии. Так, в частности, в ходе артроскопических хирургических операций используют традиционные компьютеризированные устройства, обеспечивающие возможность получения в реальном времени рентгенограмм оперируемых анатомических структур. В качестве одного из примеров распространенных медицинских операций можно назвать восстановление мягких тканей, например передней крестообразной связки (ПКС) коленного сустава человека. Поврежденную ПКС часто заменяют тканевым трансплантатом, применяя артроскопические методы. Такой тканевый трансплантат можно взять из части надколенного сухожилия, имеющей на каждом конце так называемые «костные блоки», либо из полусухожильной и тонкой мышц. Другой подход предусматривает формирование тканевого трансплантата из комбинации синтетических и природных материалов. Имплантацию тканевого заменителя производят путем закрепления одного из концов трансплантата в туннеле, образуемом в канале бедренной кости, и пропускания его второго конца через туннель, образуемый в большеберцовой кости. Как правило, крепление каждого конца тканевого трансплантата к специальному фиксатору (например, интерферентному винту или штифту), который прикрепляют затем к кости, осуществляют с помощью швов. Определение конкретных мест для размещения туннелей в бедренном и большеберцовом компонентах коленного сустава может оказаться довольно трудной задачей, учитывая, что коленный сустав представляет собой плотную зону, при этом разные пациенты, которым делается операция восстановления ПКС, имеют разный размер костей.Significant progress in arthroscopy has been achieved thanks to a variety of modern technologies, including computerized imaging and computerized endoscopy. So, in particular, in the course of arthroscopic surgical operations, traditional computerized devices are used, which make it possible to obtain real-time radiographs of the operated anatomical structures. As one example of common medical operations, restoration of soft tissues, for example, the anterior cruciate ligament (PCA) of a person’s knee joint, can be mentioned. Damaged PKCs are often replaced with a tissue graft using arthroscopic techniques. Such a tissue graft can be taken from the part of the patella, having so-called “bone blocks” at each end, or from semi-tendon and thin muscles. Another approach involves the formation of a tissue graft from a combination of synthetic and natural materials. Tissue substitute implantation is carried out by fixing one of the ends of the graft in the tunnel formed in the femoral canal and passing its second end through the tunnel formed in the tibia. As a rule, the fastening of each end of the tissue transplant to a special retainer (for example, an interference screw or pin), which is then attached to the bone, is carried out using sutures. Determining the specific locations for the tunnels in the femoral and tibial components of the knee joint can be quite a difficult task, given that the knee joint is a dense zone, and different patients undergoing PCS repair have different bone sizes.

Один из примеров выполнения механического устройства, предназначенного для облегчения правильного определения мест внедрения трансплантата ПКС, описан в патенте США 5968050 (далее «патент '050»), принадлежащем заявителю настоящей заявки. Содержание патента "050 полностью включено в настоящее описание посредством ссылки. В указанном документе раскрыт чисто механический направитель (инструмент) для определения местоположения позиционирования большеберцового туннеля при проведении операции реконструкции ПКС. Альтернативой применению описанного механического инструмента, является другая традиционная технология, применяемая при реконструкции ПКС, в соответствии с которой в реальном времени получают рентгеновское и компьютеризированное графическое изображение и компьютеризированное графическое изображение для облегчения проведения операций восстановления ПКС. Эта технология описана в патенте США 7319897 (ниже по тексту «патент '897»), полное содержание которого включено в настоящее описание посредством ссылки.One example of the implementation of a mechanical device designed to facilitate the correct determination of the site of introduction of the PCS transplant is described in US Pat. The content of the patent "050 is fully incorporated into the present description by reference. The specified document discloses a purely mechanical guide (tool) for determining the positioning position of the tibial tunnel during the reconstruction of the PCB. An alternative to the use of the described mechanical tool is another traditional technology used in the reconstruction of the PCB, according to which in real time an x-ray and computerized graphic image and computer are obtained terizirovannoe graphic image to facilitate recovery operations PKC. This technique is described in U.S. Patent No. 7319897 (hereinafter referred to as "Patent '897"), the entire contents of which are incorporated herein by reference.

Однако известные методики, обеспечивающие компьютерную поддержку хирургических операций, подобные описанной в патенте '897, имеют ряд недостатков. Поэтому необходима разработка компьютеризированной системы, способов и устройства, обеспечивающих работу локализационных программных средств, позволяющих медицинскому специалисту, например, хирургу, увидеть на экране графического пользовательского интерфейса как статические, так и видеоизображения соответствующей анатомической структуры.However, well-known techniques that provide computer support for surgical operations, such as described in the '897 patent, have several disadvantages. Therefore, it is necessary to develop a computerized system, methods and devices that provide localization software that allows a medical specialist, such as a surgeon, to see both static and video images of the corresponding anatomical structure on the screen of the graphical user interface.

Краткое изложение сущности изобретенияSummary of the invention

Ниже рассмотрены различные варианты осуществления изобретения, предусматривающие использование компьютеризированной системы, способов и устройства, обеспечивающих работу упомянутых выше программных средств локализации. Изображения может быть получено от аппаратуры, производящей радиографические (например, рентгеновские) снимки, снимки полученные методом магнитно-резонансной или компьютерной томографии, флюороскопические и другие подобные снимки. Это могут быть прямые изображения в реальном масштабе времени, полученные во время операции, либо предварительно записанные изображения, которые используют в послеоперационный период (в частности, для целей контроля качества). Программные средства позволяют выполнить обозначение на графическом пользовательском интерфейсе совокупности ориентиров, с помощью которых идентифицируют соответствующие анатомические позиции на отображаемом изображении анатомической структуры. Возможны два варианта действий: либо хирург вручную обозначает такие ориентиры посредством взаимодействия с графическим пользовательским интерфейсом, либо программа использует функцию автоматического обнаружения с целью определения места или идентификации ориентиров на анатомической структуре. Так, если анатомической структурой является коленный сустав, то система может отображать изображение (например, рентгеновское) этого сустава, что позволит хирургу выбрать на рентгенограмме в качестве ориентиров конкретные известные костные ориентиры, относящиеся к бедренной или большеберцовой кости.Various embodiments of the invention are described below, involving the use of a computerized system, methods and apparatus for operating the above-mentioned localization software. Images can be obtained from equipment producing radiographic (for example, X-ray) images, images obtained by magnetic resonance or computed tomography, fluoroscopic and other similar images. This can be direct real-time images obtained during the operation, or pre-recorded images that are used in the postoperative period (in particular, for quality control purposes). Software tools allow the designation on the graphical user interface of a set of landmarks with which to identify the corresponding anatomical position on the displayed image of the anatomical structure. Two options are possible: either the surgeon manually designates such landmarks through interaction with the graphical user interface, or the program uses the automatic detection function to determine the location or identification of landmarks on the anatomical structure. So, if the anatomical structure is a knee joint, then the system can display an image (for example, an X-ray) of this joint, which will allow the surgeon to select specific known bone landmarks related to the femur or tibia on the roentgenogram.

После того как выбраны ориентиры, система готова к отображению накладного графического элемента в виде сетки или линии, накладываемого поверх изображения анатомической структуры. При размещении такого накладного графического элемента руководствуются указанной совокупностью ориентиров. Хирург может выбрать какой-нибудь один из набора созданных системой накладных графических элементов, при этом такой накладной графический элемент может включать в себя ряд направляющих индикаторов, обеспечивающих индикацию связанных с анатомической структурой позиций для выполнения хирургической операции на этой структуре. Такие направляющие индикаторы могут указывать, например, позиции в процентах, дающие возможность определить расстояние или масштаб между ориентирами кости. Далее система может отображать по меньшей мере один маркер локализации внутри накладного графического элемента. Такой(ие) маркер(ы) локализации указывает(ют) оптимальное местоположение для проведения хирургической операции на анатомической структуре. Система может размещать маркер(ы) локализации, используя для этого известные из медицинских знаний позиции применительно к данной анатомической структуре (на основе ориентиров), что обеспечит максимальный успех медицинского вмешательства, в частности, реконструкции ПКС.After the landmarks are selected, the system is ready to display the overlay graphic element in the form of a grid or line superimposed over the image of the anatomical structure. When placing such an overlay graphic element, they are guided by the indicated set of landmarks. The surgeon can choose any one of the set of laid on graphic elements created by the system, while such a laid on graphic element may include a number of guide indicators that provide an indication of the positions associated with the anatomical structure for performing a surgical operation on this structure. Such directional indicators may indicate, for example, positions in percentages, making it possible to determine the distance or scale between the landmarks of the bone. Further, the system can display at least one localization marker inside an overlay graphic element. This localization marker (s) indicates the optimal location for the surgical operation on the anatomical structure. The system can place a marker (s) of localization using for this purpose the positions known from medical knowledge in relation to this anatomical structure (based on landmarks), which will ensure the maximum success of medical intervention, in particular, reconstruction of PCS.

В соответствии с одним из вариантов осуществления, в соответствии с которым определяют место крепления передней крестообразной связки, система может отображать изображение, на котором представлен вид бедренного и большеберцового компонентов коленного сустава человека. В соответствии с данным вариантом отображают вид сбоку бедренной кости. Система принимает выбор известных костных ориентиров. В соответствии с данным вариантом система принимает в качестве первого известного костного ориентира выбор переднего края вида бедренной кости, отображенной на изображении, а в качестве второго известного костного ориентира, выбор заднего края вида бедренной кости, отображенной на изображении. Линия, проведенная между первым известным костным ориентиром и вторым известным костным ориентиром, определяет плоскость, которая находится практически на одной линии с надколенной поверхностью бедренной кости. В систему поступает также третий известный костный ориентир, который соответствует отображению на изображении на виде сбоку поверхности дистального мыщелка бедренной кости. При отображении накладного графического элемента поверх изображения анатомической структуры, система отображает накладную сетку, наложенную на вид дистального конца бедренной кости на графическом пользовательском интерфейсе. Указанная накладная сетка имеет ширину, отображаемую между выбранными первыми и вторым известными костными ориентирами и высоту, доходящую до выбранного третьего известного костного ориентира. После этого система может отображать на накладной сетке по меньшей мере один бедренный маркера локализации. Этот маркер указывает некоторый базовый ориентир для места внедрения тканевого трансплантата в бедренную кость, отображенную на графическом изображении.In accordance with one of the embodiments according to which the attachment point of the anterior cruciate ligament is determined, the system can display an image showing a view of the femoral and tibial components of the human knee joint. In accordance with this option display a side view of the femur. The system accepts a selection of famous bone landmarks. In accordance with this embodiment, the system accepts, as the first known bone landmark, the selection of the anterior edge of the femur displayed on the image, and as the second known bone landmark, the selection of the posterior edge of the femoral displayed on the image. A line drawn between the first known bone landmark and the second known bone landmark defines a plane that is practically in line with the patellar surface of the femur. The system also receives the third known bone landmark, which corresponds to the image on the side view of the surface of the distal condyle of the femur. When displaying an overlay graphic over an anatomical image, the system displays an overlay grid overlaid on the distal end of the femur on a graphical user interface. Said patch grid has a width displayed between the selected first and second known bone landmarks and a height reaching up to the selected third known bone landmark. After that, the system can display at least one femoral localization marker on the patch grid. This marker indicates some basic reference point for the site of tissue graft insertion into the femur displayed on the graphic image.

В соответствии с другими вариантами осуществления, при отображении маркера локализации система может автоматически вычислить по меньшей мере одну предпочтительную с медицинской точки зрения позицию внутри накладной сетки для установки маркера локализации, исходя из геометрии этой сетки, и отобразить соответствующий маркер локализации в каждой автоматически вычисленной предпочтительной с медицинской точки зрения позиции на накладной сетке. После того как автоматически установлен(ы) маркер(ы) локализации, система предоставляет медицинскому специалисту возможность отрегулировать автоматически вычисленное место соответствующего локализационного маркера на накладной сетке.According to other embodiments, when a localization marker is displayed, the system can automatically calculate at least one medically preferred position within the overlay grid to set the localization marker based on the geometry of this grid, and display the corresponding localization marker in each automatically calculated preferred medical point of view on the overlay grid. After the localization marker (s) is automatically installed, the system provides the medical professional with the opportunity to adjust the automatically calculated location of the corresponding localization marker on the invoice grid.

В соответствии с вариантами осуществления, относящимися к коленному суставу (применительно к большеберцовой кости), система может отображать вид сбоку большеберцового компонента коленного сустава человека и принимать, в качестве первого известного костного ориентира, выбор переднего края вида большеберцовой кости, отображаемой на изображении. Также система принимает в качестве второго известного костного ориентира выбор заднего края вида большеберцовой кости, отображаемой на изображении на виде сбоку. В данном случае линия, образуемая между первым и вторым известными костными ориентирами, определяет плоскость, на которой может быть отображен по меньшей мере один маркер локализации для восстановления связки, связанной с большеберцовой костью. После выбора ориентиров, относящихся к большеберцовой кости, система отображает накладную линию поверх вида проксимального конца большеберцовой кости на графическом пользовательском интерфейсе между двумя ориентирами большеберцовой кости. После того как воспроизведена накладная линия, система может начинать отображение по меньшей мере одного маркера локализации большеберцовой кости на этой линии. Маркер(ы) локализации большеберцовой кости указывает(ют) по меньшей мере одно анатомическое место крепления передней крестообразной связки на большеберцовой кости, отображенной на графическом пользовательском интерфейсе.In accordance with embodiments related to the knee joint (in relation to the tibia), the system can display a side view of the tibial component of the human knee joint and take, as the first known bone landmark, the selection of the front edge of the tibia view displayed on the image. The system also accepts, as the second known bone landmark, the selection of the posterior edge of the tibia, displayed on the side view of the image. In this case, the line formed between the first and second known bone landmarks defines a plane on which at least one localization marker can be displayed to restore the ligament associated with the tibia. After selecting landmarks related to the tibia, the system displays a patch line over the view of the proximal end of the tibia on a graphical user interface between the two landmarks of the tibia. After the overlay line is reproduced, the system may begin displaying at least one tibia localization marker on that line. The tibial localization marker (s) indicates (s) at least one anatomical attachment site of the anterior cruciate ligament to the tibia displayed on a graphical user interface.

Таким образом, при использовании описанных выше вариантов осуществления обеспечивается более надежное проведение хирургических или иных медицинских операций, поскольку воспроизведение накладных графических элементов поверх анатомических структур позволяет добиться более точного размещения маркеров локализации, которые дают возможность точного решения таких медицинских задач, как определение места тканевого трансплантата. Имеющиеся на накладных сетках направляющие индикаторы предоставляют медицински приемлемые ориентиры для размещения маркеров локализации и не позволяют врачу совершить ошибку при установке маркера.Thus, when using the above-described embodiments, a more reliable surgical or other medical operation is provided, since the reproduction of overlay graphic elements on top of the anatomical structures allows for more accurate placement of localization markers, which make it possible to accurately solve such medical problems as determining the location of a tissue graft. The direction indicators on the overhead grids provide medically acceptable guidelines for locating localization markers and do not allow the doctor to make a mistake when installing the marker.

В соответствии с другими рассматриваемыми здесь вариантами осуществления, используются самые разнообразные компьютеризированные устройства, рабочие места, карманные или переносные компьютеры и подобные устройства, конфигурация которых предусматривает наличие программных средств и/или схем (например, процессора), предназначенных для проведения какой-либо или всех рассматриваемых здесь технологических операций. Другими словами, какое-либо компьютеризированное устройство типа компьютера, или устройства передачи данных, или процессора любого типа, которые запрограммированы или выполнены с возможностью функционировать таким образом, как описано в данной заявке, следует считать одним из рассматриваемых в настоящей заявке вариантов осуществления изобретения.In accordance with other embodiments contemplated herein, a wide variety of computerized devices, workstations, handheld or laptop computers, and similar devices are used, the configuration of which involves the presence of software and / or circuits (eg, a processor) designed to carry out any or all of technological operations considered here. In other words, any computerized device, such as a computer, or a data transmission device, or processor of any type, that is programmed or configured to function as described in this application should be considered one of the embodiments of the invention discussed in this application.

В соответствии с другими рассматриваемыми вариантами осуществления, предусматриваются программные средства, предназначенные для выполнения этапов и операций, которые кратко изложены выше и более подробно раскрыты далее по тексту. В соответствии с одним из этих вариантов, используется компьютерный программный продукт, содержащий машиночитаемый носитель, содержащий программный код, который в случае его выполнения в автоматизированном устройстве, где применены связанные друг с другом ЗУ и процессор, программирует процессор таким образом, чтобы он выполнял рассматриваемые здесь операции. Подобные системы поставляются, как правило, в виде программных средств, кода и/или иных данных (например, структур данных), которые размещаются или кодируются на машиночитаемом носителе типа оптического (например, CD-ROM), на гибком или жестком диске либо ином носителе наподобие прошивки или микропрограммы на одной или большем количестве микросхем ROM, RAM или PROM, или же в виде специализированной интегральной схемы (ASIC). Программные или программно-аппаратные средства, либо другие подобные конфигурации могут инсталлироваться на автоматизированном устройстве, давая ему возможность выполнять рассматриваемые ниже процедуры, которые предлагаются здесь как варианты осуществления изобретения.In accordance with other contemplated embodiments, software is provided for performing steps and operations that are summarized above and are described in more detail below. In accordance with one of these options, a computer program product is used comprising a computer-readable medium containing program code, which, if executed in an automated device, using memory devices and a processor connected to one another, programs the processor to execute the functions described here operations. Such systems are delivered, as a rule, in the form of software, code and / or other data (for example, data structures), which are placed or encoded on a computer-readable medium such as optical (for example, CD-ROM), on a flexible or hard disk or other medium like firmware or firmware on one or more ROM, RAM, or PROM chips, or as a specialized integrated circuit (ASIC). Software or firmware, or other similar configurations, can be installed on an automated device, enabling it to perform the procedures described below, which are offered here as embodiments of the invention.

Следует понимать, что описываемая здесь система может быть реализована в виде программного средства, в виде программных и аппаратных средств или только аппаратных средств и ее можно использовать либо автономно, либо в сочетании с другими системами, такими как медицинские установки для получения прямых видеоизображений рентгенограмм анатомической структуры в реальном времени.It should be understood that the system described here can be implemented in the form of software, in the form of software and hardware, or only hardware and can be used either autonomously or in combination with other systems, such as medical devices for obtaining direct video images of radiographs of an anatomical structure in real time.

Краткое описание чертежейBrief Description of the Drawings

Вышеизложенные и другие задачи, признаки и преимущества изобретения станут более понятными из нижеследующего описания отдельных вариантов его осуществления, иллюстрируемых на приложенных чертежах, на которых одни и те же элементы обозначены одинаковыми номерами позиций. Чертежи не всегда выполнены в надлежащем масштабе, поскольку основное внимание уделяется иллюстрации положенных в основу изобретения принципов.The above and other objectives, features and advantages of the invention will become more apparent from the following description of individual embodiments thereof, illustrated in the attached drawings, in which the same elements are denoted by the same reference numbers. The drawings are not always made on an appropriate scale, since the focus is on illustrating the principles underlying the invention.

На фиг.1 показана высокоуровневая структурная схема совокупности медицинских компьютерных средств, выполненной в соответствии с одним из рассматриваемых здесь вариантов осуществления.Figure 1 shows a high-level structural diagram of a set of medical computer tools, made in accordance with one of the embodiments discussed here.

На фиг.2-4 показаны блок-схемы, иллюстрирующие этапы обработки, выполняемые в соответствии с рассматриваемыми здесь типовыми вариантами осуществления.FIGS. 2-4 are flow charts illustrating processing steps performed in accordance with the exemplary embodiments discussed herein.

На фиг.5-17 - проиллюстрированы варианты осуществления графического пользовательского интерфейса, на которых представлены конкретные этапы и операции обработки, указанные на блок-схемах по фиг.2-4.Figure 5-17 - illustrates embodiments of a graphical user interface, which presents the specific stages and processing operations indicated on the flowcharts of figure 2-4.

Подробное описание изобретенияDETAILED DESCRIPTION OF THE INVENTION

Рассматриваемая в настоящей заявке система работает в целом как программное средство с локализационной главной компьютерной системой, управляющей локализационной программой (например, осуществляющей программу), например, приложением и/или процессом, которое способно отображать видеоизображения анатомической структуры (например, рентгенограммы в реальном времени) и позволяет медицинскому специалисту (в частности хирургу) точно определить надлежащее место для решения хирургической задачи по проведению медицинской операции на отображаемой анатомической структуре. Такой процесс может осуществляться как в ходе операции, облетая определение места выполнения некоторых этапов текущей хирургической операции, так и после операции, например, для целей контроля качества. Локализационная прикладная программа, действуя совместно с графическим пользовательским интерфейсом, обеспечивает возможность выбора конкретных ориентиров на анатомической структуре (например, отдельных костных ориентиров, видимых на отображаемом изображении). В ответ на это локализационное программное средство на основе размещения выбранных ориентиров отображает накладной графический элемент.The system considered in this application works as a whole as a software tool with a localization main computer system that manages a localization program (for example, implements a program), for example, an application and / or process that is capable of displaying video images of an anatomical structure (for example, real-time radiographs) and allows a medical specialist (in particular a surgeon) to accurately determine the appropriate place for solving the surgical task of conducting a medical operation on the selection desired anatomical structure. Such a process can be carried out both during the operation, flying around the determination of the location of some stages of the current surgical operation, and after the operation, for example, for quality control purposes. The localization application program, acting in conjunction with the graphical user interface, provides the ability to select specific landmarks on the anatomical structure (for example, individual bone landmarks visible on the displayed image). In response to this localization software, based on the placement of the selected landmarks, the invoice displays a graphic element.

Накладной графический элемент может представлять собой, например, накладную сетку, снабженную видимыми графическими индикаторами типа шкал, линеек, сегментов, количественных показателей и подобных элементов, предназначенных для того, чтобы помочь медицинскому специалисту определить на изображении надлежащее место размещения (относительно сетки) маркеров локализации. После установки накладного графического элемента медицинский специалист получает возможность дальнейшего взаимодействия с графическим пользовательским интерфейсом с целью позиционирования и отображения одного или большего количества маркеров локализации, которые определяют местоположение выполнения хирургической операции на данной анатомической структуре. В соответствии с одним из вариантов осуществления, локализационное программное средство производит вышеописанную обработку для отображения внутри накладной сетки по меньшей мере одного бедренного и/или большеберцового маркера. Такие бедренные и/или большеберцовые маркеры определяют базовое(ые) местоположение(я) для внедрения тканевого трансплантата в бедренную или большеберцовую кость, отображенную на графическом изображении.An overlay graphic element can be, for example, an overlay grid equipped with visible graphical indicators such as scales, rulers, segments, quantitative indicators, and similar elements designed to help a healthcare professional determine the appropriate placement (relative to the grid) of localization markers. After installing an overlay graphic element, the medical specialist gets the opportunity to further interact with the graphical user interface in order to position and display one or more localization markers that determine the location of the surgical operation on this anatomical structure. In accordance with one embodiment, the localization software performs the above-described processing to display at least one femoral and / or tibial marker inside the patch mesh. Such femoral and / or tibial markers determine the base (s) location (s) for the implantation of a tissue transplant into the femur or tibia displayed on the graphic image.

На фиг.1 показана совокупность 100 медицинских средств, подходящая для пояснения функционирования изобретения. Эта совокупность средств включает медицинское устройство 101 отображения, которое может представлять собой систему магнитно-резонансной томографии (МРТ), систему компьютерной томографии (КГ), флюороскопическую систему, радиографическую (например, рентгеновскую) систему или другую подобную систему, генерирующую видеоданные 103, включающие в себя двухмерное (2D) латеральное видеоизображение анатомической структуры. В рассматриваемом примере, медицинское устройство 101 отображения выдает двухмерное латеральное изображение коленного сустава человека. В соответствии с другим вариантом, совокупность 100 медицинских средств может включать в себя эндоскопическую систему 102, генерирующую внутренние изображения анатомической структуры, а также видеоданные 103. Предусмотрена локализационная главная компьютерная система 110, на вход которой поступают видеоданные 103 (например, через устройство захвата видеосигнала/кадра) и которая может воспроизводить видеоданные 103 в графическом пользовательском интерфейсе 160 на дисплее 130.1 shows a combination of 100 medical devices suitable for explaining the functioning of the invention. This set of tools includes a medical imaging device 101, which may be a magnetic resonance imaging (MRI) system, a computed tomography (CT) system, a fluoroscopic system, a radiographic (e.g., x-ray) system, or other similar system generating video data 103, including a two-dimensional (2D) lateral video image of the anatomical structure. In this example, the medical display device 101 provides a two-dimensional lateral image of a person’s knee joint. In accordance with another embodiment, the set of 100 medical devices may include an endoscopic system 102 that generates internal images of the anatomical structure, as well as video data 103. A localization main computer system 110 is provided, the input of which receives video data 103 (for example, via a video capture device / frame) and which can play video 103 in the graphical user interface 160 on the display 130.

В качестве локализационной главной компьютерной системы 110 можно использовать любое компьютеризированное устройство типа персонального компьютера, рабочей станции, переносного вычислительного устройства, консоли, переносного компьютера, сетевого терминала и подобных устройств. В рассматриваемом примере компьютерная система 110 включает в себя средство 111 связи типа информационной шины или другой схемы, которое обеспечивает связь запоминающей системы 112, процессора 113, интерфейса 114 ввода-вывода и связного интерфейса 115. Имеются также одно или более устройств 116 ввода данных (например, управляемые пользователем устройства типа мыши, клавиатуры, сенсорного экрана, сенсорного планшета и подобных устройств), которые соединены с процессором 113 через интерфейс 114 ввода-вывода и дают пользователю 108, то есть медицинскому специалисту (например, врачу, хирургу или другому специалисту), возможность вводить команды и в целом управлять работой графического пользовательского интерфейса 160 с видеоданными 103 на дисплее 130, как пояснено ниже. Связной интерфейс 115 обеспечивает связь компьютерной системы 110 с другими устройствами (то есть другими компьютерами) в сети (не показаны).As the localization host computer system 110, any computerized device such as a personal computer, workstation, portable computing device, console, laptop computer, network terminal, and the like can be used. In this example, computer system 110 includes communication means 111 such as a data bus or other circuitry that communicates storage system 112, processor 113, input / output interface 114, and communication interface 115. There are also one or more data input devices 116 (e.g. user-controlled devices such as a mouse, keyboard, touch screen, touch tablet and similar devices) that are connected to the processor 113 via an input / output interface 114 and give the user 108, i.e., medical to a specialist (e.g., a doctor, surgeon, or other specialist), the ability to enter commands and generally control the operation of the graphical user interface 160 with video data 103 on the display 130, as explained below. A communication interface 115 allows the computer system 110 to communicate with other devices (i.e., other computers) in a network (not shown).

В качестве запоминающей системы 112 можно использовать любой машиночитаемый носитель. В рассматриваемом случае на этой системе размещен код локализационного приложения 150-1, которое обеспечивает обработку и функциональные операции через посредство графического пользовательского интерфейса 160, как пояснено ниже. Указанное приложение 150-1 может быть выполнено в виде программного кода в виде данных и/или логических команд (например, исходного или объектного кода, хранящегося в памяти или на другом машиночитаемом носителе типа съемного диска), которые обеспечивают поддержку функциональных возможностей обработки в соответствии с различными описываемыми здесь вариантами осуществления. В процессе работы локализационной компьютерной системы 110 процессор 113 подключается к запоминающей системе 112 через средство 111 связи с целью дальнейшего запуска, осуществления, выполнения, интерпретации или иных действий с логическими командами, поступающими от локализационного приложения 150-1. Такое выполнение локализационного приложения обеспечивает функцию обработки в процессе 150-2 локализации. Другими словами, процесс 150-2 локализации представляет собой один и более участков или экземпляров выполнения локализационного приложения 150-1 (или всего приложения 150-1), выполняемых процессором 113 в компьютеризированном устройстве во время прогона приложения.As the storage system 112, any computer-readable medium can be used. In this case, the localization application code 150-1 is placed on this system, which provides processing and functional operations through the graphical user interface 160, as explained below. The specified application 150-1 can be executed in the form of program code in the form of data and / or logical instructions (for example, source or object code stored in memory or on another computer-readable medium such as a removable disk), which provide support for processing functionality in accordance with the various embodiments described herein. During the operation of the localization computer system 110, the processor 113 is connected to the storage system 112 through the communication means 111 for the purpose of further launching, executing, executing, interpreting, or other actions with logical commands coming from the localization application 150-1. This embodiment of the localization application provides a processing function in the localization process 150-2. In other words, the localization process 150-2 represents one or more sections or instances of the execution of the localization application 150-1 (or the entire application 150-1) executed by the processor 113 in a computerized device during application run.

Локализационное приложение 150-1 может храниться на машиночитаемом носителе, например, гибком или жестком диске, а также на электронных, магнитных, оптических или иных машиночитаемых носителях. Его можно также хранить в запоминающей системе 112, например, в виде встроенной программы, постоянного запоминающего устройства (ПЗУ), либо, как в данном примере, в виде исполняемого кода, например, в оперативном запоминающем устройстве (ОЗУ). Следует заметить, что под локализационном программным средством 150 в общем понимается либо находящееся в запоминающее системе 112 локализационное приложение 150-1 и/или выполняющийся локализационный процесс 150-2, выполняемый процессором 113. Специалисту также понятно, что локализационная главная компьютерная система 110 может включать в себя другие процессы и/или программные и аппаратные компоненты, например, не иллюстрируемую в данном примере операционную систему. Необходимость в прямом подключении дисплея 130 к компьютерной системе 110 отсутствует. Локализационное программное средство 150 может быть выполнено, например, на удаленном компьютерном устройстве через посредство связного сетевого интерфейса 115. В данном случае графический пользовательский интерфейс 160 можно локально отобразить для пользователя удаленного компьютера, а выполнение операций обработки может быть построено на клиент-серверной основе. Ниже приводится более подробное разъяснение работы локализационного программного средства 150 со ссылками на остальные фигуры, на которых представлены блок-схемы этапов обработки, которые пояснены с помощью скриншотов графического пользовательского интерфейса, предоставляемых локализационным программным средством 150.The localization application 150-1 can be stored on a computer-readable medium, for example, a flexible or hard disk, as well as on electronic, magnetic, optical or other computer-readable media. It can also be stored in the storage system 112, for example, in the form of an embedded program, read-only memory (ROM), or, as in this example, in the form of executable code, for example, in random access memory (RAM). It should be noted that the localization software 150 generally means either the localization application 150-1 located in the storage system 112 and / or the localization process 150-2 in progress executed by the processor 113. One skilled in the art will also recognize that the localization host computer system 110 may include other processes and / or software and hardware components, for example, an operating system not illustrated in this example. There is no need to directly connect the display 130 to the computer system 110. The localization software 150 can be executed, for example, on a remote computer device via a connected network interface 115. In this case, the graphical user interface 160 can be locally displayed for the user of the remote computer, and the processing operations can be built on a client-server basis. Below is a more detailed explanation of the operation of the localization software 150 with links to the remaining figures, which are flowcharts of the processing steps that are explained using screenshots of the graphical user interface provided by the localization software 150.

На фиг.2-4 приведены блок-схемы этапов обработки, выполняемых локализационным программным средством 150 в соответствии с описываемыми вариантами осуществления. Применительно к данной конкретной ситуации рассмотрена работа системы, направленная на определение места установки маркеров локализации, которые указывают базовые ориентиры для мест внедрения тканевого трансплантата в бедренную и большеберцовую кости. Следует понимать, что данная медицинская процедура рассматривается здесь лишь в качестве примера, так что изобретение не ограничивается этим частным случаем, относящимся к коленному суставу. Напротив, некоторые варианты его осуществления задуманы как имеющие общий характер и применимые для оказания содействия в определении ориентиров при проведении медицинских операций на многих различных анатомических структурах. Указанные блок-схемы рассматриваются ниже со ссылками на графический пользовательский интерфейс 160, показанный на остальных иллюстрациях.2-4 are flowcharts of processing steps performed by the localization software 150 in accordance with the described embodiments. In relation to this particular situation, the work of the system aimed at determining the location of localization markers, which indicate the basic guidelines for the places of tissue graft insertion into the femur and tibia, is considered. It should be understood that this medical procedure is considered here only as an example, so the invention is not limited to this particular case related to the knee joint. On the contrary, some options for its implementation are conceived as having a general character and applicable to assist in determining the guidelines for medical operations on many different anatomical structures. These flowcharts are discussed below with reference to the graphical user interface 160 shown in the remaining illustrations.

Вначале обратимся к фиг.5, на которой видно, что графический пользовательский интерфейс 160 включает в себя зону 500 изображения, обеспечивающую отображение таких изображений, как видео- и/или статические кадры радиографических или других снимков, вырабатываемых в медицинском устройстве 101 отображения или в эндоскопической системе 102, показанных на фиг.1. Кроме того, интерфейс 160 содержит зону 501 управления, в которой размещены различные средства управления, более подробно рассмотренные ниже. Следует иметь в виду, что те этапы, которые показаны на блок-схемах внутри других этапов, представляют собой подэтапы, выполняемые согласно различным рассматриваемым ниже вариантам осуществления.First, refer to FIG. 5, which shows that the graphical user interface 160 includes an image area 500 for displaying images such as video and / or static frames of radiographic or other images generated in a medical display device 101 or in an endoscopic system 102 shown in FIG. In addition, the interface 160 comprises a control area 501, in which various controls are located, discussed in more detail below. It should be borne in mind that the steps shown in the flowcharts within the other steps are sub-steps performed according to the various embodiments discussed below.

Вернемся к рассмотрению блок-схемы, показанной на фиг.2, где видно, что на этапе 200 локализационное программное средство отображает на графическом пользовательском интерфейсе 160 (то есть в зоне 500 изображения) изображение анатомической структуры. Это изображение может представлять собой, например, снимок, сделанный в реальном времени, полученный в ходе проведения медицинской операции, или может быть предварительно записано, и тогда описываемая в данной заявке обработка будет производиться после окончания операции.Returning to the flowchart shown in FIG. 2, where it can be seen that at step 200, the localization software displays an image of the anatomical structure on the graphical user interface 160 (i.e., in the image area 500). This image can be, for example, a picture taken in real time, obtained during a medical operation, or can be pre-recorded, and then the processing described in this application will be performed after the operation is completed.

На подэтапе 201 локализационное программное средство 150 отображает изображение анатомической структуры, включая изображение по меньшей мере одной кости. В данном конкретном примере в зоне 500 изображения отображается вид сбоку коленного сустава, включая графический вид бедренной кости 507 и большеберцовой кости 509.In sub-step 201, the localization software 150 displays an image of the anatomical structure, including an image of at least one bone. In this particular example, a side view of the knee joint, including a graphic view of the femur 507 and tibia 509, is displayed in the image area 500.

На этапе 202 локализационное программное средство 150 обозначает, через посредство устройства ввода данных типа графического указателя на графическом пользовательском интерфейсе, совокупность ориентиров 510, 511, идентифицирующих соответствующие анатомические позиции на отображенном изображении анатомической структуры. Как видно в примере, показанном на фиг.5, в локализационное программное средство 150 поступает выбранный вариант 502 конкретной анатомической структуры, для которой необходимо создать ориентиры. В рассматриваемом примере, хирург выбрал структуру 502-1 «Femoral-ACL» (бедренная кость-ПКС), в результате чего локализационное программное средство конфигурируется таким образом, чтобы принять выбор трех известных костных ориентиров для бедренной кости 507, отображенной в зоне 500 изображения.At step 202, the localization software 150 denotes, through a data input device such as a graphical pointer on a graphical user interface, a set of landmarks 510, 511 identifying the corresponding anatomical positions in the displayed image of the anatomical structure. As can be seen in the example shown in figure 5, the selected option 502 of a particular anatomical structure, for which you need to create landmarks, enters the localization software 150. In this example, the surgeon chose the Femoral-ACL (femur-PCL) structure 502-1, whereby the localization software is configured to accept a selection of three known bone landmarks for the femur 507 displayed in the image area 500.

Подэтапы обработки 203-205 относятся к ориентирам, выбираемым для бедренной кости 507.Processing sub-steps 203-205 relate to landmarks selected for the femur 507.

На подэтапе 203 при определении базового ориентира, относящегося к бедренной кости, локализационное программное средство 150 принимает, в качестве первого известного костного ориентира 510-А выбранный передний край (на ориентире 510А) вида бедренной кости 507, отображенной на изображении. Этот ориентир показан на фиг.5 в виде ориентира 510-А. Как уже говорилось, хирург может воспользоваться мышью или иным устройством 116 ввода данных для управления указателем на графическом пользовательском интерфейсе 160 с целью выбора первого ориентира 510-А. Выбор первого ориентира в зоне 500 изображения хирург может осуществить на основе своих знаний в области анатомии.In sub-step 203, when determining a baseline related to the femur, the localization software 150 accepts, as the first known bone landmark 510-A, the selected leading edge (at 510A) of the femur 507 displayed in the image. This landmark is shown in figure 5 in the form of a landmark 510-A. As already mentioned, the surgeon can use the mouse or other data input device 116 to control the pointer on the graphical user interface 160 in order to select the first landmark 510-A. The surgeon can make the choice of the first reference point in the image zone 500 on the basis of his knowledge in the field of anatomy.

На подэтапе 204 локализационное программное средство 150 принимает, в качестве второго известного костного ориентира 511-А, выбор заднего края вида сбоку бедренной кости, отображенной на изображении. Линия 513, образуемая между первым известным костным ориентиром 510-А и вторым известным костным ориентиром 511-А, прочерчивается, когда хирург перемещает указатель от первого ориентира ко второму. Эта линия 513 проходит (например, в виде вектора) от первого установленного ориентира 510-А и графически следует за указателем в ходе его перемещения по зоне 500 изображения перед окончательным выбором второго ориентира 511-А. Она позволяет хирургу визуально определить, где будет находиться верхний край накладного графического элемента после того, как с помощью системы будет сделан окончательный выбор ориентира.In sub-step 204, the localization tool 150 receives, as the second known bone landmark 511-A, the selection of the posterior edge of the side view of the femur displayed in the image. A line 513 formed between the first known bone landmark 510-A and the second known bone landmark 511-A is drawn as the surgeon moves the pointer from the first landmark to the second. This line 513 passes (for example, in the form of a vector) from the first established landmark 510-A and graphically follows the pointer as it moves through the image area 500 before the final selection of the second landmark 511-A. It allows the surgeon to visually determine where the upper edge of the overlay graphic element will be located after the final choice of the landmark is made using the system.

На подэтапе 205 локализационное программное средство 150 принимает выбор третьего известного костного ориентира 512-А. Как видно на фиг.6, если говорить о бедренной кости 507, то после выбора первого и второго ориентиров 510-А и 511-А на подэтапе 205 в локализационное программное средство 150 поступает выбранный третий известный костный ориентир 512-А, соответствующий показанному на изображении отображению на виде сбоку поверхности дистального мыщелка бедренной кости 507. Следует заметить, что по мере того, как хирург перемещает указатель в направлении каждого последующего ориентира 510-А, 511-А, 512А, перед выбором самого этого следующего ориентира, локализационное программное средство 150 непрерывно воспроизводит изображение линии от предыдущего ориентира. Если говорить о линии 514, относящейся к третьему ориентиру для бедренной кости 507, то эта линия проходит перпендикулярно в сторону от линии 513, по мере того как хирург перемещает указатель к дистальному концу бедренной кости 507 (то есть под графической линией 513, которая зафиксирована теперь в положении между двумя ранее выбранными ориентирами 510-А и 511-А). Эта перпендикулярная линия 514 предоставляет хирургу на графическом пользовательском интерфейсе 160 (то есть в зоне 500 изображения) визуализацию геометрии накладного графического элемента, который будет создан по завершении выбора последнего (третьего) ориентира 512-А для отображенной бедренной кости 507. Говоря другими словами, после выбора второй анатомической точки в качестве второго ориентира 511-А появляется вторая линия, которая проходит (в виде пунктирной линии) перпендикулярно к линии, имеющейся теперь между двумя ориентирами 510-А и 511-А. Эта линия 514 используется для выравнивания первой линии таким образом, чтобы она была перпендикулярна к продольной оси большеберцовой кости. После выбора третьего ориентира выполняется отображение накладного графического элемента. Таким образом, в системе показаны индикаторы (линии 513 и 514), демонстрирующие, где будет находиться накладной графический элемент.In sub-step 205, the localization software 150 accepts the selection of the third known bone landmark 512-A. As can be seen in Fig.6, if we talk about the femur 507, then after selecting the first and second landmarks 510-A and 511-A in step 205, the selected third known bone landmark 512-A corresponding to the one shown in the image enters the localization software 150 a side view of the surface of the distal condyle of the femur 507. It should be noted that as the surgeon moves the pointer in the direction of each subsequent landmark 510-A, 511-A, 512A, before choosing this next landmark, the localization program ammnoe means 150 continuously reproduces the image line by the previous guide. If we talk about the line 514, referring to the third reference point for the femur 507, then this line runs perpendicular to the side from line 513, as the surgeon moves the pointer to the distal end of the femur 507 (that is, under the graphic line 513, which is now fixed in position between two previously selected landmarks 510-A and 511-A). This perpendicular line 514 provides the surgeon on the graphical user interface 160 (i.e., in the image area 500) a visualization of the geometry of the overlay graphic element that will be created when the last (third) landmark 512-A is selected for the displayed femur 507. In other words, after of selecting the second anatomical point as the second reference point 511-A, a second line appears which runs (in the form of a dashed line) perpendicular to the line now existing between the two reference points 510-A and 511-A . This line 514 is used to align the first line so that it is perpendicular to the longitudinal axis of the tibia. After selecting the third landmark, the overlay graphic element is displayed. Thus, indicators (lines 513 and 514) are shown in the system, demonstrating where the graphic element will be located.

На этапе 206 локализационное программное средство 150 отображает на графическом пользовательском интерфейсе 160 несколько накладных графических элементов, подлежащих выбору. На фиг.6 эти выбираемые накладные графические элементы обозначены цифрами 520-1, 520-2 и 520-3 (вся совокупность этих элементов обозначена номером 520). Каждый накладной графический элемент 520 предоставляет соответствующую группу направляющих индикаторов (в данном примере это разнесенные на разные интервалы линии координатной сетки), которые обеспечивают индикацию относящихся к анатомической структуре масштабированных позиций для выполнения соответствующей части хирургической операции на этой анатомической структуре.At step 206, the localization software 150 displays on the graphical user interface 160 several overlay graphic elements to be selected. In Fig.6, these selectable overhead graphic elements are indicated by the numbers 520-1, 520-2 and 520-3 (the entire combination of these elements is indicated by the number 520). Each invoice graphic element 520 provides a corresponding group of guide indicators (in this example, grid lines spaced at different intervals) that provide an indication of the scaled positions related to the anatomical structure to perform the corresponding part of the surgical operation on this anatomical structure.

На этапе 207 локализационное программное средство 150 принимает выбранный накладной графический элемент (например, 520-1) из ряда имеющихся накладных графических элементов 520. Хирург может выбрать какой-либо накладной графический элемент в любой момент по своему усмотрению. Выбор конкретного накладного графического элемента 520 основывается на том, какой конкретно базовый ориентир определяется в данное время для восстановления ПКС (в рассматриваемом здесь примере). Так, в частности, при проведении процедуры реконструкции ПКС с использованием техники двойного пучка накладной графический элемент 520-1, снабженный направляющими индикаторами разнесенными на интервалы с 25%-ными инкрементами, обеспечивает возможность установки первого маркера в некоторой известной позиции (то есть на 25% вверх и 25% вниз от верхнего правого угла отображенной накладной сетки 530) для позиционирования антеромедиального (AM) пучка, руководствуясь медицинской литературой по этой тематике. Накладной графический элемент 520-2 может быть выбран таким образом, чтобы обеспечить надлежащее размещение маркера локализации постеролатерального (ПЛ) пучка, в отношении которого у специалистов в этой области принято считать, что он должен находиться на 33% вверх и 50% вниз от верхнего правого угла накладной сетки. Следует понимать, что можно с таким же успехом использовать накладные графические элементы 520-1 и 520-2 для правильного позиционирования маркера в случае использования однопучковой техники. Отметим также, что рассмотренные выше этапы 206 и 207 для выбора конкретного накладного графического элемента 520 можно выполнить перед выбором ориентиров на этапах 203-205, однако перед их выбором отображение накладного графического элемента 520 производиться не будет.At step 207, the localization software 150 receives a selected graphic item (eg, 520-1) from a number of available graphic items 520. The surgeon can select any graphic item at any time at its discretion. The choice of a specific overlay graphic element 520 is based on what specific base reference is currently being determined for the restoration of the PCS (in the example considered here). So, in particular, during the reconstruction of the PCB using the double beam technique, the invoice graphic element 520-1, equipped with guide indicators spaced at intervals with 25% increments, provides the ability to set the first marker in some known position (i.e. 25% up and 25% down from the upper right corner of the displayed patch grid 530) for positioning the anteromedial (AM) beam, guided by medical literature on this subject. The overlay graphic element 520-2 can be selected in such a way as to ensure proper placement of the localization marker of the posterolateral (PL) beam, in relation to which it is generally accepted by specialists in this field that it should be 33% up and 50% down from the upper right patch angle. It should be understood that you can just as successfully use overlay graphic elements 520-1 and 520-2 for the correct positioning of the marker in the case of using single-beam technology. Note also that the above steps 206 and 207 for selecting a specific overlay graphic element 520 can be performed before selecting the landmarks in steps 203-205, however, before overlaying them, the overlay graphic element 520 will not be displayed.

На этапе 208, по завершении выбора ориентиров, локализационное программное средство 150 производит отображение (воспроизведение) накладного графического элемента поверх изображения анатомической структуры и размещение накладного графического элемента на основе совокупности ориентиров и выбранного накладного графического элемента 520. Вообще говоря, в данном примере накладной графический элемент 530 отображается и обеспечивает удобство определения по меньшей мере одного базового ориентира, подлежащего маркировке, по меньшей мере одним маркером локализации для выполнения хирургической операции по реконструкции связки коленного сустава человека.At step 208, upon completion of the selection of landmarks, the localization software 150 displays (reproduces) the overlay graphic element on top of the image of the anatomical structure and places the overlay graphic element based on the combination of landmarks and the selected overlay graphic element 520. Generally speaking, in this example, the overlay graphic element 530 is displayed and provides the convenience of determining at least one reference point to be marked with at least one m Archer localization to perform surgery for the reconstruction of the ligament of the knee joint of a person.

На фиг.7 приведен пример использования графического пользовательского интерфейса 160 после того, как пользователь (хирург) выбрал накладной графический элемент 520-1 (показаны направляющие индикаторы с 25%-ными инкрементами между ориентирами), и после выбора ориентиров. В данном примере, локализационное программное средство 150 отображает накладную сетку 520-1 поверх вида сбоку бедренной кости 507 на графическом пользовательском интерфейсе. Ширина накладной сетки 520 определяется расстоянием между выбранными первым и вторым известными костными ориентирами 510-А, 511-А, а ее высота доходит до выбранного третьего известного костного ориентира 512-А.Figure 7 shows an example of the use of graphical user interface 160 after the user (surgeon) has selected the invoice graphic element 520-1 (direction indicators with 25% increments between landmarks are shown), and after selecting the landmarks. In this example, the localization software 150 displays the overlay mesh 520-1 on top of a side view of the femur 507 on a graphical user interface. The width of the patch mesh 520 is determined by the distance between the selected first and second known bone landmarks 510-A, 511-A, and its height reaches the selected third known bone landmark 512-A.

Как видно на фиг.8, локализационное программное средство 150 отображает накладной графический элемент 530 между выбранным первым известным костным ориентиром 510-А и вторым выбранным известным костным ориентиром 511-А (и использует для бедренной кости третий ориентир 512-А). Как показано на чертеже, по всей своей ширине и в направлении вверх-вниз по высоте этот накладной графический элемент снабжен направляющими индикаторами 533 (в данном примере это линии координатной сетки), которые обеспечивают индикацию позиций (с 25%-ными инкрементами для накладного графического элемента 520-1), относящихся к анатомической структуре, для выполнения хирургической операции на этой структуре. Направляющие индикаторы 533 для первой накладной сетки разнесены с 25%-ными инкрементами по ширине и высоте накладного графического элемента. Эту 25%-ную накладную сетку можно использовать для точной установки требуемого маркера с целью маркировки отдельной конкретной позиции на бедренной кости в ходе реконструкции ПКС. Что касается других накладных графических элементов (например, элемента 520-2), то их можно использовать для размещения других маркеров, применяемых при тех же самых хирургических вмешательствах, как вкратце разъяснено ниже.As can be seen in FIG. 8, localization software 150 displays an overlay graphic 530 between a selected first known bone landmark 510-A and a second selected known bone landmark 511-A (and uses a third landmark 512-A for the femur). As shown in the drawing, over its entire width and in the direction of up and down in height, this invoice graphic element is equipped with guide indicators 533 (in this example, these are grid lines), which provide an indication of positions (with 25% increments for the overlay graphic element 520-1) related to the anatomical structure for performing surgery on this structure. Guide indicators 533 for the first overlay grid are spaced with 25% increments in width and height of the overlay graphic element. This 25% patch grid can be used to accurately set the desired marker to mark a single specific position on the femur during reconstruction of the PCD. As for other overlay graphic elements (for example, element 520-2), they can be used to place other markers used in the same surgical procedures, as briefly explained below.

После отображения в зоне 500 изображения накладной сетки, программное средство 150 обеспечивает возможность размещения на накладном графическом элементе маркеров локализации с целью индикации конкретных позиций, относящихся к хирургической или медицинской операции на анатомической структуре. Как показано ниже, такое размещение может быть произведено вручную, с использованием указателя и с выбором позиции в накладном графическом элементе, либо может быть автоматизировано на основе известных точек для конкретных хирургических процедур и анатомических структур, как это обусловлено анатомической структурой, выбранной в точке 502 в графическом пользовательском интерфейсе 160.After the image of the overlay grid is displayed in the zone 500, the software 150 provides the possibility of placing localization markers on the overlay graphic element in order to indicate specific positions related to a surgical or medical operation on the anatomical structure. As shown below, such a placement can be done manually, using the pointer and selecting a position in the overlay graphic element, or it can be automated based on known points for specific surgical procedures and anatomical structures, as this is due to the anatomical structure selected at point 502 at graphical user interface 160.

На этапе 209 локализационное программное средство 150 отображает по меньшей мере один маркер 535-1 локализации на накладном графическом элементе 530. Маркер 535-1 локализации идентифицирует местоположение для выполнения хирургической операции на анатомической структуре (в данном примере это бедренная кость 507).At step 209, the localization software 150 displays at least one localization marker 535-1 on the graphic overlay 530. The localization marker 535-1 identifies the location to perform surgery on the anatomical structure (in this example, the femur 507).

На подэтапе 210 локализационное программное средство 150 принимает данные, вводимые вручную медицинским специалистом (например, хирургом) через посредство устройства ввода-вывода в графическом пользовательском интерфейсе, что позволяет произвести индикацию позиции (например, на 25% вверх и вниз от верхнего правого угла) на накладной сетке 530 для установки маркера локализации, исходя из геометрии этой накладной сетки. Благодаря этому хирург сможет вручную выбрать место, где следует поместить маркер 535-1 локализации.In step 210, the localization tool 150 receives data entered manually by a medical professional (e.g., a surgeon) through an I / O device in a graphical user interface, which allows position indication (e.g., 25% up and down from the upper right corner) to patch grid 530 to set a localization marker based on the geometry of this patch grid. Thanks to this, the surgeon will be able to manually select the place where the localization marker 535-1 should be placed.

На подэтапе 211 локализационное программное средство 150 отображает, в ответ на ввод, произведенный медицинским специалистом (например, отпускание или нажатие кнопки мыши), соответствующий маркер 535-1 локализации в каждой индицированной позиции на накладной сетке 530.In sub-step 211, the localization software 150 displays, in response to an input made by a medical professional (e.g., releasing or pressing a mouse button), the corresponding location marker 535-1 at each indicated position on the overlay grid 530.

На подэтапе 212, при автоматической установке маркеров локализации, локализационное программное средство 150 автоматически вычисляет по меньшей мере одну предпочтительную с медицинской точки зрения позицию (например, на 25% вверх и вниз от ориентира 511-А) на накладной сетке 530 для размещения маркера локализации на основе геометрии накладной сетки (и на основе выбранной анатомической структуры, на которой размещены ориентир и накладная сетка 530).In sub-step 212, when the localization markers are automatically set, the localization tool 150 automatically calculates at least one medically preferred position (for example, 25% up and down from landmark 511-A) on the overlay grid 530 to place the localization marker on based on the geometry of the patch grid (and based on the selected anatomical structure on which the landmark and patch grid 530 are placed).

На подэтапе 213 локализационное программное средство 150 отображает соответствующий маркер 535-1 локализации в каждой автоматически вычисленной предпочтительной с медицинской точки зрения позиции на накладной сетке 530.In sub-step 213, the localization software 150 displays the corresponding localization marker 535-1 at each automatically calculated medically preferred position on the overlay grid 530.

На подэтапе 214 локализационное программное средство 150 обеспечивает для медицинского специалиста возможность регулировки, в случае необходимости, местоположения соответствующего автоматически вычисленного маркера локализации внутри накладной сетки.In sub-step 214, the localization tool 150 provides the medical professional with the ability to adjust, if necessary, the location of the corresponding automatically calculated localization marker inside the patch grid.

Как видно на фиг.9, после того как хирург выбрал конкретную позицию для маркера локализации внутри накладной сетки 530, этот маркер выделяется жирным шрифтом, для индикации его точного положения относительно находящегося под ним изображения бедренной кости 507. В результате локализационное программное средство 150 отображает по меньшей мере один бедренный маркер локализации внутри накладной сетке, который идентифицирует базовый ориентир для внедрения тканевого трансплантата в бедренную кость, отображенную на графическом изображении. Обычно для внедрения трансплантата хирургу необходимо указать второй маркер локализации применительно к бедренной кости. Для этого он может использовать вторую накладную сетку 520-2, которая имеет несколько иные визуализационные направляющие элементы, или направляющие индикаторы 533, которые разнесены на другие интервалы (например, с 33%-ными инкрементами в направлении поперек и с 50%-ными инкрементами в направлении вниз, в отличие от 25%-ных инкрементов на сетке 520-1). Иначе говоря, система использует или предоставляет соответствующую накладную сетку 520 с целью позиционирования каждого соответствующего маркера локализации для внедрения тканевого трансплантата, а хирург может выбрать конкретную сетку 520 в зависимости от того, какой маркер локализации устанавливается в данный момент (например, для двухпучковой техники, однопучковой техники и тому подобное). Каждая соответствующая накладная сетка (например, сетки 520-1 и 520-2) включает в себя некоторую совокупность визуализационных направляющих индикаторов 533, которые разбивают эту соответствующую накладную сетку на отдельные участки в целях надлежащего позиционирования указанного соответствующего маркера локализации. Следует отметить, что для того чтобы можно было перейти от одной накладной сетки 520 к другой, хирург может выбрать какую-нибудь другую сетку, и при этом в зоне 500 изображения снова отображается вновь выбранная сетка с выбранными ориентирами 510-А, 511-А и 512-А.As can be seen in Fig. 9, after the surgeon has chosen a specific position for the localization marker inside the patch grid 530, this marker is highlighted in bold to indicate its exact position relative to the image of the femur 507 below it. As a result, the localization software 150 displays at least one femoral localization marker inside the patch network, which identifies a reference point for the insertion of a tissue graft into the femur displayed on the graphic image. Typically, for the implant to be implanted, the surgeon needs to indicate a second localization marker for the femur. To do this, he can use the second patch grid 520-2, which has slightly different visualization guide elements, or guide indicators 533, which are spaced at other intervals (for example, with 33% increments in the transverse direction and with 50% increments in downward direction, in contrast to 25% increments on the grid 520-1). In other words, the system uses or provides an appropriate patch grid 520 to position each respective localization marker for tissue graft insertion, and the surgeon can choose a specific mesh 520 depending on which localization marker is currently installed (for example, for a two-beam technique, a single-beam technology and the like). Each corresponding patch grid (e.g., grids 520-1 and 520-2) includes a plurality of visualization guide indicators 533 that divide this corresponding patch grid into separate sections in order to properly position said corresponding localization marker. It should be noted that in order to be able to switch from one overlay mesh 520 to another, the surgeon can select some other mesh, and in this case, the newly selected mesh with the selected landmarks 510-A, 511-A and again is displayed in the image area 500 512-A.

На этапе 215 и как показано на фиг.10, локализационное программное средство 150 принимает выбранный второй накладной графический элемент 520-2 из ряда имеющихся накладных графических элементов 520. Как уже упоминалось ранее, этот второй накладной графический элемент 520-2 снабжен направляющими индикаторами, разнесенными на другие интервалы (например, с разбиением высоты и ширины накладного графического элемента на три части), нежели в накладном графическом элементе 520-1. Локализационное программное средство 150 отображает выбранный второй накладной графический элемент 520-2 в виде накладной сетки 531.At step 215 and as shown in FIG. 10, the localization software 150 receives the selected second overlay graphic element 520-2 from a number of available overlay graphic elements 520. As already mentioned, this second overlay graphic element 520-2 is provided with direction indicators spaced at other intervals (for example, with a breakdown of the height and width of the overlay graphic element in three parts) than in the overlay graphic element 520-1. The localization software 150 displays the selected second invoice graphic element 520-2 in the form of an invoice grid 531.

На этапе 216, и как показано на фиг.11, локализационное программное средство 150 принимает данные, вводимые медицинским специалистом с помощью устройства ввода-вывода в графическом пользовательском интерфейсе, которые позволяют произвести индикацию позиции 535-2 на втором выбранном накладном графическом элементе 531 для установки второго маркера 535-2 локализации на основе группы направляющих индикаторов 533, предоставленных вторым накладным графическим элементом 531. Оператор (то есть хирург) может, в частности, выбрать функцию 555 добавления маркера (а также, факультативно, цвет 556 для нового маркера) с целью уведомления программного средства о том, что в зону 500 изображения необходимо ввести другой маркер 535 локализации. После этого, когда хирург перемещает устройство ввода-вывода (например, курсор мыши) по накладному графическому элементу 531, рядом с курсором мыши отображается относительное положение курсора внутри накладного графического элемента. В качестве примера можно указать, что после выбора функции 555 добавления маркера первый маркер 535-1 локализации фиксируется в занимаемом положении (в данном примере оно отображается цветной точкой 535-1), и по мере того как мышь перемещается вокруг сетки 531 на фиг.11 (или в какой-либо другой из любых выбранных накладных сеток 520-1, 520-2 и тому подобных, которые можно выбирать), локализационное программное средство 150 отображает координаты курсора мыши с целью точного позиционирования второго маркера 535-2. В примере, представленном на фиг.11, локализационное программное средство 150 может отображать пунктирную линию, или сетку 547 (прямоугольная рамка, которая следует за курсором мыши и размеры которой рассчитаны в соответствии с движением мыши внутри накладной сетки 531) с целью индикации положения мыши на отображаемой накладной сетке 531. При конкретной позиции самого курсора мыши программное средство 150 может отображать в направлении поперек и вниз процентные значения координат, отображаемые в скобках, например, в виде (36%, 27%), с целью индикации точного положения курсора мыши на сетке 531. В процессе перемещения мыши эти значения изменяются, следуя положению курсора. После того как курсор мыши установлен надлежащим образом (например, в позиции 33%, 50% для оптимальной установки маркера постеролатерального (ПЛ) пучка), хирург может щелкнуть кнопкой мыши, при этом отобразится второй маркер. Таким образом, программное средство 150 позволяет хирургу разместить в зоне 500 изображения целый ряд маркеров 535. При установке нового маркера можно использовать тот же самый или другой накладной графический элемент 520.At step 216, and as shown in FIG. 11, the localization software 150 receives data input by a medical professional using an I / O device in a graphical user interface that allows position 535-2 to be displayed on a second selected graphic overlay 531 the second localization marker 535-2 based on the group of guide indicators 533 provided by the second overlay graphic element 531. An operator (i.e., a surgeon) can, in particular, select the function 555 to add a marker pa (and, optionally, color 556 for the new marker) to notify software means that the zone 500 images you must enter another marker 535 location. After that, when the surgeon moves the input / output device (for example, the mouse cursor) along the graphic overlay 531, the relative position of the cursor inside the graphic overlay is displayed next to the mouse cursor. As an example, you can specify that after selecting the marker addition function 555, the first localization marker 535-1 is fixed in the occupied position (in this example, it is displayed with a colored dot 535-1), and as the mouse moves around the grid 531 in FIG. 11 (or in any other of any selected overlay grids 520-1, 520-2 and the like that can be selected), the localization software 150 displays the coordinates of the mouse cursor in order to accurately position the second marker 535-2. In the example of FIG. 11, the localization tool 150 may display a dashed line or grid 547 (a rectangular frame that follows the mouse cursor and whose dimensions are calculated in accordance with the movement of the mouse inside the patch grid 531) to indicate the position of the mouse on displayed overhead grid 531. At a particular position of the mouse cursor itself, software 150 can display in the transverse and downward direction the percentage values of coordinates displayed in brackets, for example, in the form (36%, 27%), for the purpose of indicating the exact position of the mouse cursor on the grid 531. In the process of moving the mouse, these values change, following the position of the cursor. After the mouse cursor is positioned properly (for example, at 33%, 50% for optimal placement of the posterolateral (PL) beam marker), the surgeon can click the mouse button, and a second marker will be displayed. Thus, the software 150 allows the surgeon to place a number of markers 535 in the image area 500. When installing a new marker, you can use the same or a different overlay graphic element 520.

На этапе 217, и как показано на фиг.12, локализационное программное средство 150 отображает, в ответ на второй ввод медицинского специалиста (например, установку курсора мыши в нужной позиции и нажатие кнопки мыши, как описано выше), соответствующий второй маркер 535-2 локализации в индицированном положении на второй накладной сетке 531. В результате хирург получает возможность разместить целый ряд маркеров 535-1 и 535-2 локализации в конкретных позициях применительно к бедренной кости с целью отображения мест внедрения тканевого трансплантата.At step 217, and as shown in FIG. 12, the localization software 150 displays, in response to the second input of a medical professional (e.g., positioning the mouse cursor in the desired position and pressing the mouse button, as described above), the corresponding second marker 535-2 localization in the indicated position on the second patch grid 531. As a result, the surgeon is able to place a number of localization markers 535-1 and 535-2 in specific positions in relation to the femur in order to display the sites of tissue graft insertion.

Как показано на фиг.13, после того как хирург завершил маркировку позиций для бедренной кости, как описано выше, он может выбрать стирающий накладной графический элемент 520-3 для удаления накладной сетки 531 из зоны 500 изображения с целью достижения свободного обзора двух маркированных позиций 535-1 и 535-2.As shown in FIG. 13, after the surgeon has completed marking the positions for the femur as described above, he can select the erased invoice graphic element 520-3 to remove the invoice mesh 531 from the image area 500 in order to achieve a free view of the two marked positions 535 -1 and 535-2.

С этого момента, используя эндоскопический вид (в этом примере не показан), хирург может физически отрегулировать положение радиографического изображения с целью позиционирования участка шила (например, наконечника) ближе к маркеру(ам) 535-1, 535-2 локализации, который(е) был(и) установлен(ы) с помощью накладных графических элементов 520 по описанной выше методике. После получения изображения шила в зоне 500 изображения хирург может продолжить позиционирование наконечника таким образом, чтобы он находился рядом с установленными маркерами 535.From this moment, using the endoscopic view (not shown in this example), the surgeon can physically adjust the position of the radiographic image in order to position the awl section (for example, the tip) closer to the localization marker (s) 535-1, 535-2, which (e ) was (and) installed (s) using overhead graphic elements 520 according to the method described above. After obtaining an awl image in the image area 500, the surgeon can continue to position the handpiece so that it is next to the mounted markers 535.

После завершения описанной выше операции маркировки бедренной кости хирург может воспользоваться программным средством 150 для такого же получения базовых ориентиров применительно к большеберцовой кости, как разъясняется ниже. Как правило, этот процесс аналогичен тому, что рассмотрен выше применительно к бедренной кости, с тем исключением, что в случае с большеберцовой костью необходим выбор лишь двух известных большеберцовых костных точек. Исходя из этих двух ориентиров или известных большеберцовых костных ориентиров, можно выполнить размещение большеберцовых маркеров локализации на накладном графическом элементе, который расположен между двумя этими ориентирами.After completing the above operation of marking the femur, the surgeon can use the software tool 150 to obtain the same reference points in relation to the tibia, as explained below. As a rule, this process is similar to that considered above in relation to the femur, with the exception that in the case of the tibia, only two known tibial points must be selected. Based on these two landmarks or the well-known tibial bone landmarks, you can place the tibial localization markers on the overlay graphic element that is located between these two landmarks.

На этапе 218, и как показано на фиг.14, локализационное программное средство 150 принимает выбранный вариант 502 большеберцовой анатомической структуры (на фиг.14 это 502-2), для которой необходимо предоставить один или большее количество ориентиров. Как видно в этом примере, хирург использовал ниспадающее меню для выбора структуры 502-2 «TIBIAL» (большеберцовая кость), и в этой ситуации локализационное программное средство конфигурируется таким образом, чтобы принять выбранные варианты двух костных ориентиров для большеберцовой кости, отображаемой в зоне 500 изображения. Следует отметить, что после выбора структуры 502-2 «TIBIAL» варианты стирающих накладных графических элементов 520 не появляются, поскольку здесь требуются только два ориентира, так что накладной графический элемент для большеберцовой кости, в отличие от сетки, используемой для бедренной кости, представляет собой накладную линию между двумя ориентирами.At step 218, and as shown in FIG. 14, localization software 150 receives the selected tibial anatomical embodiment 502 (FIG. 14 is 502-2), for which one or more landmarks need to be provided. As you can see in this example, the surgeon used the drop-down menu to select the TIBIAL (tibia) structure 502-2, and in this situation, the localization software is configured to accept the selected two bone landmarks for the tibia displayed in zone 500 Images. It should be noted that after selecting TIBIAL structure 502-2, options for erasing overlay graphic elements 520 do not appear, since only two landmarks are required here, so that the overlay graphic element for the tibia, in contrast to the mesh used for the femur, is overhead line between two landmarks.

На этапе 219, и как показано на фиг.15, локализационное программное средство 150 принимает, в качестве первого известного костного ориентира 510-В, выбор переднего края вида большеберцовой кости, отображаемой в зоне 500 изображения. Так же, как это выполнялось ранее в случае с бедренной костью, хирург может воспользоваться каким-либо указательным приспособлением (например, курсором мыши с нажатием мыши в графическом пользовательском интерфейсе 160) с целью такого выбора первого ориентира 51 О-В для большеберцовой кости. После того как этот выбор сделан, появляется накладной графический элемент, который сопровождает указатель до следующего ориентира.At step 219, and as shown in FIG. 15, the localization software 150 accepts, as the first known bone landmark 510-B, the selection of the front edge of the tibia view displayed in the image area 500. Just as previously done in the case of the femur, the surgeon can use some kind of pointing device (for example, a mouse cursor with a click of the mouse in the graphical user interface 160) in order to select the first reference 51 O-B for the tibia. After this choice is made, an invoice graphic element appears that accompanies the pointer to the next landmark.

На этапе 220 (см. также фиг.16) на вход локализационного программного средства 150 поступает, в качестве второго известного костного ориентира 511-В, выбор заднего края вида большеберцовой кости, отображаемой на изображении на виде сбоку. Этот выбранный хирургом второй известный костный ориентир представляет собой второй ориентир 511-В.At step 220 (see also Fig. 16), the input of the localization software 150 receives, as the second known bone landmark 511-B, the selection of the posterior edge of the tibia, displayed on the side view of the image. This second known bone landmark selected by the surgeon is the second landmark 511-B.

На этапе 221, и как показано на фиг.17, локализационное программное средство 150 отображает накладной графический элемент в виде накладной линии 532, расположенной поверх вида проксимального конца большеберцовой кости в графическом пользовательском интерфейсе. Накладная линия 532 проходит между выбранными первым и вторым известными костными ориентирами (то есть ориентирами 510-В и 511-В) большеберцовой кости. Накладной графический элемент, показанный в виде накладной линии 532, проходящей между первым известным костным ориентиром, или ориентиром 51 О-В и вторым известным костным ориентиром, или ориентиром 511-В, определяет плоскость, на которой может быть отображен по меньшей мере один маркер локализации (на фиг.17 это маркеры 535-3 и 535-4) для восстановления связки (например, ПКС), относящейся к большеберцовой кости 509.At step 221, and as shown in FIG. 17, localization software 150 displays the invoice graphic in the form of an invoice line 532 located over a view of the proximal end of the tibia in the graphical user interface. The patch line 532 runs between the selected first and second known bone landmarks (i.e., landmarks 510-B and 511-B) of the tibia. An overlay graphic element shown as an overlay line 532 extending between the first known bone landmark, or O-B landmark 51 and the second known bone landmark, or 511-B landmark, defines a plane on which at least one localization marker can be displayed (in FIG. 17, these are markers 535-3 and 535-4) for restoring a ligament (for example, PCS) related to the tibia 509.

Наконец, на этапе 222 локализационное программное средство 150 отображает по меньшей мере один большеберцовый маркер 535-3, 535-4 локализации, находящийся на накладной линии 532. Маркеры 535-3 и 535-4 локализации для большеберцовой кости идентифицируют по меньшей мере одно анатомическое место внедрения тканевого трансплантата на большеберцовой кости, отображаемой на графическом пользовательском интерфейсе 160. Следует заметить, что конкретное размещение большеберцовых маркеров 535-3 и 535-4 локализации может быть выполнено автоматически, исходя из медицински приемлемых позиций (например, процентных значений расстояния) между ориентирами 510-В и 511-В, или же, в соответствии с другим вариантом, хирург может вручную разместить такие маркеры 535-3 и 535-4 локализации на накладной линии 532. Если эти маркеры размещаются программным средством 150, то хирург может при необходимости использовать интерфейс для выбора и перемещения конкретного маркера 535 (это относится и к бедренным маркерам 535-1 и 535-2). На этой стадии маркеры 535-3, 535-4 локализации можно использовать с целью проверки надлежащего размещения проволочного направителя 560, используемого в ходе операции реконструкции ПКС, и для подтверждения выравнивания мест сверления. После этого можно продолжать восстановление ПКС с соблюдением стандартных медицинских правил.Finally, at step 222, the localization software 150 displays at least one tibial marker 535-3, 535-4 located on the overhead line 532. Markers 535-3 and 535-4 localization for the tibia identify at least one anatomical location the implementation of tissue graft on the tibia displayed on the graphical user interface 160. It should be noted that the specific placement of the tibial markers 535-3 and 535-4 localization can be performed automatically, based on copper inkski acceptable positions (for example, percentages of distance) between reference points 510-B and 511-B, or, in accordance with another option, the surgeon can manually place such markers 535-3 and 535-4 localization on the consignment line 532. If these markers are placed by software 150, then the surgeon can, if necessary, use the interface to select and move a specific marker 535 (this applies to femoral markers 535-1 and 535-2). At this stage, the localization markers 535-3, 535-4 can be used to verify the proper placement of the wire guide 560 used during the reconstruction of the PCB, and to confirm the alignment of the drilling sites. After that, you can continue to restore PCS in compliance with standard medical rules.

В соответствии с одной из альтернативных конфигураций, размещение ориентиров 510 и/или соответствующих маркеров 535 локализации для анатомической структуры (например, какой-либо кости типа большеберцовой) может быть основано на более раннем определении ориентиров и/или маркеров локализации для соответствующей анатомической структуры, такой как другая кость (например, бедренная). Это означает, что, в соответствии с одной из альтернативных конфигураций, после того как хирург воспользовался описанной выше системой для размещения маркеров локализации, относящихся к бедренной кости (что является исключительно частным примером), можно автоматически устанавливать большеберцовый маркер. Эта функциональная возможность может быть реализована, например, путем предварительного программирования программного средства 150 на нормализованные смещения, местоположения или расстояния от известных костных точек. В соответствии с другими альтернативными вариантами осуществления, в программном средстве 150 может быть применена технология выделения краев с целью автоматической идентификации ориентиров как для бедренной, так и для большеберцовой кости, и после того как эти ориентиры будут локализованы, программное средство 150 сможет использовать известные смещения для местоположений маркера 535. Так, например, в соответствии с рассматриваемыми вариантами осуществления, локализационное программное средство 150 получает возможность вычисления местоположения по меньшей мере одного большеберцового локализационного маркера на основе местоположения бедренного(ых) маркера(ов) локализации, ранее позиционированного(ых) на бедренной накладной сетке. В соответствии с другими альтернативными вариантами осуществления, хирург может выбирать накладные сетки в процессе их отображения в зоне 500 изображения, а также поворачивать их, приводить в поступательное движение или изменять их размеры. Для этого он может воспользоваться указательным устройством (например, курсором мыши) с целью выбора отображаемой сетки (например, 530, 531), а после того как этот выбор сделан, взяться за угол сетки и вращать ее, приводить ее в поступательное движение или изменять ее размеры.According to one alternative configuration, the placement of landmarks 510 and / or corresponding localization markers 535 for the anatomical structure (e.g., any tibial type bone) may be based on an earlier definition of landmarks and / or localization markers for the corresponding anatomical structure, such like another bone (such as a femur). This means that, in accordance with one alternative configuration, after the surgeon has used the system described above to place localization markers related to the femur (which is an exclusively private example), the tibial marker can be set automatically. This functionality can be implemented, for example, by pre-programming the software 150 for normalized displacements, locations, or distances from known bone points. In accordance with other alternative embodiments, edge extraction technology may be applied to software 150 to automatically identify landmarks for both the femur and tibia, and after these landmarks are localized, software 150 may be able to use known offsets to marker 535 locations. For example, in accordance with the considered embodiments, the localization software 150 is able to calculate locations positioning of at least one tibial localization marker based on the location of the femoral localization marker (s) previously positioned on the femoral patch mesh. In accordance with other alternative embodiments, the surgeon can select patch grids while they are being displayed in the image area 500, as well as rotate them, translate them, or resize them. To do this, he can use a pointing device (for example, a mouse cursor) to select the displayed grid (for example, 530, 531), and after this choice is made, grasp the corner of the grid and rotate it, bring it into translational motion or change it sizes.

В соответствии с альтернативными вариантами осуществления, можно предусмотреть использование в системе какой-либо эндоскопической аппаратуры, в частности, путем передачи и отображения позиций маркеров локализации на эндоскопическом изображении с целью локализации во время операции мест внедрения с помощью специального блока управления камерой (БУК) эндоскопической системы, используемой при проведении операций реконструкции ПКС. Для этого можно с помощью БУК спроектировать на изображение, видимое в поле зрения камеры эндоскопа, накладные сетки 530 и/или 531, а также позиции маркеров 535. Вычисление положений накладного графического элемента и маркеров можно произвести, например, на основе информации об относительных углах между эндоскопической камерой и положениями проволочного направителя. В соответствии с другими альтернативными вариантами осуществления, начальное размещение накладных графических элементов может быть вычислено на основе автоматического определения признаков анатомической структуры с использованием таких методов, как выделение краев или рентгеноконтрастные маркеры места.In accordance with alternative embodiments, it is possible to envisage the use of any endoscopic equipment in the system, in particular, by transmitting and displaying the position of localization markers on the endoscopic image in order to localize during the operation the insertion points using a special camera control unit (CCU) of the endoscopic system used in the reconstruction of the PKS. To do this, using the BUK, you can project on the image visible in the field of view of the endoscope camera, overhead grids 530 and / or 531, as well as the positions of markers 535. The positions of the overlay graphic element and markers can be calculated, for example, based on information about the relative angles between endoscopic camera and wire guide positions. In accordance with other alternative embodiments, the initial placement of overlay graphic elements can be calculated based on the automatic determination of features of the anatomical structure using methods such as marking edges or radiopaque markers of the place.

Хотя различные компьютерные системы, программные средства, графические пользовательские интерфейсы и методы обработки данных были выше описаны и проиллюстрированы применительно к их отдельным конфигурациям, для специалистов в данной области должно быть совершенно очевидно, что в них могут быть внесены самые разнообразные модификации в отношении формы и деталей при условии сохранения заявленного объема изобретения. Соответственно, рассмотренные здесь варианты осуществления изобретения не следует понимать как ограничивающиеся только приведенными выше примерными конфигурациями.Although various computer systems, software, graphical user interfaces, and data processing methods have been described and illustrated above for their individual configurations, it should be obvious to those skilled in the art that a wide variety of modifications can be made to them in terms of form and details subject to maintaining the claimed scope of the invention. Accordingly, the embodiments disclosed herein are not to be understood as being limited only by the above exemplary configurations.

Claims

1. A method of assistance in conducting a medical operation carried out in a computerized device, comprising the following steps:
display on the graphical user interface an image of the anatomical structure;
denote, by means of input means on a graphical user interface, a set of landmarks identifying the corresponding anatomical positions in the displayed image of the anatomical structure;
the graphic element is displayed over the image of the anatomical structure of the invoice, while the placement of the invoice graphic element is based on the specified set of landmarks; and
display at least one localization marker inside the overlay graphic element, indicating the place for surgery on the specified anatomical structure,
at the same time, at the image display stage of the anatomical structure, an image of at least one bone is displayed;
while at the stage of designating a set of landmarks:
accept the choice of a particular anatomical structure for which landmarks should be determined, and the specified choice of structure determines the number of landmarks to be designated;
accepting, by means of a graphical pointer on a graphical user interface, a selection of a first known bone landmark and a second known bone landmark relating to at least one bone;
and at the step of displaying the overlay graphic element over the image of the anatomical structure, the specified overlay graphic element is reproduced between the selected first known bone landmark and the selected second known bone landmark, and the overlay graphic element includes a series of guide indicators indicating positions related to the specified anatomical structure, for performing surgery on the specified anatomical structure.

2. The method according to p. 1, in which at the stage of displaying the image of the anatomical structure display on the graphical user interface an image of the knee joint, including a graphical view of the femur and tibia;
and at the stage of displaying the overlay graphic element over the image of the anatomical structure, the overlay graphic element is displayed over the view of at least one of the femur or tibia visible in the image, and the overlay graphic element facilitates the determination of at least one reference landmark to be marked at least at least one localization marker for performing a surgical operation related to the restoration of a ligament of a person’s knee joint.

3. The method according to p. 2, in which at the stage of image display, which presents a view of the femur and tibia of the knee of the person, display a side view of the femur of the knee of the person;
while at the stages of receiving the selection of the first and second bone landmarks:
accept, as the first known bone landmark, the selection of the anterior edge of the femur shown in the image;
accepting, as the second known bone landmark, the selection of the posterior edge of the femur shown in the image, the line drawn between the first known bone landmark and the second known bone landmark defining a plane that is substantially in line with the patellar surface of the femur;
wherein said method comprises the step of:
accepting a selection of a third known bone landmark corresponding to the surface of the distal condyle of the femur displayed on the side view of the image;
and at the step of displaying the overlay graphic on top of the image of the anatomical structure, the overlay grid is displayed over the view of the distal end of the femur on the graphical user interface, said overlay grid having a width displayed between the selected first and second known bone landmarks and a height reaching up to the selected third known bone landmark.

4. The method according to claim 3, in which at the stage of displaying at least one localization marker, at least one femoral localization marker is displayed inside the patch network, said femoral localization marker indicating a reference point for the implantation of a tissue graft into the femur displayed on a graphic image.

5. The method according to p. 4, in which at the stage of displaying at least one localization marker:
at least one medically preferred position within the patch grid is automatically calculated to set a localization marker based on the geometry of the patch grid; and
display the corresponding localization marker in each automatically calculated medically preferred position within the patch grid.

6. The method according to p. 5, which provides for the possibility of adjustment, carried out by a medical specialist, automatically calculated installation position of the corresponding localization marker inside the patch grid.

7. The method according to p. 4, in which at the stage of displaying at least one localization marker:
accepting input of data entered manually by a medical specialist by means of input means in a graphical user interface, for indicating a position inside the invoice grid for placing a localization marker based on the invoice grid geometry; and
display, in response to the data entered by the medical specialist, the corresponding localization marker at each position indicated on the invoice grid.

8. The method according to p. 2, in which at the stage of image display, which presents a view of the femur and tibia of the knee of the person, display a side view of the tibia of the knee of the person;
while at the stage of selecting the first and second known bone landmarks:
accept, as the first known bone guideline, the choice of the front edge of the tibia species displayed on the image;
and taking, as the second known bone landmark, the selection of the posterior edge of the tibia view displayed on the image, the line formed between the first known bone landmark and the second known bone landmark defining a plane on which at least one localization marker can be displayed for restoration of the ligament associated with the tibia.

9. The method according to p. 8, in which at the stage of displaying an overlay graphic element on top of the image of the anatomical structure, an overhead line is displayed between the first and second known bone landmarks of the tibia;
and at the stage of displaying at least one localization marker inside the overlay graphic element, at least one tibial localization marker located on the overhead line is displayed, and at least one tibial localization marker indicates at least one anatomical position of the anterior cruciate ligament attachment to the tibial dice displayed on a graphical user interface.

10. The method according to p. 9, in which at the stage of displaying at least one tibial marker located on the overhead line, calculate the installation location of at least one tibial localization marker based on the placement of at least one femoral localization marker, previously located inside the femoral patch grid, and the femoral localization marker indicates the reference point for the site of tissue graft insertion into the femur, displayed on the graphic image.

11. The method according to p. 1, in which based on the location of at least one localization marker inside the overlay graphic element, calculate the location of the localization markers for at least one other anatomical structure and display these localization markers for at least one other anatomical structure displayed image on a graphical user interface.

12. The method according to p. 1, in which at the stage of displaying the overlay graphic element on top of the image of the anatomical structure:
displaying on the graphical user interface a number of selectable overlay graphic elements, wherein each overlay graphic element from a number of selectable overlay graphic elements provides a corresponding group of direction indicators providing an indication of positions related to the specified anatomical structure for performing the corresponding part of the surgical operation on the specified anatomical structure;
accept the selection of the first overlay graphic element from the number of available overhead graphic elements;
at the same time, at the stage of displaying at least one localization marker inside the overlay graphic element:
accepting the first data entered by the medical professional through the means of the data input device in the graphical user interface to indicate the position inside the first overlay graphic element to place the first localization marker based on a series of guide indicators provided by the first overlay graphic element; and
In response to the data entered by the medical professional, the corresponding first localization marker is displayed at the position indicated inside the first graphic overlay.

13. The method according to p. 12, in which:
accept the selection of the second overhead graphic element from the number of available overhead graphic elements; and
accepting second data entered by a medical professional through data input means in a graphical user interface to indicate a position within a second overlay graphic element to place a second localization marker based on a series of guide indicators provided by the second overlay graphic element; and
in response to the second data entered by the medical professional, the corresponding second localization marker is displayed at the position indicated inside the second overlay graphic element.

14. The method according to p. 1, in which:
the steps of designating a set of landmarks, displaying an overlay graphic element and displaying at least one localization marker inside an overlay graphic element are performed for the first time with respect to the first set of localization markers for the attachment point of the anterior cruciate ligament on the femur;
and the steps of designating a set of landmarks, displaying an overlay graphic element and displaying at least one localization marker on the overlay graphic element are performed a second time with respect to the second set of localization markers for the attachment point of the anterior cruciate ligament to the tibia.

15. The method according to p. 14, in which in the case where the steps of designating a set of landmarks, displaying an overlay graphic element and displaying at least one localization marker on an overlay graphic element is performed for the first time with respect to the first set of localization markers for the attachment point of the anterior cruciate ligament on the femur, then use the appropriate patch grid to position each corresponding localization marker for the attachment point of the anterior cruciate ligament on the b a single bone, wherein each corresponding patch grid includes visual guide indicators that break down said corresponding patch grid into different sections to properly position said corresponding localization marker.

16. A computerized device for assisting in a medical operation, comprising:
Memory device;
CPU;
connected interface;
communication means connecting the storage device, processor, and communication interface;
moreover, the storage device stores the code of the localization software application, which, if executed in the processor, carries out the localization software process that performs the following operations:
display on the graphical user interface of the image of the anatomical structure;
designation, by means of data input on the graphical user interface, of a set of landmarks identifying the corresponding anatomical positions in the displayed image of the anatomical structure;
display over the image of the anatomical structure of the overlay graphic element, the placement of which is based on the specified set of landmarks; and
displaying at least one localization marker inside an overlay graphic element indicating the position for surgery on the specified anatomical structure,
at the same time, at the image display stage of the anatomical structure, an image of at least one bone is displayed;
while at the stage of designating a set of landmarks:
accept the choice of a particular anatomical structure for which landmarks should be determined, and the specified choice of structure determines the number of landmarks to be designated;
accepting, by means of a graphical pointer on a graphical user interface, a selection of a first known bone landmark and a second known bone landmark relating to at least one bone;
and at the step of displaying the overlay graphic element over the image of the anatomical structure, the specified overlay graphic element is reproduced between the selected first known bone landmark and the selected second known bone landmark, and the overlay graphic element includes a series of guide indicators indicating positions related to the specified anatomical structure, for performing surgery on the specified anatomical structure.

17. The device according to p. 16, in which the operation of designating a set of landmarks, displaying an overlay graphic element and displaying at least one localization marker on an overlay graphic element is performed for the first time with respect to the first set of localization markers for the attachment point of the anterior cruciate ligament on the femur;
and in which the steps of designating the set of landmarks, displaying the overlay graphic element and displaying at least one localization marker on the overlay graphic element is performed a second time with respect to the second set of localization markers for the attachment point of the anterior cruciate ligament on the tibia.

18. The device according to p. 16, in which the operation of designating a set of landmarks, displaying an overlay graphic element and displaying at least one localization marker on an overlay graphic element is performed for the first time with respect to the first set of localization markers for the attachment of the anterior cruciate ligament to the femur, while for positioning each corresponding localization marker for the attachment point of the anterior cruciate ligament on the femur, the specified computerized the device uses a corresponding patch grid, with each corresponding patch grid containing visual direction indicators that divide said corresponding patch grid into different sections for proper positioning of said corresponding localization marker.

19. A machine-readable medium containing computer program logic code, which, when executed as a process in a computerized device, performs a localization program process, wherein the medium contains:
a command to display an anatomical structure image on a graphical user interface;
a command for designating, by means of data input on a graphical user interface, a set of landmarks identifying the corresponding anatomical position on the displayed image of the anatomical structure;
commands for displaying the overlay graphic element on top of the image of the anatomical structure, and the placement of the overlay graphic element is based on the specified set of landmarks; and
commands for displaying at least one localization marker inside the overlay graphic element, wherein at least one localization marker indicates a position for performing a surgical operation related to said anatomical structure,
however, when displaying an image of the anatomical structure, an image of at least one bone is displayed;
in this case, when designating a set of landmarks:
the choice of a specific anatomical structure is taken, for which reference points should be determined, and the specified choice of structure determines the number of reference points to be designated;
accepted, by means of a graphical pointer on a graphical user interface, the selection of a first known bone landmark and a second known bone landmark relating to at least one bone;
and when displaying the overlay graphic on top of the image of the anatomical structure, the specified overlay graphic is reproduced between the selected first known bone landmark and the selected second known bone landmark, wherein the overlay graphic includes a series of guide indicators indicating positions related to the specified anatomical structure surgery on the specified anatomical structure.