[go: up one dir, main page]

RU2018146115A - Использование дополненной реальности для содействия ориентированию во время медицинских процедур - Google Patents

Использование дополненной реальности для содействия ориентированию во время медицинских процедур Download PDF

Info

Publication number
RU2018146115A
RU2018146115A RU2018146115A RU2018146115A RU2018146115A RU 2018146115 A RU2018146115 A RU 2018146115A RU 2018146115 A RU2018146115 A RU 2018146115A RU 2018146115 A RU2018146115 A RU 2018146115A RU 2018146115 A RU2018146115 A RU 2018146115A
Authority
RU
Russia
Prior art keywords
camera
field
view
marker
location
Prior art date
Application number
RU2018146115A
Other languages
English (en)
Inventor
Андрес Клаудио АЛЬТМАНН
Ассаф ГОВАРИ
Вадим ГЛИНЕР
Ицхак ФАНГ
Ноам РАЧЕЛИ
Йоав ПИНСКИ
Итамар БУСТАН
Джетмир ПАЛУШИ
Зви ДЕКЕЛ
Original Assignee
Байосенс Вебстер (Изрэйл), Лтд.
Аккларент, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Байосенс Вебстер (Изрэйл), Лтд., Аккларент, Инк. filed Critical Байосенс Вебстер (Изрэйл), Лтд.
Publication of RU2018146115A publication Critical patent/RU2018146115A/ru

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/233—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/24—Surgical instruments, devices or methods for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/068—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe using impedance sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Manipulator (AREA)

Claims (78)

1. Способ обеспечения отображения дополненной реальности субъекта, при этом способ содержит этапы, на которых:
получают изображение с камеры;
обнаруживают местоположение камеры;
определяют поле обзора камеры на основании местоположения камеры;
создают один или более элементов наложения, соответствующих полю обзора;
компонуют один или более элементов наложения с изображением с камеры для образования скомпонованного изображения; и
отображают скомпонованное изображение на дисплее.
2. Способ по п. 1, в котором один или более элементов наложения связаны с анатомией субъекта или связаны с одним или более инструментами.
3. Способ по п. 1, в котором обнаружение местоположения камеры включает в себя:
выполнение регистрации перед процедурой для соотнесения относительного положения и ориентации установочной пластины в сравнении с положением и ориентацией субъекта;
получение одного или более сигналов с помощью датчика установочной пластины, причем один или более сигналов сгенерированы одним или более генераторами поля, связанными с камерой; и
определение местоположения камеры на основании одного или более сигналов.
4. Способ по п. 1, в котором создание одного или более элементов наложения включает в себя:
создание графического представления инструмента.
5. Способ по п. 4, в котором создание графического представления инструмента включает в себя:
определение положения инструмента в пределах поля обзора камеры; и
построение графического представления инструмента на основании положения инструмента в пределах поля обзора камеры.
6. Способ по п. 2, в котором создание одного или более элементов наложения включает в себя:
создание элемента наложения, указывающего анатомический элемент.
7. Способ по п. 6, в котором создание элемента наложения, указывающего анатомический элемент, включает в себя:
определение положения маркера в пределах поля обзора камеры на основании относительного положения и ориентации установочной пластины и положения и ориентации субъекта и на основании относительного местоположения маркера и модели субъекта; и
построение графического представления, соответствующего маркеру, на основании положения маркера в пределах поля обзора камеры.
8. Способ по п. 7, в котором графическое представление, соответствующее маркеру, включает в себя текст и стрелку, указанную маркером.
9. Способ по п. 7, дополнительно включающий этапы, на которых:
определяют отверстия на основании обнаружения затемненного участка изображения,
причем графическое представление, соответствующее маркеру, включает в себя контур анатомического элемента, относящийся к отверстию.
10. Способ по п. 7, в котором местоположение, форму и/или формат графического представления, соответствующего маркеру, корректируют на основании анализа изображения.
11. Система обеспечения отображения дополненной реальности субъекта, содержащая:
рабочую станцию; и
камеру,
причем рабочая станция выполнена с возможностью:
получения изображения с камеры;
обнаружения местоположения камеры;
определения поля обзора камеры на основании местоположения камеры;
создания одного или более элементов наложения, соответствующих полю обзора;
компоновки одного или более элементов наложения с изображением с камеры для образования скомпонованного изображения; и
отображения скомпонованного изображения на дисплее.
12. Система по п. 11, в которой один или более элементов наложения связаны с анатомией субъекта или связаны с одним или более инструментами.
13. Система по п. 11, дополнительно содержащая установочную пластину,
причем рабочая станция выполнена с возможностью обнаружения местоположения камеры посредством:
выполнения регистрации перед процедурой для соотнесения относительного положения и ориентации установочной пластины в сравнении с положением и ориентацией субъекта;
получения одного или более сигналов с помощью датчика установочной пластины, при этом один или более сигналов сгенерированы одним или более генераторами поля, связанными с камерой; и
определения местоположения камеры на основании одного или более сигналов.
14. Система по п. 11, в которой рабочая станция выполнена с возможностью создания одного или более элементов наложения посредством:
создания графического представления инструмента.
15. Система по п. 14, в которой рабочая станция выполнена с возможностью создания графического представления инструмента посредством:
определения положения инструмента в пределах поля обзора камеры; и
построения графического представления инструмента на основании положения инструмента в пределах поля обзора камеры.
16. Система по п. 12, в которой рабочая станция выполнена с возможностью создания одного или более элементов наложения посредством:
создания элемента наложения, указывающего анатомический элемент.
17. Система по п. 16, в которой рабочая станция выполнена с возможностью создания элемента наложения, указывающего анатомический элемент, посредством:
определения положения маркера в пределах поля обзора камеры на основании относительного положения и ориентации установочной пластины и положения и ориентации субъекта и на основании относительного местоположения маркера и модели субъекта; и
построения графического представления, соответствующего маркеру, на основании положения маркера в пределах поля обзора камеры.
18. Система по п. 17, в которой графическое представление, соответствующее маркеру, включает в себя текст и стрелку, указанную маркером.
19. Система по п. 17, в которой рабочая станция дополнительно выполнена с возможностью:
определения отверстия на основании обнаружения затемненного участка изображения,
причем графическое представление, соответствующее маркеру, включает в себя контур анатомического элемента.
20. Система обеспечения отображения дополненной реальности субъекта, содержащая:
рабочую станцию;
дисплей;
один или более инструментов;
камеру,
эндоскоп; и
камеру эндоскопа,
причем рабочая станция выполнена с возможностью:
получения изображения с камеры;
обнаружения местоположения камеры;
определения поля обзора камеры на основании местоположения камеры;
создания одного или более элементов наложения, соответствующих полю обзора камеры, при этом один или более элементов наложения, соответствующих полю обзора камеры, связаны с анатомией субъекта или связаны с одним или более инструментами;
компоновки одного или более элементов наложения, соответствующих полю обзора камеры, с изображением с камеры для образования скомпонованного изображения; и
отображения скомпонованного изображения на дисплее.
21. Система по п. 20, в которой рабочая станция дополнительно выполнена с возможностью:
получения изображения с камеры эндоскопа;
обнаружения местоположения камеры эндоскопа;
определения поля обзора камеры эндоскопа на основании местоположения камеры эндоскопа;
создания одного или более элементов наложения, соответствующих полю обзора камеры эндоскопа, причем один или более элементов наложения, соответствующих полю обзора камеры эндоскопа, связаны с анатомической структурой субъекта или связаны с одним или более инструментами;
компоновки одного или более элементов наложения, соответствующих полю обзора камеры эндоскопа, с изображением с камеры эндоскопа для образования скомпонованного изображения эндоскопа; и
отображения скомпонованного изображения на дисплее или дисплее эндоскопа.
RU2018146115A 2017-12-26 2018-12-25 Использование дополненной реальности для содействия ориентированию во время медицинских процедур RU2018146115A (ru)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762610449P 2017-12-26 2017-12-26
US62/610,449 2017-12-26
US16/229,629 US11058497B2 (en) 2017-12-26 2018-12-21 Use of augmented reality to assist navigation during medical procedures
US16/229,629 2018-12-21

Publications (1)

Publication Number Publication Date
RU2018146115A true RU2018146115A (ru) 2020-06-25

Family

ID=65030890

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018146115A RU2018146115A (ru) 2017-12-26 2018-12-25 Использование дополненной реальности для содействия ориентированию во время медицинских процедур

Country Status (11)

Country Link
US (1) US11058497B2 (ru)
EP (1) EP3505133B1 (ru)
JP (1) JP7341660B2 (ru)
KR (1) KR20190078540A (ru)
CN (1) CN109998678B (ru)
AU (1) AU2018286598A1 (ru)
BR (1) BR102018077046A2 (ru)
CA (1) CA3028502A1 (ru)
IL (1) IL263948B (ru)
MX (1) MX2019000145A (ru)
RU (1) RU2018146115A (ru)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
ES2992065T3 (es) 2016-08-16 2024-12-09 Insight Medical Systems Inc Sistemas de aumento sensorial en procedimientos médicos
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10058396B1 (en) 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure
WO2019245851A1 (en) 2018-06-19 2019-12-26 Tornier, Inc. Virtual guidance for ankle surgery procedures
US11094221B2 (en) * 2018-06-21 2021-08-17 University Of Utah Research Foundation Visual guidance system and method for posing a physical object in three dimensional space
US11270485B2 (en) * 2019-07-22 2022-03-08 Adobe Inc. Automatic positioning of textual content within digital images
US12096917B2 (en) * 2019-09-27 2024-09-24 Alcon Inc. Tip camera systems and methods for vitreoretinal surgery
US11295495B2 (en) 2019-10-14 2022-04-05 Adobe Inc. Automatic positioning of textual content within digital images
US20210121238A1 (en) * 2019-10-24 2021-04-29 Acclarent, Inc. Visualization system and method for ent procedures
US12220176B2 (en) 2019-12-10 2025-02-11 Globus Medical, Inc. Extended reality instrument interaction zone for navigated robotic
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US12133772B2 (en) 2019-12-10 2024-11-05 Globus Medical, Inc. Augmented reality headset for navigated robotic surgery
WO2021127025A1 (en) 2019-12-18 2021-06-24 Tornier, Inc. Surgical guidance for surgical tools
WO2021138096A1 (en) * 2019-12-30 2021-07-08 Intuitive Surgical Operations, Inc. Systems and methods for indicating approach to an anatomical boundary
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
WO2021211524A1 (en) * 2020-04-13 2021-10-21 Kaliber Labs Inc. Systems and methods of computer-assisted landmark or fiducial placement in videos
US11832883B2 (en) 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US12161296B2 (en) 2020-04-23 2024-12-10 Johnson & Johnson Surgical Vision, Inc. Augmented-reality visualization of an ophthalmic surgical tool
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US20230263573A1 (en) * 2020-06-25 2023-08-24 Kaliber Labs Inc. Probes, systems, and methods for computer-assisted landmark or fiducial placement in medical images
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
DE102021103411A1 (de) * 2021-02-12 2022-08-18 Aesculap Ag Chirurgisches Assistenzsystem und Darstellungsverfahren
US12004966B2 (en) 2021-04-12 2024-06-11 Kaliber Labs Inc. Systems and methods for using image analysis in superior capsule reconstruction
EP4136647A1 (en) * 2021-04-14 2023-02-22 Cilag GmbH International Adaptation and adjustability of overlaid instrument information for surgical systems
EP4444156A4 (en) * 2021-12-10 2025-11-26 Covidien Lp PICTURE-GUIDED NAVIGATION SYSTEM FOR VIDEO LARYNGOSCOPE
WO2023199923A1 (ja) * 2022-04-11 2023-10-19 アナウト株式会社 手術画像処理プラットフォーム及びコンピュータプログラム
US20240350204A1 (en) * 2023-04-18 2024-10-24 Acclarent, Inc. Apparatus and method to overlay information on endoscopic images

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5391199A (en) 1993-07-20 1995-02-21 Biosense, Inc. Apparatus and method for treating cardiac arrhythmias
DE69514238T2 (de) 1994-08-19 2000-05-11 Biosense Inc., Orangeburg Medizinisches diagnose-, behandlungs- und darstellungssystem
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
ES2210498T3 (es) 1996-02-15 2004-07-01 Biosense, Inc. Transductores posicionables independientemente para sistema de localizacion.
IL125757A (en) 1996-02-15 2003-09-17 Biosense Inc Medical procedures and apparatus using intrabody probes
US6239724B1 (en) 1997-12-30 2001-05-29 Remon Medical Technologies, Ltd. System and method for telemetrically providing intrabody spatial position
US6484118B1 (en) 2000-07-20 2002-11-19 Biosense, Inc. Electromagnetic position single axis system
JP2004538538A (ja) 2000-10-05 2004-12-24 シーメンス コーポレイト リサーチ インコーポレイテツド 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置
US7729742B2 (en) 2001-12-21 2010-06-01 Biosense, Inc. Wireless position sensor
US20030179308A1 (en) 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
US20040068178A1 (en) 2002-09-17 2004-04-08 Assaf Govari High-gradient recursive locating system
US7774044B2 (en) 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
WO2005091220A1 (en) 2004-03-12 2005-09-29 Bracco Imaging S.P.A Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
US7344307B2 (en) * 2004-11-12 2008-03-18 General Electric Company System and method for integration of a calibration target into a C-arm
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US7728868B2 (en) * 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
CN107510506A (zh) * 2009-03-24 2017-12-26 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
US8724881B2 (en) * 2011-11-09 2014-05-13 Siemens Aktiengesellschaft Method and system for precise segmentation of the left atrium in C-arm computed tomography volumes
JP6233913B2 (ja) 2013-01-07 2017-11-22 晃 竹林 内視鏡向けナビゲーション装置
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US10426345B2 (en) * 2013-04-04 2019-10-01 Children's National Medical Center System for generating composite images for endoscopic surgery of moving and deformable anatomy
CN106456267B (zh) * 2014-03-28 2020-04-03 直观外科手术操作公司 器械在视野中的定量三维可视化
US10463242B2 (en) * 2014-07-09 2019-11-05 Acclarent, Inc. Guidewire navigation for sinuplasty
US9700213B2 (en) * 2014-09-12 2017-07-11 Mayo Foundation For Medical Education And Research System and method for automatic polyp detection using global geometric constraints and local intensity variation patterns
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
FR3032282B1 (fr) 2015-02-03 2018-09-14 Francois Duret Dispositif de visualisation de l'interieur d'une bouche
US20160278983A1 (en) * 2015-03-23 2016-09-29 Novartis Ag Systems, apparatuses, and methods for the optimization of laser photocoagulation
US10109092B1 (en) * 2015-03-24 2018-10-23 Imagical LLC Automated text layout, color and other stylization on an image or video, and the tracking and application of user color preferences
WO2017015738A1 (en) 2015-07-27 2017-02-02 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
CA2997965C (en) 2015-10-14 2021-04-27 Surgical Theater LLC Augmented reality surgical navigation
US20170296292A1 (en) 2016-04-16 2017-10-19 Eitezaz MAHMOOD Systems and Methods for Surgical Imaging
US20170366773A1 (en) * 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Projection in endoscopic medical imaging
GB2571857B (en) * 2016-10-31 2022-05-04 Synaptive Medical Inc 3D navigation system and methods
US10441365B2 (en) * 2017-01-11 2019-10-15 Synaptive Medical (Barbados) Inc. Patient reference device
CN110383345B (zh) * 2017-01-12 2023-08-15 纳维斯国际有限公司 用于内腔导航的扁平化视图
US11071593B2 (en) * 2017-07-14 2021-07-27 Synaptive Medical Inc. Methods and systems for providing visuospatial information
US20190175059A1 (en) * 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure

Also Published As

Publication number Publication date
MX2019000145A (es) 2019-09-26
CN109998678B (zh) 2024-11-01
EP3505133B1 (en) 2024-03-20
CA3028502A1 (en) 2019-06-26
KR20190078540A (ko) 2019-07-04
JP2019115664A (ja) 2019-07-18
EP3505133A1 (en) 2019-07-03
US20190192232A1 (en) 2019-06-27
CN109998678A (zh) 2019-07-12
AU2018286598A1 (en) 2019-07-11
US11058497B2 (en) 2021-07-13
IL263948B (en) 2022-02-01
JP7341660B2 (ja) 2023-09-11
BR102018077046A2 (pt) 2019-07-16
IL263948A (en) 2019-03-31

Similar Documents

Publication Publication Date Title
RU2018146115A (ru) Использование дополненной реальности для содействия ориентированию во время медицинских процедур
JP5083776B2 (ja) 医療用手技評価システム
EP2637593B1 (en) Visualization of anatomical data by augmented reality
KR102163327B1 (ko) 수술 시스템의 효율적인 쌍방향 출혈 검출 방법 및 시스템
US8611988B2 (en) Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same
RU2018140510A (ru) Ультразвуковая система и способ для визуализации ткани груди
BR112014029565A2 (pt) sistema de formação de imagens de ultrassom, método de fornecimento de imagem de ultrassom com informações de vasos, e programa de computador
ATE524106T1 (de) Katheternavigationssystem
JP2013153883A5 (ru)
JP6018411B2 (ja) 画像ガイド下手技のための超音波撮像システム
DE60310226D1 (de) Verfahren zur linearen raumabtastung und vorrichtung zur erzeugung eines numerischen 3d modells
CN101470102A (zh) 用于增强的现实检查和数据可视化的系统及方法
CA2908279C (en) Real-time simulation of fluoroscopic images
JP2015228954A5 (ru)
EP2779099A3 (en) Layout editing device, layout editing method and program thereof
AU2018236172A8 (en) Augmented reality diagnosis guidance
EP2261600A3 (en) Method and apparatus for capturing, geolocating and measuring oblique images
CN105708485A (zh) 用于在成像模态中定位患者的成像布置和方法
RU2013144201A (ru) Визуализация для навигационного указания
US10951837B2 (en) Generating a stereoscopic representation
US20170360396A1 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
JP2017153818A5 (ru)
EP3440988B1 (en) Visualizing navigation of a medical device in a patient organ using a dummy device and a physical 3d model
JP2016221053A5 (ja) 画像処理装置、ｘ線診断装置および画像処理方法
JP2008126076A5 (ru)

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20211227