RU2842734C2 - System, method, device for auxiliary endoscopy, as well as data medium - Google Patents
System, method, device for auxiliary endoscopy, as well as data medium Download PDFInfo
- Publication number
- RU2842734C2 RU2842734C2 RU2025101385A RU2025101385A RU2842734C2 RU 2842734 C2 RU2842734 C2 RU 2842734C2 RU 2025101385 A RU2025101385 A RU 2025101385A RU 2025101385 A RU2025101385 A RU 2025101385A RU 2842734 C2 RU2842734 C2 RU 2842734C2
- Authority
- RU
- Russia
- Prior art keywords
- observation
- study
- target
- current
- accordance
- Prior art date
Links
Abstract
Description
Описание перекрестных ссылок Description of cross references
Настоящая заявка претендует на приоритет китайской патентной заявки с номером 202210828744.7 и названием «Система, способ, устройство для вспомогательной эндоскопии, а также носитель данных», поданной в Патентное бюро Китая 15 июля 2022 г., содержание которой включено в описание настоящей заявки посредством ссылки.This application claims priority from Chinese Patent Application No. 202210828744.7 entitled “System, Method, Device for Assisted Endoscopy, and Storage Medium,” filed with the China Patent Office on July 15, 2022, the contents of which are incorporated into the description of this application by reference.
Область техники Field of technology
Настоящая заявка относится к области медицинской техники и, в частности, к системе, способу, устройству для вспомогательной эндоскопии, а также носителю данных.The present application relates to the field of medical technology and, in particular, to a system, method, device for assisted endoscopy, and a data carrier.
Уровень техники State of the art
Гастроскопия является важным методом исследования верхних отделов желудочно-кишечного тракта и золотым стандартом диагностики заболеваний верхних отделов желудочно-кишечного тракта, таких как ротоглотка, пищевод, желудок, двенадцатиперстная кишка и т.д. В существующей гастроскопии оценка частей желудка выполняется на основе видеоизображения, снятого эндоскопом. Как правило, полный отчет о гастроскопии содержит не менее 31 изображения 10 следующих областей: ротоглотки, пищевода, кардии, дна желудка, тела желудка, угла желудка, антрального отдела желудка, привратника, луковицы двенадцатиперстной кишки и нисходящей части двенадцатиперстной кишки. При обнаружении очагов поражения или подозрительных участков необходимо выполнить более детальную видеосъемку в приближенном виде. В процессе гастроскопии врач-эндоскопист обязан делать снимки в режиме реального времени и своевременно проводить дальнейшие исследования при обнаружении подозрительных участков желудка.Gastroscopy is an important examination method of the upper gastrointestinal tract and the gold standard for diagnosing diseases of the upper gastrointestinal tract, such as the oropharynx, esophagus, stomach, duodenum, etc. In the current gastroscopy, the evaluation of the stomach parts is performed based on the video image captured by the endoscope. Generally, a complete gastroscopy report contains at least 31 images of the following 10 areas: oropharynx, esophagus, cardia, gastric fundus, gastric body, gastric angle, gastric antrum, pylorus, duodenal bulb, and descending duodenum. If lesions or suspicious areas are detected, more detailed video filming in an approximate form is necessary. During gastroscopy, the endoscopist is required to take pictures in real time and promptly conduct further examinations if suspicious areas of the stomach are detected.
На сегодняшний день для успешного проведения гастроскопии врачу-эндоскописту необходимо иметь длительный опыт работы. Менее опытный врач-эндоскопист по исследованиям желудочно-кишечного тракта зачастую пропускает обследуемые части или не обнаруживает подозрительные участки. Пропуск обследуемых участков требует от пациента повторного прохождения болезненного обследования, что не только расходует время и деньги пациента, но и уменьшает ресурсы больницы; неспособность обнаружить подозрительные области может поставить под угрозу жизнь пациента. Кроме того, врач-эндоскопист по исследованиям желудочно-кишечного тракта работает в режиме сверхнагрузки. Высокая рабочая нагрузка врача-эндоскописта снижает качество эндоскопии и может легко привести к таким проблемам, как неполный охват обследуемых частей, неполное обнаружение очагов поражения, неполный сбор изображений и т.д.Nowadays, to perform gastroscopy successfully, an endoscopist needs to have long-term experience. A less experienced gastrointestinal endoscopist often misses the parts to be examined or fails to detect suspicious areas. Missing the areas to be examined requires the patient to undergo a painful examination again, which not only wastes the patient's time and money, but also reduces the hospital's resources; failure to detect suspicious areas may endanger the patient's life. In addition, a gastrointestinal endoscopist works under overload. A high workload of an endoscopist reduces the quality of endoscopy and can easily lead to problems such as incomplete coverage of the parts to be examined, incomplete detection of lesions, incomplete image collection, etc.
Таким образом, во время эндоскопии верхних отделов желудочно-кишечного тракта важно обеспечить полный охват обследуемых частей, всестороннее обнаружение очагов поражения и прочих проблем, а также убедиться, что врач-эндоскопист использует правильную технику для проведения полного и тщательного наблюдения за слизистой оболочкой каждой части верхних отделов желудочно-кишечного тракта. Чтобы улучшить контроль качества гастроскопии и прочих вопросов, существует острая необходимость в обеспечении технологий для вспомогательной эндоскопии желудочно-кишечного тракта, которые помогут врачам-эндоскопистам беспрепятственно выполнять эндоскопию верхних отделов желудочно-кишечного тракта и обеспечивать точность эндоскопической операции, а также полноту наблюдения за слизистой оболочкой каждой части верхних отделов желудочно-кишечного тракта.Therefore, during upper gastrointestinal endoscopy, it is important to ensure complete coverage of the parts to be examined, comprehensive detection of lesions and other problems, and to ensure that the endoscopist uses the correct technique to fully and thoroughly observe the mucosa of each part of the upper gastrointestinal tract. In order to improve the quality control of gastroscopy and other issues, there is an urgent need to provide gastrointestinal endoscopy support technologies that can help endoscopists smoothly perform upper gastrointestinal endoscopy and ensure the accuracy of endoscopic surgery and complete observation of the mucosa of each part of the upper gastrointestinal tract.
Сущность изобретенияThe essence of the invention
Для разрешения вышеуказанных технических проблем или, по меньшей мере, частичного разрешения вышеуказанных технических проблем, настоящая заявка обеспечивает систему, способ, устройство для вспомогательной эндоскопии, а также носитель данных.In order to solve the above technical problems or at least partially solve the above technical problems, the present application provides a system, a method, a device for assisted endoscopy, and a data carrier.
В первом аспекте настоящее изобретение обеспечивает систему для вспомогательной эндоскопии, система для вспомогательной эндоскопии включает:In a first aspect, the present invention provides a system for assisted endoscopy, the system for assisted endoscopy comprising:
модуль распознавания анатомических областей, который используется для покадрового распознавания собранных эндоскопических изображений, определения каждой точки наблюдения, соответствующей каждому кадру эндоскопического изображения, и сопоставления каждой точки наблюдения с отдельно заданным объектом исследования;anatomical region recognition module, which is used to recognize the collected endoscopic images frame by frame, identify each observation point corresponding to each frame of the endoscopic image, and match each observation point with a separately specified object of study;
модуль регистрации степени внимания, который используется для определения последовательности наблюдения за каждым объектом исследования в соответствии с записанным временем наблюдения за каждой точкой наблюдения и степенью полноты наблюдения за объектом исследования, установленными модулем распознавания анатомических областей;an attention degree recording module which is used to determine the sequence of observation of each research object in accordance with the recorded observation time of each observation point and the degree of completeness of observation of the research object established by the anatomical region recognition module;
направляющий модуль, который используется для определения целевого объекта исследования, на который должен быть перемещен эндоскоп в соответствии с текущим объектом исследования, соответствующим текущим кадрам эндоскопического изображения и установленным модулем распознавания анатомических областей, последовательностью наблюдения за объектами исследования и предварительно заданной физической глубиной объекта наблюдения; направления при эндоскопии в соответствии с текущим объектом исследования и целевым объектом исследования.a guiding module that is used to determine the target object of examination to which the endoscope should be moved in accordance with the current object of examination corresponding to the current frames of the endoscopic image and the set anatomical region recognition module, the sequence of observation of the objects of examination and the preset physical depth of the object of observation; direction during endoscopy in accordance with the current object of examination and the target object of examination.
Во втором аспекте настоящее изобретение обеспечивает способ вспомогательной эндоскопии. Способ вспомогательной эндоскопии включает:In a second aspect, the present invention provides a method of assisted endoscopy. The method of assisted endoscopy comprises:
покадровое распознавание собранных эндоскопических изображений, определение каждой точки наблюдения, соответствующей каждому кадру эндоскопического изображения, и сопоставление каждой точки наблюдения с предварительно заданным объектом исследования;frame-by-frame recognition of collected endoscopic images, determination of each observation point corresponding to each frame of the endoscopic image, and matching of each observation point with a pre-set object of study;
определение последовательности наблюдения за каждым объектом исследования в соответствии с зарегистрированным временем наблюдения за точками наблюдения и степенью полноты наблюдения за каждым отдельным объектом исследования;determination of the sequence of observation of each object of study in accordance with the recorded time of observation of observation points and the degree of completeness of observation of each individual object of study;
определение целевого объекта исследования, на который должен быть перемещен эндоскоп в соответствии с текущим объектом исследования, соответствующим текущим кадрам эндоскопического изображения и установленным модулем распознавания анатомических областей, последовательностью наблюдения за объектами исследования и предварительно заданной физической глубиной объекта наблюдения; determining the target object of the study to which the endoscope should be moved in accordance with the current object of study, the corresponding current frames of the endoscopic image and the installed module for recognizing anatomical areas, the sequence of observation of the objects of study and the pre-set physical depth of the object of observation;
направления при эндоскопии в соответствии с текущим объектом исследования и целевым объектом исследования.directions for endoscopy in accordance with the current object of study and the target object of study.
В третьем аспекте настоящее изобретение обеспечивает устройство для вспомогательной эндоскопии, устройство для вспомогательной эндоскопии включает: запоминающее устройство, процессор и компьютерную программу, хранящуюся в запоминающем устройстве и выполняемую процессором;In a third aspect, the present invention provides an assisted endoscopy device, the assisted endoscopy device comprising: a memory device, a processor, and a computer program stored in the memory device and executed by the processor;
При выполнении компьютерной программы процессором реализуются этапы способа вспомогательной эндоскопии, описанные выше.When the computer program is executed by the processor, the stages of the method of auxiliary endoscopy described above are implemented.
В четвертом аспекте настоящее изобретение обеспечивает машиночитаемый носитель данных, в машиночитаемом носителе данных хранится программа для вспомогательной эндоскопии, при выполнении программы для вспомогательной эндоскопии процессором реализуются этапы способа вспомогательной эндоскопии, описанные выше.In a fourth aspect, the present invention provides a machine-readable data carrier, in the machine-readable data carrier a program for assisted endoscopy is stored, when the program for assisted endoscopy is executed by the processor, the steps of the method for assisted endoscopy described above are implemented.
По сравнению с существующим уровнем техники вышеуказанные технические решения, предусмотренные вариантами осуществления настоящей заявки, имеют следующие преимущества:Compared with the existing level of technology, the above-mentioned technical solutions provided by the embodiments of the present application have the following advantages:
В каждом из вариантов осуществления настоящего изобретения распознается участок слизистой оболочки верхних отделов желудочно-кишечного тракта, наблюдаемый с помощью эндоскопа, выявляется взаимосвязь между различными частями желудочно-кишечного тракта и предлагается маршрут эндоскопического наблюдения, и таким образом врачу-эндоскописту предоставляется руководство в соответствии с наиболее эффективным маршрутом для проведения эндоскопии, что позволяет избежать повторного обследования, сэкономить время, повысить уровень успешности гастроскопии, а также обеспечить полноту гастроскопического наблюдения без пропусков и слепых зон.In each embodiment of the present invention, a section of the mucous membrane of the upper gastrointestinal tract observed by an endoscope is recognized, the relationship between various parts of the gastrointestinal tract is revealed, and a route of endoscopic observation is proposed, and thus an endoscopist is provided with guidance in accordance with the most effective route for performing endoscopy, which allows avoiding repeated examination, saving time, increasing the success rate of gastroscopy, and ensuring complete gastroscopic observation without gaps and blind spots.
Описание прилагаемых чертежейDescription of the attached drawings
Прилагаемые чертежи, представленные здесь, являются составной частью данного описания, которая демонстрирует варианты осуществления, соответствующие настоящему изобретению, а также применяются с целью пояснения принципов работы настоящего изобретения.The accompanying drawings, presented herein, form an integral part of this description, which illustrate embodiments corresponding to the present invention and are also used for the purpose of explaining the operating principles of the present invention.
Чтобы более ясно проиллюстрировать варианты осуществления настоящего изобретения или технические решения предшествующего уровня техники, ниже кратко представлены прилагаемые чертежи, которые при необходимости используются в описании вариантов осуществления или предшествующего уровня техники. Очевидно, что специалисты в данной области техники на основе этих прилагаемых чертежей могут получить и другие прилагаемые чертежи, без применения созидательного труда.In order to more clearly illustrate the embodiments of the present invention or the technical solutions of the prior art, the following briefly presents the accompanying drawings, which are used as necessary in the description of the embodiments or the prior art. It is obvious that those skilled in the art can obtain other accompanying drawings based on these accompanying drawings, without the use of creative work.
На Фиг. 1 показана блок-схема системы для вспомогательной эндоскопии, представленной в каждом варианте осуществления настоящего изобретения;Fig. 1 shows a block diagram of the system for assisted endoscopy presented in each embodiment of the present invention;
На Фиг. 2 показана схема сверточного слоя, представленного в каждом варианте осуществления настоящей заявки;Fig. 2 shows a diagram of a convolutional layer presented in each embodiment of the present application;
На Фиг. 3 показана блок-схема способа вспомогательной эндоскопии, представленного в каждом варианте осуществления настоящего изобретения.Fig. 3 shows a flow chart of the method of assisted endoscopy presented in each embodiment of the present invention.
Конкретные способы реализацииSpecific methods of implementation
Следует понимать, что описанные здесь конкретные варианты осуществления используются только для описания настоящего изобретения и не ограничивают объем настоящего изобретения.It should be understood that the specific embodiments described herein are used only to describe the present invention and do not limit the scope of the present invention.
В последующем описании термины, такие как «модуль», «компонент» или «блок», используемые для обозначения элементов, используются только для облегчения описания настоящего изобретения и сами по себе не имеют конкретного значения. Таким образом, термины «модуль», «компонент» или «блок» могут использоваться взаимозаменяемо.In the following description, terms such as "module", "component" or "block" used to designate elements are used only to facilitate the description of the present invention and do not have a specific meaning in themselves. Thus, the terms "module", "component" or "block" can be used interchangeably.
Вариант осуществления 1Implementation option 1
Вариант осуществления настоящего изобретения обеспечивает систему для вспомогательной эндоскопии. Как показано на Фиг. 1, способ для вспомогательной эндоскопии включает:An embodiment of the present invention provides a system for assisted endoscopy. As shown in Fig. 1, the method for assisted endoscopy includes:
модуль получения видео S10, который используется для передачи цифровых/аналоговых видеосигналов на хост системы для вспомогательной эндоскопии посредством карты видеозахвата, например, HDMI, DVI, SDI, S-Video и т. д., считывания видеосигналов через OpenCV и их покадрового транскодирования в формат изображения RGB;S10 video acquisition module, which is used to transmit digital/analog video signals to the host system for assisted endoscopy via video capture card such as HDMI, DVI, SDI, S-Video, etc., read video signals through OpenCV and transcode them into RGB image format frame by frame;
модуль распознавания анатомических областей S20, который используется для покадрового распознавания собранных эндоскопических изображений, определения каждой точки наблюдения, соответствующей каждому кадру эндоскопического изображения, и сопоставления каждой точки наблюдения с отдельно заданным объектом исследования;S20 anatomical region recognition module, which is used to recognize the collected endoscopic images frame by frame, determine each observation point corresponding to each frame of the endoscopic image, and match each observation point with a separately specified object of study;
модуль регистрации степени внимания S30, который используется для определения последовательности наблюдения за каждым объектом исследования в соответствии с записанным временем наблюдения за каждой точкой наблюдения и степенью полноты наблюдения за объектом исследования, установленными модулем распознавания анатомических частей;the attention degree recording module S30, which is used to determine the observation sequence of each research object in accordance with the recorded observation time of each observation point and the degree of completeness of observation of the research object set by the anatomical parts recognition module;
направляющий модуль S40, который используется для определения целевого объекта исследования, на который должен быть перемещен эндоскоп в соответствии с текущим объектом исследования, соответствующим текущим кадрам эндоскопического изображения и установленным модулем распознавания анатомических областей, последовательностью наблюдения за объектами исследования и предварительно заданной физической глубиной объекта наблюдения; направления при эндоскопии в соответствии с текущим объектом исследования и целевым объектом исследования.S40 guiding module, which is used to determine the target object of examination to which the endoscope should be moved in accordance with the current object of examination corresponding to the current endoscopic image frames and the set anatomical region recognition module, the observation sequence of the objects of examination and the preset physical depth of the observation object; direction during endoscopy in accordance with the current object of examination and the target object of examination.
Вариант осуществления настоящего изобретения особенно подходит для гастроскопии. В каждом из вариантов осуществления настоящего изобретения распознается участок слизистой оболочки верхних отделов желудочно-кишечного тракта, наблюдаемый с помощью эндоскопа, выявляется взаимосвязь между различными частями желудочно-кишечного тракта и предлагается маршрут эндоскопического наблюдения, и таким образом врачу-эндоскописту предоставляется руководство в соответствии с наиболее эффективным маршрутом для проведения эндоскопии, что позволяет избежать повторного обследования, сэкономить время, повысить уровень успешности гастроскопии, а также обеспечить полноту гастроскопического наблюдения без пропусков и слепых зон.An embodiment of the present invention is particularly suitable for gastroscopy. In each embodiment of the present invention, a section of the mucous membrane of the upper gastrointestinal tract observed by an endoscope is recognized, the relationship between various parts of the gastrointestinal tract is identified, and an endoscopic observation route is proposed, and thus an endoscopist is provided with guidance according to the most effective route for performing endoscopy, which avoids repeated examination, saves time, increases the success rate of gastroscopy, and ensures complete gastroscopic observation without gaps and blind spots.
В следующих конкретных вариантах осуществления подробно описана система для вспомогательной эндоскопии, представленная в вариантах осуществления настоящего изобретения, включая модуль получения видео S10, модуль распознавания анатомических областей S20, модуль регистрации степени наблюдения S30, модуль направления S40 и модуль мониторинга S50; среди них, модуль получения видео S10.In the following specific embodiments, a system for assisted endoscopy provided in the embodiments of the present invention is described in detail, including a video acquisition module S10, an anatomical region recognition module S20, an observation degree registration module S30, a direction module S40 and a monitoring module S50; among them, a video acquisition module S10.
Используется для передачи цифровых/аналоговых видеосигналов на хост системы для вспомогательной эндоскопии посредством карты видеозахвата, например, HDMI, DVI, SDI, S-Video и т.д., считывания видеосигналов через OpenCV и их покадрового транскодирования в формат изображения RGB;It is used to transmit digital/analog video signals to the host system for assisted endoscopy via video capture card such as HDMI, DVI, SDI, S-Video, etc., read video signals via OpenCV and transcode them frame by frame into RGB image format;
модуль распознавания анатомических областей S20.S20 anatomical region recognition module.
Блок обучения модели S201 используется для обучения искусственной нейронной сети модели распознавания с помощью множества меток; данная модель может быть реализована с помощью нейронной сети с функцией классификации, например, ResNet, VGG, DenseNet и т.д. В этом варианте осуществления для улучшения эффекта классификации и для построения структуры сети опционально выбираются сверточный слой пространственной группирующей структуры, слой сети самовнимания, полносвязанный слой и слой прогнозирования. Другими словами, блок обучения модели используется для построения структуры сети в соответствии со сверточным слоем пространственной группирующей структуры, слоем сети самовнимания, полносвязанным слоем и слоем прогнозирования, обучения с помощью предварительно помеченных образцов, используемых в качестве входной информации структуры сети, с целью получения нейронной сети модели распознавания с помощью множества меток; например, количество групп сверточных слоев, слоев сети самовнимания, полносвязных слоев и слоев прогнозирования составляет 4, 2, 1 и 1 соответственно. Процесс обучения включает:The model training unit S201 is used to train an artificial neural network of a multi-label recognition model; this model can be implemented by a neural network with a classification function, for example, ResNet, VGG, DenseNet, etc. In this embodiment, in order to improve the classification effect and to construct the network structure, a convolutional layer of a spatial grouping structure, a self-attention network layer, a fully connected layer and a prediction layer are optionally selected. In other words, the model training unit is used to construct the network structure according to the convolutional layer of a spatial grouping structure, a self-attention network layer, a fully connected layer and a prediction layer, training using pre-labeled samples used as the input information of the network structure, to obtain a neural network of a multi-label recognition model; for example, the number of groups of convolutional layers, self-attention network layers, fully connected layers and prediction layers is 4, 2, 1 and 1, respectively. The training process includes:
На этапе 2011 происходит построение сетевой структуры: сеть главным образом получается путем последовательного соединения 4 групп сверточных слоев, содержащих пространственную группирующую структуру, 2 групп слоев сети самовнимания, 1 группы полносвязных слоев и 1 группы слоев прогнозирования для последовательного соединения;In step 2011, the network structure is constructed: the network is mainly obtained by sequentially connecting 4 groups of convolutional layers containing spatial grouping structure, 2 groups of self-attention network layers, 1 group of fully connected layers and 1 group of prediction layers for sequential connection;
В частности, каждый сверточный слой, содержащий пространственную группирующую структуру, показан на Фиг. 2. Количество внутренних групп установлено равным 64, а ширина узкого места равной 32. Сверточный слой используется для преобразования размеров, выделения признаков входного изображения, а также вывода вектора признаков ;In particular, each convolutional layer containing a spatial grouping structure is shown in Fig. 2. The number of internal groups is set to 64, and the bottleneck width is set to 32. The convolutional layer is used to transform the dimensions, extract the features of the input image, and output the feature vector. ;
Что касается 2 группы слоев сети самовнимания: сначала используется первая группа слоев сети самовнимания, чтобы взвесить самовнимание вектора признаков с целью получения вектора признаков ; после используется вторая группа слоев сети самовнимания, чтобы комплексно взвесить самовнимание вектора признаков и вектора признаков с целью получения вектора признаков ;As for the 2nd group of self-attention network layers, firstly the first group of self-attention network layers is used to weight the self-attention of the feature vector in order to obtain a feature vector ; then the second group of self-attention network layers is used to comprehensively weight the self-attention of the feature vector and feature vectors in order to obtain a feature vector ;
Полносвязный слой: используется для линейной проекции вектора и вектора с целью получения одномерного вектора признаков ;Fully connected layer: used for linear projection of vector and vectors in order to obtain a one-dimensional feature vector ;
Слой прогнозирования: используется для дифференцирования каждой предварительно заданной метки посредством одномерного вектора признаков с целью получения вероятностей следующим образом: Prediction layer: used to differentiate each pre-defined label through a one-dimensional feature vector in order to obtain probabilities as follows:
где – вероятность решения метки n, – гиперпараметр обучения метки n, – гиперпараметр смещения и обучения метки n.Where – probability of solving label n, – hyperparameter of learning the label n, – hyperparameter of bias and learning of label n.
На этапе 2012 происходит маркировка предварительно собранных образцов изображений (изображения наблюдаемых частей верхних отделов желудочно-кишечного тракта), результаты маркировки представляют собой 1-n из предварительно заданных подразделенных анатомических областей (т. е. точек наблюдения);In step 2012, the pre-collected image samples (images of the observed parts of the upper gastrointestinal tract) are labeled, the labeling results being 1-n of the pre-defined subdivided anatomical regions (i.e. observation points);
На этапе 2013 вышеуказанное эндоскопическое изображение используется в качестве входной информации для модели нейронной сети, а вычисление выполняется в соответствии с предварительно помеченными результатами с множеством меток и использованием функции потерь. Формула функции потерь:In step 2013, the above endoscopic image is used as the input of the neural network model, and the calculation is performed according to the pre-labeled results with multiple labels and using the loss function. The formula of the loss function is:
где L(x) – значение потерь заданного входного изображения x в процессе обучения; N – количество всех меток; n – текущая метка; – вероятность прогнозирования метки n;– значение смещения, которое обычно составляет 0 или 1, в этом варианте осуществления данное значение составляет 1; относится к тому, имеет ли заданное входное изображение x истинное значение метки n.where L(x) is the loss value of a given input image x during the training process; N is the number of all labels; n is the current label; – probability of predicting label n; – an offset value, which is typically 0 or 1, in this embodiment this value is 1; refers to whether a given input image x has the true label value n.
На этапе 2014 происходит обновление параметров модели с использованием обратного распространения после получения значения потерь ; в частности, для получения модели нейронной сети предварительно задано 500 циклов обучения, и вышеуказанные этапы 2011 и 2012 повторяются для всех помеченных данных в каждом цикле обучения до тех пор, пока модель не достигнет заданного количества циклов или пока значение потерь не станет меньше 10-4 и не будет получена построенная модель нейронной сети.In step 2014, the model parameters are updated using backpropagation after the loss value is obtained. ; in particular, 500 training cycles are preset to obtain a neural network model, and the above steps 2011 and 2012 are repeated for all labeled data in each training cycle until the model reaches a preset number of cycles or until the loss value becomes less than 10 -4 and the constructed neural network model is obtained.
Блок распознавания S202 используется для покадрового распознавания собранных эндоскопических изображений нейронной сетью модели распознавания с помощью множества меток, обучаемой блоком обучения модели, а также определения каждой точки наблюдения, соответствующей каждому эндоскопическому изображению; то есть вышеупомянутая обученная модель используется для распознавания полученных покадровых изображений, и, наконец, после прогнозирования посредством слоя прогнозирования для получения результатов распознавания подразделенных анатомических областей, то есть текущих точек наблюдения ;The recognition unit S202 is used to recognize the collected endoscopic images frame by frame by the neural network of the recognition model using a plurality of labels trained by the model training unit, and also determine each observation point corresponding to each endoscopic image; that is, the above-mentioned trained model is used to recognize the obtained frame by frame images, and finally, after prediction by the prediction layer, to obtain the recognition results of the subdivided anatomical regions, that is, the current observation points ;
Блок сопоставления анатомических областей S203 используется для сопоставления каждой точки наблюдения с отдельно заданным объектом исследования в соответствии с соотношением сопоставления предварительно заданных точек наблюдения и объектов исследования. Другими словами, на основе полученных результатов распознавания подразделенных анатомических областей выполняется сопоставление объекта исследования с целью получения результатов распознавания объекта исследования, то есть текущего объекта исследования . Соотношение сопоставлений приведено в таблице ниже. Соответствующие физические глубины могут быть установлены для объектов исследования в соответствии с последовательностью эндоскопии. В этом варианте осуществления физическая глубина составляет 9 уровней глубины.The S203 anatomical region matching unit is used to match each observation point with a separately specified research object in accordance with the matching relationship of the preset observation points and research objects. In other words, based on the obtained recognition results of the subdivided anatomical regions, the research object is matched to obtain the recognition results of the research object, that is, the current research object. . The correlation ratio is shown in the table below. The corresponding physical depths can be set for the examination objects according to the endoscopy sequence. In this embodiment, the physical depth is 9 depth levels.
(под эндоскопом)Middle and upper parts of the body of the stomach
(under endoscope)
В этом варианте осуществления четыре группы слоев свертки используются для абстрагирования признаков из двумерного 2D эндоскопического изображения с целью получения выходного вектора признаков. За счёт первого слоя самовнимания выполняется взвешивание самовнимания внутренней части одномерного вектора признаков с целью получения взвешенного признака Q0. За счёт второго слоя самовнимания выполняется комплексное взвешивание признаков F0 и Q0 с целью получения признака. Этап вывода от Q0 до может установить корреляцию между глобальной областью F0 и ключевой областью F0, тем самым повышая эффективность распознавания со множеством меток.In this embodiment, four groups of convolution layers are used to abstract features from a 2D endoscopic image to produce an output feature vector. The first self-attention layer performs self-attention weighting on the interior of the 1D feature vector to produce a weighted feature Q 0 . The second self-attention layer performs complex weighting on the features F 0 and Q 0 to produce a feature . Output stage from Q 0 to can establish correlation between the global region F 0 and the key region F 0 , thereby improving the recognition performance with multiple labels.
Модуль регистрации степени внимания S30Attention Degree Registration Module S30
Блок регистрации времени S301 используется для регистрации степени полноты покадрового наблюдения за объектом исследования и времени наблюдения за точками наблюдения, установленными модулем распознавания анатомических областей, определения последовательности наблюдения за объектом исследования и последовательности наблюдения за точками наблюдения в соответствии со временем наблюдения за объектом исследования и степенью полноты наблюдения за каждым объектом исследования; The time recording unit S301 is used to record the degree of completeness of frame-by-frame observation of the research object and the observation time of the observation points set by the anatomical region recognition module, determine the sequence of observation of the research object and the sequence of observation of the observation points in accordance with the observation time of the research object and the degree of completeness of observation of each research object;
Во-первых, блок регистрации времени используется для регистрации степени полноты наблюдения за объектом исследования и времени наблюдения за точками наблюдения. В частности, может быть зафиксировано несколько кадров полученного результата идентификации точки наблюдения, накопленный объем записи преобразуется во время для хранения в реальном времени, и получается последовательность точек наблюдения ;Firstly, the time recording unit is used to record the degree of completeness of observation of the research object and the observation time of observation points. In particular, several frames of the obtained result of the observation point identification can be recorded, the accumulated recording volume is converted into time for real-time storage, and a sequence of observation points is obtained. ;
Во-вторых, в соответствии со временем наблюдения за точками наблюдения и соотношением сопоставления точек и объектов рассчитывается степень полноты (степень полноты рассчитывается по нижеуказанной формуле) каждого объекта исследования с целью получения последовательности объектов исследования Secondly, in accordance with the observation time of the observation points and the ratio of the comparison of points and objects, the degree of completeness (the degree of completeness is calculated according to the formula below) of each research object is calculated in order to obtain a sequence of research objects
где – оптимальное время наблюдения за точкой наблюдения, – время наблюдения за каждой целевой точкой наблюдения, соответствующей объекту исследования, n – количество целевых точек наблюдения, соответствующих объекту исследования.Where – optimal time of observation of the observation point, – observation time for each target observation point corresponding to the research object, n – number of target observation points corresponding to the research object.
Блок отображения тепловой карты S302 используется для отображения последовательности наблюдения за точками наблюдения на пользовательском интерфейсе желудочно-кишечного тракта посредством тепловой карты. То есть последовательность точек наблюдения блока регистрации времени отображается на графическом пользовательском интерфейсе в виде тепловой карты. После завершения эндоскопии можно просмотреть тепловую карту, чтобы узнать длительность наблюдения за каждой точкой в течение всего обследования. В зависимости от длительности наблюдения можно проанализировать весь процесс обследования, чтобы увидеть каким частям уделялось меньше внимания, а каким частям больше. В частности, в данном варианте осуществления используется модуль тепловых карт для отображения времени наблюдения. Тепловая карта создается с помощью WebCanvas, и ее блоки определяются в соответствии с подразделенными анатомическими областями. Далее зарегистрированная последовательность точек наблюдения сопоставляется с насыщенностью для окрашивания соответствующих цветовых блоков.The S302 heat map display unit is used to display the observation sequence of observation points on the gastrointestinal tract user interface through a heat map. That is, the observation point sequence The time recording block is displayed on the graphical user interface as a heat map. After the endoscopy is completed, the heat map can be viewed to know the observation duration of each point during the entire examination. Depending on the observation duration, the entire examination process can be analyzed to see which parts received less attention and which parts received more attention. In particular, this embodiment uses a heat map module to display the observation time. The heat map is created using WebCanvas, and its blocks are defined according to the subdivided anatomical regions. Then, the recorded sequence of observation points is matched with saturation to color the corresponding color blocks.
Направляющий модуль S40Guide module S40
Используется для планирования маршрута наблюдения при гастроскопии, предложения самого разумного маршрута наблюдения в отображаемом интерфейсе в соответствии с результатами вычислений, который помогает врачу выполнить эндоскопическую операцию наиболее эффективно, а также включает:It is used to plan the observation route in gastroscopy, suggest the most reasonable observation route in the displayed interface according to the calculation results, which helps the doctor perform the endoscopic operation most effectively, and also includes:
блок прогнозирования вероятностей направления S401, который используется для определения матрицы вероятностей сдвига объекта исследования в соответствии с последовательностью наблюдения за текущим объектом исследования и предварительно заданной физической глубиной текущего объекта исследования, также определения предельного значения в матрице вероятностей сдвига объекта исследования в качества целевого объекта исследования; в частности, для расчета матрицы вероятностей сдвига ( – вероятность сдвига от текущего объекта исследования до объекта исследования k) объекта исследования с использованием первой целевой функции и в соответствии с последовательностью наблюдения за текущей точкой наблюдения из S20 и за объектом исследования из S30, а также предварительно заданной физической глубиной, а также вычисления предельного значения в матрице с целью получения нового целевого объекта исследования или целевого объекта наблюдения .a direction probability prediction unit S401, which is used to determine the probability matrix of the shift of the research object in accordance with the observation sequence of the current research object and the predetermined physical depth of the current research object, as well as determining the limit value in the probability matrix of the shift of the research object as the target research object; in particular, to calculate the probability matrix of the shift ( – the probability of a shift from the current research object to the research object k) of the research object using the first objective function and in accordance with the observation sequence for the current observation point from S20 and behind the research object from S30, as well as a pre-set physical depth , as well as calculating the limit value in the matrix in order to obtain a new target object of research or the target object of observation .
Первая целевая функция: First objective function:
где – вероятность сдвига до целевого объекта исследования ; – степень полноты наблюдения за целевым объектом исследования; – физическая глубина целевого объекта исследования ; – физическая глубина объекта исследования ; – произвольная постоянная (), в этом варианте осуществления значение составляет 1.Where – probability of shift to the target object of the study ; – the degree of completeness of observation of the target object of the study ; – physical depth of the target object of study ; – physical depth of the object of study ; – arbitrary constant ( ), in this embodiment, the value is 1.
Блок направляющих подсказок S402, который используется для построения направляющих линий объекта исследования между текущим объектом исследования и целевым объектом исследования в предварительно заданном пользовательском интерфейсе желудочно-кишечного тракта, когда определено, что целевой объект исследования отличается от частей текущего объекта исследования; для выдачи подсказок по стандартным движениям эндоскопа в соответствии с предварительно заданным направлением наблюдения за подлежащим сдвигу целевым объектом исследования, установленным блоком прогнозирования вероятностей направления, когда целевой объект исследования совпадает с частями текущего объекта исследования.The S402 guide prompt block is used to construct the guide lines of the examination object between the current examination object and the target examination object in the preset user interface of the gastrointestinal tract when it is determined that the target examination object differs from parts of the current examination object; to issue prompts for standard movements of the endoscope according to the preset observation direction of the target examination object to be moved set by the direction probability prediction block when the target examination object coincides with parts of the current examination object.
В частности, если обнаруживается новый целевой объект исследования, то в соответствии с новым целевым объектом исследования в предварительно заданном пользовательском интерфейсе верхних отделов желудочно-кишечного тракта отображается анимированная подсказка. Направляющая линия объекта исследования рисуется с помощью кривой Безье в модели пользовательского интерфейса таким образом, чтобы предложить пользователю переместить эндоскоп на целевой объект исследования или отвести ее к нужному месту.In particular, if a new target object is detected, an animated prompt is displayed in the predefined upper gastrointestinal tract user interface according to the new target object. The target object guide line is drawn using a Bezier curve in the user interface model so as to prompt the user to move the endoscope to the target object. or take her to the right place.
Если наблюдение продолжается в текущем объекте исследования, то для нового целевого объекта наблюдения и направления наблюдения за предварительно заданным целевым объектом исследования, полученного в соответствии со второй целевой функцией, отображаются пользовательские подсказки "поворот влево", "поворот вправо", "движение вперёд", "движение назад" или "продолжить наблюдение", а также создается анимация поворота узла.If observation continues in the current observation object, the user prompts "turn left", "turn right", "move forward", "move backward" or "continue observation" are displayed for the new observation target and the observation direction of the preset observation target obtained according to the second objective function, and a node rotation animation is created.
В частности, если , то используется блок направляющих подсказок и в соответствии с новым целевым узлом, к которому должен быть перемещен эндоскоп, в предварительно заданном пользовательском интерфейсе верхних отделов желудочно-кишечного тракта отображается анимированная подсказка. Для построения направляющих линий объекта исследования на пользовательском интерфейсе используется кривая Безье. Зеленая мигающая соединительная линия от до используется в качестве подсказки; кроме этого, текстовые подсказки «движение эндоскопа вперед» или «движение эндоскопа назад» отображаются в соответствии с предварительно заданной физической глубиной.In particular, if , then the guide hint block is used and according to the new target node to which the endoscope should be moved, an animated hint is displayed in the preset user interface of the upper gastrointestinal tract. The Bézier curve is used to draw the guide lines of the examination object on the user interface. The green flashing connecting line from to is used as a hint; in addition, the text hints "moving the endoscope forward" or "moving the endoscope backward" are displayed according to the preset physical depth.
Если , то это указывает на необходимость продолжения наблюдения в частях текущего объекта исследования; используется вторая целевая функция для вычисления матрицы вероятностей сдвига точки наблюдения ( – вероятность сдвига от текущей точки наблюдения до целевой точки наблюдения), а также расчета предельного значения в матрице с целью получения новой целевой точки наблюдения .If , then this indicates the need to continue observation in parts of the current research object; the second objective function is used to calculate the probability matrix of the shift of the observation point ( – the probability of a shift from the current observation point to the target observation point), as well as calculating the limit value in the matrix in order to obtain a new target observation point .
Вторая целевая функция:Second objective function:
где – вероятность сдвига до целевой точки наблюдения ; – степень полноты наблюдения за целевой точкой наблюдения ; – оптимальное время наблюдения за целевой точкой наблюдения n (оптимальное время наблюдения составляет 10 секунд); – набор целевых точек наблюдения, соответствующих объекту исследования .Where – probability of shift to the target observation point ; – the degree of completeness of observation of the target observation point ; – the optimal observation time for the target observation point n (the optimal observation time is 10 seconds); – a set of target observation points corresponding to the object of study .
С помощью блока направляющих подсказок и в соответствии с предварительно заданным направлением наблюдения за точками наблюдения отображаются текстовые подсказки "поворот влево", "поворот вправо", "движение вперёд", "движение назад" или "продолжение наблюдения", а также создается анимация поворота объекта исследования . Using the guiding hint block and according to the preset observation direction of the observation points, text hints such as "turn left", "turn right", "move forward", "move backward" or "continue observation" are displayed, and an animation of the rotation of the research object is created. .
В этом варианте осуществления применяются две целевые функции для вывода результатов распознавания ИИ с целью получения точки переноса. Кроме того, в соответствии с существующими направлением наблюдения и глубиной предварительно заданных частей отображаются подсказки по движениям, соответствующим текущему состоянию, что может улучшить эффект обнаружения по сравнению с фиксированными подсказками, известными из предшествующего уровня техники.In this embodiment, two target functions are used to output the AI recognition results to obtain the transfer point. In addition, according to the existing observation direction and depth of the preset parts, motion prompts corresponding to the current state are displayed, which can improve the detection effect compared with the fixed prompts known in the prior art.
Модуль мониторинга S50S50 Monitoring Module
Блок распознавания эндоскопической операции S501 используется для распознавания текущих движений эндоскопа. В частности, для создания модели матрицы наблюдения S30 с целью получения предварительно обученной модели распознавания эндоскопической операции, реализации распознавания действий врача, таких как "поворот эндоскопа", "движение эндоскопа вперёд", "движение эндоскопа назад" и т.д., с целью получения текущей эндоскопической операции. При обнаружении ошибочных действий врача система выдает подсказки, которые помогают врачу разного уровня выполнить обследование согласно стандартизированным действиям.The endoscopic operation recognition unit S501 is used to recognize the current movements of the endoscope. In particular, to create the observation matrix model S30 to obtain a pre-trained endoscopic operation recognition model, to realize the recognition of the doctor's actions such as "endoscope rotation", "endoscope forward movement", "endoscope backward movement", etc., to obtain the current endoscopic operation. When the doctor's erroneous actions are detected, the system provides hints that help the doctor of different levels perform the examination according to the standardized actions.
В частности, сначала используется матрица очереди последовательностей для получения результатов распознавания объекта исследования, а также результатов распознавания точек наблюдения из S20, а также их сохранения в матрице очереди последовательностей через каждые 0,5 секунд; общее время сохранения – 10 секунд, в общей сложности подсчитываются результаты распознавания 20 групп; при сохранении результата на 11-й секунде исходный результат, сохраненный на 1-й секунде, отбрасывается, а результат, сохраненный на 11-й секунде, вставляется в конец матрицы очереди последовательностей.Specifically, first, the sequence queue matrix is used to obtain the recognition results of the object of study and the recognition results of the observation points from S20, and store them in the sequence queue matrix every 0.5 seconds; the total storage time is 10 seconds, and the recognition results of 20 groups are counted in total; when saving the result at the 11th second, the original result saved at the 1st second is discarded, and the result saved at the 11th second is inserted at the end of the sequence queue matrix.
Во-вторых, создаётся модель распознавания движений эндоскопа. Сначала выполняется сбор содержимого вышеуказанной матрицы очереди последовательностей, а затем вручную помечаются действия матрицы каждой очереди последовательностей, включая семь стандартизированных действий эндоскопа "наблюдение на месте", "приближение эндоскопа", "поворот эндоскопа влево", "поворот эндоскопа вправо", "движение эндоскопа вперёд", "движение эндоскопа назад", которые создают набор данных, применяемых для обучения модели.Secondly, a model for recognizing the endoscope's movements is built. First, the contents of the above sequence queue matrix are collected, and then the actions of each sequence queue matrix are manually labeled, including the seven standardized endoscope actions of "observe on-site", "approach endoscope", "turn endoscope left", "turn endoscope right", "move endoscope forward", "move endoscope backward", which form a data set used to train the model.
Модель использует динамическую байесовскую сеть для моделирования, матрица каждой очереди последовательностей в помеченном наборе данных используется в качестве входных данных, а подход на основе максимизации ожидания (EM-алгоритм) используется для обучения параметров динамической байесовской сети с целью получения модели распознавания предварительно заданных движений эндоскопа.The model uses a dynamic Bayesian network for modeling, the matrix of each sequence queue in the labeled dataset is used as input, and the expectation-maximization approach (EM algorithm) is used to train the parameters of the dynamic Bayesian network to obtain a recognition model for pre-defined endoscope movements.
Наконец, в процессе обследования непрерывно выполняется сбор матриц очереди последовательностей в соответствии с установленными правилами. За счёт модели распознавания предварительно заданных движений эндоскопа выполняется распознавание движений эндоскопа.Finally, during the inspection process, the sequence queue matrices are continuously collected according to the established rules. The recognition of endoscope movements is performed by the preset endoscope movement recognition model.
Блок предупреждения об отклонениях S502 используется для отображения подсказок в пользовательском интерфейсе желудочно-кишечного тракта, когда определено, что текущие движения эндоскопа не соответствуют стандартным движениям эндоскопа. То есть, в соответствии с направляющими движениями, предложенных модулем S40, и распознанными текущими движениями эндоскопа, в графическом интерфейсе отображаются текстовые подсказки. Если движения эндоскопа противоречат узлу переноса, то в графическом интерфейсе отображаются очевидные условные знаки, а также анимационные подсказки. Другими словами, после получения направляющих движений, предложенных S40, определяется, соответствуют ли направляющие движения, предложенные S40, движениям эндоскопа, выполняемым оператором; при несоответствии в графическом интерфейсе отображается предварительное предупреждение, например, в правом верхнем углу области анимации отображается красный восклицательный знак, а также подсказка для пользователя.The deviation warning block S502 is used to display prompts on the gastrointestinal tract user interface when it is determined that the current movements of the endoscope do not match the standard movements of the endoscope. That is, according to the guiding movements proposed by the S40 module and the recognized current movements of the endoscope, text prompts are displayed on the graphical interface. If the movements of the endoscope are in conflict with the transfer unit, obvious symbols and animation prompts are displayed on the graphical interface. In other words, after receiving the guiding movements proposed by the S40, it is determined whether the guiding movements proposed by the S40 match the movements of the endoscope performed by the operator; if there is a discrepancy, a preliminary warning is displayed on the graphical interface, such as a red exclamation mark is displayed in the upper right corner of the animation area, and a prompt is provided to the user.
В каждом варианте осуществления настоящего изобретения используется модель классификации нескольких меток нейронной сети для распознавания нескольких меток на гастроскопическом изображении. Во время гастроскопии в одном и том же поле зрения, захватываемом эндоскопом, как правило, отображаются несколько частей объекта наблюдения, например, передняя стенка синуса желудка и малая кривизна синуса желудка, малая кривизна дна желудка и задняя стенка дна желудка и т.д. Каждый вариант осуществления настоящего изобретения приближен к реальным сценариям, применяемым в клинической области, а статистика более точна.In each embodiment of the present invention, a neural network multiple label classification model is used to recognize multiple labels in a gastroscopic image. During gastroscopy, several parts of the observation object are usually displayed in the same field of view captured by the endoscope, such as the anterior wall of the gastric sinus and the lesser curvature of the gastric sinus, the lesser curvature of the fundus of the stomach and the posterior wall of the fundus of the stomach, etc. Each embodiment of the present invention is closer to real scenarios used in the clinical field, and the statistics are more accurate.
В каждом варианте осуществления настоящего изобретения используется сетевая структура из 4 групп сверточных слоев, 2 групп слоев самовнимания, и 1 группы слоев прогнозирования множества меток для построения модели нейронной сети S2. За счёт 4 групп сверточных слоев выполняется абстрагирование признаков из двумерного 2D изображения с целью получения признака F0, а также за счёт первого слоя самовнимания выполняется взвешивание самовнимания внутренней части признака F с целью получения признака Q0, затем за счёт второго слоя самовнимания выполняется комплексное взвешивание признаков F0 и Q0 с целью получения признака . Этапы вывода от Q0 до предназначены для установления взаимосвязи между глобальной областью F0 и ключевой областью F0, тем самым повышая эффективность распознавания множества меток;In each embodiment of the present invention, a network structure of 4 groups of convolutional layers, 2 groups of self-attention layers, and 1 group of multi-label prediction layers is used to construct a neural network model S2. The 4 groups of convolutional layers abstract features from a 2D image to obtain a feature F 0 , and the first self-attention layer weights the inner part of the feature F to obtain a feature Q 0 , and then the second self-attention layer weights the features F 0 and Q 0 in a complex manner to obtain a feature . Output stages from Q 0 to are designed to establish a relationship between the global region F 0 and the key region F 0 , thereby increasing the efficiency of recognizing multiple labels;
Способы направления при гастроскопии, раскрытые в каждом варианте осуществления настоящего изобретения, могут предоставить врачу подробные рекомендации с полным охватом информации об операциях. При сдвиге объекта исследования отображаются подсказки "движение эндоскопа вперёд" или "движение эндоскопа назад". При сдвиге целевого объекта наблюдения отображаются подсказки "поворот влево" или "поворот вправо".The gastroscopy guidance methods disclosed in each embodiment of the present invention can provide a physician with detailed guidance with full coverage of operation information. When the examination object is shifted, prompts of "moving the endoscope forward" or "moving the endoscope backward" are displayed. When the observation target is shifted, prompts of "turning left" or "turning right" are displayed.
Способы распознавания действий врача-эндоскописта, представленные в различных вариантах осуществления настоящего изобретения, за счёт последовательности наблюдения за множеством меток и метода машинного обучения выводят текущие движения эндоскопа, выполняемые врачом, а также в сочетании с модулем S4 отображают предупредительную информацию.The methods for recognizing the actions of an endoscopist, presented in various embodiments of the present invention, by means of a sequence of observation of a plurality of marks and a machine learning method, output the current movements of the endoscope performed by the doctor, and also, in combination with the S4 module, display warning information.
Способы отображения и интерфейс степени наблюдения врачом, представленные в каждом варианте осуществления настоящего изобретения; возможность регистрации результатов распознавания множества меток и формирования тепловой карты на основе зарегистрированных результатов.The methods of displaying and the interface of the degree of observation by the physician, presented in each embodiment of the present invention; the possibility of registering the results of recognition of a plurality of marks and forming a heat map based on the registered results.
Каждый вариант осуществления настоящего изобретения может предложить врачу маршрут и угол наблюдения при гастроскопии в режиме реального времени. Подсказки "движение эндоскопа вперёд и назад" и "поворот эндоскопа" просты и понятны, что уменьшает риск возникновения повторного обследования и пропуск обследуемых частей.Each embodiment of the present invention can suggest the route and angle of observation in gastroscopy to the doctor in real time. The prompts of "moving the endoscope forward and backward" and "rotating the endoscope" are simple and clear, which reduces the risk of repeated examination and missing the parts to be examined.
Каждый вариант осуществления настоящего изобретения может обеспечить обратную связь в режиме реального времени о соответствии фактического и предварительно заданного маршрута операции, которая помогает врачам своевременно корректировать отклонения; по сравнению с предыдущим уровнем техники, который обеспечивал обратную связь только об охваченных частях и пройденных маршрутах, эффект предварительного прогнозирования и интеллектуального отслеживания функции навигации более заметен.Each embodiment of the present invention can provide real-time feedback on the conformity of the actual and preset surgical route, which helps doctors correct deviations in a timely manner; compared with the previous art, which only provided feedback on the parts covered and the routes traveled, the effect of pre-prediction and intelligent tracking of the navigation function is more noticeable.
Тепловая карта в каждом варианте осуществления настоящего изобретения наглядно отражает весь процесс наблюдения врача за обследуемыми частями, что представляет собой объективную обратную связь с субъективной степенью наблюдения врача. Это эквивалентно упрощению процесса гастроскопии и является важным нововведением в методах обратной связи при обследовании.The heat map in each embodiment of the present invention clearly reflects the entire process of observation of the physician on the parts being examined, which is an objective feedback to the subjective degree of observation of the physician. This is equivalent to simplifying the process of gastroscopy and is an important innovation in the feedback methods during examination.
Каждый вариант осуществления настоящего изобретения отображает ход обследования врача посредством распознавания текущих частей при гастроскопии и анализа взаимосвязи между частями, обеспечивает подходящий маршрут обследования, предоставляет оператору более научные рекомендации по движениям эндоскопа, улучшает полноту и беспрепятственность обнаружения, что предотвращает риск возникновения повторного обследования и пропусков, а также снижает болевые ощущения у пациента. Настоящее изобретение позволяет врачу-эндоскописту различного уровня повысить свою квалификацию до уровня, соответствующего основным стандартам.Each embodiment of the present invention displays the examination progress of a physician by recognizing current parts in gastroscopy and analyzing the relationship between parts, provides a suitable examination route, provides the operator with more scientific recommendations for the movements of the endoscope, improves the completeness and smoothness of detection, which prevents the risk of repeated examination and omissions, and reduces the patient's pain. The present invention allows an endoscopist of various levels to improve his or her skills to a level that meets basic standards.
Вариант осуществления 2Implementation option 2
Вариант осуществления настоящего изобретения обеспечивает способ вспомогательной эндоскопии. Как показано на Фиг. 3, способ вспомогательной эндоскопии включает:An embodiment of the present invention provides a method of assisted endoscopy. As shown in Fig. 3, the method of assisted endoscopy includes:
S101, который используется для покадрового распознавания собранных эндоскопических изображений, определения каждой точки наблюдения, соответствующей каждому кадру эндоскопического изображения, сопоставления каждой точки наблюдения с предварительно заданным объектом исследования;S101, which is used to recognize the collected endoscopic images frame by frame, determine each observation point corresponding to each frame of the endoscopic image, and match each observation point with a predetermined examination object;
S102, который используется для определения последовательности наблюдения за каждым объектом исследования в соответствии с зарегистрированным временем наблюдения за точками наблюдения и степенью полноты наблюдения за каждым отдельным объектом исследования;S102, which is used to determine the sequence of observation of each object of study in accordance with the recorded observation time of observation points and the degree of completeness of observation of each individual object of study;
S103, который используется для определения целевого объекта исследования, на который должен быть перемещен эндоскоп в соответствии с текущим объектом исследования, соответствующим текущим кадрам эндоскопического изображения и установленным модулем распознавания анатомических областей, последовательностью наблюдения за объектами исследования и предварительно заданной физической глубиной объекта наблюдения; S103, which is used to determine the target object of examination to which the endoscope should be moved according to the current object of examination corresponding to the current frames of the endoscopic image and the set anatomical region recognition module, the observation sequence of the objects of examination and the preset physical depth of the observation object;
S104, который используется для направления при эндоскопии в соответствии с текущим объектом исследования и целевым объектом исследования.S104, which is used for direction in endoscopy according to the current object of examination and the target object of examination.
Вариант осуществления настоящего изобретения за счет распознавания текущих частей при гастроскопии и анализа взаимосвязи между частями отображает ход обследования врачом, обеспечивает подходящий маршрут обследования, предоставляет оператору более научные рекомендации по движениям эндоскопа, улучшает полноту и беспрепятственность обнаружения, что предотвращает риск возникновения повторного обследования и пропусков, а также снижает болевые ощущения у пациента. Настоящее изобретение позволяет врачу-эндоскописту различного уровня повысить свою квалификацию до уровня, соответствующего основным стандартам.The embodiment of the present invention, by recognizing the current parts during gastroscopy and analyzing the relationship between the parts, displays the course of the examination by the doctor, provides a suitable examination route, provides the operator with more scientific recommendations for the movements of the endoscope, improves the completeness and smoothness of detection, which prevents the risk of repeated examination and omissions, and reduces the pain of the patient. The present invention allows the endoscopist of various levels to improve his skills to a level corresponding to the basic standards.
В некоторых вариантах осуществления S101 включает: регистрацию степени полноты покадрового наблюдения за объектом исследования и времени наблюдения за точками наблюдения, определение последовательности наблюдения за объектами исследования в соответствии со временем наблюдения за точками наблюдения и временем наблюдения за каждым объектом исследования;In some embodiments, S101 includes: recording the degree of completeness of frame-by-frame observation of the object of study and the observation time of the observation points, determining the sequence of observation of the objects of study in accordance with the observation time of the observation points and the observation time of each object of study;
S102 включает: определение матрицы вероятностей сдвига объекта исследования в соответствии с последовательностью наблюдения за объектом исследования и предварительно заданной физической глубиной текущего объекта исследования; установку предельного значения в матрице вероятностей сдвига объекта исследования в качества целевого объекта исследования;S102 includes: determining the probability matrix of the shift of the research object in accordance with the sequence of observation of the research object and the predetermined physical depth of the current research object; setting the limit value in the probability matrix of the shift of the research object as the target research object;
построение направляющих линий объекта исследования между текущим объектом исследования и целевым объектом исследования в предварительно заданном пользовательском интерфейсе желудочно-кишечного тракта, когда определено, что целевой объект исследования отличается от текущего объекта исследования; выдачу подсказок по стандартным движениям эндоскопа в соответствии с предварительно заданным направлением наблюдения за подлежащим сдвигу целевым объектом исследования, установленным блоком прогнозирования вероятностей направления, когда целевой объект исследования совпадает с текущим объектом исследования.constructing guide lines of the research object between the current research object and the target research object in a predetermined user interface of the gastrointestinal tract when it is determined that the target research object differs from the current research object; issuing hints on standard movements of the endoscope in accordance with a predetermined direction of observation of the target research object to be shifted, set by the direction probability prediction unit, when the target research object coincides with the current research object.
Предпочтительно, если за счет первой целевой функции определяется вероятность сдвига объекта исследования, а за счет второй целевой функции и в соответствии со временем наблюдения за текущим объектом исследования и набором точек наблюдения определяются целевые точки наблюдения.It is preferable if the probability of a shift in the object of study is determined by the first objective function, and the target observation points are determined by the second objective function and in accordance with the observation time of the current object of study and the set of observation points.
Первая целевая функция: First objective function:
где – вероятность сдвига до целевого объекта исследования ; – степень полноты наблюдения за целевым объектом исследования; – физическая глубина целевого объекта исследования ; – физическая глубина объекта исследования ; – произвольная постоянная (), в этом варианте осуществления значение составляет 1;Where – probability of shift to the target object of the study ; – the degree of completeness of observation of the target object of the study ; – physical depth of the target object of study ; – physical depth of the object of study ; – arbitrary constant ( ), in this embodiment, the value is 1;
Вторая целевая функция:Second objective function:
где – вероятность сдвига до целевой точки наблюдения ; – степень полноты наблюдения за целевой точкой наблюдения ; – оптимальное время наблюдения за целевой точкой наблюдения n (оптимальное время наблюдения составляет 10 секунд); – набор целевых точек наблюдения, соответствующих объекту исследования .Where – probability of shift to the target observation point ; – the degree of completeness of observation of the target observation point ; – the optimal observation time for the target observation point n (the optimal observation time is 10 seconds); – a set of target observation points corresponding to the object of study .
Предпочтительно, если S102 также включает: регистрацию степени полноты покадрового наблюдения за объектом исследования и времени наблюдения за точками наблюдения, установленными модулем распознавания анатомических областей, определение последовательности наблюдения за каждой точкой наблюдения в соответствии со временем наблюдения за каждой точкой наблюдения и степенью полноты наблюдения за каждым объектом исследования; Preferably, S102 also includes: recording the degree of completeness of frame-by-frame observation of the object of study and the time of observation of observation points established by the anatomical region recognition module, determining the sequence of observation of each observation point in accordance with the time of observation of each observation point and the degree of completeness of observation of each object of study;
отображение последовательности наблюдения за точками наблюдения в пользовательском интерфейсе желудочно-кишечного тракта посредством тепловой карты.displaying the observation sequence of observation points in the gastrointestinal tract user interface via a heat map.
В некоторых вариантах осуществления способ для вспомогательной эндоскопии также включает: распознавание текущих движений эндоскопа; выдачу подсказок в пользовательском интерфейсе желудочно-кишечного тракта, когда определено, что текущие движения эндоскопа не соответствуют стандартным движениям эндоскопа.In some embodiments, the method for assisted endoscopy also includes: recognizing current movements of the endoscope; providing prompts in the gastrointestinal user interface when it is determined that the current movements of the endoscope do not correspond to standard movements of the endoscope.
Вариант осуществления 3Implementation option 3
Вариант осуществления настоящего изобретения обеспечивает устройство для вспомогательной эндоскопии, устройство для вспомогательной эндоскопии включает: запоминающее устройство, процессор и компьютерную программу, хранящуюся в запоминающем устройстве и выполняемую процессором;An embodiment of the present invention provides a device for assisted endoscopy, the device for assisted endoscopy includes: a memory device, a processor, and a computer program stored in the memory device and executed by the processor;
При выполнении компьютерной программы процессором реализуются этапы способа вспомогательной эндоскопии по любому из пунктов варианта осуществления 2. When executing the computer program, the processor implements the stages of the method of auxiliary endoscopy according to any of the points of embodiment 2.
Вариант осуществления 4Implementation option 4
Вариант осуществления настоящего изобретения обеспечивает машиночитаемый носитель данных, в машиночитаемом носителе данных хранится программа для вспомогательной эндоскопии, при выполнении программы для вспомогательной эндоскопии процессором реализуются этапы способа вспомогательной эндоскопии по любому из пунктов варианта осуществления 2.An embodiment of the present invention provides a machine-readable data carrier, in the machine-readable data carrier a program for assisted endoscopy is stored, when the program for assisted endoscopy is executed by the processor, the steps of the method for assisted endoscopy according to any of the points of embodiment 2 are implemented.
Для конкретной реализации вариантов осуществления 2-4 можно обратиться к варианту осуществления 1, который имеет соответствующие технические эффекты.For the specific implementation of embodiments 2 to 4, reference may be made to embodiment 1, which has the corresponding technical effects.
Следует отметить, что термины «включать», «содержать» или любые другие их варианты предназначены для охвата неисключительного включения, вследствие этого, процессы, способы, товары или устройства, содержащие ряд элементов, включают не только эти элементы, но и другие неявно перечисленные элементы или элементы, свойственные данным процессам, способам, товарам или устройствам. В случае отсутствия дальнейших ограничений фраза «включать один...», ограничивающая элементы, не исключает существования других подобных элементов в процессах, способах, товарах или устройствах, содержащих данные элементы.It should be noted that the terms "include", "contain" or any other variant thereof are intended to cover a non-exclusive inclusion, whereby processes, methods, goods or devices containing a number of elements include not only those elements but also other elements implicitly listed or elements inherent in those processes, methods, goods or devices. In the absence of further limitations, the phrase "include one..." limiting elements does not exclude the existence of other such elements in processes, methods, goods or devices containing those elements.
Вышеуказанные номера вариантов осуществления настоящего изобретения предназначены только для описания и не отражают преимущества и недостатки вариантов осуществления.The above numbers of embodiments of the present invention are for description only and do not reflect the advantages and disadvantages of the embodiments.
За счёт вышеуказанного описания способов реализации специалистам в данной области техники следует четко понимать, что способы реализации вышеуказанных вариантов осуществления могут быть реализованы посредством программного обеспечения и требуемой общей аппаратной платформы. Конечно, это также можно реализовать с помощью аппаратного обеспечения, однако во многих случаях первый вариант является наиболее оптимальным способом реализации. На основании такого понимания техническое решение настоящего изобретения или та часть, которая вносит вклад в предшествующий уровень техники, в большинстве случаев может быть воплощено в виде программного продукта. Данный компьютерный программный продукт хранится на носителе данных (таком как ПЗУ/ОЗУ, магнитный диск, оптический диск) и включает в себя ряд команд для вызова конечного устройства (это может быть мобильный телефон, компьютер, сервер, кондиционер или сеть и т.д.) с целью выполнения способа, предусмотренного в каждом варианте осуществления настоящего изобретения.Due to the above description of the implementation methods, it should be clearly understood by those skilled in the art that the implementation methods of the above embodiments can be implemented by means of software and the required general hardware platform. Of course, this can also be implemented by means of hardware, but in many cases the first option is the most optimal implementation method. Based on this understanding, the technical solution of the present invention or the part that contributes to the prior art can be implemented in most cases as a software product. This computer program product is stored on a storage medium (such as ROM/RAM, magnetic disk, optical disk) and includes a number of commands for calling the end device (this can be a mobile phone, a computer, a server, an air conditioner or a network, etc.) in order to perform the method provided in each embodiment of the present invention.
Варианты осуществления настоящего изобретения описаны совместно с вышеуказанными прилагаемыми чертежами, однако настоящее изобретение не ограничивается вышеупомянутыми конкретными способами реализации. Вышеупомянутые конкретные способы реализации являются лишь иллюстративными, а не ограничительными. Специалисты в данной области, вдохновленные настоящим изобретением, также могут создавать множество форм, которые попадают в объем защиты настоящего изобретения, не отступая от сущности и объема настоящего изобретения, защищенного формулой изобретения.Embodiments of the present invention are described in conjunction with the above-mentioned accompanying drawings, however, the present invention is not limited to the above-mentioned specific implementation methods. The above-mentioned specific implementation methods are merely illustrative and not restrictive. Those skilled in the art, inspired by the present invention, can also create many forms that fall within the scope of protection of the present invention, without departing from the spirit and scope of the present invention protected by the claims.
Claims (43)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210828744.7 | 2022-07-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2025101385A RU2025101385A (en) | 2025-02-26 |
| RU2842734C2 true RU2842734C2 (en) | 2025-07-01 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014512876A (en) * | 2011-02-18 | 2014-05-29 | デピュイ・シンセス・プロダクツ・エルエルシー | Tool with integrated navigation and guidance system and associated apparatus and method |
| RU143299U1 (en) * | 2013-03-14 | 2014-07-20 | Симбионикс Лтд. | MEDICAL PROCEDURE MODELING SYSTEM (OPTIONS) |
| CN109146884A (en) * | 2018-11-16 | 2019-01-04 | 青岛美迪康数字工程有限公司 | Endoscopy monitoring method and device |
| CN111415564A (en) * | 2020-03-02 | 2020-07-14 | 武汉大学 | Navigation method and system for pancreatic endoscopic ultrasonography based on artificial intelligence |
| US20220313375A1 (en) * | 2019-12-19 | 2022-10-06 | Noah Medical Corporation | Systems and methods for robotic bronchoscopy |
| CN113544743B (en) * | 2019-09-20 | 2024-03-12 | Hoya株式会社 | Endoscope processor, program, information processing method, and information processing device |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014512876A (en) * | 2011-02-18 | 2014-05-29 | デピュイ・シンセス・プロダクツ・エルエルシー | Tool with integrated navigation and guidance system and associated apparatus and method |
| RU143299U1 (en) * | 2013-03-14 | 2014-07-20 | Симбионикс Лтд. | MEDICAL PROCEDURE MODELING SYSTEM (OPTIONS) |
| CN109146884A (en) * | 2018-11-16 | 2019-01-04 | 青岛美迪康数字工程有限公司 | Endoscopy monitoring method and device |
| CN113544743B (en) * | 2019-09-20 | 2024-03-12 | Hoya株式会社 | Endoscope processor, program, information processing method, and information processing device |
| US20220313375A1 (en) * | 2019-12-19 | 2022-10-06 | Noah Medical Corporation | Systems and methods for robotic bronchoscopy |
| CN111415564A (en) * | 2020-03-02 | 2020-07-14 | 武汉大学 | Navigation method and system for pancreatic endoscopic ultrasonography based on artificial intelligence |
Non-Patent Citations (1)
| Title |
|---|
| LI HUANG. Impact of Computer-Assisted System on the Learning Curve and Quality in Esophagogastroduodenoscopy: Randomized Controlled Trial. Front. Med., Sec. Gastroenterology, опубл. 14.12.2021, doi: 10.3389/fmed.2021.781256, https://web.archive.org/web/20240604162126/https://pubmed.ncbi.nlm.nih.gov/34970565/. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12154680B2 (en) | Endoscopic image display method, apparatus, computer device, and storage medium | |
| US12217449B2 (en) | Systems and methods for video-based positioning and navigation in gastroenterological procedures | |
| US20180263568A1 (en) | Systems and Methods for Clinical Image Classification | |
| US20250143543A1 (en) | Method for Real-Time Detection of Objects, Structures or Patterns in a Video, an Associated System and an Associated Computer Readable Medium | |
| US20190034800A1 (en) | Learning method, image recognition device, and computer-readable storage medium | |
| CN110974306B (en) | A system for the identification and localization of pancreatic neuroendocrine tumors under endoscopic ultrasonography | |
| US20230206435A1 (en) | Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate | |
| US20220370153A1 (en) | Method, apparatus, device and computer storage medium for a medical assistance operation | |
| CN109328028A (en) | System and method for selecting images captured in vivo for display | |
| CN114372951A (en) | Nasopharyngeal carcinoma localization and segmentation method and system based on image segmentation convolutional neural network | |
| US12484760B2 (en) | Endoscope auxiliary examination system, method, apparatus, and storage medium | |
| CN117671573B (en) | Helicobacter pylori infection state identification method and device based on gastroscope image | |
| CN114359131A (en) | Helicobacter pylori stomach video full-automatic intelligent analysis system and marking method thereof | |
| RU2842734C2 (en) | System, method, device for auxiliary endoscopy, as well as data medium | |
| US12094113B2 (en) | Artificial intelligence-based gastroscopic image diagnosis assisting system and method | |
| CN114581408A (en) | A method for detection of gastroscopic polyps based on YOLOV5 | |
| Garbaz et al. | Bleeding Segmentation Based on a U-Formed Network with Separable Contextual Feature-Guided in Wireless Capsule Endoscopy Images | |
| CN112862754A (en) | System and method for prompting missing detection of retained image based on intelligent identification | |
| JP7704920B2 (en) | Artificial intelligence-based colon lesion detection method and device | |
| HK40073049B (en) | Endoscope-assisted inspection system, method, device and storage medium | |
| HK40073049A (en) | Endoscope-assisted inspection system, method, device and storage medium | |
| US20240386686A1 (en) | Electronic device interlocked with endoscope to perform endoscopic examination and method for performing endoscopic examination using the same | |
| Safavian | A novel endoscopic system for determining the size and location of polypoidal lesions in the upper gastrointestinal tract | |
| Daneshpajooh | Bronchoscopic Video Analysis Methods for Bronchial Lesion Detection | |
| KR20230111810A (en) | A method of detecting colon polyps through artificial intelligence-based blood vessel learning and a device thereof |