[go: up one dir, main page]

RU2408931C1 - Automated multifunctional system for analysis of object images - Google Patents

Automated multifunctional system for analysis of object images Download PDF

Info

Publication number
RU2408931C1
RU2408931C1 RU2009118744/08A RU2009118744A RU2408931C1 RU 2408931 C1 RU2408931 C1 RU 2408931C1 RU 2009118744/08 A RU2009118744/08 A RU 2009118744/08A RU 2009118744 A RU2009118744 A RU 2009118744A RU 2408931 C1 RU2408931 C1 RU 2408931C1
Authority
RU
Russia
Prior art keywords
objects
module
images
software
computer
Prior art date
Application number
RU2009118744/08A
Other languages
Russian (ru)
Inventor
Галина Михелевна Попова (RU)
Галина Михелевна Попова
Василий Николаевич Степанов (RU)
Василий Николаевич Степанов
Юрий Олегович Дружинин (RU)
Юрий Олегович Дружинин
Ирина Федоровна Дятчина (RU)
Ирина Федоровна Дятчина
Original Assignee
Учреждение Российской академии наук Институт проблем управления им. В.А. Трапезникова РАН
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Учреждение Российской академии наук Институт проблем управления им. В.А. Трапезникова РАН filed Critical Учреждение Российской академии наук Институт проблем управления им. В.А. Трапезникова РАН
Priority to RU2009118744/08A priority Critical patent/RU2408931C1/en
Application granted granted Critical
Publication of RU2408931C1 publication Critical patent/RU2408931C1/en

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

FIELD: information technologies. ^ SUBSTANCE: automated multifunctional system for analysis of object images oriented for collective use comprises a basic part of the system for collective use by biologists of various fields, consisting of a control computer, microscope with automatically controlled scanning stage, with focusing drive, software control drivers, with video input device. Meanwhile, software of control computer has modular incremental structure in the form of serially realised software modules, besides, control computer is combined in a network with personal computers of users, at the same time user uses basic part of system only to input images of frames of analysed preparations into computer. ^ EFFECT: expansion of system functional capabilities, reduced prime cost of system use, increased speed and accuracy of various object images processing and analysis. ^ 3 dwg

Description

Автоматизированная многофункциональная система анализа изображений объектов, ориентированная на коллективное использование, относится к области систем (устройств) компьютерной обработки, анализа, морфометрии, распознавания, идентификации, дифференцированного счета изображений разнотипных объектов (клеточных и тканевых структур медико-биологической природы) с целью совершенствования морфологической диагностики, уменьшения влияния человеческого фактора при формировании заключений о состоянии исследуемых препаратов и может быть использована как в повседневной деятельности биолога-практика в клинико-диагностических, патологоанатомических лабораториях медучреждений, так и для проведения научных и прикладных исследований в области гематологии, цитологии, гистологии, андрологии, урологии, онкологии, цитогенетики и во многих других областях медицины и биологии. Возможна и техническая область использования систем, например материаловедение.The automated multifunctional system for analyzing images of objects, focused on collective use, relates to the field of systems (devices) for computer processing, analysis, morphometry, recognition, identification, differentiated counting of images of different types of objects (cell and tissue structures of a biomedical nature) with the aim of improving morphological diagnostics , reducing the influence of the human factor in the formation of conclusions about the condition of the studied drugs and may be used both in the daily activities of a biologist in clinical diagnostic and pathological laboratories of medical institutions, as well as for conducting scientific and applied research in the field of hematology, cytology, histology, andrology, urology, oncology, cytogenetics and in many other areas of medicine and biology. A technical area for the use of systems is also possible, for example, materials science.

В настоящее время наблюдается неуклонный рост биологических исследований в биомедицинской практике, в частности, морфометрических исследований объектов медико-биологических материалов. До сих пор большинство морфометрических анализов и исследований мазков, препаратов проводятся ручным способом под микроскопом. Под микроскопом (с помощью окуляра с линейкой микрометра) ведется измерение и подсчет биологических объектов в препаратах.Currently, there is a steady increase in biological research in biomedical practice, in particular, morphometric studies of objects of biomedical materials. Until now, most morphometric analyzes and studies of smears, preparations are carried out manually under a microscope. Under a microscope (using an eyepiece with a micrometer ruler), biological objects are measured and counted in preparations.

Учитывая, что значительная часть объектов имеет сложную структуру и форму, «ручная» морфометрия, а следовательно, и идентификация их очень трудоемки и не исключают субъективизма и личностных факторов при оценке состояния препаратов, что сказывается на эффективности диагностики заболеваний.Given that a significant part of the objects has a complex structure and shape, “manual” morphometry, and therefore their identification, are very laborious and do not exclude subjectivity and personality factors in assessing the state of drugs, which affects the effectiveness of the diagnosis of diseases.

Для решения указанного круга задач в медицине начинают получать широкое распространение системы автоматического анализа и диагностики состояния биологических препаратов, основанные на применении компьютерных методов обработки, распознавания, морфометрии, идентификации, классификации и ряда других процедур.To solve this range of problems in medicine, systems of automatic analysis and diagnostics of the state of biological preparations based on the use of computer methods of processing, recognition, morphometry, identification, classification, and a number of other procedures are becoming widely used.

Известные системы являются близкими к предлагаемой многофункциональной системе автоматизированного анализа изображений объектов. «Автоматизация процессов анализа изображений медико-биологических микрообъектов». / Сб. трудов под ред. И.В.Прангишвили, Г.М.Попова, Вып.7. М.: ИПУ, 1998. Г.М.Попова, Ю.О.Дружинин, В.Н.Степанов и др. «Компьютерный морфометрический анализ изображений сперматозоидов» (система «Морфолог») // Системный анализ и управление в биомедицинских системах. 2004. Том 3. №4. С.282-288. «Способ диагностики возбудителей инфекционных и паразитарных болезней и установка для его осуществления». Изобретение (Патент RU №2123682, 01.07.1997) относится к области медицины и может применяться для диагностики возбудителей инфекционных и паразитарных болезней в исследуемом препарате. «Способ анализа клеточного состава крови по мазку». Изобретение (Патент RU №2147123, 16.12.1998) относится к области медицины и может применяться для подсчета лейкоцитарной формулы.Known systems are close to the proposed multifunctional system for the automated analysis of images of objects. "Automation of image analysis processes of biomedical micro-objects." / Sat proceedings under the editorship of I.V. Prangishvili, G.M. Popova, Issue 7. M: IPU, 1998. G.M. Popova, Yu.O. Druzhinin, V. N. Stepanov and others. "Computer morphometric analysis of sperm images" ("Morphologist" system) // System analysis and control in biomedical systems. 2004. Volume 3. No. 4. S.282-288. "A method for the diagnosis of pathogens of infectious and parasitic diseases and installation for its implementation." The invention (Patent RU No. 2123682, July 1, 1997) relates to the field of medicine and can be used to diagnose infectious and parasitic pathogens in the study drug. "A method of analyzing the cellular composition of blood by smear." The invention (Patent RU No. 2147123, 12.16.1998) relates to the field of medicine and can be used to calculate the white blood cell count.

Однако все эти системы узкоспециализированы т.е. ориентированы на конкретную диагностическую задачу, поэтому предназначены для обработки и анализа конкретных препаратов только с определенными типами объектов, причем многие из них требуют специальных красителей, а высокая стоимость подобных систем препятствует оснащению ими каждого рабочего места врача-биолога.However, all these systems are highly specialized i.e. focused on a specific diagnostic task, therefore, they are intended for processing and analysis of specific preparations only with certain types of objects, many of which require special dyes, and the high cost of such systems prevents them from equipping every workplace of a biologist.

Наиболее близкой к предлагаемому техническому решению является система «Морфолог - Сеть» - компьютерный морфометрический анализатор изображений разнотипных объектов для диагностики заболеваний (Г.М.Попова, Ю.О.Дружинин, В.Н.Степанов. «Компьютеризация анализов клеток и тканей в лабораторной диагностике и прикладных исследованиях» // Труды Института. М.: ИПУ им. В.А.Трапезникова, 2002. Том XVIII, с.140-156), принятая за прототип.Closest to the proposed technical solution is the system "Morphologist - Network" - a computer morphometric image analyzer of heterogeneous objects for diagnosing diseases (G.M. Popova, Yu.O. Druzhinin, V. N. Stepanov. "Computerization of cell and tissue analyzes in the laboratory diagnostics and applied research "// Proceedings of the Institute. M: IPA named after V.A. Trapeznikov, 2002. Volume XVIII, p.140-156), adopted as a prototype.

В этой работе заявителями проводится анализ основных технологических средств компьютерных анализаторов для решения различного класса задач диагностики состояний биологических препаратов. Показано, что стоимость узкоспециализированных систем препятствует оснащению ими каждого рабочего места врача-биолога, поэтому был предложен вариант совместного (централизованного) использования одной автоматизированной компьютерной (базовой) системы врачами разных специальностей. В этом случае возможно одну базовую часть системы (т.е. наиболее дорогостоящую ее часть: микроскоп с автоматически управляемым сканирующим столиком, с приводом фокусировки, драйверами программного управления, с устройством видеоввода и управляющий компьютер) поставить, например, в крупном медицинском центре, клинике, больнице либо в учебном медицинском институте и т.п. организациях и объединить ее локальной сетью с компьютерами, стоящими на рабочих местах в разнопрофильных диагностических лабораториях этих же организаций. Иными словами, предлагается централизованно использовать одну базовую часть системы только для ввода, предобработки и сохранения изображений микрообъектов с разных препаратов, с последующим распределением полученных изображений по компьютерам отдельных пользователей, для проведения (на рабочих местах) углубленного анализа, морфометрии, обучения, документирования, архивирования и т.д.In this work, the applicants analyze the basic technological tools of computer analyzers to solve a different class of problems in diagnosing the state of biological preparations. It is shown that the cost of highly specialized systems prevents them from equipping every workplace of a biologist, therefore, a variant of the joint (centralized) use of one automated computer (base) system by doctors of different specialties was proposed. In this case, it is possible to deliver one basic part of the system (i.e. its most expensive part: a microscope with an automatically controlled scanning table, with a focusing drive, program drivers, a video capture device and a control computer), for example, in a large medical center, clinic , hospital, or medical school, etc. organizations and unite it with a local network with computers at workplaces in diverse diagnostic laboratories of the same organizations. In other words, it is proposed to centrally use one basic part of the system only for inputting, preprocessing and saving images of microobjects from different drugs, with subsequent distribution of the received images to the computers of individual users, for carrying out (at work) in-depth analysis, morphometry, training, documentation, archiving etc.

Каждый пользователь при этом будет иметь в компьютере свои программные профильно-ориентированные оболочки для проведения анализов и исследований, тем более, что алгоритмы и требования к морфометрическому анализу клеточных и тканевых структур, как известно, существенно зависят от объектов анализируемых препаратов. Такое разнопрофильное использование системы позволяет наиболее полно загрузить базовую систему и избежать неэффективного использования дорогостоящего оптико-электронного оборудования.At the same time, each user will have their own profile-oriented software shells for analysis and research on the computer, especially since the algorithms and requirements for morphometric analysis of cellular and tissue structures, as you know, depend significantly on the objects of the analyzed drugs. Such diversified use of the system allows you to most fully load the base system and avoid the inefficient use of expensive optical-electronic equipment.

В отличие от специализированных компьютерных анализаторов система «Морфолог - Сеть» позволяет анализировать разнотипные изображения объектов, используя при этом одни и те же программные средства для ввода и обработки изображений, включая фильтрацию, сегментацию, выделение внешнего контура объекта и контуров, внутренних его элементов, проводить профильно-ориентированную морфометрию, классификацию, количественную дифференцированную диагностику состояний препаратов и многие др. процедуры.Unlike specialized computer analyzers, the Morphologist - Network system allows you to analyze different types of images of objects, using the same software for inputting and processing images, including filtering, segmentation, highlighting the external contour of an object and its contours, its internal elements, profile-oriented morphometry, classification, quantitative differentiated diagnosis of drug conditions and many other procedures.

Однако в системе «Морфолог - Сеть» отсутствуют технологические средства формализации и интерпретации постановки задачи пользователя, диагностики состояния исследуемых препаратов, построения описания исследуемых типов объектов, необходимые для организации процесса коллективного, многопрофильного использования системы по обработке и анализу разнотипных объектов. Все эти процедуры выполняются вне системы в процессе взаимодействия разработчиков с экспертами - специалистами исследуемой области.However, the Morphologist - Network system does not have the technological means of formalizing and interpreting the statement of the user problem, diagnosing the state of the studied drugs, building the description of the studied types of objects, which are necessary for organizing the process of collective, multidisciplinary use of the system for processing and analysis of diverse objects. All these procedures are performed outside the system in the process of interaction between developers and experts - specialists of the studied area.

Отметим также, что и технологические средства обработки и анализа разнотипных изображений требуют более эффективного и наглядного интерфейса, понятного пользователям, которые не являются техническими специалистами, это относится и к не менее важным интерактивно выполненным методам сегментации и логической фильтрации, причем и морфометрический анализ должен строиться в системе с учетом уже готовых блоков и возможностью их наращивания.We also note that technological means of processing and analyzing heterogeneous images require a more efficient and intuitive interface that is understandable to users who are not technical specialists, this also applies to equally important interactively performed methods of segmentation and logical filtering, and morphometric analysis should be built in system taking into account ready-made blocks and the possibility of building them up.

Техническим результатом предлагаемого изобретения является следующее:The technical result of the invention is the following:

- расширение функциональных возможностей системы за счет возможности анализа разнотипных изображений объектов; модульной структуры программного обеспечения управляющего компьютера, которая позволяет наращивать его функциональность без внесения изменений в основные программные модули, создавать специализированные модули применительно к решению задач пользователя, не предусмотренных программными средствами базовой системы; введение в базовую часть системы интеллектуального модуля формализации знаний специалистов (пользователей), программные средства которого позволяют пользователю в диалоговом режиме формализовать, структурировать и интерпретировать его знания в терминах процедур и программных структур системы, приводят изображения объектов к виду, удобному для распознавания, и предоставляют ряд других средств, необходимых для интерпретации правил по выработке диагностики объектов, дифференциально-диагностических заключений о состоянии препарата;- expanding the functionality of the system due to the possibility of analyzing diverse images of objects; the modular structure of the control computer software, which allows to increase its functionality without making changes to the main software modules, to create specialized modules for solving user tasks that are not provided for by the basic system software; introduction to the basic part of the system of an intelligent module for formalizing the knowledge of specialists (users), the software of which allows the user to formalize, structure, and interpret his knowledge in terms of procedures and program structures of the system, bring images of objects to a form convenient for recognition, and provide a number other means necessary to interpret the rules for the development of diagnostics of objects, differential diagnostic conclusions about the condition of the drug;

- снижение себестоимости использования системы за счет эффективного использования дорогостоящего оптико-электронного блока базовой части системы, так как управляющий компьютер, объединенный сетью с компьютерами пользователей, только первоначально организует и подготавливает все программные профильно-ориентированные процедуры для решения индивидуально-поставленной задачи пользователя; в дальнейшем, этот пользователь использует в базовой системе только оптико-электронный блок для ввода в компьютер изображений кадров, анализируемых им препаратов. Кроме того, программные средства модулей обработки и анализа изображений объектов являются практически универсальными для любых задач пользователей; доработке, а иногда просто настройке подлежат только профильно-ориентированные программы пользователей, что также значительно снижает себестоимость разработки программного обеспечения и, следовательно, всей системы в целом. Следует также отметить что, введение в базовую часть системы интеллектуального модуля формализации знаний специалистов позволило сократить время цикла создания новых программных средств для решения профильно-ориентированных задач пользователя, что также снижает себестоимость использования системы;- reducing the cost of using the system due to the efficient use of the expensive optoelectronic unit of the base part of the system, since the control computer, which is connected to the users ’computers by the network, only initially organizes and prepares all software-specific profile-oriented procedures for solving the individual task of the user; in the future, this user uses only the optical-electronic unit in the base system to enter images of the frames analyzed by him into the computer. In addition, the software modules for processing and analyzing images of objects are almost universal for any user tasks; Only profile-oriented user programs are subject to refinement, and sometimes just tuning, which also significantly reduces the cost of software development and, consequently, the entire system. It should also be noted that the introduction of an intelligent module to formalize the knowledge of specialists in the basic part of the system has reduced the cycle time of creating new software tools for solving user-oriented tasks, which also reduces the cost of using the system;

- повышение скорости и точности обработки и анализа изображений разнотипных объектов за счет введения новых способов сегментации и логической фильтрации, которые позволяют повысить достоверность результатов параметризации и идентификации объектов.- increasing the speed and accuracy of processing and analysis of images of heterogeneous objects by introducing new methods of segmentation and logical filtering, which can improve the reliability of the results of parameterization and identification of objects.

Технический результат достигается тем, что автоматизированная многофункциональная система анализа изображений объектов, ориентированная на коллективное использование, содержит базовую часть системы для коллективного (в режиме разделения времени) использования ее биологами разных специальностей, состоящую из управляющего компьютера, микроскопа с автоматически управляемым (моторизированным) сканирующим столиком, с приводом фокусировки, драйверами программного управления, с устройством видеоввода, при этом программное обеспечение управляющего компьютера имеет модульную, наращиваемую структуру в виде последовательно исполняемых программных модулей: модуля ввода в компьютер изображений кадров с биологического препарата, модуля предобработки, включая фильтрацию шумов и помех в кадре, модуля сегментации всех объектов на изображении кадра путем интерактивного порогового преобразования в пространствах цветовых признаков HSV или RGB, модуля логической фильтрации, который в интерактивном режиме удаляет все объекты, не подлежащие анализу, модуля построения контуров элементов объектов на отсегментированном изображении согласно их обобщенному структурному описанию, модуля параметризации изображений объектов, модуля идентификации и классификации объектов, модуля интегральной оценки состояния препарата, кроме того, базовая часть системы содержит интеллектуальный модуль формализации знаний специалистов предметной области, который функционально связан с модулями: сегментации, параметризации, распознавания и классификации объектов, а также с модулем интегральной оценки состояния препарата, причем управляющий компьютер объединен сетью с персональными компьютерами пользователей, программное обеспечение которых имеет аналогичные модули: предобработки, сегментации, логической фильтрации, построения контуров элементов объектов, параметризации изображений объектов, идентификации и классификации объектов, интегральной оценки состояния препарата, которые используют все структуры данных и программные средства, подготовленные в базовой части системы разработчиком или самим пользователем для решения индивидуально-поставленной им задачи; затем этот пользователь использует базовую часть системы только для ввода в компьютер изображений кадров анализируемых им препаратов.The technical result is achieved by the fact that an automated multifunctional system for analyzing images of objects, oriented to collective use, contains the base part of the system for collective (in time-sharing mode) use by biologists of various specialties, consisting of a control computer, a microscope with an automatically controlled (motorized) scanning table , with a focus drive, software control drivers, with a video capture device, with the software the control computer has a modular, scalable structure in the form of sequentially executable program modules: a module for inputting images of images from a biological preparation into a computer, a preprocessing module, including filtering noise and interference in the frame, and a segmentation module for all objects in the frame image by means of an interactive threshold transformation in color feature spaces HSV or RGB, a logical filtering module that interactively deletes all objects that are not subject to analysis, an electronic contouring module of object copies on a segmented image according to their generalized structural description, object image parametrization module, object identification and classification module, drug integral assessment module, in addition, the base part of the system contains an intellectual module for formalizing the knowledge of domain specialists, which is functionally connected with modules: segmentation , parameterization, recognition and classification of objects, as well as with the module for the integral assessment of the state of the drug, moreover, the slave computer is networked with personal computers of users whose software has similar modules: preprocessing, segmentation, logical filtering, building contours of object elements, parameterizing images of objects, identifying and classifying objects, integrated assessment of the state of the drug, which use all data structures and software prepared in the basic part of the system by the developer or by the user himself to solve the individually set by him for Achi; then this user uses the base part of the system only to enter images of the frames of the drugs he analyzes into the computer.

На фиг.1 приведена блок-схема аппаратной части системы.Figure 1 shows a block diagram of the hardware of the system.

На фиг.2 представлены программные модули базовой части системы.Figure 2 presents the software modules of the base part of the system.

На фиг.3 представлены программные модули компьютера пользователя.Figure 3 presents the software modules of the user's computer.

На фиг.1 приведена блок-схема аппаратной части предлагаемой многофункциональной системы, которая в базовой части системы 1 содержит:Figure 1 shows the block diagram of the hardware of the proposed multifunctional system, which in the base part of the system 1 contains:

- оптико-электронный блок 2, который представляет собой микроскоп с автоматически управляемым (моторизированным) сканирующим столиком, с приводом фокусировки, драйверами программного управления, с устройством видеоввода;- optoelectronic unit 2, which is a microscope with an automatically controlled (motorized) scanning table, with a focusing drive, program control drivers, and a video capture device;

- управляющий компьютер 3, объединенный локальной сетью 5 с компьютерами пользователей 4, представляет собой персональный компьютер типа Pentium или аналогичный ему, программное обеспечение которого имеет модульную, наращиваемую структуру в виде последовательно исполняемых программных модулей (6-13), представленных на фиг.2;- the control computer 3, connected by a local network 5 with computers of users 4, is a personal computer of the Pentium type or similar, the software of which has a modular, scalable structure in the form of sequentially executed program modules (6-13), shown in Fig.2;

- персональные компьютеры 4 пользователей, каждый из которых имеет программное обеспечение, организованное и подготовленное в базовой части системы 1 для решения профильно-ориентированной задачи пользователя.- personal computers of 4 users, each of which has software organized and prepared in the base part of system 1 for solving a profile-oriented user task.

Работу базовой части системы 1 можно изложить в виде последовательно исполняемых программных модулей, представленных на фиг.2:The work of the basic part of the system 1 can be stated in the form of sequentially executed software modules, presented in figure 2:

- модуль 6 ввода изображений, который обеспечивает ввод в компьютер анализируемых изображений либо из файлов различных форматов, либо с препаратов по кадрам с помощью микроскопа, устройства видеоввода с разными типами интерфейсов, например, twain, pvcam и т.д.;- image input module 6, which provides input into the computer of the analyzed images either from files of various formats or from preparations by frames using a microscope, a video capture device with different types of interfaces, for example, twain, pvcam, etc .;

- модуль 7 предобработки для фильтрации шумов и помех в кадре, который в зависимости от требований поставленной задачи использует различные типы фильтров: размытие по Гауссу, медианный, контрастирующий и т.д.;- pre-processing module 7 for filtering noise and interference in the frame, which, depending on the requirements of the task, uses various types of filters: Gaussian blur, median, contrast, etc .;

- модуль 8 сегментации объектов используется для сегментации всех изображений объектов и их внутренних элементов, введенных в компьютер; предлагаемый метод сегментации, в отличие от используемого метода в прототипе, выполняется путем интерактивного порогового преобразования в пространствах цветовых признаков HSV или RGB. В режиме настройки интерактивно определяются пороги преобразования путем указания пользователем на исходном изображении областей, соответствующих элементам объектов. Каждая область запоминается как массив опорных точек, обладающих эталонными цветовыми признаками для каждого однотипного элемента объектов. Сегментация осуществляется на основе сравнения расстояния в пространстве цветовых признаков между текущей точкой изображения и опорными точками, указанными ранее пользователем. Текущая точка считается принадлежащей тому элементу объекта, расстояние до опорной точки которого минимально. Данное расстояние можно модифицировать путем специально введенных для каждого элемента коэффициентов, настройка которых в интерактивном режиме позволяет смещать (изменять положение) границы между элементами. Для ускорения процесса сегментации результаты изменения параметров настроек сегментации (массивов опорных точек, коэффициентов элементов) отображаются в реальном времени в окне предварительного просмотра 100×100 пикселей, что позволяет настраивать параметры сегментации в интерактивном режиме, наблюдая, как изменение настроек отображается на результатах сегментации. Такие локальные преобразования областей (элементов объектов) обеспечивают эффективную обработку тонкоструктурных областей. Настройка проводится один раз для каждой серии препаратов, далее сегментация проводится автоматически. Она становится как бы специализированной для данной серии препаратов, хотя при изменении свойств красителей препаратов со временем возможна подстройка;- module 8 segmentation of objects is used to segment all images of objects and their internal elements entered into the computer; the proposed method of segmentation, in contrast to the method used in the prototype, is performed by interactive threshold conversion in the spaces of color signs HSV or RGB. In the setup mode, the conversion thresholds are interactively determined by specifying by the user on the source image the areas corresponding to the elements of the objects. Each area is remembered as an array of reference points with reference color features for each of the same element of objects. Segmentation is carried out on the basis of comparing the distance in the space of color features between the current image point and reference points previously specified by the user. The current point is considered to belong to that element of the object, the distance to the reference point of which is minimal. This distance can be modified by means of coefficients specially introduced for each element, the adjustment of which in the interactive mode allows shifting (changing the position) the boundaries between the elements. To speed up the segmentation process, the results of changing the parameters of segmentation settings (arrays of control points, element coefficients) are displayed in real time in a preview window of 100 × 100 pixels, which allows you to configure segmentation parameters in an interactive mode, observing how changes in settings are displayed on the segmentation results. Such local transformations of regions (elements of objects) provide efficient processing of fine-structured regions. Setup is carried out once for each series of drugs, then segmentation is carried out automatically. It becomes, as it were, specialized for this series of preparations, although with the change in the properties of the dyes of preparations, adjustment is possible over time;

- модуль 9 логической фильтрации (в отличие от используемого в прототипе, «ручного» способа удаления неанализируемых объектов путем закрашивания их цветом фона) удаляет в интерактивном режиме все объекты, не подлежащие анализу, с помощью фильтров по площади, по соприкосновению или несоприкосновению их с другими объектами;- logical filtering module 9 (in contrast to the “manual” method for deleting unanalyzed objects by painting them with the background color) interactively removes all objects that cannot be analyzed using filters by area, by touching or not touching them with others objects;

- модуль 10 построения контуров элементов объектов на отсегментированном изображении согласно их обобщенному структурному описанию, получения описания объектов в виде хорд, формирования остовов и других видов семантического описания объектов.- module 10 for constructing the contours of the elements of objects on a segmented image according to their generalized structural description, obtaining descriptions of objects in the form of chords, the formation of cores and other types of semantic description of objects.

Последующие модули (11-13) работают с описанием объектов, и их работа зависит от задачи пользователя:The following modules (11-13) work with the description of objects, and their work depends on the user's task:

- модуль 11 параметризации объектов выполняет расчет геометрических, топологических и статистических параметров всех анализируемых объектов и их внутренних элементов, причем весь морфометрический анализ строится с учетом уже готовых блоков и возможностью их наращивания; при этом окончательные количественные диагностические признаки (параметры) для идентификации разнотипных объектов формируются на основе статистического анализа;- module 11 parameterization of objects performs the calculation of geometric, topological and statistical parameters of all analyzed objects and their internal elements, and the entire morphometric analysis is built taking into account ready-made blocks and the possibility of building them up; the final quantitative diagnostic signs (parameters) for identifying heterogeneous objects are formed on the basis of statistical analysis;

- модуль 12 идентификации и классификации объектов выполняет идентификацию и классификацию объектов на основе сформированных диагностических признаков с использованием логических деревьев или нейронных сетей;- module 12 identification and classification of objects performs identification and classification of objects based on the generated diagnostic features using logical trees or neural networks;

- модуль 13 интегральной оценки состояния препарата проводит дифференцированный счет всех проанализированных объектов в препарате и на основании сформированных правил диагностики препарата в модуле формализации знаний специалистов выдает компьютерное заключение о состоянии препарата.- module 13 of the integral assessment of the state of the drug conducts a differential account of all analyzed objects in the drug and, based on the generated rules for diagnosing the drug in the module for formalizing the knowledge of specialists, issues a computer report on the state of the drug.

Особо следует остановиться на модуле 14 формализации знаний специалистов, который функционально связан с модулями сегментации, параметризации, распознавания и классификации объектов, а также с модулем интегральной оценки состояния препарата и предназначен для интерпретации, формализации и структурирования знаний пользователя в терминах процедур и программных структур системы, для приведения описания исследуемых типов объектов к виду, удобному для распознавания, интерпретации правил их диагностики и правил по выработке диагностических заключений о состоянии препарата.Special attention should be paid to the module 14 of formalization of specialist knowledge, which is functionally connected with the modules of segmentation, parameterization, recognition and classification of objects, as well as with the module for the integral assessment of the state of the drug and is intended to interpret, formalize and structure user knowledge in terms of procedures and program structures of the system, to bring the description of the studied types of objects to a form convenient for recognition, interpretation of the rules for their diagnosis and rules for the development of diagnostic their opinions on the state of preparation.

При поддержке данного модуля пользователь, не являющийся техническим специалистом, может, используя пассивный диалог (инициатива его ведения принадлежит программной системе), сформулировать задачу, не предусмотренную в данный момент в системе, и ввести всю необходимую информацию по ней. Таким образом, он получает возможность самостоятельно решать в системе свои задачи стандартными средствами обработки и анализа изображений базовой системы, без создания специализированных модулей. Если же разработка таких модулей все же окажется необходимой, то их интеграция в систему не затронет уже созданные модули предварительной обработки и сегментации, а преобразование изображения к семантическому описанию объектов на нем будет выполнено уже имеющимися универсальными средствами.With the support of this module, a user who is not a technical specialist can, using a passive dialogue (the initiative for maintaining it, belongs to the software system), formulate a task that is not currently provided for in the system and enter all the necessary information on it. Thus, he gets the opportunity to independently solve his problems in the system using standard means of processing and analyzing images of the base system, without creating specialized modules. If the development of such modules is nevertheless necessary, then their integration into the system will not affect the already created pre-processing and segmentation modules, and the image will be converted to a semantic description of objects on it using existing universal tools.

Подготовленные в модулях 7-13 базовой части системы программные средства обработки и анализа конкретного типа объектов передаются в модули 15-21 компьютера 4 пользователя, затребовавшего решение поставленной им задачи и который в дальнейшем использует базовую часть системы исключительно для формирования файлов изображений своих препаратов.The software for processing and analysis of a specific type of objects prepared in modules 7-13 of the base part of the system is transferred to modules 15-21 of the computer 4 of the user who has requested a solution to his task and who subsequently uses the base part of the system exclusively for generating image files of his preparations.

Claims (1)

Автоматизированная многофункциональная система анализа изображений объектов, ориентированная на коллективное использование, характеризующаяся тем, что содержит базовую часть системы для коллективного (в режиме разделения времени) использования ее биологами разных специальностей, состоящую из управляющего компьютера, микроскопа с автоматически управляемым (моторизированным) сканирующим столиком, с приводом фокусировки, драйверами программного управления, с устройством видеоввода; при этом программное обеспечение управляющего компьютера имеет модульную, наращиваемую структуру в виде последовательно исполняемых программных модулей: модуля ввода в компьютер изображений кадров с биологического препарата, модуля предобработки, включая фильтрацию шумов и помех в кадре, модуля сегментации всех объектов на изображении кадра путем интерактивного порогового преобразования в пространствах цветовых признаков HSV или RGB, модуля логической фильтрации, который в интерактивном режиме удаляет все объекты, не подлежащие анализу, модуля построения контуров элементов объектов на отсегментированном изображении согласно их обобщенному структурному описанию, модуля параметризации изображений объектов, модуля идентификации и классификации объектов, модуля интегральной оценки состояния препарата, кроме того, базовая часть системы содержит интеллектуальный модуль формализации знаний специалистов предметной области, который функционально связан с модулями: сегментации, параметризации, распознавания и классификации объектов, а также с модулем интегральной оценки состояния препарата, причем управляющий компьютер объединен сетью с персональными компьютерами пользователей, программное обеспечение которых имеет модули: предобработки, сегментации, логической фильтрации, построения контуров элементов объектов, параметризации изображений объектов, идентификации и классификации объектов, интегральной оценки состояния препарата, которые используют все структуры данных и программные средства, подготовленные в базовой части системы разработчиком или самим пользователем для решения индивидуально-поставленной им задачи; затем этот пользователь использует базовую часть системы только для ввода в компьютер изображений кадров анализируемых им препаратов. An automated multifunctional system for analyzing images of objects, focused on collective use, characterized in that it contains the basic part of the system for collective (in time-sharing mode) use by biologists of various specialties, consisting of a control computer, a microscope with an automatically controlled (motorized) scanning table, with focusing drive, program control drivers, with video capture device; the control computer software has a modular, scalable structure in the form of sequentially executable software modules: a module for inputting images of images from a biological preparation into a computer, a preprocessing module, including filtering noise and interference in the frame, and a segmentation module for all objects in the frame image by means of an interactive threshold transformation in the color spaces of HSV or RGB, a logical filtering module that interactively deletes all objects that cannot be analyzed memory, the module for constructing the contours of the elements of objects on a segmented image according to their generalized structural description, the module for parameterizing images of objects, the module for identifying and classifying objects, the module for integral assessment of the state of the drug, in addition, the basic part of the system contains an intellectual module for formalizing the knowledge of specialists in the subject area, which is functionally connected with modules: segmentation, parametrization, recognition and classification of objects, as well as with the integrated assessment module the status of the drug, and the control computer is networked with personal computers of users whose software has the following modules: preprocessing, segmentation, logical filtering, contouring of object elements, parameterization of object images, identification and classification of objects, integrated assessment of the state of the drug, which use all structures data and software tools prepared in the basic part of the system by the developer or by the user to solve an individual but his task; then this user uses the base part of the system only to enter images of the frames of the drugs analyzed by him into the computer.
RU2009118744/08A 2009-05-18 2009-05-18 Automated multifunctional system for analysis of object images RU2408931C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2009118744/08A RU2408931C1 (en) 2009-05-18 2009-05-18 Automated multifunctional system for analysis of object images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2009118744/08A RU2408931C1 (en) 2009-05-18 2009-05-18 Automated multifunctional system for analysis of object images

Publications (1)

Publication Number Publication Date
RU2408931C1 true RU2408931C1 (en) 2011-01-10

Family

ID=44054730

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2009118744/08A RU2408931C1 (en) 2009-05-18 2009-05-18 Automated multifunctional system for analysis of object images

Country Status (1)

Country Link
RU (1) RU2408931C1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2485585C1 (en) * 2012-04-23 2013-06-20 Государственное бюджетное образовательное учреждение высшего профессионального образования "Смоленская государственная медицинская академия" Министерства здравоохранения и социального развития Российской Федерации Method for computer processing of images of histologic micropreparations
RU2534723C1 (en) * 2013-04-23 2014-12-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Method for determining parameters of suspended particles of arbitrary shape
RU2730112C1 (en) * 2020-03-02 2020-08-17 ООО "Ай Ти Ви групп" System and method of identifying objects in composite object

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136582A1 (en) * 1996-08-23 2004-07-15 Bacus Laboratories, Inc. Apparatus for remote control of a microscope
RU2295297C2 (en) * 2003-12-02 2007-03-20 Александр Васильевич Жукоцкий Method for studying and predicting the state of biological object or its part
WO2008028944A1 (en) * 2006-09-06 2008-03-13 Leica Microsystems Cms Gmbh Method and microscopic system for scanning a sample
RU2330265C1 (en) * 2007-05-14 2008-07-27 Государственное образовательное учреждение высшего профессионального образования Московский инженерно-физический институт (государственный университет) Method for automated microscopic examination of specimens

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040136582A1 (en) * 1996-08-23 2004-07-15 Bacus Laboratories, Inc. Apparatus for remote control of a microscope
RU2295297C2 (en) * 2003-12-02 2007-03-20 Александр Васильевич Жукоцкий Method for studying and predicting the state of biological object or its part
WO2008028944A1 (en) * 2006-09-06 2008-03-13 Leica Microsystems Cms Gmbh Method and microscopic system for scanning a sample
RU2330265C1 (en) * 2007-05-14 2008-07-27 Государственное образовательное учреждение высшего профессионального образования Московский инженерно-физический институт (государственный университет) Method for automated microscopic examination of specimens

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ПОПОВА Г.М., ДРУЖИНИН Ю.О., СТЕПАНОВ В.Н. Труды Института. Том XVIII. - М.:Российская академия наук Институт проблем управления им. В.А.Трапезникова, 2002, с.140-156. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2485585C1 (en) * 2012-04-23 2013-06-20 Государственное бюджетное образовательное учреждение высшего профессионального образования "Смоленская государственная медицинская академия" Министерства здравоохранения и социального развития Российской Федерации Method for computer processing of images of histologic micropreparations
RU2534723C1 (en) * 2013-04-23 2014-12-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Method for determining parameters of suspended particles of arbitrary shape
RU2730112C1 (en) * 2020-03-02 2020-08-17 ООО "Ай Ти Ви групп" System and method of identifying objects in composite object

Similar Documents

Publication Publication Date Title
Pallua et al. The future of pathology is digital
Tiwari et al. Detection of subtype blood cells using deep learning
Guerrero et al. Software tools and platforms in digital pathology: a review for clinicians and computer scientists
Lyashenko et al. Wavelet analysis and contrast modification in the study of cell structures images
Li et al. The image-based analysis and classification of urine sediments using a LeNet-5 neural network
Albayrak Classification of analyzable metaphase images using transfer learning and fine tuning
Al-Jabbar et al. Analyzing histological images using hybrid techniques for early detection of multi-class breast cancer based on fusion features of CNN and handcrafted
RU2408931C1 (en) Automated multifunctional system for analysis of object images
Liu et al. Automatic identification of fungi under complex microscopic fecal images
JP2023552701A (en) Antimicrobial susceptibility testing using recurrent neural networks
Xia et al. AI-enabled microscopic blood analysis for microfluidic COVID-19 hematology
Eshwar Exploring the potential of artificial intelligence in healthcare: possibilities and challenges
Goswami et al. Explainable artificial intelligence and deep learning methods for the detection of sickle cell by capturing the digital images of blood smears
Kılıç Attention-Based Dual-Path Deep Learning for Blood Cell Image Classification Using ConvNeXt and Swin Transformer
Singh et al. A systematic survey on biological cell image segmentation and cell counting techniques in microscopic images using machine learning
Monteiro et al. An artificial intelligent cognitive approach for classification and recognition of white blood cells employing deep learning for medical applications
Almadhoun et al. Automated recognition of urinary microscopic solid particles
Kapruwan et al. Artificial intelligence enabled diagnostic digital cytopathology system for cervical intraepithelial neoplasia detection: Advantages and challenges
Demichelis et al. TMABoost: an integrated system for comprehensive management of tissue microarray data
Guo et al. A novel glomerular basement membrane segmentation using neutrsophic set and shearlet transform on microscopic images
Berezsky et al. Design of computer systems for biomedical image analysis
López-Córdova et al. Construction of a New Data Set of Pleural Fluid Cytological Images for Research.
Yumang et al. Real-time plasmodium falciparum parasitemia using natural neighbor interpolation
Giansanti et al. Design of a process for image improvement in digital cytology: A preliminary technology assessement
Sucaet et al. Digital Pathology’s Past to Present

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20180519