ES3014064T3

ES3014064T3 - Robotized imaging system

Info

Publication number: ES3014064T3
Application number: ES22737667T
Authority: ES
Inventors: Eelko Ronner; Robert Riezebos; Kenrick Trip; Fabian Ballast; Ying Zhang; Van Dijk Janne Willems; Stijn Nick Van; Rembrandt Klazinga; Patil Sandeep Dhareendra
Original assignee: Corbotics BV
Current assignee: Corbotics BV
Priority date: 2021-07-06
Filing date: 2022-07-06
Publication date: 2025-04-16
Anticipated expiration: 2042-07-06
Also published as: US20240115235A1; EP4255311A1; NL2028640B1; CN117279573A; WO2023282743A1; EP4255311B1

Abstract

Se describe un sistema robotizado de obtención de imágenes por ultrasonido que comprende: un sistema robótico configurado para posicionar una sonda de ultrasonido contra una parte del cuerpo de un objeto, p. ej., un objeto humano, posicionado sobre una estructura de soporte, preferiblemente una estructura de soporte horizontal, y para mover la sonda de ultrasonido sobre la parte del cuerpo; y un sistema informático que comprende: un módulo generador de datos configurado para controlar el sistema robótico con el fin de generar datos de entrenamiento clínico para un algoritmo de aprendizaje automático, comprendiendo los datos de entrenamiento clínico imágenes de ultrasonido asociadas con una o más vistas objetivo de tejido interno y/u órganos del objeto, estando cada vista objetivo asociada con una posición objetivo de la sonda de ultrasonido, incluyendo además los datos de entrenamiento para cada posición objetivo una pluralidad de posiciones de entrenamiento de la sonda con respecto a una posición objetivo e incluyendo información de dirección asociada con la pluralidad de posiciones de entrenamiento, definiendo la información de dirección para cada posición de entrenamiento una dirección, preferiblemente un vector, que apunta hacia la posición objetivo; un módulo de aprendizaje automático que comprende un algoritmo de aprendizaje automático entrenado, que se entrena en función de los datos de entrenamiento clínico, estando configurado el módulo de aprendizaje automático para recibir una o más imágenes de ultrasonido capturadas por la sonda en una posición actual de la sonda al moverse sobre la superficie de la parte del cuerpo del objeto y para determinar para la posición actual de la sonda información de dirección estimada, preferiblemente un vector estimado, que define una dirección que apunta desde la posición actual de la sonda hacia una posición estimada de la sonda asociada con la vista objetivo en función de una o más imágenes de ultrasonido; y, un módulo de ejecución configurado para controlar de forma autónoma el sistema robótico, incluyendo el control: mover la sonda sobre la superficie de la parte del cuerpo del objeto para encontrar una posición de sonda óptima para cada una de las una o más vistas objetivo en función de la información de dirección estimada generada por el algoritmo de aprendizaje automático entrenado para diferentes posiciones de la sonda y para capturar en la posición de sonda óptima para cada una de las una o más vistas objetivo, una o más imágenes del tejido interno y/o de los órganos. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Sistema de obtención de imágenes robotizado

Campo técnico

Las realizaciones en esta divulgación se refieren a sistemas de obtención de imágenes robotizados.

Antecedentes

Las enfermedades cardiovasculares son la principal causa de mortalidad a nivel mundial. Unos medios esenciales para la identificación de tales enfermedades son un sistema de obtención de imágenes por ultrasonidos conocido como ecocardiografía, una técnica de obtención de imágenes acústica para generar ecocardiogramas. Más generalmente, la sonografía o la ultrasonografía es una técnica de obtención de imágenes de diagnóstico importante para muchos procedimientos médicos, en la que se usan ondas de ultrasonidos para crear una imagen de estructuras corporales internas tales como tendones, músculos, articulaciones, vasos sanguíneos y órganos internos. Realizar e interpretar sonogramas es un trabajo cualificado. Por ejemplo, se captan imágenes de ultrasonidos en desde 14 hasta 37 direcciones de vista diferentes durante una exploración completa del corazón por un especialista médico, en el que cada una de estas vistas está asociada con diferentes posiciones y orientaciones de la sonda con respecto al cuerpo.

Durante este procedimiento, un especialista médico posicionará manualmente una sonda de ultrasonidos en una posición predeterminada de tal manera que la dirección de vista objetivo se muestra en un elemento de visualización. Cuando el elemento de visualización muestra la imagen correcta, se grabará un vídeo corto que muestra el movimiento del corazón. Este procedimiento se repetirá para cada una de las vistas requeridas. Con el fin de minimizar los efectos de interferencia en las imágenes debido a objetos y/o tejido cerca del corazón, tal como (partes de) la caja torácica y tejido pulmonar, la postura del paciente (tumbado sobre la espalda o el costado en una determinada postura) se cambiará dependiendo de la dirección de vista que se graba.

El resultado de la exploración es un conjunto de imágenes de ultrasonidos asociadas con diferentes direcciones de vista que pueden analizarse por el especialista médico. Sin embargo, debido a la escasez de especialistas médicos experimentados, hay un alto umbral y/o tiempo de espera relativamente largo para que un paciente se someta a una exploración, aumentando el riesgo de hospitalización y algunas veces consecuencias médicas graves para un paciente.

Para aliviar la presión en los especialistas médicos, existe una necesidad de automatizar los esquemas de obtención de imágenes médicas, tales como un esquema de ecocardiografía, para pacientes de rutina de modo que no se necesite, o al menos se minimice, la interferencia humana. Se conocen sistemas de obtención de imágenes robotizados en los que un brazo robótico que comprende una sonda de obtención de imágenes se controla para producir imágenes de un paciente. Por ejemplo, el documento WO2019/174953 describe un sistema de obtención de imágenes robotizado que incluye un brazo robótico que puede controlarse para posicionar una sonda de obtención de imágenes en una posición predeterminada en una parte corporal de un paciente tumbado sobre la espalda (en posición en decúbito supino) sobre una cama. Un sistema robótico está configurado para controlar el brazo robótico basándose en un sistema de red neuronal, que se entrena para recibir una imagen de ultrasonidos generada por la sonda y para producir una señal de control para que el sistema robótico mueva la sonda en una dirección a una posición objetivo. El sistema de red neuronal incluye diferentes redes neuronales funcionales que se necesita entrenar basándose en datos, que están en gran parte relacionados con datos sintéticos producidos basándose en un maniquí y en otra parte datos clínicos manualmente etiquetados. Los datos se usan posteriormente para entrenar a una red neuronal para posicionar la sonda en una posición objetivo que está asociada con una propiedad clínica predeterminada. Sin embargo, este sistema no está adaptado para producir de manera autónoma una exploración médica del corazón de un paciente en múltiples direcciones de vista para producir una serie de ecocardiogramas de múltiples vistas que son similares o sustancialmente similares a los producidos por un sonógrafo experimentado. El documento US2020/194117 describe un sistema de ultrasonidos robótico controlado de manera remota en el que se usa un modelo de aprendizaje automático para examinar imágenes de cámara convencionales del paciente para determinar zonas del paciente que no deben entrar en contacto con la sonda de ultrasonidos. Este sistema tampoco está adaptado para producir de manera autónoma una exploración médica del corazón de un paciente en múltiples direcciones de vista para producir una serie de ecocardiogramas de múltiples vistas.

Un problema adicional se refiere al hecho de que entrenar a una red neuronal para un gran número de vistas tal como se requiere para una exploración completa por un sonógrafo requiere grandes cantidades de datos etiquetados, preferiblemente datos clínicos de una determinada calidad. Tales datos no están disponibles y producir manualmente tales cantidades de datos resulta difícil y caro.

Por tanto, a partir de lo anterior, se desprende que existe una necesidad en la técnica de métodos y sistemas mejorados para un sistema de obtención de imágenes por ultrasonidos robotizado, tal como un sistema de ecocardiografía por ultrasonidos, en particular existe una necesidad de métodos y sistemas para obtención de imágenes por ultrasonidos robotizada configurados para determinar de manera autónoma un conjunto ecocardiográfico completo de imágenes para diferentes vistas que tenga la misma calidad que un conjunto de imágenes determinado por un sonógrafo que usa un sistema de ecocardiografía convencional.

Sumario

Tal como apreciará un experto en la técnica, aspectos de la presente invención se implementan como un sistema.

Aspectos de la presente divulgación pueden adoptar la forma de una realización completamente de hardware, una realización completamente de software (incluyendo firmware, software residente, microcódigo, etc.) o una realización que combina aspectos de software y de hardware que pueden determinarse todas ellas de manera general en el presente documento “circuito”, “módulo” o “sistema”. Las funciones descritas en esta divulgación pueden implementarse como un algoritmo ejecutado por un microprocesador de un ordenador. Además, aspectos de la presente divulgación pueden adoptar la forma de un producto de programa informático implementado en uno o más medios legibles por ordenador que tienen código de programa legible por ordenador implementado, por ejemplo, almacenado en los mismos.

Puede usarse cualquier combinación de uno o más medios legibles por ordenador. El medio legible por ordenador puede ser un medio de señal legible por ordenador o un medio de almacenamiento legible por ordenador. Un medio de almacenamiento legible por ordenador puede ser, por ejemplo, pero sin limitarse a, un sistema, aparato o dispositivo electrónico, magnético, óptico, electromagnético, de infrarrojos o semiconductor, o cualquier combinación adecuada de los anteriores. Ejemplos más específicos (una lista no exhaustiva) del medio de almacenamiento legible por ordenador incluirá los siguientes: una conexión eléctrica que tiene uno o más cables, un disquete informático portátil, un disco duro, una memoria de acceso aleatorio (RAM), una memoria de sólo lectura (ROM), una memoria de sólo lectura programable y borrable (EPROM o memoria flash), una fibra óptica, una memoria de sólo lectura de disco compacto portátil (CD-ROM), un dispositivo de almacenamiento óptico, un dispositivo de almacenamiento magnético, o cualquier combinación adecuada de los anteriores. En el contexto de este documento, un medio de almacenamiento legible por ordenador puede ser cualquier medio tangible que puede contener, o almacenar, un programa para su uso por, o en conexión con, un sistema, aparato o dispositivo de ejecución de instrucciones.

Un medio de señal legible por ordenador puede incluir una señal de datos propagada con código de programa legible por ordenador implementado en la misma, por ejemplo, en banda base o como parte de una onda portadora. Una señal propagada de este tipo puede adoptar cualquiera de una variedad de formas, incluyendo, pero sin limitarse a, electromagnética, óptica o cualquier combinación adecuada de las mismas. Un medio de señal legible por ordenador puede ser cualquier medio legible por ordenador que no es un medio de almacenamiento legible por ordenador y que puede comunicar, propagar o transportar un programa para su uso por, o en conexión con, un sistema, aparato o dispositivo de ejecución de instrucciones.

Código de programa implementado en un medio legible por ordenador puede transmitirse usando cualquier medio apropiado, incluyendo, pero sin limitarse a, de manera inalámbrica, por línea cableada, fibra óptica, cable, RF, etc., o cualquier combinación adecuada de los anteriores. Código de programa informático para llevar a cabo operaciones para aspectos de la presente invención puede escribirse en cualquier combinación de uno o más lenguajes de programación, incluyendo un lenguaje de programación orientado a objetos tal como Java(TM), Smalltalk, C++ o similares, y lenguajes de programación por procedimientos convencionales, tales como el lenguaje de programación “C” o lenguajes de programación similares. El código de programa puede ejecutarse completamente en el ordenador del usuario, parcialmente en el ordenador del usuario, como paquete de software autónomo, parcialmente en el ordenador del usuario y parcialmente en un ordenador remoto, o completamente en el ordenador remoto o servidor. En esta última situación, el ordenador remoto puede estar conectado al ordenador del usuario a través de cualquier tipo de red, incluyendo una red de área local (LAN) o una red de área amplia (WAN), o la conexión puede realizarse con un ordenador externo (por ejemplo, a través de Internet usando un proveedor de servicios de Internet).

A continuación se describen aspectos de la presente divulgación con referencia a ilustraciones de diagramas de flujo y/o diagramas de bloques de métodos, aparatos (sistemas) y productos de programa informático según la divulgación.

Se entenderá que cada bloque de las ilustraciones de diagramas de flujo y/o diagramas de bloques, y combinaciones de bloques en las ilustraciones de diagramas de flujo y/o diagramas de bloques, puede implementarse mediante instrucciones de programa informático. Estas instrucciones de programa informático pueden proporcionarse a un procesador, en particular un microprocesador o unidad de procesamiento central (CPU) o una unidad de procesamiento gráfico (GPU), de un ordenador de propósito general, ordenador de propósito especial u otro aparato de procesamiento de datos programable para producir una máquina, de tal manera que las instrucciones, que se ejecutan mediante el procesador del ordenador, otro aparato de procesamiento de datos programable u otros dispositivos, crean medios para implementar las funciones/acciones especificadas en el bloque o bloques del diagrama de flujo y/o diagrama de bloques.

Estas instrucciones de programa informático también pueden almacenarse en un medio legible por ordenador que puede dirigir un ordenador, otro aparato de procesamiento de datos programable u otros dispositivos para funcionar de una manera particular, de tal manera que las instrucciones almacenadas en el medio legible por ordenador producen un artículo de fabricación que incluye instrucciones que implementan la función/acción especificada en el bloque o bloques del diagrama de flujo y/o diagrama de bloques.

Las instrucciones de programa informático también pueden cargarse en un ordenador, otro aparato de procesamiento de datos programable u otros dispositivos para hacer que se realice una serie de etapas operativas en el ordenador, otro aparato programable u otros dispositivos para producir un procedimiento implementado por ordenador de tal manera que las instrucciones que se ejecutan en el ordenador u otro aparato programable proporcionan procedimientos para implementar las funciones/acciones especificadas en el bloque o bloques del diagrama de flujo y/o diagrama de bloques. Adicionalmente, las instrucciones pueden ejecutarse mediante cualquier tipo de procesadores, incluyendo, pero sin limitarse a, uno o más procesadores de señales digitales (DSP), microprocesadores de propósito general, circuitos integrados específicos de aplicación (ASIC), matrices lógicas programables en el campo (FPGA) u otro conjunto de circuitos lógico discreto o integrado.

El diagrama de flujo y diagramas de bloques en las figuras ilustran la arquitectura, funcionalidad y funcionamiento de posibles implementaciones de sistemas, métodos y productos de programa informático según la presente divulgación.

Con respecto a esto, cada bloque en el diagrama de flujo o diagramas de bloques puede representar un módulo, segmento o porción de código, que comprende una o más instrucciones ejecutables para implementar la(s) función/funciones lógica(s) especificada(s). También debe observarse que, en algunas implementaciones alternativas, las funciones indicadas en los bloques pueden producirse fuera del orden indicado en las figuras. Por ejemplo, dos bloques mostrados en sucesión pueden ejecutarse, en realidad, de manera sustancialmente simultánea, o los bloques pueden ejecutarse algunas veces en orden inverso, dependiendo de la funcionalidad implicada. También se indicará que cada bloque de los diagramas de bloques y/o ilustraciones de diagramas de flujo, y combinaciones de bloques en los diagramas de bloques y/o ilustraciones de diagramas de flujo, puede implementarse mediante sistemas basados en hardware de propósito especial que realizan las funciones o acciones especificadas, o combinaciones de hardware de propósito especial e instrucciones informáticas.

Un objetivo de las realizaciones en esta solicitud es proporcionar sistemas para obtención de imágenes médica robotizada, tal como ecografía por ultrasonidos, que permitan la determinación autónoma de un conjunto completo de imágenes de diferentes vistas objetivo.

En un aspecto, una realización se refiere a un sistema de obtención de imágenes por ultrasonidos robotizado según la reivindicación 1.

En una realización, el módulo de generación de datos puede estar configurado además para determinar una pluralidad de posiciones de entrenamiento para la sonda dentro de una zona de recopilación de datos predeterminada definida alrededor de una posición objetivo; mover la sonda hasta cada una de las posiciones de entrenamiento y captar una o más imágenes para cada una de las posiciones de entrenamiento; asociar la una o más imágenes asociadas con una posición de entrenamiento con información de dirección, incluyendo la información de dirección coordenadas de un vector que apunta desde la posición de entrenamiento hasta la posición objetivo; y, almacenar la una o más imágenes e información de dirección asociada como datos de entrenamiento clínicos en un medio de almacenamiento.

En una realización, el sistema puede comprender además un módulo de entrenamiento configurado para: proporcionar una imagen asociada con una posición de entrenamiento a la entrada del algoritmo de aprendizaje automático, estando la imagen asociada con información de dirección que define una dirección objetivo, preferiblemente un vector objetivo, que apunta desde la posición de entrenamiento hacia una posición objetivo; recibir información de dirección estimada, preferiblemente un vector estimado, a partir de la salida del algoritmo de aprendizaje automático y evaluar la información de dirección estimada basándose en el vector objetivo y una función de pérdida; ajustar parámetros de entrenamiento del algoritmo de aprendizaje automático basándose en la evaluación de la información de dirección estimada; y, repetir el procedimiento de proporcionar una imagen a la entrada del algoritmo de aprendizaje automático, evaluar la salida de la red neuronal profunda y ajustar los parámetros de entrenamiento, hasta que la evaluación indica que el vector estimado coincide sustancialmente con el vector.

En una realización, el módulo de ejecución puede estar configurado para: mover la sonda hasta una primera posición de sonda contra una parte corporal de un paciente y captar una o más primeras imágenes en la primera posición de sonda; proporcionar la una o más primeras imágenes a una red neuronal profunda para determinar información de dirección estimada asociada con la primera posición de sonda, definiendo la información de posición estimada una dirección estimada que apunta desde la primera posición de sonda hacia una posición de sonda estimada de la vista objetivo; almacenar primera posición de sonda y la información de dirección estimada en una memoria; repetir las etapas de mover la sonda hasta una posición de sonda adicional, determinar información de dirección estimada para la posición de sonda adicional usando la red neuronal profunda entrenada y almacenar la posición de sonda y la información de dirección estimada asociada hasta que se recopila un conjunto de posiciones de sonda e información de dirección estimada asociada; y, determinar una posición de sonda óptima de la vista objetivo basándose en las posiciones de sonda recopiladas e información de dirección estimada y mover la sonda hasta la posición de sonda óptima para captar una o más imágenes de la vista objetivo.

En una realización, el algoritmo de aprendizaje automático puede ser una red neuronal profunda o un sistema de red neuronal profunda que comprende una pluralidad de redes neuronales profundas concatenadas.

En una realización, la red neuronal convolucional o sistema de red neuronal convolucional puede estar configurado como un algoritmo de regresión o un algoritmo de clasificación.

En una realización, la red neuronal profunda o el sistema de red neuronal profunda puede comprender una o más redes neuronales convolucionales para extraer características a partir de imágenes de ultrasonidos captadas por la sonda; y/o, en el que la red neuronal profunda o el sistema de red neuronal profunda comprende una red de capas densamente conectadas para transformar características asociadas con una imagen de ultrasonidos captada en una posición de sonda en información de dirección estimada, en el que la información de dirección estimada define una dirección que apunta desde la posición de sonda hacia una posición de sonda estimada de la posición objetivo.

En una realización, los datos de entrenamiento clínicos pueden incluir además una o más características de una o más señales de signos vitales asociadas con la una o más imágenes de ultrasonidos captadas, preferiblemente incluyendo la una o más características, características de una señal de ECG de electrocardiograma y/o características de una señal respiratoria.

En una realización, la estructura de soporte puede estar configurada para posicionar el objeto en una posición en decúbito prono, comprendiendo la estructura de soporte una abertura o un rebaje que expone parte del objeto, preferiblemente el tórax del objeto, a la sonda, más preferiblemente estando al menos parte del sistema robótico dispuesto bajo la estructura de soporte.

A diferencia de sistemas de ecografía robotizados conocidos, esta realización se basa en el hecho de que un objeto humano se posiciona sobre una estructura de soporte que comprende una abertura que proporciona una sonda robotizada para acceder al tórax de un objeto humano que está tumbado sobre la estructura de soporte en una posición en decúbito prono. En determinadas direcciones de visualización, la exploración en posición en decúbito prono puede resultar ventajosa. Por ejemplo, durante la obtención de imágenes ecocardiográficas en la posición en decúbito prono, el corazón estará menos borroso por el tejido pulmonar como sucede si un objeto humano está tumbado sobre su espalda.

Por tanto, la obtención de imágenes de un paciente en la posición en decúbito prono generará imágenes mejoradas, es decir, imágenes con menos distorsiones y/o interferencia debido a tejido pulmonar. Además, la abertura en la estructura de soporte permite el posicionamiento y fijación precisos de un objeto humano que se necesita explorar. Las imágenes de ultrasonidos de tejido interno y/u órgano del objeto humano en posición en decúbito prono que se generan por el módulo de recopilación de datos pueden usarse para generar datos de entrenamiento para entrenar al modelo. Entrenar al algoritmo basándose en los datos de entrenamiento generados puede dar como resultado un algoritmo entrenado que puede usarse para realizar una estimación precisa de una posición de sonda óptima para determinar imágenes de ultrasonidos de una vista objetivo.

Una ventaja adicional del sistema se refiere a la seguridad del objeto humano. A diferencia de sistemas de obtención de imágenes robotizados conocidos, el objeto humano no se posiciona entre la estructura de soporte, la cama, y la sonda. En vez de eso, la sonda accede al paciente a través de una abertura de la estructura de soporte de modo que el paciente no puede quedarse atrapado entre la sonda y la cama, reduciendo por tanto el riesgo de que un fallo de funcionamiento del robot pueda conducir a situaciones en las que pueda lesionarse el paciente. A continuación en el presente documento se describen en más detalle realizaciones adicionales y ventajas asociadas del sistema y métodos ejecutados por el sistema

En una realización, el sistema robótico incluye puede incluir un brazo robótico conectado a la sonda de obtención de imágenes para mover la sonda en direcciones de traslación y de rotación; o un sistema robótico lineal, preferiblemente dispuesto bajo la estructura de soporte, en el que el sistema robótico incluye un sistema robótico lineal configurado para mover una plataforma de sonda que comprende la sonda de obtención de imágenes en direcciones de traslación y en el que la plataforma de sonda está configurada para mover la sonda de obtención de imágenes en direcciones angulares.

En una realización, la información de dirección estimada puede usarse por el sistema robótico para mover la sonda en una o más primeras direcciones (preferiblemente las direcciones x, y) en paralelo al plano de la estructura de soporte.

En una realización, puede usarse una señal de sensor de un sensor de presión o un sensor de fuerza asociado con la sonda para mover la sonda en una segunda dirección (preferiblemente la dirección z) sustancialmente perpendicular a la una o más primeras direcciones, preferiblemente usándose la señal de sensor para presionar la sonda con una fuerza constante contra la parte corporal mientras se mueve la sonda en la una o más primeras direcciones.

En una realización, la plataforma de sonda puede incluir un elemento de sujeción de sonda para sujetar la sonda de obtención de imágenes, incluyendo el elemento de sujeción de sonda el sensor de presión o de fuerza, preferiblemente incluyendo el sensor de presión o de fuerza una estructura de resorte, de tal manera que, cuando se presiona la sonda contra la parte corporal del objeto, dicha una estructura de resorte se comprimirá, en el que la compresión de la estructura de resorte representa un valor de la fuerza con la que se presiona la sonda contra la parte corporal.

En una realización, la información de dirección puede incluir un conjunto de coordenadas de traslación para mover la sonda de obtención de imágenes en una dirección de traslación y un conjunto de coordenadas angulares para mover la sonda de obtención de imágenes en una dirección angular.

En una realización, el controlador remoto puede estar conformado como una sonda de ecografía manual, comprendiendo la sonda de ecografía manual uno o más sensores.

En una realización, los sensores pueden ser uno o más sensores de acelerómetro, uno o más sensores de navegación ópticos y/o sensores de inclinación para convertir una posición de la sonda de ecografía manual en información de posición para controlar el sistema robótico para mover la sonda de obtención de imágenes hasta una posición según la información de posición.

En un aspecto, que no forma parte de la invención, la divulgación se refiere a un sistema de obtención de imágenes robotizado que comprende: un sistema robótico configurado para posicionar una sonda de obtención de imágenes contra una parte corporal de un paciente posicionado sobre una estructura de soporte y para mover la sonda sobre la parte corporal; un ordenador conectado al sistema robótico, comprendiendo el ordenador un medio de almacenamiento legible por ordenador que tiene código de programa legible por ordenador implementado en el mismo; y un procesador, acoplado al medio de almacenamiento legible por ordenador, en el que, en respuesta a ejecutar el código de programa legible por ordenador, el procesador está configurado para realizar operaciones ejecutables que comprenden: determinar una pluralidad de posiciones de entrenamiento para la sonda dentro de una zona de recopilación de datos predeterminada definida alrededor de una posición objetivo; mover la sonda hasta cada una de las posiciones de entrenamiento y captar una o más imágenes para cada una de las posiciones de entrenamiento; asociar la una o más imágenes asociadas con una posición de entrenamiento con información de dirección, definiendo la información de dirección una dirección, por ejemplo, un vector, que apunta desde la posición de entrenamiento hasta la posición objetivo; y, almacenar la una o más imágenes e información de dirección asociada como datos de entrenamiento clínicos en un medio de almacenamiento.

En un aspecto, que no forma parte de la invención, la divulgación se refiere a un sistema de obtención de imágenes robotizado que comprende: un sistema robótico configurado para posicionar una sonda de obtención de imágenes contra una parte corporal de un paciente posicionado sobre una estructura de soporte y para mover la sonda sobre la parte corporal; un ordenador conectado al sistema robótico, comprendiendo el ordenador un medio de almacenamiento legible por ordenador que tiene código de programa legible por ordenador implementado en el mismo; y un procesador, acoplado al medio de almacenamiento legible por ordenador, en el que, en respuesta a ejecutar el código de programa legible por ordenador, el procesador está configurado para realizar operaciones ejecutables que comprenden: proporcionar una imagen asociada con una posición de entrenamiento a la entrada del algoritmo de aprendizaje automático, estando la imagen asociada con información de dirección que define una dirección, preferiblemente un vector objetivo, que apunta desde la posición de entrenamiento hacia una posición objetivo; recibir información de dirección estimada, preferiblemente un vector estimado, a partir de la salida del algoritmo de aprendizaje automático y evaluar la información de dirección estimada basándose en el vector objetivo y una función de pérdida; ajustar parámetros de entrenamiento del algoritmo de aprendizaje automático basándose en la evaluación de la información de dirección estimada; y, repetir el procedimiento de proporcionar una imagen a la entrada del algoritmo de aprendizaje automático, evaluar la salida de la red neuronal profunda y ajustar los parámetros de entrenamiento, hasta que la evaluación indica que el vector estimado coincide sustancialmente con el vector objetivo.

En un aspecto, que no forma parte de la invención, la divulgación se refiere a un sistema de obtención de imágenes por ultrasonidos robotizado que comprende: un sistema robótico configurado para posicionar una sonda de obtención de imágenes contra una parte corporal de un paciente posicionado sobre una estructura de soporte y para mover la sonda sobre la parte corporal; un ordenador conectado al sistema robótico, comprendiendo el ordenador un medio de almacenamiento legible por ordenador que tiene código de programa legible por ordenador implementado en el mismo; y un procesador, acoplado al medio de almacenamiento legible por ordenador, en el que, en respuesta a ejecutar el código de programa legible por ordenador, el procesador está configurado para realizar operaciones ejecutables que comprenden:

mover la sonda hasta una primera posición de sonda contra una parte corporal de un paciente y captar una o más primeras imágenes en la primera posición de sonda; proporcionar la una o más primeras imágenes a una red neuronal profunda para determinar información de dirección estimada asociada con la primera posición de sonda, definiendo la información de posición estimada una dirección estimada que apunta desde la primera posición de sonda hacia una posición de sonda estimada de la vista objetivo; almacenar primera posición de sonda y la información de dirección estimada en una memoria; repetir las etapas de mover la sonda hasta una posición de sonda adicional, determinar información de dirección estimada para la posición de sonda adicional usando la red neuronal profunda entrenada y almacenar la posición de sonda y la información de dirección estimada asociada hasta que se recopila un conjunto de posiciones de sonda e información de dirección estimada asociada; y,

determinar una posición de sonda óptima de la vista objetivo basándose en las posiciones de sonda recopiladas e información de dirección estimada y mover la sonda hasta posición de sonda óptima para captar una o más imágenes de la vista objetivo.

La invención se ilustrará adicionalmente con referencia a los dibujos adjuntos, que mostrarán esquemáticamente realizaciones según la invención. Se entenderá que la invención no se limita de ninguna manera a estas realizaciones específicas.

Breve descripción de los dibujos

La figura 1 ilustra un sistema de ecografía por ultrasonidos robotizado según una realización;

las figuras 2A y 2B representan diagramas de flujo de métodos para generar datos de entrenamiento etiquetados para un sistema de ecografía robotizado;

las figuras 3A y 3B ilustran imágenes asociadas con la generación de datos de entrenamiento;

la figura 4 ilustra un método para entrenar a una red neuronal;

las figuras 5A y 5B representan un procedimiento para ejecutar un procedimiento de generar de manera autónoma un conjunto de imágenes de una parte corporal de un paciente;

la figura 6 representa un ejemplo de una imagen que se usa para determinar un vector para mover la sonda hasta una ubicación objetivo;

las figuras 7A-7C representan un ejemplo de redes neuronales profundas para controlar un sistema de ecografía robotizado;

las figuras 8A y 8B representan un ejemplo de un sistema de ecografía por ultrasonidos robotizado según una realización;

las figuras 9A-9C representan diversas vistas de una sonda rotatoria para un sistema de ecografía por ultrasonidos robotizado;

las figuras 10A y 10B ilustran un sistema de ecografía robotizado según una realización.

Descripción detallada

Las realizaciones en esta divulgación se refieren a sistemas de obtención de imágenes robotizados, en particular sistemas de obtención de imágenes robotizados médicos tales como sistemas de obtención de imágenes por ultrasonidos robotizados. Tales sistemas de obtención de imágenes están configurados para determinar imágenes de tejido interno y/u órganos de un objeto, por ejemplo, un ser humano o un animal, para un procedimiento médico o exploración física. Tales sistemas pueden incluir, por ejemplo, un sistema de obtención de imágenes por ultrasonidos que está configurado para determinar imágenes de ultrasonidos, normalmente cortes en 2D, del corazón usando una sonda de obtención de imágenes por ultrasonidos. La sonda de obtención de imágenes produce ondas sonoras, que entran en el cuerpo y se reflejan de vuelta por tejido y/o líquidos, por ejemplo, sangre, que se detectan por un detector de ultrasonidos en la sonda de obtención de imágenes. El tipo del tejido y/o líquido determina la intensidad de la reflexión, que se observa en la vista de eco como un punto más brillante o más oscuro. Normalmente, la sangre refleja muy poco, mientras que el músculo refleja más. Esto significa que pueden obtenerse imágenes de la estructura de órganos tales como el corazón (que consiste en gran medida en músculo y sangre) usando sonografía teniendo en cuenta que tejido de otro tejido interno, por ejemplo, caja torácica o pulmones, puede interferir con la obtención de una imagen clara (de parte) del corazón en diferentes direcciones de vista.

Una sonda de ultrasonidos genera imágenes en forma de un corte en 2D de cualquier cosa a la que se dirija, en un patrón de tipo abanico. Este abanico puede considerarse como que sobresale desde la cabeza de la sonda, penetrando en el cuerpo. Para mirar a diferentes partes de una parte corporal, por ejemplo, el corazón, un sonógrafo puede hacer rotar manualmente y/o trasladar lateralmente la sonda alrededor o a lo largo de cualquier eje. En la ecocardiografía, se definen varias “vistas” predeterminadas. El eje de estas direcciones de vista son posiciones fijas con respecto al corazón de modo que un sonógrafo puede usar sistemáticamente las diferentes vistas para realizar un diagnóstico y comparar un conjunto de imágenes con otro conjunto de imágenes. Por ejemplo, la denominada vista de 4 cámaras apical (A4C) mira al corazón desde abajo, a través del vértice, mostrando las cuatro cámaras del corazón. Otra vista es la vista de eje longitudinal paraesternal (PLAX). Para producir imágenes de ultrasonidos para esta vista, se coloca la sonda de ultrasonidos en perpendicular al centro del tórax (o esternón) y se hace rotar de tal manera que son visibles dos cámaras: el ventrículo izquierdo y la aurícula izquierda.

Una sonda de ultrasonidos puede captar imágenes, también denominadas tramas de vídeo, a una tasa de más de 30 por segundo, permitiendo por tanto realizar un vídeo de un corte del corazón asociado con una dirección de vista específica. El resultado es un vídeo casi en directo del corazón en movimiento, que permite a los ecocardiógrafos diagnosticar problemas complejos del corazón. Por tanto, puede configurarse un sistema de ecografía para generar y procesar imágenes del corazón según direcciones de vista convencionales predeterminadas. Normalmente, pueden captarse imágenes en desde 14 hasta 37 direcciones de vista diferentes durante una exploración completa por un sonógrafo. En cualquier caso, se necesitan al menos cinco direcciones de vista para identificar problemas de manera fiable. Un sonógrafo posicionará una sonda en una posición predeterminada de tal manera que la dirección de vista seleccionada como objetivo se muestra en un elemento de visualización. Cuando el elemento de visualización muestra la imagen correcta, el sonógrafo grabará un vídeo corto para mostrar el movimiento del corazón. El sonógrafo repetirá este procedimiento para cada una de las vistas requeridas, en el que, para cada vista, el sonógrafo posicionará al paciente en una determinada postura para permitir obtener imágenes claras. Con el fin de minimizar la interferencia de tejido interno, tal como (partes de) la caja torácica y tejido pulmonar, el sonógrafo cambiará la posición del paciente (tumbado sobre la espalda o el costado en una determinada postura) dependiendo de la dirección de vista que se graba. El resultado de la exploración por el sonógrafo es un conjunto de imágenes de ultrasonidos asociadas con diferentes vistas que pueden analizarse por el cardiólogo.

A partir de lo anterior, se desprende que una exploración de ecocardiografía completa por un sonógrafo, que requiere grabar del corazón en múltiples direcciones de vista en las que tiene que reposicionarse al paciente varias veces, es laboriosa y físicamente agotadora, especialmente cuando se explora a múltiples pacientes en un día. Además, la escasez de sonógrafos experimentados provoca largos tiempos de espera para los pacientes. Las realizaciones en esta solicitud tienen como objetivo resolver al menos parte de los problemas relacionados con la exploración por ecografía, en particular exploración por ecocardiografía, basada en sistemas de ecografía convencionales. En particular, las realizaciones se refieren a un sistema de ecografía robotizado, un sistema de obtención de imágenes por ultrasonidos robotizado, que permite una exploración por ecografía autónoma en direcciones de vista predeterminadas que no requiere intervención humana o al menos requiere intervención humana mínima.

Aunque los ejemplos en las figuras se explican con referencia a un sistema de ecografía robotizado, se indica que las realizaciones en la solicitud no se limitan a la obtención de imágenes por ultrasonidos robotizada y también pueden usarse con otros tipos de sistemas de obtención de imágenes médicos robotizados para obtener imágenes de tejido interno tales como obtención de imágenes fotoacústicas, obtención de imágenes tomográficas, obtención de imágenes radiográficas, obtención de imágenes por rayos X, obtención de imágenes por resonancia magnética, etc.

La figura 1 ilustra un sistema de ecografía robotizado 100 según una realización de la invención. El sistema puede incluir una estructura de soporte 102, por ejemplo, una cama, para posicionar un paciente en una postura para ecografía. En esta realización particular, el sistema de soporte puede estar configurado de modo que se posiciona a un paciente en una posición en decúbito prono. Además, el sistema de soporte puede incluir una o más aberturas 104 de modo que, cando un paciente está tumbado en la posición en decúbito prono sobre el sistema de soporte, al menos parte del paciente, por ejemplo, el tórax, está posicionada sobre la una o más aberturas. De esta manera, una o más partes corporales del paciente están expuestas mediante la una o más aberturas en la estructura de posicionamiento a una sonda de obtención de imágenes que está conectada a un sistema robótico 106.

En la realización de la figura 1, el sistema robótico puede estar dispuesto al menos parcialmente bajo la estructura de soporte. El sistema robótico puede estar dispuesto para posicionar y mover la sonda de ultrasonidos 108 con respecto al sistema de soporte en alineación con la parte corporal del paciente. En particular, el sistema robótico puede estar dispuesto para mover (trasladar) la sonda en tres direcciones axiales con respecto al sistema de soporte. La posición de la sonda en un instante de tiempo puede definirse basándose en un sistema de coordenadas adecuado, por ejemplo, un sistema de coordenadas cartesiano. La posición de la sonda puede incluir coordenadas (x, y, z) para trasladar la sonda en tres dimensiones. Además, la posición de la sonda también puede incluir una parte angular (una dirección angular) para hacer rotar la sonda en una determinada dirección de apuntado. Por ejemplo, ángulos de Euler (a, p, y) pueden definir la guiñada, el cabeceo y el alabeo de la sonda con respecto al eje del sistema de coordenadas. Por tanto, el movimiento de la sonda, es decir, (el cambio de) la posición en cada instante de tiempo puede describirse basándose en vectores (x, y, z, a, p, y) que incluyen las coordenadas de traslación y de rotación.

El sistema incluye además un sistema informático 109 que comprende un procesador 115 para ejecutar diferentes módulos, por ejemplo, controladores y/o módulos asociados con un modelo que se usan para controlar de manera autónoma el sistema robótico. Por ejemplo, el sistema informático puede incluir un controlador de robot 110 para controlar el sistema de robot. El controlador de robot puede estar configurado para controlar accionadores y/o motores del sistema de robot para mover y posicionar la sonda con respecto al sistema de soporte (y un paciente posicionado sobre el sistema de soporte) basándose en información recibida a partir de un modelo de aprendizaje automático 114 o un controlador remoto 122. En este caso, el modelo de aprendizaje automático puede incluir un sistema de una o más redes neuronales profundas que se entrenan para mover la sonda desde una posición actual hacia una posición objetivo estimada. El modelo de aprendizaje automático 114 puede usarse para controlar de manera autónoma el sistema robótico. En este caso, el procesador del sistema informático puede establecer el sistema en un modo autónomo en el que, basándose en imágenes de ultrasonidos producidas por la sonda de ultrasonidos, el controlador de robot puede enviar instrucciones al sistema robótico para mover la sonda desde una primera posición hasta una segunda posición. Alternativamente, el controlador remoto puede usarse para controlar el sistema en un modo controlado por ser humano, en el que una persona puede controlar manualmente el sistema robótico.

El sistema robótico puede incluir además sensores, por ejemplo, sensores de fuerza, par de torsión, presión, posición, y/o acelerómetros, para permitir el control de la sonda durante la exploración. Por ejemplo, cuando la sonda se posiciona contra el cuerpo de un paciente, puede usarse un sensor de fuerza para ejercer una fuerza predeterminada contra el cuerpo en la dirección z. Por ejemplo, el controlador de robot puede recibir la señal de sensor a partir del sistema robótico y usar esta señal como señal de realimentación de fuerza (o presión). La realimentación de fuerza puede permitir al controlador de sonda posicionar y mover la sonda con una fuerza y/o par de torsión constante contra el cuerpo de un paciente tumbado sobre la estructura de soporte. Adicionalmente, la realimentación de fuerza se asegurará de que la presión ejercida sobre una parte corporal del paciente no supera un valor (umbral) de modo que el posicionamiento de la sonda puede realizarse de manera segura tanto cuando se controla por el modelo de aprendizaje automático como por una persona que usa el controlador remoto. De esta manera, puede controlarse la sonda para explorar a un paciente moviendo la sonda sobre parte del cuerpo de un paciente tumbado sobre la estructura de soporte, mientras se captan imágenes, que pueden procesarse por el ordenador para producir coordenadas, por ejemplo, en forma de un vector. Al menos parte de las coordenadas de traslación (por ejemplo, la dirección x e y) y las coordenadas angulares pueden producirse por el modelo de aprendizaje automático. Otra parte de las coordenadas de traslación (por ejemplo, la dirección z) pueden controlarse por el sistema de realimentación de fuerza tal como se describió anteriormente. En otra realización, puede usarse un sensor de navegación óptico para determinar con precisión la posición, por ejemplo, movimiento de traslación, de la sonda.

En el modo controlado por ser humano, un sonógrafo puede usar interfaces de usuario, UI, adecuadas, por ejemplo, el controlador remoto 122 y el elemento de visualización 124, conectadas al sistema para mover manualmente la sonda del sistema de ecografía robotizado hasta una posición predeterminada en una determinada dirección de vista, mientras la sonda produce imágenes que se muestran en el elemento de visualización. En una realización, el controlador remoto puede diseñarse de modo que puede usarse como sonda de mano convencional que está configurada para detectar movimientos de traslación y/o de rotación. De esta manera, el controlador remoto puede tener el aspecto y la apariencia de una sonda manual convencional que se usa en la realización de sonografía convencional.

Tal como se describirá a continuación en el presente documento en más detalle, el sistema representado en la figura 1 puede estar configurado para crear de manera autónoma uno o más conjuntos de imágenes a lo largo de ejes de vista predeterminados, por ejemplo, la dirección de vista A4C y PLAX en el caso de ecocardiografía. El sistema informático puede incluir además un procesador de imágenes 112 para procesar imágenes, es decir, imágenes pixeladas en 2D, que se generan cuando se posiciona la sonda con respecto al tórax de un paciente para obtener imágenes del corazón en direcciones de vista predeterminadas.

El controlador de robot puede controlarse basándose en información que se determina por el modelo de aprendizaje automático 114, por ejemplo, un modelo de aprendizaje automático tal como una red neuronal profunda o un sistema de redes neuronales profundas. El modelo puede entrenarse para controlar el sistema de robot para mover y orientar la sonda de modo que pueden determinarse imágenes de diferentes vistas objetivo. Para cada una de las vistas objetivo, puede determinarse una imagen óptima de un objetivo, por ejemplo, un órgano tal como el corazón. De esta manera, pueden obtenerse imágenes de cortes en 2D de tejido interno o un órgano, en diferentes direcciones de vista, por ejemplo, las direcciones de vista que usa un sonógrafo durante una exploración. Para ello, el modelo puede estar configurado para recibir una o más imágenes de tejido interno asociadas con una primera posición de sonda y producir, basándose en la una o más imágenes asociadas con una primera vista, una señal de salida que define información que puede usarse por el controlador de robot para mover la sonda hacia una segunda posición de sonda que puede usarse para captar imágenes con una segunda vista. De esta manera, basándose en la información proporcionada por el modelo, el controlador de robot puede mover la sonda hacia una posición de sonda que está asociada con la vista objetivo. En una realización, la señal de salida puede incluir información de dirección, por ejemplo, un vector o información para determinar un vector, que puede usarse por el controlador de robot para mover la sonda desde una primera posición de sonda (actual) hasta una segunda posición de sonda.

El modelo de aprendizaje automático puede entrenarse basándose en datos de entrenamiento que pueden almacenarse en un medio de almacenamiento 126. Se necesitan cantidades suficientes de datos de entrenamiento, preferiblemente datos de entrenamiento clínicos asociados con un conjunto heterogéneo de pacientes, para entrenar al modelo de modo que pueda controlar de manera fiable la sonda para producir imágenes para diferentes direcciones de vista predeterminadas para pacientes de diferente talla, sexo y edad. Para permitir una exploración autónoma, se necesita un gran conjunto de datos que no sólo incluya imágenes en las diferentes direcciones de vista sino también etiquetas de posición. Por tanto, para entrenar al modelo, por ejemplo, una red neuronal profunda, para determinar en qué sentido mover la sonda cuando se proporciona una imagen en su entrada, cada imagen puede etiquetarse con información de dirección, por ejemplo, un vector, que define una posición con respecto a una posición objetivo óptima que está asociada con una vista objetivo. De esta manera, el modelo puede aprender a determinar información de dirección, por ejemplo, un vector que apunta a una posición objetivo, basándose en imágenes ecocardiográficas.

Dado que no está disponible ningún conjunto de datos externo que tenga tales propiedades, el sistema informático puede estar configurado para generar por sí mismo conjuntos de datos de entrenamiento etiquetados clínicos. Para ello, el ordenador puede incluir un módulo de recopilación de datos 116, que está configurado para generar datos clínicos etiquetados, es decir, captar y almacenar imágenes de un paciente y asociar estas imágenes con una posición y orientación de la sonda, por ejemplo, en el formato de un vector tal como se describió anteriormente. El sistema informático puede incluir además un módulo de entrenamiento 118 configurado para entrenar al modelo basándose en los datos de entrenamiento. Dependiendo del tipo de modelo, por ejemplo, una red neuronal profunda (DNN), tal como una red neuronal convolucional profunda (CNN), puede entrenarse de manera iterativa en el que se introducen imágenes etiquetadas en la CNN y se evalúa la salida mediante una función de pérdida y se ajustan pesos de la DNN basándose en un método de descenso en gradiente, por ejemplo, un método de descenso en gradiente estocástico. El sistema informático puede incluir además un módulo de ejecución 120 para ejecutar el procedimiento de generar de manera autónoma un conjunto de imágenes de una parte de un paciente, por ejemplo, un órgano tal como el corazón, en diferentes direcciones de vista basándose en el modelo entrenado.

Se indica que el sistema informático en la figura 1 puede implementarse de cualquier forma. Por ejemplo, parte o partes del sistema informático pueden implementarse en la red, por ejemplo, como aplicación de servidor (remoto) o aplicación en la nube. Además, el sistema informático puede ser un sistema distribuido en el que algunos de los módulos, por ejemplo, el módulo de entrenamiento para entrenar a la red neuronal, pueden ejecutarse en un ordenador remoto.

El módulo de recopilación de datos puede estar configurado para controlar el sistema de ecografía robotizado para generar datos de entrenamiento. La figura 2A representa un diagrama de flujo de un método para generar datos de entrenamiento etiquetados para un sistema de ecografía robotizado.

En particular, el procedimiento puede empezar con un usuario que controla un sistema de ecografía robotizado tal como se describe, por ejemplo, con referencia a la figura 1. Cuando un paciente está tumbado sobre la estructura de soporte del sistema, el usuario, por ejemplo, un sonógrafo, puede usar un controlador remoto del sistema para iniciar un procedimiento de generar datos de entrenamiento etiquetados. En una primera etapa 202, el usuario puede usar el controlador remoto para controlar el sistema robótico y guiar la sonda hasta una posición objetivo que está asociada con una vista objetivo a lo largo de un determinado eje de visualización, mientras se visualizan imágenes en una pantalla. En este caso, la posición objetivo puede incluir una posición de traslación (por ejemplo, expresada en coordenadas cartesianas) y una orientación (por ejemplo, expresada en guiñada, cabeceo, alabeo). Por tanto, la posición objetivo y la vista asociada objetivo de tejido interno, por ejemplo, un órgano, a lo largo de una dirección de visualización particular pueden determinarse por el sonógrafo usando el controlador remoto del sistema. Por ejemplo, vistas objetivo pueden referirse a un conjunto de vistas a lo largo de un eje de vista predeterminado, por ejemplo, la dirección de vista A4C o PLAX en el caso de ecocardiografía. El sonógrafo puede usar el controlador remoto para marcar esa posición como una posición objetivo (etapa 202), que está asociada con una vista objetivo de tejido interno, por ejemplo, un órgano tal como el corazón.

Una vez definidas la vista objetivo y la posición objetivo asociada, el módulo de recopilación de datos puede iniciar la recopilación de datos basándose en la posición objetivo de la sonda (etapa 204). El procedimiento de recopilación de datos puede incluir proporcionar el módulo de recopilación de datos una pluralidad de instrucciones de posición al controlador de robot (etapa 206). Una instrucción de posición puede mover la sonda a la posición de entrenamiento con respecto a la posición objetivo (etapa 208). Cuando se ejecutan las instrucciones de posición, las posiciones de entrenamiento pueden seleccionarse dentro de una zona predeterminada alrededor de la posición objetivo. Cuando se mueve la sonda en una dirección de traslación y/o angular, pueden generarse una o más imágenes para las posiciones de entrenamiento de la sonda. En una realización, los movimientos de la sonda hasta las diferentes posiciones de entrenamiento dentro de la zona predeterminada pueden basarse en un valor (pseudo)aleatorio. En otra realización, los movimientos pueden basarse en una función predeterminada.

Cada una de estas imágenes puede etiquetarse con información de dirección (etapa 210<1>), en la que la información de dirección puede definir direcciones y, opcionalmente, distancias entre posiciones de entrenamiento y la posición objetivo. Por tanto, la información de dirección puede incluir vectores definidos por una posición (actual) de la sonda y una posición objetivo. Cuanto menor es la longitud del vector, más cerca está la sonda de la posición objetivo deseada. Por tanto, la información de dirección asociada con una imagen indica una dirección desde una posición actual hacia una posición objetivo estimada. Estas imágenes etiquetadas pueden almacenarse como datos de entrenamiento clínicos en un medio de almacenamiento del sistema.

El procedimiento de ejecutar una instrucción de posición (etapa 208<2,3,...>), es decir, mover la sonda hasta una posición de entrenamiento y captar una imagen, y asociar, por ejemplo, etiquetar, una imagen con la información de dirección (etapas 210<2,3,...>) puede repetirse muchas veces de modo que pude generarse una gran colección de imágenes etiquetadas. Una vez generado un número suficiente de imágenes etiquetadas, pueden almacenarse estas imágenes e información de dirección asociada como datos de entrenamiento y puede detenerse la recopilación de datos asociada con esa vista objetivo (etapas 212, 214). Este procedimiento de generación de datos puede repetirse para diferentes vistas objetivo, de modo que pueden generarse múltiples conjuntos de datos de imagen etiquetadas de diferentes direcciones de vista de un objetivo, tal como el corazón, de una manera eficiente. Además, el procedimiento de generación de datos puede repetirse para un grupo heterogéneo de pacientes de diferente talla, edad y sexo. Por tanto, cada conjunto de datos etiquetados puede definir diferentes imágenes que se captan moviendo la sonda con respecto a la posición objetivo.

Durante la generación de datos, el movimiento de la sonda hasta diferentes posiciones de entrenamiento puede ser un movimiento aleatorio dentro de una zona predeterminada alrededor de la posición objetivo. Alternativamente, el momento de la sonda hasta diferentes posiciones de entrenamiento dentro de una zona predeterminada alrededor de la posición objetivo puede basarse en una función predeterminada. Una vez proporcionadas una o más vistas objetivo de un objetivo, el módulo de recopilación de datos puede generar de manera autónoma datos de entrenamiento, es decir, grandes conjuntos de datos etiquetados, para cada vista objetivo respectiva que pueden usarse para entrenar a un modelo, por ejemplo, una red neuronal profunda, para controlar la sonda.

La figura 2B representa un diagrama de flujo de un método para generar datos de entrenamiento clínicos usando un sistema de ecografía robotizado.

El procedimiento puede incluir una primera etapa 220 de controlar el sistema robótico usando un controlador remoto para guiar la sonda hasta una posición objetivo en el paciente. La posición objetivo puede estar asociada con una vista objetivo de tejido interno y/u órganos a lo largo de un determinado eje de visualización. Después, en la etapa 222 pueden determinarse posiciones de entrenamiento, por ejemplo, posiciones de entrenamiento aleatorias o posiciones de entrenamiento descritas mediante una determinada función, para la sonda alrededor de una posición objetivo. Estas posiciones de entrenamiento pueden estar limitadas a una zona predeterminada alrededor de la posición objetivo y pueden incluir la posición objetivo. La sonda puede moverse hasta cada una de estas posiciones de entrenamiento de modo que pueden determinarse una o más imágenes en cada una de las posiciones de entrenamiento mediante la sonda (etapa 224). Después, puede determinarse información de dirección para cada una de las posiciones de entrenamiento, en la que la información de dirección puede definir una dirección, por ejemplo, un vector, basándose en una posición de entrenamiento y la posición objetivo (etapa 226). Además, la una o más imágenes, las posiciones de entrenamiento e información de dirección asociadas y la información sobre la posición objetivo pueden almacenarse como datos de entrenamiento clínicos en un medio de almacenamiento (etapa 228).

Las figuras 3A y 3B ilustran imágenes asociadas con la generación de datos de entrenamiento según una realización de la invención. En particular, estas figuras ilustran un ejemplo de una trayectoria con respecto a una posición objetivo que puede seguir la sonda basándose en instrucciones de posición por el módulo de recopilación de datos durante el procedimiento de recopilación de datos. La figura 3A representa un ejemplo de una trayectoria en la que cada posición posterior en la trayectoria puede obtenerse cambiando la posición de la sonda (dentro de ciertos límites) con una determinada cantidad. El cambio en la posición de la sonda puede incluir un cambio de traslación en las coordenadas x, y de la sonda y/o un cambio de rotación en las coordenadas angulares de la sonda. En algunas realizaciones, la dirección z puede controlarse mediante realimentación de sensor tal como se explicó anteriormente. Los cambios en las coordenadas de la sonda pueden definir una dirección (un rumbo) en la que se mueve la sonda. Pueden añadirse condiciones adicionales de modo que la trayectoria permanece dentro de una zona predeterminada 302, que puede denominarse zona de recopilación de datos. Durante el movimiento de la sonda, pueden captarse una o más imágenes en diferentes posiciones de entrenamiento con respecto a las posiciones objetivo, en las que las diferentes posiciones de entrenamiento pueden incluir diferentes posiciones de traslación y/o de rotación (angulares).

Pueden usarse diferentes algoritmos para controlar la generación de datos de imagen. Por ejemplo, en una realización, el cambio en la dirección de sonda puede basarse en la distancia entre la posición de sonda y la posición objetivo. En otra realización, una dirección puede ser más preferible si mueve la sonda más cerca de la posición objetivo. Esta preferencia puede depender basándose en una distancia de la sonda con respecto a la posición objetivo. Por ejemplo, una preferencia de mover la sonda más cerca de la posición objetivo puede ser más fuerte cuanto más retirada está la sonda con respecto a la posición objetivo. La figura 3B ilustra que una sonda puede estar configurada para moverse dentro de una zona de recopilación de datos 302, cuanto más cerca se mueve la sonda hacia la ubicación óptima dentro de la zona de recopilación de datos (visualizada mediante la posición del pico más alto), más imágenes pueden captarse por la sonda. La figura muestra que el número de imágenes etiquetadas es una función de la posición de la sonda con respecto a la vista objetivo. Cuanto más se aleja de la posición objetivo, menos imágenes etiquetadas se generan. Pueden usarse muchos algoritmos diferentes para lograr este efecto. De esta manera, puede controlarse de manera precisa el número de imágenes etiquetadas generadas en diferentes posiciones alrededor de la posición objetivo.

La figura 4 representa un procedimiento para entrenar a una red neuronal profunda basándose en datos de entrenamiento etiquetados según una realización de la invención. Este procedimiento puede ejecutarse por el módulo de entrenamiento basándose en datos de entrenamiento que pueden generarse por el módulo de recopilación de datos tal como se describió con referencia a las figuras 1 a 3. Tal como se muestra en la figura 4, en una primera etapa 400 puede proporcionarse una imagen que forma parte de los datos de entrenamiento clínicos y que se tomó por la sonda en una posición de entrenamiento a la entrada de una red neuronal profunda implementada en el sistema informático del sistema de ecografía robotizado. La imagen puede estar asociada (etiquetada) con formación de dirección, por ejemplo, un vector objetivo que apunta desde la posición de entrenamiento hasta una posición objetivo. En este caso, la posición de la sonda puede incluir una parte de traslación y una parte angular y puede expresarse basándose en un vector tal como se describió anteriormente con referencia a la figura 1. Por tanto, puede proporcionarse una imagen etiquetada asociada con un vector a la entrada de la red neuronal profunda para entrenar a la red neuronal profunda para generar un vector estimado que el controlador de robot puede usar para mover la sonda desde una posición actual hasta una posición adicional. La salida de la red neuronal, es decir, el vector estimado, puede evaluarse basándose en el vector y una función de pérdida (etapa 402). Por ejemplo, puede calcularse una pérdida basándose en una diferencia normalizada entre el vector estimado y el vector asociado con la imagen que se proporcionó a la entrada de la red neuronal profunda.

Basándose en la evaluación mediante la función de pérdida, pueden ajustarse parámetros de entrenamiento (por ejemplo, pesos de las funciones de activación de la red neuronal) usando algoritmos bien conocidos que se basan en retropropagación y descenso en gradiente (etapa 404). El procedimiento de proporcionar una imagen etiquetada a la entrada de la red neuronal profunda, evaluar la salida de la red neuronal profunda basándose en la función de pérdida y ajustar los parámetros de entrenamiento de la red neuronal profunda puede repetirse (etapa 406) hasta que el vector estimado está lo suficientemente cerca del vector que está asociado con la imagen de entrada (etapa 408). En este caso, la decisión de detener el procedimiento de entrenamiento puede basarse en que la pérdida calculada es menor que un determinado valor umbral y/o cuando la pérdida decreciente comienza a aumentar debido a un sobreajuste. Este procedimiento da como resultado una red neuronal entrenada que está configurada para recibir una imagen a partir de una sonda en su entrada y para producir un vector que puede usarse para mover la sonda hasta una posición de sonda adicional.

En algunas realizaciones, el sistema de red neuronal usado por el sistema de ecografía robotizado puede comprender una pluralidad de redes neuronales profundas, en el que cada red neuronal se entrena para una posición objetivo particular. En este caso, cuando se ejecuta el sistema, cada de las redes neuronales entrenadas se usa para hallar una posición objetivo para una imagen en una dirección de visualización predeterminada para un determinado paciente.

Las figuras 5A y 5B representa un procedimiento para ejecutar un procedimiento de generar de manera autónoma imágenes de diferentes vistas objetivo de tejido interno y/u órganos de parte de un paciente según una realización de la invención. Este procedimiento puede ejecutarse por el módulo de ejecución tal como se describió con referencia a la figura 1. El procedimiento puede controlar el sistema de ecografía robotizado para captar de manera autónoma múltiples imágenes de una vista objetivo, es decir, imágenes asociadas con un ángulo de visualización, de una parte corporal de un paciente que está posicionado y fijado sobre una estructura de soporte, por ejemplo, una cama. Cada vista objetivo puede estar relacionada con una dirección de vista predeterminada tal como se conoce en el campo de la ecografía. Por ejemplo, en la ecocardiografía, estas direcciones de vista predeterminadas pueden incluir la vista paraesternal, la vista apical, la vista subcostal y la vista supraesternal.

Tal como se muestra en la figura 5A, el procedimiento puede empezar con mover la sonda hasta una primera posición inicial contra el cuerpo del paciente y captar, en la primera posición de sonda, una o más primeras imágenes (etapa 502). Esta etapa se muestra esquemáticamente en la figura 5B que muestra un paciente para el que se necesita generar de manera autónoma imágenes de una determinada vista objetivo por el sistema. Esta vista objetivo está asociada con una posición de sonda óptima 514 que necesita determinar el sistema basándose en la información de dirección que se determina por la red neuronal entrenada. Para ello, la sonda puede moverse de manera autónoma hacia una primera posición inicial 5161 que está ubicada en una determinada zona 512 alrededor de la posición de sonda óptima desconocida de la vista objetivo. Puede usarse una señal de sensor de presión asociada con la sonda por el sistema para proporcionar una presión constante contra el cuerpo en una dirección transversal (por ejemplo, la dirección z), mientras que puede moverse la sonda en direcciones de traslación (por ejemplo, dirección x e y) y direcciones de rotación. Dado que el paciente está en una posición fija con respecto a la sonda, pueden definirse una o más posiciones iniciales. Puede seleccionarse una posición inicial de este tipo de tal manera que la sonda se pone en contacto con el paciente dentro de la zona 512 que abarca la posición de sonda óptima 514 para generar imágenes de la vista objetivo deseada.

La una o más primeras imágenes pueden alimentarse a la entrada de la red neuronal entrenada, que genera una señal de salida que incluye primera información de dirección estimada asociada con la primera posición de sonda (etapa 504). La primera información de dirección estimada se representa esquemáticamente en la figura 5B mediante un primer vector 5161, que define una primera dirección que apunta desde la primera posición de sonda hacia una posición de sonda estimada de la vista objetivo.

Un ejemplo de una imagen de ultrasonidos proporcionada a la entrada de la red neuronal profunda y un ejemplo de información de dirección que puede derivarse a partir de la salida de la red neuronal profunda se ilustra en la figura 6. La información de dirección estimada puede estar en forma de un primer vector o puede incluir un primer vector que apunta desde la primera posición de sonda hasta una posición de sonda estimada de una vista objetivo. La primera posición de sonda y la primera información de dirección pueden almacenarse en una memoria (etapa 506).

Después, basándose en la primera información de dirección, puede moverse la sonda hasta una segunda posición de sonda. Mientras se mueve la sonda hasta la segunda posición, pueden captarse una o más segundas imágenes y alimentarse a la entrada de la red neuronal entrenada, que producirá segunda información de dirección estimada que incluye un segundo vector que apunta desde la segunda posición de sonda hasta una posición estimada de la vista objetivo. Una vez más, la segunda posición de sonda estimada y segunda información de dirección pueden almacenarse y usarse para mover la sonda hasta una tercera posición de sonda.

Este procedimiento de mover la sonda hasta una posición de sonda adicional, determinar información de dirección adicional que incluye un vector adicional que apunta desde una posición de sonda actual hacia una posición estimada adicional asociada con la vista objetivo y almacenar la posición de sonda con la información de dirección puede repetirse hasta que se recopila un conjunto de posiciones de sonda e información de dirección estimada asociada (etapa 508). Basándose en las posiciones e información de dirección recopiladas, puede determinarse una posición de sonda óptima de una vista objetivo y puede moverse la sonda hasta la posición de sonda óptima para captar una o más imágenes de la vista objetivo (etapa 510).

Este procedimiento también se muestra en la figura 5B, que muestra la trayectoria 518 de una sonda en movimiento que incluye ubicaciones de sonda 5161-3 en las que se captan imágenes e información de dirección en forma de unos vectores 5201-3 que se generan mediante la red neuronal entrenada basándose en las imágenes captadas. Pueden determinarse una o más ubicaciones de sonda adicionales, por ejemplo, la ubicación de sonda adicional 5164 , para determinar información de dirección adicional. Cada uno de los vectores apunta aproximadamente hacia una ubicación de sonda estimada 514 de la vista objetivo. Tal como se muestra en la figura, las ubicaciones de sonda y los vectores pueden usarse para determinar la ubicación de sonda óptima para captar imágenes de la vista objetivo. Aumentar el número de ubicaciones de sonda medidas y vectores asociados aumentará la precisión con la que puede determinarse la posición de sonda de la vista objetivo.

En algunas realizaciones, puede usarse información adicional, en particular información de signos vitales, tal como información a partir de señales de ECG y/o de respiración, para entrenar a la red neuronal profunda.

Tal como se describió anteriormente, la red neuronal profunda puede entrenarse para predecir una dirección de la sonda con respecto a una posición objetivo basándose en imágenes de ultrasonidos. Tal como se mostrará a continuación en el presente documento en más detalle, en algunas realizaciones, la red neuronal profunda también puede entrenarse basándose en señales de signos vitales tales como señales de ECG y/o de respiración. En una realización, pueden usarse una o más redes neuronales convolucionales (CNN), las CNN son particularmente adecuadas para el procesamiento de imágenes. Pueden seleccionarse diversas arquitecturas de CNN para proporcionar una red con una predicción de precisión. A continuación en el presente documento se describen en más detalle realizaciones a modo de ejemplo de redes neuronales profundas que pueden usarse con las realizaciones en esta solicitud con referencia a las figuras 7A-7C.

Tal como se muestra en la figura 7A, la red 700 puede incluir varias subredes que incluyen una subred convolucional 703 y una subred densamente empaquetada 707. La subred convolucional puede comprender una pluralidad de bloques convolucionales 7021-5, en la que la entrada de la subred convolucional está configurada para recibir una o más imágenes 701. Además, cada bloque convolucional puede comprender una o más capas convolucionales 710, que pueden estar conectadas a una o más capas de agrupación máxima 712 y una o más capas de abandono 714. La salida de la subred convolucional puede convertirse en una matriz de una dimensión mediante una capa de aplanamiento 704. Antes se proporciona a la entrada de una subred densamente conectada 707 que comprende una pluralidad de capas densamente conectadas 7061-3. En una realización, las capas densamente conectadas pueden estar entrelazadas con capas de abandono 7081-3. En algunas realizaciones, puede usarse una función sigmoide para la capa de activación final 7063. En otra realización, puede usarse una función de activación ReLU para otras capas convolucionales y densamente conectadas (capas intermedias).

Las capas de entrada de la red neuronal profunda pueden estar configuradas para recibir datos de entrada en forma de datos de imagen, normalmente imágenes en 2D pixeladas que representan cortes de tejido interno y/u órganos de un paciente. En una realización, la capa de entrada puede estar configurada para recibir una secuencia de imágenes en el tiempo, que pueden usarse en un modelo recurrente. En otra realización, la capa de entrada puede estar configurada para recibir una imagen individual.

En una realización, además de datos de imagen, la red neuronal profunda también puede entrenarse basándose en otros datos, por ejemplo, señales de signos vitales tales como señales de señales de ECG y/o de respiración. Estos datos pueden añadirse a la matriz de una dimensión producida por la capa de aplanamiento 704.

En alguna realización, la red neuronal profunda no puede gestionar fenómenos dependientes del tiempo tales como movimientos de órganos, como el corazón. El latido del corazón puede provocar que partes del corazón se muevan en diferentes direcciones. Esto puede provocar imprecisiones en la información de dirección calculada por la red neuronal entrenada. Este problema puede abordarse añadiendo información adicional sobre el movimiento a los datos de entrenamiento. Por tanto, pueden extraerse características a partir de una señal de ECG que puede ayudar a la red neuronal profunda a interpretar una imagen de ultrasonidos. Una característica de la señal de ECG es la fase del latido del corazón (que es una señal periódica). La fase del latido del corazón puede usarse como información adicional que puede usarse para entrenar a la red neuronal profunda con el fin de obtener un modelo que puede determinar de manera más precisa la información de dirección basándose en una imagen de entrada, por ejemplo, un corte en 2D, del corazón.

En una realización adicional, puede usarse información respiratoria como información adicional para entrenar a la red neuronal profunda. La información respiratoria puede ser beneficiosa para que la red neuronal profunda reconozca efectos en imágenes debidos a la respiración. Por ejemplo, si un paciente inhala, los pulmones se expandirán, lo cual podrá observarse en la imagen como un “punto oscuro”. Esta información puede añadirse a los datos de entrenamiento y usarse durante el entrenamiento de la red neuronal profunda tal como se describió con referencia a la figura 4.

En la figura 7B se muestran ejemplos de señales de ECG y respiratorias. Pueden determinarse una señal de ECG promediada 722 y una señal de ECG derivada 726 basándose en una o más señales de ECG sin procesar 720, que se toman durante la captación de las imágenes. Estas señales pueden usarse para determinar una señal de fase del corazón 726 en forma de una señal en dientes de sierra. De una manera similar, puede determinarse una señal de respiración 728. Por tanto, durante la generación de datos de entrenamiento, pueden etiquetarse imágenes con posición de sonda, información de dirección e información de signos vitales tal como la fase del latido del corazón y/o una medida de la respiración. La red neuronal profunda puede entrenarse basándose en estos datos de entrenamiento de modo que la red neuronal profunda es más robusta frente a efectos debidos al movimiento de tejido debido al latido del corazón y/o la respiración.

La figura 7C representa un esquema de alto nivel del procesamiento de imágenes de ultrasonidos por la red neuronal entrenada que está configurada para controlar de manera autónoma un sistema de obtención de imágenes por ultrasonidos robotizado. Tal como se muestra en la figura, una imagen de ultrasonidos 730 asociada con una posición de sonda puede procesarse por una red neuronal profunda entrenada o parte de una red neuronal profunda entrenada (designada mediante la flecha 734) para dar características de imagen 7381. Tal como se muestra en la figura 7A, el procesamiento puede realizarse por una red neuronal convolucional entrenada o cualquier otra arquitectura de red neuronal profunda adecuada. De manera similar, en algunas realizaciones, señales de signos vitales asociadas con la imagen de ultrasonidos pueden procesarse para extraer características de signos vitales 7382, por ejemplo, características de ECG y/o de respiración tal como se ilustra en la figura 7B. Pueden extraerse características a partir de señales de signos vitales usando cualquier tipo de algoritmo de extracción de características 736. En algunas realizaciones, el algoritmo de extracción de características puede ser redes neuronales entrenadas que se entrenan para extraer características útiles a partir de la señal de signos vitales.

Posteriormente, las características 7381,2 pueden procesarse 740 por una red neuronal profunda entrenada, que está configurada para generar información de dirección 742 en forma de un conjunto de coordenadas que pueden considerarse como un vector en el espacio en el que puede moverse la sonda, en el que el vector tiene un origen en la posición de la sonda en la que se capta la imagen y en el que las coordenadas proporcionan una dirección del vector que apunta hacia una posición de sonda estimada para la vista objetivo.

Se indica que las figuras sólo son ejemplos no limitativos y existen muchas variantes diferentes sin alejarse de la esencia de la invención. Por ejemplo, en una realización, la arquitectura de red representada en la figura 7A o al menos parte de la misma puede estar configurada como un modelo de regresión. En este caso, el número de bloques convolucionales en la subred convolucional puede ser de cinco o más. La salida del modelo puede incluir varios parámetros incluyendo parámetros de traslación y parámetros angulares.

En una realización adicional, la red neuronal está configurada como un modelo de clasificación. En este caso, los ejes de traslación y de rotación pueden dividirse en un número predeterminado de agrupaciones. Para ello, la red puede clasificar la situación de cada eje (x, y, z, guiñada, cabeceo, alabeo, y opcionalmente distancia). El número de agrupaciones puede tener un impacto sustancial tanto sobre la precisión del modelo como sobre la complejidad del entrenamiento. Por ejemplo, dos agrupaciones pueden implicar una decisión simple para un eje: “ ir a la izquierda” o “ ir a la derecha”, tres agrupaciones pueden permitir una tercera elección, “sin movimiento”. Aumentar el número de agrupaciones a cinco proporciona más granularidad, permitiendo clases para “muy a la izquierda”, “un poco a la izquierda”, “sin movimiento”, “un poco a la derecha” y “muy a la derecha”. El número de agrupaciones es un compromiso entre la facilidad de entrenamiento (pocas agrupaciones) y la precisión de la salida (muchas agrupaciones).

Los ejes de traslación pueden necesitar más granularidad que el eje de rotación. Por tanto, el eje x, y, z puede dividirse, por ejemplo, en cinco agrupaciones y el eje de guiñada, cabeceo, alabeo puede dividirse en un número menor de agrupaciones, por ejemplo, tres agrupaciones. Además, puede usarse una entropía cruzada binaria para una función de pérdida y para realizar un seguimiento de la precisión total del problema. Para retropropagación puede usarse un esquema de descenso en gradiente estocástico bien conocido.

Tal como ya se comentó con referencia a la figura 7B, los datos temporales pueden ser relevantes para detectar la posición de la sonda, dado que atributos tales como latidos del corazón pueden contribuir significativamente a una predicción. Por tanto, en una realización adicional, el modelo puede estar configurado como una red neuronal convolucional recurrente (RCNN). Tal modelo puede estar configurado para procesar como serie temporal de imágenes (por ejemplo, un fragmento de vídeo) teniendo en cuenta movimientos de los tejidos internos y/u órganos debidos al latido del corazón y/o a la respiración. Puede añadirse una capa de memoria larga a corto plazo (LSTM) a la RCNN para mejorar la precisión del sistema.

Las figuras 8A y 8B representa un ejemplo de un sistema de ecografía por ultrasonidos robotizado 800 según una realización de la invención. Tal como se muestra en la figura 8A, puede posicionarse y fijarse un paciente 802 sobre una estructura de soporte en posición en decúbito prono. La estructura de soporte puede implementarse como una cama que comprende un armazón 812 y una superficie de soporte horizontal 804 que comprende una abertura 808 de modo que parte del cuerpo del paciente está expuesta a una sonda controlada por ordenador 810 que está configurada para moverse en direcciones tanto de traslación como de rotación.

La figura 8B representa en más detalle el armazón que incluye la sonda controlada por ordenador. Tal como se muestra en la figura, una plataforma de sonda 810 puede estar montada en un sistema de robot lineal, por ejemplo, un robot de coordenadas cartesianas, que permite el movimiento de traslación de la plataforma en las direcciones x, y, z. Los movimientos de la plataforma de sonda pueden realizarse controlando electromotores y/o accionadores 814, 815, 816 del sistema de robot lineal. El movimiento de traslación de la plataforma de sonda puede realizarse mediante motores rotatorios a través de engranajes o poleas. La plataforma de sonda puede incluir además una estructura de cardán que está diseñada para posicionar la sonda 820 en cualquier posición angular deseada basándose en un sistema de coordenadas angulares adecuado: rotaciones en el plano xy, en el plano yz y en el plano perpendicular al eje longitudinal 811 de la sonda.

La sonda debe posicionarse contra la piel del paciente de tal manera que se ejerce una fuerza sobre el paciente. El control de la fuerza ejercida sobre el paciente es importante para obtener una buena calidad de imagen. La fuerza puede ser controlable entre un intervalo que empieza desde una fuerza de contacto muy ligera hasta una fuerza intensa, que todavía está dentro del intervalo cómodo para el paciente. Con el fin de permitir que la plataforma de sonda realice el mismo movimiento que una muñeca humana, el movimiento de guiñada debe ser independiente del movimiento de alabeo y cabeceo movimiento. Por tanto, para lograr movimientos de guiñada, cabeceo y alabeo, el accionador de guiñada se controla como último accionador (antes del contacto con el paciente) de los tres accionadores conectados en serie. La dirección de guiñada proporciona un efecto de movimiento que es similar a la muñeca humana.

Las figuras 9A-9C representan diversas vistas de una plataforma de sonda rotatoria para un sistema de ecografía por ultrasonidos robotizado según una realización de la invención. La figura 9A representa una vista lateral de la plataforma que incluye una sonda 902 que está montada en un elemento de sujeción de sonda 903. La sonda puede ser cualquier tipo de sonda, incluyendo una sonda de ecografía manual comercialmente disponible. El elemento de sujeción de sonda fija la sonda a la plataforma de sonda. Tal como se muestra en la figura, el elemento de sujeción de sonda está conectado a un primer disco rotatorio 904 basándose en un elemento de fijación 906 que comprende resortes compresibles de una constante de resorte conocida. El elemento de fijación permite movimientos de la sonda con respecto a la plataforma de sonda en la dirección paralela al eje longitudinal 905 de la sonda. Por tanto, cuando la sonda está en contacto flexible con el paciente, la fuerza ejercida puede determinarse determinando la compresión del resorte y calculando la fuerza basándose en la compresión medida del resorte y la constante de resorte. El primer disco rotatorio 904 puede estar conectado de manera rotatoria mediante un eje a una primera polea de accionamiento 908. Una polea de salida 920 de un primer motor 920 puede estar conectada a la polea de accionamiento mediante engranajes, por ejemplo, engranajes de tipo correa, tal como se representa en la figura 9C. De esta manera, el primer motor puede controlar el movimiento de rotación de la sonda alrededor de su eje longitudinal (que coincide con el eje de rotación de la primera polea de accionamiento 908).

Además, el elemento de sujeción de sonda puede estar conectado adicionalmente de manera rotatoria a una estructura de montaje 912 que está unida al robot lineal tal como se describió con referencia a la figura 8. Tal como se muestra en la figura 9B, la conexión rotatoria conecta de manera rotatoria el elemento de sujeción de sonda a la estructura de montaje. Una polea de salida 916 de un segundo motor puede estar conectada a una segunda polea de accionamiento 910 que tiene un eje de rotación 911 que es perpendicular al eje de rotación de la primera polea de accionamiento 908. De esta manera, el segundo motor puede controlar el movimiento de rotación de la sonda alrededor de un eje de rotación que es perpendicular al eje longitudinal de la sonda.

Por tanto, a diferencia de sistemas de ecografía robotizados conocidos, el sistema de ecografía descrito con referencia a las figuras 8 y 9 requiere posicionar un paciente sobre una estructura de soporte que comprende una abertura que proporciona una sonda robotizada para acceder a parte del cuerpo, por ejemplo, el tórax, de un paciente que está tumbado sobre la estructura de soporte en una posición en decúbito prono. Esta posición es particularmente ventajosa para la obtención de imágenes ecográficas porque órganos, por ejemplo, intestinos o el corazón, no estarán borrosos o al menos estarán menos borrosos por otro tejido, por ejemplo, tejido pulmonar en el caso del corazón, como sucede si un paciente está tumbado sobre su espalda. Por tanto, la obtención de imágenes de un paciente en la posición en decúbito prono generará imágenes mejoradas, es decir, imágenes con menos distorsiones y/o interferencia debido a tejido pulmonar. Para determinadas direcciones de visualización, no será necesario posicionar el paciente en diferentes posturas para obtener imágenes de diferentes vistas. Además, la abertura en la estructura de soporte ayuda a posicionar y fijar un paciente que se necesita explorar. Las imágenes del paciente en posición en decúbito prono que se generan por el módulo de recopilación de datos se usan para generar datos de entrenamiento para entrenar al modelo. El entrenamiento del modelo basándose en los datos de entrenamiento así generados dará como resultado un modelo entrenado con rendimiento mejorado.

Una ventaja adicional del sistema representado en las figuras 8 y 9 se refiere a la seguridad del paciente. A diferencia de sistemas de ecocardiografía robotizados conocidos, el paciente no se posiciona entre la estructura de soporte, la cama y la sonda. En vez de eso, la sonda accede al paciente a través de una abertura de la estructura de soporte de modo que el paciente no puede quedarse atrapado entre la sonda y la cama, reduciendo por tanto el riesgo de que un fallo de funcionamiento del robot pueda conducir a situaciones en las que pueda lesionarse el paciente.

Las figuras 10A y 10B ilustran un sistema de ecografía robotizado según una realización de la invención. El sistema puede ser similar al descrito con referencia a la figura 1 incluyendo una estructura de soporte, por ejemplo, una cama, para posicionar un paciente en una posición en decúbito prono de modo que la sonda puede acceder a parte del cuerpo a través de la abertura. En esta realización, la zona de recopilación de datos 1004 en la figura 10B en la que la sonda se mueve alrededor de un punto objetivo, puede incluir una o más zonas marcadas 1006 en las que no se permite que entre la sonda. De esta manera, pueden evitarse zonas sensibles, por ejemplo, zonas que incluyen tejido de mama.

En una realización, tales zonas prohibidas pueden reconocerse por el sistema mediante el sistema de realimentación de fuerza. Por ejemplo, cuando la sonda se mueve alrededor del punto objetivo, un cambio en el eje z vertical de la sonda mayor que un determinado valor umbral puede indicar que la sonda se mueve a una zona que comprende tejido de mama. En este caso, la sonda puede moverse hasta una posición en la zona de recopilación de datos que tiene un valor de eje z menor. En otra realización, una zona prohibida puede marcarse mediante un elemento mecánico conectado a la estructura de soporte. Por ejemplo, en una realización, puede colocarse una mama contra un elemento de sujeción curvo 1002 adecuado que puede estar montado mecánicamente en la cama. El elemento de sujeción puede evitar que la sonda se mueva a una zona de sonda prohibida.

Estas realizaciones pueden ser especialmente útiles cuando se obtienen imágenes del vértice del corazón, que está ubicado en el límite inferior izquierdo del corazón y ubicado justo bajo la mama. Para evitar desplazarse sobre tejido de mama con la sonda, la sonda puede aproximarse a la zona objetivo únicamente desde zonas lateral y distal, desde donde se espera que esté el vértice, y no desde arriba/desde tejido de mama. Esta zona (distal o lateral con respecto al vértice) puede encontrarse usando información paraesternal, que también muestra la ubicación del vértice. De esta manera, la búsqueda y recopilación de datos pueden limitarse a una parte de la zona de recopilación de datos, en lugar de la zona de recopilación de datos completa alrededor de la ubicación objetivo.

Se indica que las realizaciones en esta solicitud no se limitan a las realizaciones ilustradas en las figuras. Por ejemplo, aunque las figuras ilustran un sistema de ecografía robotizado en el que el paciente se posiciona en posición en decúbito prono sobre la estructura de soporte, en algunas realizaciones, el sistema puede explorar partes corporales mientras el paciente está dispuesto sobre la estructura de soporte en otra postura, por ejemplo, también es posible un paciente sobre la espalda o el costado. Además, en lugar de disponer la sonda bajo la estructura de soporte, en algunas realizaciones, también es posible que el sistema robótico que comprende el robot esté dispuesto sobre el paciente. En este caso, el sistema de soporte no necesita tener una o más aberturas o rebajes para proporcionar acceso a la sonda a una o más partes corporales de un paciente.

Las técnicas de esta divulgación pueden implementarse en una amplia variedad de dispositivos o aparatos. En esta divulgación se describen diversos componentes, módulos o unidades para enfatizar aspectos funcionales de dispositivos configurados para realizar las técnicas dadas a conocer, pero no requieren necesariamente la realización mediante diferentes unidades de hardware. En vez de eso, tal como se describió anteriormente, pueden combinarse diversas unidades en una unidad de hardware de códec o proporcionarse mediante una colección de unidades de hardware interoperativas, incluyendo uno o más procesadores tal como se describió anteriormente, junto con software y/o firmware adecuado.

La terminología usada en el presente documento es únicamente con el fin de describir realizaciones particulares y no se pretende que sea limitativa de la invención. Tal como se usan en el presente documento, se pretende que las formas en singular “un”, “una” y “el/al” incluyan también las formas en plural, a menos que el contexto indique claramente lo contrario. Se entenderá además que los términos “comprende” y/o “que comprende”, cuando se usan en esta memoria descriptiva, especifican la presencia de características, números enteros, etapas, operaciones, elementos y/o componentes mencionados, pero no excluyen la presencia o adición de una o más de otras características, números enteros, etapas, operaciones, elementos, componentes y/o grupos de los mismos.

La descripción de la presente invención se ha presentado con fines de ilustración y descripción, pero no se pretende que sea exhaustiva o limite la invención en cuanto a la forma dada a conocer. Muchas modificaciones y variaciones resultarán evidentes para los expertos habituales en la técnica sin alejarse del alcance de la invención. La realización se eligió y describió con el fin de explicar de la mejor manera los principios de la invención y la aplicación práctica, y permitir que otros expertos habituales en la técnica entiendan la invención para diversas realizaciones con diversas modificaciones según resultan adecuadas para el uso particular contemplado.

Claims

REIVINDICACIONES

Un sistema de obtención de imágenes por ultrasonidos robotizado que comprende:

un sistema robótico (100) configurado para posicionar una sonda de ultrasonidos (106) contra una parte corporal de un objeto, por ejemplo, un objeto humano, posicionado sobre una estructura de soporte (102), preferiblemente una estructura de soporte horizontal, y para mover la sonda de ultrasonidos sobre la parte corporal; y,

un sistema informático (109) que comprende:

un módulo de generación de datos (116) configurado para controlar el sistema robótico para generar datos de entrenamiento clínicos para un algoritmo de aprendizaje automático, comprendiendo los datos de entrenamiento clínicos imágenes de ultrasonidos asociadas con una o más vistas objetivo de tejido interno y/u órganos del objeto, estando cada vista objetivo asociada con una posición y orientación objetivo de la sonda de ultrasonidos, incluyendo los datos de entrenamiento además, para cada posición objetivo, una pluralidad de posiciones y orientaciones de entrenamiento de la sonda con respecto a la posición y orientación objetivo e incluyendo información de dirección asociada con la pluralidad de posiciones y orientaciones de entrenamiento, definiendo la información de dirección para cada posición de entrenamiento una dirección, preferiblemente un vector, que apunta hacia la posición objetivo;

un módulo de aprendizaje automático (114) que comprende un algoritmo de aprendizaje automático entrenado, que se entrena basándose en los datos de entrenamiento clínicos, estando el módulo de aprendizaje automático configurado para recibir una o más imágenes de ultrasonidos (730) captadas por la sonda en una posición y orientación de sonda actuales cuando se mueve sobre la superficie de la parte corporal del objeto y para determinar, para la posición y orientación de sonda actuales, información de dirección estimada, preferiblemente un vector estimado, que define una dirección que apunta desde la posición y orientación de sonda actuales hacia una posición y orientación de sonda estimadas asociadas con una vista objetivo basándose en la una o más imágenes de ultrasonidos; y,

un módulo de ejecución (120) configurado para controlar de manera autónoma el sistema robótico, incluyendo el control: mover la sonda sobre la superficie de la parte corporal del objeto para encontrar una posición (514) y orientación de sonda óptimas para cada una de la una o más vistas objetivo basándose en la información de dirección estimada generada por el algoritmo de aprendizaje automático entrenado para diferentes posiciones (516) y orientaciones de sonda y para captar en la posición y orientación de sonda óptimas para cada una de la una o más vistas objetivo, una o más imágenes de ultrasonidos del tejido interno y/u órganos.

Sistema de obtención de imágenes robotizado según la reivindicación 1, en el que el módulo de generación de datos está configurado además para:

determinar una pluralidad de posiciones y orientaciones de entrenamiento para la sonda dentro de una zona de recopilación de datos predeterminada definida alrededor de una posición y orientación objetivo;

mover la sonda hasta cada una de las posiciones y orientaciones de entrenamiento y captar una o más imágenes para cada una de las posiciones y orientaciones de entrenamiento;

asociar la una o más imágenes asociadas con una posición y orientación de entrenamiento con información de dirección, incluyendo la información de dirección coordenadas de un vector que apunta desde la posición y orientación de entrenamiento hasta la posición y orientación objetivo; y,

almacenar la una o más imágenes e información de dirección asociada como datos de entrenamiento clínicos en un medio de almacenamiento.

Sistema de obtención de imágenes robotizado según las reivindicaciones 1 o 2, en el que el sistema comprende un módulo de entrenamiento (118) configurado para:

proporcionar una imagen asociada con una posición y orientación de entrenamiento a la entrada del algoritmo de aprendizaje automático, estando la imagen asociada con información de dirección que define una dirección, preferiblemente un vector, que apunta desde la posición y orientación de entrenamiento hacia una posición y orientación objetivo;

recibir información de dirección estimada, preferiblemente un vector estimado, a partir de la salida del algoritmo de aprendizaje automático y evaluar la información de dirección estimada basándose en el vector y una función de pérdida;

ajustar parámetros de entrenamiento del algoritmo de aprendizaje automático basándose en la evaluación de la información de dirección estimada; y,

repetir el procedimiento de proporcionar una imagen a la entrada del algoritmo de aprendizaje automático, evaluar la salida de la red neuronal profunda y ajustar los parámetros de entrenamiento, hasta que la evaluación indica que el vector estimado coincide sustancialmente con el vector.

4. Sistema de obtención de imágenes robotizado según cualquiera de las reivindicaciones 1-3, en el que el módulo de ejecución está configurado para:

mover la sonda hasta una primera posición y orientación de sonda contra una parte corporal de un paciente y captar una o más primeras imágenes en la primera posición y orientación de sonda;

proporcionar la una o más primeras imágenes a una red neuronal profunda para determinar información de dirección estimada asociada con la primera posición y orientación de sonda, definiendo la información de posición estimada una dirección estimada que apunta desde la primera posición y orientación de sonda hacia una posición y orientación de sonda estimadas de la vista objetivo;

almacenar primera posición y orientación de sonda y la información de dirección estimada en una memoria;

repetir las etapas de mover la sonda hasta una posición y orientación de sonda adicionales, determinar información de dirección estimada para la posición de sonda adicional usando la red neuronal profunda entrenada y almacenar la posición de sonda y la información de dirección estimada asociada hasta que se recopila un conjunto de posiciones de sonda e información de dirección estimada asociada; y,

determinar una posición y orientación de sonda óptimas de la vista objetivo basándose en las posiciones y orientaciones de sonda recopiladas e información de dirección estimada y mover la sonda hasta la posición y orientación de sonda óptimas para captar una o más imágenes de la vista objetivo.

5. Sistema de obtención de imágenes robotizado según cualquiera de las reivindicaciones 1-4, en el que el algoritmo de aprendizaje automático es una red neuronal profunda o un sistema de red neuronal profunda (700) que comprende una pluralidad de redes neuronales profundas concatenadas, preferiblemente estando la red neuronal convolucional o el sistema de red neuronal convolucional configurado como un algoritmo de regresión o un algoritmo de clasificación.

6. Sistema de obtención de imágenes robotizado según la reivindicación 5, en el que la red neuronal profunda o el sistema de red neuronal profunda comprende una o más redes neuronales convolucionales para extraer características a partir de imágenes de ultrasonidos captadas por la sonda; y/o, en el que la red neuronal profunda o el sistema de red neuronal profunda comprende una red de capas densamente conectadas para transformar características asociadas con una imagen de ultrasonidos captada en una posición de sonda en información de dirección estimada, en el que la información de dirección estimada define una dirección que apunta desde la posición y orientación de sonda hacia una posición y orientación de sonda estimadas de la vista objetivo.

7. Sistema de obtención de imágenes robotizado según cualquiera de las reivindicaciones 1-6, en el que los datos de entrenamiento clínicos incluyen además una o más características de una o más señales de signos vitales (732) asociadas con la una o más imágenes de ultrasonidos captadas, preferiblemente incluyendo la una o más características, características de una señal de ECG y/o características de una señal respiratoria.

8. Sistema de obtención de imágenes robotizado según cualquiera de las reivindicaciones 1-7, en el que la estructura de soporte está configurada para posicionar el objeto en una posición en decúbito prono, comprendiendo la estructura de soporte una abertura o un rebaje que expone parte del objeto, preferiblemente el tórax del objeto, a la sonda, más preferiblemente estando al menos parte del sistema robótico dispuesto bajo la estructura de soporte.

9. Sistema de obtención de imágenes robotizado según cualquiera de las reivindicaciones 1-7, en el que el sistema robótico incluye un brazo robótico conectado a la sonda de obtención de imágenes para mover la sonda en direcciones de traslación y de rotación; o un sistema robótico lineal, preferiblemente dispuesto bajo la estructura de soporte, en el que el sistema robótico incluye un sistema robótico lineal configurado para mover una plataforma de sonda que comprende la sonda de obtención de imágenes en direcciones de traslación y en el que la plataforma de sonda está configurada para mover la sonda de obtención de imágenes en direcciones angulares.

10 Sistema de obtención de imágenes robotizado según la reivindicación 9, en el que la información de dirección se usa por el sistema robótico para mover la sonda en una o más primeras direcciones, preferiblemente las direcciones x, y, en paralelo al plano de la estructura de soporte.

Sistema de obtención de imágenes robotizado según las reivindicaciones 9 o 10, en el que se usa una señal de sensor de un sensor de presión o un sensor de fuerza asociado con la sonda para mover la sonda en una segunda dirección, preferiblemente la dirección z, sustancialmente perpendicular a la una o más primeras direcciones, preferiblemente usándose la señal de sensor para presionar la sonda con una fuerza constante contra la parte corporal mientras se mueve la sonda en la una o más primeras direcciones.

Sistema de obtención de imágenes robotizado según cualquiera de las reivindicaciones 9-11, en el que la plataforma de sonda incluye un elemento de sujeción de sonda para sujetar la sonda de obtención de imágenes, incluyendo el elemento de sujeción de sonda el sensor de presión o de fuerza, preferiblemente incluyendo el sensor de presión o de fuerza una estructura de resorte, de tal manera que, cuando se presiona la sonda contra la parte corporal del objeto, la estructura de resorte se comprimirá, en el que la compresión de la estructura de resorte representa un valor de la fuerza con la que se presiona la sonda contra la parte corporal.

Sistema de obtención de imágenes robotizado según cualquiera de las reivindicaciones 1-12, en el que la información de dirección incluye un conjunto de coordenadas de traslación para mover la sonda de obtención de imágenes en una dirección de traslación y un conjunto de coordenadas angulares para mover la sonda de obtención de imágenes en una dirección angular.

Sistema de obtención de imágenes robotizado según cualquiera de las reivindicaciones 1-13, en el que el controlador remoto está conformado como una sonda de ecografía manual, comprendiendo la sonda de ecografía manual uno o más sensores, preferiblemente uno o más sensores de acelerómetro, uno o más sensores de navegación ópticos y/o sensores de inclinación para convertir una posición de la sonda de ecografía manual en información de posición para controlar el sistema robótico para mover la sonda de obtención de imágenes hasta una posición según la información de posición.