CN117457175A - 影像检查方法、装置和计算机设备 - Google Patents
影像检查方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN117457175A CN117457175A CN202311398505.3A CN202311398505A CN117457175A CN 117457175 A CN117457175 A CN 117457175A CN 202311398505 A CN202311398505 A CN 202311398505A CN 117457175 A CN117457175 A CN 117457175A
- Authority
- CN
- China
- Prior art keywords
- instruction
- processing
- image
- module
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- General Business, Economics & Management (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Business, Economics & Management (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请涉及一种影像检查方法、装置和计算机设备。所述方法应用于影像检查系统的处理模块;影像检查系统还包括音频采集模块、音频输出模块以及医学影像设备;音频采集模块、音频输出模块以及医学影像设备均连接处理模块;音频采集模块用于获取音频数据;医学影像设备用于获取目标对象的影像数据;所述方法包括:响应于接收到针对目标对象的文本信息,通过自然语言处理模型处理文本信息,输出用于处理影像数据的调用指令;获取基于调用指令返回的针对目标对象的检查结果;采用自然语言处理模型处理检查结果和音频数据,输出语音指令;语音指令用于指示音频输出模块输出相应的参考音频。采用本方法能够提高影像检查的流程自动化程度。
Description
技术领域
本申请涉及医学影像技术领域,特别是涉及一种影像检查方法、装置和计算机设备。
背景技术
随着医学影像技术的发展,超声检查等医学影像检查技术应用越来越广泛,目前将人工智能应用于医学影像检查中,往往应用于成像、图像分割、图像分类以及自动生成报告等领域。
然而,目前的影像检查方式或者传统方法,存在操作流程自动化程度低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高流程自动化程度的影像检查方法、装置和计算机设备。
第一方面,本申请提供了一种影像检查方法,方法应用于影像检查系统的处理模块;影像检查系统还包括音频采集模块、音频输出模块以及医学影像设备;音频采集模块、音频输出模块以及医学影像设备均连接处理模块;音频采集模块用于获取音频数据;医学影像设备用于获取目标对象的影像数据;方法包括:
响应于接收到针对目标对象的文本信息,通过自然语言处理模型处理文本信息,输出用于处理影像数据的调用指令;
获取基于调用指令返回的针对目标对象的检查结果;
采用自然语言处理模型处理检查结果和音频数据,输出语音指令;语音指令用于指示音频输出模块输出相应的参考音频。
在其中一个实施例中,方法还包括:
基于调用指令,调用相应的模型处理影像数据,得到检查结果。
在其中一个实施例中,调用指令包括图像识别指令和参数测量指令中的至少一种;检查结果包括检测部位和测量参数中的至少一种;基于调用指令,调用相应的模型处理影像数据,得到检查结果,包括:
响应于获取到图像识别指令,调用图像识别模型处理影像数据,得到目标对象的检测部位;和/或
响应于获取到参数测量指令,调用参数测量模型处理影像数据,得到目标对象的测量参数。
在其中一个实施例中,方法还包括:
通过自然语言处理模型处理文本信息,得到针对目标对象的知识库调用指令;
基于知识库调用指令和影像数据调用知识库,得到针对文本信息的查询结果;
采用自然语言处理模型处理查询结果和文本信息,生成相应的语音指令并输出。
在其中一个实施例中,方法还包括:
根据知识库调用指令和影像数据调用知识库,确定目标对象的待检测项目;
采用自然语言处理模型处理待检测项目和文本信息,生成相应的语音指令并输出。
在其中一个实施例中,方法还包括:
获取目标对象的检查信息;
通过自然语言处理模型处理检查信息,输出参数设置指令;参数设置指令用于设置医学影像设备针对目标对象的检查参数;和/或
采用自然语言处理模型处理文本信息,得到参数修改指令并输出;参数修改指令用于更新医学影像设备针对目标对象的检查参数。
在其中一个实施例中,方法还包括:
采用语音识别模型处理音频数据,得到文本信息。
在其中一个实施例中,方法还包括:
通过自然语言处理模型处理检查结果,生成检查结果对应的结构化数据;
根据结构化数据训练当前的自然语言处理模型,得到下一次用于处理文本信息的自然语言处理模型。
第二方面,本申请提供了一种影像检查装置,装置应用于影像检查系统的处理模块;影像检查系统还包括音频采集模块、音频输出模块以及医学影像设备;音频采集模块、音频输出模块以及医学影像设备均连接处理模块;音频采集模块用于获取音频数据;医学影像设备用于获取目标对象的影像数据;装置包括:
调用指令输出模块,用于响应于接收到针对目标对象的文本信息,通过自然语言处理模型处理文本信息,输出用于处理影像数据的调用指令;
检查结果获取模块,用于获取基于调用指令返回的针对目标对象的检查结果;
语音指令输出模块,用于采用自然语言处理模型处理检查结果和音频数据,输出语音指令;语音指令用于指示音频输出模块输出相应的参考音频。
第三方面,本申请提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述的方法的步骤。
上述影像检查方法、装置和计算机设备,方法应用于影像检查系统的处理模块;影像检查系统还包括音频采集模块、音频输出模块以及医学影像设备;音频采集模块、音频输出模块以及医学影像设备均连接处理模块;音频采集模块用于获取音频数据;医学影像设备用于获取目标对象的影像数据;通过响应于接收到针对目标对象的文本信息,通过自然语言处理模型处理文本信息,输出用于处理影像数据的调用指令,实现基于文本信息对影像数据处理的针对性控制;获取基于调用指令返回的针对目标对象的检查结果,以及时对针对目标对象的检查结果进行分析;采用自然语言处理模型处理检查结果和音频数据,输出语音指令;语音指令用于指示音频输出模块输出相应的参考音频,为操作者针对目标对象进行检查提供相应的参考。采用本方法能够提高影像检查的流程自动化程度,并且提高了工作效率和检查的准确度。
附图说明
图1为一个实施例中影像检查系统的结构框图;
图2为一个实施例中影像检查方法的流程示意图;
图3为一个实施例中影像检查步骤的流程示意图;
图4为另一个实施例中影像检查方法的流程示意图;
图5为又一个实施例中影像检查方法的流程示意图;
图6为再一个实施例中影像检查方法的流程示意图;
图7为一个具体的实施例中影像检查方法的流程示意图;
图8a为一个具体的示例中影像检查系统的结构框图;
图8b为另一个具体的示例中影像检查系统的结构框图;
图8c为又一个具体的示例中影像检查系统的结构框图;
图9为一个实施例中影像检查装置的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
医学影像检查可以用于检查心脏、肝脏、肾脏、胆囊等器官的检查。然而,现有的医学影像检查存在一些问题,包括操作者(例如,医师)操作不规范、个体技术差异、检查时间有限、任务繁重等。其中,操作者操作不规范和个体技术差异会导致检查结果的不确定性,影响疾病的诊断和治疗效果;检查时间有限和任务繁重导致许多测量并没有实现,这也限制了许多高级功能的临床应用,如微血流成像;不同医学影像设备的检查工作流有差异,检查界面也不同,会影响操作者的上手时间和工作效率。因此,需要提高超声检查的操作流程自动化程度低。
在一个实施例中,提供了一种影像检查方法,如图1所示,方法应用于影像检查系统10的处理模块110;影像检查系统10还包括音频采集模块120、音频输出模块130以及医学影像设备140;音频采集模块120、音频输出模块130以及医学影像设备140均连接处理模块110;音频采集模块120用于获取音频数据;医学影像设备140用于获取目标对象的影像数据;如图2所示,方法包括:
步骤210,响应于接收到针对目标对象的文本信息,通过自然语言处理模型处理文本信息,输出用于处理影像数据的调用指令;
具体而言,音频采集模块120可以用于获取音频数据,例如,可以收集包括人声信号的声信号,并将声信号转换为电信号,并输出至处理模块110;音频采集模块120还可以对采集的音频数据进行一定的信号处理,例如,滤波处理,以过滤出音频数据中的环境噪声,保留声信号中主要的人声信号,进而提高输出至处理模块110的音频数据的信息有效性。也可以通过处理模块110对接收到的音频数据进行相应的信号处理,以提取音频数据中的有效信息。医学影像设备140为获取目标对象的内部结构信息,采集目标对象的影像数据的设备,医学影像设备140可以包括X射线设备、磁共振成像(Magnetic Resonance Imaging,MRI)设备、超声波设备以及核医学设备等。处理模块110响应于接收到针对目标对象的文本信息,可以采用自然语言处理模型对接收到的文本信息进行处理,得到调用指令并输出,调用指令可以用于指示对医学影像设备140采集的影像数据进行处理。其中,文本信息为以书面形式表达的信息,可以为处理模块110直接获取到的文本信息,也可以为处理模块110将其他形式的数据经过相应处理得到的文本信息,例如,处理模块110将音频数据进行转换得到相应的文本信息。自然语言处理(Natural Language Processing,NLP)模型是指用于处理和理解人类语言的计算机模型。自然语言处理模型可以通过机器学习和深度学习等技术,对文本、语音和语言等形式的自然语言数据进行分析、理解和生成。自然语言处理模型可以读取当前获取的文本信息,可以将当前获取的文本信息拼合历史的文本信息作为输入,输出调用指令;通过生成调用指令,可以用于调用相应的模块或模型针对影像数据进行处理,以实现基于文本信息对影像数据处理的针对性控制。
在一些示例中,音频采集模块120可以包括一个或多个麦克风阵列。音频采集模块120可以配置本地的语音识别模型,或者基于云端的语音识别模型,将采集的音频数据转换为文本消息并输出。自然语言处理模型可以包括循环神经网络(Recurrent NeuralNetwork,RNN),注意力机制(Attention Mechanism)预训练语言模型(PretrainedLanguage Model)、ChatGPT(聊天生成预训练转换器)、以及文心一言等中的一种或多种模型。
步骤220,获取基于调用指令返回的针对目标对象的检查结果;
具体而言,在调用指令指示对影像数据进行处理后,可以获取返回的针对目标对象的检查结果,检查结果可以包括目标对象的基本信息,目标对象的检查图像以及血液流速等;通过获取基于调用指令返回的针对目标对象的检查结果,可以及时对针对目标对象的检查结果进行分析,并反馈给操作者,以提高检查的效率和准确率。
步骤230,采用自然语言处理模型处理检查结果和音频数据,输出语音指令;语音指令用于指示音频输出模块130输出相应的参考音频。
具体而言,可以采用自然语言处理模型对检查结果和音频数据进行处理,输出相应的语音指令,其中,自然语言处理模型可以将音频数据转换为相应的文本信息,并拼合历史的文本信息,包括检查结果作为输入;自然语言处理模型还可以用于输出生成的对话信息,例如,自然语言处理模型可以基于检查结果和音频数据生成相应的语音指令,并将语音指令输出至音频输出模块130,音频输出模块130基于接收到的语音指令生成相应的参考音频并输出,用于为操作者针对目标对象进行检查提供相应的参考。
在一些示例中,音频输出模块130可以包括语音合成单元和音频输出单元,语音合成单元可以基于在线或本地的语音合成模型,接收语音指令并合成为语音信号输出给音频输出单元。音频输出单元可以包括扬声器等音频播放硬件,将语音信号转换为声信号输出。
本实施例中,方法应用于影像检查系统的处理模块;影像检查系统还包括音频采集模块、音频输出模块以及医学影像设备;音频采集模块、音频输出模块以及医学影像设备均连接处理模块;音频采集模块用于获取音频数据;医学影像设备用于获取目标对象的影像数据;通过响应于接收到针对目标对象的文本信息,通过自然语言处理模型处理文本信息,输出用于处理影像数据的调用指令,实现基于文本信息对影像数据处理的针对性控制;获取基于调用指令返回的针对目标对象的检查结果,以及时对针对目标对象的检查结果进行分析;采用自然语言处理模型处理检查结果和音频数据,输出语音指令;语音指令用于指示音频输出模块输出相应的参考音频,为操作者针对目标对象进行检查提供相应的参考。采用本方法能够提高影像检查的流程自动化程度,并且提高了工作效率和检查的准确度。
在其中一个实施例中,方法还包括:
基于调用指令,调用相应的模型处理影像数据,得到检查结果。
具体而言,处理模块110可以基于调用指令调用相应的模型处理影像数据,得到检查结果,例如,调用指令可以为用于识别目标对象的检测部位的图像识别指令,以及用于确定目标对象的测量参数的参数测量指令中的至少一种。通过基于调用指令,调用相应的模型处理影像数据,得到检查结果,可以结合相应的模型辅助操作者对影像数据进行分析,提高了检查的效率。
在一些示例中,基于图像识别指令可以调用图像识别模型处理影像数据,得到目标对象的检测部位;基于参数测量指令可以调用参数测量模型处理影像数据,得到目标对象的测量参数。
在其中一个实施例中,调用指令包括图像识别指令和参数测量指令中的至少一种;检查结果包括检测部位和测量参数中的至少一种;如图3所示,基于调用指令,调用相应的模型处理影像数据,得到检查结果,包括:
步骤310,响应于获取到图像识别指令,调用图像识别模型处理影像数据,得到目标对象的检测部位;和/或
步骤320,响应于获取到参数测量指令,调用参数测量模型处理影像数据,得到目标对象的测量参数。
具体而言,用于处理影像数据的调用指令,可以包括图像识别指令和参数测量指令中的至少一种。例如,若处理模块110通过自然语言处理模型处理文本信息,生成了“识别当前B超图像中的颈动脉”的图像识别指令,则处理模块110响应于获取到该图像识别指令,调用图像识别模型处理当前B超图像的影像数据,可以得到图像识别模型返回的图像识别结果,图像识别结果包括目标对象的检测部位,检测部位可以包括器官或组织,例如,颈动脉。若处理模块110通过自然语言处理模型处理文本信息,生成“颈动脉血液流速自动测量”的参数测量指令,则处理模块110响应于获取到该参数测量指令,调用参数测量模型处理相应的影像数据,可以得到参数测量模型返回的参数测量结果,例如,得到目标对象针对颈动脉血液流速的测量参数。通过基于不同的调用指令,调用相应的模型处理影像数据,可以分别用于确定目标对象的检测部位,以及得到目标对象的测量参数,提高了检查的效率。
在一些示例中,若处理模块110通过自然语言处理模型处理文本信息,生成了“识别当前B超图像中的颈动脉”的图像识别指令,则处理模块110响应于获取到该图像识别指令,调用图像识别模型处理当前B超图像的影像数据,可以得到图像识别模型返回的图像识别结果,例如,“否/不存在”,则可以将图像识别结果整合到该次检查流程的所有对话中,作为自然语言处理模型的输入,自然语言处理模型输出新的对话信息,例如,“请补充待测血管信息”,或者输出调用其他模块的指令。若处理模块110通过自然语言处理模型处理文本信息,生成“颈动脉血液流速自动测量”的参数测量指令,则处理模块110响应于获取到该参数测量指令,调用参数测量模型处理相应的影像数据,可以得到参数测量模型返回的参数测量结果,参数测量结果会同该次检查流程的所有对话作为自然语言处理模型的输入,自然语言处理模型输出新的对话信息或者调用其他模块的指令。
在一些示例中,图像识别模型可以为本地的边缘计算模型,也可以为云端的软件服务,用于对影像数据(例如B超图像、彩色血流图像等超声影像数据)进行识别,得到图像识别结果。参数测量模型可以为定制的软件工具包,软件工具包可以集成了多个基于AI(Artificial Intelligence,人工智能)或者非AI的工具,参数测量模型可以对包括颈动脉血流、左心室容积等在内的临床参数进行测量,得到参数测量结果。
在其中一个实施例中,如图4所示,方法还包括:
步骤410,通过自然语言处理模型处理文本信息,得到针对目标对象的知识库调用指令;
步骤420,基于知识库调用指令和影像数据调用知识库,得到针对文本信息的查询结果;
步骤430,采用自然语言处理模型处理查询结果和文本信息,生成相应的语音指令并输出。
具体而言,文本信息可以包括医生操作指令,通过自然语言处理模型处理文本信息,可以得到针对目标对象的知识库调用指令,例如,知识库调用指令可以包括该次检查的类型信息;进一步的,可以基于知识库调用指令和影像数据调用知识库,对知识库中的数据进行相应的搜索,得到针对文本信息的查询结果,例如,得到该次检查对应的检查标准;可以将查询结果和文本信息作为自然语言处理模型的输入,其中,文本信息可以为该次检查流程中的所有文本信息,采用自然语言处理模型处理查询结果和文本信息,可以生成相应的语音指令并输出,例如,自然语言处理模型可以返回要求补充信息的语音指令,并将该语音指令发送给音频输出模块130以提示操作者,完善该次检查。通过知识库对文本信息进行查询,得到查询结果结合文本信息生成相应的语义指令,可以结合知识库中的数据辅助操作者对目标对象进行检查,提高了检查的效率。
在一些示例中,处理模块110可以配置相应的知识库模块,以实现对知识库的调用。知识库模块可以接收处理模块110生成的知识库调用指令,输出知识检索结果返回给处理模块110。知识库模块可以内置浏览器,通过浏览器可以连接至因特网、局域网、本地文件夹等中的医疗资料,包括但不限于医学文献、公开的已有检查案例以及医院内部资料等结构化数据。知识库模块可以读取和写入上述结构化数据。
在其中一个实施例中,如图5所示,方法还包括:
步骤510,根据知识库调用指令和影像数据调用知识库,确定目标对象的待检测项目;
步骤520,采用自然语言处理模型处理待检测项目和文本信息,生成相应的语音指令并输出。
具体而言,可以基于知识库调用指令和影像数据调用知识库,对知识库中的数据进行相应的搜索,得到针对文本信息的查询结果,例如,得到该次检查针对目标对象的待检测项目;可以将待检测项目和文本信息作为自然语言处理模型的输入,其中,文本信息可以为该次检查流程中的所有文本信息,采用自然语言处理模型处理待检测项目和文本信息,可以生成相应的语音指令并输出,例如,自然语言处理模型可以返回要求补充检查项目的语音指令,并将该语音指令发送给音频输出模块130,以提示操作者避免发生漏检。通过知识库辅助检查,可以提高检查的准确度,及时提示操作者相应的检查流程和检查项目。
在其中一个实施例中,如图6所示,方法还包括:
步骤610,获取目标对象的检查信息;
步骤620,通过自然语言处理模型处理检查信息,输出参数设置指令;参数设置指令用于设置医学影像设备140针对目标对象的检查参数;和/或
步骤630,采用自然语言处理模型处理文本信息,得到参数修改指令并输出;参数修改指令用于更新医学影像设备140针对目标对象的检查参数。
具体而言,可以获取目标对象的检查信息,目标对象的检查信息可以包括目标对象的检查类型、目标对象的基本数据以及对目标对象进行检查的操作者名称等;其中,目标对象的检查信息可以为结构化数据。
处理模块110可以将目标对象的检查信息输入自然语言处理模型,通过自然语言处理模型处理检查信息,输出参数设置指令,参数设置指令可以包括该次检查对应的工作流和检查参数设置值,以对医学影像设备140进行相应的检查参数设置;
处理模块110还可以接收相应的文本信息,例如,接收操作者用于修改检查参数的音频数据,并转换为相应的文本信息,采用自然语言处理模型处理文本信息,得到对应的参数修改指令并输出,参数修改指令可以包括检查参数修改值,以用于更新医学影像设备140针对目标对象的检查参数。
上述方式,通过自然语言处理模型可以对检查信息进行处理,输出参数设置指令,用于对医学影像设备140的检查参数的设置,实现对工作流和检查参数设置值的设置;通过自然语言处理模型还可以对文本信息进行处理,输出参数修改指令,以实现对医学影像设备140的检查参数的更新修改,能够在检查前和检查过程中适应操作者的个体习惯,进而提高检查的效率。
在其中一个实施例中,方法还包括:
采用语音识别模型处理音频数据,得到文本信息。
具体而言,处理模块110可以采用语音识别模型处理获取到的音频数据,例如,包含医生操作指令的音频数据,将音频数据转换为对应的文本信息。其中,语音识别模型可以为处理模块110的本地端的模型,也可以为云端的模型。通过采用语音识别模型处理音频数据,得到文本信息,可以提高处理模块110处理音频数据的准确度,并且可以拼合历史的文本信息作为自然语言处理模型的输入,提高自然语言处理模型输出对话或指令的准确度。
在一些示例中,处理模块110可以配置音频识别模块,音频识别模块可以基于可以位于本地或云端的语音识别模型,将音频数据转换为文本消息。
在其中一个实施例中,如图7所示,方法还包括:
步骤710,通过自然语言处理模型处理检查结果,生成检查结果对应的结构化数据;
步骤720,根据结构化数据训练当前的自然语言处理模型,得到下一次用于处理文本信息的自然语言处理模型。
具体而言,在检查结束后,可以通过自然语言处理模型处理检查结果,生成检查结果对应的结构化数据,其中,检查结果可以包括检查类型、目标对象的检查数据以及目标对象的检查参数等,可将检查结果对应的结构化数据作为训练数据,训练当前的自然语言处理模型以进行模型修正,得到下一次用于处理文本信息的自然语言处理模型。通过上述方式,可以将基于医学资料进行训练得到的自然语言处理模型进行进一步修正,提高自然语言处理模型对医学术语和场景的理解能力会提高。
在一个具体的示例中,如图8a所示,影像检查系统10可以包括音频采集模块120、音频输出单元、语音识别模块、分析决策模块、语音合成单元、知识库模块、图像识别模块以及自动测量模块。其中,语音识别模块、分析决策模块、语音合成单元、知识库模块、图像识别模块以及自动测量模块可以均集成在处理模块110中。语音识别模块连接音频采集模块120和分析决策模块;分析决策模块连接语音合成单元、图像识别模块、知识库模块以及自动测量模块;语音合成单元连接音频输出单元。在一些示例中,语音识别模块可以集成在音频采集模块120中;语音合成单元和音频输出单元可以集成在音频输出模块130中。
其中,音频采集模块120可以采用一个或多个麦克风阵列等收集包括人声信号的声信号,并将声信号转换为电信号;音频采集模块120还可以对采集的音频数据进行一定的信号处理,例如,滤波处理,以过滤出音频数据中的环境噪声,保留声信号中主要的人声信号。
音频采集模块120可以将音频数据传输至语音识别模块,语音识别模块可以基于位于本地或云端的语音识别模型,将音频数据转换为文本消息。语音识别模块将文本消息传输至分析决策模块,分析决策模块可以集成自然语言处理模型,自然语言处理模型可以预先通过医学资料进行训练,得到专业的医学对话模型。自然语言处理模型可以将当前获取的文本信息拼合历史的文本信息作为输入,自然语言处理模型的返回可以是生成的对话信息,也可以是调用其他模块的指令。分析决策模块可以分别生成用于调用图像识别模块、知识库模块、语音识别模块以及自动测量模块的指令,分析决策模块可以将指令输入到对应模块中,并接收这些模块返回的结果,再一次结合历史的文本信息作为输入,返回生成的对话信息或者调用其他模块的指令。针对输入的医生操作指令,分析决策模块可以生成用于调用知识库模块的指令,指令包括目标对象的检查类型,知识库模块返回针对文本信息的查询结果,包括该次检查对应的检查标准。自然语言处理模型可以将该次检查流程中的所有文本信息和查询结果作为输入,返回要求补充信息的文本消息,并将该文本消息发送给连接分析决策模块的语音合成单元,以避免医师漏检。
语音合成单元可以基于在线或本地的语音合成模型,接收来自分析决策模块输出的文本消息,将其合成为语音信号输出给音频输出单元。音频输出单元可以包括扬声器等音频播放硬件,将语音信号转换为声信号输出。
图像识别模块接收分析决策模块输出图像识别指令,基于或者本地的边缘计算模型,或云端的软件服务,对影像数据进行识别,得到图像识别结果,并将图像识别结果输送给分析决策模块。
知识库模块接收分析决策模块输出的知识库调用指令,将知识检索结果返回给分析决策模块。
自动测量模块可以配置定制的软件工具包,接收分析决策模块输出的参数测量指令,调用相应的测量工具,将测量结果返回给分析决策模块。
在一个具体的示例中,如图8b所示,对于影像检查系统10,处理模块110可以配置分析决策模块、知识库模块以及图像识别模块,其中,分析决策模块可以分别连接知识库模块和图像识别模块。分析决策模块可以获取到包括检查类型、目标对象的检查数据以及目标对象的检查参数等的检查结果,输出知识库调用指令,以调用知识库模块检索相近案例,并接收将知识库模块的返回结果,将知识库模块的返回结果梳理后,进行结果呈现以供医生参考。分析决策模块还可以生成图像识别指令,调用图像识别模块,图像识别模块将影像数据与知识库模块的返回结果中的图像进行比对,找到影像数据的相近案例,将包含相近案例的结果返回至分析决策模块进行内容梳理并输出。分析决策模块也可以基于语音识别模块输出的文本消息调用知识库模块,基于知识库进行相关资料检索,实现参考音频的输出,辅助操作者准确、快速地进行诊断。
在一个具体的示例中,如图8c所示,对于影像检查系统10,处理模块110可以配置分析决策模块,分析决策模块可以获取结构化数据,包括检查类型、目标对象的检查数据以及操作者名称等生成的结构化数据,分析决策模块处理结构化数据,输出对应工作流和检查参数设置值,以对机器进行相应设置。在检查结束后,基于检查类型、目标对象的检查数据以及目标对象的检查参数,可以生成结构化检查结果,作为输入传输至分析决策模块,分析决策模块可将结构化检查结果作为训练数据,对自然语言处理模型进行进一步训练以修正模型参数。还可以通过修改工作流(或检查参数设置值)的文本消息,将修改后的文本消息传输至分析决策模块,实现对机器设置的修改。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的影像检查方法的影像检查装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个影像检查装置实施例中的具体限定可以参见上文中对于影像检查方法的限定,在此不再赘述。
在一个实施例中,如图9所示,提供了一种影像检查装置90,装置应用于影像检查系统10的处理模块110;影像检查系统10还包括音频采集模块120、音频输出模块130以及医学影像设备140;音频采集模块120、音频输出模块130以及医学影像设备140均连接处理模块110;音频采集模块120用于获取音频数据;医学影像设备140用于获取目标对象的影像数据;装置包括:
调用指令输出模块910,用于响应于接收到针对目标对象的文本信息,通过自然语言处理模型处理文本信息,输出用于处理影像数据的调用指令;
检查结果获取模块920,用于获取基于调用指令返回的针对目标对象的检查结果;
语音指令输出模块930,用于采用自然语言处理模型处理检查结果和音频数据,输出语音指令;语音指令用于指示音频输出模块130输出相应的参考音频。
在其中一个实施例中,装置还包括:
影像数据处理模块,用于基于调用指令,调用相应的模型处理影像数据,得到检查结果。
在其中一个实施例中,调用指令包括图像识别指令和参数测量指令中的至少一种;检查结果包括检测部位和测量参数中的至少一种;影像数据处理模块还用于:
响应于获取到图像识别指令,调用图像识别模型处理影像数据,得到目标对象的检测部位;和/或
响应于获取到参数测量指令,调用参数测量模型处理影像数据,得到目标对象的测量参数。
在其中一个实施例中,装置还包括:
文本信息处理模块,用于通过自然语言处理模型处理文本信息,得到针对目标对象的知识库调用指令;
文本信息查询模块,用于基于知识库调用指令和影像数据调用知识库,得到针对文本信息的查询结果;
第一语音指令生成模块,用于采用自然语言处理模型处理查询结果和文本信息,生成相应的语音指令并输出。
在其中一个实施例中,装置还包括:
待检测项目确定模块,用于根据知识库调用指令和影像数据调用知识库,确定目标对象的待检测项目;
第二语音指令生成模块,用于采用自然语言处理模型处理待检测项目和文本信息,生成相应的语音指令并输出。
在其中一个实施例中,装置还包括:
检查信息获取模块,用于获取目标对象的检查信息;
参数设置指令输出模块,用于通过自然语言处理模型处理检查信息,输出参数设置指令;参数设置指令用于设置医学影像设备140针对目标对象的检查参数;和/或
参数修改指令输出模块,用于采用自然语言处理模型处理文本信息,得到参数修改指令并输出;参数修改指令用于更新医学影像设备140针对目标对象的检查参数。
在其中一个实施例中,装置还包括:
语音识别处理模块,用于采用语音识别模型处理音频数据,得到文本信息。
在其中一个实施例中,装置还包括:
自然语言处理模块,用于通过自然语言处理模型处理检查结果,生成检查结果对应的结构化数据;
模型训练模块,用于根据结构化数据训练当前的自然语言处理模型,得到下一次用于处理文本信息的自然语言处理模型。
上述影像检查装置90中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述的方法的步骤。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种影像检查方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种影像检查方法,其特征在于,所述方法应用于影像检查系统的处理模块;所述影像检查系统还包括音频采集模块、音频输出模块以及医学影像设备;所述音频采集模块、所述音频输出模块以及所述医学影像设备均连接所述处理模块;所述音频采集模块用于获取音频数据;所述医学影像设备用于获取目标对象的影像数据;所述方法包括:
响应于接收到针对所述目标对象的文本信息,通过自然语言处理模型处理所述文本信息,输出用于处理所述影像数据的调用指令;
获取基于所述调用指令返回的针对所述目标对象的检查结果;
采用所述自然语言处理模型处理所述检查结果和所述音频数据,输出语音指令;所述语音指令用于指示所述音频输出模块输出相应的参考音频。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述调用指令,调用相应的模型处理所述影像数据,得到所述检查结果。
3.根据权利要求2所述的方法,其特征在于,所述调用指令包括图像识别指令和参数测量指令中的至少一种;所述检查结果包括检测部位和测量参数中的至少一种;所述基于所述调用指令,调用相应的模型处理所述影像数据,得到所述检查结果,包括:
响应于获取到所述图像识别指令,调用图像识别模型处理所述影像数据,得到所述目标对象的检测部位;和/或
响应于获取到所述参数测量指令,调用参数测量模型处理所述影像数据,得到所述目标对象的测量参数。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述自然语言处理模型处理所述文本信息,得到针对所述目标对象的知识库调用指令;
基于所述知识库调用指令和所述影像数据调用知识库,得到针对所述文本信息的查询结果;
采用所述自然语言处理模型处理所述查询结果和所述文本信息,生成相应的所述语音指令并输出。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述知识库调用指令和所述影像数据调用所述知识库,确定所述目标对象的待检测项目;
采用所述自然语言处理模型处理所述待检测项目和所述文本信息,生成相应的所述语音指令并输出。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述目标对象的检查信息;
通过所述自然语言处理模型处理所述检查信息,输出参数设置指令;所述参数设置指令用于设置所述医学影像设备针对所述目标对象的检查参数;和/或
采用所述自然语言处理模型处理所述文本信息,得到参数修改指令并输出;所述参数修改指令用于更新所述医学影像设备针对所述目标对象的检查参数。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采用语音识别模型处理所述音频数据,得到所述文本信息。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述自然语言处理模型处理所述检查结果,生成所述检查结果对应的结构化数据;
根据所述结构化数据训练当前的所述自然语言处理模型,得到下一次用于处理所述文本信息的所述自然语言处理模型。
9.一种影像检查装置,其特征在于,所述装置应用于影像检查系统的处理模块;所述影像检查系统还包括音频采集模块、音频输出模块以及医学影像设备;所述音频采集模块、所述音频输出模块以及所述医学影像设备均连接所述处理模块;所述音频采集模块用于获取音频数据;所述医学影像设备用于获取目标对象的影像数据;所述装置包括:
调用指令输出模块,用于响应于接收到针对所述目标对象的文本信息,通过自然语言处理模型处理所述文本信息,输出用于处理所述影像数据的调用指令;
检查结果获取模块,用于获取基于所述调用指令返回的针对所述目标对象的检查结果;
语音指令输出模块,用于采用所述自然语言处理模型处理所述检查结果和所述音频数据,输出语音指令;所述语音指令用于指示所述音频输出模块输出相应的参考音频。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311398505.3A CN117457175A (zh) | 2023-10-26 | 2023-10-26 | 影像检查方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311398505.3A CN117457175A (zh) | 2023-10-26 | 2023-10-26 | 影像检查方法、装置和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117457175A true CN117457175A (zh) | 2024-01-26 |
Family
ID=89590398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311398505.3A Pending CN117457175A (zh) | 2023-10-26 | 2023-10-26 | 影像检查方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117457175A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118315012A (zh) * | 2024-06-05 | 2024-07-09 | 支付宝(杭州)信息技术有限公司 | 基于大语言模型的医疗检查结论生成方法和装置 |
-
2023
- 2023-10-26 CN CN202311398505.3A patent/CN117457175A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118315012A (zh) * | 2024-06-05 | 2024-07-09 | 支付宝(杭州)信息技术有限公司 | 基于大语言模型的医疗检查结论生成方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102646194B1 (ko) | 초음파 검사를 주석화하기 위한 방법 및 장치 | |
| Ghorbani et al. | Deep learning interpretation of echocardiograms | |
| JP2021509301A (ja) | 医用画像からの心エコー計測値の自動化抽出のための方法、コンピュータプログラム及び装置 | |
| JP5432287B2 (ja) | レポート機能を備えた画像システム及び動作方法 | |
| CN112242185A (zh) | 基于深度学习的医学图像报告自动生成方法及系统 | |
| JP7325411B2 (ja) | 心エコー図を分析する方法及び装置 | |
| JP2023525741A (ja) | 超音波プロトコルツリーの自動評価 | |
| CN112447276A (zh) | 用于提示数据捐赠以用于人工智能工具开发的方法和系统 | |
| CN110246135A (zh) | 卵泡监测方法、装置、系统及存储介质 | |
| CN113052930A (zh) | 一种胸部dr双能量数字减影图像生成方法 | |
| Mese et al. | ChatGPT-assisted deep learning model for thyroid nodule analysis: beyond artifical intelligence | |
| US20230137369A1 (en) | Aiding a user to perform a medical ultrasound examination | |
| CN117457175A (zh) | 影像检查方法、装置和计算机设备 | |
| US20250062022A1 (en) | A computer implemented method and a system | |
| CN109147927B (zh) | 一种人机交互方法、装置、设备及介质 | |
| Gudigar et al. | Automated system for the detection of heart anomalies using phonocardiograms: A systematic review (2013-2023) | |
| CN118982080B (zh) | 一种辅助中医诊断的多模态大模型的训练方法和装置 | |
| CN119670807A (zh) | 专家知识驱动的大模型定制化数据处理方法及相关设备 | |
| US12327641B2 (en) | System and method for predicting wellness metrics | |
| CN116612886B (zh) | 一种脑卒中早期辅助诊断方法、系统、装置及存储介质 | |
| CN117542469A (zh) | 面向多模态医学数据的诊断报告生成方法、系统及介质 | |
| WO2022192893A1 (en) | Artificial intelligence system and method for generating medical impressions from text-based medical reports | |
| Elizar et al. | DeSPPNet: A Multiscale Deep Learning Model for Cardiac Segmentation | |
| JP2024532151A (ja) | アドオンモジュールを使用する医学的評価システム及び方法 | |
| WO2022071208A1 (ja) | 情報処理装置、情報処理方法、プログラム、モデル生成方法及び訓練データ生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |