[go: up one dir, main page]

TW201800057A - 用於協助使用者操作超音波裝置的自動化影像獲取 - Google Patents

用於協助使用者操作超音波裝置的自動化影像獲取

Info

Publication number
TW201800057A
TW201800057A TW106120366A TW106120366A TW201800057A TW 201800057 A TW201800057 A TW 201800057A TW 106120366 A TW106120366 A TW 106120366A TW 106120366 A TW106120366 A TW 106120366A TW 201800057 A TW201800057 A TW 201800057A
Authority
TW
Taiwan
Prior art keywords
image
ultrasonic
operator
ultrasound
ultrasonic device
Prior art date
Application number
TW106120366A
Other languages
English (en)
Other versions
TWI765895B (zh
Inventor
亞力克斯 羅斯貝格
瓊吉 馬修 迪
吉米 吉亞
丹尼爾 奴里
強納森Ｍ 羅斯貝格
米夏爾 索夫卡
Original Assignee
蝴蝶網路公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 蝴蝶網路公司 filed Critical 蝴蝶網路公司
Publication of TW201800057A publication Critical patent/TW201800057A/zh
Application granted granted Critical
Publication of TWI765895B publication Critical patent/TWI765895B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/02—Measuring pulse or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A61B8/065—Measuring blood flow to determine blood output from the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0833—Clinical applications involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Clinical applications involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0833—Clinical applications involving detecting or locating foreign bodies or organic structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0883—Clinical applications for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Hematology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

在此所述的技術的特點係有關用於導引一操作者來使用一超音波裝置的技術。藉此，具有很少或是沒有操作超音波裝置經驗的操作者可以捕捉醫學相關的超音波影像及/或解釋所獲得的超音波影像的內容。例如，在此揭露的技術中的某些技術可被用來識別一對象的一特定的解剖的切面以利用一超音波裝置來成像、導引該超音波裝置的一操作者以捕捉該對象的一包含該特定的解剖的切面的超音波影像、及/或分析所捕捉的超音波影像以識別有關該對象的醫療資訊。

Description

用於協助使用者操作超音波裝置的自動化影像獲取
在此所述的技術的特點大致上是有關於超音波系統。某些特點係有關用於導引操作者來使用一超音波裝置之技術。
相關申請案之交互參照
此申請案係根據第35號美國法典第119條(e)款主張以下的美國臨時申請案的每一個的益處：2016年6月20日申請的名稱為"利用深度學習的用於超音波成像之自動的獲取協助及即時的量測"的美國臨時申請案序號62/352,382、2016年9月6日申請的名稱為"用以提供擴增實境導引的超音波偵測的方法及設備"的美國臨時申請案序號62/384,187、2016年9月6日申請的名稱為"利用病患成像資料的臨床診斷及治療的決策支援"的美國臨時申請案序號62/384,144、2016年12月15日申請的名稱為"整合統計先驗知識到捲積神經網路中"的美國臨時申請案序號62/434,980、2017年1月11日申請的名稱為"用以提供擴增實境導引的超音波偵測之方法及設備"的美國臨時申請案序號62/445,195、2017年2月2日申請的名稱為"用以提供擴增實境導引的超音波偵測之方法及設備"的美國臨時申請案序號62/453,696、以及2017年2月24日申請的名稱為"用於界標定位之技術"的美國臨時申請案序號62/463,094，每一個以及所有被指明的申請案的揭露內容 係以其整體被納入在此作為參考。
傳統的超音波系統是大的、複雜的、而且昂貴的系統，其通常是用在大型的醫療設施(例如是醫院)中，並且是藉由對於這些系統有經驗的醫療專業人士(例如是超音波技術人員)來加以操作。超音波技術人員通常進行數年的實際動手的訓練以學習如何適當地使用該超音波成像系統。例如，一超音波技術人員可以學習如何適當地將一超音波裝置定位在一對象(subject)上，以在各種解剖的切面(anatomical view)上捕捉一超音波影像。再者，一超音波技術人員可以學習如何判讀所捕捉的超音波影像，以推論有關該病患的醫療資訊。
超音波檢查通常包含超音波影像的獲取，其係包含一對象的一特定解剖結構(例如，一器官)的一切面。這些超音波影像的獲取通常需要相當高的技能。例如，操作一超音波裝置的一超音波技術人員可能需要知道欲被成像的解剖結構是位在該對象上的何處，並且進一步如何適當地將該超音波裝置定位在該對象上，以捕捉該解剖結構的一醫學相關的超音波影像。在該對象上過高或過低幾吋的握持該超音波裝置可能會造成在捕捉一醫學相關的超音波影像與捕捉一無關醫學的超音波影像之間的差異。因此，一超音波裝置的非專家的操作者在捕捉一對象的醫學相關的超音波影像上可能會有相當大的困難。這些非專家的操作者所犯的常見錯誤係包含：捕捉到不正確的解剖結構的超音波影像、以及捕捉到正確的解剖結構的縮短的(或是截頭的)超音波影像。
於是，本揭露內容係提出導引一超音波裝置的一操作者來捕捉醫學相關的超音波影像之技術。在某些實施例中，這些技術可被體現在一軟體應用程式(在以下稱為"App")中，其可被安裝在一計算裝置(例如，一行動智慧型手機、一平板電腦、一膝上型電腦、一智慧型手錶、虛擬實境(VR)頭戴式裝置、擴增實境(AR)頭戴式裝置、智慧型可穿戴的裝置、等等)上。該App可以提供有關如何適當地將該超音波裝置定位在該對象上的即時的指導給該操作者，以捕捉一醫學相關的超音波影像。例如，該操作者可以將該超音波裝置設置在該對象上，並且從該App接收有關如何在該對象上移動該超音波裝置的反饋。該反饋可以是一連串的指令，該些指令係分別包含一特定的指示以移動該超音波裝置(例如，上、下、左、右、順時針的旋轉、或是逆時針的旋轉)。藉此，該操作者可以遵循這些指令而輕易地捕捉一醫學相關的超音波影像。
在某些實施例中，該App可以充分利用目前最佳技術的機器學習技術，例如是深度學習。在這些實施例中，該App可以利用一訓練好的模型，例如是一訓練好的神經網路，其係被配置以產生指令以提供給該操作者。在此例子中，該訓練好的模型可以接收一藉由正被該操作者使用的超音波裝置所捕捉的超音波影像，並且提供一指令作為一輸出，以提供給該操作者。該模型可以利用經註解的超音波影像的一資料庫來加以訓練。針對於該些超音波影像的每一個的註解例如可包括該超音波影像是否為一醫學相關的超音波影像(例如，具有一目標的解剖面的一超音波影像)、或是一無關醫學的超音波影像(例如，由一不適當設置的超音波裝置所捕捉的一超音波影像)的一項指出。若該超音波影像是無關醫學的，則該註解可 以進一步包含和造成所捕捉的超音波影像是無關醫學的超音波裝置的定位相關的錯誤(例如，過高、過低、順時針轉動過多的、逆時針轉動過多的、過於左邊、過於右邊)的一項指出。藉此，該訓練好的模型可以識別這些無關醫學的影像，並且產生一有關該操作者應該如何將該超音波裝置重新定位來捕捉一醫學相關的超音波影像的指令。
在某些實施例中，一種包括一計算裝置之設備係被提出，該計算裝置係包括至少一處理器。該至少一處理器係被配置以：獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；利用一自動化的影像處理技術來判斷該超音波影像是否包含一目標解剖的切面；響應於該超音波影像並不包含該目標解剖的切面的一判斷，提供至少一指令給該超音波裝置的一操作者，其係指出如何將該超音波裝置重新定位以促成捕捉該對象的一包含該目標解剖的切面的超音波影像；以及響應於該超音波影像係包含該目標解剖的切面的一判斷，提供該超音波裝置係適當地被定位的一項指出給該操作者。
在某些實施例中，該設備進一步包括一顯示器，其係耦接至該計算裝置並且被配置以顯示該至少一指令給該操作者。在某些實施例中，該顯示器係與該計算裝置整合的。
在某些實施例中，該計算裝置係被配置以至少部分藉由利用一深度學習技術來分析該超音波影像，以判斷該超音波影像是否包含該目標解剖的切面。在某些實施例中，該計算裝置係被配置以至少部分藉由提供該超音波影像作為一多層神經網路的一輸入，來判斷該超音波影像是否包含該目標解剖的切面。在某些實施例中，該計算裝置係被配置以至少部 分藉由利用該多層神經網路來獲得指出一內含在該超音波影像中的解剖的切面的一輸出，以判斷該超音波影像是否包含該目標解剖的切面。在某些實施例中，該計算裝置係被配置以至少部分藉由利用一多層神經網路來分析該超音波影像，以判斷該超音波影像是否包含該目標解剖的切面，該多層神經網路係包括從由以下所構成的群組選出的至少一層：一池化(pooling)層、一整流線性單元(ReLU)層、一捲積層、一稠密(dense)層、一填充(pad)層、一串聯(concatenate)層、以及一提升(upscale)層。
在某些實施例中，該計算裝置係被配置以至少部分藉由以下來判斷該超音波影像是否包含該目標解剖的切面：利用該自動化的影像處理技術來識別一內含在該超音波影像中的解剖的切面；以及判斷內含在該超音波影像中的該解剖的切面是否符合該目標解剖的切面。在某些實施例中，該計算裝置係被配置以響應於內含在該超音波影像中的該解剖的切面並不符合該目標解剖的切面的一判斷，利用內含在該超音波影像中的該解剖的切面來產生該至少一指令。
在某些實施例中，該計算裝置係被配置以至少部分藉由提供一指令以在一平移的方向及/或一旋轉的方向上移動該超音波裝置，來提供該至少一指令。在某些實施例中，該計算裝置係被配置以至少部分藉由提供該至少一指令給該對象，來提供該至少一指令給該操作者。
在某些實施例中，一種方法係被提出，其係包括利用至少一包括至少一處理器的計算裝置以執行：獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；利用一自動化的影像處理技術來判斷該超音波影像是否包含一目標解剖的切面；響應於判斷該超音波影像並不包含該目標解 剖的切面，提供至少一指令給該超音波裝置的一操作者，其係指出如何將該超音波裝置重新定位以促成捕捉該對象的一包含該目標解剖的切面的超音波影像；以及響應於判斷該超音波影像係包含該目標解剖的切面，提供該超音波裝置係適當地被定位的一項指出給該操作者。
在某些實施例中，判斷該超音波影像是否包含該目標解剖的切面係包括利用一深度學習技術來分析該超音波影像。在某些實施例中，判斷該超音波影像是否包含該目標解剖的切面係包括提供該超音波影像作為一多層神經網路的一輸入。在某些實施例中，判斷該超音波影像是否包含該目標解剖的切面係包括利用該多層神經網路來獲得指出一內含在該超音波影像中的解剖的切面的一輸出。在某些實施例中，判斷該超音波影像是否包含該目標解剖的切面係包括利用一多層神經網路來分析該超音波影像，該多層神經網路係包括從由以下所構成的群組選出的至少一層：一池化層、一整流線性單元(ReLU)層、一捲積層、一稠密層、一填充層、一串聯層、以及一提升層。
在某些實施例中，判斷該超音波影像是否包含該目標解剖的切面係包括：利用該自動化的影像處理技術來識別一內含在該超音波影像中的解剖的切面；以及判斷內含在該超音波影像中的該解剖的切面是否符合該目標解剖的切面。
在某些實施例中，該方法進一步包括響應於判斷內含在該超音波影像中的該解剖的切面並不符合該目標解剖的切面，利用內含在該超音波影像中的該解剖的切面來產生該至少一指令。
在某些實施例中，提供該至少一指令係包括提供一指令以在 一平移的方向及/或一旋轉的方向上移動該超音波裝置。在某些實施例中，提供該至少一指令給該操作者係包括提供該至少一指令給該對象。
在某些實施例中，一種系統係被提出，其係包括一被配置以捕捉一對象的一超音波影像的超音波裝置；以及一計算裝置，其係通訊地耦接至該超音波裝置。該計算裝置係被配置以：獲得藉由該超音波裝置所捕捉的該對象的該超音波影像；利用一自動化的影像處理技術來判斷該超音波影像是否包含一目標解剖的切面；響應於該超音波影像並不包含該目標解剖的切面的一判斷，提供至少一指令給該超音波裝置的一操作者，其係指出如何將該超音波裝置重新定位以捕捉該對象的一包含該目標解剖的切面的超音波影像；以及響應於該超音波影像係包含該目標解剖的切面的一判斷，提供該超音波裝置係適當地被定位的一項指出給該操作者。
在某些實施例中，該超音波裝置係包括複數個超音波換能器。在某些實施例中，該複數個超音波換能器係包括一從由以下所構成的群組選出的超音波換能器：一電容性微加工超音波換能器(CMUT)、一CMOS超音波換能器(CUT)、以及一壓電微加工超音波換能器(PMUT)。
在某些實施例中，該計算裝置是一行動智慧型手機或是一平板電腦。在某些實施例中，該計算裝置係被配置以至少部分藉由利用一深度學習技術來分析該超音波影像，以判斷該超音波影像是否包含該目標解剖的切面。在某些實施例中，該計算裝置係被配置以至少部分藉由提供該超音波影像作為一多層神經網路的一輸入，來判斷該超音波影像是否包含該目標解剖的切面。在某些實施例中，該計算裝置係被配置以至少部分藉由利用該多層的捲積神經網路以獲得指出一內含在該超音波影像中的解剖 的切面的一輸出，來判斷該超音波影像是否包含該目標解剖的切面。
在某些實施例中，該計算裝置係被配置以至少部分藉由以下來判斷該超音波影像是否包含該目標解剖的切面：利用該自動化的影像處理技術來識別一內含在該超音波影像中的解剖的切面；以及判斷內含在該超音波影像中的該解剖的切面是否符合該目標解剖的切面。在某些實施例中，該計算裝置係被配置以響應於內含在該超音波影像中的該解剖的切面並不符合該目標解剖的切面的一判斷，以利用內含在該超音波影像中的該解剖的切面來產生該至少一指令。
在某些實施例中，至少一儲存處理器可執行的指令之非暫態的電腦可讀取的儲存媒體係被提出。該些處理器可執行的指令當藉由至少一處理器來加以執行時，其係使得該至少一處理器以：獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；利用一自動化的影像處理技術來判斷該超音波影像是否包含一目標解剖的切面；響應於該超音波影像並不包含該目標解剖的切面的一判斷，提供至少一指令給該超音波裝置的一操作者，其係指出如何將該超音波裝置重新定位以促成捕捉該對象的一包含該目標解剖的切面的超音波影像；以及響應於該超音波影像係包含該目標解剖的切面的一判斷，提供該超音波裝置係適當地被定位的一項指出給該操作者。
在某些實施例中，一種包括至少一處理器之超音波指導設備係被提出。該至少一處理器係被配置以根據另一超音波影像的分析來導引包含一對象的一目標解剖的切面的一超音波影像的捕捉。
在某些實施例中，該至少一處理器係被配置以至少部分藉由 產生一針對於如何導引一超音波裝置的一操作者來捕捉包含該目標解剖的切面的該超音波影像的指導計畫，以導引該超音波影像的捕捉。在某些實施例中，該至少一處理器係被配置以至少部分藉由根據該產生的指導計畫來提供至少一指令給該操作者，以導引該超音波影像的捕捉。在某些實施例中，該設備進一步包括一顯示器，其係耦接至該至少一處理器並且被配置以顯示該至少一指令給該操作者。在某些實施例中，該顯示器以及該至少一處理器係被整合到一計算裝置中。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用一深度學習技術來識別一內含在該另一超音波影像中的解剖的切面，以導引該超音波影像的捕捉。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該識別出的解剖的切面來識別移動該超音波裝置所在的一方向，以導引該超音波影像的捕捉。在某些實施例中，該至少一處理器係被配置以至少部分藉由判斷該另一超音波影像是否在該對象的一目標區域之內包含該對象的一解剖的切面，來導引該超音波影像的捕捉。在某些實施例中，該至少一處理器係被配置以至少部分藉由響應於內含在該另一超音波影像中的該解剖的切面係在該目標區域之外的一判斷，以提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得在該對象的該目標區域之內的切面的影像所在的一位置，來提供該至少一指令給該操作者。在某些實施例中，該至少一處理器係被配置以至少部分藉由響應於內含在該另一超音波影像中的該解剖的切面係在該目標區域之內的一判斷，以提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得該目標解剖的切面的一影像所在的一位置，來提供該至少一指令給該操作者。
在某些實施例中，一種系統係被提出，其係包括一被配置以捕捉一對象的一超音波影像的超音波裝置、以及至少一處理器。該至少一處理器係被配置以根據藉由該超音波裝置所捕捉的該超音波影像的分析，來導引包含一對象的一目標解剖的切面的另一超音波影像的捕捉。
在某些實施例中，該超音波裝置係包括一從由以下所構成的群組選出的超音波換能器：一電容性微加工超音波換能器(CMUT)、一CMOS超音波換能器(CUT)、以及一壓電微加工超音波換能器(PMUT)。在某些實施例中，該至少一處理器係被整合到一行動智慧型手機或是一平板電腦中。
在某些實施例中，該至少一處理器係被配置以至少部分藉由以下來導引捕捉：判斷該超音波影像是否包含一目標解剖的切面；響應於判斷該超音波影像並不包含該目標解剖的切面，利用該超音波影像來產生一針對於如何導引該超音波裝置的一操作者來捕捉該對象的一包含該目標解剖的切面的超音波影像的指導計畫；並且根據該產生的指導計畫來提供至少一指令給該操作者。在某些實施例中，該指導計畫係包括一連串的指令以導引該超音波裝置的該操作者來移動該超音波裝置至一目標位置。在某些實施例中，在該連串的指令中的每一個指令都是一用以在一平移或是旋轉的方向上移動該超音波裝置的指令。在某些實施例中，該至少一處理器係被配置以至少部分藉由判斷該超音波影像是否在該對象的一目標區域之內包含該對象的一解剖的切面，來產生該指導計畫。在某些實施例中，該至少一處理器係被配置以至少部分藉由響應於內含在該超音波影像中的該解剖的切面並不在該目標區域之內的一判斷，來提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得在該對象的該目標區域之 內的切面的影像所在的一位置，來提供該至少一指令給該操作者。在某些實施例中，該至少一處理器係被配置以至少部分藉由響應於內含在該超音波影像中的該解剖的切面是在該目標區域之內的一判斷，來提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得該目標解剖的切面的一影像所在的一位置，來提供該至少一指令給該操作者。
在某些實施例中，一種方法係被提出。該方法係包括利用至少一包括至少一處理器的計算裝置以執行：獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；判斷該超音波影像是否包含一目標解剖的切面；響應於判斷該超音波影像並不包含該目標解剖的切面：利用該超音波影像來產生一針對於如何導引該超音波裝置的一操作者來捕捉該對象的一包含該目標解剖的切面的超音波影像的指導計畫；並且根據該產生的指導計畫來提供至少一指令給該操作者。
在某些實施例中，產生該指導計畫係包括利用一自動化的影像處理技術來識別一內含在該超音波影像中的解剖的切面。在某些實施例中，產生該指導計畫係包括利用該識別出的解剖的切面來識別移動該超音波裝置所在的一方向，並且其中提供該至少一指令給該操作者係包括提供一指令給該操作者以在該識別出的方向上移動該超音波裝置。在某些實施例中，識別移動該超音波裝置所在的方向係包括識別移動該超音波裝置所在的一平移的方向或是一旋轉的方向。
在某些實施例中，產生該指導計畫係包括判斷該超音波影像是否在該對象的一目標區域之內包含該對象的一解剖的切面。在某些實施例中，判斷該超音波影像是否在該對象的該目標區域之內包含該對象的該 解剖的切面係包括判斷該超音波影像是否包含該對象的軀幹的至少部分的一解剖的切面。在某些實施例中，該方法進一步包括至少部分藉由響應於內含在該超音波影像中的該解剖的切面並不在該目標區域之內的一判斷，來提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得在該對象的該目標區域之內的切面的影像所在的一位置，來提供該至少一指令給該操作者。在某些實施例中，提供該指令給該操作者以移動該超音波裝置朝向該位置係包括提供給該操作者該目標區域所位在之處的一視覺的指出。在某些實施例中，該方法進一步包括響應於內含在該超音波影像中的該解剖的切面是在該目標區域之內的一判斷，至少部分藉由提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得該目標解剖的切面的一影像所在的一位置，來提供該至少一指令給該操作者。在某些實施例中，提供該指令給該操作者來指示該操作者以移動該超音波裝置朝向該位置係包括提供給該操作者移動該超音波裝置所在的一方向的一視覺的指出。
在某些實施例中，至少一儲存處理器可執行的指令之非暫態的電腦可讀取的儲存媒體係被提出。該些處理器可執行的指令當藉由至少一處理器來加以執行時，其係使得該至少一處理器以：獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；判斷該超音波影像是否包含一目標解剖的切面；響應於該超音波影像並不包含該目標解剖的切面的一判斷，利用該超音波影像來產生一針對於如何導引該超音波裝置的一操作者來捕捉該對象的一包含該目標解剖的切面的超音波影像的指導計畫；並且根據該產生的指導計畫來提供至少一指令給該操作者。
在某些實施例中，一種超音波指導設備係被提出，其係包括至少一處理器，該至少一處理器係被配置以：獲得一正被一操作者使用的超音波裝置的一影像；以及利用該超音波裝置的該獲得的影像來產生一擴增實境介面以導引該操作者來捕捉一包含一目標解剖的切面的超音波影像。
在某些實施例中，該設備進一步包括一顯示器，其係耦接至該至少一處理器並且被配置以顯示該擴增實境介面給該操作者。在某些實施例中，該顯示器以及該至少一處理器係被整合到一計算裝置中。
在某些實施例中，該至少一處理器係被配置以至少部分藉由將至少一指出該操作者如何將該超音波裝置重新定位的指令重疊到該超音波裝置的該影像之上以形成一合成的影像，來產生該擴增實境介面。在某些實施例中，該至少一處理器係被配置以至少部分藉由在該超音波裝置的該影像中識別該超音波裝置的一姿勢，來產生該擴增實境介面。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該超音波裝置的該姿勢以將該至少一指令重疊到該超音波裝置的該影像之上，來重疊該至少一指令。在某些實施例中，該至少一指令係包括一指出該操作者將要移動該超音波裝置所在的一方向的箭頭。
在某些實施例中，該至少一處理器係被配置以獲得藉由該超音波裝置所捕捉的一超音波影像。在某些實施例中，該至少一處理器係被配置以至少部分藉由在該超音波裝置的該影像中識別該超音波裝置的一位置，來產生該擴增實境介面。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該超音波裝置的該位置以將該超音波影像重疊到該超 音波裝置的該影像之上，來產生該擴增實境介面。
在某些實施例中，一種方法係被提出，其係包括獲得一正被一操作者使用的超音波裝置的一影像，該影像係藉由一不同於該超音波裝置的成像裝置來加以捕捉的；至少部分藉由將至少一指出該操作者如何將該超音波裝置重新定位的指令重疊到該超音波裝置的該影像之上，來產生一合成的影像；以及提供該合成的影像給該操作者。
在某些實施例中，該方法進一步包括在該超音波裝置的該影像中識別該超音波裝置的一姿勢。在某些實施例中，該超音波裝置係具有一被設置於其上的標記，並且其中獲得該超音波裝置的該影像係包括獲得該標記的一影像。在某些實施例中，識別該超音波裝置的該姿勢係包括在該超音波裝置的該影像中識別該標記的一位置。
在某些實施例中，將該至少一指令重疊到該超音波裝置的該影像之上係利用該超音波裝置的該姿勢來加以執行。在某些實施例中，將該至少一指令重疊到該超音波裝置的該影像之上係包括在該超音波裝置的該影像中將一箭頭重疊到該超音波裝置的至少部分之上，該箭頭係指出該操作者將要移動該超音波裝置所在的一方向。
在某些實施例中，該方法進一步包括獲得藉由該超音波裝置所捕捉的一超音波影像。在某些實施例中，產生該合成的影像係包括將藉由該超音波裝置所捕捉的該超音波影像重疊到該超音波裝置的該影像之上。在某些實施例中，該方法進一步包括在該超音波裝置的該影像中識別該超音波裝置的一位置。在某些實施例中，將該超音波影像重疊到該超音波裝置的該影像之上係利用該超音波裝置的該位置來加以執行。
在某些實施例中，一種系統係被提出，其係包括一成像裝置，該成像裝置係不同於一正被一操作者使用的超音波裝置；一顯示器；以及至少一處理器。該至少一處理器係被配置以：獲得正被該操作者使用的該超音波裝置的一藉由該成像裝置所捕捉的影像；至少部分藉由將至少一指出該操作者如何將該超音波裝置重新定位的指令重疊到該超音波裝置的該影像之上，來產生一合成的影像；以及使得該顯示器呈現該合成的影像給該操作者。
在某些實施例中，該系統進一步包括一行動智慧型手機或是平板電腦，其係包括該顯示器以及該至少一處理器。在某些實施例中，該成像裝置係包括一相機。在某些實施例中，該行動智慧型手機或是平板電腦係包括該相機。
在某些實施例中，該至少一處理器係被配置以在該超音波裝置的該影像中識別該超音波裝置的一姿勢。在某些實施例中，該超音波裝置係包括一被設置於其上的標記，其中該超音波裝置的該影像係包括該標記的一影像，並且其中該至少一處理器係被配置以至少部分藉由在該超音波裝置的該影像中識別該標記的一位置來識別該超音波裝置的該姿勢。在某些實施例中，該標記係從由以下所構成的群組選出的：一全像(holographic)標記、一色散(dispersive)標記、以及一ArUco標記。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該超音波裝置的該姿勢以將該至少一指令重疊到該超音波裝置的該影像之上，來產生該合成的影像。
在某些實施例中，該系統進一步包括該超音波裝置。在某些實施例中，該至少一處理器係被配置以至少部分藉由將該超音波裝置所捕 捉的該超音波影像重疊到該超音波裝置的該影像之上，來產生該合成的影像。在某些實施例中，該至少一處理器係被配置以在該超音波裝置的該影像中識別該超音波裝置的一位置，並且其中該至少一處理器係被配置以利用該超音波裝置的該位置來將該超音波影像重疊到該超音波裝置的該影像之上。
在某些實施例中，至少一儲存處理器可執行的指令之非暫態的電腦可讀取的儲存媒體係被提出。該些處理器可執行的指令當藉由至少一處理器來加以執行時，其係使得該至少一處理器以：獲得一正被一操作者使用的超音波裝置的一影像，該影像係藉由一不同於該超音波裝置的成像裝置來加以捕捉的；至少部分藉由將至少一指出該操作者如何將該超音波裝置重新定位的指令重疊到該超音波裝置的該影像之上，來產生一合成的影像；以及使得該顯示器呈現該合成的影像給該操作者。
在某些實施例中，一種包括至少一處理器之設備係被提出。該至少一處理器係被配置以獲得藉由一超音波裝置所捕捉的一對象的一超音波影像，並且利用一自動化的影像處理技術來判斷該超音波影像是否包含一目標解剖的切面。
在某些實施例中，該至少一處理器係被配置以至少部分藉由利用一深度學習技術來分析該超音波影像，以判斷該超音波影像是否包含該目標解剖的切面。在某些實施例中，該至少一處理器係被配置以至少部分藉由提供該超音波影像作為一多層神經網路的一輸入，來判斷該超音波影像是否包含該目標解剖的切面。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該多層神經網路來獲得指出一內含在該超音波影 像中的解剖的切面的一輸出，以判斷該超音波影像是否包含該目標解剖的切面。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用一多層神經網路來分析該超音波影像，來判斷該超音波影像是否包含該目標解剖的切面，該多層神經網路係包括從由以下所構成的群組選出的至少一層：一池化層、一整流線性單元(ReLU)層、一捲積層、一稠密層、一填充層、一串聯層、以及一提升層。
在某些實施例中，該至少一處理器係被配置以至少部分藉由以下來判斷該超音波影像是否包含該目標解剖的切面：利用該自動化的影像處理技術來識別一內含在該超音波影像中的解剖的切面；以及判斷內含在該超音波影像中的該解剖的切面是否符合該目標解剖的切面。在某些實施例中，該至少一處理器係被配置以響應於內含在該超音波影像中的該解剖的切面並不符合該目標解剖的切面的一判斷，利用內含在該超音波影像中的該解剖的切面來產生至少一指令，其係指出如何將該超音波裝置重新定位以促成捕捉該對象的一包含該目標解剖的切面的超音波影像。
在某些實施例中，該至少一處理器係被配置以：響應於該超音波影像並不包含該目標解剖的切面的一判斷，來提供至少一指令給該超音波裝置的一操作者，其係指出如何將該超音波裝置重新定位以促成捕捉該對象的一包含該目標解剖的切面的超音波影像；並且響應於該超音波影像係包含該目標解剖的切面的一判斷，以提供該超音波裝置係適當地被定位的一項指出給該操作者。在某些實施例中，該設備進一步包括一顯示器，其係耦接至該至少一處理器並且被配置以顯示該至少一指令給該操作者。在某些實施例中，該至少一處理器係被配置以至少部分藉由提供一指令以 在一平移的方向及/或一旋轉的方向上移動該超音波裝置，來提供該至少一指令。在某些實施例中，該至少一處理器係被配置以至少部分藉由提供該至少一指令給該對象，來提供該至少一指令給該操作者。
根據至少一特點，一種方法係被提出。該方法係包括利用至少一包括至少一處理器的計算裝置以執行：獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；利用一自動化的影像處理技術來判斷該超音波影像是否包含一目標解剖的切面；響應於判斷該超音波影像並不包含該目標解剖的切面，提供至少一指令給該超音波裝置的一操作者，其係指出如何將該超音波裝置重新定位以促成捕捉該對象的一包含該目標解剖的切面的超音波影像；以及響應於判斷該超音波影像係包含該目標解剖的切面，提供該超音波裝置係適當地被定位的一項指出給該操作者。
在某些實施例中，判斷該超音波影像是否包含該目標解剖的切面係包括利用一深度學習技術來分析該超音波影像。在某些實施例中，判斷該超音波影像是否包含該目標解剖的切面係包括提供該超音波影像作為一多層神經網路的一輸入。在某些實施例中，判斷該超音波影像是否包含該目標解剖的切面係包括利用該多層神經網路來獲得指出一內含在該超音波影像中的解剖的切面的一輸出。在某些實施例中，判斷該超音波影像是否包含該目標解剖的切面係包括利用一多層神經網路來分析該超音波影像，該多層神經網路係包括從由以下所構成的群組選出的至少一層：一池化層、一整流線性單元(ReLU)層、一捲積層、一稠密層、一填充層、一串聯層、以及一提升層。
在某些實施例中，判斷該超音波影像是否包含該目標解剖的 切面係包括：利用該自動化的影像處理技術來識別一內含在該超音波影像中的解剖的切面；以及判斷內含在該超音波影像中的該解剖的切面是否符合該目標解剖的切面。在某些實施例中，該方法進一步包括響應於判斷內含在該超音波影像中的該解剖的切面並不符合該目標解剖的切面，利用內含在該超音波影像中的該解剖的切面來產生該至少一指令。
在某些實施例中，提供該至少一指令係包括提供一指令以在一平移的方向及/或一旋轉的方向上移動該超音波裝置。在某些實施例中，提供該至少一指令給該操作者係包括提供該至少一指令給該對象。
在某些實施例中，一種系統係被提出，其係包括一被配置以捕捉一對象的一超音波影像的超音波裝置；以及一計算裝置，其係通訊地耦接至該超音波裝置。該計算裝置係被配置以：獲得藉由該超音波裝置所捕捉的該對象的該超音波影像；利用一自動化的影像處理技術來判斷該超音波影像是否包含一目標解剖的切面；響應於該超音波影像並不包含該目標解剖的切面的一判斷，提供至少一指令給該超音波裝置的一操作者，其係指出如何將該超音波裝置重新定位以捕捉該對象的一包含該目標解剖的切面的超音波影像；以及響應於該超音波影像係包含該目標解剖的切面的一判斷，提供該超音波裝置係適當地被定位的一項指出給該操作者。
在某些實施例中，該超音波裝置係包括複數個超音波換能器。在某些實施例中，該複數個超音波換能器係包括一從由以下所構成的群組選出的超音波換能器：一電容性微加工超音波換能器(CMUT)、一CMOS超音波換能器(CUT)、以及一壓電微加工超音波換能器(PMUT)。
在某些實施例中，該計算裝置是一行動智慧型手機或是一平 板電腦。在某些實施例中，該計算裝置係被配置以至少部分藉由利用一深度學習技術來分析該超音波影像，以判斷該超音波影像是否包含該目標解剖的切面。在某些實施例中，該計算裝置係被配置以至少部分藉由提供該超音波影像作為一多層神經網路的一輸入，來判斷該超音波影像是否包含該目標解剖的切面。在某些實施例中，該計算裝置係被配置以至少部分藉由利用該多層的捲積神經網路以獲得指出一內含在該超音波影像中的解剖的切面的一輸出，來判斷該超音波影像是否包含該目標解剖的切面。
在某些實施例中，該計算裝置係被配置以至少部分藉由以下來判斷該超音波影像是否包含該目標解剖的切面：利用該自動化的影像處理技術來識別一內含在該超音波影像中的解剖的切面；以及判斷內含在該超音波影像中的該解剖的切面是否符合該目標解剖的切面。在某些實施例中，該計算裝置係被配置以響應於內含在該超音波影像中的該解剖的切面並不符合該目標解剖的切面的一判斷，以利用內含在該超音波影像中的該解剖的切面來產生該至少一指令。
在某些實施例中，至少一儲存處理器可執行的指令之非暫態的電腦可讀取的儲存媒體係被提出。該些處理器可執行的指令當藉由至少一處理器加以執行時，其係使得該至少一處理器：獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；利用一自動化的影像處理技術來判斷該超音波影像是否包含一目標解剖的切面；響應於該超音波影像並不包含該目標解剖的切面的一判斷，提供至少一指令給該超音波裝置的一操作者，其係指出如何將該超音波裝置重新定位以促成捕捉該對象的一包含該目標解剖的切面的超音波影像；以及響應於該超音波影像係包含該目標解剖的 切面的一判斷，提供該超音波裝置係適當地被定位的一項指出給該操作者。
在某些實施例中，一種包括至少一處理器之設備係被提出，該至少一處理器係被配置以：獲得在一正被一操作者使用的超音波裝置上的一標記的一影像；以及利用根據該標記所識別的該超音波裝置的一姿勢來產生一被配置以導引該操作者的擴增實境介面。
在某些實施例中，該設備進一步包括一顯示器，其係耦接至該至少一處理器並且被配置以顯示該擴增實境介面給該操作者。在某些實施例中，該顯示器以及該至少一處理器係被整合到一計算裝置中。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該超音波裝置的該姿勢以將一給該超音波裝置的該操作者的指令重疊到該影像之上，來產生該擴增實境介面。在某些實施例中，該至少一處理器係被配置以獲得藉由該超音波裝置所捕捉的一超音波影像，並且利用該超音波影像來產生該指令給該操作者。在某些實施例中，該至少一處理器係被配置以至少部分藉由識別該標記在該影像中的一位置，以在該影像中識別該超音波裝置的該姿勢。在某些實施例中，該至少一處理器係被配置以至少部分藉由分析在該影像中的該標記的至少一特徵，來識別該超音波裝置的該姿勢。在某些實施例中，該至少一處理器係被配置以至少部分藉由識別該標記在該影像中的一色彩，來分析在該影像中的該標記的該至少一特徵。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該標記在該影像中的該色彩以識別該超音波裝置在該影像中的一朝向，來識別該超音波裝置的該姿勢。在某些實施例中，該標記係包括一全像圖(hologram)或是一單色圖案。
在某些實施例中，一種方法係被提出，其係包括利用至少一包括至少一處理器的計算裝置以執行：獲得在一正被一操作者使用的超音波裝置上的一標記的一影像，該影像係藉由一不同於一超音波裝置的成像裝置來加以捕捉；至少部分藉由分析在該影像中的該標記的至少一特徵來自動地識別該超音波裝置的一姿勢；並且利用該超音波裝置的該識別出的姿勢以提供一指令給該超音波裝置的該操作者。
在某些實施例中，識別該超音波裝置的該姿勢係包括識別該標記在該影像中的一位置。在某些實施例中，識別該超音波裝置的該姿勢係包括利用該標記在該影像中的該識別出的位置以識別該超音波裝置在該影像中的一位置。
在某些實施例中，識別該超音波裝置的該姿勢係包括識別該標記在該影像中的一色彩。在某些實施例中，識別該超音波裝置的該姿勢係包括利用該標記的該色彩以識別該超音波裝置在該影像中的一朝向。
在某些實施例中，獲得該標記的影像係包括獲得一全像圖或是一單色圖案的一影像。在某些實施例中，該方法進一步包括獲得藉由該超音波裝置所捕捉的一超音波影像；以及利用該超音波影像來產生該指令。在某些實施例中，該方法進一步包括利用該超音波裝置的該識別出的姿勢，以將該超音波影像重疊到該影像之上。
在某些實施例中，提供該指令係包括利用該超音波裝置的該姿勢以決定一位置以供該指令被重疊到該影像之上。
在某些實施例中，一種系統係被提出，其係包括一成像裝置，該成像裝置係不同於一正被一操作者使用的超音波裝置；以及至少一 處理器。該至少一處理器係被配置以獲得在正被該操作者使用的該超音波裝置上的一標記的一藉由該成像裝置所捕捉的影像；至少部分藉由分析在該獲得的影像中的該標記的至少一特徵，以自動地識別該超音波裝置的一姿勢；並且利用該超音波裝置的該識別出的姿勢，以提供一指令給該超音波裝置的該操作者。
在某些實施例中，該系統進一步包括一行動智慧型手機或是平板電腦，其係包括該成像裝置以及該至少一處理器。在某些實施例中，該系統進一步包括該超音波裝置，其係具有被設置於其上的該標記。在某些實施例中，該標記係從由以下所構成的群組選出：一全像標記、一色散標記、以及一ArUco標記。
在某些實施例中，該系統進一步包括一顯示器，其係耦接至該至少一處理器。在某些實施例中，該至少一處理器係被配置以至少部分藉由使得該顯示器提供該指令給該操作者來提供該指令。
在某些實施例中，該至少一處理器係被配置以至少部分藉由識別該標記在該影像中的一位置，來識別該超音波裝置的該姿勢。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該標記在該影像中的該識別出的位置以識別該超音波裝置在該被捕捉的影像中的一位置，來識別該超音波裝置的該姿勢。
在某些實施例中，該至少一處理器係被配置以至少部分藉由識別該標記在該影像中的一色彩，來識別該超音波裝置的該姿勢。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該標記的該色彩來識別該超音波裝置在該被捕捉的影像中的一朝向，以識別該超音波裝置 的該姿勢。
在某些實施例中，該至少一處理器係被配置以獲得藉由該超音波裝置所捕捉的一超音波影像，並且利用該超音波影像來產生該指令。
在某些實施例中，至少一儲存處理器可執行的指令之非暫態的電腦可讀取的儲存媒體係被提出。該些處理器可執行的指令當藉由至少一處理器來加以執行時，其係使得該至少一處理器以：獲得在一正被一操作者使用的超音波裝置上的一標記的一影像，該影像係藉由一不同於一超音波裝置的成像裝置來加以捕捉；至少部分藉由分析在該獲得的影像中的該標記的至少一特徵，以自動地識別該超音波裝置的一姿勢；並且利用該超音波裝置的該識別出的姿勢來提供一指令給該超音波裝置的該操作者。
在某些實施例中，一種包括至少一處理器之設備係被提出，，該至少一處理器係被配置以：獲得一對象的一超音波影像；以及至少部分藉由利用一深度學習技術來分析該超音波影像，以識別該對象的至少一醫療參數。
在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該深度學習技術來識別該對象在該超音波影像中的至少一解剖的特點，以識別該對象的該至少一醫療參數。在某些實施例中，該至少一處理器係被配置以至少部分藉由提供該超音波影像作為一多層神經網路的一輸入，來識別該對象的該至少一解剖的特點。在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該多層神經網路來獲得一指出該對象在該超音波影像中的該至少一解剖的特點的輸出，以識別該對象的該至少一解剖的特點。在某些實施例中，該至少一處理器係被配置以至少部分藉由 利用一多層神經網路來分析該超音波影像，以識別該對象的該至少一解剖的特點，該多層神經網路係包括從由以下所構成的群組選出的至少一層：一池化層、一整流線性單元(ReLU)層、一捲積層、一稠密層、一填充層、一串聯層、以及一提升層。在某些實施例中，該至少一解剖的特點係包括一從由以下所構成的群組選出的解剖的特點：一心室(ventricle)、一心臟瓣膜、一心臟隔膜、一心臟乳突肌(papillary muscle)，一心房(atrium)，一大動脈(aorta)，以及一肺臟。
在某些實施例中，該至少一醫療參數係包括一從由以下所構成的群組選出的醫療參數：一射血分率(ejection fraction)、一縮短分率(fractional shortening)、一心室直徑、一心室容積、一舒張末期容積(end-diastolic volume)、一收縮末期容積(end-systolic volume)、一心輸出量(cardiac output)、心搏量(stroke volume)、一心室內(intraventricular)隔膜厚度、一心室壁厚度、以及一脈搏速率。在某些實施例中，該至少一處理器係被配置以將該至少一醫療參數重疊到該對象的該超音波影像之上，以形成一合成的影像。在某些實施例中，該設備進一步包括一顯示器，其係耦接至該至少一處理器並且被配置以顯示該合成的影像給該操作者。在某些實施例中，該顯示器以及該至少一處理器係被整合到一計算裝置中。
在某些實施例中，一種方法係被提出，其係包括利用至少一包括至少一處理器的計算裝置以執行：獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；利用一自動化的影像處理技術來識別該對象在該超音波影像中的至少一解剖的特點；以及利用在該超音波影像中的該識別出的解剖的特點以識別該對象的至少一醫療參數。
在某些實施例中，識別該對象的該至少一解剖的特點係包括利用一深度學習技術來分析該超音波影像。在某些實施例中，識別該對象的該至少一解剖的特點係包括提供該超音波影像作為一多層神經網路的一輸入。在某些實施例中，識別該對象的該至少一解剖的特點係包括利用該多層神經網路來獲得一指出該對象在該超音波影像中的該至少一解剖的特點的輸出。在某些實施例中，識別該對象的該至少一解剖的特點係包括利用一多層神經網路來分析該超音波影像，該多層神經網路係包括從由以下所構成的群組選出的至少一層：一池化層、一整流線性單元(ReLU)層、一捲積層、一稠密層、一填充層、一串聯層、以及一提升層。
在某些實施例中，識別該至少一解剖的特點係包括識別一從由以下所構成的群組選出的解剖的特點：一心室、一心臟瓣膜、一心臟隔膜、一心臟乳突肌、一心房、一大動脈、以及一肺臟。在某些實施例中，識別該至少一醫療參數係包括識別一從由以下所構成的群組選出的醫療參數：一射血分率、一縮短分率、一心室直徑、一心室容積、一舒張末期容積、一收縮末期容積、一心輸出量、一心搏量、一心室內隔膜厚度、一心室壁厚度、以及一脈搏速率。在某些實施例中，獲得該對象的該超音波影像係包括獲得該對象的複數個超音波影像，並且其中識別該對象的該至少一解剖的特點係包括利用一多層神經網路以在該複數個超音波影像的至少某些個的每一個中識別一心室。在某些實施例中，識別該至少一醫療參數係包括：估計在該複數個影像的該至少某些個的每一個中的該識別出的心室的一心室直徑以獲取複數個心室直徑，其係包含一第一心室直徑以及一不同於該第一心室直徑的第二心室直徑；利用該第一心室直徑以估計一舒 張末期容積；以及利用該第二心室直徑以估計一收縮末期容積。在某些實施例中，識別該至少一醫療參數係包括利用該估計的舒張末期容積以及該估計的收縮末期容積來識別該對象的一射血分率。
在某些實施例中，該方法進一步包括將該至少一醫療參數重疊到該超音波影像之上以形成一合成的影像；以及提供該合成的影像。
在某些實施例中，獲得該超音波影像係包括導引該超音波裝置的一操作者以捕捉該對象的該超音波影像。在某些實施例中，導引該超音波裝置的該操作者係包括提供該超音波影像作為一第一多層神經網路的一輸入，並且其中識別該對象的該至少一解剖的特點係包括提供該超音波影像作為一不同於該第一多層神經網路的第二多層神經網路的一輸入。
在某些實施例中，一種系統係被提出，其係包括一被配置以捕捉一對象的一超音波影像的超音波裝置；以及一計算裝置，其係通訊地耦接至該超音波裝置。該計算裝置係被配置以：獲得藉由該超音波裝置所捕捉的該超音波影像；利用一自動化的影像處理技術以識別該對象在該超音波影像中的至少一解剖的特點；以及利用在該超音波影像中的該識別出的解剖的特點來識別該對象的至少一醫療參數。
在某些實施例中，該超音波裝置係包括複數個超音波換能器。在某些實施例中，該複數個超音波換能器係包括一從由以下所構成的群組選出的超音波換能器：一電容性微加工超音波換能器(CMUT)、一CMOS超音波換能器(CUT)、以及一壓電微加工超音波換能器(PMUT)。
在某些實施例中，該計算裝置是一行動智慧型手機或是一平板電腦。在某些實施例中，該計算裝置係包括一顯示器，並且其中該計算 裝置係被配置以利用該顯示器來顯示該至少一醫療參數的一指出。
在某些實施例中，該超音波影像係包含一從由以下所構成的群組選出的解剖的切面：一胸骨旁(parasternal)長軸(PLAX)解剖的切面、一胸骨旁短軸(PSAX)解剖的切面、一心尖(apical)四腔(A4C)解剖的切面、以及心尖長軸(ALAX)解剖的切面
在某些實施例中，至少一儲存處理器可執行的指令之非暫態的電腦可讀取的儲存媒體係被提出。該些處理器可執行的指令當藉由至少一處理器加以執行時，其係使得該至少一處理器以：獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；利用一自動化的影像處理技術來識別該對象在該超音波影像中的至少一解剖的特點；以及利用在該超音波影像中的該識別出的解剖的特點來識別該對象的至少一醫療參數。
在某些實施例中，一種包括至少一處理器之設備係被提出，該至少一處理器係被配置以：獲得一對象的一超音波影像；以及至少部分藉由利用一深度學習技術來分析該超音波影像，以產生該對象的一醫療狀況的一診斷。
在某些實施例中，該至少一處理器係被配置以至少部分藉由利用該超音波影像來識別該對象的至少一醫療參數，以產生該診斷。在某些實施例中，該對象的該至少一醫療參數係包括一從由以下所構成的群組選出的醫療參數：一射血分率、一縮短分率、一心室直徑、一心室容積、一舒張末期容積、一收縮末期容積、一心輸出量、一心搏量、一心室內隔膜厚度、一心室壁厚度、以及一脈搏速率。
在某些實施例中，該至少一處理器係被配置以至少部分藉由 導引該超音波裝置的一操作者以獲得該超音波影像，來獲得該超音波影像。在某些實施例中，該至少一處理器係被配置以至少部分藉由提供至少一指令給該操作者以將該超音波裝置重新定位，來導引該超音波裝置的該操作者。在某些實施例中，該操作者是該對象。
在某些實施例中，該至少一處理器係被配置以接收有關該對象的醫療資訊，並且根據該接收到的有關該對象的醫療資訊來識別該對象的一目標解剖的切面以成像。在某些實施例中，有關該對象的該醫療資訊係包括至少一從由以下所構成的群組選出的成員：一心跳速率、一血壓、一體表面積、一年齡、一體重、一身高、以及該對象正服用的一藥物。在某些實施例中，該至少一處理器係被配置以至少部分藉由響應於有關該對象的該醫療資訊係指出該對象已遭遇到陣發性夜間呼吸困難(paroxysmal nocturnal dyspnea)，以識別該對象的一心臟的一解剖的切面作為該目標解剖的切面，來識別該對象的該目標解剖的切面來加以成像。
在某些實施例中，該至少一處理器係被配置以利用該對象的該診斷出的醫療狀況，來提供一針對於該對象的建議的治療給該超音波裝置的該操作者。
在某些實施例中，一種方法係被提出，其係包括利用至少一包括至少一處理器的計算裝置以執行：接收有關一對象的醫療資訊；根據該接收到的醫療資訊來識別該對象的一目標解剖的切面以藉由一超音波裝置來加以成像；獲得一藉由該超音波裝置所捕捉的包含該目標解剖的切面的超音波影像；以及利用包含該目標解剖的切面的該超音波影像來產生該對象的一醫療狀況的一診斷。
在某些實施例中，獲得包含該目標解剖的切面的該超音波影像係包括導引該超音波裝置的一操作者以獲得包含該目標解剖的切面的該超音波影像。在某些實施例中，導引該超音波裝置的該操作者以獲得包含該目標解剖的切面的該超音波影像係包括提供至少一指令給該操作者以將該超音波裝置重新定位。在某些實施例中，導引該操作者係包括導引該對象。
在某些實施例中，接收有關該對象的該醫療資訊係包括接收從由以下所構成的群組選出的醫療資訊：一心跳速率、一血壓、一體表面積、一年齡、一體重、一身高、以及該對象正服用的一藥物。在某些實施例中，識別該對象的該目標解剖的切面來加以成像係包括響應於有關該對象的該醫療資訊係指出該對象已遭遇到陣發性夜間呼吸困難，來識別該對象的一心臟的一解剖的切面作為該目標解剖的切面。在某些實施例中，診斷該對象的該醫療狀況係包括響應於有關該對象的該醫療資訊係指出該對象已遭遇到陣發性夜間呼吸困難，來利用包含該目標解剖的切面的該超音波影像以識別該對象的一射血分率。
在某些實施例中，產生該對象的一醫療狀況的該診斷係包括利用包含該目標解剖的切面的該超音波影像來識別該對象的至少一醫療參數。在某些實施例中，識別該對象的該至少一醫療參數係包括識別一從由以下所構成的群組選出的醫療參數：一射血分率、一縮短分率、一心室直徑、一心室容積、一舒張末期容積、一收縮末期容積、一心輸出量、一心搏量、一心室內隔膜厚度、一心室壁厚度、以及一脈搏速率。
在某些實施例中，該方法進一步包括利用該對象的該診斷出 的醫療狀況，來提供一針對於該對象的建議的治療給該超音波裝置的該操作者。
在某些實施例中，該方法進一步包括讀取一被設置在該超音波裝置上的條碼；並且傳送該條碼至另一裝置以使得該另一裝置發送有關該對象的該醫療資訊至該至少一計算裝置。在某些實施例中，該方法進一步包括傳送包含該目標解剖的切面的該超音波影像至該另一裝置，以使得該另一裝置將包含該目標解剖的切面的該超音波影像加入到一和該對象相關的醫療檔案。
在某些實施例中。一種系統係被提出，其係包括一被配置以捕捉超音波影像的超音波裝置；以及一計算裝置，其係通訊地耦接至該超音波裝置。該計算裝置係被配置以：接收有關一對象的醫療資訊；根據該接收到的醫療資訊來識別該對象的一目標解剖的切面以藉由該超音波裝置來加以成像；獲得一藉由該超音波裝置所捕捉的包含該目標解剖的切面的超音波影像；以及利用包含該目標解剖的切面的該超音波影像來產生該對象的一醫療狀況的一診斷。
在某些實施例中，該超音波裝置係包括複數個超音波換能器。在某些實施例中，該複數個超音波換能器係包括一從由以下所構成的群組選出的超音波換能器：一電容性微加工超音波換能器(CMUT)、一CMOS超音波換能器(CUT)、以及一壓電微加工超音波換能器(PMUT)。
在某些實施例中，該計算裝置是一行動智慧型手機或是一平板電腦。在某些實施例中，該計算裝置係被配置以至少部分藉由響應於有關該對象的該醫療資訊係指出該對象已遭遇到陣發性夜間呼吸困難，以識 別該對象的一心臟的一解剖的切面作為該目標解剖的切面，來識別該目標解剖的切面。在某些實施例中，該計算裝置係被配置以響應於有關該對象的該醫療資訊係指出該對象已遭遇到陣發性夜間呼吸困難，利用包含該目標解剖的切面的該超音波影像來識別該對象的一射血分率。
在某些實施例中，該計算裝置係被配置以至少部分藉由利用包含該目標解剖的切面的該超音波影像來識別該對象的至少一醫療參數，以產生該對象的該醫療狀況的該診斷。
在某些實施例中，至少一儲存處理器可執行的指令之非暫態的電腦可讀取的儲存媒體係被提出。該些處理器可執行的指令當藉由至少一處理器來加以執行時，其係使得該至少一處理器以：接收有關一對象的醫療資訊；根據該接收到的醫療資訊來識別該對象的一目標解剖的切面以藉由該超音波裝置來加以成像；獲得一藉由該超音波裝置所捕捉的包含該目標解剖的切面的超音波影像；以及利用包含該目標解剖的切面的該超音波影像來產生該對象的一醫療狀況的一診斷。
在某些實施例中，一種用於評估一超音波探針的位置及朝向之方法係被提出。該方法係包括(a)藉由一主機裝置來接收藉由被定位以成像一對象的一所要的特點的該超音波探針所產生的超音波影像資料，其中該主機裝置係包括一處理器以及記憶體；以及(b)提供指令以重新定位該超音波探針以便於捕捉該所要的特點，其中該些指令係至少根據該所要的特點來加以決定的。
在某些實施例中，一種用於超音波成像的即時的量測預測之方法係被提出。該方法係包括(a)藉由一主機裝置來接收藉由被定位以成像 一對象的一所要的特點的一超音波探針所產生的超音波影像資料，其中該主機裝置係包括一處理器以及記憶體；以及(b)比較該接收到的超音波影像資料與訓練好的模型資料，以即時地預測該接收到的超音波影像資料的一界標。
在某些實施例中，一種用以提供即時的超音波影像獲取協助之方法係被提出。該方法係包括(a)接收一病患的一最初的超音波影像；(b)比較該最初的超音波影像的屬性與一高品質的超音波影像的標準：以及(c)導引一超音波探針的移動以獲取一符合該高品質的超音波影像的該標準之後續的超音波影像。
在某些實施例中，一種用以提供即時的超音波影像獲取協助之方法係被提出。該方法係包括(a)接收針對於一最終的超音波成像(imagery)的一獲取意圖指令；(b)從一超音波探針接收一第一超音波影像，該第一超音波影像係包括一對象的一透視圖；(c)藉由比較該第一超音波影像與該獲取意圖指令來識別該第一超音波影像的一缺點(infirmity)；(d)根據該獲取意圖指令來識別一補救的動作，以操縱該超音波探針來補救該第一超音波成像的該缺點；以及(e)顯示該識別出的補救的動作以協助該最終的超音波影像的獲取。
在某些實施例中，一種臨床的診斷及治療的決策支援系統係被提出。該系統係包括一處理器，該處理器被配置以：(a)獲取一對象的醫療超音波影像資料來加以診斷；(b)顯示至少根據該醫療超音波影像資料所判斷的一診斷；以及(c)顯示根據該診斷的一針對於該對象的建議的治療。
在某些實施例中，一種提供一臨床的診斷及治療的決策之方 法係被提出。該方法係包括(a)利用一處理器來獲取一對象的醫療超音波影像資料來加以診斷；(b)顯示至少根據該醫療超音波影像資料所判斷的一診斷；以及(c)顯示一針對於該對象的建議的治療，其中該建議的治療係根據該診斷而被判斷出的。
在某些實施例中，一種用於利用統計先驗知識來訓練一捲積(convolutional)神經網路之方法。該方法係包括(a)接收一包括複數個對象的複數個醫療影像的訓練集、以及和該複數個醫療影像的每一個相關的一訓練註解；(b)接收該複數個醫療影像的統計先驗知識，其中該統計先驗知識係包括和由該複數個對象的自然發生的結構所產生的該些醫療影像的變化性相關的統計；以及(c)藉由納入該統計先驗知識，利用該訓練集來訓練該捲積神經網路。
在某些實施例中，一種用於執行一醫療影像的分割之方法。該方法係包括(a)提供一對象的一特點的該醫療影像；以及(b)利用一訓練好的捲積神經網路以執行該醫療影像的該影像分割，其中該訓練好的捲積神經網路係利用統計先驗知識來加以訓練的。
在某些實施例中，一種用於執行一醫療影像的界標定位(landmark localization)之方法。該方法係包括(a)提供一對象的一特點的該醫療影像；以及(b)利用一訓練好的捲積神經網路以執行該醫療影像的該界標定位，其中該訓練好的捲積神經網路係利用統計先驗知識來加以訓練的。
在某些實施例中，一種方法係被提出，其係包括(a)捕捉一相對於一病患所定位的超音波探針的一影像；(b)捕捉該病患的身體的一部分的一在活體內的(in vivo)超音波影像；(c)識別該超音波探針在該超音波探 針的該被捕捉的影像中的一位置，該位置係相對於該病患的身體來加以識別；(d)形成一合成的影像，其係至少部分藉由相鄰該超音波探針的該影像來設置該在活體內的超音波影像，藉由將該在活體內的超音波影像重疊到該超音波探針的該影像之上以形成一合成的影像；以及(e)顯示該合成的影像。
在某些實施例中，該方法進一步包括即時地顯示複數個合成的影像。在某些實施例中，該些合成的影像係被顯示在一擴增實境顯示器上。在某些實施例中，該方法進一步包括根據該複數個合成的影像來即時地提供指令，其中該些指令係導引該超音波探針的一使用者於該病患的身體的部分的後續的超音波影像的獲取。
在某些實施例中，一種方法係被提出，其係包括(a)捕捉一相對於一病患所定位的超音波探針的一影像；(b)捕捉該病患的身體的一部分的一在活體內的超音波影像；(c)識別該超音波探針在該超音波探針的該被捕捉的影像中的一位置，該位置係相對於該病患的身體來加以識別；(d)形成一合成的影像，其係至少部分藉由相鄰該超音波探針的該影像來設置該在活體內的超音波影像，藉由將該在活體內的超音波影像重疊到該超音波探針的該影像之上以形成一合成的影像；以及(e)顯示該合成的影像。
在某些實施例中，一種消費者為基礎的使用一超音波裝置之方法係被提出。該方法係包括(a)藉由一使用者來操作一可攜式的超音波裝置；(b)利用一影像捕捉裝置來捕捉該可攜式的超音波裝置的一影像；(c)響應於由一處理裝置所提供的反饋來調整該超音波裝置的一位置及/或朝向，其中該反饋係藉由該處理裝置至少根據藉由該使用者利用該可攜式的超音 波裝置所捕捉的超音波資料的分析來加以產生；以及(d)儲存藉由該使用者利用該可攜式的超音波裝置所捕捉的該超音波資料。
在某些實施例中，操作該可攜式的超音波裝置係在該使用者的家中執行的。在某些實施例中，該反饋係即時地被提供。在某些實施例中，該反饋係利用擴增實境來加以提供。在某些實施例中，該反饋係包括有關以下的一或多個的指令：(i)該使用者應該設置該可攜式的超音波裝置之處、(ii)該使用者應該如何重新定位或是定向該可攜式的超音波裝置、(iii)該使用者應該如何線性地平移該可攜式的超音波裝置、以及(iv)該使用者應該如何動作以使得該超音波資料的捕捉變得容易。在某些實施例中，該方法進一步包括顯示至少根據該醫療影像資料所判斷的一診斷。在某些實施例中，該方法進一步包括顯示一針對於該對象的建議的治療，其中該建議的治療係根據該診斷而被判斷出的。
在某些實施例中，一種用於針對於界標定位訓練一捲積神經網路之方法係被提出。該方法係包括(a)接收一包括複數個對象的複數個醫療影像的訓練集、以及和該複數個醫療影像的每一個相關的一訓練註解；以及(b)至少根據該訓練集來訓練該捲積神經網路以回歸(regress)一或多個界標位置。
在某些實施例中，一種用於執行一對象的一醫療影像的界標定位之方法係被提出。該方法係包括(a)提供該對象的該醫療影像；以及(b)利用一訓練好的捲積神經網路以執行該對象的該醫療影像的該界標定位，其中該訓練好的捲積神經網路係利用一包括複數個對象的複數個醫療影像的訓練集、以及和該複數個醫療影像的每一個相關的一訓練註解來加以訓 練的。
100‧‧‧超音波系統
101‧‧‧對象
102‧‧‧超音波裝置
104‧‧‧計算裝置
106‧‧‧顯示器
108‧‧‧指令
110‧‧‧超音波影像
112‧‧‧通訊鏈路
201‧‧‧對象
202‧‧‧最初的位置
204‧‧‧目標位置
206‧‧‧預設的區域
208‧‧‧導引路徑
301‧‧‧對象
302‧‧‧粗略的指令
304‧‧‧計算裝置
306‧‧‧顯示器
308‧‧‧符號
310‧‧‧訊息
311‧‧‧背景影像
312‧‧‧精細的指令
314‧‧‧符號
316‧‧‧訊息
318‧‧‧確認
320‧‧‧符號
322‧‧‧訊息
402‧‧‧解剖的特點
404‧‧‧計算裝置(解剖的特點特徵)
406‧‧‧顯示器
408‧‧‧超音波影像
410‧‧‧醫療參數
501‧‧‧對象
502‧‧‧超音波裝置
504‧‧‧計算裝置
506‧‧‧成像裝置
508‧‧‧顯示器
510‧‧‧標記
512‧‧‧通訊鏈路(影像)
514‧‧‧超音波影像
516‧‧‧指令
601‧‧‧對象
602‧‧‧超音波裝置
604‧‧‧計算裝置
606‧‧‧顯示器
608‧‧‧超音波裝置符號
610‧‧‧超音波影像
702‧‧‧應用程式標題
703‧‧‧應用程式說明
704‧‧‧計算裝置
706‧‧‧顯示器
708‧‧‧贊助者區域
710‧‧‧選擇區域
712‧‧‧臨床的問題
714‧‧‧回應區域
718‧‧‧檢查問題
720‧‧‧回應區域
722‧‧‧成像指令
724‧‧‧選擇區域
726‧‧‧超音波影像
728‧‧‧診斷的結果
730‧‧‧超音波影像
732‧‧‧診斷的結果
734‧‧‧選擇區域
736‧‧‧治療問題
738‧‧‧建議的治療
740‧‧‧治療選擇
742‧‧‧外部的連結
804‧‧‧計算裝置
805‧‧‧成像裝置
806‧‧‧顯示器
808‧‧‧訊息
810‧‧‧掃描區域
812‧‧‧選擇區域
814‧‧‧訊息
816‧‧‧選擇區域
818‧‧‧對象
820‧‧‧超音波裝置
822‧‧‧指令
900‧‧‧過程
902‧‧‧獲得超音波影像
904‧‧‧超音波影像包含目標解剖的切面？
906‧‧‧產生指導計畫
908‧‧‧提供指令以將超音波裝置重新定位
910‧‧‧提供適當的定位的指出
1000‧‧‧過程
1002‧‧‧獲得超音波裝置的影像
1003‧‧‧產生合成的影像
1004‧‧‧識別超音波裝置在影像中的姿勢
1006‧‧‧利用識別出的姿勢以將指令重疊到影像之上
1008‧‧‧呈現合成的影像
1100‧‧‧過程
1102‧‧‧獲得在超音波裝置上的標記的影像
1103‧‧‧識別超音波裝置的姿勢
1104‧‧‧識別標記在影像中的位置
1106‧‧‧分析該標記的一特徵
1108‧‧‧利用識別出的姿勢來呈現指令
1200‧‧‧過程
1202‧‧‧獲得超音波影像
1204‧‧‧識別在超音波影像中的解剖的特點
1206‧‧‧利用識別出的解剖的特點來識別醫療參數
1300‧‧‧過程
1302‧‧‧接收有關對象的醫療資訊
1304‧‧‧識別目標解剖的切面
1306‧‧‧獲得超音波影像
1308‧‧‧產生診斷
1310‧‧‧產生建議的治療
1402‧‧‧影像
1404‧‧‧輸入層
1406‧‧‧隱藏層
1408‧‧‧輸出層
1410‧‧‧捲積及池化層
1412‧‧‧稠密層
1500A‧‧‧超音波系統
1500B‧‧‧超音波系統
1501‧‧‧處理電路
1502‧‧‧計算裝置
1503‧‧‧輸入/輸出裝置
1504‧‧‧音訊輸出裝置
1505‧‧‧超音波電路
1506‧‧‧成像裝置
1507‧‧‧記憶體電路
1508‧‧‧顯示螢幕
1509‧‧‧振動裝置
1510‧‧‧處理器
1512‧‧‧記憶體
1514‧‧‧超音波裝置
1516‧‧‧網路
1518‧‧‧伺服器
1520‧‧‧工作站
1522‧‧‧資料庫
1600‧‧‧單石超音波裝置
1602‧‧‧換能器陣列
1604‧‧‧發送(TX)電路
1606‧‧‧接收(RX)電路
1608‧‧‧時序及控制電路
1610‧‧‧信號調節/處理電路
1612‧‧‧半導體晶粒
1614‧‧‧輸出埠
1616‧‧‧輸入埠
1618‧‧‧電源管理電路
1620‧‧‧高強度聚焦超音波(HIFU)控制器
1702‧‧‧換能器元件
1712‧‧‧脈波產生器
1714‧‧‧波形產生器
1716‧‧‧開關
1718‧‧‧類比處理區塊
1720‧‧‧類比至數位轉換器(ADC)
1722‧‧‧數位處理區塊
1724‧‧‧多工器(MUX)
1726‧‧‧多工的數位處理區塊
1800‧‧‧對象
1802‧‧‧手持式裝置
1804‧‧‧顯示器
1810‧‧‧貼片
1812‧‧‧病患
1820‧‧‧手持式裝置
各種的特點及實施例將會參考以下的範例且非限制性的圖來加以描述。應該體認到的是，該些圖並不一定按照比例繪製。出現在多個圖中的項目係在它們出現於其中的所有的圖中藉由相同或類似的元件符號來加以指出。
圖1是展示根據本揭露內容的某些實施例的一範例的超音波系統；圖2是展示根據本揭露內容的某些實施例的一範例的導引路徑，沿著該導引路徑以從該對象上的一最初的位置移動該超音波裝置到該對象上的一目標位置；圖3A係展示根據本揭露內容的某些實施例的將被提供給一操作者的一範例的粗略的指令；圖3B係展示根據本揭露內容的某些實施例的將被提供給一操作者的一範例的精細的指令；圖3C係展示根據本揭露內容的某些實施例的將被提供給一操作者的一範例的確認；圖4是展示根據本揭露內容的某些實施例的被重疊到一超音波影像之上的範例的醫療參數；圖5A及5B係展示根據本揭露內容的某些實施例的一範例的超音波系統，其係被配置以提供一擴增實境介面給一操作者；圖6是展示根據本揭露內容的某些實施例的一範例的擴增實境介面；圖7A-7H係展示根據本揭露內容的某些實施例的一用於一診斷的應用 程式之範例的使用者介面；圖8A-8D係展示根據本揭露內容的某些實施例的一用於一在家的診斷的應用程式之範例的使用者介面；圖9是展示根據本揭露內容的某些實施例的一種導引一超音波裝置的一操作者以捕捉一包含一目標解剖的切面的超音波影像之範例的方法；圖10係展示本揭露內容的實施例的一種提供一擴增實境介面給一超音波裝置的一操作者之範例的方法；圖11係展示根據本揭露內容的某些實施例的一種追蹤一超音波裝置的一位置之範例的方法；圖12係展示根據本揭露內容的某些實施例的一種利用一超音波影像以識別一對象的一醫療參數之範例的方法；圖13係展示根據本揭露內容的某些實施例的一種產生一對象的一醫療狀況的一診斷之範例的方法；圖14係展示根據本揭露內容的某些實施例的一範例的捲積神經網路；圖15A係展示根據本揭露內容的某些實施例的一範例的超音波系統的方塊圖；圖15B係展示根據本揭露內容的某些實施例的另一範例的超音波系統的方塊圖；圖16係展示根據本揭露內容的某些實施例的一範例的超音波裝置的方塊圖；圖17係展示根據本揭露內容的某些實施例的在圖16中所示的範例的超音波裝置的詳細的方塊圖； 圖18A-18B係展示根據本揭露內容的某些實施例的一範例的手持式裝置，其係包括一超音波裝置以及一顯示器；圖18C-18E係展示根據本揭露內容的某些實施例的一範例的貼片，其係包括一超音波裝置；以及圖18F係展示根據本揭露內容的某些實施例的一範例的手持式裝置，其係包括一超音波裝置。
習知的超音波系統是大型、複雜且昂貴的系統，其通常只被具有相當大的金融資源的大型醫療機構所購買。近來，較便宜而且較不複雜的超音波成像裝置已經被引進。此種成像裝置可包含單石地整合到單一半導體晶粒之上的超音波換能器，以形成一單石超音波裝置。此種晶片上超音波裝置的特點係被描述在2017年1月25日申請的名稱為"通用的超音波裝置以及相關的設備及方法"(並且被讓與給本申請案的受讓人)的美國專利申請案號15/415,434中，該美國專利申請案係以其整體被納入在此作為參考。這些新穎的超音波裝置的降低的成本以及增高的可攜性可以使得其比習知的超音波裝置顯著更可被一般大眾所利用。
本案發明人已經認知且體認到儘管超音波成像裝置的降低的成本以及增高的可攜性係使得其更可被一般大眾所利用，但是可能會利用到此種裝置的人們只有很少、甚至沒有如何使用其的訓練。例如，在工作人員中並沒有經過訓練的超音波技術人員的小型診所可能會購買一超音波裝置來幫助診斷患者。在此例子中，在該小型診所的護士可能熟悉超音波技術以及人體生理學，但是可能既不知道一病患的哪些解剖的切面需要 被成像以便於識別有關該病患的醫學相關的資訊、也不知道如何利用該超音波裝置來獲得此種解剖的切面。在另一例子中，一超音波裝置可能藉由一醫師而被發給一病患，以供在家的使用來監視該病患的心臟。在所有的可能性中，該病患既不瞭解人體生理學、也不瞭解如何利用該超音波裝置來成像他或她本身的心臟。
於是，本案發明人已經開發出輔助的超音波成像技術，以用於導引一超音波裝置的一操作者來適當地使用該超音波裝置。此技術係使得具有很少或是沒有操作超音波裝置的經驗的操作者能夠捕捉醫學相關的超音波影像，並且可以進一步協助該些操作者解釋該獲得的影像的內容。例如，在此揭露的技術的某些技術可被使用以：(1)識別一對象的一特定的解剖的切面，以利用一超音波裝置來成像；(2)導引該超音波裝置的一操作者以捕捉該對象的一包含該特定的解剖的切面的超音波影像；以及(3)分析該所捕捉的超音波影像以識別有關該對象的醫療資訊。
應該體認到的是，在此所述的實施例可以用許多方式的任一種來加以實施。特定的實施方式的例子係在以下只是為了舉例說明的目的來加以提出。應該體認到的是，這些實施例以及所提出的特點/功能可以個別地、全部一起、或是用兩個或多個的任意組合來加以利用，因為在此所述的技術的特點並未在此方面受到限制。
A.指示一超音波裝置的一操作者如何定位該裝置
本揭露內容係提出用於指示一超音波裝置的一操作者如何將該超音波裝置定位在一對象上之技術，以捕捉一醫學相關的超音波影像。捕捉一對象的一包含一特定的解剖的切面的超音波影像對於新手超音 波裝置操作者而言可能是具有挑戰性的。該操作者(例如，一護士、一技術人員、或是一外行人)不僅需要知道最初將該超音波裝置定位在該對象上(例如，一病患)的何處、而且亦需要知道如何調整該裝置在該對象上的位置以捕捉一包含該目標解剖的切面的超音波影像。在其中該對象也是該操作者的情形中，對於該操作者而言要識別該適當的切面甚至可能是更具有挑戰性的，因為該操作者可能沒有該超音波裝置的一清楚的視野。於是，某些所揭露的實施例係有關用於導引該操作者以捕捉一包含該目標解剖的切面的超音波影像的新穎技術。該指導可以經由一安裝在該操作者的一計算裝置(例如：一行動裝置、一智慧型手機或智慧型裝置、平板電腦、等等)上的軟體應用程式(在以下稱為"App")來加以提供。例如，該操作者可以在一計算裝置上安裝該App，並且連接該計算裝置至一超音波裝置(例如，其係利用一例如是藍芽的無線連線、或是一例如為Lightning電纜線的有線的連線)。該操作者於是可以將該超音波裝置定位在該對象上，並且該軟體應用程式(經由該計算裝置)可以提供反饋給該操作者，其係指出該操作者是否應該將該超音波裝置重新定位、以及他/她應該如何開始如此做。遵照該些指令係容許新手操作者能夠捕捉包含該目標解剖的切面的醫學相關的超音波影像。
在某些實施例中，被提供給該操作者的指令可以至少部分藉由利用例如是深度學習的目前最佳技術的影像處理技術來加以產生。例如，該計算裝置可以利用深度學習技術來分析一所捕捉的超音波影像，以判斷該超音波影像是否包含該目標解剖的切面。若該超音波影像包含該目標解剖的切面，則該計算裝置可以提供該超音波裝置係適當地被定位在該 對象上的一確認給該操作者，且/或自動開始記錄超音波影像。否則，該計算裝置可以指示該操作者如何將該超音波裝置重新定位(例如，"向上移動"、"向左移動"、"向右移動"、"順時針方向旋轉"、"逆時針方向旋轉'''、或是"向下移動")，以捕捉一包含該目標解剖的切面的超音波影像。
在此所述的深度學習技術可以用硬體、軟體、或是硬體及軟體的一組合來加以實施。在一實施例中，一深度學習技術係被實施在一可執行於該操作者可利用的一智慧型裝置上的App中。該App例如可以充分利用一被整合到該智慧型裝置中的顯示器，以顯示一使用者介面螢幕給該操作者。在另一實施例中，該App可以在一雲端上加以執行，並且透過該智慧型裝置而被傳遞給該操作者。在又一實施例中，該App可以在該超音波裝置本身上加以執行，並且該些指令可以透過該超音波裝置本身或是一和該超音波裝置相關的智慧型裝置而被傳遞至該使用者。因此，應注意到的是，該App的執行可以是在一本地或是一遠端的裝置處，而不脫離所揭露的原理。
在某些實施例中，用於提供有關如何將該超音波裝置重新定位以捕捉包含一對象的一目標解剖的切面的一超音波影像的指令給一超音波裝置的一操作者之技術可以被體現為一種方法，其係藉由例如是一通訊地耦接至一超音波裝置的計算裝置來加以執行。該計算裝置可以是一行動智慧型手機、一平板電腦、一膝上型電腦、一工作站、或是任何其它適當的計算裝置。該超音波裝置可被配置以利用超音波換能器來發送聲波到一對象中，偵測反射的聲波，並且利用其來產生超音波資料。範例的超音波換能器係包含電容性微加工超音波換能器(CMUT)、CMOS超音波換能器 (CUT)、以及壓電微加工超音波換能器(PMUT)。該些超音波換能器可以和該超音波裝置的一半導體基板加以單石地整合。該超音波裝置例如可被實施為一手持式裝置、或是一被配置以附著至該對象的貼片。
在某些實施例中，一種範例的方法可包含獲得一對象的一超音波影像，其係利用該超音波裝置來加以捕捉。例如，該超音波裝置可以產生超音波聲音資料，並且發送(經由一有線或是無線的通訊鏈路)該超音波資料至該計算裝置。該計算裝置於是可以利用該接收到的超音波資料來產生該超音波影像。該方法可以進一步包含利用一自動化的影像處理技術來判斷該超音波影像是否包含一目標解剖的切面。例如，該超音波影像可以利用該自動化的影像處理技術來加以分析，以識別內含在該超音波影像中的解剖的切面。該識別出的解剖的切面可以和該目標解剖的切面相比較，以判斷該識別出的解剖的切面是否符合該目標解剖的切面。若該識別出的解剖的切面符合該目標解剖的切面，則做出該超音波影像確實包含該目標解剖的切面的一項判斷。否則，該超音波影像並不包含該目標解剖的切面的一項判斷係被做出。
應該體認到的是，各種自動化的影像處理技術的任一種都可被採用來判斷一超音波影像是否包含該目標解剖的切面。範例的自動化的影像處理技術係包含機器學習技術，例如是深度學習技術。在某些實施例中，一捲積神經網路可被採用以判斷一超音波影像是否包含該目標解剖的切面。例如，該捲積神經網路可以利用一組超音波影像來加以訓練，該組超音波影像係被標示有在該超音波影像中所描繪的特定的解剖的切面。在此例子中，一超音波影像可被提供為該被訓練的捲積神經網路的一輸入， 並且內含在該輸入的超音波影像中的特定的解剖的切面的一指出可被提供為一輸出。
在另一例子中，該捲積神經網路可以利用一組超音波影像來加以訓練，該組超音波影像係被標示有一或多個有關如何移動該超音波裝置以捕捉一包含該目標解剖的切面的超音波影像的指令、或是該超音波影像係包含該目標解剖的切面的一指出。在此例子中，一超音波影像可被提供為一被訓練的捲積神經網路的一輸入，並且該超音波影像係包含該目標解剖的切面的一指出、或是提供該操作者的一指令可被提供為一輸出。該捲積神經網路可以利用複數個層，用任何適當的組合來加以實施。可被採用在該捲積神經網路中的範例的層係包含：池化層、整流線性單元(ReLU)層、捲積層、稠密層、填充層、串聯層、及/或提升層。特定的神經網路架構的例子係在此的"範例的深度學習技術"段落中提供。
在某些實施例中，當該超音波影像並不包含該目標解剖的切面的一項判斷係被做出時，該方法可以進一步包含提供至少一指令(或是一組指令)給該超音波裝置的一操作者，其係指出如何將該超音波裝置重新定位以促成捕捉該對象的一包含該目標解剖的切面的超音波影像。該指令可以用各種方式的任一種而被提供給該操作者。例如，該指令可以利用一顯示器(例如，一被整合到例如是該操作者的行動裝置的計算裝置中的顯示器)而被顯示給該操作者、或是利用一揚聲器(例如，一被整合到該計算裝置中的揚聲器)而被可聽見地提供給該操作者。範例的指令係包含"順時針轉動"、"逆時針轉動"、"向上移動"、"向下移動"、"向左移動"、以及"向右移動"。
在某些實施例中，當該超音波影像係包含該目標解剖的切面 的一項判斷係被做出時，該方法可以進一步包含提供該超音波裝置係適當地被定位的一項指出給該操作者。給該操作者的該超音波裝置係適當地被定位的該指出可以採用各種形式的任一種。例如，一符號可被顯示給該操作者，例如是一核對符號。或者是(或額外的是)，一訊息可被顯示及/或可聽見地播放給該操作者，例如是"定位完成"。
該些指令可以根據該超音波裝置相對該對象的身體的目前的位置來加以計算出。該些指令可以預先被記錄，並且藉由比較該超音波裝置的目前的定位相對於該超音波裝置的一或多個產生該目標超音波影像的先前的位置來加以決定。
B.決定如何導引一超音波裝置的一操作者來捕捉一醫學相關的超音波影像
本揭露內容係提供用於導引一超音波裝置的一操作者以捕捉一對象的一醫學相關的超音波影像之技術。教導一個人如何執行一項新的工作(例如是如何使用一超音波裝置)是一項具有挑戰性的努力。若該個人係被提供過於複雜或是令人混淆的指令，則其可能會變成受挫的。於是，某些所揭露的實施例係有關用於提供清楚且簡明的指令，以導引一超音波裝置的操作者來捕捉一包含一目標解剖的切面的超音波影像之新穎的技術。在某些實施例中，該操作者可以將該超音波裝置定位在該對象上，並且一計算裝置(例如是一行動智慧型手機或是一平板電腦)可以產生一針對於如何導引該操作者以從一在該對象上的最初的位置移動該超音波裝置到一在該對象上的目標位置的指導計畫。該指導計畫可包括一系列的簡單指令或是步驟(例如，"向上移動"、"向下移動"、"向左移動"、或是"向右移動")， 以導引該操作者從該最初的位置至該目標位置。
該指導計畫可以選配地避免使用可能會混淆該操作者的較為複雜的指令，例如是指示該操作者對角地移動該超音波裝置。一旦該指導計畫已經加以產生後，來自該指導計畫的指令可以用一連串的方式被提供給該操作者，以避免資訊造成該操作者負擔過重。藉此，該操作者可以輕易地依照該連串的簡單的指令以捕捉一包含該目標解剖的切面的超音波影像。
在一實施例中，該指導計畫可以藉由比較目前的超音波影像與該目標超音波影像，並且藉由決定該超音波裝置相關該對象的定位應該如何加以改變以接近該目標超音波影像而被設計出。
在某些實施例中，用於決定如何導引一超音波裝置的一操作者來捕捉一包含一目標解剖的切面的超音波影像之技術可以被體現為一種方法，其係例如是藉由一通訊地耦接至一超音波裝置的計算裝置來加以執行。該方法可包含獲得利用該超音波裝置所捕捉的一對象的一超音波影像。例如，該計算裝置可以和該超音波裝置通訊，以產生超音波資料並且傳送該產生的超音波資料至該計算裝置。該計算裝置於是可以使用該接收到的超音波資料以產生該超音波影像。
在某些實施例中，當該超音波影像並不包含該目標解剖的切面的一項判斷係被做出時，該方法可以進一步包含利用該超音波影像來產生一針對於如何導引該操作者來捕捉該對象的一包含該目標解剖的切面的超音波影像的指導計畫。該指導計畫例如可包括一導引路徑，一操作者可以沿著該導引路徑而被導引在該超音波裝置在該對象上的一最初的位置以 及該超音波裝置在該對象上的一其中一包含該目標解剖的切面的超音波影像可被捕捉的目標位置之間。例如，該超音波裝置的最初的位置可以利用該超音波影像來加以識別，並且該超音波裝置的目標位置可以利用該目標解剖的切面來加以識別。一旦該超音波裝置的最初及目標位置已經被識別後，一導引路徑可以在該兩個位置之間被決定出。
在某些實施例中，在該超音波裝置的最初的位置以及該超音波裝置的目標位置之間的導引路徑可以不是在該兩個位置之間最直接的路徑。例如，一較長的導引路徑可被選擇，其係在該兩個點之間的一直接的對角線之上形成一"L"，因為該"L"形的導引路徑可以是較容易傳達給一操作者的。在某些實施例中，該導引路徑可以有利的是最小化該超音波裝置在該對象的包含硬組織(例如，骨頭)的區域之上的行程。捕捉骨頭的一超音波影像可能會產生一空白的(或是幾乎空白的)超音波影像，因為由超音波裝置所發射的聲波通常並不會貫穿硬組織。因此，可能有很少或是沒有可被該計算裝置使用來判斷該超音波裝置在該對象上的一位置的資訊內含在該超音波影像中。最小化在這些硬組織之上的行程可以有利地容許該計算裝置能夠藉由分析所捕捉的超音波影像而更輕易地追蹤當該操作者沿著該導引路徑移動該超音波裝置時，該超音波裝置的進展。
該方法可以進一步包含根據所決定的指導計畫來提供至少一指令給該操作者。例如，指示該操作者以沿著在該指導計畫中的一所決定的導引路徑移動該超音波裝置的指令可加以產生。或者是(或額外的是)，該指導計畫可包含一連串的指令以導引該超音波裝置的該操作者移動該裝置，並且該些指令可以直接從該指導計畫來加以提供。該些指令可以用一 串列方式(例如，一次一個)而從該指導計畫加以提供。
應該體認到的是，該指導計畫可以根據一操作者實際所採取的動作而被更新(例如，連續地被更新)。在某些實施例中，該指導計畫可以在一操作者所採取的動作並不相符被提供給該操作者的指令時加以更新。例如，該計算裝置可能發出一指令給該操作者以向左移動該超音波裝置，而該操作者可能已不慎地向上移動該超音波裝置。在此例子中，該計算裝置可以產生一在該超音波裝置的目前的位置以及該超音波裝置的目標位置之間的新的指導計畫。
C.產生一擴增實境介面以導引一超音波裝置的一操作者
本揭露內容係提供用於產生一擴增實境介面之技術，其係導引一超音波裝置的一操作者。提供書面及/或口說的指令以讓操作者理解可能是具有挑戰性的。例如，傳達一指令以在一特定的方向上移動(例如，"向左移動")一超音波裝置可能是不明確的，因為該操作者所用的參考點可能是不同的。因而，該操作者可能會在一不正確的方向上移動該超音波裝置，而仍然相信其正適當地遵照該些指令。於是，某些所揭露的實施例係有關用於透過一擴增實境介面來提供指令給一超音波裝置的一操作者的新穎的技術。在該擴增實境介面中，該些指令可被重疊到該操作者的真實世界的環境的一視野之上。例如，該擴增實境介面可包含該超音波裝置被定位在該對象上的一視圖、以及一指出該超音波裝置應該被移動的特定方向的箭頭。藉此，操作者可以藉由在該對象上，在一和該擴增的介面中的該箭頭一致的方向上移動該超音波裝置，而輕易地將該超音波裝置重新定位。
在某些實施例中，用於提供一擴增實境介面以導引一操作者 捕捉一包含一目標解剖的切面的超音波影像之技術可以被體現為一種方法，其係藉由例如一具有一非聲學的(non-acoustic)成像裝置(或是與其通訊)的計算裝置來加以執行，該非聲學的成像裝置例如是一被配置以偵測光的成像裝置。該方法可包含利用一非聲學的成像裝置來捕捉該超音波裝置的一影像。例如，可以捕捉被定位在一對象上的超音波裝置的一影像。
在某些實施例中，該方法可以進一步包含至少部分藉由將至少一指出該操作者如何將該超音波裝置重新定位的指令重疊到該超音波裝置的該影像之上，來產生一合成的影像。例如，該超音波裝置在所捕捉的影像中的一姿勢(例如，位置及/或朝向)可以利用一自動化的影像處理技術(例如，一深度學習技術)來加以識別，並且有關該超音波裝置的姿勢的資訊可被用來將一指令重疊到在所捕捉的影像中的超音波裝置的至少部分之上。可被重疊到該超音波裝置的影像之上的範例的指令係包含符號(例如是箭頭)，其係指出該操作者將要移動該裝置所在的一方向。
應該體認到的是，額外的元素可以利用該超音波裝置的識別出的姿勢而被重疊到該超音波裝置的影像之上。例如，利用該超音波裝置所捕捉的超音波影像可以用使得該超音波影像看似其係從該超音波裝置向外延伸到該對象中的此種方式，而被重疊到該超音波裝置的影像之上。藉此，給定該超音波裝置在該對象上的目前的位置，該操作者可以對於該對象的正被成像的特定區域獲得一更佳的體認。
在某些實施例中，該方法可以進一步包含呈現該合成的影像給該操作者。例如，該計算裝置可包含一整合的顯示器，並且該合成的影像可以利用該顯示器而被顯示給該操作者。
D.利用一在該超音波裝置上的標記來追蹤一超音波裝置的一位置
本揭露內容係提供用於利用一被設置在該超音波裝置上的標記來追蹤一超音波裝置的一位置之技術。如上所論述的，透過一擴增實境介面來提供指令給一超音波裝置的一操作者可以使得該些指令更清楚且更容易理解。該擴增實境介面可包含一真實世界的環境的一所捕捉的影像(例如，藉由在一行動智慧型手機上的一相機來加以捕捉)、以及一或多個被重疊到該所捕捉的影像之上的有關如何移動該超音波裝置的指令。當該些指令係在一所捕捉的影像中相對於真實世界的物體被設置時，此種擴增實境介面甚至可以是更加直觀的。例如，一指示該操作者向左移動該超音波裝置的箭頭是在該箭頭係於所捕捉的影像中靠近該超音波裝置來加以設置時，對於該操作者而言可以是更清楚的。於是，在此所述的技術的特點係有關用於在一所捕捉的影像中追蹤一超音波裝置之新穎的技術，使得指令可以適當地被設置在該擴增實境介面中。識別該超音波裝置在一所捕捉的影像中的位置的問題可以藉由在該超音波裝置上設置一在該所捕捉的影像中可見的獨特的標記而變得容易。該標記例如可以具有一特殊的圖案、色彩、及/或影像，其可以利用自動化的影像處理技術(例如是深度學習技術)而輕易地被識別。藉此，該超音波裝置在所捕捉的影像中的位置可以藉由在該所捕捉的影像中找出該標記而被識別出。一旦該超音波裝置在該所捕捉的影像中的位置已經被識別出之後，一指令可以在一靠近該超音波裝置的位置處被重疊到該所捕捉的影像之上，以形成一更直觀的擴增實境介面。
在某些實施例中，用於利用一被設置在一超音波裝置上的標 記來追蹤該超音波裝置在一所捕捉的影像中的一位置之技術可以被體現為一種方法，其係藉由例如是一通訊地耦接至一超音波裝置的計算裝置來加以執行。該超音波裝置在一所捕捉的影像中的位置可被追蹤，以例如是適當地將一指令定位在該所捕捉的影像之上，以便於形成一擴增實境介面。例如，該指令在該所捕捉的影像中可以靠近該超音波裝置來加以設置。在某些實施例中，這些技術可以被體現為一種方法，其係藉由例如一計算裝置來加以執行，該計算裝置係具有一非聲學的成像裝置(或是與其通訊的)，例如是一被配置以偵測光的成像裝置。該非聲學的成像裝置可被採用以捕捉在一超音波裝置上的一標記的一影像。該標記可被建構以具有一可加以辨認的特殊的圖案、色彩、及/或影像。該標記可以用各種方式的任一種來加以實施。例如，該標記可以是：一單色標記、一全像標記、及/或一色散標記。單色標記可包括一例如是ArUco標記的單色圖案。全像標記可包括一全像圖，其係依據該全像圖被觀看的特定角度而呈現不同的影像。色散標記可包括一色散元件，其係依據該色散元件被觀看的特定角度而呈現不同的色彩。
在某些實施例中，該方法可以進一步包含至少部分藉由分析該標記在該所捕捉的影像中的至少一特徵，來自動地識別該超音波裝置的一姿勢。例如，該標記在該影像中的一位置可被識別，以判斷該超音波裝置在該影像中的一位置。此外(或替代的是)，該標記的一或多個性質可被分析，以判斷該超音波裝置在該影像中的一朝向。例如，該標記可以是一色散標記，並且該標記的色彩可被分析，以判斷該超音波裝置的一朝向。在另一例子中，該標記可以是一全像標記，並且由該標記所呈現的特定的影 像可被分析，以判斷該超音波裝置的一朝向。
在某些實施例中，該方法可以進一步包含利用該超音波裝置的該識別出的姿勢，來提供一指令給該超音波裝置的一操作者。例如，該指令可包括一被重疊到呈現給該操作者的所捕捉的影像之上的符號(例如，一箭頭)。在此例子中，該超音波裝置在該影像中的該識別出的姿勢可被採用，以在該所捕捉的影像中精確地將該符號設置在該超音波裝置的至少部分之上。
E.自動地解釋所捕捉的超音波影像
本揭露內容係提供用於自動地解釋所捕捉的超音波影像以識別一對象的醫療參數之技術。一超音波裝置的新手操作者可能無法解釋所捕捉的超音波影像以蒐集有關該對象的醫學相關的資訊。例如，一新手操作者可能不知道如何從一所捕捉的超音波影像計算該對象的醫療參數(例如，該對象的一心臟的一射血分率)。於是，某些所揭露的實施例係有關用於自動地分析一所捕捉的超音波影像以識別該對象的此種醫療參數之新穎的技術。在某些實施例中，該些醫療參數可以利用例如是深度學習的最先進的影像處理技術來加以識別。例如，深度學習技術可被採用以識別特定的器官(例如是一心臟或一肺臟)在該超音波影像中的存在。一旦該些器官已經在超音波影像中被識別出之後，該些器官的特徵(例如，形狀及/或尺寸)可被分析以判斷出該對象的一醫療參數(例如，該對象的一心臟的一射血分率)。
在某些實施例中，用於利用一所捕捉的超音波影像來識別一對象的一醫療參數之技術可以被體現為一種方法，其係藉由例如一計算裝 置來加以執行，該計算裝置係通訊地耦接至一超音波裝置。該方法可包含獲得利用一超音波裝置所捕捉的一對象的一超音波影像。例如，該計算裝置可以和該超音波裝置通訊，以產生超音波資料並且傳送該產生的超音波資料至該計算裝置。該計算裝置於是可以使用該接收到的超音波資料以產生該超音波影像。
在某些實施例中，該方法可以進一步包含利用一自動化的影像處理技術來識別該對象在該超音波影像中的一解剖的特點。該對象的可被識別的範例的解剖的特點係包含：一心室、一心臟瓣膜、一心臟隔膜、一心臟乳突肌、一心房、一大動脈、以及一肺臟。這些解剖的特點可以利用各種自動化的影像處理技術的任一種(例如是深度學習技術)來加以識別。
在某些實施例中，該方法可以進一步包含利用在該超音波影像中的該識別出的解剖的特點來識別該對象的一醫療參數。例如，一心臟的一超音波影像可加以捕捉，並且在該超音波影像中的心室可以被識別為一解剖的特點。在此例子中，該心室的一或多個尺寸可利用該超音波影像的被識別為一心室的部分而被計算出，以識別和該心臟相關的醫療參數。和該心臟相關的範例的醫療參數係包含：一射血分率、一縮短分率、一心室直徑、一心室容積、一舒張末期容積、一收縮末期容積、一心輸出量、一心搏量、一心室內隔膜厚度、一心室壁厚度、以及一脈搏速率。
F.自動地產生一醫療狀況的一診斷
本揭露內容係提供用於利用一所捕捉的超音波影像來產生一對象的一醫療狀況的一診斷之技術。一超音波裝置的新手操作者可能會不知道如何使用一超音波裝置來診斷該對象的一醫療狀況。例如，該操作 者可能會不確定一對象的哪一個解剖的切面來成像以診斷該醫療狀況。再者，該操作者可能會不確定如何解釋一所捕捉的超音波影像來診斷該醫療狀況。於是，某些所揭露的實施例係有關用於協助一超音波裝置的一操作者來診斷一對象的一醫療狀況之新穎的技術。在某些實施例中，這些技術可被採用在一診斷的App中，該診斷的App可被安裝在一醫療保健的專業人士的一計算裝置(例如，一智慧型手機)上。該診斷的App可以帶領該醫療保健的專業人士通過診斷該對象的一醫療狀況的整個過程。例如，該診斷的App可以提示該醫療保健的專業人士有關該對象的醫療資訊(例如，年齡、體重、身高、靜息心跳速率、血壓、體表面積、等等)，其可被採用以決定該對象的一特定的解剖的切面以利用一超音波裝置來成像。接著，該診斷的App可以導引該醫療保健的專業人士以捕捉該解剖的切面的一超音波影像。該診斷的App可以利用來自該超音波裝置的所捕捉的超音波影像(或是連串的超音波影像)及/或原始超音波資料。應該體認到的是，其它資訊(例如有關該對象的該醫療資訊)可以結合該超音波影像及/或原始超音波資料來加以採用，以診斷該對象的該醫療狀況。
在某些實施例中，用於利用一超音波裝置來診斷一對象的一醫療狀況之技術可被體現為一種方法，其係藉由例如一計算裝置來加以執行，該計算裝置係通訊地耦接至一超音波裝置。該方法可包含接收有關一對象的醫療資訊。有關一對象的範例的醫療資訊係包含：心跳速率、血壓、體表面積、年齡、體重、身高、以及該對象正服用的藥物。該醫療資訊可以從一操作者，藉由例如是提出一或多個評量問題給該操作者來加以接收。或者是(或額外的是)，該醫療資訊可以從一例如是外部的伺服器之外部 的裝置獲得的。
在某些實施例中，該方法可以進一步包含根據該接收到的醫療資訊來識別該對象的一目標解剖的切面，以利用一超音波裝置來加以捕捉。可被識別的範例的解剖的切面係包含：一胸骨旁長軸(PLAX)解剖的切面、一胸骨旁短軸(PSAX)解剖的切面、一心尖四腔(A4C)解剖的切面、以及一心尖長軸(ALAX)解剖的切面。在某些實施例中，該醫療資訊可被分析以判斷該對象是否有任何和一可被成像的特定器官(例如一心臟或是一肺臟)相關的健康問題。若該醫療資訊指出該對象係有此種健康問題，則一和該器官相關的解剖的切面可被識別。例如，該醫療資訊可能包含該對象係有鬱血性心臟衰竭的症狀(例如是近來遭遇到陣發性夜間呼吸困難)的一項指出。在此例子中，一和該心臟相關的解剖的切面(例如該PLAX解剖的切面)可被識別為將被捕捉的適當的切面。
在某些實施例中，該方法可以進一步包含獲得該對象的一包含該目標解剖的切面的超音波影像。例如，該超音波影像可以是從該對象的一電子健康記錄獲取的。此外(或替代的是)，該操作者可被導引來獲得包含該目標解剖的切面的該超音波影像。例如，該操作者可被提供一或多個指令(例如，一連串的指令)以將該超音波裝置重新定位在該對象上，使得該超音波裝置係適當地被定位在該對象上以捕捉該目標解剖的切面。
在某些實施例中，該方法可以進一步包含利用包含該目標解剖的切面的該超音波影像，來產生該對象的一醫療狀況的一診斷。例如，一或多個醫療參數(例如，一射血分率)可以從該超音波影像(或是連串的超音波影像)被抽取出，並且被採用來產生一診斷。應該體認到的是，與包含 該目標解剖的切面的該超音波影像分開的額外的資訊可被採用來識別該對象的一醫療狀況的一診斷。例如，有關該對象的醫療資訊可以結合從該超音波裝置所抽取出的一或多個醫療參數而被採用來產生該診斷。
在某些實施例中，該方法可以進一步包含對於該對象產生一或多個建議的治療。該些建議的治療可以根據該對象的診斷出的醫療狀況來加以產生的。例如，該對象可能被診斷有一心臟狀況(例如，鬱血性心臟衰竭)，因而該建議的治療可包括一被採用以治療該心臟狀況的藥物(例如，一貝他阻斷劑藥物)。
G.進一步的說明
圖1是展示一範例的超音波系統100，其係被配置以導引一超音波裝置102的一操作者以獲得一對象101的一目標解剖的切面的一超音波影像。如圖所示，該超音波系統100係包括一超音波裝置102，該超音波裝置102係藉由一通訊鏈路112而通訊地耦接至該計算裝置104。該計算裝置104可被配置以從該超音波裝置102接收超音波資料，並且利用該接收到的超音波資料以產生一超音波影像110。該計算裝置104可以分析該超音波影像110，以提供指導給該超音波裝置102的一操作者有關如何將該超音波裝置102重新定位，以捕捉一包含一目標解剖的切面的超音波影像。例如，該計算裝置104可以分析該超音波影像110以判斷該超音波影像110是否包含一目標解剖的切面(例如一PLAX解剖的切面)。若該計算裝置104係判斷該超音波影像110係包含該目標解剖的切面，則該計算裝置104可以利用一顯示器106來提供該超音波裝置102係適當地被定位的一指出給該操作者。否則，該計算裝置104可以利用該顯示器106來提供一指令108給該操作者 有關如何將該超音波裝置102重新定位。
該超音波裝置102可被配置以產生超音波資料。該超音波裝置102可被配置以藉由例如發射聲波到該對象101中並且偵測反射的聲波，來產生超音波資料。該偵測到的反射的聲波可被分析以識別該聲波行進通過的組織的各種性質，例如是該組織的一密度。該超音波裝置102可以用各種方式的任一種來加以實施。例如，該超音波裝置102可被實施為一手持式裝置(如同在圖1中所示)、或是被實施為一利用例如是一黏著劑來耦接至病患的貼片。範例的超音波裝置係在以下的範例的超音波裝置的段落中被詳細地描述。
該超音波裝置102可以利用該通訊鏈路112來發送超音波資料至該計算裝置104。該通訊鏈路112可以是一有線的(或是無線的)通訊鏈路。在某些實施例中，該通訊鏈路112可被實施為一電纜線，例如是一萬用串列匯流排(USB)電纜線、或是一Lightning電纜線。在這些實施例中，該電纜線亦可被用來從該計算裝置104傳輸電力至該超音波裝置102。在其它實施例中，該通訊鏈路112可以是一無線的通訊鏈路，例如是一藍芽、WiFi、或是ZIGBEE無線的通訊鏈路。
該計算裝置104可包括一或多個處理元件(例如是一處理器)，以例如是處理從該超音波裝置102接收到的超音波資料。此外，該計算裝置104可包括一或多個儲存元件(例如是一非暫態的電腦可讀取的媒體)，以例如是儲存可藉由該處理元件執行的指令，且/或儲存從該超音波裝置102接收到的超音波資料的全部或是任何部分。應該體認到的是，該計算裝置104可以用各種方式的任一種來加以實施。例如，該計算裝置104 可被實施為一如同在圖1中所示的具有一整合的顯示器106之行動裝置(例如，一行動智慧型手機、一平板電腦、或是一膝上型電腦)。在其它例子中，該計算裝置104可被實施為一固定式裝置，例如是一桌上型電腦。該計算裝置的額外的範例實施方式係在以下的範例的超音波系統的段落中加以描述。
該計算裝置104可被配置以利用從該超音波裝置102接收到的超音波資料，來提供指導給該超音波裝置102的一操作者。在某些實施例中，該計算裝置104可以利用該接收到的超音波資料來產生該超音波影像110，並且利用一自動化的影像處理技術來分析該超音波影像110以產生有關該操作者應該如何將該超音波裝置102重新定位的指令108，以捕捉一包含該目標解剖的切面的超音波影像。例如，該計算裝置104可以利用一機器學習技術(例如是一深度學習技術)來識別內含在該超音波影像110中的解剖的切面，並且判斷內含在該超音波影像110中的該解剖的切面是否符合該目標解剖的切面。若該識別出的解剖的切面係符合該目標解剖的切面，則該計算裝置104可以經由該顯示器106來提供該超音波係適當地被定位的一指出。否則，該計算裝置104可以識別一指令以提供該操作者來將該超音波裝置102重新定位，並且經由該顯示器106來提供該指令。在另一例子中，該計算裝置104可以在不執行判斷該超音波影像110是否包含該目標解剖的切面之中間的步驟下產生該指令108。例如，該計算裝置104可以使用一機器學習技術(例如一深度學習技術)以將該超音波影像110直接對映到一輸出，以提供該使用者例如是適當的定位的一指出、或是用以將該超音波裝置102重新定位的一指令(例如，指令108)。
在某些實施例中，該計算裝置104可被配置以產生該指令108給該操作者，其係有關如何利用一指導計畫以將該超音波裝置102定位在該對象101上。該指導計畫可包括一導引路徑，其係指出該操作者應該如何被導引以從該對象101上的一最初的位置移動該超音波裝置102到該對象101上的一其中可以捕捉一包含該目標解剖的切面的超音波影像的目標位置。此種在一對象上的導引路徑的一個例子係被展示在圖2中。如圖所示，該超音波裝置最初可以被設置在一對象201上的一最初的位置202之處(在該對象201的一下軀幹上)，並且該計算裝置可以在該最初的位置202以及一目標位置204之間產生一導引路徑208。該導引路徑208可被該計算裝置採用，以產生一連串的指令以提供給該操作者。例如，該計算裝置可以針對於該導引路徑208產生一第一指令以"向右移動"、以及一第二指令以"向上移動"。所產生的指令亦可以包含該移動的大小的一指出，例如是"向右移動5公分"。該計算裝置可以串列地(例如，一次一個地)提供這些指令，以避免給該操作者負荷過多資訊。
該計算裝置可以藉由利用一自動化的影像處理技術(例如，一深度學習技術)來分析從該超音波裝置接收到的超音波資料，以識別該最初的位置202。例如，該計算裝置可以提供一超音波影像(其係利用該超音波資料所產生的)作為一神經網路的一輸入，該神經網路係被配置(例如，被訓練)以提供該解剖的切面係內含在該超音波影像中的一指出以作為一輸出。接著，該計算裝置可以將該識別出的解剖的切面映射到一在該對象201上的位置。在解剖的切面以及在該對象201上的位置之間的映射例如可以被本地儲存在該計算裝置上。
該計算裝置可以根據該目標解剖的切面來識別該目標位置204。例如，該計算裝置可以將該目標解剖的切面映射到一在該對象201上的位置。在目標解剖的切面以及在該對象201上的位置之間的映射例如可以被本地儲存在該計算裝置上。
一旦該最初的位置202以及該目標位置204已經被識別之後，該計算裝置可以識別一操作者應該遵照的導引路徑208，以從該最初的位置202移動該超音波裝置到該目標位置204。該計算裝置可以藉由例如是識別在該最初的位置202以及該目標位置204之間的一最短的路徑(例如，一對角線路徑)，來產生該導引路徑208。或者是，該計算裝置可以藉由識別在該最初的位置202以及該目標位置204之間的一滿足一或多個限制的最短的路徑，來產生該導引路徑208。該一或多個限制可被選擇以例如是減輕給該操作者來沿著該導引路徑208移動該超音波裝置的指令的通訊。例如，在特定方向(例如對角線方向)上的移動要精確地傳達給一操作者可能是更具有挑戰性的。因而，如同在圖2中藉由該"L"形導引路徑208所展示的，該計算裝置可以識別一刪除對角線移動的最短的路徑以作為該導引路徑。此外(或替代的是)，該導引路徑208可被選擇以最小化在該對象中的硬組織(例如是骨頭)之上的橫越。最小化在此種硬組織之上的行進可以有利地容許該計算裝置能夠更輕易地追蹤該超音波裝置沿著該導引路徑208的移動。例如，骨頭的超音波影像可能是空白的(或幾乎是空白的)，因為由超音波裝置所發射的聲波通常並不會貫穿硬組織。該計算裝置可能會無法分析此種超音波影像來判斷它們是屬於哪一個解剖的切面，並且因而失去該超音波裝置在該對象201上的位置的蹤跡。最小化在這些硬組織之上的行進可以 有利地容許該計算裝置能夠藉由分析所捕捉的超音波影像，而更輕易地追蹤該超音波裝置隨著該操作者沿著該導引路徑208移動該超音波裝置時的進展。
該計算裝置可以本地儲存所產生的導引路徑208，並且使用該導引路徑以產生一連串的指令以提供給該操作者。例如，該計算裝置可以使用該導引路徑208以產生連串的指令：(1)"橫向的移動"、(2)"向上移動"、以及(3)"順時針扭轉"。於是，這些指令可以用一串列方式而被提供給該操作者，以導引該操作者來從該最初的位置202移動該超音波裝置到該目標位置204。
如上所論述的，一超音波裝置的新手操作者可能只有很少或是沒有人體生理學的知識。因而，該最初的位置202可能是遠離該目標位置204的。例如，一操作者最初可能會將該超音波裝置設置在該對象201的一腳上，而該目標位置204是在該對象201的一上軀幹上。提供一連串的個別的指令以從該遠方的最初的位置202移動該超音波裝置到該目標位置204可能是一耗時的過程。於是，該計算裝置最初可以提供該操作者一粗略的指令以將該超音波裝置移動到該對象201的一個大致的區域(例如，該對象201的一上軀幹)，並且接著提供一或多個精細的指令以在特定的方向上移動該超音波裝置(例如"向上移動")。
在某些實施例中，該計算裝置可以根據有關於該超音波裝置在該對象上是否被設置於該對象201上的一預設的區域206之內的一判斷，來做出有關是否發出一粗略的指令或是一精細的指令的決定。該預設的區域206可以是在該對象201上的一區域，其係包含該目標位置204並且是該 操作者容易識別的。例如，該目標位置204可能是在該對象201的一心臟之上，因而該預設的區域206可包括該對象的一上軀幹。該計算裝置可以響應於該超音波裝置的位置是在該預設的區域206之內來提供一精細的指令，並且響應於該超音波裝置是在該預設的區域206之外來提供一粗略的指令。例如，一操作者最初可能將該超音波裝置定位在該對象201的一腳上，因而該計算裝置可以提供一指示該操作者以將該超音波裝置移動到該對象201的一上軀幹(例如，該預設的區域206)之粗略的指令。一旦該操作者已經將該超音波裝置定位在該對象201的上軀幹上(並且因而在該預設的區域206之內)後，該計算裝置可以提供一精細的指令，其係包含一特定的方向以朝向該目標位置204來移動該超音波裝置的一指示。
提供粗略的指令可以有利地加速導引該超音波裝置的操作者的過程。例如，一操作者可能不熟悉人體生理學，因而當該操作者嘗試捕捉一包含該對象201的一心臟的一解剖的切面的超音波影像時，其最初是將該超音波裝置設置在該對象201的一腳上。在此例子中，該操作者可被提供一粗略的指令，其係包含要將該超音波裝置設置在何處(例如，在該對象的一上軀幹上)的一指示，而不是提供一組指令給該操作者以移動該超音波裝置：(1)從大腿至下軀幹、以及(2)從下軀幹至上軀幹。
圖3A係展示一範例的粗略的指令302，其可以經由在一計算裝置304上的一顯示器306而被提供給一操作者。該粗略的指令302可以在該超音波裝置被設置在該對象上的一預設的區域之外時加以提供。如圖所示，該粗略的指令302係包含其中該操作者應該將該超音波裝置定位在該對象上的何處以位在該預設的區域之內的一指示。尤其，該粗略的指令 302係包括一符號308(例如，一星形)，其係顯示該預設的區域是位在該對象301的一圖形影像上的何處。該粗略的指令302亦包含一訊息310，其係具有一指向該符號308的箭頭，指示該操作者"將超音波裝置定位在此"，以傳達給該操作者該超音波裝置應該被置放在該符號308位於該對象301的圖形影像上之處。
圖3B係展示一範例的精細的指令312，其可以經由在該計算裝置304上的顯示器306而被提供給一操作者。該精細的指令312可以在該超音波裝置被設置於該對象上的預設的區域之內時加以提供。如圖所示，該精細的指令312係包含一符號314，其係指出該操作者應該在哪個方向移動該超音波裝置。該符號314在某些實施方式中可以是動畫的。例如，該符號314(例如，一箭頭及/或該超音波裝置的模型)可以移動在該超音波裝置將被移動所在的一方向上。該精細的指令312亦可包括一補充該符號314的訊息316，例如是該訊息"順時針轉動"。該符號314及/或該訊息316可被重疊到一背景影像311之上。該背景影像311例如可以是一利用從該超音波裝置接收到的超音波資料所產生的超音波影像。
圖3C係展示一範例的確認318，其可以經由在該計算裝置304上的顯示器306而被提供給一操作者。該確認318可以在該超音波裝置係適當地被定位在該對象上以捕捉一包含該目標解剖的切面的超音波影像時加以提供。如圖所示，該確認318係包含一符號320(例如，一核對符號)，其係指出該超音波裝置係適當地被定位。該確認318亦可包括一補充該符號320的訊息322，例如是該訊息"保持住"。該符號320及/或該訊息322可被重疊到該背景影像311之上。該背景影像311例如可以是一利用從該超音 波裝置接收到的超音波資料所產生的超音波影像。
一旦該操作者已經成功地捕捉一包含該目標解剖的切面的超音波影像之後，該計算裝置可被配置以分析所捕捉的超音波影像，例如，該計算裝置可以利用一自動化的影像處理技術來分析所捕捉的超音波影像，以識別該對象的一醫療參數。可以從該超音波影像獲得的該對象的範例的醫療參數係包含：一射血分率、一縮短分率、一心室直徑、一心室容積、一舒張末期容積、一收縮末期容積、一心輸出量、一心搏量、一心室內隔膜厚度、一心室壁厚度、以及一脈搏速率。該計算裝置可以藉由例如識別在該超音波影像中的一解剖的特點(例如，一心室、一心臟瓣膜、一心臟隔膜、一心臟乳突肌、一心房、一大動脈、以及一肺臟)以及分析該識別出的解剖的特點，來識別這些醫療參數。該計算裝置可以利用一自動化的成像處理技術(例如，一深度學習技術)來識別該解剖的特點。例如，該計算裝置可以提供所捕捉的超音波影像至一神經網路，該神經網路係被配置(例如，被訓練)以提供在該超音波影像中的哪些像素是和一特定的解剖的特點相關的一指出來作為一輸出。應該體認到的是，此神經網路可以是與任何被採用來導引該操作者的神經網路分開且不同的。
如同在圖4中所示，所產生的醫療參數可被重疊到所捕捉的超音波影像之上。如圖所示，一計算裝置404可以顯示(經由一整合的顯示器406)一超音波影像408以及一組被重疊到該超音波影像408之上的醫療參數410。該超音波影像408可包含一對象的一PLAX切面，其係包含該對象的一心臟的一切面。在該超音波影像408中，該計算裝置可以將該左心室識別為一解剖的特點402，並且分析該左心室的特徵(例如是被展示為解剖 的特點特徵404的左心室直徑)以識別該些醫療參數410。在圖4中所示的醫療參數410係包括：一38.3毫米(mm)的左心室直徑(LVD)、一38.2mm的左心室收縮末期直徑(LVESD)、一49.5mm的左心室舒張末期直徑(LVEDD)、一23%的縮短分率(FS)、一45%的射血分率(EF)。
應該體認到的是，該計算裝置可以利用超過單一包含該目標解剖的切面的超音波影像來識別該些醫療參數410。在某些實施例中，橫跨至少一完整的心跳的心臟的一連串的超音波影像可被捕捉，以產生該些醫療參數。例如，該些超音波影像可被分析，以判斷哪一個超音波影像是在一心室的收縮末期被捕捉的(其被稱為收縮末期影像)、以及哪一個超音波影像是就在一心室的收縮的開始之前被捕捉的(其被稱為該舒張末期影像)。該收縮末期影像可以藉由例如識別在該連串中具有一最小的心室容積(或直徑)的超音波影像來加以識別。類似地，該舒張末期影像可以藉由例如識別在該連串中具有最大的心室容積(或直徑)的超音波影像來加以識別。該收縮末期影像可被分析以判斷一或多個在該心臟收縮的末期被量測的醫療參數，例如是一收縮末期直徑(ESD)及/或一收縮末期容積(ESV)。類似地，該舒張末期影像可被分析以判斷一或多個就在一心臟收縮的開始之前被量測的醫療參數，例如是一舒張末期直徑(EDD)及/或一舒張末期容積(EDV)。某些醫療參數可能會需要該收縮末期影像以及該舒張末期影像兩者的分析。例如，該EF的識別可能會需要(1)一利用該舒張末期影像所識別的EDV、以及(2)一利用該收縮末期影像所識別的ESV，即如同在以下的方程式(1)中所示：
Figure TW201800057AD00001
 類似地，該FS的識別可能會需要(1)一利用該舒張末期影像所識別的EDD、以及(2)一利用該收縮末期影像所識別的ESD，即如同在以下的方程式(2)中所示：
Figure TW201800057AD00002
在某些實施例中。該計算裝置可以根據該些醫療參數的值來改變該些醫療參數410在該顯示器406中所展示的一色彩。例如，該些醫療參數410可以用一第一色彩(例如，綠色)來加以顯示，以指出該些值是在一正常的範圍之內、用一第二色彩(例如，橙色)以指出該些值是在一邊緣的異常範圍內、以及用一第三色彩(例如，紅色)以指出該些值是在一異常範圍內。
範例的擴增實境介面
本案發明人已經體認到透過一擴增實境介面來提供指令給一操作者可以有利地使得該些指令較容易讓該操作者理解。圖5A係展示一範例的超音波系統，其係被配置以提供該操作者一擴增實境介面。如圖所示，該超音波系統係包括一超音波裝置502，其係經由一通訊鏈路512而通訊地耦接至一計算裝置504。該超音波裝置502、通訊鏈路512、及/或計算裝置504可以是分別類似於(或是相同於)以上參考圖1所述的超音波裝置102、通訊鏈路112、及/或計算裝置104。該超音波系統進一步包括一被設置於該超音波裝置的502的標記510。該標記係有利地容許該計算裝置504能夠更輕易地在藉由一成像裝置506(例如，其係被整合到該計算裝置504中)所捕捉的非聲學的影像中追蹤該超音波裝置的位置。該計算裝置504可以利用該超音波裝置在該非聲學的影像中的被追蹤的位置，以將一或多個元素(例如，指令)重疊到該非聲學的影像之上以形成一擴增實境介面。此種 擴增實境介面可以經由一顯示器508(例如，其係被整合到該計算裝置502中，並且被設置在一相對於該成像裝置506的相反側上)來加以顯示。
應該體認到的是，該計算裝置504並不需要被實施為一手持式裝置。在某些實施例中，該計算裝置504可被實施為一可穿戴的裝置，其係具有一用以顯示指令給一操作者的機構。例如，該計算裝置504可被實施為一可穿戴的頭戴式裝置、及/或一副智慧型眼鏡(例如，GOOGLE GLASS、APPLE AR眼鏡、以及MICROSOFT HOLOLENS)。
圖5B係從一操作者的觀點展示該超音波系統的另一視圖。如圖所示的，在該計算裝置504中的顯示器508係顯示一擴增實境介面，其係包括正被使用在該對象501上的超音波裝置502的一非聲學的影像512(例如，其係藉由該成像裝置506來加以捕捉的)、以及一或多個被重疊到該影像512之上的元素。例如，一指出一方向以供該操作者移動該超音波裝置502的指令516、一指出該目標的解剖平面的一位置的符號、及/或一藉由該超音波裝置502所捕捉的超音波影像514可被重疊到該影像512之上。這些元素例如可被實施為：不透明的元素(以便於遮蔽該影像512在該元素之下的部分)、透明的元素(以便於不遮蔽該影像512在該元素之下的部分)、虛擬著色的元素、及/或切去的元素。
在某些實施例中，該指令516可被重疊到該影像512之上，使得該指令516的至少一部分係在該影像512中被重疊到該超音波裝置502之上。該計算裝置504例如可以使用該標記510以識別該超音波裝置502在該影像512中的一姿勢(例如，一位置及/或朝向)，並且利用該識別出的姿勢來在該擴增實境介面中定位該指令516。該標記510可被建構以具有一或多 個可以輕易地在該影像512中加以辨認的特殊的特徵。範例的標記係包含：單色標記、全像標記、以及色散標記。單色標記可包括一單色圖案，例如是ArUco標記。全像標記可包括一全像圖，其係根據該全像圖被觀看的特定角度而呈現不同的影像。色散標記可包括一色散元件，其係根據該色散元件被觀看的特定角度而呈現不同的色彩。該計算裝置504可以用各種方式的任一種來識別該超音波裝置502的姿勢。在某些實施例中，該計算裝置可以藉由識別該標記510的一位置來識別該超音波裝置502在該影像512中的一位置。該標記510的位置可以藉由搜尋該標記510在該影像512中的一或多個不同的特徵來加以識別。此外(或替代的是)，該計算裝置可以藉由分析該標記510的一或多個特徵來識別該超音波裝置502在該影像512中的一朝向。例如，該標記510可以是一色散標記，並且該計算裝置可以藉由識別該標記510在該影像512中的一色彩，來識別該超音波裝置502在該影像512中的一朝向。在另一例子中，該標記510可以是一全像標記，並且該計算裝置可以藉由識別該標記510在該影像512中所呈現的一影像，來識別該超音波裝置502在該影像512中的一朝向。在又一例子中，該標記510可以是一圖案化的單色標記，並且該計算裝置可以藉由識別在該標記510上的圖案在該影像512中的一朝向，來識別該超音波裝置502在該影像512中的一朝向。
應該體認到的是，該超音波裝置502的姿勢可以在無該標記510下加以識別。例如，該超音波裝置502可具有可以輕易地在該影像512中可識別的特殊的特徵(例如，形狀及/或色彩)。因而，該計算裝置504可以藉由分析該超音波裝置502在該影像510中的一或多個特徵，來識別該超音 波裝置502在該影像510中的姿勢。
在某些實施例中，該超音波裝置502在該影像512中的識別出的姿勢可被採用以將其它與該指令516分開的元素重疊到該影像512之上。例如，該超音波裝置502的識別出的姿勢可被採用以將該超音波影像514重疊在該影像512之上，使得超音波影像514看起來是從該超音波裝置502向外延伸到該對象501中。此種配置可以有利地提供正藉由該超音波裝置502成像的對象的特定部分的一指出給操作者。此種擴增實境介面的一個例子係被展示在圖6中，其係被顯示在一計算裝置604的一顯示器606之上。該擴增實境介面係將該超音波影像610以及一超音波裝置符號608重疊到一正被用來成像該對象601的超音波裝置602的一影像(例如，其係從一在該手持式裝置的計算裝置604中的前置鏡頭所捕捉的)之上。如圖所示，該超音波影像610係被重疊到該對象601的正藉由該超音波裝置602成像的部分之上。尤其，該超音波影像610已經被設置及定向，以便於從該超音波裝置602延伸到該對象601之中。該超音波影像610的此位置及朝向可以指出該對象601的正被成像的特定部分給該操作者。例如，該超音波裝置602可被設置在該對象601的一上軀幹上，並且該超音波影像610可以從該超音波裝置602的一接觸該對象601的末端延伸到該對象601的上軀幹之中。藉此，該操作者可以知悉所捕捉的影像是在對象601的上軀幹中的身體組織的一2D橫截面。
應該體認到的是，額外的(或是較少的)元素可被重疊到正被使用在圖6中的對象601上的超音波裝置602的影像之上。例如，被重疊到該超音波裝置602之上的超音波裝置符號608可被省略。此外(或替代的 是)，該使用者介面可以將指令(例如，擴增實境箭頭)重疊到該對象601上的超音波裝置602的影像之上，以提供指導給該操作者。
範例的診斷應用程式
本案發明人已經體認到超音波成像技術可以有利地和診斷及治療建議組合，以提供一具有智慧型且負擔得起的產品及服務的生態系統，其係大眾化對於醫療成像的利用，並且加速成像成為日常的臨床實務及/或病患監視。此可以藉由容許醫療保健專業人士及/或患者能夠在疾病的較早期狀態做出診斷及治療的決策，並且協助新手的成像使用者(例如，消費者)較早的偵測各種狀況以及監視病患對於治療的反應，而在習知的臨床決策支援(CDS)應用中提供一項進步。
除了其它功能之外，在此所述的技術改良可以藉由一超音波系統來致能聚焦的診斷、早期的狀況偵測及治療。該超音波系統可包括一被配置以捕捉該對象的超音波影像的超音波裝置、以及一和該超音波裝置通訊的計算裝置。該計算裝置可以執行一診斷的應用程式，其係被配置以執行例如以下的功能中的一或多個：(1)獲取有關該對象的醫療資訊、(2)根據該獲取的有關該對象的醫療資訊來識別該對象的一解剖的切面以利用該超音波裝置來成像、(3)導引該操作者以捕捉包含該識別出的解剖的切面的超音波影像、(4)根據所捕捉的超音波影像來提供該對象的一醫療狀況的一診斷(或是預先診斷)、以及(5)根據該診斷來提供一或多個建議的治療。
圖7A-7H係展示用於一診斷的應用程式的一範例的使用者介面，其係被配置以協助一操作者判斷一對象是否正遭受到心臟衰竭。該診斷的應用程式可被設計以被例如是一醫療保健的專業人士，例如一醫 師、一護士、或是一醫師助理所利用。該診斷的應用程式可以藉由例如一計算裝置704來加以執行。該計算裝置704可包括一整合的顯示器706，其係被配置以顯示該診斷的應用程式的一或多個使用者介面畫面。該計算裝置704可以利用一有線或是無線的通訊鏈路來通訊地耦接至一超音波裝置(未顯示)。
圖7A係展示一範例的首頁畫面，其可被顯示在正被執行的診斷的應用程式之上。可被呈現在該首頁畫面上的資訊係包含一應用程式標題702、一應用程式說明703、以及一贊助者(sponsor)區域708。該贊助者區域708可以顯示例如指出任何提供該診斷的應用程式的贊助實體的名稱、符號、或是標誌的資訊。在一心臟衰竭診斷的應用程式的情形中，一對於治療此種狀況提供一或多個藥物或是療法的藥品製造商可能會贊助該應用程式。該首頁畫面可以進一步包含一選擇區域，其係容許該操作者能夠在該診斷的應用程式之內執行各種的功能，例如：和該對象排程一後續的檢查、利用更多的醫療資源、或是開始一新的診斷。
該計算裝置704可以響應於在圖7A所示的首頁畫面中的選擇區域710內的"開始新的診斷"按鈕被啟動，從該首頁畫面轉變至一在圖7B中所示的臨床Q&A畫面。該臨床Q&A畫面可以提出一或多個臨床的問題712給該操作者。對於一心臟衰竭診斷應用程式而言，一被提出給該操作者之適當的臨床的問題712可以是："病患正遭遇到陣發性夜間呼吸困難？"。陣發性夜間呼吸困難可能是大致發生在夜間的嚴重的呼吸急促及咳嗽的發病。此種發病可能是鬱血性心臟衰竭的一症狀。該診斷的應用程式可以在該回應區域714中接收該臨床的問題的一回答。如同亦將會從圖7B注 意到的是，該贊助者區域708可以繼續在該診斷的應用程式中被提供。該贊助者區域708可包括一連結，以退出該診斷的應用程式而到該贊助者所管理的一位置。
該計算裝置704可以響應於在回應區域714中的"是"按鈕被啟動，以從該臨床Q&A畫面轉變至一檢查畫面。該檢查畫面可以提出一或多個檢查問題718給該操作者。對於一心臟衰竭診斷的應用程式而言，該檢查問題718可以是判斷待被診斷的對象的一目前的心跳速率。該診斷的應用程式可以透過該回應區域720來接收一回應。例如，該操作者可以在該回應區域720中指出該對象的心跳速率是低於一第一值(例如，小於每分鐘91拍(bpm))、在一介於該第一值以及一第二值之間的範圍內(例如，介於91到110bpm之間)、或是高於該第二值(例如，超過110bpm)。
一旦該計算裝置704已經接收到對於該檢查問題718的一回應之後，該計算裝置704可以從在圖7C中所示的檢查畫面轉變至在圖7D中所示的一超音波影像獲取畫面。該超音波影像獲取畫面可以呈現一成像指令722給該操作者。對於一心臟衰竭診斷的應用程式而言，該成像指令722可以指示該操作者開始該對象的一受協助的射血分率(EF)量測。EF可以是一心室每一次收縮所打出的血液有多少的一項量測。該EF可以藉由例如分析該對象的一心臟的一或多個超音波影像來加以計算而被識別出。該計算裝置704可以響應於在選擇區域724中的"開始量測"按鈕被啟動，來開始一受協助的EF量測過程。
該計算裝置702可以響應於在該選擇區域724中的"開始量測"按鈕被啟動，以和一超音波裝置通訊來捕捉超音波影像。該計算裝置702 亦可以從在圖7D中所示的影像獲取畫面轉變至在圖7E中所示的一影像獲取協助畫面。該影像獲取協助畫面可以顯示一利用該超音波裝置所捕捉的超音波影像726。在某些實施例中，該影像獲取協助畫面可以顯示一或多個指令，其係有關如何將該超音波裝置重新定位以獲得一包含該目標解剖的切面(例如，一PLAX切面)的超音波影像。一旦該超音波裝置已經適當地被定位之後，該影像獲取協助畫面可以顯示該超音波裝置係適當地被定位的一指出。當一適當的(臨床相關的)影像被獲得時，該操作者可以經由該"確認"按鈕來確認該獲取。
一旦該些超音波影像已經被該操作者確認之後，該計算裝置704可以從在圖7E中所示的影像獲取協助畫面轉變至在圖7F中所示的一診斷的結果畫面。該診斷的結果畫面可以顯示從分析所捕捉的超音波影像730而被判斷出的診斷的結果728、732。如圖所示，該診斷的結果畫面可能顯示該對象的一30%的EF、以及一相關的第IV級的紐約心臟學會(NYHA)分類。此分類系統係利用從第I級到第IV級的四個種類的心臟衰竭，其中第IV級是最嚴重的。
該計算裝置704可以響應於在選擇區域734中的"檢視可能的治療"按鈕被啟動，以從在圖7F中所示的診斷的結果畫面轉變至在圖7G及7H中所示的治療畫面中的一或多個。在圖7G中所示的治療畫面可以顯示有關一正被提供給該對象的目前的治療的一治療問題736、以及例如是根據以下的任一個所判斷出的建議的治療738：(1)一對於該治療問題736的回應、(2)診斷的結果、(3)所捕捉的超音波影像、(4)一對於該身體檢查問題的回應、及/或(5)一對於該臨床的問題的回應。在圖7H中所示的治療畫面可 以是在圖7G中的治療畫面的一延伸。例如，一操作者可以藉由從在圖7G中所示的治療畫面向下捲動，來利用在圖7H中的治療畫面。在圖7H中的治療畫面可以顯示一治療選擇740，其中一操作者可以選擇其想要提供給該對象哪一種治療。如圖所示，該治療選擇740可以容許一操作者能夠在一或多種藥物之間進行挑選以治療心臟衰竭，例如是血管緊張素轉化酶(angiotensin-converting-enzyme)抑製劑(ACE抑製劑)、血管緊張素受體拮抗劑(angiotensin receptor blocker)(ARB)、或是其它替代物。該診斷的應用程式接著可以根據所選的治療來顯示一或多個外部的連結742，以提供更多有關該治療的資訊給該操作者。
應該體認到的是，在圖7A-7H中所示的診斷的應用程式只是一範例實施方式而已，並且其它診斷的應用程式可以針對於其它與鬱血性心臟衰竭分開及額外的狀況來加以產生。再者，診斷的應用程式可被產生以供一在家的對象(而不是一醫師)來使用。例如，一醫師可以發出一被配置以供一對象在家中的使用之超音波裝置，以利用該超音波裝置來監視該對象的一狀況。一診斷的應用程式亦可被提供給該對象，以和該超音波裝置一起來利用。此種診斷的應用程式可被安裝在該對象的一個人行動智慧型手機或是平板電腦之上。該診斷的應用程式可被配置以協助該對象來操作該超音波裝置，並且儲存(及/或上載)所捕捉的超音波影像以藉由醫師來分析。藉此，該醫師可以是能夠遠端地監視該對象的一狀況，而不使得該對象維持在住院治療。
圖8A-8D係展示用於此種診斷的應用程式的一範例的使用者介面，其係被設計以供一處於在家環境中的對象使用。該診斷的應用程 式可被組態設定以在一在家的設定中協助一操作者(例如，該對象)使用一超音波裝置來捕捉超音波影像。該診斷的應用程式例如可以藉由一計算裝置804(例如，該對象的一行動智慧型手機或是一平板電腦)來加以執行。該計算裝置804可包括一整合的顯示器806，其係被配置以顯示該診斷的應用程式的一或多個使用者介面畫面。該計算裝置804可以利用一有線或是無線的通訊鏈路來通訊地耦接至一超音波裝置(未顯示)。該計算裝置亦可包括一成像裝置805(例如，一相機)，其係被配置以捕捉非聲學的影像。該成像裝置805可被設置在和該顯示器806相同的一側上，以容許該操作者能夠在觀看一或多個顯示在該顯示器806之上的指令時，同時捕捉手持一超音波裝置的自身的影像。
圖8A係展示一範例的首頁畫面，其可被顯示於正在執行的診斷的應用程式之上。該首頁畫面係包含一訊息808給該操作者，以指示該操作者來掃描一和該超音波裝置相關的快速響應(QR)碼。該QR碼例如可以被設置在該超音波裝置本身上，且/或被設置在一和該超音波裝置相關的封裝上。該首頁畫面亦可以顯示藉由一成像裝置(例如，其係被整合到該計算裝置804中並且被設置在一與該顯示器806相對的側上)所捕捉的影像。該首頁畫面可以在所捕捉的影像中展示一掃描區域810，以描繪一使用者應該將該QR碼置放在該成像裝置的視野中的何處，以使得該QR碼被讀取。
一旦該計算裝置804讀取該QR碼之後，該計算裝置804可以從在圖8A中所示的首頁畫面轉變至在圖8B中所示的一對象資訊畫面。該對象資訊畫面可包含藉由該計算裝置804利用所掃描的QR碼獲取的對象資訊810的一顯示畫面。例如，該計算裝置804可以已經採用所掃描的QR 碼，來在一遠端的伺服器中存取該對象的醫療記錄。一旦該操作者已經確認該對象資訊810是正確的，該操作者可以啟動在該選擇區域812中的確認按鈕。
應該體認到的是，與QR碼分開的其它類型的條碼亦可被採用。其它範例的條碼係包含：MaxiCode條碼、Codabar條碼、以及Aztec條碼。
該計算裝置804可以響應於在該選擇區域812中的"確認"按鈕被啟動，以從在圖8B中所示的對象資訊畫面轉變至在圖8C中所示的影像獲取畫面。如圖所示，該影像獲取畫面係包含一給該操作者的訊息814以施加凝膠至該超音波裝置、以及包含一開始按鈕的一選擇區域816以供該操作者開始超音波影像的獲取。
該計算裝置804可以響應於在該選擇區域816中的"開始"按鈕被啟動，從在圖8C中所示的影像獲取畫面轉變至在圖8D中所示的影像獲取協助畫面。如圖所示，該影像獲取協助畫面可包含手持一超音波裝置820的一對象818的一非聲學的影像(例如，其係藉由該成像裝置805所捕捉的)。一指令822可被重疊在所捕捉的非聲學的影像之上，以導引該操作者(例如，該對象)來捕捉一包含一目標解剖的切面的超音波影像。一旦該計算裝置804已經捕捉包含該目標解剖的切面的該超音波影像之後，該計算裝置804可以本地儲存所捕捉的超音波影像以供醫師之後的擷取，且/或上載該影像至一外部的伺服器以被加入到一組和該對象相關的醫療記錄內。該計算裝置804可以進一步顯示該超音波影像係成功地被捕捉的一確認給該操作者。
範例的過程
圖9是展示一用於導引一超音波裝置的一操作者以捕捉一包含一目標解剖的切面的超音波影像之範例的過程900。該過程900可以藉由例如是在一超音波系統中的一計算裝置來加以執行。如圖所示，該過程900係包括一獲得一超音波影像的動作902、一判斷該超音波影像是否包含該目標解剖的切面的動作904、一產生一指導計畫的動作906、一提供指令以將該超音波裝置重新定位的動作908、以及一提供適當的定位的一指出的動作910。
在動作902中，該計算裝置可以獲得該對象的一超音波影像。該計算裝置可以藉由和一通訊地耦接至該計算裝置的超音波裝置通訊，來獲得該超音波影像。例如，該計算裝置可以傳送一指令至該超音波裝置以產生超音波資料，並且傳送該超音波資料至該計算裝置。該計算裝置於是可以利用該接收到的超音波資料以產生該超音波影像。此外(或替代的是)，該超音波影像可以藉由該超音波裝置來加以產生，並且該計算裝置可以從該超音波裝置擷取該超音波影像。
在動作904中，該計算裝置可以判斷該超音波影像是否包含該目標解剖的切面。若該計算裝置係判斷該超音波影像包含該目標解剖的切面，則該計算裝置可以進行動作910並且提供適當的定位的一指出。否則，該系統可以前進到動作906以產生一指導計畫給該操作者，以移動該超音波裝置。
在某些實施例中，該計算裝置可以利用一自動化的影像處理技術(例如是一深度學習技術)，以判斷該超音波影像是否包含該目標解剖的 切面。例如，該超音波影像可被提供為一神經網路的輸入，該神經網路係被訓練以識別一內含在該超音波影像中的解剖的切面。此種神經網路的輸出可以是內含在該超音波影像中的特定的解剖的切面的一指出。在此例子中，該識別出的解剖的切面可以和該目標解剖的切面相比較，以判斷它們是否相符。若該識別出的解剖的切面以及該目標解剖的切面相符，則該計算裝置可以判斷該超音波影像係包含該目標解剖的切面。否則，該計算裝置可以判斷該超音波影像並不包含該解剖的切面。在另一例子中，該神經網路可被配置以根據一輸入的超音波影像，來直接提供一指令的一指出給該操作者。藉此，該神經網路可以提供作為一輸出，其係為該超音波裝置被適當地定位的一確認、或是在一特定的方向上移動該超音波裝置的一指令。在此例子中，該計算裝置可以響應於該神經網路提供一確認以作為一輸出，來判斷該超音波影像係包含該目標解剖的切面。否則，該計算裝置可以判斷該超音波影像並不包含該解剖的切面。
在動作906中，該計算裝置可以產生一指導計畫，其係有關如何導引該操作者以移動該超音波裝置。在某些實施例中，該指導計畫可包括一導引路徑，而該操作者應該沿著該導引路徑以從一最初的位置移動該超音波裝置到其中可以捕捉一包含該目標解剖的切面的超音波影像的一目標位置。在這些實施例中，該計算裝置可以至少部分藉由以下來識別該超音波裝置在該對象上的最初的位置：識別一內含在該超音波影像中的解剖的切面(例如，利用深度學習技術)、以及映射該識別出的解剖的切面至一在該對象上的位置。該目標位置例如可以藉由映射該目標解剖的切面至一在該對象上的位置來加以識別。一旦該最初的位置以及目標位置已經被識 別之後，該計算裝置可以識別一在該最初的位置以及目標位置之間的導引路徑，該超音波裝置應該沿著該導引路徑來移動。該導引路徑可包括一連串的方向(例如，平移的方向或是旋轉的方向)，以供該超音波裝置沿著其行進來到達該目標位置。該產生的導引路徑可能不是在該超音波裝置的最初的位置與該超音波裝置的目標位置之間最短的路徑。例如，該產生的路徑可以避免利用對角線移動，因為要適當地傳達對角線移動給該操作者可能是具有挑戰性的。或者是(或額外的是)，該產生的路徑可以避開該對象的某些區域，例如是包括硬組織的區域。一旦在該超音波裝置的最初的位置與目標位置之間的導引路徑已經被決定之後，該計算裝置可以產生一連串的一或多個指令以提供給該操作者，來指示該操作者以沿著該導引路徑移動該超音波裝置。
在動作908中，該計算裝置可以提供一指令給該操作者以將該超音波裝置重新定位。該指令例如可以是透過一揚聲器播放的一可聽見的指令、利用一顯示器顯示的一視覺的指令、及/或利用一振動裝置(例如，其係被整合到該計算裝置及/或該超音波裝置中)所提供的一觸覺的指令。該指令例如可以是根據在動作906中所產生的指導計畫中的該連串的指令來加以提供。例如，該計算裝置可以從該連串的指令識別單一指令，並且提供該識別出的指令。應該體認到的是，該指令並不需要源自於一指導計畫。例如，如上所論述的，一神經網路可被配置以根據一接收到的超音波影像來直接輸出一指令。在此例子中，該輸出指令可以直接加以提供，因而產生一指導計畫的動作906可被省略。
一旦該計算裝置已經提供用以將該超音波裝置重新定位的 指令之後，該計算裝置可以重複動作902、904、906及/或908中的一或多個，以提供該操作者額外的指令。
在動作910中，該計算裝置可以提供適當的定位的一指出。例如，該計算裝置可以提供透過一揚聲器播放的一可聽見的確認、利用一顯示器顯示的一視覺的確認、或是透過一振動裝置所提供的一觸覺的確認。
圖10係展示一用於針對一操作者提供一擴增實境介面之範例的過程1000。該擴增實境介面可包含一包含一超音波裝置的真實世界的環境的一非聲學的影像、以及一或多個被重疊到該非聲學的影像之上的元素(例如是指令)。該過程1000可以藉由例如在一超音波系統中的一計算裝置來加以執行。如同在圖10中所示，該過程1000係包括一獲得一超音波裝置的一影像的動作1002、一產生一合成的影像的動作1003、以及一呈現該合成的影像的動作1008。產生該合成的影像的動作1003可包括一識別一超音波裝置在該影像中的一姿勢的動作1004、以及一利用該識別出的姿勢以將該指令重疊到該影像之上的動作1006。
在動作1002中，該計算裝置可以捕捉該超音波裝置的一影像(例如，一非聲學的影像)。該非聲學的影像可以藉由被整合到該計算裝置中的一成像裝置(例如，一相機)來加以捕捉。例如，當該操作者也是該對象時，該非聲學的影像可以利用一行動智慧型手機的一前置鏡頭(例如，在和該顯示器同一側上)來加以捕捉。在另一例子中，當該操作者是一和該對象不同的人(或是人群)時，該非聲學的影像可以利用一行動智慧型手機的一後置鏡頭(例如，在和該顯示器相反側上)來加以捕捉。
在動作1003中，該計算可以產生該合成的影像。該合成的 影像可包括在動作1002中所捕捉的非聲學的影像、以及一或多個被重疊到該非聲學的影像之上的元素。該一或多個被重疊到該非聲學的影像之上的元素例如可以是一或多個指令，其係被設計以提供有關如何將該超音波裝置重新定位以獲得一包含一目標解剖的切面的超音波影像的反饋給該操作者。該計算裝置可以用各種方式的任一種來產生該合成的影像。在某些實施例中，該計算裝置可被配置以藉由執行動作1004及1006來產生該合成的影像。
在動作1004中，該計算裝置可以識別該超音波裝置在該非聲學的影像中的一姿勢(例如，位置及/或朝向)。該計算裝置可以利用一自動化的影像處理技術(例如，一深度學習技術)，來識別該超音波裝置在所捕捉的影像中的姿勢。例如，該非聲學的影像可被提供為一神經網路的一輸入，該神經網路係被配置以識別在該非聲學的影像中的哪些像素是和該超音波裝置相關的。在此例子中，該計算裝置可以利用所識別出的像素以判斷該超音波裝置在該非聲波影像中的一位置。在某些實施例中，該超音波裝置可以具有一被設置於其上的標記，該標記是在該影像中可見的，以使得該超音波裝置在該非聲波影像中的識別變得容易。該標記可以具有一不同的形狀、色彩、及/或影像，其係容易利用一自動化的影像處理技術來辨認的。額外的資訊亦可以結合(或取代)從該非聲學的影像所抽取出的資訊，而被採用以識別該超音波裝置的姿勢。例如，該超音波裝置可包括一或多個被配置以偵測運動的感測器(例如，加速度計、陀螺儀、羅盤、及/或慣性的量測單元)。在此例子中，來自這些在該超音波裝置中的感測器的運動資訊可被採用來判斷該超音波裝置的姿勢。在另一例子中，該超音波裝置(例如，超 音波裝置502)以及一連接至該超音波裝置的計算裝置(例如，計算裝置504)可包括被配置以偵測運動的感測器。在此例子中，來自在該超音波裝置以及該計算裝置兩者中的感測器的運動資訊可以一起被利用，以識別該超音波裝置相對於該計算裝置的姿勢，並且藉此識別該超音波裝置在所捕捉的非聲學的影像中的姿勢。
在動作1006中，該計算裝置可以利用該識別出的姿勢以將一指令重疊到該非聲學的影像之上，以形成一擴增實境介面。例如，該計算裝置可以將一有關如何移動該超音波裝置的指令(例如，一方向性箭頭)重疊到該非聲學的影像之上，以便於靠近且/或部分地重疊該超音波裝置。此外(或替代的是)，該姿勢可被採用以定位在該擴增實境介面中的其它元素。例如，該超音波裝置的姿勢可被採用以在該擴增實境介面中定位一超音波影像。在此例子中，該超音波影像可被定位在該擴增實境介面中，以便於在該非聲學的影像中看似從該超音波裝置延伸到該對象中。藉此，該操作者可以對於該對象的正利用該超音波裝置來成像的特定部分獲得一體認。
在動作1008中，該計算裝置可以呈現一合成的影像給該操作者。例如，該計算裝置可以利用一被整合到該計算裝置中的顯示器來呈現該合成的影像給該操作者。替代的是(或額外的是)，該計算裝置可以發送該合成的影像至另一裝置(例如，用以被呈現在該另一裝置的一顯示器上)。
圖11係展示一用於利用一被設置於一超音波裝置上的標記以追蹤該超音波裝置在非聲學的影像中的位置之範例的過程1100。該過程1100可以藉由例如在一超音波系統中的一計算裝置來加以執行。如圖所 示，該過程1100係包括一獲得一被設置在一超音波裝置上的標記的一影像的動作1102、一識別該超音波裝置的一姿勢的動作1103、以及一利用該識別出的姿勢來呈現一指令的動作1108。識別該超音波裝置的姿勢的動作1103可包括一識別該標記在該影像中的位置的動作1104、以及一分析該標記的一特徵的動作1106。
在動作1102中，該計算裝置可以捕捉在該超音波裝置上的標記的一非聲學的影像。該非聲學的影像可以藉由一被整合到該計算裝置中的成像裝置(例如，一相機)來加以捕捉。例如，當該操作者也是該對象時，該非聲學的影像可以利用一行動智慧型手機的一前置鏡頭(例如，在和該顯示器同一側上)來加以捕捉。在另一例子中，當該操作者是一和該對象不同的人(或是人群)時，該非聲學的影像可以利用一行動智慧型手機的一後置鏡頭(例如，在和該顯示器相反側上)來加以捕捉。
在動作1103中，該計算裝置可以利用該標記來識別該超音波裝置在所捕捉的影像中的一姿勢(例如，一位置及/或朝向)。該計算裝置可以用各種方式的任一種來識別該超音波裝置在所捕捉的影像中的姿勢。在某些實施例中，該計算裝置可以藉由執行動作1104及1106來識別該超音波裝置在該非聲學的影像中的姿勢。
在動作1104中，該計算裝置可以識別該標記在該非聲學的影像中的一位置。該計算裝置可以利用該標記的識別出的位置，以識別該標記被設置在其上的超音波裝置的一位置。該標記的位置例如可以藉由利用一自動化的影像處理技術來在該影像中找出該標記的一或多個特點特徵(例如是一形狀、色彩、及/或影像)來加以判斷出。
在動作1106中，該計算裝置可以分析該標記的一特徵。該計算裝置可以分析該標記的一特徵，以例如是判斷該超音波裝置在所捕捉的影像中的一朝向。該計算裝置利用該標記的特徵來判斷該朝向所用的特定方式例如可以依據被採用的特定標記而定。在一例子中，該標記可以是一包括一圖案的單色標記。在此例子中，該圖案可被分析以便於判斷該圖案的朝向，並且藉此判斷該超音波裝置在該非聲學的影像中的一朝向。在另一例子中，該標記可以是一色散標記，其係被配置以根據觀看角度來呈現不同的色彩。在此例子中，該計算裝置可以識別該標記在該非聲學的影像中的一色彩，並且利用該識別出的色彩以判斷該標記的一朝向，並且藉此判斷該超音波裝置的一朝向。在又一例子中，該標記可以是一全像標記，其係被配置以根據觀看角度來呈現不同的影像。在此例子中，該計算裝置可以識別該全像標記所呈現的一影像，並且利用該識別出的影像以判斷該標記的一朝向，並且藉此判斷該超音波裝置的一朝向。
在動作1108中，該計算裝置可以利用該識別出的姿勢來呈現一指令。在某些實施例中，該計算裝置可以利用該識別出的姿勢，以將該指令重疊到在動作1102中獲得的非聲學的影像之上，以形成用於一擴增實境介面的一合成的影像。例如，該計算裝置可以將一有關如何移動該超音波裝置的指令(例如，一方向性箭頭)重疊到該非聲學的影像之上，以便於靠近及/或部分地重疊該超音波裝置。此外(或替代的是)，該姿勢可被採用以定位在該擴增實境介面中的其它元素。例如，該超音波裝置的姿勢可被採用以在該擴增實境介面中定位一超音波影像。在此例子中，該超音波影像可被定位在該擴增實境介面中，以便於在該非聲學的影像中看似從該超音 波裝置延伸到該對象中。藉此，該操作者可以對於該對象的正利用該超音波裝置來成像的特定部分獲得一體認。
圖12係展示一用於分析所捕捉的超音波影像以識別該對象的一醫療參數之範例的過程1200。該過程1200例如可以藉由在一超音波系統中的一計算裝置來加以執行。如圖所示，該過程1200係包括一獲得一超音波影像的動作1202、一識別在該超音波影像中的一解剖的特點的動作1204、以及一利用該識別出的解剖的特點來識別一醫療參數的動作1206。
在動作1202中，該計算裝置可以獲得該對象的一超音波影像。該計算裝置可以藉由和一通訊地耦接至該計算裝置的超音波裝置通訊來獲得該超音波影像。例如，該計算裝置可以傳送一指令至該超音波裝置以產生超音波資料，並且傳送該超音波資料至該計算裝置。該計算裝置於是可以利用該接收到的超音波資料以產生該超音波影像。
在動作1204中，該計算裝置可以識別在該超音波影像中的一解剖的特點。例如，該計算裝置可以識別一心室、一心臟瓣膜、一心臟隔膜、一心臟乳突肌、一心房、一大動脈、或是一肺臟，以作為在該超音波影像中的一解剖的特點。該計算裝置可以利用一自動化的影像處理技術(例如，一深度學習技術)來識別該解剖的特點。例如，該計算裝置可以提供該超音波影像作為一神經網路的一輸入，該神經網路係被配置(例如，被訓練)以提供在該超音波影像中的哪些像素是和一解剖的特點相關的一指出作為一輸出。應該體認到的是，此神經網路可以是與任何被採用來導引一操作者獲得一包含一目標解剖的切面的超音波影像的神經網路(例如是那些在上述的過程900中所採用者)分開且不同的。
在動作1206中，該計算裝置可以利用該識別出的解剖的特點來識別一醫療參數。例如，該計算裝置可以判斷該對象的一射血分率、一縮短分率、一心室直徑、一心室容積、一舒張末期容積、一收縮末期容積、一心輸出量、一心搏量、一心室內隔膜厚度、一心室壁厚度、或是一脈搏速率。在某些實施例中，該計算裝置可以藉由分析該識別出的解剖的特點的一或多個特徵，來識別該些醫療參數。例如，該計算裝置可以識別在該超音波影像中的一心室，並且該心室的尺寸可以從該超音波影像被抽取出以判斷一心室容積及/或一心室直徑。應該體認到的是，該計算裝置可以分析超過單一個超音波影像以識別該醫療參數。例如，該計算裝置可以識別在複數個超音波影像的每一個中的一心室容積，並且選擇一最低的心室容積作為該收縮末期體積，而且選擇最高的心室容積作為該舒張末期容積。再者，該收縮末期以及舒張末期容積可被採用以判斷另一醫療參數，例如是一EF。
圖13係展示一用於產生一對象的一醫療狀況的一診斷之範例的過程1300。該過程1300例如可以藉由在一超音波系統中的一計算裝置來加以執行。如圖所示，該過程1300係包括一接收有關該對象的醫療資訊的動作1302、一識別一目標解剖的切面的動作1304、一獲得一包含該目標解剖的切面的超音波影像的動作1306、一產生一對象的一醫療狀況的一診斷的動作1308、以及一對於該對象產生建議的治療的動作1310。
在動作1302中，該計算裝置可以接收有關該對象的醫療資訊。可以接收到的範例的有關該對象的醫療資訊係包含：一心跳速率、一血壓、一體表面積、一年齡、一體重、一身高、以及該對象正服用的一藥 物。該計算裝置可以藉由例如提出一或多個問題給一操作者並且接收一回應，來接收該醫療資訊。此外(或替代的是)，該計算裝置可以和一外部的系統通訊以獲得該醫療資訊。例如，該操作者可以利用該計算裝置來掃描在該超音波裝置上的一條碼(例如，一QR碼)，並且該計算裝置可以利用從該條碼獲得的資訊以在一遠端的伺服器上存取和該對象相關的醫療記錄。
在動作1304中，該計算裝置可以根據該接收到的醫療資訊來識別一目標解剖的切面。該計算裝置可以分析該接收到的醫療資訊，以識別一或多個可能異常地運作的器官。接著，該計算裝置可以識別一包含該識別出的一或多個器官的解剖的切面。例如，有關該對象的該醫療資訊可能指出該對象的心臟正異常地運作(例如，該病患係有鬱血性心臟衰竭的症狀)，因而識別一PLAX切面以作為該解剖的切面來成像。
在動作1306中，該計算裝置可以獲得一包含該目標解剖的切面的超音波影像。例如，該計算裝置可以從該病患的一電子健康記錄擷取該對象的一包含該目標解剖的切面的超音波影像。或者是(或額外的是)，該計算裝置可以導引該操作者來獲得一包含該目標解剖的切面的超音波影像。例如，該計算裝置可以發出一或多個指令，其係有關該操作者應該如何將該超音波裝置定位在該對象上，以獲得一包含該目標解剖的切面的超音波影像。該計算裝置可以用各種方式的任一種來產生及/或提供這些指令。例如，該計算裝置可以執行一類似於(或是相同於)上述的過程900的過程。
在動作1308中，該計算裝置可以利用包含該目標解剖的切面的該超音波影像，來產生該對象的一醫療狀況的一診斷。在某些實施例 中，該計算裝置可以分析包含該目標解剖的切面的該超音波影像，以識別一或多個醫療參數(例如，該對象的一EF)並且利用該識別出的一或多個醫療參數(單獨、或是結合例如是該對象的醫療資訊的其它資訊)以產生該診斷。在這些實施例中，該計算裝置可以執行在過程1200中的一或多個動作，以識別該對象的一醫療參數。例如，該計算裝置可以藉由執行動作1202、1204及/或1206來判斷該對象的一射血分率，並且比較所產生的射血分率值與一臨界值以判斷該對象是否可能正遭受到鬱血性心臟衰竭。該計算裝置可以結合有關該些醫療參數的資訊以及其它資訊(例如，有關在動作1302中接收到的該對象的醫療資訊)，來診斷該對象的一醫療狀況。例如，該計算裝置可以響應於該計算裝置判斷該對象的射血分率係低於一臨界值並且該對象已經報告出鬱血性心臟衰竭的症狀(例如是遭受到陣發性夜間呼吸困難)，而診斷出一病患帶有鬱血性心臟衰竭。應該體認到的是，該計算裝置可被配置以診斷各種醫療狀況的任一種，例如：心臟狀況(例如，鬱血性心臟衰竭、冠狀動脈疾病、以及先天性心臟病)、肺臟狀況(例如，肺臟癌)、腎臟狀況(例如，腎結石)、及/或關節狀況(例如，關節炎)。
在動作1310中，該計算裝置可以針對於該對象產生一或多個建議的治療。該計算裝置可以根據該對象的診斷來產生該一或多個建議的治療。範例的建議的治療係包含：一在飲食上的改變、一在日常的運動上的改變、一藥品、一生物製品(例如，疫苗、基因治療、細胞治療)、放射線治療、化學療法、以及外科手術。例如，該對象可能被診斷有鬱血性心臟衰竭，因而該計算裝置係產生以下的一建議的治療：血管緊張素轉化酶抑製劑(ACE抑製劑)、血管緊張素受體拮抗劑(ARB)、或是其它替代物。
應該體認到的是，該計算裝置可以利用除了該診斷之外的資訊以產生該建議的治療，例如是該對象的醫療資訊及/或一或多個從該超音波影像抽取出的醫療參數。例如，該對象的醫療資訊可能指出該對象是一吸菸者，因而當該對象被診斷有鬱血性心臟衰竭時，該計算裝置可包含一戒菸的建議的治療。在另一例子中，該對象的醫療資訊可能包含該對象的一或多種藥物過敏，因而該計算裝置可以不建議任何牽涉到該對象會過敏的一藥物的給藥的治療。在又一例子中，該對象的醫療資訊可包含該對象所服用的一或多種藥物，因而該計算裝置可以不建議任何將會與已經由該對象所服用的藥物中的一或多種不利地交互作用的治療。
各種本發明的概念都可以被體現為一或多個過程，其之例子已經加以提供。被執行作為每一個過程的部分的動作可以用任何適當的方式來加以排序。因此，其中動作係以一不同於所描繪的順序來執行的實施例可被建構，其可包含同時執行某些動作，即使其在舉例說明的實施例中被展示為依序的動作。再者，該些過程中的一或多個可加以組合。例如，根據有關該對象的醫療資訊來識別一解剖的切面來成像的過程1300可以和用於分析所捕捉的超音波影像以識別該對象的一醫療參數的過程1200加以組合。藉此，該計算裝置可以(1)識別一解剖的切面來成像、(2)導引該操作者以捕捉一包含該解剖的切面的超音波影像、以及(3)分析所捕捉的超音波影像以識別該對象的醫療參數。在此例子中，該超音波裝置可以建議根據該些識別出的醫療參數及/或有關該對象的醫療資訊，額外做出一或多個治療。
範例的深度學習技術
在此所述的技術的特點係有關於自動化的影像處理技術以分析影像(例如是超音波影像以及非聲學的影像)的應用。在某些實施例中，該些自動化的影像處理技術可包括例如是深度學習技術的機器學習技術。機器學習技術可包括尋求識別在一組資料點中的模式並且利用該識別出的模式以對於新的資料點做出預測之技術。這些機器學習技術可以牽涉到利用一訓練資料集來訓練(及/或建立)一模型，以做出此種預測。該訓練好的模型可被使用作為例如一分類器，其係被配置以接收一資料點作為一輸入，並且提供該資料點可能隸屬於的一類別的一指出以作為一輸出。
深度學習技術可包含那些利用神經網路以做出預測的機器學習技術。神經網路通常包括一集合的神經單元(被稱為神經元)，其分別可被配置以接收一或多個輸入並且提供一輸出，該輸出是該輸入的一函數。例如，該神經元可以加總該些輸入，並且施加一轉換函數(有時被稱為一"激活函數")至該些經加總的輸入以產生該輸出。該神經元可以施加一權重至每一個輸入，以例如是高於其它輸入地加權某些輸入。可被採用的範例的轉換函數係包含步階函數、分段線性函數、以及sigmoid函數。這些神經元可被組織成為複數個序列層，其分別包括一或多個神經元。該複數個序列層可包含一接收用於該神經網路的輸入資料的輸入層、一提供該神經網路的輸出資料的輸出層、以及一或多個連接在該輸入層與輸出層之間的隱藏層。在一隱藏層中的每一個神經元都可以從一先前的層(例如該輸入層)中的一或多個神經元接收輸入，並且提供一輸出至一後續的層(例如一輸出層)中的一或多個神經元。
一神經網路例如可以利用標記的訓練資料來加以訓練。該標 記的訓練資料可包括一組範例的輸入、以及和每一個輸入相關的一答案。例如，該訓練資料可包括複數個超音波影像，其係分別被標記有一內含在該個別的超音波影像中的解剖的切面。在此例子中，該些超音波影像可被提供至該神經網路以獲得輸出，該些輸出可以和該些超音波影像的每一個相關的標記相比較。該神經網路的一或多個特徵(例如，在不同的層中的神經元之間的互連線(被稱為邊緣)及/或和該些邊緣相關的權重)可被調整，直到該神經網路正確地分類大多數的(或是全部的)輸入影像為止。
在某些實施例中，該標記的訓練資料可包括獲得並不需要全都是"標準的"或"良好的"具有一解剖的結構之影像的樣本病患影像。例如，對於訓練目的而言，該些樣本病患影像中的一或多個可以是"非理想的"。這些樣本病患影像的每一個可以藉由一經訓練的臨床醫生來加以評估。該經訓練的臨床醫生可以將一性質上的標記加到該些樣本病患影像的每一個。在一PLAX影像的特定例子中，該臨床醫生可以判斷該給定的影像是"正常的"(亦即，其係描繪該結構的一良好的用於分析目的之切面)。在替代的情形中，若該影像不是理想的，則該臨床醫生可以提供一特定的標記給該影像，其係描述該影像的問題。例如，該影像可能代表因為該超音波裝置在該病患上"過於逆時針的"、或可能是"過於順時針的"被定向所取得的一影像。任意數量的特定錯誤都可被指定到一樣本給定的影像。
一旦該訓練資料已經被產生後，該訓練資料可被載入到一資料庫(例如，一影像資料庫)，並且被用來利用深度學習技術以訓練一神經網路。一旦該神經網路已經訓練好之後，該訓練好的神經網路可被配置到一或多個計算裝置。應該體認到的是，該神經網路可以利用任意數量的樣本 病患影像來加以訓練。例如，一神經網路可以利用少到7個左右的樣本病患影像來加以訓練，儘管將會體認到的是，越多樣本影像被利用，則該訓練好的模型資料可以是越強健的。
捲積神經網路
在某些應用中，一神經網路可以利用一或多個捲積層來加以實施，以形成一捲積神經網路。一範例的捲積神經網路係被展示在圖14中，其係被配置以分析一影像1402。如圖所示的，該捲積神經網路係包括一用以接收該影像1402的輸入層1404、一用以提供該輸出的輸出層1408、以及複數個連接在該輸入層1404以及該輸出層1408之間的隱藏層1406。該複數個隱藏層1406係包括捲積及池化層1410以及稠密層1412。
該輸入層1404可以接收該捲積神經網路的輸入。如同在圖14中所示，該捲積神經網路的輸入可以是該影像1402。該影像1402例如可以是一超音波影像或是一非聲學的影像。
接在該輸入層1404之後的可以是一或多個捲積及池化層1410。一捲積層可包括一組濾波器，相較於該捲積層的輸入(例如，該影像1402)，其係在空間上較小的(例如，其係具有一較小的寬度及/或高度)。該些濾波器的每一個都可以和該捲積層的輸入進行捲積以產生一激活映射(例如，一個二維的激活映射)，其係指出該濾波器在每一個空間的位置處的響應。接在該捲積層之後的可以是一池化層，該池化層係縮減取樣一捲積層的輸出，以降低其尺寸。該池化層可以使用各種池化技術的任一種，例如是最大池化及/或全域的平均池化。在某些實施例中，該縮減取樣可以藉由該捲積層本身(例如，在無池化層下)利用跨越(striding)來加以執行。
接在該捲積及池化層1410之後的可以是稠密層1412。該稠密層1412可包括一或多個層，每一個層係具有一或多個神經元，其係從一先前的層(例如，一捲積或池化層)接收一輸入，並且提供一輸出至一後續的層(例如，該輸出層1408)。該稠密層1412可被描述為"稠密的"是因為在一給定的層中的神經元的每一個都可以從一先前的層中的每一個神經元接收一輸入，並且提供一輸出至一後續的層中的每一個神經元。接在該稠密層1412之後的可以是一輸出層1408，其係提供該捲積神經網路的輸出。例如，該輸出可以是該影像1402(或是該影像1402的任何部分)隸屬於一組類別中的哪一種類別的一指出。
應該體認到的是，在圖14中所示的捲積神經網路只是一範例實施方式而已，並且其它實施方式亦可被採用。例如，一或多個層可被加入到圖14中所示的捲積神經網路、或是從其加以移除。可被加入到該捲積神經網路之額外的範例層係包含：一整流線性單元(ReLU)層、一填充層、一串聯層、以及一提升層。一提升層可被配置以提升取樣(upsample)該層的輸入。一ReLU層可被配置以施加一整流器(有時被稱為一斜波函數)，以作為該輸入的一轉換函數。一填充層可被配置以藉由填充(padding)該輸入的一或多個尺寸，來改變該層的輸入的尺寸。一串聯層可被配置以結合多個輸入(例如，結合來自多個層的輸入)成為單一輸出。
捲積神經網路可被採用以執行在此所述的各種功能的任一種。例如，一捲積神經網路可被採用以：(1)識別內含在一超音波影像中的一解剖的切面、(2)識別一指令以提供給一操作者、(3)識別在一超音波影像中的一解剖的特點、或是(4)識別超音波裝置在一非聲學的影像中的一姿 勢。應該體認到的是，超過單一個捲積神經網路可被採用以執行這些功能中的一或多個。例如，一第一捲積神經網路可被採用以根據一輸入的超音波影像來識別一指令以提供給一操作者，並且一第二不同的捲積神經網路可被採用以識別在一超音波影像中的一解剖的特點。該第一及第二神經網路可包括一不同的層的配置，且/或利用不同的訓練資料來加以訓練。
一捲積網路的一範例實施方式係被展示在以下的表1中。在表1中所展示的捲積神經網路可被採用以分類一輸入的影像(例如，一超音波影像)。例如，在表1中所展示的捲積網路可被配置以接收一輸入的超音波影像，並且提供從一組指令中指出哪一個指令應該被提供給一操作者以適當地將該超音波裝置定位的一輸出。該組指令可包含：(1)下內側地(inferomedially)傾斜該超音波裝置、(2)逆時針的旋轉該超音波裝置、(3)順時針的旋轉該超音波裝置、(4)向下移動該超音波裝置一肋間隙(intercostal space)、(5)向上移動該超音波裝置一肋間的空間、以及(6)內側地(medially)滑動該超音波裝置。在表1中，該層的序列係被表示為"層編號"欄，該層的類型係被表示為"層類型"欄，並且該層的輸入係被表示為"層的輸入"欄。
Figure TW201800057AD00003
一捲積神經網路的另一範例實施方式係被展示在以下的表2中。在表2中的捲積神經網路可被採用以在一超音波影像中識別在左心室的基底段上的兩個點。在表2中，該層的序列係被表示為"層編號"欄，該層 的類型係被表示為"層類型"欄，並且該層的輸入係被表示為"層的輸入"欄。
Figure TW201800057AD00004
捲積神經網路的又一範例實施方式係被展示在以下的表3中。在表3中所示的捲積神經網路可被配置以接收一超音波影像，並且分 類在該輸入影像中的每一個像素為屬於前景(例如是左心室的解剖結構)、或是屬於背景。相對於在表1及2中所示的捲積神經網路，提升取樣層已經被引入，以增加該分類輸出的解析度。經提升取樣的層的輸出係和其它層的輸出組合，以提供個別的像素的正確的分類。在表3中，該層的序列係被表示為"層編號"欄，該層的類型係被表示為"層類型"欄，並且該層的輸入係被表示為"層的輸入"欄。
Figure TW201800057AD00005
Figure TW201800057AD00006
整合統計知識到捲積神經網路中
在某些實施例中，統計先驗知識可被整合到一捲積神經網路中。例如，透過主成分分析(PCA)獲得的先驗統計知識可被整合到一捲積神經網路中以便於獲取強健的預測，即使當處理損壞的或是有雜訊的資料也是如此。在這些實施例中，該網路架構可以端對端的訓練，並且包含一特殊設計的層，其係納入經由PCA所發現的變化的資料集模式，並且藉由線性地組合該些資料集模式來產生預測。再者，一機構可被納入，以將該捲積神經網路的注意力聚焦在一輸入影像的所關注的特定區域上，以便於獲 取精確的預測。
解剖結構的複雜性以及雜訊、假影、視覺混亂、以及邊界不清的影像區域的存在經常造成在影像分析上的不明確以及誤差。在醫療領域中，這些誤差中的許多個可以藉由依賴統計先驗知識來加以解決。例如，在分割中，納入有關分割輪廓的先驗知識是有用的。界標定位工作可以受益於在不同的界標之間的語義的關係、以及其位置是如何被容許來相對彼此改變的。最後，捕捉所選的區域的外觀的統計模型已經被展示在一些情形中改善結果。
形狀模型亦已經被用來限制基於機器學習的分割演算法。此已經藉由學習PCA係數的一後驗分布，並且藉由重新投射實況(ground truth)輪廓的部分到未見過的例子上來加以完成。這些模型係依賴淺層架構、人工設計或學習的特點、以及被施加作為一正規化或後置處理的步驟的部分的形狀限制。
深度學習的方式以及尤其是捲積神經網路已經展現驚人的功能，來直接從原始資料學習一階層的特點。深度學習模型係以多個層來加以組織，其中特點係以一級聯的(cascaded)方式而被抽取出。隨著該網路的深度增加，所抽取出的特點係指出更大的影像區域，並且因此相較於在較早的層中所抽取出的特點，其係辨認出較高階的概念。
然而，深度學習方式在醫療影像分析中的可利用性係經常受限於利用大的經註解的資料集的訓練的必要性。在該學習過程期間供應更多經註解的資料係容許更大量的具有挑戰性的真實世界的情況能夠被捕捉，並且因此部份地克服將先驗統計知識整合在該學習過程中的困難度。 在醫療領域中，因為在資料使用及循環上的限制以及註解過程的單調乏味，通常是難以獲得大的經註解的資料集。再者，橫跨不同的掃描之間的醫療影像通常在結構的品質及外觀上呈現大的變化性，此係進一步妨礙機器視覺演算法的效能。尤其，超音波影像係經常因為雜訊、陰影、信號下降區域、以及其它甚至對於人類觀察者而言都使得其解釋變成具有挑戰性的假影而損壞。此外，即使是藉由專家來掃描，超音波掃描仍然呈現高度的操作者內、以及操作者間的獲取變化性。
在某些實施例中，PCA可被採用來有利地發現訓練資料的變化的主要的模式。此種被發現的變化的原理模式可被整合到一捲積神經網路中。結果的強健度係藉由利用統計上分析該訓練資料所抽出的先驗知識來限制該網路預測而被增大。此方式係使得處理其中所關注的解剖只部分地出現、其外觀不清楚、或是其視覺上與所觀察到的訓練例子不同的情形成為可能的。
一包含一新的PCA層的捲積網路架構可被採用，該PCA層係納入變化的資料集模式，並且產生預測為該些模式的一線性組合。此過程係被使用在將後續的捲積神經網路層的注意力聚焦在所關注的特定區域上以獲得精確的預測的程序中。重要的是，該網路係端對端地加以訓練，其中該形狀係被編碼在一PCA層中，並且該損失係被施加在該些點的最後的位置上。該端對端的訓練係使得從網路參數的一隨機的組態設定開始，並且根據該估計任務以及訓練資料來找出最佳組的濾波器及偏值成為可能的。此方法可被應用到例如是在從該胸骨旁長軸切面獲取的2D心臟超音波影像中的界標定位，並且應用到在從該心尖四腔切面獲取的掃描中的心臟 的左心室分割。
納入透過PCA獲得的統計先驗知識到一捲積神經網路中可以有利地克服欠缺強的形狀先驗的先前的深度學習方式的限制、以及欠缺先進的模式識別功能的主動形狀模型的限制。此方式可以是完全自動的，並且因此與大多數的基於需要人的互動的ASM之先前的方法不同。該神經網路係以單一步驟來輸出該預測，而不需要任何最佳化迴圈。
在某些實施例中，一包含N個影像以及相關的實況註解的訓練集可被採用，該些實況註解係由描述界標的位置的參照到P個關鍵點的座標所構成的。該訓練集可被用來首先獲取在Y中的座標的變化的主要的模式，並且接著訓練一利用其的捲積神經網路。被用來公式化吾人的預測的資訊係在多個捲積及池化運算之後加以獲得，並且因此橫跨該些層可能會失去細微顆粒的高解析度的細節。為此理由，一藉由裁切該影像的部分以將該網路的注意力聚焦在全解析度的細節上的機構可被採用，以便於精確化該些預測。該架構可以端對端地加以訓練，並且該網路的所有參數可以在每一次迭代加以更新。
例如是身體的器官以及解剖的細節的自然發生的結構的變化性的大部分都不是任意的。例如，藉由簡單的觀察代表一群人的形狀的一資料集，吾人可以注意到在不同形狀的部分之間的對稱性及相關性的存在。用相同的方式，觀察在身體的不同界標的位置上的相關性通常是可行的，因為它們是彼此緊密糾纏的。PCA可被利用來找出在手邊的資料集的變化的主要模式。當形狀係橫跨該整個資料集被描述為對準的點集合時，PCA係透露何種相關性存在於不同的點之間，並且界定一新的座標系，其 中變化的主要模式係對應於該些軸。在使得一矩陣Y包含該資料集，其中每一個觀察yi係構成其行中的一行之下，其主要的成分的獲得可以藉由首先透過方程式(3)來去平均值Y：
Figure TW201800057AD00007
 並且接著藉由計算該協方差(covariance)矩陣
Figure TW201800057AD00008
的特徵向量(eigenvector)。此係對應於在方程式(4)中的U：
Figure TW201800057AD00009
 其係經由奇異值分解(SVD)來加以獲得。該矩陣
Figure TW201800057AD00010
=UΣV T 是對角的，並且包含該協方差矩陣的特徵值(eigenvalue)，並且其係代表和該特徵基底(eigenbase)中的每一個主要成分相關的變異。
在該資料集中的任何例子都可被合成為該些主要成分的一線性組合，即如同在方程式(5)中所示的：y i =Uw+μ (5)該線性組合的每一個係數不只支配一個，而是支配多個在手邊的可以描述該形狀的相關的點的位置。在加權每一個主要的成分的效應、或是降低其數量的係數上施加限制，直到在所保有的變異的百分比以及主要的成分數量之間達到正確的平衡為止，合成不違反在之前所引入的"合法的形狀"的概念之形狀是可能的。
該捲積神經網路可能並未被訓練以在方程式5中的權重w上執行回歸。反而，一種端對端的架構可被使用，其中該網路係直接使用該PCA特徵基底以從一具有關鍵點的位置的形式之影像來做出預測。此係在該訓練過程上具有直接的效果。該網路係藉由最小化該損失來學習，以 在"知道"該些係數在結果上的影響的同時控制該些係數。該些權重的每一個係同時控制多個相關的關鍵點的位置。由於該些預測是以該些主要的成分的一線性組合來加以獲得的，因此它們係遵守"合法的形狀"的概念，並且因此對於遺失的資料、雜訊、以及假影是更強健的。
該網路可以包括兩個分支。第一分支係利用捲積、池化、以及稠密層，並且經由PCA來產生關鍵點位置的一粗略的估計。第二分支係在從該些粗略的關鍵點位置周圍的輸入影像所裁切出的完整解析度的補片(patch)上操作。該第二網路的輸出係藉由利用更細微顆粒的視覺的資訊，來精確化藉由該第一網路所做成的預測。該兩個分支係同時加以訓練，並且是完全可區別的。該些捲積是都在無填充之下被施加的，並且它們係在該第一捲積神經網路分支中使用尺寸3×3的核心，並且在該第二較淺的分支中使用尺寸5×5的核心。在整個網路被使用的非線性是整流的線性功能。該PCA層的全部輸入都並未透過非線性來加以處理。
該PCA層係實施一稍微修改的合成方程式5。除了藉由該網路的一稠密層所供應的權重w之外，一被施加至所有預測的點的全域的移位s亦被供應。透過該二維的向量s，所關注的解剖的平移係能夠加以處理。在些微濫用的記號下，方程式5可以被改寫為如同在方程式(6)中所示：y i =Uw+μ+s (6)
執行裁切的層係依照一被啟發為空間的變換器的實施方式，其係確保可區別性。一規則的取樣模式係被轉換成該些粗略的關鍵點位置，並且該周圍的區域的強度值係利用雙線性內插法來加以取樣。在具有P個關鍵點之下，對於在迷你批次中的K個影像的每一個可以獲得P個 補片。所產生的KP個補片係接著透過一在無填充下被施加的利用8個濾波器的3層深的捲積神經網路來加以處理，此係縮減其尺寸總共12個像素。在該些捲積層之後，該些補片係再次被配置成為一批次的具有P×8通道的K個元素，並且進一步透過三個稠密層來加以處理，其係最終計算出具有和w相同尺寸的wA。在該PCA層中被採用來獲得一更精確的關鍵點預測之精確的權重wF係被獲得為wF=wA+w。
此方式已經在兩個描繪人的心臟的不同的超音波資料集上加以測試，其中目標是在良好的結果下解決兩個不同的任務。第一個任務是從該心尖切面獲取的心臟形式掃描的左心室(LV)的分割，而第二個任務是一界標定位的問題，其中目標是在從該胸骨旁長軸切面獲取的影像中定位14個所關注的點。在該第一情形中，該模型係利用相關於所關注的結構的形狀之先驗的統計知識，而在該第二情形中，該模型係橫跨不同的患者的心臟的週期捕捉在界標之間的時空關係。為了該分割任務，總數1100個經註解的影像(953個用於訓練以及147個用於測試)係被採用。
利用捲積神經網路的界標定位的技術
本案發明人已經體認到由於雜訊、陰影、解剖的差異、以及掃描面的變化，因此在超音波視訊序列中的精確的界標定位是具有挑戰性的。於是，本案發明人已經構想且開發出一被訓練以回歸該些界標位置的全捲積神經網路，其可以解決此種挑戰。在此捲積神經網路中，接在一系列的捲積及池化層之後的是一匯集的提升取樣及捲積層，其中特點係轉送自該些較早的層。最終的位置估計係在最後一層中藉由計算該些回歸圖的一質量中心來加以產生。此外，該些估計的不確定性係被計算為該些預測 的標準差。該些估計的時間一致性係藉由長短期記憶胞來加以達成，該長短期記憶胞係處理數個先前的幀以便於在目前的幀中精確化該估計。在胸骨旁長軸切面中的左心室的自動量測以及後續的射血分率計算上的結果係展現和使用者間的變化性同樣水準的精確性。
回歸的模型建立是一種用於描述在一自變數(independent variable)以及一或多個因變數(dependent variable)之間的關係之方式。在機器學習中，此關係係藉由一函數來加以描述，該函數的參數係從訓練的例子學習而得的。在深度學習模型中，此函數是在該網路的每一層的邏輯(sigmoid)、雙曲正切、或是最近以來的整流的線性函數的一組成。在許多應用中，該函數係學習在輸入影像補片以及一連續的預測變數之間的一映射。
回歸的模型建立已經被用來在影像中偵測器官或界標的位置、視覺上追蹤物體及特點、以及估計身體姿勢。該深度學習的方式已經表現優於先前的技術，尤其是當一大的經註解的訓練資料集可供利用時。所提出的架構係利用級聯的回歸因子(regressor)、改良定位級、以及組合來自多個界標的提示以定位界標。在醫療影像中，在精確的定位上的要求是高的，因為該些界標係被使用作為量測點以助於診斷。當在視訊序列中追蹤該些量測時，該些點必須在每一個幀中精確地加以偵測，同時確保該些偵測的時間一致性。
一用於在視訊序列中精確的定位解剖的界標點之全捲積網路架構已經被設計出。該全捲積網路的優點是來自多個覆蓋該輸入影像的視窗的響應可以在單一步驟中加以計算出。該網路係端對端地加以訓練，並且輸出該些界標的位置。在最後一捲積層的回歸的位置的聚合係藉由一 計算該些預測的平均位置之新的質量中心層而被確保。該層係使得根據該些預測的候選者的變異來利用新的正規化技術以及根據界標的相對位置來界定新的損失成為可能的。該評估係在接近幀率的速度下快速的處理一視訊序列的每一個幀。該些量測的時間一致性係藉由捲積長短期的記憶體(CLSTM)胞來加以改善，該CLSTM係處理來自數個先前的幀的特徵映射，並且針對於該目前的幀產生更新的特點，以便於精確化該估計。
將一具有寬度w以及高度h的輸入影像表示為I(自變數)，並且k個界標的位置按行地堆疊成為p(因變數)。該回歸的目標是學習一函數f(I；θ)=用參數θ來表示p。f可以藉由一捲積神經網路來加以近似，並且利用影像及其對應的註解的一資料庫來訓練該些參數params。通常，一歐式距離損失函數(Euclidean loss)係被採用來利用每一個經註解的影像以訓練f。
早先，回歸估計係直接從該網路的最後一層來加以獲得，該最後一層係完全連接至前一層。此係一種高度非線性的映射，其中該估計係從在捲積區塊之後的全連接的層計算出的。吾人係提出利用一全捲積架構(FCNN)來回歸界標位置，而不是用完全連接的網路。其優點是該些估計可以在單一評估步驟中被計算出。在所提出的架構中，可以在每一個影像位置處獲取界標座標估計。
被匯總的界標座標估計係在每一個預測的位置lij，在一新的質量中心層中從輸入來加以計算出：
Figure TW201800057AD00011
遞歸(recurrent)神經網路(RNN)可以藉由在每一時間步驟t接受輸入xt並且更新一隱藏向量ht，來學習循序的上下文依賴。該RNN網路 可以是由長短期的記憶體(LSTM)單元所構成的，每一個LSTM單元係藉由一閘控機構來加以控制，該閘控機構係具有三種類型的範圍在0到1之間的更新it、ft、ot。該值it係控制每一個記憶胞的更新，ft係控制每一個記憶胞的忘卻，並且ot係控制該記憶體狀態在該隱藏向量上的影響。在捲積LSTM(CLSTM)中，該些輸入權重以及隱藏向量權重係加以捲積以模型化空間的限制，而不是加以相乘。該函數係引入一非線性，其可被選擇是tanh。對於方程式8-10而言，將該捲積運算子表示為*，在該些閘的值係如下地被計算出：forgetgate：f t =sigm(W f * [h t-1,x t ]+b f ) (8)
inputgate：i t =sigm(W i * [h t-1,x t ]+b i ) (9)
outputgate：o t =sigm(W o * [h t-1,x t ]+b o ) (10)
該些權重W及偏值b的參數係從訓練序列來加以學習。除了該些閘值之外，每一個CLSTM單元係計算出狀態候選值：g t =tanh(W g * [h t-1,x t ]+b g ) (11)其中gt範圍是在-1到1之間，並且影響記憶體內容。該記憶胞係藉由以下而被更新c t =f t ⊙c t-1+i t ⊙g t (12)其係加成地修改每一個記憶胞。該更新過程係產生在反向傳播(backpropagation)期間被分布的梯度。該符號⊙係表示該哈達馬德(Hadamard)乘積。最後，該隱藏的狀態係被更新為：h t =o t ⊙tanh(c t ) (13)
在影像序列的循序的處理中，進入到該LSTM中的輸入係由 從一捲積神經網路計算出的特徵映射所組成的。在此工作中，兩種架構係被提出以計算該些特徵映射。第一種架構是一具有捲積及池化層的神經網路。在CLSTM中的特徵映射的循序的處理之後，該輸出係被饋入到全連接的層中以計算該界標位置估計。在第二種架構中，該CLSTM的輸入是該全捲積架構(FCN)的一捲積路徑的最後一層。該界標位置估計係從透過該FCN網路的轉置捲積部分處理的CLSTM的輸出而被計算出。
範例的超音波系統
圖15A是描繪一範例的超音波系統1500A的特點的概要方塊圖，在此所述的技術的各種特點可被實施在其上。例如，該超音波系統1500A的一或多個構件可以執行在此所述的過程的任一個。如圖所示，該超音波系統1500A係包括處理電路1501、輸入/輸出裝置1503、超音波電路1505、以及記憶體電路1507。
該超音波電路1505可被配置以產生超音波資料，該超音波資料可被採用以產生一超音波影像。該超音波電路1505可包括一或多個單石地整合到單一半導體晶粒上的超音波換能器。該些超音波換能器例如可包含一或多個電容性微加工超音波換能器(CMUT)、一或多個CMOS超音波換能器(CUT)、一或多個壓電微加工超音波換能器(PMUT)、及/或一或多個其它適當的超音波換能器胞。在某些實施例中，該些超音波換能器可以和在該超音波電路1505中的其它電子構件(例如，發送電路、接收電路、控制電路、電源管理電路、以及處理電路)形成相同的晶片，以形成一單石超音波裝置。
該處理電路1501可被配置以執行在此所述的功能的任一 個。該處理電路1501可包括一或多個處理器(例如，電腦硬體處理器)。為了執行一或多個功能，該處理電路1501可以執行一或多個被儲存在該記憶體電路1507中的處理器可執行的指令。該記憶體電路1507可被使用於在該超音波系統1500B的操作期間儲存程式及資料。該記憶體電路1507可包括一或多個例如是非暫態的電腦可讀取的儲存媒體的儲存裝置。該處理電路1501可以用任何適當的方式來控制寫入資料至該記憶體電路1507、以及從該記憶體電路1507讀取資料。
在某些實施例中，該處理電路1501可包括特殊程式化及/或特殊用途的硬體，例如是一特殊應用積體電路(ASIC)。例如，該處理電路1501可包括一或多個張量(tensor)處理單元(TPU)。TPU可以是明確被設計用於機器學習(例如，深度學習)的ASIC。該些TPU可被採用以例如加速一神經網路的推論階段。
該些輸入/輸出(I/O)裝置1503可被配置以使得和其它系統及/或一操作者通訊變得容易。可以使得和一操作者通訊變得容易的範例的I/O裝置係包含：一鍵盤、一滑鼠、一軌跡球、一麥克風、一觸控螢幕、一列印裝置、一顯示螢幕、一揚聲器、以及一振動裝置。可以使得和其它系統通訊變得容易的範例的I/O裝置係包含有線及/或無線的通訊電路，例如是藍芽、ZIGBEE、WiFi、及/或USB通訊電路。
應該體認到的是，該超音波系統1500A可以利用任意數量的裝置來加以實施。例如，該超音波系統1500A的構件可被整合到單一裝置中。在另一例子中，該超音波電路1505可被整合到一超音波裝置中，該超音波裝置係和一計算裝置通訊地耦接，該計算裝置係包括該處理電路 1501、輸入/輸出裝置1503、以及記憶體電路1507。
圖15B是描繪另一範例的超音波系統1500B的特點的概要方塊圖，在此所述的技術的各種特點可被實施在其上。例如，該超音波系統1500B的一或多個構件可以執行在此所述的過程的任一個。如圖所示，該超音波系統1500B係包括和一計算裝置1502有線及/或無線的通訊的一超音波裝置1514。該計算裝置1502係包括一音訊輸出裝置1504、一成像裝置1506、一顯示螢幕1508、一處理器1510、一記憶體1512、以及一振動裝置1509。該計算裝置1502可以透過一網路1516以和一或多個外部的裝置通訊。例如，該計算裝置1502可以和一或多個工作站1520、伺服器1518、及/或資料庫1522通訊。
該超音波裝置1514可被配置以產生超音波資料，該超音波資料可被採用以產生一超音波影像。該超音波裝置1514可以用各種方式的任一種來加以建構。在某些實施例中，該超音波裝置1514係包含一發送器，其係發送一信號至一發送波束成形器，該波束成形器於是驅動在一換能器陣列內的換能器元件以發射脈波式超音波信號到一例如是病患的結構中。該脈波式超音波信號可以從在身體中的結構，例如是血球或肌肉的組織而背向散射，以產生返回到該些換能器元件的回音。這些回音接著可以藉由該些換能器元件而被轉換成為電性信號或是超音波資料，並且該些電性信號係藉由一接收器來加以接收。代表該些接收到的回音的電性信號係被傳送至一接收的波束成形器，其係輸出超音波資料。
該計算裝置1502可被配置以處理來自該超音波裝置1514的超音波資料以產生超音波影像，以供顯示在該顯示螢幕1508上。該處理例 如可以藉由該處理器1510來加以執行。該處理器1510亦可以適配於控制利用該超音波裝置1514的超音波資料的獲取。該超音波資料可以在該些回音信號被接收到時的一掃描對話期間，即時地加以處理。在某些實施例中，所顯示的超音波影像可以在一至少5Hz、至少10Hz、至少20Hz的速率、在一介於5到60Hz之間的速率、在一超過20Hz的速率下加以更新。例如，超音波資料甚至可以在影像正根據先前獲取的資料而被產生以及當一實況的超音波影像正被顯示時加以獲取。當額外的超音波資料被獲取時，從更為近來獲取的超音波資料所產生的額外的幀或影像係依序地被顯示。額外或替代的是，該超音波資料可以在一掃描對話期間暫時被儲存在一緩衝器中，並且以小於即時地加以處理。
額外(或替代的是)，該計算裝置1502可被配置以(例如，利用該處理器1510)執行在此所述的過程的任一個，且/或(例如，利用該顯示螢幕1508)顯示在此所述的使用者介面的任一個。例如，該計算裝置1502可被配置以提供指令給該超音波裝置1514的一操作者，以協助該操作者選擇一對象的一目標解剖的切面來成像，並且導引該操作者捕捉一包含該目標解剖的切面的超音波影像。如圖所示，該計算裝置1502可包括一或多個可以在此種過程的執行期間被使用的元件。例如，該計算裝置1502可包括一或多個處理器1510(例如，電腦硬體處理器)以及一或多個製品，其包括例如是該記憶體1512的非暫態的電腦可讀取的儲存媒體。該處理器1510可以用任何適當的方式來控制寫入資料至該記憶體1512、以及從該記憶體1512讀取資料。為了執行在此所述的功能的任一個，該處理器1510可以執行被儲存在一或多個非暫態的電腦可讀取的儲存媒體(例如，該記憶體1512)中的 一或多個處理器可執行的指令，其係可以作為儲存處理器可執行的指令以供該處理器1510執行的非暫態的電腦可讀取的儲存媒體。
在某些實施例中，該計算裝置1502可包括一或多個輸入及/或輸出裝置，例如是該音訊輸出裝置1504、成像裝置1506、顯示螢幕1508、以及振動裝置1509。該音訊輸出裝置1504可以是一被配置以發出可聽見的聲音的裝置，例如是一揚聲器。該成像裝置1506可被配置以偵測光(例如，可見光)以形成一影像，其例如是一相機。該顯示螢幕1508可被配置以顯示影像及/或視訊，其例如是一液晶顯示器(LCD)、一電漿顯示器、及/或一有機發光二極體(OLED)顯示器。該振動裝置1509可被配置以振動該計算裝置1502的一或多個構件，以提供觸覺的反饋。這些輸入及/或輸出裝置可以通訊地耦接至該處理器1510，且/或受到該處理器1510的控制。該處理器1510可以根據正被該處理器1510執行的一過程(例如，在圖9-13中所示的過程的任一個)來控制這些裝置。例如，該處理器1510可以控制該顯示螢幕1508以顯示上述的使用者介面、指令、及/或超音波影像的任一個。類似地，該處理器1510可以控制該音訊輸出裝置1504以發出可聽見的指令，且/或控制該振動裝置1509以改變一強度或觸覺的反饋(例如，振動)以發出觸覺的指令。額外地(或替代的是)，該處理器1510可以控制該成像裝置1506以捕捉正被使用在一對象上的超音波裝置1514的非聲學的影像，以提供該超音波裝置1514的一操作者一擴增實境介面(例如，如同在圖5B及6中所示者)。
應該體認到的是，該計算裝置1502可以用各種方式的任一種來加以實施。例如，該計算裝置1502可被實施為一手持式裝置，例如是一行動智慧型手機或一平板電腦。藉此，該超音波裝置1514的一操作者可 以是能夠用一手操作該超音波裝置1514，並且用另一手握著該計算裝置1502。在其它例子中，該計算裝置1502可被實施為一並非手持式裝置的可攜式的裝置，例如是一膝上型電腦。在另外的例子中，該計算裝置1502可被實施為一靜止的裝置，例如是一桌上型電腦。
在某些實施例中，該計算裝置1502可以經由該網路1516來和一或多個外部的裝置通訊。該計算裝置1502可以透過一有線的連線(例如，經由一乙太網路電纜線)及/或一無線的連線(例如，透過一WiFi網路)，來連接至該網路1516。如同在圖15B中所示，這些外部的裝置可包含伺服器1518、工作站1520、及/或資料庫1522。該計算裝置1502可以和這些裝置通訊，以例如是卸載計算上繁重的工作。例如，該計算裝置1502可以透過該網路1516來傳送一超音波影像至該伺服器1518，以用於分析(例如，用以識別在該超音波影像中的一解剖的特點及/或識別一指令以提供給該操作者)，並且從該伺服器1518接收該分析的結果。此外(或替代的是)，該計算裝置1502可以和這些裝置通訊，以存取本地無法利用的資訊，且/或更新一中央資訊儲存庫。例如，該計算裝置1502可以從一被儲存在該資料庫1522中的檔案存取正利用該超音波裝置1514成像的一對象的醫療記錄。在此例子中，該計算裝置1502亦可以提供該對象的一或多個所捕捉的超音波影像至該資料庫1522，以加入到該對象的醫療記錄。
該些術語"程式"、"應用程式"、或是"軟體"係在此以一般的意思被使用來指稱任意類型的電腦碼或是處理器可執行的指令集，其可被採用來程式化一電腦或是其它處理器以實施如上所論述的實施例的各種特點。此外，根據一特點，當一或多個電腦程式被執行時，其係執行在此所 提出的本揭露內容的方法，其並不需要存在於單一電腦或處理器上，而是可以用一種模組化方式被分散在不同的電腦或處理器之間，以實施此所提出的本揭露內容的各種特點。
處理器可執行的指令可以是具有許多種形式，例如是程式模組，其係藉由一或多個電腦或其它裝置來加以執行。一般而言，程式模組係包含常式、程式、物件、構件、資料結構、等等，其係執行特定的工作、或是實施特定的抽象資料類型。通常，該些程式模組的功能可加以組合或是分散。
再者，資料結構可以用任何適當的形式而被儲存在一或多個非暫態的電腦可讀取的儲存媒體中。為了說明的簡化起見，資料結構可能被展示以具有透過在該資料結構中的位置相關的欄位。此種關係同樣可以藉由指定在一非暫態的電腦可讀取的媒體中的位置給用於該些欄位的儲存來加以達成，該些位置係帶有在該些欄位之間的關係。然而，任何適當的機制都可被用來在一資料結構的欄位中的資訊之間建立關係，其係包含透過指標、標籤或是其它在資料元件之間建立關係的機制的使用。
範例的超音波裝置
圖16係展示一單石超音波裝置1600之一舉例說明的例子，其可被採用作為上述的超音波裝置的任一個(例如是超音波裝置102、502、602及1514)、或是在此所述的超音波電路的任一個(例如是超音波電路1505)。如圖所示，該超音波裝置1600可包含一或多個換能器配置(例如，陣列)1602、發送(TX)電路1604、接收(RX)電路1606、一時序及控制電路1608、一信號調節/處理電路1610、一電源管理電路1618、及/或一高強度聚焦超音 波(HIFU)控制器1620。在所示的實施例中，所有舉例說明的元件都被形成在單一半導體晶粒1612上。然而，應該體認到的是，在替代的實施例中，該些舉例說明的元件中的一或多個可以替代的是位在晶片外的。此外，儘管該舉例說明的例子係展示TX電路1604以及RX電路1606兩者，但是在替代的實施例中，只有TX電路或是只有RX電路可被採用。例如，此種實施例可以被採用在一種其中一或多個只發送的裝置1600係被用來發送聲波信號，並且一或多個只接收的裝置1600係被用來接收已經穿透一正被超音波成像的對象、或是從該對象被反射的聲波信號的情況中。
應該體認到的是，在該些舉例說明的構件中的一或多個之間的通訊可以用許多方式的任一種來加以執行。例如，在某些實施例中，一或多個例如是一整合式北橋所採用的高速的匯流排(未顯示)可被用來容許有高速晶片內的通訊、或是和一或多個晶片外的構件通訊。
該一或多個換能器陣列1602可以採用許多形式的任一種，並且本技術的特點並不一定需要換能器胞或是換能器元件的任何特定類型或配置的使用。確實，儘管該術語"陣列'係在此說明中被使用，但應該體認到的是，在某些實施例中，該些換能器元件可能並未以一陣列來加以組織，並且可以替代地用某種非陣列的方式來加以配置。在各種的實施例中，在該陣列1602中的換能器元件的每一個例如可以包含一或多個電容性微加工超音波換能器(CMUT)、一或多個CMOS超音波換能器(CUT)、一或多個壓電微加工超音波換能器(PMUT)、及/或一或多個其它適當的超音波換能器胞。在某些實施例中，該換能器陣列1602的換能器元件可被形成在和該TX電路1604及/或RX電路1606的電子電路相同的晶片上。該些換能器元件 1602、TX電路1604、以及RX電路1606在某些實施例中可被整合在單一超音波裝置中。在某些實施例中，該單一超音波裝置可以是一手持式裝置。在其它實施例中，該單一超音波裝置可以用一貼片來加以體現，該貼片可以耦接至一病患。該貼片可被配置以無線地發送藉由該貼片所收集的資料至一或多個外部的裝置，以用於進一步的處理。
一CUT例如可以包含一被形成在一CMOS晶圓中的凹處，其中一薄膜係覆蓋該凹處，並且在某些實施例中是密封該凹處。電極可被設置以從該被覆蓋的凹處結構產生一換能器胞。該CMOS晶圓可包含該換能器胞可以連接到的積體電路。該換能器胞以及CMOS晶圓可以單石地加以整合，因此在單一基板(該CMOS晶圓)上形成一整合的超音波換能器胞以及積體電路。
該TX電路1604(若內含的話)例如可以產生脈衝，其係驅動該換能器陣列1602的個別的元件、或是在該換能器陣列1602之內的一或多個群組的元件，以便於產生將被使用於成像的聲波信號。在另一方面，當聲波信號撞擊在該換能器陣列1602的個別的元件之上時，該RX電路1606可以接收及處理藉由此種元件所產生的電子信號。
在某些實施例中，該時序及控制電路1608例如可以是負責產生被用來同步化及協調在該裝置1600中的其它元件的操作的所有時序及控制信號。在該展示的例子中，該時序及控制電路1608係藉由被供應至一輸入埠1616的單一時脈信號CLK來加以驅動。該時脈信號CLK例如可以是一高頻的時脈，其係被用來驅動該些晶片上的電路構件中的一或多個。在某些實施例中，該時脈信號CLK例如可以是一被用來驅動在該信號調節/ 處理電路1610中的一高速的串列輸出裝置(未顯示在圖16中)的1.5625GHz或2.5GHz時脈、或是一被用來驅動在該半導體晶粒1612上的其它數位構件的20MHz或是40MHz時脈，並且該時序及控制電路1608可以按照必要性來除頻或是倍頻該時脈CLK，以驅動在該晶粒1612上的其它構件。在其它實施例中，兩個或多個不同頻率的時脈(例如是那些在以上所參照到的)可以個別地從一晶片外的來源而被供應至該時序及控制電路1608。
該電源管理電路1618例如可以是負責轉換來自一晶片外的來源的一或多個輸入電壓VIN成為實行該晶片的操作所需的電壓，並且或者是用於管理在該裝置1600之內的功率消耗。在某些實施例中，例如，單一電壓(例如，12V、80V、100V、120V、等等)可被供應至該晶片，並且該電源管理電路1618可以按照必要性，利用一充電泵電路或是經由某種其它DC至DC電壓轉換機構來步升或是步降電壓。在其它實施例中，多個不同的電壓可以個別地被供應至該電源管理電路1618，以用於處理及/或分布至其它晶片上的構件。
如同在圖16中所示，在某些實施例中。一HIFU控制器1620可被整合在該半導體晶粒1612上，以便於致能HIFU信號經由該換能器陣列1602的一或多個元件的產生。在其它實施例中，一用於驅動該換能器陣列1602的HIFU控制器可以是位在晶片外的、或甚至是在一與該裝置1600分開的裝置之內。換言之，本揭露內容的特點係有關於具有與不具有超音波成像功能之晶片上超音波的HIFU系統的設置。然而，應該體認到某些實施例可以不具有任何HIFU功能，並且因此可以不包含一HIFU控制器1620。
再者，應該體認到的是，該HIFU控制器1620在那些提供 HIFU功能的實施例中可能不代表獨立的電路。例如，在某些實施例中，圖16的其餘的電路(除了該HIFU控制器1620之外)可能是適合提供超音波成像功能及/或HIFU，亦即，在某些實施例中，該共用的電路可以操作為一成像系統及/或用於HIFU。成像或是HIFU功能是否被展示可以是依據被提供至該系統的功率而定的。HIFU通常是操作在高於超音波成像的功率下。因此，提供該系統一適合用於成像應用的第一功率位準(或是電壓位準)可以使得該系統操作為一成像系統，而提供一較高的功率位準(或是電壓位準)可以使得該系統操作以用於HIFU。此種電源管理在某些實施例中可以是由晶片外的控制電路所提供的。
除了利用不同的功率位準之外，成像以及HIFU應用可以利用不同的波形。因此，波形產生電路可被用來提供適當的波形，以用於將該系統操作為一成像系統或是一HIFU系統。
在某些實施例中，該系統可以操作為一成像系統以及一HIFU系統兩者(例如，其係能夠提供影像導引的HIFU)。在某些此種實施例中，相同的晶片上的電路可被利用以提供兩種功能，其係具有被用來控制在該兩個模式之間的操作之適當的時序序列。
在該展示的例子中，一或多個輸出埠1614可以輸出一高速的串列資料串流，其係藉由該信號調節/處理電路1610的一或多個構件所產生的。此種資料串流例如可以是藉由被整合在該半導體晶粒1612上的一或多個USB 3.0模組及/或一或多個10GB、40GB或是100GB乙太網路模組所產生的。在某些實施例中，在輸出埠1614上所產生的信號流可被饋入一電腦、平板電腦、或是智慧型手機，以用於2維、3維及/或層析成像的影像 的產生及/或顯示。在其中影像形成功能係被納入在該信號調節/處理電路1610中的實施例中，即使是只有有限的可利用於應用程式的執行的處理能力及記憶體的量之相對低功率的裝置，例如是智慧型手機或平板電腦，其亦可以只利用來自該輸出埠1614的一串列資料串流來顯示影像。如上所提到的，晶片上的類比至數位的轉換以及一高速的串列資料鏈路的使用以卸載一數位資料串流是該些特點中之一，其係有助於使得根據在此所述的技術的某些實施例的一"晶片上超音波"的解決方案變得容易。
例如在圖16中所示的裝置1600可被用在一些成像及/或治療(例如，HIFU)應用的任一個，並且在此論述的特定例子並不應該被視為限制性的。例如，在一舉例說明的實施方式中，包含一N×M平面或是實質平面的陣列的CMUT元件的一成像裝置本身可被用來獲取一對象(例如是一個人的腹部)的一超音波影像，其係藉由在一或多個發送階段期間(一起或是個別地)激勵在該陣列1602中的元件的部分或是全部，並且在一或多個接收階段期間接收及處理藉由在該陣列1602中的元件的部分或是全部所產生的信號，使得在每一個接收階段期間該些CMUT元件係感測被該對象所反射的聲波信號。在其它實施方式中，在該陣列1602中的某些元件可被使用來只發送聲波信號，並且在同一個陣列1602中的其它元件可以同時只被使用以接收聲波信號。再者，在某些實施方式中，單一成像裝置可包含一P×Q陣列的個別的裝置、或是一P×Q陣列的個別的N×M平面的陣列的CMUT元件，其構件可以用平行地、依序地、或是根據某種其它時序設計來加以操作，以便於容許資料能夠從一比可被體現在單一裝置1600中或是在單一晶粒1612上大的數量的CMUT元件來加以累積。
在另外其它的實施方式中，一對成像裝置可被設置，以便於跨坐一對象，使得在該對象的一側上的成像裝置的裝置1600中的一或多個CMUT元件可以感測藉由在該對象的另一側上的成像裝置的裝置1600中的一或多個CMUT元件所產生的聲波信號，而到此種脈衝並未被該對象實質衰減的程度。再者，在某些實施方式中，同一個裝置1600可被利用以量測來自其本身的CMUT元件中的一或多個的聲波信號的散射、以及來自被設置在該對象的相反側上的一成像裝置中的CMUT元件中的一或多個的聲波信號的透射兩者。
圖17是描繪在某些實施例中，用於一給定的換能器元件1702的TX電路1604以及RX電路1606是如何可被使用以激勵該換能器元件1702來發射一超音波脈衝、或是接收及處理一來自該換能器元件1702的代表一被其感測的超音波脈衝之信號的方塊圖。在某些實施方式中，該TX電路1604可以在一"發送"階段期間被使用，並且該RX電路可以在一未和該發送階段重疊的"接收"階段期間被使用。在其它實施方式中，該TX電路1604以及該RX電路1606中之一在一給定的裝置1600中可以單純地不被使用，例如是當一對超音波單元只被使用於透射成像時。如上所提到的，在某些實施例中，一超音波裝置1600可以交替地只利用TX電路1604或是只利用RX電路1606，因而本技術的特點並不一定需要兩種類型的電路的存在。在各種的實施例中，TX電路1604及/或RX電路1606可包含和單一換能器胞(例如，一CUT或是CMUT)相關的一TX電路及/或一RX電路、在單一換能器元件1702之內的一群組的兩個或多個換能器胞、包括一群組的換能器胞的單一換能器元件1702、在一陣列1602之內的一群組的兩個或多 個換能器元件1702、或是一整個陣列1602的換能器元件1702。
在圖17所示的例子中，該TX電路1604/RX電路1606係對於在該陣列1602中的每一個換能器元件1702都包含一個別的TX電路以及一個別的RX電路，但是該時序及控制電路1608以及信號調節/處理電路1610的每一個只有一實體。於是，在此種實施方式中，該時序及控制電路1608可以負責同步化及協調在該晶粒1612上的所有的TX電路1604/RX電路1606組合的操作，並且該信號調節/處理電路1610可以負責處理來自在該晶粒1612上的所有的RX電路1606的輸入。在其它實施例中，時序及控制電路1608可以針對於每一個換能器元件1702、或是針對於一群組的換能器元件1702來加以複製。
如同在圖17中所示，除了產生及/或分布時脈信號以驅動在該裝置1600中的各種數位構件之外，該時序及控制電路1608可以輸出一"TX致能"信號來致能該TX電路1604的每一個TX電路的操作、或是輸出一"RX致能"信號來致能該RX電路1606的每一個RX電路的操作。在該展示的例子中，在該RX電路1606中的一開關1716可以在該TX電路1604被致能之前總是開路的，以便於避免該TX電路1604的一輸出驅動該RX電路1606。該開關1716可以在該RX電路1606的操作被致能時閉合，以便於容許該RX電路1606能夠接收及處理一藉由該換能器元件1702所產生的信號。
如圖所示，用於一個別的換能器元件1702的TX電路1604可包含一波形產生器1714以及一脈波產生器1712兩者。該波形產生器1714例如可以是負責產生一將被施加至該脈波產生器1712的波形，以便於使得該脈波產生器1712輸出一對應於該產生的波形的驅動信號至該換能器元件 1702。
在圖17所示的例子中，用於一個別的換能器元件1702的RX電路1606係包含一類比處理區塊1718、一類比至數位轉換器(ADC)1720、以及一數位處理區塊1722。該ADC 1720例如可以包括一10位元或是12位元的20Msps、25Msps、40Msps、50Msps、或是80Msps的ADC。
在進行該數位處理區塊1722中的處理之後，在該半導體晶粒1612上的所有的RX電路的輸出(在此例子中，RX電路的數量係等於在該晶片上的換能器元件1702的數量)係被饋入在該信號調節/處理電路1610中的一多工器(MUX)1724。在其它實施例中，換能器元件的數量係大於RX電路的數量，因而數個換能器元件係提供信號至單一RX電路。該MUX 1724係多工處理來自該些RX電路的數位資料，並且該MUX 1724的輸出係被饋入在該信號調節/處理電路1610中的一多工的數位處理區塊1726，以用於在該資料從該半導體晶粒1612例如經由一或多個高速的串列輸出埠1614輸出之前的最終的處理。該MUX 1724是選配的，因而在某些實施例中，平行的信號處理係被執行。一高速的串列資料埠可被設置在區塊之間或是在區塊之內的任何介面、在晶片之間的任何介面、及/或任何至一主機的介面。在該類比處理區塊1718及/或該數位處理區塊1722中的各種構件可以降低需要從該半導體晶粒1612經由一高速的串列資料鏈路或是其它方式而被輸出的資料量。例如，在某些實施例中，在該類比處理區塊1718及/或該數位處理區塊1722中的一或多個構件因此可以作用來容許該RX電路1606能夠在一改善的信號雜訊比(SNR)之下並且用一種與多樣的波形相容的方式接收透射及/或散射的超音波壓力波。在某些實施例中，此種元件的包含因此可 以進一步使得所揭露的"晶片上超音波"的解決方案變得容易及/或強化之。
在此所述的超音波裝置可以用各種物理配置的任一種來加以實施，其係包含作為一手持式裝置的部分(其可包含一螢幕以顯示所獲取的影像)、或是作為一被配置以黏貼至該對象的貼片的部分。
在某些實施例中，一超音波裝置可以用一描繪在圖18A及18B中的手持式裝置1802來加以體現。手持式裝置1802可被保持靠著(或是接近)一對象1800，並且被用來成像該對象。手持式裝置1802可包括一超音波裝置以及顯示器1804，而在某些實施例中，該顯示器1804可以是一觸控螢幕。顯示器1804可被配置以顯示在手持式裝置1802之內，利用藉由在裝置1802之內的超音波裝置所收集的超音波資料來產生的該對象的影像(例如，超音波影像)。
在某些實施例中，手持式裝置1802可以用一類似於聽診器的方式來加以使用。一醫療專業人士可以將手持式裝置1802置放在沿著一病患的身體的各種位置處。在手持式裝置1802之內的超音波裝置可以成像該病患。藉由該超音波裝置所獲得的資料可加以處理及使用來產生該病患的影像，該影像可以經由顯示器1804而被顯示給該醫療專業人士。就此而論，一醫療專業人士可以攜帶該手持式裝置1802(例如，繞著其脖子、或是在其口袋內)，而不是隨身攜帶多個習知的裝置，此係累贅且不切實際的。
在某些實施例中，一超音波裝置可以用一貼片來加以體現，該貼片可以耦接至一病患。例如，圖18C及18D係描繪一耦接至病患1812的貼片1810。該貼片1810可被配置以無線地發送藉由該貼片1810所收集的資料至一或多個外部的裝置，以用於進一步的處理。圖18E係展示貼片1810 的一分解圖。
在某些實施例中，一超音波裝置可以用在圖18F中所示的手持式裝置1820來加以體現。手持式裝置1820可被配置以無線地發送藉由該裝置1820所收集的資料至一或多個外部的裝置，以用於進一步的處理。在其它實施例中，手持式裝置1820可被配置以利用一或多個有線的連線來發送藉由該裝置1820所收集的資料至一或多個外部的裝置，因為在此所述的技術的特點並未在此方面受到限制。
本揭露內容的各種特點可以單獨地、組合地、或是用並未在先前敘述的實施例中明確論述的各種配置來加以利用，並且因此在其應用上並未受限於在先前的說明中所闡述、或是在圖式中所描繪的構件的細節及配置。例如，在一實施例中敘述的特點可以用任何方式來和在其它實施例中敘述的特點組合。
再者，某些動作係被描述為藉由一"操作者"或"對象"所做的。應該體認到的是，一"操作者"或"對象"並不需要是單一個人，而是在某些實施例中，可歸因於一"操作者"或"對象"的動作可以藉由一團隊的個人及/或一個人結合電腦輔助的工具或其它機構來加以執行。再者，應該體認到的是在某些實例中，一"對象"可以是和該"操作者"相同的人。例如，一個人可以利用一超音波裝置來成像自己，並且因而扮演正被成像的"對象"以及該超音波裝置的"操作者"兩者。
例如是"第一"、"第二"、"第三"、等等的序數術語在申請專利範圍中修飾一申請專利範圍元件的使用本身並不意味一申請專利範圍元件相對另一申請專利範圍元件的任何優先權、在先、或順序、或是一種方 法的動作被執行所用的時間的順序，而是只被使用作為標籤來區別一具有某一名稱的申請專利範圍元件與另一具有一相同的名稱(但是為了該序數術語而使用)的元件，以區別該些申請專利範圍元件。
該些術語"大約"及"大致"在某些實施例中可被用來表示在一目標值的±20%之內、在某些實施例中是在一目標值的±10%之內、在某些實施例中是在一目標值的±5%之內、以及另外在某些實施例中是在一目標值的±2%之內。該術語"大約"及"大致"可包含該目標值。
再者，在此使用的措辭及術語係為了說明之目的，因而不應該被視為限制性的。"包含"、"包括"、或是"具有"、"內含"、"涉及"、以及其變化的在此的使用係意謂涵蓋被列出在後面的項目及其等同物、以及額外的項目。
以上已經敘述至少一實施例的數個特點，將體認到的是各種的改變、修改、以及改良將會輕易地被熟習此項技術者所思及。此種改變、修改、以及改良係欲為了此揭露內容之目的。於是，先前的說明及圖式只是舉例而已。
100‧‧‧超音波系統
101‧‧‧對象
102‧‧‧超音波裝置
104‧‧‧計算裝置
106‧‧‧顯示器
108‧‧‧指令
110‧‧‧超音波影像
112‧‧‧通訊鏈路

Claims (30)

  1. 一種超音波指導設備，其係包含：至少一處理器，其係被配置以根據另一超音波影像的分析來導引包含一對象的一目標解剖的切面的一超音波影像的捕捉。
  2. 如申請專利範圍第1項之設備，其中該至少一處理器係被配置以至少部分藉由針對於如何導引一超音波裝置的一操作者來捕捉包含該目標解剖的切面的該超音波影像來產生一指導計畫，以導引該超音波影像的捕捉。
  3. 如申請專利範圍第2項之設備，其中該至少一處理器係被配置以至少部分藉由根據該產生的指導計畫來提供至少一指令給該操作者，以導引該超音波影像的捕捉。
  4. 如申請專利範圍第3項之設備，其進一步包括一顯示器，其係耦接至該至少一處理器並且被配置以顯示該至少一指令給該操作者。
  5. 如申請專利範圍第4項之設備，其中該顯示器以及該至少一處理器係被整合到一計算裝置中。
  6. 如申請專利範圍第3項之設備，其中該至少一處理器係被配置以至少部分藉由利用一深度學習技術來識別一內含在該另一超音波影像中的解剖的切面，以導引該超音波影像的捕捉。
  7. 如申請專利範圍第6項之設備，其中該至少一處理器係被配置以至少部分藉由利用該識別出的解剖的切面來識別移動該超音波裝置所在的一方向，以導引該超音波影像的捕捉。
  8. 如申請專利範圍第3項之設備，其中該至少一處理器係被配置以至少部分藉由判斷該另一超音波影像是否在該對象的一目標區域之內包含該對 象的一解剖的切面，來導引該超音波影像的捕捉。
  9. 如申請專利範圍第8項之設備，其中該至少一處理器係被配置以至少部分藉由響應於內含在該另一超音波影像中的該解剖的切面係在該目標區域之外的一判斷，以提供一指令給該操作者來移動該超音波裝置朝向該超音波裝置可以獲得在該對象的該目標區域之內的切面的影像所在的一位置，以提供該至少一指令給該操作者。
  10. 如申請專利範圍第8項之設備，其中該至少一處理器係被配置以至少部分藉由響應於內含在該另一超音波影像中的該解剖的切面係在該目標區域之內的一判斷，以提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得該目標解剖的切面的一影像所在的一位置，來提供該至少一指令給該操作者。
  11. 一種系統，其係包含：一超音波裝置，其係被配置以捕捉一對象的一超音波影像：以及至少一處理器，其係被配置以根據藉由該超音波裝置所捕捉的該超音波影像的分析，來導引包含一對象的一目標解剖的切面的另一超音波影像的捕捉。
  12. 如申請專利範圍第11項之系統，其中該超音波裝置係包括一從由以下所構成的群組選出的超音波換能器：一電容性微加工超音波換能器(CMUT)、一CMOS超音波換能器(CUT)、以及一壓電微加工超音波換能器(PMUT)。
  13. 如申請專利範圍第11項之系統，其中該至少一處理器係被整合到一行動智慧型手機或是一平板電腦中。
  14. 如申請專利範圍第11項之系統，其中該至少一處理器係被配置以至少部分藉由以下來導引捕捉：判斷該超音波影像是否包含一目標解剖的切面；響應於判斷該超音波影像並不包含該目標解剖的切面，利用該超音波影像來產生一針對於如何導引該超音波裝置的一操作者來捕捉該對象的一包含該目標解剖的切面的超音波影像的指導計畫；以及根據該產生的指導計畫來提供至少一指令給該操作者。
  15. 如申請專利範圍第14項之系統，其中該指導計畫係包括一連串的指令以導引該超音波裝置的該操作者來移動該超音波裝置至一目標位置。
  16. 如申請專利範圍第15項之系統，其中在該連串的指令中的每一個指令都是一用以在一平移或是旋轉的方向上移動該超音波裝置的指令。
  17. 如申請專利範圍第14項之系統，其中該至少一處理器係被配置以至少部分藉由判斷該超音波影像是否在該對象的一目標區域之內包含該對象的一解剖的切面來產生該指導計畫。
  18. 如申請專利範圍第17項之系統，其中該至少一處理器係被配置以至少部分藉由響應於內含在該超音波影像中的該解剖的切面並不在該目標區域之內的一判斷，來提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得在該對象的該目標區域之內的切面的影像所在的一位置，來提供該至少一指令給該操作者。
  19. 如申請專利範圍第17項之系統，其中該至少一處理器係被配置以至少部分藉由響應於內含在該超音波影像中的該解剖的切面是在該目標區域 之內的一判斷，來提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得該目標解剖的切面的一影像所在的一位置，以提供該至少一指令給該操作者。
  20. 一種方法，其係包含：利用至少一包括至少一處理器的計算裝置以執行；獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；判斷該超音波影像是否包含一目標解剖的切面；響應於判斷該超音波影像並不包含該目標解剖的切面：利用該超音波影像來產生一針對於如何導引該超音波裝置的一操作者來捕捉該對象的一包含該目標解剖的切面的超音波影像的指導計畫；以及根據該產生的指導計畫來提供至少一指令給該操作者。
  21. 如申請專利範圍第20項之方法，其中產生該指導計畫係包括利用一自動化的影像處理技術來識別一內含在該超音波影像中的解剖的切面。
  22. 如申請專利範圍第21項之方法，其中產生該指導計畫係包括利用該識別出的解剖的切面來識別移動該超音波裝置所在的一方向，並且其中提供該至少一指令給該操作者係包括提供一指令給該操作者以在該識別出的方向上移動該超音波裝置。
  23. 如申請專利範圍第22項之方法，其中識別移動該超音波裝置所在的方向係包括識別移動該超音波裝置所在的一平移的方向或是一旋轉的方向。
  24. 如申請專利範圍第20項之方法，其中產生該指導計畫係包括判斷該 超音波影像是否在該對象的一目標區域之內包含該對象的一解剖的切面。
  25. 如申請專利範圍第24項之方法，其中判斷該超音波影像是否在該對象的該目標區域之內包含該對象的該解剖的切面係包括判斷該超音波影像是否包含該對象的軀幹的至少部分的一解剖的切面。
  26. 如申請專利範圍第24項之方法，其進一步包括：響應於內含在該超音波影像中的該解剖的切面並不在該目標區域之內的一判斷，至少部分藉由提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得在該對象的該目標區域之內的切面的影像所在的一位置，來提供該至少一指令給該操作者。
  27. 如申請專利範圍第26項之方法，其中提供該指令給該操作者以移動該超音波裝置朝向該位置係包括提供給該操作者該目標區域所位在之處的一視覺的指出。
  28. 如申請專利範圍第24項之方法，其進一步包括：響應於內含在該超音波影像中的該解剖的切面是在該目標區域之內的一判斷，至少部分藉由提供一指令給該操作者以移動該超音波裝置朝向該超音波裝置可以獲得該目標解剖的切面的一影像所在的一位置，來提供該至少一指令給該操作者。
  29. 如申請專利範圍第28項之方法，其中提供該指令給該操作者來指示該操作者以移動該超音波裝置朝向該位置係包括提供給該操作者移動該超音波裝置所在的一方向的一視覺的指出。
  30. 至少一種非暫態的電腦可讀取的儲存媒體，其儲存處理器可執行的指令，當該些處理器可執行的指令藉由至少一處理器來加以執行時，其係 使得該至少一處理器以：獲得藉由一超音波裝置所捕捉的一對象的一超音波影像；判斷該超音波影像是否包含一目標解剖的切面；響應於該超音波影像並不包含該目標解剖的切面的一判斷，利用該超音波影像來產生一針對於如何導引該超音波裝置的一操作者來捕捉該對象的一包含該目標解剖的切面的超音波影像的指導計畫；以及根據該產生的指導計畫來提供至少一指令給該操作者。
TW106120366A 2016-06-20 2017-06-19 用於協助使用者操作超音波裝置的自動化影像獲取之系統和方法 TWI765895B (zh)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
US201662352382P 2016-06-20 2016-06-20
US62/352,382 2016-06-20
US201662384187P 2016-09-06 2016-09-06
US201662384144P 2016-09-06 2016-09-06
US62/384,187 2016-09-06
US62/384,144 2016-09-06
US201662434980P 2016-12-15 2016-12-15
US62/434,980 2016-12-15
US201762445195P 2017-01-11 2017-01-11
US62/445,195 2017-01-11
US201762453696P 2017-02-02 2017-02-02
US62/453,696 2017-02-02
US201762463094P 2017-02-24 2017-02-24
US62/463,094 2017-02-24

Publications (2)

Publication Number Publication Date
TW201800057A true TW201800057A (zh) 2018-01-01
TWI765895B TWI765895B (zh) 2022-06-01

Family

ID=60661018

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106120366A TWI765895B (zh) 2016-06-20 2017-06-19 用於協助使用者操作超音波裝置的自動化影像獲取之系統和方法

Country Status (9)

Country Link
US (12) US10702242B2 (zh)
EP (2) EP4201340A1 (zh)
JP (2) JP7361470B2 (zh)
KR (1) KR20190021344A (zh)
CN (2) CN109310396B (zh)
AU (2) AU2017281281B2 (zh)
CA (1) CA3026162A1 (zh)
TW (1) TWI765895B (zh)
WO (1) WO2017222970A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI682169B (zh) * 2018-03-29 2020-01-11 佳世達科技股份有限公司 超音波成像方法
TWI691930B (zh) * 2018-09-19 2020-04-21 財團法人工業技術研究院 基於神經網路的分類方法及其分類裝置
TWI691310B (zh) * 2019-01-04 2020-04-21 宏碁股份有限公司 超音波掃描方法與超音波掃描裝置
CN111466948A (zh) * 2019-01-23 2020-07-31 宏碁股份有限公司 超声波扫描方法与超声波扫描装置
TWI720598B (zh) * 2018-11-16 2021-03-01 大陸商北京市商湯科技開發有限公司 關鍵點檢測方法及裝置、電子設備和儲存介質
WO2021110576A1 (en) * 2019-12-02 2021-06-10 Koninklijke Philips N.V. Providing information for assisting in the treatment of a ventilated and sedated patient
TWI746001B (zh) * 2020-06-10 2021-11-11 宏碁股份有限公司 頭戴式裝置及其立體音效控制方法
TWI768288B (zh) * 2020-02-10 2022-06-21 中國醫藥大學 腎臟功能評估方法、腎臟功能評估系統及腎臟照護裝置
US11537460B1 (en) 2021-07-20 2022-12-27 Ml Technology Ltd. Displaying equipment and displaying method capable of quick displaying and system-failure backup mechanism
TWI823416B (zh) * 2022-06-08 2023-11-21 鴻海精密工業股份有限公司 深度估計網路之訓練方法、裝置、電子設備及存儲介質
TWI826321B (zh) * 2018-07-03 2023-12-11 日商優必達株式會社股份有限公司 提高影像品質的方法
TWI832958B (zh) * 2019-01-29 2024-02-21 日商東京威力科創股份有限公司 影像辨識系統及影像辨識方法
TWI843649B (zh) * 2023-09-05 2024-05-21 國立臺灣大學 擴增實境系統及擴增實境方法
TWI882930B (zh) * 2024-11-12 2025-05-01 研華股份有限公司 醫療超音波用途的主機板及直流電力供應電路

Families Citing this family (214)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8187260B1 (en) * 2006-12-29 2012-05-29 Endocare, Inc. Variable cryosurgical probe planning system
US10667790B2 (en) 2012-03-26 2020-06-02 Teratech Corporation Tablet ultrasound system
US9877699B2 (en) 2012-03-26 2018-01-30 Teratech Corporation Tablet ultrasound system
CA3021697A1 (en) 2016-04-21 2017-10-26 The University Of British Columbia Echocardiographic image analysis
JP7361470B2 (ja) 2016-06-20 2023-10-16 バタフライ ネットワーク，インコーポレイテッド ユーザによる超音波装置の操作を援助するための自動画像取得
US12383236B2 (en) * 2016-10-19 2025-08-12 Koninklijke Philips N.V. Ultrasound system with deep learning network providing real time image identification
MX2019004883A (es) 2016-10-28 2019-06-20 Ppg Ind Ohio Inc Revestimientos para incrementar las distancias de deteccion de infrarrojo cercano.
EP3541293A1 (en) * 2016-11-16 2019-09-25 Teratech Corporation Portable ultrasound system
US10627464B2 (en) 2016-11-22 2020-04-21 Hyperfine Research, Inc. Low-field magnetic resonance imaging methods and apparatus
BR112019010225A8 (pt) 2016-11-22 2023-04-04 Hyperfine Res Inc Sistemas e métodos para detecção automatizada em imagens de ressonância magnética
EP3895605A1 (en) * 2016-12-21 2021-10-20 Emory University Methods and systems for determining abnormal cardiac activity
US20210295048A1 (en) * 2017-01-24 2021-09-23 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
US20210327304A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equpment systems
US20210327303A1 (en) * 2017-01-24 2021-10-21 Tienovix, Llc System and method for augmented reality guidance for use of equipment systems
EP3574504A1 (en) * 2017-01-24 2019-12-04 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US11793487B2 (en) * 2017-01-26 2023-10-24 Annamarie Saarinen Transducer array device, method and system for cardiac conditions
WO2018158277A1 (en) * 2017-03-01 2018-09-07 Koninklijke Philips N.V. Echocardiogram context measurement tool
CN106919310A (zh) * 2017-03-07 2017-07-04 肖璐瑶 增强现实实现方法
US11817203B2 (en) * 2017-03-28 2023-11-14 Koninklijke Philips N.V. Ultrasound clinical feature detection and associated devices, systems, and methods
WO2018195821A1 (zh) * 2017-04-26 2018-11-01 深圳迈瑞生物医疗电子股份有限公司 一种图像数据调节方法及设备
WO2018226377A1 (en) * 2017-06-06 2018-12-13 Avent, Inc. System and method for identifying and navigating anatomical objects using deep learning networks
US12437859B2 (en) * 2017-07-05 2025-10-07 General Electric Company Methods and systems for reviewing ultrasound images
US10740607B2 (en) * 2017-08-18 2020-08-11 Autel Robotics Co., Ltd. Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control
EP3675727B1 (en) * 2017-08-31 2024-11-13 BFLY Operations, Inc. Methods and apparatus for collection of ultrasound data
US10671918B2 (en) * 2017-10-24 2020-06-02 International Business Machines Corporation Attention based sequential image processing
JP6943138B2 (ja) * 2017-10-26 2021-09-29 コニカミノルタ株式会社 医用画像処理装置
USD876636S1 (en) 2017-10-27 2020-02-25 Butterfly Networks, Inc. Ultrasound probe housing
US10628932B2 (en) 2017-10-27 2020-04-21 Butterfly Network, Inc. Quality indicators for collection of and automated measurement on ultrasound images
USD846749S1 (en) 2017-10-27 2019-04-23 Butterfly Network, Inc. Ultrasound probe
JP7168664B2 (ja) * 2017-11-02 2022-11-09 コーニンクレッカ フィリップス エヌ ヴェ 画像アーチファクトを検出するインテリジェント超音波システム
JP7065592B2 (ja) * 2017-11-17 2022-05-12 日本光電工業株式会社 超音波プローブ、超音波測定システム
TW201928604A (zh) 2017-12-22 2019-07-16 美商蝴蝶網路公司 用於基於超音波資料來識別姿勢的方法和設備
CN108226404A (zh) * 2017-12-27 2018-06-29 广州安食通信息科技有限公司 一种智能食品检测系统及其实现方法
CN109996023B (zh) * 2017-12-29 2021-06-29 华为技术有限公司 图像处理方法和装置
USD846128S1 (en) 2018-01-12 2019-04-16 Butterfly Network, Inc Ultrasound probe housing
JP7081163B2 (ja) * 2018-01-16 2022-06-07 コニカミノルタ株式会社 超音波診断装置
WO2019145343A1 (en) * 2018-01-24 2019-08-01 Koninklijke Philips N.V. Guided-transcranial ultrasound imaging using neural networks and associated devices, systems, and methods
US10595727B2 (en) * 2018-01-25 2020-03-24 Siemens Healthcare Gmbh Machine learning-based segmentation for cardiac medical imaging
CN111670010B (zh) * 2018-01-31 2024-01-16 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法
CN108324320B (zh) * 2018-02-02 2021-02-09 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） 一种超声探头连接系统及其方法
US11164003B2 (en) * 2018-02-06 2021-11-02 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in video sequences
KR102160828B1 (ko) * 2018-02-06 2020-09-29 (주) 레지에나 초음파를 이용한 피부 시술을 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
EP3759720A4 (en) * 2018-02-27 2021-12-01 Butterfly Network, Inc. TELEMEDICINE PROCESSES AND APPARATUS
US11382601B2 (en) * 2018-03-01 2022-07-12 Fujifilm Sonosite, Inc. Method and apparatus for annotating ultrasound examinations
WO2019174953A1 (en) * 2018-03-12 2019-09-19 Koninklijke Philips N.V. Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods
US11712220B2 (en) * 2018-03-12 2023-08-01 Koninklijke Philips N.V. Ultrasound imaging plane alignment using neural networks and associated devices, systems, and methods
EP3764909A1 (en) * 2018-03-12 2021-01-20 Koninklijke Philips N.V. Ultrasound imaging plane alignment guidance for neural networks and associated devices, systems, and methods
US11950961B2 (en) 2018-03-14 2024-04-09 The Regents Of The University Of California Automated cardiac function assessment by echocardiography
US20190296933A1 (en) * 2018-03-20 2019-09-26 Microsoft Technology Licensing, Llc Controlling Devices Based on Sequence Prediction
CN111971688A (zh) * 2018-04-09 2020-11-20 皇家飞利浦有限公司 具有用于检索复发患者的成像参数设置的人工神经网络的超声系统
US11850038B2 (en) * 2018-04-20 2023-12-26 Koninklijke Philips N.V. Adaptive ultrasound scanning
US20190341149A1 (en) * 2018-05-07 2019-11-07 Medtronic Minimed, Inc. Augmented reality guidance for medical devices
US11553900B2 (en) 2018-05-08 2023-01-17 Fujifilm Sonosite, Inc. Ultrasound system with automated wall tracing
WO2019222478A2 (en) * 2018-05-17 2019-11-21 Teratech Corporation Portable ultrasound system
CN110235172B (zh) * 2018-06-07 2021-07-20 深圳迈瑞生物医疗电子股份有限公司 基于超声影像设备的图像分析方法及超声影像设备
CN108830211A (zh) * 2018-06-11 2018-11-16 厦门中控智慧信息技术有限公司 基于深度学习的人脸识别方法及相关产品
US20190388060A1 (en) * 2018-06-22 2019-12-26 General Electric Company Imaging system and method with live examination completeness monitor
CN112368659B (zh) * 2018-06-26 2024-06-18 发纳科美国公司 具有增强现实的自动动态诊断指导
CN108846840B (zh) * 2018-06-26 2021-11-09 张茂 肺部超声图像分析方法、装置、电子设备及可读存储介质
EP4417136A3 (en) * 2018-07-02 2024-10-23 FUJI-FILM Corporation Acoustic wave diagnostic device and method for controlling acoustic wave diagnostic device
EP3590436A1 (en) 2018-07-06 2020-01-08 Koninklijke Philips N.V. Identifying an optimal image from a number of ultrasound images
EP3823534B1 (en) * 2018-07-18 2025-11-05 Koninklijke Philips N.V. Acquisition workflow and status indicators in a handheld medical scanning device
WO2020016449A1 (en) * 2018-07-20 2020-01-23 Koninklijke Philips N.V. Ultrasound imaging by deep learning and associated devices, systems, and methods
US12245741B2 (en) 2018-07-25 2025-03-11 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for generating and providing artificial intelligence assisted surgical guidance
JP7407790B2 (ja) * 2018-07-26 2024-01-04 コーニンクレッカ フィリップス エヌ ヴェ 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
US20200037998A1 (en) 2018-08-03 2020-02-06 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
US11200811B2 (en) 2018-08-03 2021-12-14 International Business Machines Corporation Intelligent recommendation of guidance instructions
WO2020028740A1 (en) * 2018-08-03 2020-02-06 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
WO2020028746A1 (en) * 2018-08-03 2020-02-06 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data
WO2020033380A1 (en) * 2018-08-07 2020-02-13 Butterfly Network, Inc. Methods and apparatuses for determining and displaying locations on images of body portions based on ultrasound data
WO2020033376A1 (en) 2018-08-07 2020-02-13 Butterfly Network, Inc. Methods and apparatuses for ultrasound imaging of lungs
EP3840665B1 (en) * 2018-08-20 2025-08-13 Butterfly Network, Inc. Apparatuses for guiding collection of ultrasound data
WO2020068306A1 (en) * 2018-08-21 2020-04-02 The Government Of The United States, As Represented By The Secretary Of The Army Systems and methods for ultrasound imaging
WO2020038781A1 (en) * 2018-08-23 2020-02-27 Koninklijke Philips N.V. Biometric measurement and quality assessment
WO2020047038A1 (en) 2018-08-29 2020-03-05 Butterfly Network, Inc. Methods and apparatuses for collection of ultrasound data
US10751029B2 (en) 2018-08-31 2020-08-25 The University Of British Columbia Ultrasonic image analysis
US20200069285A1 (en) * 2018-08-31 2020-03-05 General Electric Company System and method for ultrasound navigation
WO2020051175A1 (en) * 2018-09-04 2020-03-12 University Of South Carolina Combining pulmonary function test data with other clinical data
US10282864B1 (en) * 2018-09-17 2019-05-07 StradVision, Inc. Method and device for encoding image and testing method and testing device using the same
WO2020076856A1 (en) 2018-10-08 2020-04-16 Mcginley Education Innovations, Llc Augmented reality based real-time ultrasonography image rendering for surgical assistance
US12245896B2 (en) 2018-10-16 2025-03-11 Koninklijke Philips N.V. Deep learning-based ultrasound imaging guidance and associated devices, systems, and methods
US12070354B2 (en) * 2018-10-16 2024-08-27 General Electric Company Methods and system for detecting medical imaging scan planes using probe position feedback
US11638572B2 (en) 2018-10-25 2023-05-02 BFLY Operations, Inc Methods and apparatus for performing measurements on an ultrasound image
US11730387B2 (en) * 2018-11-02 2023-08-22 University Of Central Florida Research Foundation, Inc. Method for detection and diagnosis of lung and pancreatic cancers from imaging scans
EP3881236B1 (en) 2018-11-13 2025-04-16 PPG Industries Ohio Inc. Method of detecting a concealed pattern
CN109330626B (zh) * 2018-11-16 2022-04-12 中聚科技股份有限公司 一种自适应调节超声探头位置的装置及方法
TW202022713A (zh) * 2018-12-05 2020-06-16 宏碁股份有限公司 心臟狀態評估方法與系統、電子裝置及超音波掃描裝置
US12056890B2 (en) 2018-12-11 2024-08-06 Synergy A.I. Co. Ltd. Method for measuring volume of organ by using artificial neural network, and apparatus therefor
EP3669787A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. Ultrasound transducer unit with friction guiding function
EP3899969B1 (en) * 2018-12-21 2024-11-13 Siemens Healthineers International AG Methods and systems for radiotherapy treatment planning based on deep transfer learning
CN111374710A (zh) * 2018-12-28 2020-07-07 宏碁股份有限公司 心脏状态评估方法与系统、电子装置及超声波扫描装置
CN109464757B (zh) * 2018-12-29 2021-07-20 上海联影医疗科技股份有限公司 一种确定目标对象位置的方法、系统、装置及存储介质
WO2020142674A1 (en) * 2019-01-04 2020-07-09 Butterfly Network, Inc. Methods and apparatuses for receiving feedback from users regarding automatic calculations performed on ultrasound data
US11561329B2 (en) 2019-01-07 2023-01-24 Ppg Industries Ohio, Inc. Near infrared control coating, articles formed therefrom, and methods of making the same
CN113260313A (zh) * 2019-01-07 2021-08-13 蝴蝶网络有限公司 用于超声数据收集的方法和装置
WO2020146232A1 (en) * 2019-01-07 2020-07-16 Butterfly Network, Inc. Methods and apparatuses for collection of ultrasound data
EP3909039A4 (en) * 2019-01-07 2022-10-05 Butterfly Network, Inc. TELEMEDICINE METHODS AND APPARATUS
JP7180393B2 (ja) * 2019-01-11 2022-11-30 富士通株式会社 学習プログラム、学習装置及び学習方法
JP7192512B2 (ja) 2019-01-11 2022-12-20 富士通株式会社 学習プログラム、学習装置及び学習方法
CN109646047B (zh) * 2019-01-23 2023-12-26 上海浅葱网络技术有限公司 一种超声设备操作引导的显示方法
CN113412086B (zh) * 2019-01-29 2023-08-29 昆山华大智造云影医疗科技有限公司 超声扫描控制方法及系统、超声扫描设备及存储介质
US20200253585A1 (en) * 2019-02-13 2020-08-13 Butterfly Network, Inc. Methods and apparatuses for collecting ultrasound images depicting needles
KR102246408B1 (ko) * 2019-02-14 2021-05-18 엔에이치엔 주식회사 딥러닝 기반 유사상품 제공방법
WO2020166143A1 (ja) * 2019-02-15 2020-08-20 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
WO2020172156A1 (en) 2019-02-18 2020-08-27 Butterfly Network, Inc. Methods and apparatuses enabling a user to manually modify input to a calculation relative to an ultrasound image
JP7204106B2 (ja) * 2019-03-03 2023-01-16 株式会社レキオパワー 超音波プローブ用ナビゲートシステム、および、そのナビゲート表示装置
US11707255B2 (en) * 2019-04-02 2023-07-25 Siemens Medical Solutions Usa, Inc. Image-based probe positioning
WO2020206173A1 (en) 2019-04-03 2020-10-08 Butterfly Network, Inc. Methods and apparatuses for collection and visualization of ultrasound data
WO2020206069A1 (en) * 2019-04-03 2020-10-08 Butterfly Network, Inc. Methods and apparatuses for guiding collection of ultrasound images
EP3955814A4 (en) * 2019-04-16 2022-11-23 Spect Inc. NAVIGATION DEVICE AND MULTIMEDIA DATA CAPTURE
CN113950722A (zh) 2019-05-22 2022-01-18 布弗莱运营公司 用于分析成像数据的方法和装置
WO2020252300A1 (en) 2019-06-14 2020-12-17 Butterfly Network, Inc. Methods and apparatuses for collection of ultrasound data along different elevational steering angles
US11529127B2 (en) 2019-06-25 2022-12-20 Bfly Operations, Inc. Methods and apparatuses for processing ultrasound signals
WO2020263970A1 (en) 2019-06-25 2020-12-30 Butterfly Network, Inc. Methods and apparatuses for processing ultrasound signals
US20220313213A1 (en) * 2019-07-03 2022-10-06 Sony Group Corporation Display device, display method, and ultrasonic diagnostic system
JP7272149B2 (ja) * 2019-07-08 2023-05-12 コニカミノルタ株式会社 選択支援システム及びプログラム
CN110313941B (zh) * 2019-08-01 2021-02-19 无锡海斯凯尔医学技术有限公司 数据处理方法、装置、设备及存储介质
CN114556144A (zh) 2019-08-08 2022-05-27 布弗莱运营公司 用于收集超声图像的方法和装置
EP4014889B1 (en) * 2019-08-15 2024-10-30 FUJIFILM Corporation Ultrasonic system and method for controlling ultrasonic system
US11844654B2 (en) * 2019-08-19 2023-12-19 Caption Health, Inc. Mid-procedure view change for ultrasound diagnostics
CN110503622B (zh) * 2019-08-23 2022-07-01 上海圭目机器人有限公司 基于定位数据的图像全局定位优化拼接方法
US20210052251A1 (en) * 2019-08-23 2021-02-25 Butterfly Network, Inc. Methods and apparatuses for guiding a user to collect ultrasound data
JP7321836B2 (ja) * 2019-08-26 2023-08-07 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
JP7362354B2 (ja) * 2019-08-26 2023-10-17 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
US11602331B2 (en) * 2019-09-11 2023-03-14 GE Precision Healthcare LLC Delivery of therapeutic neuromodulation
US12016724B2 (en) * 2019-09-26 2024-06-25 Koninklijke Philips N.V. Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
WO2021062129A1 (en) * 2019-09-27 2021-04-01 Butterfly Network, Inc. Methods and apparatuses for detecting degraded ultrasound imaging frame rates
CN114513989A (zh) * 2019-09-27 2022-05-17 Bfly经营有限公司 为超声系统配置成像参数值的方法和装置
US20220344034A1 (en) * 2019-09-30 2022-10-27 Koninklijke Philips N.V. Recording ultrasound images
KR102097390B1 (ko) * 2019-10-10 2020-04-06 주식회사 메디씽큐 시선 검출 기반의 스마트 안경 표시 장치
CN112773402A (zh) * 2019-11-09 2021-05-11 无锡祥生医疗科技股份有限公司 智能辅助引导方法、超声诊断设备及存储介质
US12186132B2 (en) 2019-11-21 2025-01-07 Koninklijke Philips N.V. Point-of-care ultrasound (POCUS) scan assistance and associated devices, systems, and methods
JP7379120B2 (ja) * 2019-11-28 2023-11-14 キヤノン株式会社 超音波診断装置、医用画像撮影装置、学習装置、超音波画像表示方法及びプログラム
US11182909B2 (en) * 2019-12-10 2021-11-23 Google Llc Scalable real-time hand tracking
US20210178063A1 (en) 2019-12-13 2021-06-17 Medtronic Minimed, Inc. Controlling medication delivery system operation and features based on automatically detected user stress level
US11488700B2 (en) * 2019-12-13 2022-11-01 Medtronic Minimed, Inc. Medical device configuration procedure guidance responsive to detected gestures
SG10201912715RA (en) * 2019-12-20 2021-07-29 Ultron Techniques Pte Ltd System and method for housekeeping monitoring
CN113116386B (zh) * 2019-12-31 2023-08-04 无锡祥生医疗科技股份有限公司 超声成像引导方法、超声设备及存储介质
CN113116378A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 多模态融合成像方法、超声设备及存储介质
CN112215843B (zh) * 2019-12-31 2021-06-11 无锡祥生医疗科技股份有限公司 超声智能成像导航方法、装置、超声设备及存储介质
KR102144671B1 (ko) * 2020-01-16 2020-08-14 성균관대학교산학협력단 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법
EP3868303A1 (en) * 2020-02-18 2021-08-25 Koninklijke Philips N.V. Ultrasound guidance method and system
WO2021175965A1 (en) * 2020-03-05 2021-09-10 Koninklijke Philips N.V. Ultrasound imaging guidance and associated devices, systems, and methods
US12178652B2 (en) 2020-03-09 2024-12-31 Verdure Imaging, Inc. Apparatus and method for automatic ultrasound segmentation for visualization and measurement
US11246569B2 (en) * 2020-03-09 2022-02-15 Verdure Imaging, Inc. Apparatus and method for automatic ultrasound segmentation for visualization and measurement
EP4129185A4 (en) * 2020-03-30 2023-09-27 FUJIFILM Corporation Imaging assistance device, operation method for same, and operation program
US12023201B2 (en) 2020-04-22 2024-07-02 Bfly Operations, Inc. Methods and apparatuses for beamforming in ultrasound systems using unbuffered data samples
CN111477318B (zh) * 2020-04-25 2022-12-16 华南理工大学 一种用于远程操纵的虚拟超声探头跟踪方法
WO2021222103A1 (en) * 2020-04-27 2021-11-04 Bfly Operations, Inc. Methods and apparatuses for enhancing ultrasound data
US12089988B2 (en) * 2020-04-28 2024-09-17 EchoNous, Inc. Systems and methods for automated physiological parameter estimation from ultrasound image sequences
CN111553467B (zh) * 2020-04-30 2021-06-08 陈永聪 一种实现通用人工智能的方法
IL274382A (en) * 2020-05-01 2021-12-01 Pulsenmore Ltd A system and method for assisting an unskilled patient in performing ultrasound scans himself
US11523801B2 (en) * 2020-05-11 2022-12-13 EchoNous, Inc. Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured
US11532084B2 (en) 2020-05-11 2022-12-20 EchoNous, Inc. Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification
US11478124B2 (en) 2020-06-09 2022-10-25 DOCBOT, Inc. System and methods for enhanced automated endoscopy procedure workflow
JP7555736B2 (ja) * 2020-06-24 2024-09-25 キヤノン株式会社 医用画像診断装置およびマーカー
CN111915568B (zh) * 2020-07-08 2023-07-25 深圳大学 图像篡改定位模型的生成方法、图像篡改定位方法及设备
US12150812B2 (en) * 2020-08-10 2024-11-26 Bard Access Systems, Inc. System and method for generating virtual blood vessel representations in mixed reality
US11850090B2 (en) * 2020-09-23 2023-12-26 GE Precision Healthcare LLC Guided lung coverage and automated detection using ultrasound devices
US12133764B2 (en) * 2020-09-24 2024-11-05 GE Precision Healthcare LLC Systems and methods for an adaptive interface for an ultrasound imaging system
US12079695B2 (en) * 2020-10-01 2024-09-03 Google Llc Scale-permuted machine learning architecture
WO2022080228A1 (ja) * 2020-10-16 2022-04-21 富士フイルム株式会社 超音波診断装置および超音波診断装置の表示方法
CA3096285A1 (en) 2020-10-16 2022-04-16 Pulsemedica Corp. Opthalmological imaging and laser delivery device, system and methods
US11586837B2 (en) * 2020-10-22 2023-02-21 Stryker Corporation Systems and methods for capturing, displaying, and manipulating medical images and videos
US11636593B2 (en) 2020-11-06 2023-04-25 EchoNous, Inc. Robust segmentation through high-level image understanding
US11941503B2 (en) * 2020-11-11 2024-03-26 EchoNous, Inc. Performing inference using an adaptive, hybrid local/remote technique
CA3100460A1 (en) 2020-11-24 2022-05-24 Pulsemedica Corp. Spatial light modulation targeting of therapeutic lasers for treatment of ophthalmological conditions
CN114601493A (zh) * 2020-12-09 2022-06-10 财团法人工业技术研究院 超声波扫描操作引导系统与超声波扫描操作引导方法
CN114694442B (zh) * 2020-12-31 2024-07-02 无锡触典科技有限公司 基于虚拟现实的超声培训方法、装置、存储介质及超声设备
US20220233167A1 (en) * 2021-01-22 2022-07-28 Echo Mind AI Corp Detecting pathologies using an ultrasound probe
US11501502B2 (en) * 2021-03-19 2022-11-15 International Business Machines Corporation Augmented reality guided inspection
US12307556B2 (en) * 2021-03-22 2025-05-20 GE Precision Healthcare LLC Automatic model-based navigation system and method for ultrasound images
US12181443B2 (en) * 2021-03-31 2024-12-31 Baker Hughes Holdings Llc Augmented reality in ultrasonic inspection
US12156762B2 (en) 2021-04-01 2024-12-03 Bfly Operations, Inc. Apparatuses and methods for configuring ultrasound devices
WO2022217360A1 (en) * 2021-04-13 2022-10-20 Machine.Healthcare Ltd Automated detection of indicators of health through analysis of digital images captured by consumer computing devices and stratification of patients based on the same
US12376828B2 (en) 2021-04-19 2025-08-05 Bfly Operations, Inc. Methods and systems for coherence imaging in obtaining ultrasound images
US20220338836A1 (en) * 2021-04-21 2022-10-27 Ultrasight Ltd System and method for guiding positioning and orienting of an ultrasound probe
US11922621B2 (en) 2021-04-26 2024-03-05 Biosense Webster (Israel) Ltd. Automatic frame selection for 3D model construction
US12446857B2 (en) 2021-05-10 2025-10-21 Excera Inc. Multiscale ultrasound tracking and display
WO2022266197A1 (en) * 2021-06-16 2022-12-22 Bfly Operations, Inc. Methods and apparatuses for guiding a user to collect ultrasound images
US11278260B1 (en) 2021-07-09 2022-03-22 Qure.Ai Technologies Private Limited Acquiring ultrasound image
US12329584B2 (en) 2021-07-12 2025-06-17 BFLY Operations, Inc Methods and apparatuses for collection of ultrasound data
CO2021010157A1 (es) * 2021-07-30 2021-11-08 Paulo Andres Escobar Rincon Estación de entrenamiento para procedimientos quirúrgicos
RU2761518C1 (ru) * 2021-07-30 2021-12-09 ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "СберМедИИ" Цифровая платформа для постановки медицинских диагнозов на основе искусственного интеллекта с возможностью верификации врачом
US20230123169A1 (en) * 2021-10-15 2023-04-20 GE Precision Healthcare LLC Methods and systems for use of analysis assistant during ultrasound imaging
US12144686B2 (en) 2021-10-25 2024-11-19 EchoNous, Inc. Automatic depth selection for ultrasound imaging
US12401583B2 (en) 2021-10-27 2025-08-26 GE Precision Healthcare LLC Method and system for monitoring wireless link quality of handheld ultrasound devices
US12465325B2 (en) 2021-10-28 2025-11-11 VisOvum Ltd. Ultrasonic endocavitary imaging system and method
JP2024542684A (ja) 2021-11-30 2024-11-15 パルスメディカ・コーポレイション フロータを検出するためのシステム及び方法
US20240021103A1 (en) * 2021-12-03 2024-01-18 Ambu A/S Endoscopic training system
US20230245410A1 (en) * 2022-01-28 2023-08-03 Apple Inc. Systems and methods of guided instructions or support using a virtual object
US12211609B1 (en) * 2022-02-08 2025-01-28 Nvidia Corporation Ultrasound image synthesis using one or more neural networks
US11944501B2 (en) * 2022-02-16 2024-04-02 GE Precision Healthcare LLC Systems and methods for automatic measurements of medical images
CN114565572B (zh) * 2022-02-22 2025-04-04 南京航空航天大学 一种基于图像序列分析的脑出血ct图像分类方法
US12213840B2 (en) * 2022-03-14 2025-02-04 EchoNous, Inc. Automatically establishing measurement location controls for doppler ultrasound
US20250204888A1 (en) * 2022-03-31 2025-06-26 Bfly Operations, Inc. Methods and systems for acquisition of patient information for ultrasound scans via barcode extraction
EP4539745A1 (en) 2022-06-16 2025-04-23 BFLY Operations, Inc. Method and system for managing ultrasound operations using machine learning and/or non-gui interactions
US20240395388A1 (en) * 2022-07-30 2024-11-28 Reversal Solutions, Inc. Ai-augmented photobiomodulation wellness system with a community of users
WO2024059184A1 (en) * 2022-09-16 2024-03-21 The Johns Hopkins University Machine learning systems and related aspects for the detection of disease states
US12350102B2 (en) * 2022-10-10 2025-07-08 Fujifilm Sonosite, Inc. Ultrasound scanner with display interface
KR102846159B1 (ko) * 2022-10-25 2025-08-13 주식회사 온택트헬스 심장 초음파 영상에 대한 정보 제공 방법 및 이를 이용한 심장 초음파 영상에 대한 정보 제공용 디바이스
WO2024090190A1 (ja) * 2022-10-26 2024-05-02 ソニーグループ株式会社 超音波検査装置、検査方法、およびプログラム
US20240148367A1 (en) * 2022-11-08 2024-05-09 BFLY Operations, Inc Systems and methods for translating ultrasound images
US12288384B2 (en) * 2022-12-19 2025-04-29 Mohamed bin Zayed University of Artifical Intellegence System and method for self-distilled vision transformer for domain generalization
US20240207653A1 (en) * 2022-12-23 2024-06-27 Sanmai Technologies, PBC Imaging-based targeting for trans-cranial focused ultrasound systems
US12183008B2 (en) * 2023-02-13 2024-12-31 Exo Imaging, Inc. Device agnostic systems and methods for acquiring and analyzing images from an ultrasound probe
WO2024190816A1 (ja) * 2023-03-13 2024-09-19 大日本印刷株式会社 プログラム、情報処理方法及び情報処理装置
GB202306231D0 (en) * 2023-04-27 2023-06-14 Intelligent Ultrasound Ltd Method and apparatus for assisting an ultrasound operator
EP4495945A1 (en) * 2023-07-20 2025-01-22 Koninklijke Philips N.V. Manipulating a medical image acquisition system
WO2025021632A1 (en) * 2023-07-21 2025-01-30 Koninklijke Philips N.V. Dynamic ultrasound recommendations
WO2025071725A1 (en) * 2023-09-28 2025-04-03 Exo Imaging, Inc. Systems and methods for using a sweep of images from an ultrasound scanner
CN117017355B (zh) * 2023-10-08 2024-01-12 合肥合滨智能机器人有限公司 一种基于多模态生成式对话的甲状腺自主扫查系统
EP4620405A1 (en) * 2024-03-20 2025-09-24 Ontact Health Co., Ltd. Method for providing guideline for cardiac ultrasound image and device for providing guideline for cardiac ultrasound image using the same
US20250302442A1 (en) * 2024-04-01 2025-10-02 Caption Health, Inc. Guided ultrasound imaging systems

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6358208B1 (en) * 1998-11-21 2002-03-19 Philipp Lang Assessment of cardiovascular performance using ultrasound methods and devices that interrogate interstitial fluid
JP4088104B2 (ja) 2002-06-12 2008-05-21 株式会社東芝 超音波診断装置
GB0221169D0 (en) * 2002-09-12 2002-10-23 Univ Bath Crystal
US20040122707A1 (en) 2002-12-18 2004-06-24 Sabol John M. Patient-driven medical data processing system and method
EP1689290A2 (en) * 2003-10-21 2006-08-16 The Board of Trustees of The Leland Stanford Junior University Systems and methods for intraoperative targeting
US20060074315A1 (en) * 2004-10-04 2006-04-06 Jianming Liang Medical diagnostic ultrasound characterization of cardiac motion
US20060176242A1 (en) 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method
WO2006138643A2 (en) 2005-06-16 2006-12-28 Nomos Corporation System, tracker, and program product to facilitate and verify proper target alignment for radiation delivery, and related methods
US7648460B2 (en) * 2005-08-31 2010-01-19 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging optimization based on anatomy recognition
US20080009733A1 (en) * 2006-06-27 2008-01-10 Ep Medsystems, Inc. Method for Evaluating Regional Ventricular Function and Incoordinate Ventricular Contraction
US20080119731A1 (en) * 2006-11-20 2008-05-22 North American Medical Corporation Portable ultrasound with touch screen interface
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
WO2009117419A2 (en) 2008-03-17 2009-09-24 Worcester Polytechnic Institute Virtual interactive system for ultrasound training
WO2009135255A1 (en) 2008-05-07 2009-11-12 Signostics Pty Ltd Docking system for medical diagnostic scanning using a handheld device
US8194952B2 (en) 2008-06-04 2012-06-05 Raytheon Company Image processing system and methods for aligning skin features for early skin cancer detection systems
US8090443B2 (en) 2008-09-15 2012-01-03 Xiaoyi Min Monitoring HF exacerbation and cardiac resynchronization therapy performance
US9002427B2 (en) 2009-03-30 2015-04-07 Lifewave Biomedical, Inc. Apparatus and method for continuous noninvasive measurement of respiratory function and events
EP2440220A4 (en) * 2009-06-12 2012-12-12 Generex Pharm Inc COMPOSITIONS AND METHOD FOR PREPARING COMPOSITIONS FOR PREVENTING AND TREATING HYPERTENSION
US8343053B2 (en) * 2009-07-21 2013-01-01 Siemens Medical Solutions Usa, Inc. Detection of structure in ultrasound M-mode imaging
JP5643549B2 (ja) 2010-06-11 2014-12-17 任天堂株式会社 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法
KR101656775B1 (ko) * 2010-12-24 2016-09-12 삼성전자주식회사 진단영상을 표시하는 방법, 이를 수행하는 영상처리장치 및 의료영상시스템
WO2012090208A2 (en) * 2010-12-29 2012-07-05 Diacardio Ltd. Automatic left ventricular function evaluation
EP2675345B1 (en) 2011-02-17 2019-03-27 Tyto Care Ltd. System and method for performing an automatic and self-guided medical examination
WO2012123943A1 (en) * 2011-03-17 2012-09-20 Mor Research Applications Ltd. Training, skill assessment and monitoring users in ultrasound guided procedures
US9687204B2 (en) * 2011-05-20 2017-06-27 Siemens Healthcare Gmbh Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images
WO2013035393A1 (ja) * 2011-09-08 2013-03-14 株式会社 日立メディコ 超音波診断装置及び超音波画像表示方法
US20140058755A1 (en) 2011-11-23 2014-02-27 Remedev, Inc. Remotely-executed medical diagnosis and therapy including emergency automation
EP2785256A4 (en) * 2011-12-01 2016-03-30 Neochord Inc SURGICAL NAVIGATION FOR THE REPAIR OF CARDIAC VALVES
WO2013134559A1 (en) 2012-03-07 2013-09-12 Speir Technologies Inc. Methods and systems for tracking and guiding sensors and instruments
JP5832938B2 (ja) 2012-03-15 2015-12-16 富士フイルム株式会社 画像処理装置、方法及びプログラム
WO2013147262A1 (ja) 2012-03-30 2013-10-03 東芝メディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理方法
CN104303075A (zh) * 2012-04-01 2015-01-21 艾里尔大学研究与开发有限公司 用于训练超声成像装置用户的装置
DE102012206350A1 (de) 2012-04-18 2013-10-24 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Betreiben eines Roboters
WO2013161277A1 (ja) * 2012-04-23 2013-10-31 パナソニック株式会社 超音波診断装置およびその制御方法
US8777856B2 (en) 2012-06-26 2014-07-15 General Electric Company Diagnostic system and method for obtaining an ultrasound image frame
US10568586B2 (en) * 2012-10-05 2020-02-25 Volcano Corporation Systems for indicating parameters in an imaging data set and methods of use
CN102999902B (zh) * 2012-11-13 2016-12-21 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位导航方法
US20150124051A1 (en) 2013-11-05 2015-05-07 Robert Schinker Methods and Apparatus for Enhanced Reality Messaging
RU2674228C2 (ru) 2012-12-21 2018-12-05 Конинклейке Филипс Н.В. Анатомически интеллектуальная эхокардиография для места оказания медицинского обслуживания
KR20140095164A (ko) * 2013-01-23 2014-08-01 삼성전자주식회사 초음파 프로브 및 이를 채용한 초음파 의료 시스템
CN204637350U (zh) 2013-03-08 2015-09-16 奥赛拉公司 美学成像与处理系统、多焦点处理系统和执行美容过程的系统
JP5410629B1 (ja) * 2013-05-14 2014-02-05 健司 三木 超音波診断システム、画像処理装置およびその制御方法と制御プログラム
JP6527860B2 (ja) 2013-06-28 2019-06-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ターゲットビューに対する超音波収集フィードバックガイダンス
WO2015039302A1 (en) 2013-09-18 2015-03-26 Shenzhen Mindray Bio-Medical Electronics Co., Ltd Method and system for guided ultrasound image acquisition
JP6041781B2 (ja) * 2013-10-11 2016-12-14 富士フイルム株式会社 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
US9700219B2 (en) 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US12042250B2 (en) * 2013-11-15 2024-07-23 The Regents Of The University Of California Compositions, devices and methods for diagnosing heart failure and for patient-specific modeling to predict outcomes of cardiac resynchronization therapy
JP6890971B2 (ja) * 2013-12-09 2021-06-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． モデルベースセグメンテーションを用いた像撮像誘導
US10835204B2 (en) * 2014-01-02 2020-11-17 Metritrack, Inc. System and method for tracking completeness of co-registered medical image data
JP6479039B2 (ja) 2014-03-31 2019-03-06 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波画像取得に対する触覚フィードバック
US20150272553A1 (en) 2014-04-01 2015-10-01 General Electric Company Ultrasound probe for automated management of data entry for a patient
US20150327841A1 (en) 2014-05-13 2015-11-19 Kabushiki Kaisha Toshiba Tracking in ultrasound for imaging and user interface
KR101705120B1 (ko) * 2014-08-28 2017-02-09 삼성전자 주식회사 자가 진단 및 원격 진단을 위한 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
EP4249953A3 (en) 2014-09-04 2023-11-22 Samsung Medison Co., Ltd. Ultrasound probe and operating method thereof
KR20160046670A (ko) 2014-10-21 2016-04-29 삼성전자주식회사 영상 진단 보조 장치 및 방법
KR102328269B1 (ko) * 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
JP2016097079A (ja) * 2014-11-21 2016-05-30 株式会社東芝 超音波診断装置
EP3136392A1 (en) 2015-08-25 2017-03-01 Thomson Licensing Method and system for embedding and retrieving information through marker transformation
US10335115B2 (en) * 2015-09-03 2019-07-02 Siemens Healthcare Gmbh Multi-view, multi-source registration of moving anatomies and devices
US10646199B2 (en) * 2015-10-19 2020-05-12 Clarius Mobile Health Corp. Systems and methods for remote graphical feedback of ultrasound scanning technique
KR102425141B1 (ko) * 2016-03-09 2022-07-26 에코너스 인코퍼레이티드 인공지능 네트워크를 이용한 초음파 이미지 인식 시스템 및 방법
JP6648587B2 (ja) 2016-03-23 2020-02-14 コニカミノルタ株式会社 超音波診断装置
WO2017182278A1 (en) * 2016-04-19 2017-10-26 Koninklijke Philips N.V. Acoustic registration of internal and external ultrasound probes
CA3021697A1 (en) * 2016-04-21 2017-10-26 The University Of British Columbia Echocardiographic image analysis
JP2019521759A (ja) * 2016-06-17 2019-08-08 チルドレンズ ナショナル メディカル センターＣｈｉｌｄｒｅｎ’Ｓ Ｎａｔｉｏｎａｌ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ 医学的な解剖構造の定量化：コンピュータ支援型診断ツール
JP7361470B2 (ja) 2016-06-20 2023-10-16 バタフライ ネットワーク，インコーポレイテッド ユーザによる超音波装置の操作を援助するための自動画像取得
US10856840B2 (en) 2016-06-20 2020-12-08 Butterfly Network, Inc. Universal ultrasound device and related apparatus and methods

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI682169B (zh) * 2018-03-29 2020-01-11 佳世達科技股份有限公司 超音波成像方法
TWI826321B (zh) * 2018-07-03 2023-12-11 日商優必達株式會社股份有限公司 提高影像品質的方法
TWI691930B (zh) * 2018-09-19 2020-04-21 財團法人工業技術研究院 基於神經網路的分類方法及其分類裝置
US10902314B2 (en) 2018-09-19 2021-01-26 Industrial Technology Research Institute Neural network-based classification method and classification device thereof
TWI720598B (zh) * 2018-11-16 2021-03-01 大陸商北京市商湯科技開發有限公司 關鍵點檢測方法及裝置、電子設備和儲存介質
US11253228B2 (en) 2019-01-04 2022-02-22 Acer Incorporated Ultrasonic scanning method and ultrasonic scanning device
TWI691310B (zh) * 2019-01-04 2020-04-21 宏碁股份有限公司 超音波掃描方法與超音波掃描裝置
CN111466948B (zh) * 2019-01-23 2023-04-07 宏碁股份有限公司 超声波扫描方法与超声波扫描装置
CN111466948A (zh) * 2019-01-23 2020-07-31 宏碁股份有限公司 超声波扫描方法与超声波扫描装置
TWI832958B (zh) * 2019-01-29 2024-02-21 日商東京威力科創股份有限公司 影像辨識系統及影像辨識方法
WO2021110576A1 (en) * 2019-12-02 2021-06-10 Koninklijke Philips N.V. Providing information for assisting in the treatment of a ventilated and sedated patient
TWI768288B (zh) * 2020-02-10 2022-06-21 中國醫藥大學 腎臟功能評估方法、腎臟功能評估系統及腎臟照護裝置
US11571156B2 (en) 2020-02-10 2023-02-07 China Medical University Renal function assessment method, renal function assessment system and kidney care device
TWI746001B (zh) * 2020-06-10 2021-11-11 宏碁股份有限公司 頭戴式裝置及其立體音效控制方法
TWI792581B (zh) * 2021-07-20 2023-02-11 明俐科技有限公司 具快速顯示及系統失效備援機制的顯示設備及顯示方法
US11537460B1 (en) 2021-07-20 2022-12-27 Ml Technology Ltd. Displaying equipment and displaying method capable of quick displaying and system-failure backup mechanism
TWI823416B (zh) * 2022-06-08 2023-11-21 鴻海精密工業股份有限公司 深度估計網路之訓練方法、裝置、電子設備及存儲介質
TWI843649B (zh) * 2023-09-05 2024-05-21 國立臺灣大學 擴增實境系統及擴增實境方法
TWI882930B (zh) * 2024-11-12 2025-05-01 研華股份有限公司 醫療超音波用途的主機板及直流電力供應電路

Also Published As

Publication number Publication date
US20210275145A1 (en) 2021-09-09
US11861887B2 (en) 2024-01-02
US20220167945A1 (en) 2022-06-02
JP2019521745A (ja) 2019-08-08
US20240161491A1 (en) 2024-05-16
US20170360412A1 (en) 2017-12-21
US10993697B2 (en) 2021-05-04
EP4201340A1 (en) 2023-06-28
US11670077B2 (en) 2023-06-06
EP3471623A4 (en) 2020-01-15
KR20190021344A (ko) 2019-03-05
US10856848B2 (en) 2020-12-08
US10959702B2 (en) 2021-03-30
US20170360411A1 (en) 2017-12-21
EP3471623A1 (en) 2019-04-24
JP2022123076A (ja) 2022-08-23
JP7361470B2 (ja) 2023-10-16
US20170360402A1 (en) 2017-12-21
US11928859B2 (en) 2024-03-12
US10702242B2 (en) 2020-07-07
CA3026162A1 (en) 2017-12-28
US11540808B2 (en) 2023-01-03
CN109310396B (zh) 2021-11-09
AU2017281281A1 (en) 2018-12-06
US11185307B2 (en) 2021-11-30
TWI765895B (zh) 2022-06-01
CN109310396A (zh) 2019-02-05
US20170360404A1 (en) 2017-12-21
US11564657B2 (en) 2023-01-31
US20170360401A1 (en) 2017-12-21
CN113876353A (zh) 2022-01-04
AU2022203420A1 (en) 2022-06-09
EP3471623B1 (en) 2023-01-25
US20230117915A1 (en) 2023-04-20
US20170360403A1 (en) 2017-12-21
AU2017281281B2 (en) 2022-03-10
WO2017222970A1 (en) 2017-12-28
US20210052249A1 (en) 2021-02-25
US20200289094A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US11928859B2 (en) Automated image analysis for diagnosing a medical condition
US12109066B2 (en) Methods and apparatus for collection of ultrasound data