[go: up one dir, main page]

WO2021215843A1 - 구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법 - Google Patents

구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법 Download PDF

Info

Publication number
WO2021215843A1
WO2021215843A1 PCT/KR2021/005095 KR2021005095W WO2021215843A1 WO 2021215843 A1 WO2021215843 A1 WO 2021215843A1 KR 2021005095 W KR2021005095 W KR 2021005095W WO 2021215843 A1 WO2021215843 A1 WO 2021215843A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
image
oral
undivided
oral scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/005095
Other languages
English (en)
French (fr)
Inventor
김진철
김진백
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dio Corp
Original Assignee
Dio Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200050085A external-priority patent/KR102383544B1/ko
Priority claimed from KR1020200050086A external-priority patent/KR102383546B1/ko
Application filed by Dio Corp filed Critical Dio Corp
Priority to EP21792744.1A priority Critical patent/EP4140411A4/en
Priority to CN202180025038.2A priority patent/CN115379800A/zh
Priority to US17/996,009 priority patent/US20230215027A1/en
Publication of WO2021215843A1 publication Critical patent/WO2021215843A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
    • A61B2090/3912—Body cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
    • A61B2090/3916—Bone tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to a method for detecting a marker in an oral image, and an apparatus and method for matching an oral image using the same.
  • Image registration refers to processing for transforming such different images and displaying them in one coordinate system.
  • an image registration process between a computed tomography (CT) image and an oral scan image is generally performed before entering the dental implant procedure planning stage.
  • CT computed tomography
  • the image registered through this image registration process becomes the basis for implant planning work that determines the safe and optimal implant placement position by identifying the bone tissue and neural tube position, so the accuracy of image registration is very important in the subsequent procedure.
  • an operator manually inputs a point that is a reference point for image registration, and image registration is performed based on this.
  • 1 is a view showing a marker attached to the inside of the oral cavity for image registration.
  • a plurality of markers 1 is attached to a predetermined position in the oral cavity of the recipient using an adhesive (eg, resin). After that, when a certain time elapses, the adhesive layer 2 is formed between the marker 1 and the gum. At this time, since the amount and shape of the adhesive are different for each attachment position of the marker 1, the shape of the adhesive layer 2 becomes non-uniform.
  • an adhesive eg, resin
  • the marker 1 and the adhesive layer 2 are integrally formed, the marker 1 and the adhesive layer 2 can be detected together.
  • the non-uniform adhesive layer 2 becomes an obstacle to registration during image registration, and causes a problem of lowering the registration accuracy during image registration.
  • An object of the present invention is to provide an oral image registration apparatus and method for detecting a marker in an oral image, but removing a factor that interferes with registration from the detected marker, and automatically performing image registration with high accuracy using the detected marker do it with
  • the present invention provides a method of detecting a marker as a reference in matching an oral scan image and a CT image, the steps of aligning the oral scan image in a horizontal plane direction, Estimating a marker candidate region and detecting an undivided marker in the marker candidate region, and dividing the undivided marker to estimate the marker from the undivided marker, but a region from the upper surface of the undivided marker to a predetermined depth in the lower direction It provides a method for detecting a marker of an oral image comprising the step of estimating as a marker.
  • the present invention provides an apparatus for registering an oral scan image and a CT image using a marker, comprising an image aligning unit that aligns the oral scan image in a horizontal direction, estimating a marker candidate region from the aligned oral scan image, and An undivided marker detecting unit for detecting an undivided marker in the candidate region, dividing the undivided marker and estimating the marker from the undivided marker, and estimating an area up to a certain depth from the upper surface of the undivided marker to the lower side as the marker
  • an oral image matching device including a marker estimator, a marker detector for detecting a marker from a CT image by using the volume information of the marker, and an image matching unit for matching an oral scan image and a CT image using the marker.
  • the present invention provides a method of registering an oral scan image and a CT image, comprising the steps of segmenting a first marker and a first tooth region in an oral scan image, respectively, and integrating the first marker and the first tooth region to obtain a first registration reference point generating a second marker and dividing the second tooth region in the CT image, generating a second registration reference point by integrating the second marker and the second tooth region, and first and second registration
  • an oral image registration method comprising the step of registering an oral scan image and a CT image based on a reference point.
  • the present invention provides an apparatus for matching an oral scan image and a CT image, a first marker divider dividing a first marker in an oral scan image, and a first tooth region dividing a first tooth region in the oral scan image A division unit, a first registration reference point generating unit generating a first registration reference point by integrating the first marker and the first tooth region, a second marker division unit dividing the second marker in the CT image, and a second marker in the CT image.
  • a second tooth region dividing unit dividing the second tooth region, a second registration reference point generator generating a second registration reference point by integrating the second marker and the second tooth region, and the first and second registration reference points based on the first and second registration reference points Provided is an oral image matching device including an image matching unit for matching an oral scan image and a CT image.
  • the user's convenience is improved by detecting a marker in an oral image, but removing the element that interferes with the registration from the detected marker, and automatically performing image registration with high accuracy using the detected marker, and, accordingly It has the effect of reducing the time required for implant planning and improving the accuracy of implant planning.
  • 1 is a view showing a marker attached to the inside of the oral cavity for image registration.
  • FIG. 2 is a schematic block diagram of an oral image registration apparatus according to an embodiment of the present invention.
  • FIG. 3 is a detailed block diagram of a control unit according to the first embodiment of the present invention.
  • FIG. 4 is a flowchart of an oral image registration method according to a first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a marker candidate region estimated from an oral scan image.
  • FIG. 6 is a diagram illustrating an undivided marker detected in the marker candidate region of FIG. 5 .
  • FIG. 7 is a diagram illustrating a marker included in the undivided marker of FIG. 6 and an adhesive layer separately.
  • FIG. 8 is an enlarged view of the undivided marker of FIG. 7 .
  • FIG. 9 is a diagram illustrating markers estimated from an oral scan image.
  • FIG. 10 is a perspective view illustrating a marker according to a first embodiment of the present invention.
  • FIG. 11 is a view illustrating a CT image generated by photographing the oral cavity to which the marker of FIG. 10 is attached.
  • FIG. 12 is a diagram illustrating a marker detected in the CT image of FIG. 11 .
  • FIG. 13 is a diagram illustrating registration of an oral scan image and a CT image using the oral image registration method according to the first embodiment of the present invention.
  • FIG. 14 is a detailed block diagram of a control unit according to a second embodiment of the present invention.
  • 15 is a flowchart of an oral image registration method according to a second embodiment of the present invention.
  • 16 is a diagram illustrating an oral scan image generated by photographing an oral cavity to which a marker is attached.
  • 17 is an enlarged view of an undivided marker.
  • FIG. 18 is a diagram illustrating a marker divided from the undivided marker of FIG. 17 .
  • 19 is a diagram for explaining a method of calculating the curvature of a plurality of meshes included in an oral scan image.
  • FIG. 20 is a diagram illustrating a tooth region divided in an oral scan image based on the curvatures of the plurality of meshes calculated in FIG. 19 .
  • 21 is a diagram illustrating a first matching reference point in an oral scan image.
  • 22 is a view illustrating a CT image generated by photographing an oral cavity to which a marker is attached.
  • FIG. 23 is a diagram illustrating markers detected in the CT image of FIG. 22 .
  • 24 is a diagram illustrating a segmented tooth region in a CT image.
  • 25 is a diagram illustrating a second matching reference point on a CT image.
  • 26 is a diagram illustrating registration of an oral scan image and a CT image using the oral image registration method according to the second embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of an oral image registration apparatus according to an embodiment of the present invention.
  • the oral image registration apparatus 100 is an electronic device executable by a computer program, and uses at least one of a marker and a tooth region as a registration reference point to match an oral scan image and a CT image of a subject. It is a device
  • the tooth region may be one individual tooth or a form in which a plurality of adjacent individual teeth are combined, and the number of markers may be at least one, but is not limited thereto.
  • the marker may be attached to the missing tooth area.
  • the oral scan image may provide information about the shape of the crown portion of the tooth exposed to the outside as a 3D image and the shape of the gum around the tooth.
  • the oral scan image is obtained by directly scanning the inside of the recipient's oral cavity through an oral scanner, etc.
  • the scan image of the impression model can be inverted and used as an oral scan image.
  • the CT image may provide information on not only the crown, but also the shape of the root and alveolar bone, and the bone density of the crown, root, and alveolar bone.
  • the CT image may be obtained by performing a CT scan of the inside of the recipient's oral cavity.
  • the registered image in which the oral scan image and CT image are matched, becomes the basic image of implant planning work that determines the safe and optimal implant placement position by identifying the bone tissue and neural tube position of the recipient.
  • the oral image registration apparatus 100 may include a communication unit 110 , an input unit 120 , a display unit 130 , a storage unit 140 , and a control unit 150 .
  • a communication unit 110 an input unit 120 , a display unit 130 , a storage unit 140 , and a control unit 150 .
  • the communication unit 110 is configured to communicate with an external device such as an image acquisition device (not shown) and a server (not shown), and may receive image data.
  • the communication unit 110 is 5 th generation communication (5G), long term evolution-advanced (LTE-A), long term evolution (LTE), Bluetooth, bluetooth low energe (BLE), near field communication (NFC). It is possible to perform wireless communication such as cable communication and the like, and can perform wired communication such as cable communication.
  • the image data may include oral scan image data and CT image data.
  • the input unit 120 generates input data in response to a user's input, and may include at least one input means.
  • the input unit 120 includes a keyboard, a keypad, a dome switch, a touch panel, a touch key, a mouse, and a menu button ( menu button) and the like.
  • the display unit 130 displays display data according to the operation of the oral image matching apparatus 100 .
  • the display data may include image data.
  • the display unit 130 may include a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, and a micro electromechanical system (MEMS). mechanical systems) displays and electronic paper displays.
  • the display unit 130 may be implemented as a touch screen in combination with the input unit 120 .
  • the storage unit 140 stores various information and programs necessary for the operation of the oral image matching apparatus 100 .
  • the storage unit 140 stores image data received from an image acquisition device, etc., an algorithm related to image alignment, marker and tooth area estimation and detection, and an image registration method according to an embodiment of the present invention, which will be described later. can be saved
  • the storage unit 140 may store a learning model obtained by learning a plurality of learning images by a deep learning method in order to detect a marker and a tooth region.
  • the control unit 150 detects a marker and a tooth region from oral image data received from an image acquisition device or server or pre-stored in the storage unit 140, and matches the oral image data using the detected marker and the tooth region as a reference point. perform the action To this end, the control unit 150 may receive the oral image data from the image acquisition device or the server and store it in the storage unit 140 . Also, the controller 150 may control the operations of the communication unit 110 , the input unit 120 , the display unit 130 , and the storage unit 140 .
  • FIG. 3 is a detailed block diagram of a control unit according to the first embodiment of the present invention.
  • the controller 150 may include an image alignment unit 151a, an undivided marker detection unit 152a, a marker estimator 153a, a marker detection unit 154a, and an image matching unit 155a. have.
  • the image acquisition device acquires an oral scan image and a CT image, respectively, by photographing the inside of the oral cavity to which the marker is attached.
  • the acquired oral scan image and CT image may be directly transmitted to the image alignment unit 151a or may be stored in the storage unit 140 and then transmitted to the image alignment unit 151a.
  • the image alignment unit 151a aligns the oral scan image in a horizontal direction such that the marker faces upward in the oral scan image.
  • the undivided marker detection unit 152a estimates a marker candidate region from the oral scan image aligned by the image alignment unit 151a, and detects an undivided marker from the marker candidate region.
  • the marker estimating unit 153a divides the undivided marker detected by the marker candidate detection unit 152a up and down, and estimates the marker from the undivided marker, from the upper surface of the undivided marker to a predetermined depth in the lower direction.
  • the area is estimated as a marker, and the area other than that is estimated as the adhesive layer.
  • the marker detector 154a detects a marker by using the volume information of the marker in the CT image.
  • the image matching unit 155a matches the oral scan image and the CT image using the markers estimated and detected by the marker estimator 153a and the marker detection unit 154a, respectively.
  • the marker is detected in the oral image, the adhesive layer that interferes with the registration is removed from the detected marker, and the detected marker is used as a registration reference point to obtain an image with high accuracy.
  • the user's convenience is improved, and accordingly, there is an effect of reducing the time required for implant planning and improving the accuracy of implant planning.
  • a method for detecting a marker of an oral image and a method for registering an oral image according to a second embodiment of the present invention is characterized in that the oral image of the recipient is registered, in particular, the edentulous oral image.
  • the oral image of the recipient is registered, in particular, the edentulous oral image.
  • an oral image is taken while a marker is attached to the recipient's gums, and the oral image is matched using this marker as a reference point.
  • FIG. 4 is a flowchart of an oral image registration method according to a second embodiment of the present invention.
  • a marker is attached to a plurality of positions (eg, gums) in the oral cavity of the recipient using an adhesive such as resin.
  • an adhesive such as resin.
  • a heterogeneous image acquisition device captures the inside of the oral cavity to which the marker is attached to acquire an oral scan image and a CT image, respectively.
  • the oral image registration method is a method of registering an oral scan image and a CT image using a marker. Detecting an undivided marker in (S20a), estimating a marker from the undivided marker (S30a), detecting a marker from a CT image (S40a), and using the marker to obtain an oral scan image and a CT image It may include a matching step (S50a).
  • FIG. 5 is a diagram illustrating a marker candidate region estimated from an oral scan image
  • FIG. 6 is a diagram illustrating an undivided marker detected in the marker candidate region of FIG. 5 .
  • the marker 11 and the adhesive layer 12 will be collectively referred to as an undivided marker 11b.
  • the oral scan image 10 is aligned in the horizontal direction so that the marker 11 faces upward in the oral scan image 10 ( S10a ). Then, the candidate marker region 11a is estimated from the aligned oral scan image 10 , and the undivided marker 11b is detected from the candidate marker region 11a ( S20a ).
  • the undivided marker 11b may be detected using a learning model. That is, by using a deep learning method (eg, YOLO (You Only Look Once) algorithm), a plurality of learning images to which the marker 11 is attached to generate a learning model, and to the generated learning model
  • the unsegmented marker 11b may be detected from the oral scan image 10 by inputting the recipient's oral scan image 10 .
  • information on the number, size, and coordinates of the undivided markers 11b may be obtained.
  • the undivided marker 11b includes not only the marker 11 but also the non-uniform adhesive layer 12, that is, since the marker 11 and the adhesive layer 12 are integrally formed, the shape thereof is non-uniform. Accordingly, in order to improve the matching accuracy, it is necessary to divide the marker 11 from the undivided marker 11b.
  • FIG. 7 is a view showing the marker included in the undivided marker of FIG. 6 and the adhesive layer separately
  • FIG. 8 is an enlarged view of the undivided marker of FIG. 7
  • FIG. 9 shows the marker estimated from the oral scan image it is one drawing
  • an area from the top surface of the undivided marker 11b to a predetermined depth d1 in the downward direction is estimated as the marker 11 ( S30a ).
  • an area exceeding the predetermined depth d1 (eg, 5 mm) in the undivided marker 11b is estimated as the adhesive layer 12 interposed between the marker 11 and the gum. That is, an area from the lower surface of the undivided marker 11b to a predetermined height d2 in the upper direction is estimated as the adhesive layer 12 . Accordingly, the marker 11 can be divided from the undivided marker 11b.
  • the undivided marker 11b is detected and the undivided marker 11b
  • the predetermined height d1 is estimated as the adhesive layer 12 interposed between the marker 11 and the gum.
  • FIG. 10 is a perspective view exemplarily showing a marker according to a first embodiment of the present invention
  • FIG. 11 is a view showing a CT image generated by photographing the oral cavity to which the marker of FIG. 10 is attached
  • FIG. 12 is FIG. 11 is a diagram showing a marker detected in the CT image.
  • the marker 11 may have a three-dimensional shape (eg, a cuboid) having a predetermined volume.
  • the volume of the rectangular parallelepiped may be defined as a product of width, length, and height (eg, 4 mm ⁇ 5 mm ⁇ 5 mm).
  • at least three or more markers 11 may be attached to a predetermined position in the oral cavity (eg, gums), but the present invention is not limited thereto.
  • the marker 11 may be made of a radiopaque material (eg, alumina), and the adhesive layer 12 may be made of a radioactive material. Accordingly, in the CT image 20 , the marker 11 including the crown, the root, and the alveolar bone is displayed, but the adhesive layer 12 is not displayed. Accordingly, in the CT image 20 , it is not necessary to divide the marker 11 and the adhesive layer 12 as in the oral scan image 10 . However, it is difficult to accurately detect the marker 11 because it is not easy to distinguish between the crown, tooth root, and alveolar bone and the marker 11 .
  • a radiopaque material eg, alumina
  • the adhesive layer 12 may be made of a radioactive material. Accordingly, in the CT image 20 , the marker 11 including the crown, the root, and the alveolar bone is displayed, but the adhesive layer 12 is not displayed. Accordingly, in the CT image 20 , it is not necessary to divide the marker 11 and the adhesive layer 12 as in the oral scan image 10 . However, it is difficult to accurately
  • the marker 11 is detected in the CT image 20 by using the volume information of the marker 11 (S40a). Specifically, a mask is created in a shape corresponding to the marker 11 by using the volume information of the marker 11 . Then, the marker 11 is searched for in the CT image 20 using the mask, and the marker 11 having a shape corresponding to the mask is detected. Here, information on the number, size, and coordinates of the markers 11 may be obtained.
  • FIG. 13 is a diagram illustrating registration of an oral scan image and a CT image using the oral image registration method according to the first embodiment of the present invention.
  • the oral scan image 10 and the CT image 20 are automatically matched using the marker 11 estimated and detected from the oral scan image 10 and the CT image 20 as a matching reference point. (S50a).
  • the marker 11 is detected in the oral image, but the adhesive layer 12 that interferes with the registration is removed, and the detected marker 11 is used as a registration reference point with high accuracy.
  • Image registration is automatically performed to enhance user convenience, and accordingly, there is an effect of reducing the time required for implant planning and improving the accuracy of implant planning.
  • FIG. 14 is a detailed block diagram of a control unit according to a second embodiment of the present invention.
  • the control unit 150 includes a first marker division unit 151b, a first tooth region division unit 152b, a first registration reference point generation unit 153b, a second marker division unit 154b, It may include a second tooth region dividing unit 155b, a second matching reference point generating unit 156b, and an image matching unit 157b.
  • the image acquisition device acquires an oral scan image and a CT image, respectively, by photographing the inside of the oral cavity to which the marker is attached.
  • the acquired oral scan image and CT image may be directly transmitted to the image alignment unit 151b or may be stored in the storage unit 140 and then transmitted to the image alignment unit 151b.
  • the first marker dividing unit 151b divides the first marker in the oral scan image. Specifically, the first marker dividing unit 151b aligns the oral scan image in a horizontal direction, estimates a marker candidate region from the aligned oral scan image, and detects an undivided marker in the marker candidate region. Then, the first marker is estimated from the undivided marker by dividing the undivided marker, and an area up to a predetermined depth from the upper surface of the undivided marker to the lower side is estimated as the first marker.
  • the first tooth region dividing unit 152b divides the first tooth region in the oral scan image. Specifically, the first tooth region dividing unit 152b calculates curvatures of a plurality of meshes included in the oral scan image, and a boundary between the first tooth region and the gum region in the oral scan image based on the curvatures of the plurality of meshes. to calculate Then, the first tooth area is divided in the oral scan image based on the boundary between the first tooth area and the gum area.
  • the first registration reference point generating unit 153b generates a first registration reference point by integrating the first marker and the first tooth region.
  • the second marker dividing unit 154b divides the second marker in the CT image. Specifically, the second marker dividing unit 154b generates a mask in a shape corresponding to the second marker by using the volume information of the second marker, searches for the second marker in the CT image using the mask, and searches for the second marker. split the
  • the second tooth region dividing unit 155b divides the second tooth region in the CT image. Specifically, the second tooth region dividing unit 155b generates a second learning model by learning the second learning image based on hounsfield unit (HU) values of a plurality of voxels included in the CT image, and performs the second learning. By inputting the oral scan image to a model, a second tooth region is divided in the CT image based on the second training image.
  • HU hounsfield unit
  • the second registration reference point generating unit 156b generates a second registration reference point by integrating the second marker and the second tooth region.
  • the image matching unit 157b matches the oral scan image and the CT image based on the first and second matching reference points.
  • the marker and the tooth area are divided in the oral image, but elements that interfere with registration are removed from the marker, and the image is registered with high accuracy using the divided marker and the tooth area. is performed automatically to enhance the user's convenience, thereby reducing the time required for implant planning and improving the accuracy of implant planning.
  • an oral image is taken while a marker is attached to the gums of the recipient, and the oral image is matched using the marker and the tooth area as a reference point.
  • 15 is a flowchart of an oral image registration method according to a second embodiment of the present invention.
  • a marker is attached to a plurality of positions (eg, gums) in the recipient's oral cavity using an adhesive such as a resin, particularly in the area of a missing tooth.
  • an adhesive such as a resin
  • a heterogeneous image acquisition device captures the inside of the oral cavity to which the marker is attached to acquire an oral scan image and a CT image, respectively.
  • the oral image registration method is a method of registering an oral scan image and a CT image using a marker and a tooth region, and a first marker and a first Segmenting the tooth region (S10b), generating a first registration reference point by integrating the first marker and the first tooth region (S20b), and dividing the second marker and the second tooth region in the CT image (S30b), generating a second registration reference point by integrating the second marker and the second tooth region (S40b), and registering the oral scan image and the CT image based on the first and second registration reference points ( S50b) may be included.
  • FIG. 16 is a view showing an oral scan image generated by photographing an oral cavity to which a marker is attached
  • FIG. 17 is an enlarged view of an undivided marker
  • FIG. 18 is a marker divided from the undivided marker of FIG. It is a drawing.
  • the first marker 11a and the adhesive layer 12 will be collectively referred to as an undivided marker.
  • the oral scan image 10 is aligned in the horizontal direction so that the marker 11a faces upward in the oral scan image 10 . Then, a marker candidate region is estimated from the aligned oral scan image 10 , and an undivided marker is detected from the marker candidate region.
  • the undivided marker may be detected using a learning model. That is, using a deep learning method (eg, You Only Look Once (YOLO) algorithm), a first learning model is generated by learning a plurality of learning images to which the first marker 11a is attached, and the generation
  • the undivided marker may be detected from the oral scan image 10 by inputting the oral scan image 10 of the recipient to the first learning model.
  • a deep learning method eg, You Only Look Once (YOLO) algorithm
  • a first learning model is generated by learning a plurality of learning images to which the first marker 11a is attached, and the generation
  • the undivided marker may be detected from the oral scan image 10 by inputting the oral scan image 10 of the recipient to the first learning model.
  • information on the number, size, and coordinates of undivided markers may be obtained.
  • the undivided marker includes the non-uniform adhesive layer 12 as well as the first marker 11a, that is, since the first marker 11 and the adhesive layer 12 are integrally formed, the shape is non-uniform. Accordingly, in order to improve the matching accuracy, it is necessary to divide the first marker 11a from the undivided marker.
  • an area from the top surface of the undivided marker to a predetermined depth d1 in the downward direction is estimated as the first marker 11a.
  • an area exceeding the predetermined depth d1 (eg, 5 mm) in the undivided marker is estimated as the adhesive layer 12 interposed between the first marker 11a and the gum. That is, an area from the lower surface of the undivided marker to a predetermined height d2 in the upper direction is estimated as the adhesive layer 12 . Accordingly, the marker 11 can be divided from the undivided marker 11b (S10b).
  • the undivided marker is detected and the first marker from the undivided marker (11a) may be divided.
  • the area from the lower surface of the undivided marker to a predetermined height d1 in the upward direction is estimated as the first marker 11a, and the predetermined height d1 (eg, 5 mm) is exceeded in the undivided marker.
  • the area is estimated as the adhesive layer 12 interposed between the first marker 11a and the gum.
  • FIG. 19 is a view for explaining a method of calculating the curvature of a plurality of meshes included in the oral scan image
  • FIG. 20 is a tooth region divided in the oral scan image based on the curvatures of the plurality of meshes calculated in FIG. 19 It is the drawing shown.
  • Curvatures of a plurality of meshes included in the oral scan image 10 are calculated, and a boundary between the first tooth region 13a and the gum region is calculated in the oral scan image 10 based on the curvatures of the plurality of meshes.
  • a plane that includes a normal vector and intersects the mesh surface is drawn in a vertex shared by adjacent meshes, and then the plane is rotated based on the normal and continuously intersects the mesh surface.
  • a number of curves centered on the vertex can be obtained on the mesh surface, and the curvature can be calculated using the angle between these curves and the tangent plane of the vertex.
  • the largest value among these curvatures may be defined as the maximum curvature, and the smallest value may be defined as the minimum curvature.
  • a plane including two curves having the largest maximum curvature and the smallest minimum curvature at the vertex among the calculated curvatures may be defined as a plane of principal curvatures.
  • the Gaussian curvature is defined as the product of the maximum curvature and the minimum curvature
  • the average curvature is defined as the average of the maximum curvature and the minimum curvature.
  • the boundary points are sequentially expanded (dilation) and reduced (erosion) using a morphology calculation algorithm to connect adjacent boundary points.
  • the morphology calculation algorithm is an algorithm for expanding and reducing a region, and is generally used for connecting or disconnecting adjacent points.
  • the boundary between the teeth and the gum area can be further improved because only the connection between adjacent boundary points is performed while maintaining the thickness of the existing boundary point component.
  • the first tooth area 13a may be divided in the oral scan image 10 based on the boundary between the first tooth area 13a and the gum area ( S10b ).
  • 21 is a diagram illustrating a first matching reference point in an oral scan image.
  • the first marker 11a and the first tooth region 13a that are respectively divided in the oral scan image 10 are integrated to serve as a standard for matching the oral scan image 10 and the CT image.
  • a first matching reference point is generated (S20b).
  • FIG. 22 is a diagram illustrating a CT image generated by photographing an oral cavity to which a marker is attached
  • FIG. 23 is a diagram illustrating a marker detected in the CT image of FIG. 22 .
  • the second marker 11b may have a three-dimensional shape (eg, a cuboid) having a predetermined volume.
  • the volume of the rectangular parallelepiped may be defined as a product of width, length, and height (eg, 4 mm ⁇ 5 mm ⁇ 5 mm).
  • at least one second marker 11b may be attached to a predetermined position in the oral cavity (eg, gum), but is not limited thereto.
  • the second marker 11b may be made of a radiopaque material (eg, alumina), and the adhesive layer 12 may be made of a radioactive material. Accordingly, in the CT image 20 , the second marker 11b including the crown, root, and alveolar bone is displayed, but the adhesive layer 12 is not displayed. Accordingly, in the CT image 20 , it is not necessary to divide the second marker 11b and the adhesive layer 12 as in the oral scan image 10 . However, it is difficult to accurately detect the second marker 11b because it is not easy to distinguish between the crown, tooth root, and alveolar bone and the second marker 11b.
  • a radiopaque material eg, alumina
  • the adhesive layer 12 may be made of a radioactive material.
  • the second marker 11b is detected and divided in the CT image 20 using the volume information of the second marker 11b ( S30b). Specifically, a mask is created in a shape corresponding to the second marker 11b by using the volume information of the second marker 11b. Then, the second marker 11b is searched for in the CT image 20 using the mask, and the second marker 11b having a shape corresponding to the mask is detected and divided. Here, information on the number, size, and coordinates of the second markers 11b may be obtained.
  • 24 is a diagram illustrating a segmented tooth region in a CT image.
  • the second tooth region 13b in the CT image 20 may be detected using a learning model. That is, using a deep learning method, a second learning model is generated by learning a second learning image based on hounsfield unit (HU) values of a plurality of voxels included in the CT image 20 , 2 By inputting the CT image 20 to the learning model, the second tooth region 11b is detected from the CT image 20 based on the second learning image.
  • a learning model is generated by learning a second learning image based on hounsfield unit (HU) values of a plurality of voxels included in the CT image 20 , 2
  • HU hounsfield unit
  • 25 is a diagram illustrating a second matching reference point on a CT image.
  • a second matching reference point is generated (S40b).
  • 26 is a diagram illustrating registration of an oral scan image and a CT image by an oral image registration method according to an embodiment of the present invention.
  • the first mark 11a and the first tooth area divided in the oral scan image 10 and the second marker 11b and the second tooth area divided in the CT image 20 are matched as reference points, respectively.
  • the oral scan image 10 and the CT image 20 are automatically matched (S50b).
  • the marker and the tooth region are divided in the oral image, but the elements that interfere with registration are removed from the marker, and the image registration is automatically performed with high accuracy using the divided marker and the tooth region.
  • the method for detecting a marker of an oral image according to the present invention and an apparatus and method for matching an oral image using the same can be used in various dental treatment fields such as implant surgery.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명은, 오랄 스캔 영상 및 CT 영상을 정합하는데 있어 기준이 되는 마커를 검출하는 방법으로서, 오랄 스캔 영상을 수평면 방향으로 정렬하는 단계와, 정렬된 오랄 스캔 영상에서 마커 후보 영역을 추정하고, 마커 후보 영역에서 미분할 마커를 검출하는 단계와, 미분할 마커를 분할하여 미분할 마커에서 마커를 추정하되, 미분할 마커의 상부면에서 하부 방향으로 일정 깊이까지의 영역을 마커로 추정하는 단계를 포함하는 구강 영상의 마커 검출 방법을 제공한다.

Description

구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법
본 발명은 구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법에 관한 것이다.
컴퓨터 비전에서 하나의 장면이나 대상을 다른 시간이나 관점에서 촬영할 경우, 서로 다른 좌표계에 따른 영상이 얻어지게 된다. 영상 정합은 이와 같은 서로 다른 영상을 변형하여 하나의 좌표계에 나타내기 위한 처리를 의미한다.
이와 같은 영상 정합을 통하여 서로 다른 측정 방식을 통해 얻은 영상의 대응 관계를 확인할 수 있다.
치과용 수술 가이드(surgical guide) 소프트웨어에서는 임플란트(dental implant) 시술 계획 단계로 진입하기 전에 일반적으로 CT(Computed Tomography) 영상과 오랄 스캔(Oral Scan) 영상 간의 영상 정합 과정을 거치게 된다.
이러한 영상 정합 과정을 거쳐 정합된 영상은 골조직과 신경관 위치 등을 파악하여 안전하고 최적의 임플란트 식립 위치를 결정하는 임플란트 계획 작업의 기초가 되므로 영상 정합의 정확성은 그 이후 절차 진행에 있어 매우 중요한 의미를 가진다.
종래의 의료용 소프트웨어에서 제공하는 영상 정합 방법은 시술자가 영상 정합의 기준이 되는 포인트를 수동으로 입력하고, 이를 기초로 영상 정합이 이루어지게 된다.
이와 같은 종래의 영상 정합 방법에 따르면, 시술자가 눈으로 대략 판단하여 기준 포인트를 선택하므로 그 결과가 매우 부정확하여 영상 정합 후 시술자의 수동 조작 과정이 필연적으로 따르게 된다. 즉, 시술자는 포인트의 위치를 변경하거나 포인트를 재선택하여 정합 결과를 수정하게 된다. 이와 같이, 종래 기술에 따르면 정합 및 수정의 계속되는 반복 과정으로 인하여 영상 정합에 시술자가 많은 시간을 소비하게 되며, 소비된 시간만큼 만족하는 결과를 얻을 수 없는 문제점이 있었다.
또 다른 종래의 방법으로서, 구강 내 정합 기준으로 활용하기 위한 마커가 포함된 영상을 획득하고, 영상 내의 마커를 기준으로 이종 영상 촬영 장치로부터 획득된 영상을 정합하는 방법을 들 수 있다.
도 1은 영상 정합을 위해 구강 내부에 부착된 마커를 도시한 도면이다.
도 1을 참조하면, 마커(1)는 접착제(예컨대, 레진)를 이용해 피시술자의 구강 내의 정해진 위치에 복수 개로 부착된다. 이 후, 일정 시간이 경과하면 마커(1)와 잇몸 사이에 접착층(2)이 형성된다. 이 때, 마커(1)의 부착 위치 마다 접착제의 양과 형태가 달라 접착층(2)의 형태가 불균일하게 된다.
한편, 영상 정합을 위해 구강 영상에서 마커(1)를 검출함에 있어, 마커(1)와 접착층(2)은 일체로 형성되기 때문에, 마커(1)와 접착층(2)이 함께 검출될 수 있다. 그러나, 이러한 불균일한 접착층(2)은 영상 정합 시 정합에 방해가 요소가 되어, 영상 정합 시 정합 정확도를 떨어지게 하는 문제점을 야기한다.
본 발명은, 구강 영상에서 마커를 검출하되 검출된 마커에서 정합에 방해되는 요소를 제거하고, 검출된 마커를 이용해 높은 정확도로 영상 정합을 자동으로 수행하는 구강 영상 정합 장치 및 방법을 제공하는 것을 목적으로 한다.
전술한 과제를 해결하기 위해, 본 발명은, 오랄 스캔 영상 및 CT 영상을 정합하는데 있어 기준이 되는 마커를 검출하는 방법으로서, 오랄 스캔 영상을 수평면 방향으로 정렬하는 단계와, 정렬된 오랄 스캔 영상에서 마커 후보 영역을 추정하고, 마커 후보 영역에서 미분할 마커를 검출하는 단계와, 미분할 마커를 분할하여 미분할 마커에서 마커를 추정하되, 미분할 마커의 상부면에서 하부 방향으로 일정 깊이까지의 영역을 마커로 추정하는 단계를 포함하는 구강 영상의 마커 검출 방법을 제공한다.
또한, 본 발명은, 마커를 이용하여 오랄 스캔 영상 및 CT 영상을 정합하는 장치로서, 오랄 스캔 영상을 수평면 방향으로 정렬하는 영상 정렬부와, 정렬된 오랄 스캔 영상에서 마커 후보 영역을 추정하고, 마커 후보 영역에서 미분할 마커를 검출하는 미분할 마커 검출부와, 미분할 마커를 분할하여 미분할 마커에서 마커를 추정하되, 미분할 마커의 상부면에서 하부 방향으로 일정 깊이까지의 영역을 마커로 추정하는 마커 추정부와, 마커의 부피 정보를 이용하여 CT 영상에서 마커를 검출하는 마커 검출부와, 마커를 이용해 오랄 스캔 영상 및 CT 영상을 정합하는 영상 정합부를 포함하는 구강 영상 정합 장치를 제공한다.
본 발명은, 오랄 스캔 영상 및 CT 영상을 정합하는 방법으로서, 오랄 스캔 영상에서 제1 마커 및 제1 치아 영역을 각각 분할하는 단계와, 제1 마커 및 제1 치아 영역을 통합하여 제1 정합 기준점을 생성하는 단계와, CT 영상에서 제2 마커 및 제2 치아 영역을 분할하는 단계와, 제2 마커 및 제2 치아 영역을 통합하여 제2 정합 기준점을 생성하는 단계와, 제1 및 제2 정합 기준점을 기초로 오랄 스캔 영상 및 CT 영상을 정합하는 단계를 포함하는 구강 영상 정합 방법을 제공한다.
또한, 본 발명은, 오랄 스캔 영상 및 CT 영상을 정합하는 장치로서, 오랄 스캔 영상에서 제1 마커를 분할하는 제1 마커 분할부와, 오랄 스캔 영상에서 제1 치아 영역을 분할하는 제1 치아 영역 분할부와, 제1 마커 및 제1 치아 영역을 통합하여 제1 정합 기준점을 생성하는 제1 정합 기준점 생성부와, CT 영상에서 제2 마커를 분할하는 제2 마커 분할부와, CT 영상에서 제2 치아 영역을 분할하는 제2 치아 영역 분할부와, 제2 마커 및 제2 치아 영역을 통합하여 제2 정합 기준점을 생성하는 제2 정합 기준점 생성부와, 제1 및 제2 정합 기준점을 기초로 오랄 스캔 영상 및 CT 영상을 정합하는 영상 정합부를 포함하는 구강 영상 정합 장치를 제공한다.
본 발명에 따르면, 구강 영상에서 마커를 검출하되 검출된 마커에서 정합에 방해되는 요소를 제거하고, 검출된 마커를 이용해 높은 정확도로 영상 정합을 자동으로 수행하여 사용자의 편의성을 증진시키고, 이에 수반하여 임플란트 계획에 소요되는 시간 단축 및 임플란트 계획의 정확성을 제고할 수 있는 효과가 있다.
도 1은 영상 정합을 위해 구강 내부에 부착된 마커를 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 구강 영상 정합 장치의 개략적인 블록도이다.
도 3은 본 발명의 제1 실시예에 따른 제어부의 구체적인 블록도이다.
도 4는 본 발명의 제1 실시예에 따른 구강 영상 정합 방법의 순서도이다.
도 5는 오랄 스캔 영상에서 추정한 마커 후보 영역을 도시한 도면이다.
도 6은 도 5의 마커 후보 영역에서 검출한 미분할 마커를 도시한 도면이다.
도 7은 도 6의 미분할 마커에 포함되는 마커와 접착층을 구분하여 도시한 도면이다.
도 8은 도 7의 미분할 마커를 확대한 도면이다.
도 9는 오랄 스캔 영상에서 추정한 마커를 도시한 도면이다.
도 10은 본 발명의 제1 실시예에 따른 마커를 예시적으로 도시한 사시도이다.
도 11은 도 10의 마커가 부착된 구강을 촬영하여 생성된 CT 영상을 도시한 도면이다.
도 12는 도 11의 CT 영상에서 검출한 마커를 도시한 도면이다.
도 13은 본 발명의 제1 실시예에 따른 구강 영상 정합 방법으로 오랄 스캔 영상과 CT 영상을 정합한 도면이다.
도 14은 본 발명의 제2 실시예에 따른 제어부의 구체적인 블록도이다.
도 15는 본 발명의 제2 실시예에 따른 구강 영상 정합 방법의 순서도이다.
도 16은 마커가 부착된 구강을 촬영하여 생성된 오랄 스캔 영상을 도시한 도면이다.
도 17은 미분할 마커를 확대한 도면이다.
도 18은 도 17의 미분할 마커에서 분할한 마커를 도시한 도면이다.
도 19는 오랄 스캔 영상에 포함되는 복수의 메쉬의 곡률을 산출하는 방법을 설명하기 위한 도면이다.
도 20은 도 19에서 산출한 복수의 메쉬의 곡률을 기초로 오랄 스캔 영상에서 분할된 치아 영역을 도시한 도면이다.
도 21은 오랄 스캔 영상에 제1 정합 기준점을 도시한 도면이다.
도 22는 마커가 부착된 구강을 촬영하여 생성된 CT 영상을 도시한 도면이다.
도 23은 도 22의 CT 영상에서 검출한 마커를 도시한 도면이다.
도 24는 CT 영상에서 분할된 치아 영역을 도시한 도면이다.
도 25는 CT 영상에 제2 정합 기준점을 도시한 도면이다.
도 26은 본 발명의 제2 실시예에 따른 구강 영상 정합 방법으로 오랄 스캔 영상과 CT 영상을 정합한 도면이다.
본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 구강 영상 정합 장치의 개략적인 블록도이다.
본 발명의 실시예에 따른 구강 영상 정합 장치(100)는, 컴퓨터 프로그램에 의해 실행 가능한 전자 장치로서, 마커 및 치아 영역 중 적어도 하나를 정합 기준점으로 이용하여 피시술자의 오랄 스캔 영상과 CT 영상을 정합하는 장치이다. 여기서, 치아 영역은 하나의 개별 치아이거나 인접한 복수의 개별 치아가 합쳐진 형태일 수 있으며, 마커는 적어도 하나 이상일 수 있으나 이에 한정되는 것은 아니다. 또한, 마커는 결손 치아 영역에 부착될 수 있다.
오랄 스캔 영상은, 3차원 영상으로서 외부로 드러난 치아의 치관 부분의 형상과 치아 주변의 잇몸 형상에 대한 정보를 제공할 수 있다. 이때, 오랄 스캔 영상은 오랄 스캐너(oral scanner) 등을 통해 피시술자의 구강 내부를 직접 스캔하여 획득되거나 피시술자의 구강 내부를 음각으로 본뜬 인상 모델이나 인상 모델의 양각을 통해 생성한 석고 모델을 스캔하여 획득될 수 있으며, 인상 모델의 스캔 이미지는 반전되어 오랄 스캔 영상으로 사용될 수 있다.
CT 영상은, 3차원 영상으로서 치관뿐만 아니라 치근과, 치조골의 형상 및 치관, 치근 및 치조골의 골밀도에 대한 정보를 제공할 수 있다. 이 때, CT 영상은 피시술자의 구강 내부를 CT 촬영하여 획득될 수 있다.
오랄 스캔 영상과 CT 영상이 정합된 정합 영상은, 피시술자의 골조직과 신경관 위치 등을 파악하여 안전하고 최적의 임플란트 식립 위치를 결정하는 임플란트 계획 작업의 기초 영상이 된다.
도 2를 참조하면, 본 발명의 실시예에 따른 구강 영상 정합 장치(100)는, 통신부(110), 입력부(120), 표시부(130), 저장부(140) 및 제어부(150)를 포함할 수 있다.
통신부(110)는 영상 획득 장치(미도시) 및 서버(미도시) 등의 외부 장치와의 통신을 수행하는 구성으로서, 영상 데이터를 수신할 수 있다. 예를 들어, 통신부(110)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energe), NFC(near field communication) 등의 무선 통신을 수행할 수 있고, 케이블 통신 등의 유선 통신을 수행할 수 있다. 이때, 영상 데이터는 오랄 스캔 영상 데이터 및 CT 영상 데이터를 포함할 수 있다.
입력부(120)는 사용자의 입력에 대응하여, 입력 데이터를 생성하며, 적어도 하나의 입력 수단을 포함할 수 있다. 예를 들어, 입력부(120)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있다.
표시부(130)는 구강 영상 정합 장치(100)의 동작에 따른 표시 데이터를 표시한다. 이러한 표시 데이터에는 영상 데이터가 포함될 수 있다. 예를 들어, 표시부(130)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 또한, 표시부(130)는 입력부(120)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다.
저장부(140)는 구강 영상 정합 장치(100)의 동작에 필요한 각종 정보와 프로그램들을 저장한다. 예를 들어, 저장부(140)는 영상 획득 장치 등으로부터 수신된 영상 데이터와, 후술할 본 발명의 실시예에 따른 영상 정렬, 마커 및 치아 영역 추정 및 검출과, 영상 정합 방법에 관련된 알고리즘 등을 저장할 수 있다. 또한, 저장부(140)는 마커 및 치아 영역을 검출하기 위해, 딥러닝(deep learning) 방법으로 다수의 학습 영상을 학습한 학습 모델을 저장할 수 있다.
제어부(150)는, 영상 획득 장치 또는 서버 등으로부터 수신되거나 저장부(140)에 기 저장된 구강 영상 데이터에서 마커 및 치아 영역을 검출하고 검출된 마커 및 치아 영역을 기준점으로 하여 구강 영상 데이터들을 정합하는 동작을 수행한다. 이를 위해, 제어부(150)는 영상 획득 장치 또는 서버 등으로부터 구강 영상 데이터를 수신하여 저장부(140)에 저장할 수 있다. 또한, 제어부(150)는 통신부(110), 입력부(120), 표시부(130) 및 저장부(140)의 동작을 제어할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 제어부의 구체적인 블록도이다.
도 3을 참조하면, 제어부(150)는, 영상 정렬부(151a), 미분할 마커 검출부(152a), 마커 추정부(153a), 마커 검출부(154a) 및 영상 정합부(155a)를 포함할 수 있다.
먼저, 영상 획득 장치는 마커가 부착된 구강 내부를 촬영하여 오랄 스캔 영상 및 CT 영상을 각각 획득한다. 이때, 획득된 오랄 스캔 영상 및 CT 영상은, 영상 정렬부(151a)에 직접 전송되거나, 저장부(140)에 저장된 후 영상 정렬부(151a)로 전송될 수 있다.
영상 정렬부(151a)는, 오랄 스캔 영상에서 마커가 위를 향하도록 오랄 스캔 영상을 수평면 방향으로 정렬한다.
미분할 마커 검출부(152a)는, 영상 정렬부(151a)에 의해 정렬된 오랄 스캔 영상에서 마커 후보 영역을 추정하고, 마커 후보 영역에서 미분할 마커를 검출한다.
마커 추정부(153a)는, 마커 후보 검출부(152a)에 의해 검출된 미분할 마커를 상하로 분할하여, 미분할 마커에서 마커를 추정하되, 미분할 마커의 상부면에서 하부 방향으로 일정 깊이까지의 영역을 마커로 추정하고, 그 이외의 영역을 접착층으로 추정한다.
마커 검출부(154a)는, CT 영상에서 마커의 부피 정보를 이용하여 마커를 검출한다.
영상 정합부(155a)는, 마커 추정부(153a) 및 마커 검출부(154a)에 의해 각각 추정 및 검출된 마커를 이용해 오랄 스캔 영상 및 CT 영상을 정합한다.
이와 같이, 본 발명의 구강 영상 정합 장치(100)에 따르면, 구강 영상에서 마커를 검출하되, 검출된 마커에서 정합에 방해가 되는 접착층을 제거하고, 검출된 마커를 정합 기준점으로 이용해 높은 정확도로 영상 정합을 자동으로 수행하여 사용자의 편의성을 증진시키고, 이에 수반하여 임플란트 계획에 소요되는 시간 단축 및 임플란트 계획의 정확성을 제고할 수 있는 효과가 있다.
이하, 제어부(150)에 의해 제어 동작되는 본 발명의 실시예에 따른 구강 영상의 마커 검출 방법 및 구강 영상 정합 방법에 대하여 설명하도록 한다.
본 발명의 제2 실시예에 따른 구강 영상의 마커 검출 방법 및 구강 영상 정합 방법은, 피시술자의 구강 영상 특히, 무치악 구강 영상을 정합하는 것을 특징으로 한다. 여기서, 무치악은 정합의 기준점을 삼을 수 있는 치아가 존재하지 않기 때문에 피시술자의 잇몸에 마커를 부착한 상태에서 구강 영상을 촬영하고, 이 마커를 기준점으로 하여 구강 영상을 정합한다.
도 4는 본 발명의 제2 실시예에 따른 구강 영상 정합 방법의 순서도이다.
먼저, 피시술자의 구강 내 복수의 위치(예컨대, 잇몸)에 마커를 레진 등의 접착제를 이용해 부착한다. 이 때, 일정 시간이 경과하면 마커와 잇몸 사이에 접착층이 형성된다. 이후, 마커가 부착된 구강 내부를 이종의 영상 획득 장치가 촬영하여 오랄 스캔 영상 및 CT 영상을 각각 획득한다.
도 4를 참조하면, 본 발명의 실시예에 따른 구강 영상 정합 방법은, 마커를 이용하여 오랄 스캔 영상 및 CT 영상을 정합하는 방법으로서, 오랄 스캔 영상을 정렬하는 단계(S10a)와, 마커 후보 영역에서 미분할 마커를 검출하는 단계(S20a)와, 미분할 마커에서 마커를 추정하는 단계(S30a)와, CT 영상에서 마커를 검출하는 단계(S40a)와, 마커를 이용해 오랄 스캔 영상 및 CT 영상을 정합하는 단계(S50a)를 포함할 수 있다.
도 5는 오랄 스캔 영상에서 추정한 마커 후보 영역을 도시한 도면이고, 도 6은 도 5의 마커 후보 영역에서 검출한 미분할 마커를 도시한 도면이다.
이하에서는 마커(11) 및 접착층(12)을 통칭하여 미분할 마커(11b)라고 하겠다.
도 4 내지 도 6을 참조하면, 오랄 스캔 영상(10)에서 마커(11)가 위를 향하도록 오랄 스캔 영상(10)을 수평면 방향으로 정렬한다(S10a). 그리고, 정렬된 오랄 스캔 영상(10)에서 마커 후보 영역(11a)을 추정하고, 마커 후보 영역(11a)에서 미분할 마커(11b)를 검출한다(S20a).
미분할 마커(11b)는 학습 모델을 이용하여 검출될 수 있다. 즉, 딥러닝(deep learning) 방법(예컨대, YOLO(You Only Look Once) 알고리즘)을 이용하여, 마커(11)가 부착된 다수의 학습 영상을 학습하여 학습 모델을 생성하고, 생성된 학습 모델에 피시술자의 오랄 스캔 영상(10)을 입력하여 오랄 스캔 영상(10)에서 미분할 마커(11b)를 검출할 수 있다. 여기서, 미분할 마커(11b)의 개수, 크기 및 좌표 정보가 획득될 수 있다.
미분할 마커(11b)는, 마커(11) 뿐만 아니라 불균일한 접착층(12)을 포함하기 때문에, 즉, 마커(11)와 접착층(12)이 일체로 형성되기 때문에, 그 형태가 불균일하다. 이에 따라, 정합 정확도를 향상시키기 위해, 미분할 마커(11b)에서 마커(11)를 분할할 필요가 있다.
도 7은 도 6의 미분할 마커에 포함되는 마커와 접착층을 구분하여 도시한 도면이고, 도 8은 도 7의 미분할 마커를 확대한 도면이고, 도 9는 오랄 스캔 영상에서 추정한 마커를 도시한 도면이다.
도 7 내지 도 9를 참조하면, 미분할 마커(11b)의 상부면에서 하부 방향으로 일정 깊이(d1)까지의 영역을 마커(11)로 추정한다(S30a). 그리고, 미분할 마커(11b)에서 상기 일정 깊이(d1)(예컨대, 5mm)를 초과하는 영역을 마커(11) 및 잇몸 사이에 개재되는 접착층(12)으로 추정한다. 즉, 미분할 마커(11b)의 하부면에서 상부 방향으로 일정 높이(d2)까지의 영역을 접착층(12)으로 추정한다. 이에 따라, 미분할 마커(11b)에서 마커(11)를 분할할 수 있다.
한편, 도면과 달리, 오랄 스캔 영상(10)에서 마커(11)가 아래를 향하도록 오랄 스캔 영상(10)을 수평면 방향으로 정렬하여, 미분할 마커(11b)를 검출하고 미분할 마커(11b)에서 마커(11)를 분할할 수도 있다. 이 때, 미분할 마커(11b)의 하부면에서 상부 방향으로 일정 높이(d1)까지의 영역을 마커(11)로 추정하고, 미분할 마커(11b)에서 상기 일정 높이(d1)(예컨대, 5mm)를 초과하는 영역을 마커(11) 및 잇몸 사이에 개재되는 접착층(12)으로 추정한다.
도 10은 본 발명의 제1 실시예에 따른 마커를 예시적으로 도시한 사시도이고, 도 11은 도 10의 마커가 부착된 구강을 촬영하여 생성된 CT 영상을 도시한 도면이고, 도 12는 도 11의 CT 영상에서 검출한 마커를 도시한 도면이다.
도 10 내지 도 12를 참조하면, 마커(11)는 일정 부피를 갖는 3차원 형상(예컨대, 직육면체)일 수 있다. 여기서, 직육면체의 부피는 가로, 세로 및 높이의 곱(예컨대, 4mm×5mm×5mm)으로 정의될 수 있다. 또한, 마커(11)는 구강(예컨대, 잇몸) 내의 일정 위치에 적어도 3개 이상 부착될 수 있으나 이에 한정되는 것은 아니다.
한편, 도 11을 참조하면, 마커(11)는 방사선 불투과성 재질(예컨대, 알루미나)로 이루어지고, 접착층(12)은 방사선 투과성 소재로 이루어질 수 있다. 이에 따라, CT 영상(20)에서 치관, 치근, 치조골을 포함하여 마커(11)는 표시되지만, 접착층(12)은 표시되지 않는다. 따라서, CT 영상(20)에서는 오랄 스캔 영상(10)과 같이 마커(11)와 접착층(12)을 분할할 필요가 없다. 다만, 치관, 치근 및 치조골과 마커(11) 간 구별이 용이하지 않아 마커(11)를 정확히 검출하기 어렵다.
이와 같이 CT 영상(20)에서 마커(11)를 정확히 검출하기 위해, 마커(11)의 부피 정보를 이용하여 CT 영상(20)에서 마커(11)를 검출한다(S40a). 구체적으로, 마커(11)의 부피 정보를 이용하여 마커(11)에 대응하는 형상으로 마스크를 생성한다. 그리고, 마스크를 이용하여 CT 영상(20)에서 마커(11)를 탐색하여, 마스크에 대응하는 형상인 마커(11)를 검출한다. 여기서, 마커(11)의 개수, 크기 및 좌표 정보가 획득될 수 있다.
도 13은 본 발명의 제1 실시예에 따른 구강 영상 정합 방법으로 오랄 스캔 영상과 CT 영상을 정합한 도면이다.
도 13을 참조하면, 오랄 스캔 영상(10)과 CT 영상(20)에서 각각 추정 및 검출한 마커(11)를 정합 기준점으로 하여 오랄 스캔 영상(10) 및 CT 영상(20)을 자동으로 정합한다(S50a).
이와 같이, 본 발명의 구강 영상 정합 방법에 따르면, 구강 영상에서 마커(11)를 검출하되 정합에 방해가 되는 접착층(12)을 제거하고, 검출된 마커(11)를 정합 기준점으로 이용해 높은 정확도로 영상 정합을 자동으로 수행하여 사용자의 편의성을 증진시키고, 이에 수반하여 임플란트 계획에 소요되는 시간 단축 및 임플란트 계획의 정확성을 제고할 수 있는 효과가 있다.
도 14는 본 발명의 제2 실시예에 따른 제어부의 구체적인 블록도이다.
도 14를 참조하면, 제어부(150)는, 제1 마커 분할부(151b), 제1 치아 영역 분할부(152b), 제1 정합 기준점 생성부(153b), 제2 마커 분할부(154b), 제2 치아 영역 분할부(155b), 제2 정합 기준점 생성부(156b) 및 영상 정합부(157b)를 포함할 수 있다.
먼저, 영상 획득 장치는 마커가 부착된 구강 내부를 촬영하여 오랄 스캔 영상 및 CT 영상을 각각 획득한다. 이때, 획득된 오랄 스캔 영상 및 CT 영상은, 영상 정렬부(151b)에 직접 전송되거나, 저장부(140)에 저장된 후 영상 정렬부(151b)로 전송될 수 있다.
제1 마커 분할부(151b)는 오랄 스캔 영상에서 제1 마커를 분할한다. 구체적으로, 제1 마커 분할부(151b)는 오랄 스캔 영상을 수평면 방향으로 정렬하고, 정렬된 오랄 스캔 영상에서 마커 후보 영역을 추정하고, 마커 후보 영역에서 미분할 마커를 검출한다. 그리고, 미분할 마커를 분할하여 미분할 마커에서 제1 마커를 추정하되, 미분할 마커의 상부면에서 하부 방향으로 일정 깊이까지의 영역을 제1 마커로 추정한다.
제1 치아 영역 분할부(152b)는 오랄 스캔 영상에서 제1 치아 영역을 분할한다. 구체적으로, 제1 치아 영역 분할부(152b)는, 오랄 스캔 영상에 포함되는 복수의 메쉬의 곡률을 산출하고, 복수의 메쉬의 곡률을 기초로 오랄 스캔 영상에서 제1 치아 영역 및 잇몸 영역의 경계를 산출한다. 그리고, 제1 치아 영역 및 잇몸 영역의 경계를 기초로 오랄 스캔 영상에서 상기 제1 치아 영역을 분할한다.
제1 정합 기준점 생성부(153b)는 제1 마커 및 제1 치아 영역을 통합하여 제1 정합 기준점을 생성한다.
제2 마커 분할부(154b)는 CT 영상에서 제2 마커를 분할한다. 구체적으로, 제2 마커 분할부(154b)는 제2 마커의 부피 정보를 이용하여 제2 마커에 대응하는 형상으로 마스크를 생성하고, 마스크를 이용하여 CT 영상에서 제2 마커를 탐색하여 제2 마커를 분할한다.
제2 치아 영역 분할부(155b)는 CT 영상에서 제2 치아 영역을 분할한다. 구체적으로, 제2 치아 영역 분할부(155b)는, CT 영상에 포함되는 복수의 복셀의 HU(hounsfield unit)값을 기초로 제2 학습 영상을 학습하여 제2 학습 모델을 생성하고, 제2 학습 모델에 상기 오랄 스캔 영상을 입력하여, 제2 학습 영상을 기반으로 CT 영상에서 제2 치아 영역을 분할한다.
제2 정합 기준점 생성부(156b)는 제2 마커 및 제2 치아 영역을 통합하여 제2 정합 기준점을 생성한다. 그리고, 영상 정합부(157b)는 제1 및 제2 정합 기준점을 기초로 오랄 스캔 영상 및 CT 영상을 정합한다.
이와 같이, 본 발명의 구강 영상 정합 장치(100)에 따르면, 구강 영상에서 마커 및 치아 영역을 분할하되 마커에서 정합에 방해되는 요소를 제거하고, 분할된 마커 및 치아 영역을 이용해 높은 정확도로 영상 정합을 자동으로 수행하여 사용자의 편의성을 증진시키고, 이에 수반하여 임플란트 계획에 소요되는 시간 단축 및 임플란트 계획의 정확성을 제고할 수 있는 효과가 있다.
이하, 제어부(150)에 의해 제어 동작되는 본 발명의 제2 실시예에 따른 구강 영상의 구강 영상 정합 방법에 대하여 설명하도록 한다.
본 발명의 제2 실시예에 따른 구강 영상 정합 방법은, 피시술자의 잇몸에 마커를 부착한 상태에서 구강 영상을 촬영하고, 이 마커와 치아 영역을 기준점으로 하여 구강 영상을 정합한다.
도 15는 본 발명의 제2 실시예에 따른 구강 영상 정합 방법의 순서도이다.
먼저, 피시술자의 구강 내 복수의 위치(예컨대, 잇몸) 특히, 결손 치아 영역에 마커를 레진 등의 접착제를 이용해 부착한다. 이 때, 일정 시간이 경과하면 마커와 잇몸 사이에 접착층이 형성된다. 이후, 마커가 부착된 구강 내부를 이종의 영상 획득 장치가 촬영하여 오랄 스캔 영상 및 CT 영상을 각각 획득한다.
도 15를 참조하면, 본 발명의 제2 실시예에 따른 구강 영상 정합 방법은, 마커 및 치아 영역을 이용하여 오랄 스캔 영상 및 CT 영상을 정합하는 방법으로서, 오랄 스캔 영상에서 제1 마커 및 제1 치아 영역을 분할하는 단계(S10b)와, 제1 마커 및 제1 치아 영역을 통합하여 제1 정합 기준점을 생성하는 단계(S20b)와, CT 영상에서 제2 마커 및 제2 치아 영역을 분할하는 단계(S30b)와, 제2 마커 및 제2 치아 영역을 통합하여 제2 정합 기준점을 생성하는 단계(S40b)와, 제1 및 제2 정합 기준점을 기초로 오랄 스캔 영상 및 CT 영상을 정합하는 단계(S50b)를 포함할 수 있다.
도 16은 마커가 부착된 구강을 촬영하여 생성된 오랄 스캔 영상을 도시한 도면이고, 도 17은 미분할 마커를 확대한 도면이고, 도 18은 도 17의 미분할 마커에서 분할한 마커를 도시한 도면이다.
이하 도 16 내지 도 18을 참조하여 오랄 스캔 영상(10)에서 제1 마커(11a)를 분할하는 방법을 설명하겠다. 이하에서는 제1 마커(11a) 및 접착층(12)을 통칭하여 미분할 마커라고 하겠다.
오랄 스캔 영상(10)에서 마커(11a)가 위를 향하도록 오랄 스캔 영상(10)을 수평면 방향으로 정렬한다. 그리고, 정렬된 오랄 스캔 영상(10)에서 마커 후보 영역을 추정하고, 마커 후보 영역에서 미분할 마커를 검출한다.
미분할 마커는 학습 모델을 이용하여 검출될 수 있다. 즉, 딥러닝(deep learning) 방법(예컨대, YOLO(You Only Look Once) 알고리즘)을 이용하여, 제1 마커(11a)가 부착된 다수의 학습 영상을 학습하여 제1 학습 모델을 생성하고, 생성된 제1 학습 모델에 피시술자의 오랄 스캔 영상(10)을 입력하여 오랄 스캔 영상(10)에서 미분할 마커를 검출할 수 있다. 여기서, 미분할 마커의 개수, 크기 및 좌표 정보가 획득될 수 있다.
미분할 마커는, 제1 마커(11a) 뿐만 아니라 불균일한 접착층(12)을 포함하기 때문에, 즉, 제1 마커(11)와 접착층(12)이 일체로 형성되기 때문에, 그 형태가 불균일하다. 이에 따라, 정합 정확도를 향상시키기 위해, 미분할 마커에서 제1 마커(11a)를 분할할 필요가 있다.
도 17를 참조하면, 미분할 마커의 상부면에서 하부 방향으로 일정 깊이(d1)까지의 영역을 제1 마커(11a)로 추정한다. 그리고, 미분할 마커에서 상기 일정 깊이(d1)(예컨대, 5mm)를 초과하는 영역을 제1 마커(11a) 및 잇몸 사이에 개재되는 접착층(12)으로 추정한다. 즉, 미분할 마커의 하부면에서 상부 방향으로 일정 높이(d2)까지의 영역을 접착층(12)으로 추정한다. 이에 따라, 미분할 마커(11b)에서 마커(11)를 분할할 수 있다(S10b).
한편, 도면과 달리, 오랄 스캔 영상(10)에서 제1 마커(11a)가 아래를 향하도록 오랄 스캔 영상(10)을 수평면 방향으로 정렬하여, 미분할 마커를 검출하고 미분할 마커에서 제1 마커(11a)를 분할할 수도 있다. 이 때, 미분할 마커의 하부면에서 상부 방향으로 일정 높이(d1)까지의 영역을 제1 마커(11a)로 추정하고, 미분할 마커에서 상기 일정 높이(d1)(예컨대, 5mm)를 초과하는 영역을 제1 마커(11a) 및 잇몸 사이에 개재되는 접착층(12)으로 추정한다.
도 19는 오랄 스캔 영상에 포함되는 복수의 메쉬의 곡률을 산출하는 방법을 설명하기 위한 도면이고, 도 20은 도 19에서 산출한 복수의 메쉬의 곡률을 기초로 오랄 스캔 영상에서 분할된 치아 영역을 도시한 도면이다.
이하 도 19 및 도 20을 참조하여 오랄 스캔 영상에서 제1 치아 영역을 분할하는 방법을 설명하겠다.
오랄 스캔 영상(10)에 포함되는 복수의 메쉬의 곡률을 산출하고, 복수의 메쉬의 곡률을 기초로 오랄 스캔 영상(10)에서 제1 치아 영역(13a) 및 잇몸 영역의 경계를 산출한다.
구체적으로, 인접 메쉬들이 공유하는 버텍스에서 그 법선(normal vector)을 포함하며 메쉬 곡면과 교차하는 평면을 그린 뒤 그 평면을 법선을 기준으로 돌려가며 메쉬 곡면과 계속하여 교차시킨다. 이 경우 메쉬 곡면 위에서 그 버텍스를 중심으로 하는 수많은 곡선을 얻을 수 있고 이 곡선들과 버텍스의 접평면(tangent plane) 사이의 각을 이용해 곡률을 각각 산출할 수 있다. 그리고, 이들 곡률 중 가장 큰 값을 최대 곡률로 정의하고 가장 작은 값을 최소 곡률로 정의할 수 있다. 한편, 산출된 곡률들 중 그 버텍스에서 가장 큰 최대 곡률과 가장 작은 최소 곡률을 가진 두 곡선을 포함하는 평면을 주곡률 평면(plane of principal curvatures)으로 정의할 수 있다.
여기서, 가우시안 곡률은 최대 곡률 및 최소 곡률의 곱으로 정의되고, 평균 곡률은 최대 곡률 및 최소 곡률의 평균으로 정의된다.
이와 같은 방식으로 산출된 가우시안 곡률 및 평균 곡률 중 적어도 어느 하나가 기준 곡률 이상인 메쉬들을 선택하고, 선택된 메쉬들이 공유하는 버텍스를 경계 포인트로 결정한다.
그리고, 모폴로지 연산 알고리즘을 이용해 경계 포인트들을 순차적으로 확장(Dilation) 및 축소(Erosion)하여 인접한 경계 포인트들을 연결한다. 여기서, 모폴로지 연산 알고리즘은 영역을 확장 및 축소하기 위한 알고리즘으로 일반적으로 근접한 점들을 연결시키거나 끊기 위한 용도로 사용된다.
이와 같이, 경계 포인트들에 대해 확장하고 난 이후 축소 과정을 거치게 되면 기존 경계 포인트 성분의 두께는 유지하면서 인접 경계 포인트들 간 연결만 시켜주기 때문에 치아 및 잇몸 영역 간 경계성을 더욱더 향상시킬 수 있다.
이에 따라, 제1 치아 영역(13a) 및 잇몸 영역의 경계를 기초로 오랄 스캔 영상(10)에서 제1 치아 영역(13a)을 분할할 수 있다(S10b).
도 21은 오랄 스캔 영상에 제1 정합 기준점을 도시한 도면이다.
도 21에 도시한 바와 같이, 오랄 스캔 영상(10)에서 각각 분할한 제1 마커(11a) 및 제1 치아 영역(13a)을 통합하여 오랄 스캔 영상(10)과 CT 영상을 정합하는데 기준이 되는 제1 정합 기준점을 생성한다(S20b).
도 22는 마커가 부착된 구강을 촬영하여 생성된 CT 영상을 도시한 도면이고, 도 23는 도 22의 CT 영상에서 검출한 마커를 도시한 도면이다.
도 22 및 도 23을 참조하면, 제2 마커(11b)는 일정 부피를 갖는 3차원 형상(예컨대, 직육면체)일 수 있다. 여기서, 직육면체의 부피는 가로, 세로 및 높이의 곱(예컨대, 4mm×5mm×5mm)으로 정의될 수 있다. 또한, 제2 마커(11b)는 구강(예컨대, 잇몸) 내의 일정 위치에 적어도 1개 이상 부착될 수 있으나 이에 한정되는 것은 아니다.
한편, 도 22를 참조하면, 제2 마커(11b)는 방사선 불투과성 재질(예컨대, 알루미나)로 이루어지고, 접착층(12)은 방사선 투과성 소재로 이루어질 수 있다. 이에 따라, CT 영상(20)에서 치관, 치근, 치조골을 포함하여 제2 마커(11b)는 표시되지만, 접착층(12)은 표시되지 않는다. 따라서, CT 영상(20)에서는 오랄 스캔 영상(10)과 같이 제2 마커(11b)와 접착층(12)을 분할할 필요가 없다. 다만, 치관, 치근 및 치조골과 제2 마커(11b) 간 구별이 용이하지 않아 제2 마커(11b)를 정확히 검출하기 어렵다.
이와 같이 CT 영상(20)에서 제2 마커(11b)를 정확히 검출하기 위해, 제2 마커(11b)의 부피 정보를 이용하여 CT 영상(20)에서 제2 마커(11b)를 검출하여 분할한다(S30b). 구체적으로, 제2 마커(11b)의 부피 정보를 이용하여 제2 마커(11b)에 대응하는 형상으로 마스크를 생성한다. 그리고, 마스크를 이용하여 CT 영상(20)에서 제2 마커(11b)를 탐색하여, 마스크에 대응하는 형상인 제2 마커(11b)를 검출하여 분할한다. 여기서, 제2 마커(11b)의 개수, 크기 및 좌표 정보가 획득될 수 있다.
도 24는 CT 영상에서 분할된 치아 영역을 도시한 도면이다.
도 24를 참조하면, CT 영상(20)에서 제2 치아 영역(13b)은 학습 모델을 이용하여 검출될 수 있다. 즉, 딥러닝(deep learning) 방법을 이용하여, CT 영상(20)에 포함되는 복수의 복셀의 HU(hounsfield unit)값을 기초로 제2 학습 영상을 학습하여 제2 학습 모델을 생성하고, 제2 학습 모델에 CT 영상(20)을 입력하여, 제2 학습 영상을 기반으로 CT 영상(20)에서 제2 치아 영역(11b)을 검출한다.
도 25는 CT 영상에 제2 정합 기준점을 도시한 도면이다.
도 25에 도시한 바와 같이, CT 영상(10)에서 각각 분할한 제2 마커(11b) 및 제2 치아 영역(13b)을 통합하여 오랄 스캔 영상(10)과 CT 영상(20)을 정합하는데 기준이 되는 제2 정합 기준점을 생성한다(S40b).
도 26는 본 발명의 실시예에 따른 구강 영상 정합 방법으로 오랄 스캔 영상과 CT 영상을 정합한 도면이다.
도 26를 참조하면, 오랄 스캔 영상(10)에서 분할한 제1 마크(11a) 및 제1 치아 영역과 CT 영상(20)에서 분할한 제2 마커(11b) 및 제2 치아 영역을 각각 정합 기준점으로 하여 오랄 스캔 영상(10) 및 CT 영상(20)을 자동으로 정합한다(S50b).
이와 같이, 본 발명의 구강 영상 정합 방법에 따르면, 구강 영상에서 마커 및 치아 영역을 분할하되 마커에서 정합에 방해되는 요소를 제거하고, 분할된 마커 및 치아 영역을 이용해 높은 정확도로 영상 정합을 자동으로 수행하여 사용자의 편의성을 증진시키고, 이에 수반하여 임플란트 계획에 소요되는 시간 단축 및 임플란트 계획의 정확성을 제고할 수 있는 효과가 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.
본 발명에 따른 구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법은 임플란트 시술 등 다양한 치과 치료 분야에 이용될 수 있다.

Claims (17)

  1. 오랄 스캔 영상 및 CT 영상을 정합하는데 있어 기준이 되는 마커를 검출하는 방법으로서,
    상기 오랄 스캔 영상을 수평면 방향으로 정렬하는 단계;
    정렬된 상기 오랄 스캔 영상에서 마커 후보 영역을 추정하고, 상기 마커 후보 영역에서 미분할 마커를 검출하는 단계; 및
    상기 미분할 마커를 분할하여 상기 미분할 마커에서 상기 마커를 추정하되, 상기 미분할 마커의 상부면에서 하부 방향으로 일정 깊이까지의 영역을 상기 마커로 추정하는 단계
    를 포함하는 구강 영상의 마커 검출 방법.
  2. 제 1 항에 있어서,
    상기 마커의 부피 정보를 이용하여 상기 CT 영상에서 상기 마커를 검출하는 단계를 더 포함하는
    구강 영상의 마커 검출 방법.
  3. 제 1 항에 있어서,
    상기 미분할 마커를 검출하는 단계는
    상기 마커가 부착된 다수의 학습 영상을 학습하여 학습 모델을 생성하는 단계;
    상기 학습 모델에 상기 오랄 스캔 영상을 입력하는 단계; 및
    상기 학습 영상을 기반으로 상기 오랄 스캔 영상에서 상기 미분할 마커를 검출하는 단계
    를 포함하는 구강 영상의 마커 검출 방법.
  4. 제 1 항에 있어서,
    상기 마커를 추정하는 단계는
    상기 미분할 마커에서 상기 일정 깊이를 초과하는 영역을 상기 마커 및 잇몸 사이에 개재되는 접착층으로 추정하는 단계를 포함하는
    구강 영상의 마커 검출 방법.
  5. 제 1 항에 있어서,
    상기 미분할 마커를 검출하는 단계는
    상기 미분할 마커의 개수, 크기 및 좌표 정보를 획득하는 단계인
    구강 영상의 마커 검출 방법.
  6. 제 2 항에 있어서,
    상기 CT 영상에서 상기 마커를 검출하는 단계는
    상기 마커의 부피 정보를 이용하여 상기 마커에 대응하는 형상으로 마스크를 생성하는 단계; 및
    상기 마스크를 이용하여 상기 CT 영상에서 상기 마커를 탐색하는 단계
    를 포함하는 구강 영상의 마커 검출 방법.
  7. 제 2 항에 있어서,
    상기 CT 영상에서 상기 마커를 검출하는 단계는
    상기 마커의 개수, 크기 및 좌표 정보를 획득하는 단계인
    구강 영상의 마커 검출 방법.
  8. 마커를 이용하여 오랄 스캔 영상 및 CT 영상을 정합하는 방법으로서,
    상기 오랄 스캔 영상을 수평면 방향으로 정렬하는 단계;
    정렬된 상기 오랄 스캔 영상에서 마커 후보 영역을 추정하고, 상기 마커 후보 영역에서 미분할 마커를 검출하는 단계;
    상기 미분할 마커를 분할하여 상기 미분할 마커에서 상기 마커를 추정하되, 상기 미분할 마커의 상부면에서 하부 방향으로 일정 깊이까지의 영역을 상기 마커로 추정하는 단계;
    상기 마커의 부피 정보를 이용하여 상기 CT 영상에서 상기 마커를 검출하는 단계; 및
    상기 마커를 이용해 상기 오랄 스캔 영상 및 CT 영상을 정합하는 단계
    를 포함하는 구강 영상 정합 방법.
  9. 마커를 이용하여 오랄 스캔 영상 및 CT 영상을 정합하는 장치로서,
    상기 오랄 스캔 영상을 수평면 방향으로 정렬하는 영상 정렬부;
    정렬된 상기 오랄 스캔 영상에서 마커 후보 영역을 추정하고, 상기 마커 후보 영역에서 미분할 마커를 검출하는 미분할 마커 검출부;
    상기 미분할 마커를 분할하여 상기 미분할 마커에서 상기 마커를 추정하되, 상기 미분할 마커의 상부면에서 하부 방향으로 일정 깊이까지의 영역을 상기 마커로 추정하는 마커 추정부;
    상기 마커의 부피 정보를 이용하여 상기 CT 영상에서 상기 마커를 검출하는 마커 검출부; 및
    상기 마커를 이용해 상기 오랄 스캔 영상 및 CT 영상을 정합하는 영상 정합부
    를 포함하는 구강 영상 정합 장치.
  10. 오랄 스캔 영상 및 CT 영상을 정합하는 방법으로서,
    상기 오랄 스캔 영상에서 제1 마커 및 제1 치아 영역을 각각 분할하는 단계;
    상기 제1 마커 및 제1 치아 영역을 통합하여 제1 정합 기준점을 생성하는 단계;
    상기 CT 영상에서 제2 마커 및 제2 치아 영역을 분할하는 단계;
    상기 제2 마커 및 제2 치아 영역을 통합하여 제2 정합 기준점을 생성하는 단계; 및
    상기 제1 및 제2 정합 기준점을 기초로 상기 오랄 스캔 영상 및 CT 영상을 정합하는 단계
    를 포함하는 구강 영상 정합 방법.
  11. 제 10 항에 있어서,
    상기 오랄 스캔 영상에서 제1 마커를 분할하는 단계는
    상기 오랄 스캔 영상을 수평면 방향으로 정렬하는 단계;
    정렬된 상기 오랄 스캔 영상에서 마커 후보 영역을 추정하고, 상기 마커 후보 영역에서 미분할 마커를 검출하는 단계; 및
    상기 미분할 마커를 분할하여 상기 미분할 마커에서 상기 제1 마커를 추정하되, 상기 미분할 마커의 상부면에서 하부 방향으로 일정 깊이까지의 영역을 상기 제1 마커로 추정하는 단계
    를 포함하는 구강 영상 정합 방법.
  12. 제 10 항에 있어서,
    상기 오랄 스캔 영상에서 상기 제1 마커를 분할하는 단계는
    상기 제1 마커가 부착된 다수의 제1 학습 영상을 학습하여 제1 학습 모델을 생성하는 단계;
    상기 제1 학습 모델에 상기 오랄 스캔 영상을 입력하는 단계; 및
    상기 제1 학습 영상을 기반으로 상기 오랄 스캔 영상에서 상기 미분할 마커를 검출하는 단계
    를 포함하는 구강 영상 정합 방법.
  13. 제 10 항에 있어서,
    상기 오랄 스캔 영상에서 상기 제1 치아 영역을 분할하는 단계는
    상기 오랄 스캔 영상에 포함되는 복수의 메쉬의 곡률을 산출하는 단계; 및
    상기 복수의 메쉬의 곡률을 기초로 상기 오랄 스캔 영상에서 상기 제1 치아 영역 및 잇몸 영역의 경계를 산출하는 단계; 및
    상기 제1 치아 영역 및 잇몸 영역의 경계를 기초로 상기 오랄 스캔 영상에서 상기 제1 치아 영역을 분할하는 단계
    를 포함하는 구강 영상 정합 방법.
  14. 제 10 항에 있어서,
    상기 CT 영상에서 상기 제2 마커를 분할하는 단계는
    상기 제2 마커의 부피 정보를 이용하여 상기 CT 영상에서 상기 제2 마커를 검출하는 단계인
    구강 영상 정합 방법.
  15. 제 10 항에 있어서,
    상기 CT 영상에서 상기 제2 마커를 분할하는 단계는
    상기 제2 마커의 부피 정보를 이용하여 상기 제2 마커에 대응하는 형상으로 마스크를 생성하는 단계; 및
    상기 마스크를 이용하여 상기 CT 영상에서 상기 제2 마커를 탐색하는 단계
    를 포함하는 구강 영상 정합 방법.
  16. 제 10 항에 있어서,
    상기 CT 영상에서 상기 제2 치아 영역을 분할하는 단계는
    상기 CT 영상에 포함되는 복수의 복셀의 HU(hounsfield unit)값을 기초로 제2 학습 영상을 학습하여 제2 학습 모델을 생성하는 단계;
    상기 제2 학습 모델에 상기 CT 영상을 입력하는 단계; 및
    상기 제2 학습 영상을 기반으로 상기 CT 영상에서 상기 제2 치아 영역을 분할하는 단계
    를 포함하는 구강 영상 정합 방법
  17. 오랄 스캔 영상 및 CT 영상을 정합하는 장치로서,
    상기 오랄 스캔 영상에서 제1 마커를 분할하는 제1 마커 분할부;
    상기 오랄 스캔 영상에서 제1 치아 영역을 분할하는 제1 치아 영역 분할부;
    상기 제1 마커 및 제1 치아 영역을 통합하여 제1 정합 기준점을 생성하는 제1 정합 기준점 생성부;
    상기 CT 영상에서 제2 마커를 분할하는 제2 마커 분할부;
    상기 CT 영상에서 제2 치아 영역을 분할하는 제2 치아 영역 분할부;
    상기 제2 마커 및 제2 치아 영역을 통합하여 제2 정합 기준점을 생성하는 제2 정합 기준점 생성부; 및
    상기 제1 및 제2 정합 기준점을 기초로 상기 오랄 스캔 영상 및 CT 영상을 정합하는 영상 정합부
    를 포함하는 구강 영상 정합 장치.
PCT/KR2021/005095 2020-04-24 2021-04-22 구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법 Ceased WO2021215843A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21792744.1A EP4140411A4 (en) 2020-04-24 2021-04-22 METHOD FOR DETECTING ORAL IMAGE MARKER, AND ORAL IMAGE ADAPTATION DEVICE AND METHOD USING SAME
CN202180025038.2A CN115379800A (zh) 2020-04-24 2021-04-22 口腔图像的标记检测方法和利用该方法的口腔图像配准装置及方法
US17/996,009 US20230215027A1 (en) 2020-04-24 2021-04-22 Oral image marker detection method, and oral image matching device and method using same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020200050085A KR102383544B1 (ko) 2020-04-24 2020-04-24 구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법
KR10-2020-0050085 2020-04-24
KR10-2020-0050086 2020-04-24
KR1020200050086A KR102383546B1 (ko) 2020-04-24 2020-04-24 구강 영상 정합 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2021215843A1 true WO2021215843A1 (ko) 2021-10-28

Family

ID=78269773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/005095 Ceased WO2021215843A1 (ko) 2020-04-24 2021-04-22 구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법

Country Status (4)

Country Link
US (1) US20230215027A1 (ko)
EP (1) EP4140411A4 (ko)
CN (1) CN115379800A (ko)
WO (1) WO2021215843A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119683A (zh) * 2021-11-26 2022-03-01 吉林大学 一种提高面部扫描图像配准ct扫描图像精度的方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7643254B2 (ja) * 2021-08-18 2025-03-11 株式会社島津製作所 ３次元形状の位置合わせ方法、および、３次元形状データ処理装置
JP7729146B2 (ja) * 2021-09-28 2025-08-26 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160004864A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
KR20160051474A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 의료 영상 처리 장치 및 방법
WO2018152742A1 (en) * 2017-02-23 2018-08-30 Versitech Limited Multiple surfaces for physical-to-image/image-to-physical registration and image verification
KR20190024360A (ko) * 2017-08-31 2019-03-08 주식회사 디오 이종의 구강 이미지 정합방법
KR102056480B1 (ko) * 2018-12-10 2020-01-22 이치중 디지털 치과 진료 데이터 관리 방법 및 시스템
KR20200050085A (ko) 2018-10-31 2020-05-11 삼성중공업 주식회사 해양 설비의 충돌 방지 시스템
KR20200050086A (ko) 2018-10-31 2020-05-11 삼성중공업 주식회사 배터리 랙 관리 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10679104B2 (en) * 2012-10-26 2020-06-09 Varian Medical Systems, Inc. Forward projection cylinder volume method
US10231809B2 (en) * 2015-06-03 2019-03-19 Zee Zee Corporation Dental implement and method of using the same
CN105447908B (zh) * 2015-12-04 2018-04-17 山东山大华天软件有限公司 基于口腔扫描数据和cbct数据的牙列模型生成方法
EP3449862B1 (en) * 2016-04-28 2021-04-28 DIO Corporation Image processing device for generating design image on basis of reference marker, and method therefor
CN107146232B (zh) * 2017-05-11 2020-05-05 重庆市劢齐医疗科技有限责任公司 口腔cbct图像与激光扫描牙齿网格的数据融合方法
CN108932716B (zh) * 2017-05-26 2020-09-22 无锡时代天使医疗器械科技有限公司 用于牙齿图像的图像分割方法
CN108056829B (zh) * 2017-10-19 2021-04-16 该美生物科技（上海）有限公司 一种用于促进牙齿重新定位牙科治疗的方法
EP3509013B1 (en) * 2018-01-04 2025-12-24 Augmedics Inc. Identification of a predefined object in a set of images from a medical image scanner during a surgical procedure

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160004864A (ko) * 2014-07-04 2016-01-13 주식회사 인스바이오 치과 시술 시뮬레이션을 위한 치아모델 생성 방법
KR20160051474A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 의료 영상 처리 장치 및 방법
WO2018152742A1 (en) * 2017-02-23 2018-08-30 Versitech Limited Multiple surfaces for physical-to-image/image-to-physical registration and image verification
KR20190024360A (ko) * 2017-08-31 2019-03-08 주식회사 디오 이종의 구강 이미지 정합방법
KR20200050085A (ko) 2018-10-31 2020-05-11 삼성중공업 주식회사 해양 설비의 충돌 방지 시스템
KR20200050086A (ko) 2018-10-31 2020-05-11 삼성중공업 주식회사 배터리 랙 관리 시스템
KR102056480B1 (ko) * 2018-12-10 2020-01-22 이치중 디지털 치과 진료 데이터 관리 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4140411A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119683A (zh) * 2021-11-26 2022-03-01 吉林大学 一种提高面部扫描图像配准ct扫描图像精度的方法

Also Published As

Publication number Publication date
CN115379800A (zh) 2022-11-22
EP4140411A1 (en) 2023-03-01
EP4140411A4 (en) 2024-04-17
US20230215027A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
WO2022164126A1 (ko) 구강 스캔 데이터의 크라운 분할을 이용한 구강 스캔 데이터와 컴퓨터 단층촬영 이미지 자동 정합 장치 및 방법
WO2021215843A1 (ko) 구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법
WO2020027377A1 (ko) 3d 영상 정합 제공 장치 및 그 방법
WO2014038786A1 (en) Method of displaying virtual ruler on separate image or medical image of object, medical image obtaining apparatus, and method and apparatus for displaying separate image or medical image with virtual ruler
WO2016072586A1 (en) Medical image processing apparatus and method
WO2022014965A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2016126056A1 (ko) 의료정보 제공 장치 및 의료정보 제공 방법
WO2010058927A2 (ko) 안면 영상 촬영장치
WO2023013805A1 (ko) 자연 두부 위치에서 촬영된 3차원 cbct 영상에서 기계 학습 기반 치아 교정 진단을 위한 두부 계측 파라미터 도출방법
WO2022075624A1 (ko) 인공치아 구조물을 디스플레이하는 디바이스, 방법 및 이를 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체
WO2018066764A1 (ko) 임플란트 진단용 영상 생성 시스템 및 그 생성방법
WO2020235784A1 (ko) 신경 검출 방법 및 장치
WO2016105102A1 (ko) 근골격계 질환의 발생가능성의 판단 장치 및 방법
WO2023163263A1 (ko) 딥러닝을 이용한 3차원 얼굴 스캔 데이터와 3차원 볼륨 의료 영상 데이터의 자동 정합 방법 및 이를 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2022065756A1 (ko) 구강 이미지 처리 장치, 및 구강 이미지 처리 방법
WO2020209495A1 (ko) 영상 데이터의 전처리 장치
KR102383544B1 (ko) 구강 영상의 마커 검출 방법 및 이를 이용한 구강 영상 정합 장치 및 방법
WO2021112312A1 (ko) 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법
WO2024019287A1 (ko) 임플란트 식립 위치 비교 방법 및 시스템
WO2020197109A1 (ko) 치아 영상 정합 장치 및 방법
KR102383546B1 (ko) 구강 영상 정합 장치 및 방법
WO2023008872A1 (ko) 골 이식량 결정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR20210000855A (ko) 신경 위치 보정 방법 및 장치
WO2023003389A1 (ko) 환자의 3차원 가상 기복 모델 상에 트로카의 삽입 위치를 결정하는 장치 및 방법
WO2021015449A2 (ko) 수술위치 정보제공방법 및 수술위치 정보제공장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21792744

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 140150140003005292

Country of ref document: IR

ENP Entry into the national phase

Ref document number: 2021792744

Country of ref document: EP

Effective date: 20221124

NENP Non-entry into the national phase

Ref country code: DE