[go: up one dir, main page]

WO2020204366A2 - 스캔 가이드 제공 방법 이를 위한 영상 처리장치 - Google Patents

스캔 가이드 제공 방법 이를 위한 영상 처리장치 Download PDF

Info

Publication number
WO2020204366A2
WO2020204366A2 PCT/KR2020/003024 KR2020003024W WO2020204366A2 WO 2020204366 A2 WO2020204366 A2 WO 2020204366A2 KR 2020003024 W KR2020003024 W KR 2020003024W WO 2020204366 A2 WO2020204366 A2 WO 2020204366A2
Authority
WO
WIPO (PCT)
Prior art keywords
scan path
guide
user
scan
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/003024
Other languages
English (en)
French (fr)
Other versions
WO2020204366A3 (ko
Inventor
김설호
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osstem Implant Co Ltd
Original Assignee
Osstem Implant Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osstem Implant Co Ltd filed Critical Osstem Implant Co Ltd
Priority to ES20782603T priority Critical patent/ES2967991T3/es
Priority to CN202080026083.5A priority patent/CN113645893B/zh
Priority to US17/436,889 priority patent/US12004921B2/en
Priority to EP20782603.3A priority patent/EP3925569B1/en
Publication of WO2020204366A2 publication Critical patent/WO2020204366A2/ko
Publication of WO2020204366A3 publication Critical patent/WO2020204366A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4547—Evaluating teeth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/04—Measuring instruments specially adapted for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Definitions

  • the present invention relates to an oral scanner and an image processing technology for scanning.
  • a scan guide for accurately photographing teeth through an oral scanner may be provided.
  • a scan guide is provided through a separate document or web page. Therefore, if the user does not read the product manual, they may not know whether the scan guide exists. Also, even if you know the scan guide, there is no way to check if you are shooting well according to the scan guide.
  • a method of providing a scan guide capable of confirming whether a user is photographing according to a scan guide by providing a scan guide through a scan screen is proposed.
  • a method of providing a scan guide includes displaying a guide scan path providing a scanning strategy of an oral scanner on a scan screen, and tracking a user scan path actually scanned through the oral scanner along the guide scan path. And displaying the tracked user scan path together with the guide scan path.
  • a guide scan path preset for each manufacturer of the oral scanner may be displayed on the screen.
  • the guide scan path may be rotated by user manipulation or may be displayed on the screen by moving the guide scan path to the same viewpoint as the actual photographed position through the oral scanner.
  • the guide scan path may be rotated in real time and displayed on the screen in synchronization with the actual photographed position through the oral scanner.
  • the step of tracking the user's scan path includes generating a depth image by reconstructing a 2D image obtained through scanning of an oral scanner, connecting the central point or main point of each object constituting the depth image to each other, and It may include the step of generating a user scan path by detecting an intersection point from the center point or main point to the surface position of the 3D object and connecting the detected intersection points to each other. In this case, the step of tracking the user scan path may further include correcting the user scan path by connecting points formed at a predetermined distance from the detected intersection points to each other.
  • the user scan path may be created by connecting the center points of each object of the 3D image obtained through the scanning of the oral scanner.
  • the user scan path may be matched to the guide scan path and displayed.
  • the method of providing a scan guide may further include displaying a user scan path on image data scanned through an actual oral scanner.
  • the method of providing the scan guide may further include providing a user interface for user setting whether to display or not display the scan guide, and providing a user interface for user setting of the transparency of the scan guide.
  • the scan guide providing method may further include comparing and analyzing the user scan path and the guide scan path, and providing at least one of a comparison analysis result and a warning signal generated according to the comparison analysis result.
  • An image processing apparatus provides a data acquisition unit that obtains image data obtained by scanning an interior of a user's oral cavity or an oral cavity model from an oral scanner, image data obtained from the oral scanner, and a scanning strategy of the oral scanner. And an output unit that displays a guide scan path on a screen, and a control unit that receives image data obtained through the data acquisition unit, processes the image, and provides a guide scan path to the output unit.
  • the output unit may rotate the guide scan path by user manipulation or move to the same viewpoint as the actual photographed position through the oral scanner and display it on the screen.
  • the output unit is synchronized with the actual photographed position through the oral scanner, so that the guide scan path can be rotated in real time and displayed on the screen.
  • the output unit may display a user interface for user setting of whether to display or not display the scan guide and a user interface for user setting of transparency of the scan guide on the screen.
  • the control unit tracks the user scan path that is actually scanned through the oral scanner along the guide scan path, matches the tracked user scan path to the guide scan path, and configures a screen, and the output unit displays the user scan path along with the guide scan path. Can be marked on.
  • the controller creates a depth image by reconstructing the 2D image obtained through the scanning of the oral scanner, connects the central point or main point of each object constituting the depth image to each other, and converts the central point or main point of each object to the surface position of the 3D object.
  • a user scan path may be generated by detecting an intersection point and connecting the detected intersection points to each other.
  • the controller may correct the user scan path by connecting points formed at a preset distance from the detected intersection points.
  • the control unit may generate a user scan path by connecting the center points of each object of the 3D image obtained through the scanning of the oral scanner.
  • the controller may match the scale of the tracked user scan path with the scale of the guide scan path and then match the user scan path with the guide scan path.
  • the output unit may display the user's scan path on the image data scanned through the actual oral scanner.
  • the control unit may compare and analyze the user scan path and the guide scan path and provide at least one of a comparison analysis result and a warning signal generated according to the comparison analysis result.
  • a scan guide providing a scan strategy using an oral scanner is provided on a scan screen of a scan program, so that a user can check the guide scan path through the program.
  • FIG. 1 is a diagram showing the configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIGS. 2 and 3 are views showing an arrangement and setting screen of a scan guide screen according to an embodiment of the present invention
  • 4 and 5 are diagrams illustrating a scan guide on/off function according to various embodiments of the present disclosure
  • FIG. 6 is a diagram illustrating a screen for tracking a user scan path according to an embodiment of the present invention.
  • FIG. 7 is a diagram showing a program screen for explaining an algorithm for tracking a user scan path according to an embodiment of the present invention.
  • FIG. 8 is a view showing a scan screen for comparing and outputting a tracked user scan path and a guide scan path according to an embodiment of the present invention
  • FIG. 10 is a diagram illustrating a screen in which a user scan path and a guide scan path are matched according to an embodiment of the present invention
  • FIG. 11 is a view showing a screen showing a comparison of a user scan path and a guide scan path according to an embodiment of the present invention
  • FIG. 12 is a diagram illustrating a flow of a method for providing a scan guide according to an embodiment of the present invention.
  • Combinations of each block of the attached block diagram and each step of the flowchart may be executed by computer program instructions (execution engine), and these computer program instructions are executed on the processor of a general purpose computer, special purpose computer or other programmable data processing device. As it may be mounted, its instructions executed by the processor of a computer or other programmable data processing device generate means for performing the functions described in each block of the block diagram or each step of the flowchart.
  • These computer program instructions may also be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing device to implement a function in a particular way, so that the computer usable or computer readable memory It is also possible to produce an article of manufacture containing instruction means for performing the functions described in each block of the block diagram or each step of the flow chart.
  • each block or each step may represent a module, segment, or part of code containing one or more executable instructions for executing specified logical functions, and in some alternative embodiments mentioned in the blocks or steps. It should be noted that it is also possible for functions to occur out of order. For example, two blocks or steps shown in succession may actually be performed at the same time, and the blocks or steps may have corresponding functions as necessary.
  • FIG. 1 is a diagram showing a configuration of an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus 1 is an electronic device capable of executing an image processing program.
  • An image processing program processes image data acquired through an oral scanner, and guides a scanning strategy for accurately photographing a tooth through the oral scanner.
  • Electronic devices include computers, notebook computers, laptop computers, tablet PCs, smartphones, mobile phones, personal media players (PMPs), personal digital assistants (PDAs), and the like.
  • Image processing programs include scan programs and CAD programs. In addition, it can be applied to programs for general medical image processing other than oral scanning. Furthermore, it can be used for scanning training using an oral scanner.
  • the oral scanner scans the inside of the user's oral cavity to obtain image data inside the oral cavity.
  • the image processing apparatus 1 receives image data from the spherical scanner through the data acquisition unit 10 and processes the image data acquired by the oral scanner using the control unit 14. It also guides scanning strategies to accurately image teeth through an oral scanner.
  • the oral scanner may output light by driving a light source of internal illumination, and then illuminate the inside of the user's oral cavity or a model of the oral cavity through light irradiated to the outside along the optical path. Then, the light reflected from the oral cavity or the oral cavity model may again reach the image sensor of the oral cavity scanner along the optical path, so that image data of the oral cavity or the oral cavity model may be obtained.
  • an image processing apparatus 1 includes a data acquisition unit 10, a storage unit 12, a control unit 14, an input unit 16, and an output unit 18.
  • the data acquisition unit 10 acquires image data photographed through the spherical scanner.
  • the oral scanner may be a 3D scanner that scans a plaster model created after a patient's oral cavity, or a 3D intra-oral scanner that scans the inside of a patient's oral cavity.
  • the acquired image data may be stored in the storage unit 12.
  • the storage unit 12 stores information necessary for performing an operation of the image processing apparatus 1 and information generated according to the operation, and provides information upon request of the control unit 14.
  • the control unit 14 receives the image data acquired through the data acquisition unit 10 from the spherical scanner, processes the image, and guides a scanning strategy for accurately photographing the teeth through the oral scanner.
  • a guide scan path providing a scanning strategy for an oral scanner is displayed on the guide screen.
  • the guide scan path may be preset for each manufacturer of the oral scanner.
  • the guide scan path is not provided through a separate document or web page, but is displayed on the screen of the image processing program, so that the user can check the guide scan path on the screen and check whether the person is shooting well according to the guide. do.
  • the controller 14 tracks a user scan path and provides it to the output unit 18.
  • the user scan path is a path that is actually scanned in real time when the user starts scanning through the oral scanner along the guide scan path.
  • the controller 14 constructs a scan guide screen by tracking the user scan path and matching the tracked user scan path with the guide scan path.
  • the output unit 18 may display the user scan path along with the guide scan path on the scan guide screen. For example, a guide scan path and a user scan path are overlapped and displayed on the tooth model data.
  • control unit 14 For an example of a user scan path tracking method, the control unit 14 generates a depth image by reconstructing a 2D image obtained through scanning of an oral scanner, and makes the central point or main point of each object constituting the depth image Connect.
  • points formed at a predetermined distance from the detected intersection points may be connected to each other to correct the user scan path. An embodiment of this will be described later with reference to FIG. 7.
  • the controller 14 may generate a user scan path by connecting the center points of each object of the 3D image obtained through the scanning of the oral scanner.
  • the controller 14 matches the scale of the tracked user scan path with the scale of the guide scan path and then matches the user scan path with the guide scan path. . An embodiment of this will be described later with reference to FIGS. 9 and 10.
  • the controller 14 may compare and analyze the user scan path and the guide scan path, and provide at least one of a comparison analysis result and a warning signal generated according to the comparison analysis result. For example, when a user scan path deviates a lot from a guide scan path, a warning signal is generated so that the user recognizes it.
  • the output unit 18 may variously display a scan guide screen.
  • the output unit 18 may rotate the guide scan path by a user's manipulation or move to the same point of time as the actual photographed position through an oral scanner and display it on the scan guide screen.
  • the output unit 18 may rotate the guide scan path in real time and display it on the scan guide screen in synchronization with the position actually photographed through the oral scanner.
  • the output unit 18 may display a user interface for user setting whether to display or not display the scan guide on the screen, and receive a setting of whether to display or not display the scan guide from the user through the input unit 16.
  • a user interface for user setting of the transparency of the scan guide may be displayed on the screen, and whether or not the transparency of the scan guide may be set by the user through the input unit 16.
  • the output unit 18 may display a user's scan path in real time on image data scanned through an actual oral scanner.
  • the input unit 16 receives various user commands through an image processing program.
  • FIG. 2 and 3 are views showing an arrangement and setting screen of a scan guide screen according to an embodiment of the present invention.
  • FIG. 2 shows a two-dimensional scan guide screen
  • FIG. 3 shows a three-dimensional scan guide screen. It is a drawing shown.
  • the scanning program displays a guide scan path 200 providing a scanning strategy so that the user can accurately photograph teeth through an oral scanner before and during the scan by the user. 2) through.
  • the guide scan path 200 displays a path in predetermined tooth model data.
  • the scan strategy provided by the guided scan path 200 includes a scan start point, a scan direction, and a scan sequence.
  • the guide scan path 200 may be provided as a 2D or 3D image, or may be provided in the form of an animation. The user performs a scan according to the guide scan path 200.
  • the scan guide screen 2 may be basically disposed at one of four corners of the scan program.
  • the user can move the scan guide screen 2 to a desired position.
  • the position of the scan guide screen 2 is freely moved by using a drag and hold function.
  • the 2D scan guide screen 2 is based on a top view, and may be switched to a different view and displayed.
  • the guide scan path 200 of the 3D scan guide screen 2 may be rotated by a user input on the view or may be displayed by moving to the same point of view as the actual photographed position through the oral scanner.
  • the 3D scan guide screen 2 may be displayed by rotating the guide scan path in real time by synchronizing with the position actually photographed through the oral scanner.
  • 4 and 5 are diagrams illustrating a scan guide on/off function according to various embodiments of the present disclosure.
  • the user may not want to see the scan guide screen 2 in the scan program.
  • the scan guide screen may be turned on/off through a setting window 510 of a separate option menu 500.
  • a user interface capable of real-time processing of the on/off function on the scan screen for example, a setting window 600 including a check box type button, is provided so that the user can display the Can be turned on/off.
  • a user interface for user setting of the transparency of the guide scan path 200 of the scan guide screen 2 may be displayed on the screen, and the transparency of the scan guide may be set by the user. This is a case where the user wants to see the guide scan path 200 but also wants to see the tooth model clearly. This can be achieved by adjusting the transparency.
  • FIG. 6 is a diagram illustrating a screen for tracking a user scan path according to an embodiment of the present invention.
  • a scan path taken by a user may be tracked in real time while scanning is in progress and displayed on the scan guide screen 2, and displayed on image data actually scanned.
  • FIG. 7 is a diagram illustrating a program screen for explaining an algorithm for tracking a user scan path according to an embodiment of the present invention.
  • the image processing apparatus 1 may track a user scan path and display it on a screen by using a method of tracking a path by selecting an image center.
  • the center point of the depth image 810 is connected.
  • the depth image 810 is an image having a height (Z value) and may be obtained based on various reconstruction algorithms for a 2D image.
  • the 3D object can be obtained using the depth image 810.
  • each depth image cut (CUT) having an overlapping area has a size of 640 * 480.
  • FIG. 8 is a diagram illustrating a scan screen for comparing and outputting a tracked user scan path and a guide scan path according to an embodiment of the present invention.
  • the image processing apparatus 1 displays a user scan path 210 and a guide scan path 200 together in tooth model data of the scan guide screen 2.
  • the user compares the user scan path 210 and the guide scan path 200 to determine whether or not they are correctly scanning in real time. I can confirm.
  • the image processing apparatus 1 may compare and analyze the user scan path 210 and the guide scan path 200 and provide a comparison analysis result to the user. For example, the calculated distance is displayed by calculating the distance between the point of the user scan path 210 and the point of the guide scan path 200 matched based on a predetermined point of the tooth model data. Furthermore, the image processing apparatus 1 may output a warning signal for a result of the comparison analysis. For example, if the calculated distance is greater than or equal to a preset distance, it is determined that the scan is abnormal and the user is warned. As the warning signal, general notification techniques such as alarm and pop-up menu display can be used.
  • 9 is a diagram showing that the user scan path and the guide scan path do not match for each user.
  • the scale of the scan path may be different.
  • the scale of the user scan path formed on the full arch teeth of an adult is the scale of the user scan path formed on the full arch teeth of the infant (smaller than the full arch teeth of an adult) Since they are different, they do not coincide with the guide scan path. Therefore, it is necessary to match the scale.
  • FIG. 10 is a diagram illustrating a screen in which a user scan path and a guide scan path match according to an embodiment of the present invention.
  • the image processing apparatus 1 adjusts the scale in a manner in which the horizontal and vertical length and the ratio of the user scan path are matched with the guide scan path. For example, a downed user scan path is created by scaling down a user scan path formed on an adult's full arch teeth. The user scan path formed on the infant's full arch teeth is scaled up to generate the user scan path. The user scan path 210 generated through scale-up/down processing of the user scan path can be matched in the scan guide screen 2 as the scale matches the guide scan path 200.
  • FIG. 11 is a diagram illustrating a screen showing a comparison between a user scan path and a guide scan path according to an embodiment of the present invention.
  • the image processing apparatus 1 displays a guide scan path 200 for scanning on the guide scan screen 2 (a), and the user scans along the guide scan path 200.
  • the user scan path 210 generated according to the scan is displayed together on the guide scan path 200 of the guide scan screen 2 (b, c).
  • (B) of FIG. 11 shows a case where the user takes a good picture along the guide scan path 200
  • (c) shows a case where the guide scan path 200 deviates a lot from the guide scan path 200 by the user. .
  • FIG. 12 is a diagram illustrating a flow of a method for providing a scan guide according to an embodiment of the present invention.
  • the image processing apparatus 1 displays a guide scan path providing a scanning strategy of an oral scanner on a scan screen (S1210).
  • the image processing apparatus 1 may display a guide scan path previously set for each manufacturer of the oral scanner on the screen.
  • the image processing apparatus 1 may rotate the guide scan path by user manipulation or move to the same point of time as the actual photographed position through an oral scanner and display it on the screen.
  • the image processing apparatus 1 may rotate a guide scan path in real time and display it on a screen in synchronization with a location actually photographed through an oral scanner.
  • the image processing apparatus 1 may provide a user interface for user setting of whether to display or not display the scan guide, a user interface for user setting of transparency of the scan guide, and the like, on the screen.
  • the image processing apparatus 1 tracks the user scan path actually scanned through the oral scanner along the guide scan path (S1230).
  • the image processing apparatus 1 tracks the user scan path using the image center or main point. For example, the image processing apparatus 1 generates a depth image by reconstructing a 2D image obtained through scanning of an oral scanner, and connects the central point or main point of each object constituting the depth image to each other. Subsequently, an intersection point from the center point or main point of each object to the surface position of the 3D object is detected, and the detected intersection points are connected to each other to generate a user scan path. In this case, points formed at a preset distance from the detected intersection points may be connected to each other to correct the user scan path. As another example, the image processing apparatus 1 may generate a user scan path by connecting center points of each object of a 3D image obtained through scanning of an oral scanner.
  • the image processing apparatus 1 displays the tracked user scan path together with the guide scan path (S1240).
  • the image processing apparatus 1 matches the scale of the user scan path with the scale of the guide scan path through image processing, and then scans the user scan path as a guide. Match the route and display it.
  • the image processing apparatus 1 may display a user scan path on image data scanned through an actual oral scanner.
  • the image processing apparatus 1 may compare and analyze the user scan path and the guide scan path, and provide at least one of a comparison analysis result and a warning signal.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Signal Processing (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

스캔 가이드 제공 방법 이를 위한 영상 처리장치가 개시된다. 일 실시 예에 따른 스캔 가이드 제공 방법은, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계와, 가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계와, 추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계를 포함한다.

Description

스캔 가이드 제공 방법 이를 위한 영상 처리장치
본 발명은 구강 스캐너 및 스캐닝을 위한 영상처리 기술에 관한 것이다.
구강 스캐너를 통해 치아를 정확하게 촬영하기 위한 스캔 가이드가 제공될 수 있다. 그런데 이러한 스캔 가이드는 별도의 문서 또는 웹 페이지를 통해 제공된다. 그러므로 사용자가 제품 설명서를 읽어보지 않으면 스캔 가이드의 존재 여부를 알지 못할 수 있다. 또한, 스캔 가이드를 알고 있더라도, 본인이 스캔 가이드대로 잘 촬영하고 있는지 확인할 방법이 없다.
일 실시 예에 따라, 스캔 가이드를 스캔 화면을 통해 제공함에 따라 사용자가 스캔 가이드대로 촬영하고 있는지를 확인할 수 있는 스캔 가이드 제공 방법 이를 위한 영상 처리장치를 제안한다.
일 실시 예에 따른 스캔 가이드 제공 방법은, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계와, 가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계와, 추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시하는 단계를 포함한다.
가이드 스캔 경로를 스캔 화면에 표시하는 단계에서, 구강 스캐너의 제조사 별로 사전에 설정된 가이드 스캔 경로를 화면에 표시할 수 있다.
가이드 스캔 경로를 스캔 화면에 표시하는 단계에서, 가이드 스캔 경로를 사용자 조작에 의해 회전하거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 화면에 표시할 수 있다.
가이드 스캔 경로를 스캔 화면에 표시하는 단계에서, 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 화면에 표시할 수 있다.
사용자 스캔 경로를 추적하는 단계는, 구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지를 생성하는 단계와, 뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결하는 단계와, 각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 검출된 교차 지점들을 서로 연결하여 사용자 스캔 경로를 생성하는 단계를 포함할 수 있다. 이때, 사용자 스캔 경로를 추적하는 단계는, 검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 사용자 스캔 경로를 보정하는 단계를 더 포함할 수 있다.
사용자 스캔 경로를 추적하는 단계에서, 구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 사용자 스캔 경로를 생성할 수 있다.
가이드 스캔 경로와 함께 표시하는 단계에서, 추적된 사용자 스캔 경로의 스케일을 가이드 스캔 경로의 스케일과 일치시킨 후 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 표시할 수 있다.
스캔 가이드 제공 방법은, 실제 구강 스캐너를 통해 스캔된 영상 데이터에 사용자 스캔 경로를 표시하는 단계를 더 포함할 수 있다.
스캔 가이드 제공 방법은, 스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스를 제공하는 단계와, 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스를 제공하는 단계를 더 포함할 수 있다.
스캔 가이드 제공 방법은, 사용자 스캔 경로와 가이드 스캔 경로를 비교 분석하는 단계와, 비교 분석 결과 및 비교 분석 결과에 따라 발생하는 경고신호 중 적어도 하나를 제공하는 단계를 더 포함할 수 있다.
다른 실시 예에 따른 영상 처리장치는, 사용자의 구강 내부 또는 구강 모형을 스캔한 영상 데이터를 구강 스캐너로부터 획득하는 데이터 획득부와, 구강 스캐너로부터 획득된 영상 데이터와, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 화면에 표시하는 출력부와, 데이터 획득부를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 가이드 스캔 경로를 출력부에 제공하는 제어부를 포함한다.
출력부는 가이드 스캔 경로를 사용자 조작에 의해 회전하거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 화면에 표시할 수 있다.
출력부는 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 화면에 표시 할 수 있다.
출력부는 스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스와, 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스를 화면에 표시할 수 있다.
제어부는, 가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하고 추적된 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 화면을 구성하고, 출력부는 가이드 스캔 경로와 함께 사용자 스캔 경로를 화면에 표시할 수 있다.
제어부는 구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지를 생성하고, 뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결하며, 각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 검출된 교차 지점들을 서로 연결하여 사용자 스캔 경로를 생성할 수 있다. 이때, 제어부는 검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 사용자 스캔 경로를 보정할 수 있다.
제어부는 구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 사용자 스캔 경로를 생성할 수 있다. 제어부는 추적된 사용자 스캔 경로의 스케일을 가이드 스캔 경로의 스케일과 일치시킨 후 사용자 스캔 경로를 가이드 스캔 경로에 매칭할 수 있다.
출력부는 실제 구강 스캐너를 통해 스캔된 영상 데이터에 사용자 스캔 경로를 표시할 수 있다. 제어부는 사용자 스캔 경로와 가이드 스캔 경로를 비교 분석하고 비교 분석 결과 및 비교 분석 결과에 따라 발생하는 경고신호 중 적어도 하나를 제공할 수 있다.
일 실시 예에 따른 스캔 가이드 제공 방법 이를 위한 영상 처리장치에 따르면, 스캔 프로그램의 스캔 화면에 구강 스캐너를 이용한 스캔 전략을 제공하는 스캔 가이드를 제공함에 따라 사용자가 가이드 스캔 경로를 프로그램을 통해 확인할 수 있다.
또한, 가이드 스캔 경로에 촬영 중인 영상 데이터와 함께 실시간 스캔 방향을 추적한 사용자 스캔 경로를 표시함에 따라 본인이 가이드 스캔 경로대로 잘 촬영하고 있는지를 확인할 수 있다. 이에 따라, 보다 정확한 스캔 영상 데이터를 획득할 수 있다. 나아가, 구강 스캐너를 통한 스캔훈련에도 적용 가능하다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리장치의 구성을 도시한 도면,
도 2 및 도 3은 본 발명의 일 실시 예에 따른 스캔 가이드 화면의 배치 및 설정 화면을 도시한 도면,
도 4 및 도 5는 본 발명의 다양한 실시 예에 따른 스캔 가이드 온/오프 기능을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 사용자 스캔 경로를 추적하는 화면을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 사용자 스캔 경로를 추적하기 위한 알고리즘을 설명하기 위한 프로그램 화면을 도시한 도면,
도 8은 본 발명의 일 실시 예에 따른 추적된 사용자 스캔 경로와 가이드 스캔 경로를 비교하여 출력하는 스캔 화면을 도시한 도면,
도 9는 사용자마다 사용자 스캔 경로와 가이드 스캔 경로가 매칭되지 않음을 보여주는 도면,
도 10은 본 발명의 일 실시 예에 따른 사용자 스캔 경로와 가이드 스캔 경로가 매칭시키는 화면을 도시한 도면,
도 11은 본 발명의 일 실시 예에 따른 사용자 스캔 경로와 가이드 스캔 경로를 비교하여 보여주는 화면을 도시한 도면,
도 12는 본 발명의 일 실시 예에 따른 스캔 가이드 제공 방법의 흐름을 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장치를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의
역순으로 수행되는 것도 가능하다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다.
본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리장치의 구성을 도시한 도면이다.
영상 처리장치(1)는 영상 처리 프로그램을 실행 가능한 전자장치이다. 일 실시 예에 따른 영상 처리 프로그램은 구강 스캐너를 통해 획득된 영상 데이터를 영상 처리하고, 구강 스캐너를 통해 치아를 정확하게 촬영하기 위한 스캔 전략을 가이드한다. 전자장치는 컴퓨터, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) PC, 스마트폰, 휴대폰, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등이 있다. 영상 처리 프로그램은 스캔 프로그램, CAD 프로그램 등이 있다. 또한, 구강 스캐닝 이외에 다른 일반적인 의료영상 처리를 위한 프로그램에 적용될 수 있다. 나아가, 구강 스캐너를 이용한 스캔훈련에 사용될 수 있다.
구강 스캐너는 사용자의 구강 내부를 스캔하여 구강 내부의 영상 데이터를 획득한다. 영상 처리장치(1)는 구상 스캐너로부터 데이터 획득부(10)를 통해 영상 데이터를 수신하고 제어부(14)를 이용하여 구강 스캐너가 획득한 영상 데이터를 처리한다. 또한, 구강 스캐너를 통해 치아를 정확하게 촬영하기 위한 스캔 전략을 가이드 한다. 구강 스캐너는 내부 조명의 광원을 구동하여 광을 출력한 후, 광 경로를 따라 외부로 조사된 광을 통해 사용자의 구강 내부 또는 구강 모형을 비출 수 있다. 그러면, 구강 내부 또는 구강 모형에서 반사된 광은 다시 광 경로를 따라 구강 스캐너의 이미지 센서에 도달함으로써 구강 내부 또는 구강 모형의 영상 데이터가 획득될 수 있다.
이하, 도 1의 구성을 참조로 하여 전술한 특징을 가지는 영상 처리 장치의 구성에 대해 후술한다.
도 1을 참조하면, 일 실시 예에 따른 영상 처리장치(1)는 데이터 획득부(10), 저장부(12), 제어부(14), 입력부(16) 및 출력부(18)를 포함한다.
데이터 획득부(10)는 구상 스캐너를 통해 촬영되는 영상 데이터를 획득한다. 구강 스캐너는 환자의 구강을 본떠 생성한 석고 모형을 스캐닝하는 3D 스캐너(3D Scanner)이거나, 환자의 구강 내부를 스캐닝하는 구강 내 3D 스캐너(3D Intra-oral scanner)일 수 있다. 획득된 영상 데이터는 저장부(12)에 저장될 수 있다. 저장부(12)에는 영상 처리장치(1)의 동작 수행을 위해 필요한 정보와 동작 수행에 따라 생성되는 정보가 저장되어, 제어부(14)의 요청 시 정보를 제공한다.
제어부(14)는 구상 스캐너로부터 데이터 획득부(10)를 통해 획득된 영상 데이터를 수신하여 영상 처리하고 구강 스캐너를 통해 치아를 정확하게 촬영하기 위한 스캔 전략을 가이드 한다. 예를 들어, 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 가이드 화면에 표시한다. 가이드 스캔 경로는 구강 스캐너의 제조사 별로 사전에 설정된 것일 수 있다. 이때, 가이드 스캔 경로를 별도의 문서 또는 웹페이지를 통해 제공되는 것이 아니라, 영상 처리 프로그램의 화면에 표시됨에 따라 사용자가 가이드 스캔 경로를 화면에서 확인하면서 본인이 가이드대로 잘 촬영하고 있는지를 확인할 수 있게 된다.
일 실시 예에 따른 제어부(14)는 사용자 스캔 경로를 추적하여 출력부(18)에 제공한다. 사용자 스캔 경로는 사용자가 가이드 스캔 경로를 따라 구강 스캐너를 통해 스캔을 시작했을 때 실제로 실시간으로 스캔되는 경로이다. 제어부(14)는 사용자 스캔 경로를 추적하고 추적된 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 스캔 가이드 화면을 구성한다. 이때, 출력부(18)는 가이드 스캔 경로와 함께 사용자 스캔 경로를 스캔 가이드 화면에 표시할 수 있다. 예를 들어, 치아 모델 데이터 상에 가이드 스캔 경로와 사용자 스캔 경로가 중첩되어 표시된다.
사용자 스캔 경로 추적 방법의 예를 들면, 제어부(14)는 구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지(depth image)를 생성하고, 뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결한다.
이어서, 각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 검출된 교차 지점들을 서로 연결하여 사용자 스캔 경로를 생성한다.
나아가, 검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 사용자 스캔 경로를 보정할 수 있다. 이에 대한 실시 예는 도 7을 참조로 하여 후술한다. 다른 예로, 제어부(14)는 구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 사용자 스캔 경로를 생성할 수 있다.
사용자 스캔 경로를 가이드 스캔 경로에 함께 보여주기 위한 영상처리 예를 들면, 제어부(14)는 추적된 사용자 스캔 경로의 스케일을 가이드 스캔 경로의 스케일과 일치시킨 후 사용자 스캔 경로를 가이드 스캔 경로에 매칭한다. 이에 대한 실시 예는 도 9 및 도 10을 참조로 하여 후술한다. 제어부(14)는 사용자 스캔 경로와 가이드 스캔 경로를 비교 분석하고 비교 분석 결과 및 비교 분석 결과에 따라 생성되는 경고신호 중 적어도 하나를 제공할 수 있다. 예를 들어, 사용자 스캔 경로가 가이드 스캔 경로를 많이 벗어나는 경우 경고신호를 발생하여 사용자가 이를 인식하도록 한다.
출력부(18)는 스캔 가이드 화면을 다양하게 보여줄 수 있다. 예를 들어, 출력부(18)는 가이드 스캔 경로를 사용자 조작에 의해 회전하거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 스캔 가이드 화면에 표시할 수 있다. 또한, 출력부(18)는 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 스캔 가이드 화면에 표시할 수 있다. 다른 예로, 출력부(18)는 스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스를 화면에 표시하고 입력부(16)를 통해 사용자로부터 스캔 가이드의 표시 또는 미표시 여부를 설정받을 수 있다. 또 다른 예로, 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스를 화면에 표시하고 입력부(16)를 통해 사용자로부터 스캔 가이드의 투명도 여부를 설정받을 수 있다. 출력부(18)는 실제 구강 스캐너를 통해 스캔되는 영상 데이터에 사용자 스캔 경로를 실시간으로 표시할 수 있다. 입력부(16)는 영상 처리 프로그램을 통해 각종 사용자 명령을 입력 받는다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 스캔 가이드 화면의 배치 및 설정 화면을 도시한 도면으로, 보다 세부적으로 도 2는 2차원 스캔 가이드 화면을, 도 3은 3차원 스캔 가이드 화면을 도시한 도면이다.
도 2 및 도 3을 참조하면, 스캔 프로그램은 사용자가 스캔을 시작하기 전 및 스캔 도중에 사용자가 구강 스캐너를 통해 치아를 정확하게 촬영할 수 있도록 스캔 전략을 제공하는 가이드 스캔 경로(200)를 스캔 가이드 화면(2)을 통해 표시한다. 이때, 가이드 스캔 경로(200)는 소정의 치아 모델 데이터에 경로가 표시된다. 가이드 스캔 경로(200)에 의해 제공되는 스캔 전략은 스캔 스캔 시작점, 스캔 방향 및 스캔 순서 등을 포함하고 있다. 가이드 스캔 경로(200)는 2D 또는 3D 이미지로 제공될 수 있고, 애니메이션 형태로 제공될 수도 있다. 사용자는 가이드 스캔 경로(200)에 따라 스캔을 진행하게 된다.
스캔 가이드 화면(2)은 기본으로 스캔 프로그램의 네 모서리 중 한곳에 배치될 수 있다. 사용자는 스캔 가이드 화면(2)을 원하는 위치로 이동할 수 있다. 예를 들어, 드래그 및 홀드(Drag and Hold) 기능을 이용하여 스캔 가이드 화면(2)의 위치를 자유자재로 이동시킨다.
도 2에 도시된 바와 같이 2D 스캔 가이드 화면(2)은 평면 뷰(top view)를 기본으로 하며, 다른 시점(view)으로 전환되어 표시될 수도 있다. 도 3에 도시된 바와 같이 3D 스캔 가이드 화면(2)의 가이드 스캔 경로(200)는 뷰 상에서 사용자 입력으로 회전되거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 표시될 수 있다. 또한, 3D 스캔 가이드 화면(2)은 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 표시될 수 있다.
도 4 및 도 5는 본 발명의 다양한 실시 예에 따른 스캔 가이드 온/오프 기능을 도시한 도면이다.
도 4 및 도 5를 참조하면, 사용자가 스캔 프로그램에 스캔 가이드 화면(2)이 보이는 것을 원치 않을 수 있다. 이 경우, 도 4에 도시된 바와 같이 별도의 옵션 메뉴(500)의 설정 창(510)을 통해 스캔 가이드 화면을 온/오프할 수 있다. 다른 예로, 도 5에 도시된 바와 같이 스캔 화면 상에 온/오프 기능을 실시간으로 처리 가능한 사용자 인터페이스, 예를 들어 체크 박스 형태의 버튼을 포함한 설정 창(600)을 제공하여 사용자가 스캔 가이드 화면을 온/오프할 수 있다. 나아가, 스캔 가이드 화면(2)의 가이드 스캔 경로(200)의 투명도의 사용자 설정을 위한 사용자 인터페이스를 화면에 표시하고, 사용자로부터 스캔 가이드의 투명도를 설정받을 수 있다. 이는 사용자가 가이드 스캔 경로(200)가 보이는 것을 원하지만 치아 모델도 선명하게 보고 싶은 경우로, 투명도 조절을 통해 이를 달성할 수 있도록 한다.
도 6은 본 발명의 일 실시 예에 따른 사용자 스캔 경로를 추적하는 화면을 도시한 도면이다.
도 6을 참조하면, 스캔이 진행되면서 사용자가 촬영한 스캔 경로를 실시간으로 추적하여 이를 스캔 가이드 화면(2)에 표시할 수 있고, 실제 스캔되는 영상 데이터에 표시할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 사용자 스캔 경로를 추적하기 위한 알고리즘을 설명하기 위한 프로그램 화면을 도시한 도면이다.
도 1 및 도 7을 참조하면, 영상 처리장치(1)는 영상 중심을 선택하여 경로를 추적하는 방법을 사용하여 사용자 스캔 경로를 추적하여 화면에 표시할 수 있다. 예를 들어, 도 7에 도시된 바와 같이 뎁스 이미지(810)의 중심점을 연결한다. 뎁스 이미지(810)는 높이(Z값)를 가지는 이미지이며, 2D 이미지에 대해 다양한 재구성(Reconstruction) 알고리즘에 기반하여 얻어질 수 있다. 3D 객체는 뎁스 이미지(810)를 사용하여 얻어질 수 있다. 구강 스캐너 카메라의 해상도가 640 * 480 일 때, 중첩되는 영역을 가지는 각 뎁스 이미지 컷(CUT)은 640 * 480의 사이즈를 가진다. 재구성 이후 얻어진 각각의 뎁스 이미지의 CUT의 중심(또는 주점)인 320 * 240 지점(821, 822, 823, 824)을 순차 연결한다(830). 이어서, 3D 상에서의 표현을 위해 CUT의 중심점(821, 822, 823, 824)에서 3D 객체의 표면 위치로의 교차 지점을 검색(840)하고, 검색된 교차 지점들을 순차적으로 연결함에 따라 사용자 스캔 경로(850)를 생성한다. 이때, 검출된 포인트의 위치에 따라 교차 지점들을 연결
할 때 객체를 뚫고 지나가는 상황이 발생할 수 있다(예를 들어, 교차지점 연결 뷰 1, 2의 850). 따라서, 미리 설정된 거리, 예를 들어 5mm의 거리를 더 주고 사용자 스캔경로를 보정할 수 있다(예를 들어, 교차지점 연결 뷰 1의 860). 도 7의 예시에서 포인트(point)들이 같이 표시되어 있지만, 실제 프로그램 구현 시 포인트들은 출력하지 않고 라인만을 출력할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 추적된 사용자 스캔 경로와 가이드 스캔 경로를 비교하여 출력하는 스캔 화면을 도시한 도면이다.
도 1 및 도 8을 참조하면, 영상 처리장치(1)는 스캔 가이드 화면(2)의 치아 모델 데이터에 사용자 스캔 경로(210)와 가이드 스캔 경로(200)를 함께 표시한다. 이때, 사용자 스캔 경로(210)와 가이드 스캔 경로(200)가 중첩되어 표시됨에 따라, 사용자는 사용자 스캔 경로(210)와 가이드 스캔 경로(200)를 비교하면서 자신이 올바르게 스캔하고 있는지 여부를 실시간으로 확인할 수 있다.
일 실시 예에 따른 영상 처리장치(1)는 사용자 스캔 경로(210)와 가이드 스캔 경로(200)를 비교 분석하여 비교 분석 결과를 사용자에 제공할 수 있다. 예를 들어, 치아 모델 데이터의 소정의 지점을 기준으로 매칭되는 사용자 스캔 경로(210)의 지점과 가이드 스캔 경로(200)의 지점 간의 거리를 계산하여 계산된 거리를 표시한다. 나아가, 영상 처리장치(1)는 비교 분석 결과에 대한 경고신호를 출력할 수 있다. 예를 들어, 계산된 거리가 미리 설정된 거리 이상이면 스캔이 비정상인 것으로 판단하여 이를 사용자에 경고한다. 경고신호는 알람, 팝업 메뉴 표시 등의 일반적인 알림 기술을 사용할 수 있다.
도 9는 사용자마다 사용자 스캔 경로와 가이드 스캔 경로가 매칭되지 않음을 보여주는 도면이다.
도 9를 참조하면, 사람마다 풀 아치(full arch)의 크기, 개별치아 크기 및 치아배열 등이 상이하기 때문에 스캔 경로의 스케일이 다를 수 있다. 예를 들어, 도 9에 도시된 바와 같이 성인의 풀 아치 치아에 형성되는 사용자 스캔 경로의 스케일은, 유아의 풀 아치 치아(성인 풀 아치 치아보다 크기가 작음)에 형성되는 사용자 스캔 경로의 스케일과 상이하므로 가이드 스캔 경로와 서로 일치하지 않게 된다. 따라서, 스케일을 일치화 시키는 작업이 필요하다.
도 10은 본 발명의 일 실시 예에 따른 사용자 스캔 경로와 가이드 스캔 경로가 매칭시키는 화면을 도시한 도면이다.
도 1 및 도 10을 참조하면, 도 9를 참조로 하여 전술한 스케일 불일치 문제를 해결하기 위해 사용자가 가이드 스캔 경로에서 제시하는 시작 포인트와 동일한 위치에서 스캔을 시작한다고 가정한다. 일 실시 예에 따른 영상 처리장치(1)는 스케일 일치를 위해 사용자 스캔 경로의 가로 세로 길이와 비율을 가이드 스캔 경로와 일치시키는 형태로 스케일을 조절한다. 예를 들어, 성인의 풀 아치 치아에 형성되는 사용자 스캔 경로의 스케일을 다운(Scale Down) 시켜 다운된 사용자 스캔 경로를 생성한다. 유아의 풀 아치 치아에 형성되는 사용자 스캔 경로의 스케일은 업(Scale Up) 시켜 업된 사용자 스캔 경로를 생성한다. 사용자 스캔 경로의 스케일 업/다운 가공을 통해 생성된 사용자 스캔 경로(210)는 가이드 스캔 경로(200)와 스케일이 일치됨에 따라 스캔 가이드 화면(2) 내에서 매칭이 가능하게 된다.
도 11은 본 발명의 일 실시 예에 따른 사용자 스캔 경로와 가이드 스캔 경로를 비교하여 보여주는 화면을 도시한 도면이다.
도 1 및 도 11을 참조하면, 영상 처리장치(1)는 스캔을 위한 가이드 스캔 경로(200)를 가이드 스캔 화면(2)에 표시(a)하고, 사용자가 가이드 스캔 경로(200)를 따라 스캔을 시작하면 스캔에 따라 생성되는 사용자 스캔 경로(210)를 가이드 스캔 화면(2)의 가이드 스캔 경로(200)에 함께 표시한다(b, c). 도 11의 (b)는 사용자가 가이드 스캔 경로(200)를 따라 촬영을 잘 한 경우이고, (c)는 사용자가 가이드 스캔 경로(200)가 가이드 스캔 경로(200)를 많이 벗어난 경우를 각각 나타낸다.
도 12는 본 발명의 일 실시 예에 따른 스캔 가이드 제공 방법의 흐름을 도시한 도면이다.
도 1 및 도 12를 참조하면, 영상 처리장치(1)는 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시한다(S1210). 가이드 스캔 경로를 스캔 화면에 표시하는 단계(S1210)에서, 영상 처리장치(1)는 구강 스캐너의 제조사 별로 사전에 설정된 가이드 스캔 경로를 화면에 표시할 수 있다. 영상 처리 장치(1)는 가이드 스캔 경로를 사용자 조작에 의해 회전하거나 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 화면에 표시할 수 있다. 다른 예로, 영상 처리장치(1)는 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 가이드 스캔 경로를 실시간으로 회전하여 화면에 표시할 수 있다. 나아가, 영상 처리 장치(1)는 스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스, 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스 등을 화면에 제공할 수 있다.
이어서, 스캔이 시작(S1220)되면, 영상 처리장치(1)는 가이드 스캔 경로를 따라 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적한다(S1230).
사용자 스캔 경로 추적 단계(S1230)에서, 일 실시 예에 따른 영상 처리장치(1)는 영상 중심 또는 주점을 이용하여 사용자 스캔 경로를 추적한다. 예를 들어, 영상 처리장치(1)는 구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지를 생성하고, 뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결한다. 이어서, 각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 검출된 교차 지점들을 서로 연결하여 사용자 스캔 경로를 생성한다. 이때, 검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 사용자 스캔 경로를 보정할 수 있다. 다른 예로, 영상 처리장치(1)는 구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 사용자 스캔 경로를 생성할 수 있다.
이어서, 영상 처리장치(1)는 추적된 사용자 스캔 경로를 가이드 스캔 경로와 함께 표시한다(S1240). 가이드 스캔 경로와 함께 표시하는 단계(S1240)에서, 일 실시 예에 따른 영상 처리장치(1)는 영상 처리를 통해 사용자 스캔 경로의 스케일을 가이드 스캔 경로의 스케일과 일치시킨 후 사용자 스캔 경로를 가이드 스캔 경로에 매칭하여 표시한다. 영상 처리장치(1)는 실제 구강 스캐너를 통해 스캔된 영상 데이터에 사용자 스캔 경로를 표시할 수 있다.
나아가, 영상 처리장치(1)는 사용자 스캔 경로와 가이드 스캔 경로를 비교 분석하고, 비교 분석 결과 및 경고신호 중 적어도 하나를 제공할 수 있다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (22)

  1. 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 스캔 화면에 표시하는 단계;
    상기 가이드 스캔 경로를 따라 상기 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하는 단계; 및
    상기 추적된 사용자 스캔 경로를 상기 가이드 스캔 경로와 함께 표시하는 단계;
    를 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  2. 제 1 항에 있어서, 상기 가이드 스캔 경로를 스캔 화면에 표시하는 단계는
    상기 구강 스캐너의 제조사 별로 사전에 설정된 상기 가이드 스캔 경로를 화면에 표시하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  3. 제 1 항에 있어서, 상기 가이드 스캔 경로를 스캔 화면에 표시하는 단계는
    상기 가이드 스캔 경로를 사용자 조작에 의해 회전하거나 상기 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 화면에 표시하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  4. 제 1 항에 있어서, 상기 가이드 스캔 경로를 스캔 화면에 표시하는 단계는
    상기 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 상기 가이드 스캔 경로를 실시간으로 회전하여 화면에 표시하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  5. 제 1 항에 있어서, 상기 사용자 스캔 경로를 추적하는 단계는
    상기 구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지를 생성하는 단계;
    상기 뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결하는 단계; 및
    상기 각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 상기 검출된 교차 지점들을 서로 연결하여 상기 사용자 스캔 경로를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  6. 제 5 항에 있어서, 상기 사용자 스캔 경로를 추적하는 단계는
    상기 검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 상기 사용자 스캔 경로를 보정하는 단계;
    를 더 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  7. 제 1 항에 있어서, 상기 사용자 스캔 경로를 추적하는 단계는
    상기 구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 상기 사용자 스캔 경로를 생성하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  8. 제 1 항에 있어서, 상기 가이드 스캔 경로와 함께 표시하는 단계는
    상기 추적된 사용자 스캔 경로의 스케일을 상기 가이드 스캔 경로의 스케일과 일치시킨 후 상기 사용자 스캔 경로를 상기 가이드 스캔 경로에 매칭하여 표시하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  9. 제 1 항에 있어서,
    상기 구강 스캐너를 통해 스캔된 영상 데이터에 상기 사용자 스캔 경로를 표시하는 단계;
    를 더 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  10. 제 1 항에 있어서,
    스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스를 제공하는 단계; 및
    상기 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스를 제공하는 단계;
    를 더 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  11. 제 1 항에 있어서,
    상기 사용자 스캔 경로와 상기 가이드 스캔 경로를 비교 분석하는 단계; 및
    상기 비교 분석의 결과 및 상기 비교 분석의 결과에 따라 발생하는 경고신호 중 적어도 하나를 제공하는 단계;
    를 더 포함하는 것을 특징으로 하는 스캔 가이드 제공 방법.
  12. 사용자의 구강 내부 또는 구강 모형을 스캔한 영상 데이터를 구강 스캐너로부터 획득하는 데이터 획득부;
    상기 구강 스캐너로부터 획득된 영상 데이터와, 상기 구강 스캐너의 스캔 전략을 제공하는 가이드 스캔 경로를 화면에 표시하는 출력부; 및
    상기 데이터 획득부를 통해 획득된 상기 영상 데이터를 수신하여 영상 처리하고 상기 가이드 스캔 경로를 상기 출력부에 제공하는 제어부;
    를 포함하는 것을 특징으로 하는 영상 처리장치.
  13. 제 12 항에 있어서, 상기 출력부는
    상기 가이드 스캔 경로를 사용자 조작에 의해 회전하거나 상기 구강 스캐너를 통해 실제 촬영되는 위치와 동일한 시점으로 이동하여 화면에 표시하는 것을 특징으로 하는 영상 처리장치.
  14. 제 12 항에 있어서, 상기 출력부는
    상기 구강 스캐너를 통해 실제 촬영되는 위치와 동기화되어 상기 가이드 스캔 경로를 실시간으로 회전하여 화면에 표시하는 것을 특징으로 하는 영상 처리장치.
  15. 제 12 항에 있어서, 상기 출력부는
    스캔 가이드의 표시 또는 미표시 여부의 사용자 설정을 위한 사용자 인터페이스와, 상기 스캔 가이드의 투명도의 사용자 설정을 위한 사용자 인터페이스를 화면에 표시하는 것을 특징으로 하는 영상 처리장치.
  16. 제 12 항에 있어서, 상기 제어부는
    상기 가이드 스캔 경로를 따라 상기 구강 스캐너를 통해 실제로 스캔되는 사용자 스캔 경로를 추적하고 상기 추적된 사용자 스캔 경로를 상기 가이드 스캔 경로에 매칭하여 화면을 구성하고,
    상기 출력부는 상기 가이드 스캔 경로와 함께 상기 사용자 스캔 경로를 화면에 표시하는 것을 특징으로 하는 영상 처리장치.
  17. 제 16 항에 있어서, 상기 제어부는
    상기 구강 스캐너의 스캔을 통해 얻어지는 2D 이미지를 재구성하여 뎁스 이미지를 생성하고,
    상기 뎁스 이미지를 구성하는 각 객체의 중심점 또는 주점을 서로 연결하며,
    상기 각 객체의 중심점 또는 주점에서 3D 객체의 표면 위치로의 교차 지점을 검출하고 상기 검출된 교차 지점들을 서로 연결하여 상기 사용자 스캔 경로를 생성하는 것을 특징으로 하는 영상 처리장치.
  18. 제 17 항에 있어서, 상기 제어부는
    상기 검출된 교차 지점들로부터 미리 설정된 거리를 두고 형성되는 지점들을 서로 연결하여 상기 사용자 스캔 경로를 보정하는 것을 특징으로 하는 영상 처리장치.
  19. 제 16 항에 있어서, 상기 제어부는
    상기 구강 스캐너의 스캔을 통해 얻어지는 3D 이미지의 각 개체의 중심점을 서로 연결하여 상기 사용자 스캔 경로를 생성하는 것을 특징으로 하는 영상 처리장치.
  20. 제 16 항에 있어서, 상기 제어부는
    상기 추적된 사용자 스캔 경로의 스케일을 상기 가이드 스캔 경로의 스케일과 일치시킨 후 상기 사용자 스캔 경로를 상기 가이드 스캔 경로에 매칭하는 것을 특징으로 하는 영상 처리장치.
  21. 제 16 항에 있어서, 상기 출력부는
    상기 구강 스캐너를 통해 스캔된 영상 데이터에 상기 사용자 스캔 경로를 표시하는 것을 특징으로 하는 영상 처리장치.
  22. 제 16 항에 있어서, 상기 제어부는
    상기 사용자 스캔 경로와 상기 가이드 스캔 경로를 비교 분석하고 상기 비교 분석의 결과 및 상기 비교 분석의 결과에 따라 발생하는 경고신호 중 적어도 하나를 제공하는 것을 특징으로 하는 영상 처리장치.
PCT/KR2020/003024 2019-03-29 2020-03-03 스캔 가이드 제공 방법 이를 위한 영상 처리장치 Ceased WO2020204366A2 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
ES20782603T ES2967991T3 (es) 2019-03-29 2020-03-03 Método que proporciona una guía de escaneo y dispositivo de procesamiento de imágenes para el mismo
CN202080026083.5A CN113645893B (zh) 2019-03-29 2020-03-03 扫描引导提供方法及用于其的图像处理装置
US17/436,889 US12004921B2 (en) 2019-03-29 2020-03-03 Scan guide providing method and image processing device therefor
EP20782603.3A EP3925569B1 (en) 2019-03-29 2020-03-03 Scan guide providing method and image processing device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0036899 2019-03-29
KR1020190036899A KR102236360B1 (ko) 2019-03-29 2019-03-29 스캔 가이드 제공 방법 이를 위한 영상 처리장치

Publications (2)

Publication Number Publication Date
WO2020204366A2 true WO2020204366A2 (ko) 2020-10-08
WO2020204366A3 WO2020204366A3 (ko) 2020-11-26

Family

ID=72667189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/003024 Ceased WO2020204366A2 (ko) 2019-03-29 2020-03-03 스캔 가이드 제공 방법 이를 위한 영상 처리장치

Country Status (6)

Country Link
US (1) US12004921B2 (ko)
EP (1) EP3925569B1 (ko)
KR (1) KR102236360B1 (ko)
CN (1) CN113645893B (ko)
ES (1) ES2967991T3 (ko)
WO (1) WO2020204366A2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI712396B (zh) * 2020-01-16 2020-12-11 中國醫藥大學 口腔缺陷模型之修補方法及口腔缺陷模型之修補系統
KR102593160B1 (ko) * 2021-01-08 2023-10-24 주식회사 메디트 데이터 처리 방법
FR3139002A1 (fr) * 2022-08-31 2024-03-01 Dental Monitoring Procédé d’acquisition d’un ensemble d’images d’un objet buccal
CN115938181B (zh) * 2022-12-22 2025-03-28 先临三维科技股份有限公司 扫描引导方法、装置和系统、介质和计算机设备
US20250072740A1 (en) * 2023-08-29 2025-03-06 3Shape A/S Intraoral scanner system with a correction feedback signal
WO2025160531A1 (en) * 2024-01-26 2025-07-31 Niantic, Inc. Object scanning with dynamic guidance
KR20250157866A (ko) * 2024-04-29 2025-11-05 주식회사 메디트 치과 보철물에 대한 제작을 의뢰하는 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH105248A (ja) * 1996-01-12 1998-01-13 Egawa:Kk ハンドピースの操作表示装置
JP2002306403A (ja) * 2001-04-18 2002-10-22 Olympus Optical Co Ltd 内視鏡装置
WO2006092800A2 (en) * 2005-03-03 2006-09-08 Cadent Ltd. System and method for scanning an intraoral cavity
US20090061381A1 (en) * 2007-09-05 2009-03-05 Duane Milford Durbin Systems and methods for 3D previewing
JP5433381B2 (ja) * 2009-01-28 2014-03-05 合同会社ＩＰ Ｂｒｉｄｇｅ１号 口腔内測定装置及び口腔内測定方法
US20120062557A1 (en) 2010-09-10 2012-03-15 Dimensional Photonics International, Inc. Systems and methods for processing and displaying intra-oral measurement data
US9191648B2 (en) * 2011-02-22 2015-11-17 3M Innovative Properties Company Hybrid stitching
US8948482B2 (en) * 2012-11-01 2015-02-03 Align Technology, Inc. Motion compensation in a three dimensional scan
DE102014207667A1 (de) * 2014-04-23 2015-10-29 Sirona Dental Systems Gmbh Verfahren zur Durchführung einer optischen dreidimensionalen Aufnahme
EP3150101A1 (en) 2014-05-28 2017-04-05 Olympus Corporation Optical scan observation device and optical scan observation device operation method
US9724177B2 (en) * 2014-08-19 2017-08-08 Align Technology, Inc. Viewfinder with real-time tracking for intraoral scanning
US11141047B2 (en) * 2015-05-19 2021-10-12 Tyto Care Ltd. Systems and methods for throat imaging
JP6902352B2 (ja) 2017-01-19 2021-07-14 株式会社日立製作所 光走査装置、映像装置、及び距離計測装置
CN108309493B (zh) 2018-02-12 2021-01-05 苏州佳世达光电有限公司 口腔扫描仪控制方法及口腔扫描设备
CN109431442A (zh) * 2018-10-08 2019-03-08 苏州佳世达光电有限公司 口腔扫描装置及其系统
EP3689218B1 (en) 2019-01-30 2023-10-18 DENTSPLY SIRONA Inc. Method and system for guiding an intra-oral scan

Also Published As

Publication number Publication date
KR102236360B1 (ko) 2021-04-05
EP3925569B1 (en) 2023-11-29
US20220160476A1 (en) 2022-05-26
KR20200114710A (ko) 2020-10-07
WO2020204366A3 (ko) 2020-11-26
EP3925569A2 (en) 2021-12-22
ES2967991T3 (es) 2024-05-06
US12004921B2 (en) 2024-06-11
CN113645893A (zh) 2021-11-12
EP3925569A4 (en) 2022-10-19
CN113645893B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
WO2020204366A2 (ko) 스캔 가이드 제공 방법 이를 위한 영상 처리장치
WO2020197116A1 (ko) 구강 스캐너 캘리브레이션 장치 및 그 방법
WO2011074867A2 (ko) 구강용 스캐너
WO2021006472A1 (ko) 임플란트 시술 계획 수립을 위한 다중 골밀도 표시방법 및 그 영상 처리장치
WO2018155973A2 (ko) 가상현실 기반 방사선학 실습 장치 및 방법
WO2020209496A1 (ko) 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치
WO2019139291A1 (ko) 피부 상태 측정용 모듈
WO2020184875A1 (ko) 파노라믹 영상을 이용한 치아번호 선택방법 및 이를 위한 의료영상 처리장치
WO2022014965A1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
WO2018097596A1 (ko) 방사선 촬영 가이드 시스템 및 방법
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
CN105323520A (zh) 投影仪设备、交互系统和交互控制方法
CN115018881A (zh) 颌骨运动轨迹追踪方法、装置、设备及介质
WO2021182754A1 (ko) 치과 임플란트 수술계획 수립방법 및 그 장치
WO2022030829A1 (ko) 마진라인 포인트 선택 방법 및 이를 위한 덴탈 캐드 장치
WO2023063671A1 (ko) 3차원 스캐너의 스캔 이미지 정렬 방법, 장치 및 명령을 기록한 기록매체
WO2021006470A1 (ko) 임플란트 시뮬레이션 방법 및 그 장치
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2017026834A1 (ko) 반응형 영상 생성방법 및 생성프로그램
WO2024190949A1 (ko) 증강현실을 이용한 임플란트 수술 가이드 방법 및 이를 수행하기 위한 장치
WO2022255720A1 (ko) 3차원 스캐너의 스캔 이미지 처리 방법 및 장치
WO2022250403A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2023090601A1 (ko) 사용자 단말기 및 사용자의 신체 부위 별 체형 정보를 제공하는 방법
WO2023003192A1 (ko) 이미지 처리 장치, 및 이미지 처리 방법
WO2025048180A1 (ko) 구강 스캐너를 위한 시각적 가이드 제공 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20782603

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2020782603

Country of ref document: EP

Effective date: 20210914

NENP Non-entry into the national phase

Ref country code: DE