WO2025121679A1 - Virtual environment-based incision simulation modeling device - Google Patents
Virtual environment-based incision simulation modeling device Download PDFInfo
- Publication number
- WO2025121679A1 WO2025121679A1 PCT/KR2024/017150 KR2024017150W WO2025121679A1 WO 2025121679 A1 WO2025121679 A1 WO 2025121679A1 KR 2024017150 W KR2024017150 W KR 2024017150W WO 2025121679 A1 WO2025121679 A1 WO 2025121679A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- virtual
- incision
- medical tool
- layer
- virtual medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
- A61B2090/502—Headgear, e.g. helmet, spectacles
Definitions
- the present invention relates to a cutting simulation modeling device, and more specifically, to a virtual environment-based cutting simulation modeling device.
- Figure 1 illustrates a method for implementing incision of a wound in a conventional medical surgical simulation.
- a virtual three-dimensional affected area object is implemented as a plurality of mesh shapes formed by cloud points.
- a computer calculates the intersection points between the actual cutting curve of a virtual medical tool and the lines forming the mesh (Fig. 1 (a)). Thereafter, the computer calculates a sampled cutting curve connecting each of the intersection points. Thereafter, the computer performs a computational process of reconstructing the existing mesh shape into a plurality of sub-meshes using the sampled cutting curve and each of the intersection points.
- Non-patent Document 1 Virtual Reality Simulator for Training in Myringotomy with Tube Placement, Caiwen Huang et al.. 2016, J. Med. Biol. Eng.
- the purpose of this specification is to provide a virtual environment-based incision simulation modeling device.
- the incision simulation modeling device for solving the above-described problem may include a memory unit storing modeling data for a virtual object having three layers and modeling data for a virtual medical tool; a virtual space providing unit providing a virtual space in which the virtual object and the virtual medical tool are placed; a virtual medical tool control unit controlling movement of the virtual medical tool within the virtual space according to an external input signal; and a feedback control unit generating feedback for the virtual object or the virtual medical tool when the virtual object and the virtual medical tool come into contact within the virtual space.
- the three layers of the virtual object may include a first layer forming an incision target; a second layer forming a non-incision target; and a third layer for generating a vertical repulsive force of the virtual medical tool.
- the second layer is placed between the first layer and the third layer, and the second layer can be formed with an area corresponding to the first layer as a blank area.
- the first layer has a mesh shape formed by cloud points, and the feedback control unit can annihilate the mesh of an area of the first layer that comes into contact with the virtual medical tool.
- the feedback control unit can generate a feedback signal regarding a movement resistance of the virtual medical tool when the virtual medical tool comes into contact with the first layer.
- the feedback control unit can move the position of a cloud point adjacent to a mesh that has disappeared in contact with the virtual medical tool among the areas of the first layer by a preset amount in the direction in which the virtual medical tool has moved.
- the feedback control unit can generate feedback by modeling the outflow of body fluid when the mesh object is destroyed.
- the feedback control unit can generate a feedback signal that restricts entry of the virtual medical tool when the virtual medical tool contacts the third layer.
- the incision simulation modeling device may be a component of an incision simulation system, including a virtual medical tool control device that outputs a movement signal of the virtual medical tool to a virtual medical tool control unit of the incision simulation modeling device.
- the virtual medical tool control device may include an incision signal generation unit that outputs an incision signal to the incision simulation modeling device.
- the virtual medical tool control device may include a haptic providing unit that provides a haptic response to a user by a signal output from a feedback control unit of the incision simulation modeling device.
- the incision simulation system may further include a display device that displays a virtual space provided by a virtual space providing unit of the incision simulation modeling device, the virtual object, and a virtual medical tool.
- the display device may be a display of a predetermined form that is mounted on a user's head.
- a virtual object can be modeled using relatively less memory compared to conventional techniques.
- the incision simulation can be modeled with relatively less computational effort compared to conventional techniques.
- the incision simulation can be modeled with a smaller amount of computation than before, so that the response speed of the simulation can be relatively faster than before.
- modeling of incision simulations can be achieved with less computational effort than before, thereby requiring relatively less infrastructure construction, use and/or maintenance costs.
- Figure 1 illustrates a method for implementing incision of a wound in a conventional medical surgical simulation.
- FIG. 2 is a block diagram of a cutting simulation modeling device according to one embodiment of the present specification.
- Figure 3 shows an image of the eardrum of a human body.
- Figure 4 is an example image of modeling data of a virtual object loaded into a modeling program.
- Figure 5 is an example image of incision simulation modeling according to this specification.
- Figure 6 is another example image of incision simulation modeling according to the present specification.
- Figure 7 is another example image of the incision simulation modeling according to the present specification.
- FIG. 8 is a block diagram of a cutting simulation system according to one embodiment of the present specification.
- FIG. 9 is a block diagram of a cutting simulation system according to another embodiment of the present specification.
- the spatially relative terms “below,” “beneath,” “lower,” “above,” “upper,” and the like can be used to easily describe the relationship of one component to other components as depicted in the drawings.
- the spatially relative terms should be understood to include different orientations of the components when used or operated in addition to the orientations depicted in the drawings. For example, if a component depicted in the drawings is flipped over, a component described as “below” or “beneath” another component may now be “above” the other component.
- the exemplary term “below” can include both the above and below orientations.
- the components may also be oriented in other directions, and the spatially relative terms may be interpreted accordingly.
- FIG. 2 is a block diagram of a cutting simulation modeling device according to one embodiment of the present specification.
- an incision simulation modeling device (10) may include a memory unit (100), a virtual space providing unit (110), a virtual medical tool control unit (120), and a feedback control unit (130).
- the above memory unit (100) can store modeling data for a virtual object having three layers and modeling data for a virtual medical instrument.
- the virtual object can correspond to a virtual affected area modeled for incision simulation.
- the virtual object can correspond to a virtual human body structure including a specific affected area modeled for incision simulation.
- the virtual object may correspond to a virtual tympanic membrane modeled for myringotomy simulation.
- the virtual object may correspond to a virtual human body structure including the tympanic membrane and middle ear region modeled for myringotomy simulation.
- the virtual object may correspond to a virtual human body structure including the tympanic membrane, external auditory canal, and/or middle ear region modeled for myringotomy simulation. This is only an example, and the virtual object may vary depending on the type of incision simulation to be implemented in a virtual environment.
- the memory unit (100) may store modeling data for at least one virtual object for at least one incision simulation.
- the above virtual medical tool may correspond to a virtual myringotomy knife for cutting the virtual eardrum. This is an example, and the virtual medical tool may vary depending on the type of surgical incision simulation to be implemented in the virtual environment.
- the memory unit (100) may store modeling data for at least one virtual medical tool for at least one incision simulation.
- the three layers of the virtual object may include a first layer forming an incision target, a second layer forming a non-incision target, and a third layer for generating a vertical repulsive force of the virtual medical tool.
- Figure 3 shows an image of the eardrum of a human body.
- the tympanic membrane can be divided into an anterior superior and posterior superior regions attached to the malleus, and an anterior inferior and posterior inferior regions not attached to the malleus.
- anterior inferior and posterior inferior regions are incised to drain effusion.
- the anterior refers to the direction toward the face of the human body and the direction toward the back of the head
- the superior refers to the direction toward the crown
- the inferior refers to the direction toward the legs.
- the modeling data for the first layer may correspond to modeling data for the anterior lower and posterior lower regions of the tympanic membrane.
- the modeling data for the second layer may correspond to modeling data for the anterior upper and posterior upper regions of the tympanic membrane including the malleus.
- the modeling data for the second layer may further include modeling data for a portion of the external auditory canal.
- the modeling data for the third layer may correspond to modeling data for a portion of the inner wall of the middle ear.
- the virtual space providing unit (110) can provide a virtual space in which the virtual object and virtual medical tool are placed.
- the memory unit (100) can further include modeling data for the virtual space.
- the virtual space providing unit (110) can load the modeling data of the virtual space from the memory unit (100).
- the virtual space providing unit (110) can render the virtual space using the modeling data of the virtual space.
- Figure 4 is an example image of modeling data of a virtual object loaded into a modeling program.
- the modeling data of the virtual object (200) stored in the memory unit (100) may include the first layer (210), the second layer (220), and the third layer (230).
- the second layer (220) may be placed between the first layer (210) and the third layer (230). This may mean that the first layer (210), the second layer (220), and the third layer (230) are stacked.
- the first layer (210) may have a relatively largest z-axis coordinate value in the virtual space.
- the second layer (220) may have a z-axis coordinate value that is next largest after the first layer (210) in the virtual space.
- the third layer (230) may have a relatively smallest z-axis coordinate value in the virtual space. This may mean that the first layer (210), the second layer (220), and the third layer (230) are stacked on the z-axis of the virtual space.
- the difference between the z-axis coordinate value of the first layer (210) and the z-axis coordinate value of the second layer (220) can be set within a predetermined difference.
- the difference between the z-axis coordinate value of the second layer (220) and the z-axis coordinate value of the third layer (230) can be set within a predetermined difference.
- the coordinate axes along which the first layer (210), the second layer (220), and the third layer (230) are stacked in the virtual space may vary depending on the orientation of the virtual object (200) and are not limited by a specific coordinate axes.
- the first layer (210) may overlap the second layer (220).
- the area of the second layer (220) where the first layer (210) overlaps may be formed as a blank area.
- the shape of the blank area may be the same as the shape of the first layer (210). In addition, the shape of the blank area may be larger than the shape of the first layer (210) by a predetermined size. In addition, the shape of the blank area may be smaller than the shape of the first layer (210) by a predetermined size.
- Figure 5 is an example image of incision simulation modeling according to this specification.
- the virtual object (200) and the virtual medical tool (300) can be placed in the virtual space.
- the above virtual medical tool control unit (120) can control the movement of the virtual medical tool (300) within the virtual space according to an external input signal.
- the above feedback control unit (130) can generate feedback for the virtual object (200) and/or the virtual medical tool (300) when the virtual object (200) and the virtual medical tool (300) come into contact within the virtual space.
- the feedback control unit (130) can determine whether the virtual object (200) and the virtual medical tool (300) are in contact within the virtual space. When the feedback control unit (130) determines that the virtual object (200) and the virtual medical tool (300) are in contact, the feedback control unit (130) can generate a visual feedback that changes the shape of the virtual object (200). In addition, the feedback control unit (130) can generate a tactile feedback signal corresponding to a force generated when cutting human tissue with an actual medical tool.
- the feedback control unit (130) can determine whether the virtual medical tool (300) is in contact with the first layer (210). When the feedback control unit (130) determines that the first layer (210) and the virtual medical tool (300) are in contact, the feedback control unit (130) can generate the visual feedback in the first layer (210).
- the visual feedback generated in the virtual first layer (210) can mean implementing an incision of human tissue in an actual medical surgical procedure.
- the modeling data of the first layer (210) may correspond to modeling data that generates the first layer (210) in the virtual space as a mesh structure based on cloud points (Fig. 5 (a)).
- the modeling data of the second layer (220) and the third layer (230) may correspond to surface modeling data. This is an example and is not limited by the modeling method.
- the incision simulation modeling device (10) By generating only the first layer (210) as the mesh structure, the incision simulation modeling device (10) according to the present specification can model a virtual object using relatively less memory than a conventional incision simulation modeling device.
- the feedback control unit (130) may not generate the visual feedback to the first layer (210).
- the feedback control unit (130) determines that the first layer (210) and the virtual medical tool (300) are in contact, the feedback control unit (130) can generate the visual feedback to the first layer (210).
- the feedback control unit (130) can generate the visual feedback by removing the area of the first layer (210) that the virtual medical tool (300) is in contact with.
- the feedback control unit (130) can generate information about the coordinate values of the area where the first layer (210) and the virtual medical tool (300) come into contact.
- the feedback control unit (130) can generate the visual feedback to annihilate the mesh of the first layer (210) including the coordinate values of the area. This may mean that the feedback control unit (130) generates the visual feedback to delete data that generates the mesh including the coordinate values of the area in the virtual space. Alternatively, it may mean that the feedback control unit (130) generates the visual feedback to delete data of points that constitute the mesh including the coordinate values of the area.
- the area of the first layer (210) that the virtual medical tool (300) came into contact with can be removed by the visual feedback generated by the feedback control unit (130).
- bounding box collision detection In order to determine whether the first layer (210) and the virtual medical tool (300) are in contact, bounding box collision detection, separating axis theorem, bounding volume hierarchy (BVH), or Gilbert-Johnson-Keerthi (GJK) algorithm, etc. may be used, which are examples and are not limited by a specific algorithm.
- VH bounding volume hierarchy
- GJK Gilbert-Johnson-Keerthi
- the incision simulation modeling device (10) can perform relatively fewer operations by removing the mesh of the first layer (210) in the area where the virtual medical tool (300) comes into contact, thereby omitting the computational process of reconstructing the mesh into a sub-mesh in a conventional incision simulation device.
- the area of the third layer (230) corresponding to the removed area can be modeled to be visible.
- the third layer (230) can be modeled with a color value that is relatively darker than the first layer (210) and the second layer (220).
- the third layer (230) can be modeled with a color value that is different from the first layer (210) and the second layer (220).
- the third layer (230) can be modeled to include a marker of a predetermined shape. This is an example and is not limited by the above methods.
- Figure 6 is another example image of incision simulation modeling according to the present specification.
- the virtual medical tool (300) can move to the lower right while maintaining contact with the first layer (210).
- the feedback control unit (130) can annihilate the mesh of the first layer (210) that the virtual medical tool (300) contacts while moving.
- the feedback control unit (130) can deform the mesh of the first layer (210) toward the direction in which the virtual medical tool (300) moved.
- the feedback control unit (130) can move the position of a cloud point adjacent to the mesh that has disappeared by contact with the virtual medical tool (300) by a preset amount in the direction in which the virtual medical tool (300) moved.
- the virtual medical tool (300) can move downward while maintaining contact with the first layer (210) ((c) of FIG. 6).
- the feedback control unit (130) can annihilate the mesh of the first layer (210) that is in contact with the virtual medical tool (300) ((d) of FIG. 6).
- the feedback control unit (130) can select a cloud point adjacent to the annihilated mesh in (d) of FIG. 6. Thereafter, the feedback control unit (130) can move the cloud point in the direction in which the virtual medical tool (300) moved by a preset amount.
- the feedback control unit (130) can implement in the virtual object (200) that the cutting surface of the human tissue is pulled in the moving direction of the surgical tool due to the frictional force between the surgical tool and the cutting surface of the human tissue during an actual incision surgery.
- This is an example and is not limited by a specific moving direction of the virtual medical tool (300).
- the feedback control unit (130) can generate a tactile feedback signal for the movement resistance of the virtual medical tool (300).
- the movement resistance may refer to a reaction force that the surgical tool receives from human tissue located in the movement direction during an actual incision surgery.
- the movement resistance may correspond to a frictional force that the surgical tool receives from a cut surface of human tissue during an actual incision surgery.
- the movement resistance may refer to a net force of the reaction force and the frictional force.
- the movement resistance may refer to a net force for all forces acting in the opposite direction to the movement direction of the surgical tool due to the interaction between the surgical tool and human tissue.
- the feedback control unit (130) can generate a tactile feedback signal for a movement resistance force acting in the upper left direction opposite to the movement direction of the virtual medical tool (300). This is an example and is not limited by a specific direction.
- the above feedback control unit (130) can generate visual feedback by modeling the outflow of body fluid when the mesh of the first layer (210) disappears.
- the memory unit (100) can further include body fluid outflow modeling data.
- the feedback control unit (130) can load the body fluid outflow modeling data from the memory unit (100).
- the feedback control unit (130) can model the body fluid outflow in the area where the mesh disappears when the mesh of the first layer (210) disappears.
- the body fluid outflow modeling data can correspond to data modeling the outflow of exudate. This is an example and is not limited by the body fluid.
- Figure 7 is another example image of the incision simulation modeling according to the present specification.
- the virtual medical tool (300) may pass through a blank area between the first layer (210) and the third layer (230) and contact the third layer (230).
- the feedback control unit (130) may generate a tactile feedback signal that restricts the entry of the virtual medical tool (300).
- the feedback signal may be a signal corresponding to a vertical repulsive force acting in a direction opposite to the entry direction of the virtual medical tool (300).
- the entry direction of the above virtual medical tool (300) may mean a vertical direction from the first layer (210) toward the third layer (230).
- the first layer (210) may have a relatively larger z-axis coordinate value than the third layer (230).
- the entry direction of the virtual medical tool (300) may be a direction in which the z-axis coordinate value becomes relatively smaller.
- the feedback control unit (130) can output a tactile feedback signal corresponding to the vertical repulsive force occurring during the actual surgery to the virtual medical tool (300).
- FIG. 8 is a block diagram of a cutting simulation system according to one embodiment of the present specification.
- an incision simulation system (1) may include an incision simulation modeling device (10) and a virtual medical tool control device (20).
- the virtual medical tool control device (20) may output a signal according to a user's movement to the virtual medical tool control unit (120).
- the virtual medical tool control unit (120) may receive the movement signal and control the movement of the virtual medical tool (300).
- the virtual medical tool control device (20) may be a pen-shaped device connected to a plurality of robotic arms or a device having the same shape as an actual surgical tool, which is merely an example and is not limited by a specific shape.
- the above virtual medical tool control device (20) may include an incision signal generation unit that outputs an incision signal to the incision simulation modeling device (10).
- the incision signal generation unit may correspond to a button or a touch sensor of a predetermined shape, which is an example and is not limited by a specific device.
- the incision signal may correspond to a signal that causes the feedback control unit (130) to remove the mesh in the area where the virtual medical tool (300) comes into contact with the first layer (210).
- the virtual medical tool control device (20) may include a haptic providing unit that provides a haptic response to a user by a signal output from the feedback control unit (130).
- the signal output from the feedback control unit (130) may correspond to a signal corresponding to the movement resistance force and/or the vertical repulsive force.
- the virtual medical tool control device (20) may relatively increase the user's sense of simulation immersion by providing the user with a haptic response to the movement resistance force and/or the vertical repulsive force.
- FIG. 9 is a block diagram of a cutting simulation system according to another embodiment of the present specification.
- an incision simulation system (1') may include an incision simulation modeling device (10), a virtual medical tool control device (20), and a display device (30).
- the display device (30) can display the virtual space provided by the virtual space providing unit (110), the virtual object (200), and the virtual medical tool (300).
- the display device (30) can be a display of a predetermined form mounted on the user's head.
- the display device can correspond to smart glasses, smart goggles, a head mounted display, or a helmet mounted display of a VR (virtual reality) device and/or an AR (augmented reality) device.
- VR virtual reality
- AR augmented reality
- the display device can be various, such as a CRT (Cathode-Ray Tube), a PDP (Plasma Display Panel), an LCD (Liquid Crystal Display), an LED (Light Emitting Diode), or an OLED (Organic Light Emitting Diode), and is not limited by a specific display device.
- CTR Cathode-Ray Tube
- PDP Plasma Display Panel
- LCD Liquid Crystal Display
- LED Light Emitting Diode
- OLED Organic Light Emitting Diode
- the above memory unit (100), virtual space providing unit (110), virtual medical tool control unit (120), and feedback control unit (130) may include a processor, an ASIC (application-specific integrated circuit), another chipset, a logic circuit, a register, a communication modem, a data processing device, etc. known in the technical field to which the present invention belongs in order to execute calculations and various control logics.
- the memory unit (100), virtual space providing unit (110), virtual medical tool control unit (120), and feedback control unit (130) may be implemented as a set of program modules. At this time, the program modules may be stored in the memory device and executed by the processor.
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Instructional Devices (AREA)
Abstract
Description
본 발명은 절개 시뮬레이션 모델링 장치에 관한 것이며, 보다 상세하게는 가상환경 기반의 절개 시뮬레이션 모델링 장치에 관한 것이다.The present invention relates to a cutting simulation modeling device, and more specifically, to a virtual environment-based cutting simulation modeling device.
이 부분에 기술된 내용은 단순히 본 명세서에 기재된 실시예에 대한 배경 정보를 제공할 뿐 반드시 종래 기술을 구성하는 것은 아니다.The material described in this section merely provides background information on the embodiments described herein and does not necessarily constitute prior art.
가상환경 기술의 발전과 더불어, 임상 경험이 부족한 의사들의 수술 숙련도를 높이기 위한 가상환경에서의 의료 수술 시뮬레이션 기술이 개발되고 있다. 상기 의료 수술 시뮬레이션에서 훈련자의 몰입감을 높이기 위하여, 실제 의료 수술 시 발생하는 물리적인 현상을 가상 환경에서 현실과 유사하게 구현하는 것이 요구된다.With the development of virtual environment technology, medical surgery simulation technology in a virtual environment is being developed to improve the surgical skills of doctors with insufficient clinical experience. In order to increase the immersion of the trainee in the above medical surgery simulation, it is required to implement the physical phenomena occurring during actual medical surgery in a virtual environment similar to reality.
도 1은 종래의 의료 수술 시뮬레이션에서 환부의 절개를 구현하는 방식을 도시한다.Figure 1 illustrates a method for implementing incision of a wound in a conventional medical surgical simulation.
도 1을 참조하면, 종래의 의료 수술 시뮬레이션에서 가상의 3차원 환부 객체는 클라우드 포인트(cloud point)로 형성된 복수개의 메쉬(mesh) 형상으로 구현된다. 실제 의료 수술 현장에서 행하여지는 환자의 환부 절개를 구현하기 위하여, 컴퓨터는 가상의 의료 도구의 절단 곡선(Actual Cutting Curve)과 상기 메쉬를 형성하는 선과의 교점을 계산한다(도 1의 (a)). 이후, 컴퓨터는 각각의 교점을 이은 샘플링된 절단 곡선(Sampled Cutting curve)을 계산한다. 이후, 컴퓨터는 상기 샘플링된 절단 곡선 및 각 교점을 이용하여 기존의 메쉬 형상을 복수개의 서브 메쉬(sub-mesh)로 재구성하는 연산 과정을 수행한다.Referring to Fig. 1, in a conventional medical surgery simulation, a virtual three-dimensional affected area object is implemented as a plurality of mesh shapes formed by cloud points. In order to implement an incision of a patient's affected area performed in an actual medical surgery site, a computer calculates the intersection points between the actual cutting curve of a virtual medical tool and the lines forming the mesh (Fig. 1 (a)). Thereafter, the computer calculates a sampled cutting curve connecting each of the intersection points. Thereafter, the computer performs a computational process of reconstructing the existing mesh shape into a plurality of sub-meshes using the sampled cutting curve and each of the intersection points.
종래의 의료 수술 시뮬레이션은 환자의 환부 절개를 구현하기 위하여 상대적으로 많은 연산량이 요구된다. 이로 인하여, 가상 환경에서 환부의 절개를 렌더링(rendering)하는 시간이 오래 걸려 반응 속도가 느려지게 되며, 인프라 구축 및 유지하기 위한 비용이 증가한다.Conventional medical surgery simulations require a relatively large amount of computation to implement the patient's incision. As a result, the time required to render the incision in the virtual environment is long, which slows down the response speed and increases the cost of building and maintaining the infrastructure.
[선행기술문헌][Prior art literature]
[비특허문헌][Non-patent literature]
(비특허문헌 1)Virtual Reality Simulator for Training in Myringotomy with Tube Placement, Caiwen Huang et al.. 2016, J. Med. Biol. Eng.(Non-patent Document 1) Virtual Reality Simulator for Training in Myringotomy with Tube Placement, Caiwen Huang et al.. 2016, J. Med. Biol. Eng.
본 명세서는 가상환경 기반의 절개 시뮬레이션 모델링 장치를 제공하는 것을 목적으로 한다.The purpose of this specification is to provide a virtual environment-based incision simulation modeling device.
본 명세서는 상기 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.This specification is not limited to the tasks mentioned above, and other tasks not mentioned will be clearly understood by those skilled in the art from the description below.
상술한 과제를 해결하기 위한 본 명세서에 따른 절개 시뮬레이션 모델링 장치는, 3개의 레이어를 가진 가상 객체에 대한 모델링 데이터 및 가상 의료 도구에 대한 모델링 데이터를 저장한 메모리부; 상기 가상 객체 및 가상 의료 도구가 배치되는 가상 공간을 제공하는 가상 공간 제공부; 외부 입력 신호에 따라 상기 가상 공간 내 상기 가상 의료 도구의 움직임을 제어하는 가상 의료 도구 제어부; 및 상기 가상 객체와 상기 가상 의료 도구가 상기 가상 공간 내에서 접촉할 때, 상기 가상 객체 또는 상기 가상 의료 도구에 대한 피드백을 생성하는 피드백 제어부;를 포함할 수 있다.The incision simulation modeling device according to the present specification for solving the above-described problem may include a memory unit storing modeling data for a virtual object having three layers and modeling data for a virtual medical tool; a virtual space providing unit providing a virtual space in which the virtual object and the virtual medical tool are placed; a virtual medical tool control unit controlling movement of the virtual medical tool within the virtual space according to an external input signal; and a feedback control unit generating feedback for the virtual object or the virtual medical tool when the virtual object and the virtual medical tool come into contact within the virtual space.
본 명세서의 일 실시예에 따르면, 상기 가상 객체가 가진 3개의 레이어는, 절개 대상을 형성하는 제1 레이어; 비절개 대상을 형성하는 제2 레이어; 및 상기 가상 의료 도구의 수직 반발력 생성을 위한 제3 레이어;를 포함할 수 있다.According to one embodiment of the present specification, the three layers of the virtual object may include a first layer forming an incision target; a second layer forming a non-incision target; and a third layer for generating a vertical repulsive force of the virtual medical tool.
이때, 상기 제2 레이어는 상기 제1 레이어와 상기 제3 레이어 사이에 배치되고, 상기 제2 레이어는 상기 제1 레이어에 대응하는 영역이 공백 영역으로 형성될 수 있다.At this time, the second layer is placed between the first layer and the third layer, and the second layer can be formed with an area corresponding to the first layer as a blank area.
본 명세서의 일 실시예에 따르면, 상기 제1 레이어는 클라우드 포인트로 형성된 메쉬 형상을 가지며, 상기 피드백 제어부는 상기 제1 레이어의 영역 중 상기 가상 의료 도구와 접촉한 영역의 메쉬를 소멸시킬 수 있다.According to one embodiment of the present specification, the first layer has a mesh shape formed by cloud points, and the feedback control unit can annihilate the mesh of an area of the first layer that comes into contact with the virtual medical tool.
본 명세서의 일 실시예에 따르면, 상기 피드백 제어부는, 상기 가상 의료 도구가 상기 제1 레이어와 접촉할 때 상기 가상 의료 도구의 이동 저항력에 대한 피드백 신호를 생성할 수 있다.According to one embodiment of the present specification, the feedback control unit can generate a feedback signal regarding a movement resistance of the virtual medical tool when the virtual medical tool comes into contact with the first layer.
본 명세서의 일 실시예에 따르면, 상기 피드백 제어부는, 상기 제1 레이어의 영역 중 상기 가상 의료 도구와 접촉하여 소멸된 메쉬와 인접한 클라우드 포인트의 위치를 상기 가상 의료 도구가 이동한 방향으로 미리 설정한 만큼 이동시킬 수 있다.According to one embodiment of the present specification, the feedback control unit can move the position of a cloud point adjacent to a mesh that has disappeared in contact with the virtual medical tool among the areas of the first layer by a preset amount in the direction in which the virtual medical tool has moved.
본 명세서의 일 실시예에 따르면, 상기 피드백 제어부는, 상기 메쉬 객체가 소멸될 때 체액의 유출을 모델링하여 피드백을 생성할 수 있다.According to one embodiment of the present specification, the feedback control unit can generate feedback by modeling the outflow of body fluid when the mesh object is destroyed.
본 명세서의 일 실시예에 따르면, 상기 피드백 제어부는, 상기 가상 의료 도구가 상기 제3 레이어에 접촉할 때, 상기 가상 의료 도구의 진입을 제한하는 피드백 신호를 생성할 수 있다.According to one embodiment of the present specification, the feedback control unit can generate a feedback signal that restricts entry of the virtual medical tool when the virtual medical tool contacts the third layer.
본 명세서에 따른 절개 시뮬레이션 모델링 장치는, 상기 절개 시뮬레이션 모델링 장치의 가상 의료 도구 제어부에게 상기 가상 의료 도구의 움직임 신호를 출력하는 가상 의료 도구 제어 장치;를 포함하는, 절개 시뮬레이션 시스템의 일 구성요소일 수 있다.The incision simulation modeling device according to the present specification may be a component of an incision simulation system, including a virtual medical tool control device that outputs a movement signal of the virtual medical tool to a virtual medical tool control unit of the incision simulation modeling device.
본 명세서의 일 실시예에 따르면, 상기 가상 의료 도구 제어 장치는, 상기 절개 시뮬레이션 모델링 장치로 절개 신호를 출력하는 절개 신호 생성부;를 포함할 수 있다.According to one embodiment of the present specification, the virtual medical tool control device may include an incision signal generation unit that outputs an incision signal to the incision simulation modeling device.
본 명세서의 일 실시예에 따르면, 상기 가상 의료 도구 제어 장치는, 상기 절개 시뮬레이션 모델링 장치의 피드백 제어부에서 출력된 신호에 의해 사용자에게 햅틱 반응을 제공하는 햅틱 제공부;를 포함할 수 있다.According to one embodiment of the present specification, the virtual medical tool control device may include a haptic providing unit that provides a haptic response to a user by a signal output from a feedback control unit of the incision simulation modeling device.
본 명세서에 따른 절개 시뮬레이션 시스템은, 상기 절개 시뮬레이션 모델링 장치의 가상 공간 제공부에서 제공된 가상 공간, 상기 가상의 객체 및 가상 의료 도구를 표시하는 디스플레이 장치;를 더 포함할 수 있다.The incision simulation system according to the present specification may further include a display device that displays a virtual space provided by a virtual space providing unit of the incision simulation modeling device, the virtual object, and a virtual medical tool.
본 명세서의 일 실시예에 따르면, 상기 디스플레이 장치는, 사용자의 머리에 장착되는 소정 형태의 디스플레이일 수 있다.According to one embodiment of the present specification, the display device may be a display of a predetermined form that is mounted on a user's head.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the present invention are included in the detailed description and drawings.
본 명세서의 일 측면에 따르면, 절개 대상을 형성하는 제1 레이어의 영역만 클라우드 포인트로 형성된 메쉬 형상으로 구현함으로써, 종래의 기술에 비해 상대적으로 더 적은 메모리를 사용하여 가상 객체를 모델링 할 수 있다.According to one aspect of the present specification, by implementing only the area of the first layer forming the incision target as a mesh shape formed by cloud points, a virtual object can be modeled using relatively less memory compared to conventional techniques.
본 명세서의 다른 측면에 따르면, 가상 의료 도구와 접촉한 영역의 메쉬를 소멸시킴으로써, 종래의 기술에 비해 상대적으로 더 적은 연산량으로 절개 시뮬레이션을 모델링 할 수 있다.According to another aspect of the present disclosure, by destroying the mesh of the area in contact with the virtual medical tool, the incision simulation can be modeled with relatively less computational effort compared to conventional techniques.
본 명세서의 또 다른 측면에 따르면, 종래보다 더 적은 연산량으로 절개 시뮬레이션을 모델링 하여 시뮬레이션의 반응 속도가 종래보다 상대적으로 더 빨라질 수 있다.According to another aspect of the present specification, the incision simulation can be modeled with a smaller amount of computation than before, so that the response speed of the simulation can be relatively faster than before.
본 명세서의 또 다른 측면에 따르면, 종래보다 더 적은 연산량으로 절개 시뮬레이션을 모델링 하여 인프라 구축, 사용 및/또는 유지 비용이 상대적으로 더 적게 들어갈 수 있다.According to another aspect of the present disclosure, modeling of incision simulations can be achieved with less computational effort than before, thereby requiring relatively less infrastructure construction, use and/or maintenance costs.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 종래의 의료 수술 시뮬레이션에서 환부의 절개를 구현하는 방식을 도시한다.Figure 1 illustrates a method for implementing incision of a wound in a conventional medical surgical simulation.
도 2는 본 명세서의 일 실시예에 따른 절개 시뮬레이션 모델링 장치의 블록도이다.FIG. 2 is a block diagram of a cutting simulation modeling device according to one embodiment of the present specification.
도 3은 인체의 고막 이미지를 도시한다.Figure 3 shows an image of the eardrum of a human body.
도 4는 가상 객체의 모델링 데이터를 모델링 프로그램으로 불러온 예시 이미지이다.Figure 4 is an example image of modeling data of a virtual object loaded into a modeling program.
도 5는 본 명세서에 따른 절개 시뮬레이션 모델링의 예시 이미지이다.Figure 5 is an example image of incision simulation modeling according to this specification.
도 6은 본 명세서에 따른 절개 시뮬레이션 모델링의 다른 예시 이미지이다.Figure 6 is another example image of incision simulation modeling according to the present specification.
도 7은 본 명세서에 따른 절개 시뮬레이션 모델링의 또 다른 예시 이미지이다.Figure 7 is another example image of the incision simulation modeling according to the present specification.
도 8은 본 명세서의 일 실시예에 따른 절개 시뮬레이션 시스템의 블록도이다.FIG. 8 is a block diagram of a cutting simulation system according to one embodiment of the present specification.
도 9는 본 명세서의 다른 실시예에 따른 절개 시뮬레이션 시스템의 블록도이다.FIG. 9 is a block diagram of a cutting simulation system according to another embodiment of the present specification.
본 명세서에 개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 명세서가 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 명세서의 개시가 완전하도록 하고, 본 명세서가 속하는 기술 분야의 통상의 기술자(이하 '당업자')에게 본 명세서의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 명세서의 권리 범위는 청구항의 범주에 의해 정의될 뿐이다. The advantages and features of the invention disclosed in this specification, and the methods for achieving them, will become apparent by referring to the embodiments described in detail below together with the accompanying drawings. However, the present specification is not limited to the embodiments disclosed below and may be implemented in various different forms, and the present embodiments are provided only to make the disclosure of the present specification complete and to fully inform those skilled in the art (hereinafter referred to as 'ordinary skilled in the art') of the scope of the present specification, and the scope of rights of the present specification is defined only by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 명세서의 권리 범위를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of describing embodiments only and is not intended to limit the scope of the present disclosure. In this specification, the singular also includes the plural unless specifically stated otherwise. The terms "comprises" and/or "comprising" as used herein do not exclude the presence or addition of one or more other components in addition to the components mentioned.
명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Throughout the specification, the same reference numerals refer to the same elements, and "and/or" includes each and every combination of one or more of the elements mentioned. Although "first", "second", etc. are used to describe various elements, it is to be understood that these elements are not limited by these terms. These terms are merely used to distinguish one element from another. Accordingly, it should be understood that a first element mentioned below may also be a second element within the technical scope of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 명세서가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used in the meaning commonly understood by those skilled in the art to which this specification belongs. In addition, terms defined in commonly used dictionaries shall not be ideally or excessively interpreted unless explicitly specifically defined.
공간적으로 상대적인 용어인 "아래(below)", "밑(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "밑(beneath)"으로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓일 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.The spatially relative terms "below," "beneath," "lower," "above," "upper," and the like can be used to easily describe the relationship of one component to other components as depicted in the drawings. The spatially relative terms should be understood to include different orientations of the components when used or operated in addition to the orientations depicted in the drawings. For example, if a component depicted in the drawings is flipped over, a component described as "below" or "beneath" another component may now be "above" the other component. Thus, the exemplary term "below" can include both the above and below orientations. The components may also be oriented in other directions, and the spatially relative terms may be interpreted accordingly.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
도 2는 본 명세서의 일 실시예에 따른 절개 시뮬레이션 모델링 장치의 블록도이다.FIG. 2 is a block diagram of a cutting simulation modeling device according to one embodiment of the present specification.
도 2를 참조하면, 본 명세서의 일 실시예에 따른 절개 시뮬레이션 모델링 장치(10)는 메모리부(100), 가상 공간 제공부(110), 가상 의료 도구 제어부(120) 및 피드백 제어부(130)를 포함할 수 있다.Referring to FIG. 2, an incision simulation modeling device (10) according to one embodiment of the present specification may include a memory unit (100), a virtual space providing unit (110), a virtual medical tool control unit (120), and a feedback control unit (130).
상기 메모리부(100)는 3개의 레이어(layer)를 가진 가상 객체(virtual object)에 대한 모델링 데이터(modeling data) 및 가상 의료 도구(virtual medical instrument)에 대한 모델링 데이터를 저장할 수 있다. 상기 가상 객체는 절개 시뮬레이션(incision simulation)을 위하여 모델링 된 가상의 환부에 해당할 수 있다. 또한, 상기 가상 객체는 절개 시뮬레이션을 위하여 모델링 된 특정 환부를 포함하는 가상의 인체 구조물에 해당할 수 있다.The above memory unit (100) can store modeling data for a virtual object having three layers and modeling data for a virtual medical instrument. The virtual object can correspond to a virtual affected area modeled for incision simulation. In addition, the virtual object can correspond to a virtual human body structure including a specific affected area modeled for incision simulation.
본 명세서의 일 실시예에 따르면, 상기 가상 객체는 고막 절개술(Myringotomy) 시뮬레이션을 위하여 모델링 된 가상의 고막(tympanic membrane)에 해당할 수 있다. 또한, 상기 가상 객체는 고막 절개술 시뮬레이션을 위하여 모델링 된 고막 및 중이(middle ear) 영역을 포함하는 가상의 인체 구조물에 해당할 수 있다. 또한, 상기 가상 객체는 고막 절개술 시뮬레이션을 위하여 모델링 된 고막, 외이도(external auditory canal) 및/또는 중이 영역을 포함하는 가상의 인체 구조물에 해당할 수 있다. 이는 일 예에 해당하며, 가상환경에서 구현하고자 하는 절개 시뮬레이션의 종류에 따라서 상기 가상 객체는 달라질 수 있다. 또한, 상기 메모리부(100)는 적어도 하나 이상의 절개 시뮬레이션을 위한 적어도 하나 이상의 가상 객체에 대한 모델링 데이터를 저장할 수 있다.According to one embodiment of the present specification, the virtual object may correspond to a virtual tympanic membrane modeled for myringotomy simulation. In addition, the virtual object may correspond to a virtual human body structure including the tympanic membrane and middle ear region modeled for myringotomy simulation. In addition, the virtual object may correspond to a virtual human body structure including the tympanic membrane, external auditory canal, and/or middle ear region modeled for myringotomy simulation. This is only an example, and the virtual object may vary depending on the type of incision simulation to be implemented in a virtual environment. In addition, the memory unit (100) may store modeling data for at least one virtual object for at least one incision simulation.
상기 가상 의료 도구는 상기 가상의 고막을 절개하기 위한 가상의 고막절개 나이프(Myringotomy knife)에 해당할 수 있다. 이는 일 예에 해당하며, 가상환경에서 구현하고자 하는 수술 절개 시뮬레이션의 종류에 따라서 상기 가상 의료 도구는 달라질 수 있다. 또한, 상기 메모리부(100)는 적어도 하나 이상의 절개 시뮬레이션을 위한 적어도 하나 이상의 가상 의료 도구에 대한 모델링 데이터를 저장할 수 있다.The above virtual medical tool may correspond to a virtual myringotomy knife for cutting the virtual eardrum. This is an example, and the virtual medical tool may vary depending on the type of surgical incision simulation to be implemented in the virtual environment. In addition, the memory unit (100) may store modeling data for at least one virtual medical tool for at least one incision simulation.
본 명세서의 일 실시예에 따르면, 상기 가상 객체가 갖는 3개의 레이어는 절개 대상을 형성하는 제1 레이어, 비절개 대상을 형성하는 제2 레이어 및 상기 가상 의료 도구의 수직 반발력 생성을 위한 제3 레이어를 포함할 수 있다.According to one embodiment of the present specification, the three layers of the virtual object may include a first layer forming an incision target, a second layer forming a non-incision target, and a third layer for generating a vertical repulsive force of the virtual medical tool.
도 3은 인체의 고막 이미지를 도시한다.Figure 3 shows an image of the eardrum of a human body.
도 3을 참조하면, 고막은 망치뼈(malleus)와 붙어있는 전방 상부(anterior superior) 및 후방 상부(posterior superior)영역과 망치뼈와 붙어있지 않은 전방 하부(anterior inferior) 및 후방 하부(posterior inferior)영역으로 나뉠 수 있다. 실제 고막 절개술을 실시할 때, 상기 전방 하부 및 후방 하부 영역을 절개하여 삼출액(effusion)을 배출시킨다. 상기 전방은 인체의 안면을 향하는 방향이고, 후두부를 향하는 방향이며, 상부는 정수리를 향하는 방향이고, 하부는 다리를 향하는 방향을 의미한다.Referring to Figure 3, the tympanic membrane can be divided into an anterior superior and posterior superior regions attached to the malleus, and an anterior inferior and posterior inferior regions not attached to the malleus. When performing an actual tympanostomy, the anterior inferior and posterior inferior regions are incised to drain effusion. The anterior refers to the direction toward the face of the human body and the direction toward the back of the head, the superior refers to the direction toward the crown, and the inferior refers to the direction toward the legs.
상기 고막 절개술 시뮬레이션을 위해 상기 메모리부(100)에 저장되는 가상 객체의 모델링 데이터에서, 상기 제1 레이어에 대한 모델링 데이터는 고막의 상기 전방 하부 및 후방 하부 영역에 대한 모델링 데이터에 해당할 수 있다. 상기 제2 레이어에 대한 모델링 데이터는 망치뼈를 포함하는 고막의 상기 전방 상부 및 후방 상부 영역에 대한 모델링 데이터에 해당할 수 있다. 또한, 상기 제2 레이어에 대한 모델링 데이터는 외이도의 일 부분에 대한 모델링 데이터를 더 포함할 수 있다. 상기 제3 레이어에 대한 모델링 데이터는 중이 내벽의 일 부분에 대한 모델링 데이터에 해당할 수 있다.In the modeling data of the virtual object stored in the memory unit (100) for the above-mentioned tympanotomy simulation, the modeling data for the first layer may correspond to modeling data for the anterior lower and posterior lower regions of the tympanic membrane. The modeling data for the second layer may correspond to modeling data for the anterior upper and posterior upper regions of the tympanic membrane including the malleus. In addition, the modeling data for the second layer may further include modeling data for a portion of the external auditory canal. The modeling data for the third layer may correspond to modeling data for a portion of the inner wall of the middle ear.
상기 가상 공간 제공부(110)는 상기 가상 객체 및 가상 의료 도구가 배치되는 가상 공간을 제공할 수 있다. 상기 메모리부(100)는 상기 가상 공간에 대한 모델링 데이터를 더 포함할 수 있다. 상기 가상 공간 제공부(110)는 상기 메모리부(100)에서 상기 가상 공간의 모델링 데이터를 불러올 수 있다. 상기 가상 공간 제공부(110)는 상기 가상 공간의 모델링 데이터를 이용하여 상기 가상 공간을 렌더링(rendering)할 수 있다.The virtual space providing unit (110) can provide a virtual space in which the virtual object and virtual medical tool are placed. The memory unit (100) can further include modeling data for the virtual space. The virtual space providing unit (110) can load the modeling data of the virtual space from the memory unit (100). The virtual space providing unit (110) can render the virtual space using the modeling data of the virtual space.
도 4는 가상 객체의 모델링 데이터를 모델링 프로그램으로 불러온 예시 이미지이다.Figure 4 is an example image of modeling data of a virtual object loaded into a modeling program.
도 4를 참조하면, 상기 메모리부(100)에 저장된 상기 가상 객체(200)의 모델링 데이터는 상기 제1 레이어(210), 제2 레이어(220) 및 제3 레이어(230)를 포함할 수 있다. 상기 제2 레이어(220)는 상기 제1 레이어(210)와 상기 제3 레이어(230) 사이에 배치될 수 있다. 이는 상기 제1 레이어(210), 제2 레이어(220) 및 제3 레이어(230)가 적층되어 있음을 의미할 수 있다.Referring to FIG. 4, the modeling data of the virtual object (200) stored in the memory unit (100) may include the first layer (210), the second layer (220), and the third layer (230). The second layer (220) may be placed between the first layer (210) and the third layer (230). This may mean that the first layer (210), the second layer (220), and the third layer (230) are stacked.
상기 제1 레이어(210) 상기 가상 공간 상에서 상대적으로 가장 큰 z축의 좌표값을 가질 수 있다. 상기 제2 레이어(220)는 상기 가상 공간 상에서 상기 제1 레이어(210) 다음으로 큰 z축의 좌표값을 가질 수 있다. 상기 제3 레이어(230)는 상기 가상 공간 상에서 상대적으로 가장 작은 z축의 좌표값을 가질 수 있다. 이는 상기 제1 레이어(210), 제2 레이어(220) 및 제3 레이어(230)가 상기 가상 공간의 z축 상에서 적층되어 있음을 의미할 수 있다.The first layer (210) may have a relatively largest z-axis coordinate value in the virtual space. The second layer (220) may have a z-axis coordinate value that is next largest after the first layer (210) in the virtual space. The third layer (230) may have a relatively smallest z-axis coordinate value in the virtual space. This may mean that the first layer (210), the second layer (220), and the third layer (230) are stacked on the z-axis of the virtual space.
상기 제1 레이어(210)의 z축 좌표값과 상기 제2 레이어(220)의 z축 좌표값의 차이는 미리 정해진 차이 이내로 설정할 수 있다. 상기 제2 레이어(220)의 z축 좌표값과 상기 제3 레이어(230)의 z축 좌표값의 차이는 미리 정해진 차이 이내로 설정할 수 있다.The difference between the z-axis coordinate value of the first layer (210) and the z-axis coordinate value of the second layer (220) can be set within a predetermined difference. The difference between the z-axis coordinate value of the second layer (220) and the z-axis coordinate value of the third layer (230) can be set within a predetermined difference.
상기 제1 레이어(210), 제2 레이어(220) 및 제3 레이어(230)가 상기 가상 공간에 적층되어 있는 좌표축은 상기 가상 객체(200)의 배향에 따라 달라질 수 있으며, 특정 좌표축에 의하여 제한되지 않는다.The coordinate axes along which the first layer (210), the second layer (220), and the third layer (230) are stacked in the virtual space may vary depending on the orientation of the virtual object (200) and are not limited by a specific coordinate axes.
상기 제1 레이어(210)는 상기 제2 레이어(220) 위에 오버랩(overlap)될 수 있다. 상기 제1 레이어(210)가 오버랩 되는 상기 제2 레이어(220)의 영역은 공백 영역으로 형성될 수 있다.The first layer (210) may overlap the second layer (220). The area of the second layer (220) where the first layer (210) overlaps may be formed as a blank area.
상기 공백 영역의 형상은 상기 제1 레이어(210)의 형상과 동일할 수 있다. 또한, 상기 공백 영역의 형상은 상기 제1 레이어(210)의 형상보다 미리 정해진 크기만큼 더 클 수 있다. 또한, 상기 공백 영역의 형상은 상기 제1 레이어(210)의 형상보다 미리 정해진 크기만큼 더 작을 수 있다.The shape of the blank area may be the same as the shape of the first layer (210). In addition, the shape of the blank area may be larger than the shape of the first layer (210) by a predetermined size. In addition, the shape of the blank area may be smaller than the shape of the first layer (210) by a predetermined size.
도 5는 본 명세서에 따른 절개 시뮬레이션 모델링의 예시 이미지이다.Figure 5 is an example image of incision simulation modeling according to this specification.
도 5를 참조하면, 상기 가상 공간에는 상기 가상 객체(200) 및 상기 가상 의료 도구(300)가 배치될 수 있다.Referring to FIG. 5, the virtual object (200) and the virtual medical tool (300) can be placed in the virtual space.
상기 가상 의료 도구 제어부(120)는 외부 입력 신호에 따라서 상기 가상 공간 내 상기 가상 의료 도구(300)의 움직임을 제어할 수 있다.The above virtual medical tool control unit (120) can control the movement of the virtual medical tool (300) within the virtual space according to an external input signal.
상기 피드백 제어부(130)는 상기 가상 객체(200)와 상기 가상 의료 도구(300)가 상기 가상 공간 내에서 접촉할 때, 상기 가상 객체(200) 및/또는 상기 가상 의료 도구(300)에 대한 피드백(feedback)을 생성할 수 있다.The above feedback control unit (130) can generate feedback for the virtual object (200) and/or the virtual medical tool (300) when the virtual object (200) and the virtual medical tool (300) come into contact within the virtual space.
상기 피드백 제어부(130)는 상기 가상 객체(200)와 상기 가상 의료 도구(300)가 상기 가상 공간 내에서 접촉하는지의 여부를 판단할 수 있다. 상기 피드백 제어부(130)가 상기 가상 객체(200)와 가상 의료 도구(300)가 접촉한 것으로 판단할 때, 상기 피드백 제어부(130)는 상기 가상 객체(200)의 형상을 변형하는 시각적 피드백을 생성할 수 있다. 또한, 상기 피드백 제어부(130)는 실제 의료 도구로 인체 조직을 절개할 때 발생하는 힘에 대응하는 촉각적 피드백 신호를 생성할 수 있다.The feedback control unit (130) can determine whether the virtual object (200) and the virtual medical tool (300) are in contact within the virtual space. When the feedback control unit (130) determines that the virtual object (200) and the virtual medical tool (300) are in contact, the feedback control unit (130) can generate a visual feedback that changes the shape of the virtual object (200). In addition, the feedback control unit (130) can generate a tactile feedback signal corresponding to a force generated when cutting human tissue with an actual medical tool.
본 명세서의 일 실시예에 따르면, 상기 피드백 제어부(130)는 상기 가상 의료 도구(300)가 상기 제1 레이어(210)에 접촉하는지 여부를 판단할 수 있다. 상기 피드백 제어부(130)가 상기 제1 레이어(210)와 가상 의료 도구(300)가 접촉한 것으로 판단할 때, 상기 피드백 제어부(130)는 상기 제1 레이어(210)에 상기 시각적 피드백을 생성할 수 있다. 상기 가상 제1 레이어(210)에 생성되는 상기 시각적 피드백은 실제 의료 수술 과정에서 인체 조직의 절개를 구현하는 것을 의미할 수 있다.According to one embodiment of the present specification, the feedback control unit (130) can determine whether the virtual medical tool (300) is in contact with the first layer (210). When the feedback control unit (130) determines that the first layer (210) and the virtual medical tool (300) are in contact, the feedback control unit (130) can generate the visual feedback in the first layer (210). The visual feedback generated in the virtual first layer (210) can mean implementing an incision of human tissue in an actual medical surgical procedure.
상기 인체 조직의 절개를 구현하기 위하여, 상기 제1 레이어(210)의 모델링 데이터는 상기 제1 레이어(210)를 상기 가상 공간에 클라우드 포인트(cloud point) 기반의 메쉬(mesh) 구조로 생성하는 모델링 데이터에 해당할 수 있다(도 5의 (a)). 상기 제2 레이어(220) 및 제3 레이어(230)의 모델링 데이터는 서피스 모델링(surface modeling) 데이터에 해당할 수 있다. 이는 일 예에 해당하며, 상기 모델링 방식에 의하여 제한되지 않는다. 상기 제1 레이어(210)만 상기 메쉬 구조로 생성함으로써, 본 명세서에 따른 절개 시뮬레이션 모델링 장치(10)는 종래의 절개 시뮬레이션 모델링 장치보다 상대적으로 더 적은 메모리를 사용하여 가상 객체를 모델링할 수 있다.In order to implement the incision of the human tissue, the modeling data of the first layer (210) may correspond to modeling data that generates the first layer (210) in the virtual space as a mesh structure based on cloud points (Fig. 5 (a)). The modeling data of the second layer (220) and the third layer (230) may correspond to surface modeling data. This is an example and is not limited by the modeling method. By generating only the first layer (210) as the mesh structure, the incision simulation modeling device (10) according to the present specification can model a virtual object using relatively less memory than a conventional incision simulation modeling device.
도 5의 (a)를 참조하면, 상기 피드백 제어부(130)가 상기 제1 레이어(210)와 상기 가상 의료 도구(300)가 접촉하지 않은 것으로 판단하면, 상기 피드백 제어부(130)는 상기 제1 레이어(210)에 상기 시각적 피드백을 생성하지 않을 수 있다.Referring to (a) of FIG. 5, if the feedback control unit (130) determines that the first layer (210) and the virtual medical tool (300) are not in contact, the feedback control unit (130) may not generate the visual feedback to the first layer (210).
도 5의 (b)를 참조하면, 상기 가상 객체(200)가 렌더링 되었을 때, 상기 제1 레이어(210)에 해당하는 영역에 상기 피드백 제어부(130)에 의한 상기 시각적 피드백이 생성되지 않은 것을 확인할 수 있다.Referring to (b) of Fig. 5, it can be confirmed that when the virtual object (200) is rendered, the visual feedback by the feedback control unit (130) is not generated in the area corresponding to the first layer (210).
도 5의 (c)를 참조하면, 상기 피드백 제어부(130)가 상기 제1 레이어(210)와 상기 가상 의료 도구(300)가 접촉한 것으로 판단하면, 상기 피드백 제어부(130)는 상기 제1 레이어(210)에 상기 시각적 피드백을 생성할 수 있다. 상기 피드백 제어부(130)는 상기 가상 의료 도구(300)가 접촉한 상기 제1 레이어(210)의 영역을 제거하여 상기 시각적 피드백을 생성할 수 있다.Referring to (c) of Fig. 5, if the feedback control unit (130) determines that the first layer (210) and the virtual medical tool (300) are in contact, the feedback control unit (130) can generate the visual feedback to the first layer (210). The feedback control unit (130) can generate the visual feedback by removing the area of the first layer (210) that the virtual medical tool (300) is in contact with.
상기 피드백 제어부(130)는 상기 제1 레이어(210)와 상기 가상 의료 도구(300)가 접촉하는 영역의 좌표값에 대한 정보를 생성할 수 있다. 상기 피드백 제어부(130)는 상기 시각적 피드백을 생성하여 상기 영역의 좌표값을 포함하는 상기 제1 레이어(210)의 메쉬를 소멸시킬 수 있다. 이는, 상기 피드백 제어부(130)가 상기 시각적 피드백을 생성하여 상기 영역의 좌표값을 포함한 상기 메쉬를 상기 가상 공간에 생성하는 데이터를 삭제하는 것을 의미할 수 있다. 또는, 상기 피드백 제어부(130)가 상기 시각적 피드백을 생성하여 상기 영역의 좌표값을 포함한 상기 메쉬를 구성하는 점들의 데이터를 삭제하는 것을 의미할 수 있다.The feedback control unit (130) can generate information about the coordinate values of the area where the first layer (210) and the virtual medical tool (300) come into contact. The feedback control unit (130) can generate the visual feedback to annihilate the mesh of the first layer (210) including the coordinate values of the area. This may mean that the feedback control unit (130) generates the visual feedback to delete data that generates the mesh including the coordinate values of the area in the virtual space. Alternatively, it may mean that the feedback control unit (130) generates the visual feedback to delete data of points that constitute the mesh including the coordinate values of the area.
도 5의 (d)를 참조하면, 상기 가상 객체(200)가 렌더링 되었을 때, 상기 피드백 제어부(130)에서 생성된 상기 시각적 피드백에 의하여 상기 가상 의료 도구(300)가 접촉한 상기 제1 레이어(210)의 영역이 제거될 수 있다.Referring to (d) of FIG. 5, when the virtual object (200) is rendered, the area of the first layer (210) that the virtual medical tool (300) came into contact with can be removed by the visual feedback generated by the feedback control unit (130).
상기 제1 레이어(210)와 가상 의료 도구(300)가 접촉하는지의 여부를 판단하기 위하여 경계 박스 충돌 검출(bounding box collision detection), 분할 축 정리(separating axis theorem), BVH(bounding volume hierarchy) 또는 GJK(Gilbert-Johnson-Keerthi) 알고리즘 등이 사용될 수 있으며, 이는 일 예에 해당하고, 특정 알고리즘에 의하여 제한되지 않는다.In order to determine whether the first layer (210) and the virtual medical tool (300) are in contact, bounding box collision detection, separating axis theorem, bounding volume hierarchy (BVH), or Gilbert-Johnson-Keerthi (GJK) algorithm, etc. may be used, which are examples and are not limited by a specific algorithm.
본 명세서에 따른 절개 시뮬레이션 모델링 장치(10)는 상기 가상 의료 도구(300)가 접촉한 영역에서 상기 제1 레이어(210)의 상기 메쉬를 제거함으로써, 종래의 절개 시뮬레이션 장치에서 메쉬를 서브 메쉬로 재구성하는 연산 과정을 생략하여 상대적으로 더 적은 연산을 수행할 수 있다.The incision simulation modeling device (10) according to the present specification can perform relatively fewer operations by removing the mesh of the first layer (210) in the area where the virtual medical tool (300) comes into contact, thereby omitting the computational process of reconstructing the mesh into a sub-mesh in a conventional incision simulation device.
상기 가상 의료 도구(300)가 접촉한 상기 제1 레이어(210)의 영역이 제거되면, 상기 제거된 영역에 대응하는 상기 제3 레이어(230)의 영역이 보여지도록 모델링 될 수 있다. 이때, 상기 제3 레이어(230)는 상기 제1 레이어(210) 및 제2 레이어(220)보다 상대적으로 더 어두운 색상값으로 모델링 될 수 있다. 또는, 상기 제3 레이어(230)는 상기 제1 레이어(210) 및 제2 레이어(220)와 다른 색상값으로 모델링 될 수 있다. 또는, 상기 제3 레이어(230)는 소정 형상의 마커를 포함하여 모델링 될 수 있다. 이는 일 예에 해당하며, 상기 방식들에 의하여 제한되지 않는다.When the area of the first layer (210) that the virtual medical tool (300) contacts is removed, the area of the third layer (230) corresponding to the removed area can be modeled to be visible. At this time, the third layer (230) can be modeled with a color value that is relatively darker than the first layer (210) and the second layer (220). Alternatively, the third layer (230) can be modeled with a color value that is different from the first layer (210) and the second layer (220). Alternatively, the third layer (230) can be modeled to include a marker of a predetermined shape. This is an example and is not limited by the above methods.
도 6은 본 명세서에 따른 절개 시뮬레이션 모델링의 다른 예시 이미지이다.Figure 6 is another example image of incision simulation modeling according to the present specification.
도 6의 (a) 및 (b)를 참조하면, 상기 가상 의료 도구(300)는 상기 제1 레이어(210)와 접촉한 상태를 유지하면서 우측 하단으로 이동할 수 있다. 상기 피드백 제어부(130)는 상기 가상 의료 도구(300)가 이동하면서 접촉한 상기 제1 레이어(210)의 메쉬를 소멸시킬 수 있다.Referring to (a) and (b) of FIG. 6, the virtual medical tool (300) can move to the lower right while maintaining contact with the first layer (210). The feedback control unit (130) can annihilate the mesh of the first layer (210) that the virtual medical tool (300) contacts while moving.
또한, 상기 피드백 제어부(130)는 상기 가상 의료 도구(300)가 이동한 방향을 향하여 상기 제1 레이어(210)의 메쉬를 변형할 수 있다. 상기 피드백 제어부(130)는 상기 가상 의료 도구(300)와 접촉하여 소멸된 메쉬와 인접한 클라우드 포인트의 위치를 상기 가상 의료 도구(300)가 이동한 방향으로 미리 설정한 만큼 이동시킬 수 있다.In addition, the feedback control unit (130) can deform the mesh of the first layer (210) toward the direction in which the virtual medical tool (300) moved. The feedback control unit (130) can move the position of a cloud point adjacent to the mesh that has disappeared by contact with the virtual medical tool (300) by a preset amount in the direction in which the virtual medical tool (300) moved.
일 예로, 상기 가상 의료 도구(300)가 상기 제1 레이어(210)와 접촉한 상태를 유지하면서 하단으로 이동할 수 있다(도 6의 (c)). 상기 피드백 제어부(130)는 상기 가상 의료 도구(300)와 접촉하는 상기 제1 레이어(210)의 메쉬를 소멸시킬 수 있다(도 6의 (d)). 상기 피드백 제어부(130)는 도 6의 (d)에서 소멸된 메쉬와 인접한 클라우드 포인트를 선정할 수 있다. 이후, 상기 피드백 제어부(130)는 상기 클라우드 포인트를 상기 가상 의료 도구(300)가 이동한 방향으로 미리 설정한 만큼 이동시킬 수 있다. 이를 이용하여, 상기 피드백 제어부(130)는 실제 절개 수술 시 수술 도구와 인체 조직의 절단면 사이의 마찰력으로 인하여 상기 인체 조직의 절단면이 상기 수술 도구의 이동 방향으로 끌려가는 것을 상기 가상 객체(200)에 구현할 수 있다. 이는 일 예에 해당하며, 상기 가상 의료 도구(300)의 특정 이동 방향에 의하여 제한되지 않는다.For example, the virtual medical tool (300) can move downward while maintaining contact with the first layer (210) ((c) of FIG. 6). The feedback control unit (130) can annihilate the mesh of the first layer (210) that is in contact with the virtual medical tool (300) ((d) of FIG. 6). The feedback control unit (130) can select a cloud point adjacent to the annihilated mesh in (d) of FIG. 6. Thereafter, the feedback control unit (130) can move the cloud point in the direction in which the virtual medical tool (300) moved by a preset amount. Using this, the feedback control unit (130) can implement in the virtual object (200) that the cutting surface of the human tissue is pulled in the moving direction of the surgical tool due to the frictional force between the surgical tool and the cutting surface of the human tissue during an actual incision surgery. This is an example and is not limited by a specific moving direction of the virtual medical tool (300).
도 6의 (b)에서 상기 가상 의료 도구(300)가 상기 제1 레이어(210)와 접촉한 상태를 유지하면서 우측 하단으로 이동할 때, 상기 피드백 제어부(130)는 상기 가상 의료 도구(300)의 이동 저항력에 대한 촉각적 피드백 신호를 생성할 수 있다. 상기 이동 저항력은 실제 절개 수술 시 수술 도구가 이동 방향에 위치한 인체 조직으로부터 받는 반작용력을 의미할 수 있다. 또한, 상기 이동 저항력은 실제 절개 수술 시 수술 도구가 인체 조직의 절단면으로부터 받는 마찰력에 해당할 수 있다. 또한, 상기 이동 저항력은 상기 반작용력 및 마찰력의 합력(net force)을 의미할 수 있다. 또한, 상기 이동 저항력은 상기 수술 도구 및 인체 조직의 상호작용으로 인하여 상기 수술 도구의 이동 방향의 반대 방향으로 작용하는 모든 힘에 대한 합력을 의미할 수 있다. 상기 도 6의 (b)를 참조하면, 상기 피드백 제어부(130)는 상기 가상 의료 도구(300)로 이동 방향과 반대 방향인 좌측 상단으로 작용하는 이동 저항력에 대한 촉각적 피드백 신호를 생성할 수 있다. 이는 일 예에 해당하며, 특정 방향에 의하여 제한되지 않는다.In (b) of FIG. 6, when the virtual medical tool (300) moves to the lower right while maintaining contact with the first layer (210), the feedback control unit (130) can generate a tactile feedback signal for the movement resistance of the virtual medical tool (300). The movement resistance may refer to a reaction force that the surgical tool receives from human tissue located in the movement direction during an actual incision surgery. In addition, the movement resistance may correspond to a frictional force that the surgical tool receives from a cut surface of human tissue during an actual incision surgery. In addition, the movement resistance may refer to a net force of the reaction force and the frictional force. In addition, the movement resistance may refer to a net force for all forces acting in the opposite direction to the movement direction of the surgical tool due to the interaction between the surgical tool and human tissue. Referring to (b) of the above Fig. 6, the feedback control unit (130) can generate a tactile feedback signal for a movement resistance force acting in the upper left direction opposite to the movement direction of the virtual medical tool (300). This is an example and is not limited by a specific direction.
상기 피드백 제어부(130)는 상기 제1 레이어(210)의 메쉬가 소멸될 때 체액의 유출을 모델링하여 시각적 피드백을 생성할 수 있다. 상기 메모리부(100)는 체액 유출 모델링 데이터를 더 포함할 수 있다. 상기 피드백 제어부(130)는 상기 메모리부(100)로부터 상기 체액 유출 모델링 데이터를 불러올 수 있다. 상기 피드백 제어부(130)는 상기 제1 레이어(210)의 메쉬를 소멸시킬 때, 상기 메쉬가 소멸한 영역에 체액 유출을 모델링할 수 있다. 고막 절개술 시뮬레이션에서 상기 체액 유출 모델링 데이터는 삼출액의 유출을 모델링한 데이터에 해당할 수 있다. 이는 일 예에 해당하며, 상기 체액에 의하여 제한되지 않는다. The above feedback control unit (130) can generate visual feedback by modeling the outflow of body fluid when the mesh of the first layer (210) disappears. The memory unit (100) can further include body fluid outflow modeling data. The feedback control unit (130) can load the body fluid outflow modeling data from the memory unit (100). The feedback control unit (130) can model the body fluid outflow in the area where the mesh disappears when the mesh of the first layer (210) disappears. In the myringotomy simulation, the body fluid outflow modeling data can correspond to data modeling the outflow of exudate. This is an example and is not limited by the body fluid.
도 7은 본 명세서에 따른 절개 시뮬레이션 모델링의 또 다른 예시 이미지이다.Figure 7 is another example image of the incision simulation modeling according to the present specification.
도 7을 참조하면, 상기 가상 의료 도구(300)는 상기 제1 레이어(210) 및 제3 레이어(230) 사이의 공백 영역을 지나 상기 제3 레이어(230)에 접촉할 수 있다. 상기 가상 의료 도구(300)가 상기 제3 레이어(230)에 접촉할 때, 상기 피드백 제어부(130)는 상기 가상 의료 도구(300)의 진입을 제한하는 촉각적 피드백 신호를 생성할 수 있다. 상기 피드백 신호는 상기 가상 의료 도구(300)의 진입 방향과 반대 방향으로 작용하는 수직 반발력에 해당하는 신호일 수 있다. Referring to FIG. 7, the virtual medical tool (300) may pass through a blank area between the first layer (210) and the third layer (230) and contact the third layer (230). When the virtual medical tool (300) contacts the third layer (230), the feedback control unit (130) may generate a tactile feedback signal that restricts the entry of the virtual medical tool (300). The feedback signal may be a signal corresponding to a vertical repulsive force acting in a direction opposite to the entry direction of the virtual medical tool (300).
상기 가상 의료 도구(300)의 진입 방향은 상기 제1 레이어(210)에서 상기 제3 레이어(230)를 향하는 수직한 방향을 의미할 수 있다.The entry direction of the above virtual medical tool (300) may mean a vertical direction from the first layer (210) toward the third layer (230).
상기 가상 공간에서 상기 제1 레이어(210)는 상기 제3 레이어(230)보다 상대적으로 더 큰 z축 좌표값을 가질 수 있다. 상기 가상 의료 도구(300)의 진입 방향은 z축의 좌표값이 상대적으로 작아지는 방향일 수 있다.In the above virtual space, the first layer (210) may have a relatively larger z-axis coordinate value than the third layer (230). The entry direction of the virtual medical tool (300) may be a direction in which the z-axis coordinate value becomes relatively smaller.
실제 고막 절개술을 진행할 때, 수술 도구가 고막을 절개하고 중이의 내벽에 접촉하는 상황이 발생할 수 있다. 이때, 중이의 내벽으로부터 상기 수술 도구로 수직 반발력이 작용할 수 있다.During an actual myringotomy, there may be a situation where the surgical instrument cuts the tympanic membrane and comes into contact with the inner wall of the middle ear. At this time, a vertical repulsive force may be applied to the surgical instrument from the inner wall of the middle ear.
고막 절개술 시뮬레이션에서 상기 가상 의료 도구(300)가 상기 제3 레이어(230)에 접촉할 때, 상기 피드백 제어부(130)는 상기 가상 의료 도구(300)에게 상기 실제 수술 시 발생하는 상기 수직 반발력에 대응하는 촉각적 피드백 신호를 출력할 수 있다.When the virtual medical tool (300) comes into contact with the third layer (230) in the tympanostomy simulation, the feedback control unit (130) can output a tactile feedback signal corresponding to the vertical repulsive force occurring during the actual surgery to the virtual medical tool (300).
도 8은 본 명세서의 일 실시예에 따른 절개 시뮬레이션 시스템의 블록도이다.FIG. 8 is a block diagram of a cutting simulation system according to one embodiment of the present specification.
도 8을 참조하면, 본 명세서의 일 실시예에 따른 절개 시뮬레이션 시스템(1)은 상기 절개 시뮬레이션 모델링 장치(10) 및 가상 의료 도구 제어 장치(20)를 포함할 수 있다. 상기 가상 의료 도구 제어 장치(20)는 사용자의 움직임에 따른 신호를 상기 가상 의료 도구 제어부(120)에게 출력할 수 있다. 상기 가상 의료 도구 제어부(120)는 상기 움직임 신호를 입력 받아 상기 가상 의료 도구(300)의 움직임을 제어할 수 있다. 상기 가상 의료 도구 제어 장치(20)는 복수의 로봇팔에 연결된 펜 형상의 장치 또는 실제 수술 도구와 동일한 형상의 장치일 수 있으며, 이는 일 예에 해당하고 특정 형상에 의하여 제한되지 않는다.Referring to FIG. 8, an incision simulation system (1) according to one embodiment of the present specification may include an incision simulation modeling device (10) and a virtual medical tool control device (20). The virtual medical tool control device (20) may output a signal according to a user's movement to the virtual medical tool control unit (120). The virtual medical tool control unit (120) may receive the movement signal and control the movement of the virtual medical tool (300). The virtual medical tool control device (20) may be a pen-shaped device connected to a plurality of robotic arms or a device having the same shape as an actual surgical tool, which is merely an example and is not limited by a specific shape.
상기 가상 의료 도구 제어 장치(20)는 상기 절개 시뮬레이션 모델링 장치(10)로 절개 신호를 출력하는 절개 신호 생성부를 포함할 수 있다. 상기 절 개 신호 생성부는 소정 형상의 버튼(button) 또는 터치 센서(touch sensor)에 해당할 수 있으며, 이는 일 예에 해당하고 특정 장치에 의하여 제한되지 않는다.The above virtual medical tool control device (20) may include an incision signal generation unit that outputs an incision signal to the incision simulation modeling device (10). The incision signal generation unit may correspond to a button or a touch sensor of a predetermined shape, which is an example and is not limited by a specific device.
상기 가상 의료 도구(300)가 상기 제1 레이어(210)에 접촉하였을 때, 사용자는 상기 절개 신호 생성부를 이용하여 절개 신호를 생성할 수 있다. 상기 절개 신호는 상기 피드백 제어부(130)에게 상기 가상 의료 도구(300)가 상기 제1 레이어(210)와 접촉하는 영역의 메쉬를 제거하도록 하는 신호에 해당할 수 있다.When the virtual medical tool (300) comes into contact with the first layer (210), the user can generate an incision signal using the incision signal generating unit. The incision signal may correspond to a signal that causes the feedback control unit (130) to remove the mesh in the area where the virtual medical tool (300) comes into contact with the first layer (210).
상기 가상 의료 도구 제어 장치(20)는 상기 피드백 제어부(130)에서 출력된 신호에 의해 사용자에게 햅틱 반응(haptic response)을 제공하는 햅틱 제공부를 포함할 수 있다. 상기 피드백 제어부(130)에서 출력된 신호는 상기 이동 저항력 및/또는 수직 반발력에 대응하는 신호에 해당할 수 있다. 상기 가상 의료 도구 제어 장치(20)는 사용자에게 상기 이동 저항력 및/또는 수직 반발력에 대한 햅틱 반응을 제공함으로써, 사용자의 시뮬레이션 몰입감을 상대적으로 더 높일 수 있다.The virtual medical tool control device (20) may include a haptic providing unit that provides a haptic response to a user by a signal output from the feedback control unit (130). The signal output from the feedback control unit (130) may correspond to a signal corresponding to the movement resistance force and/or the vertical repulsive force. The virtual medical tool control device (20) may relatively increase the user's sense of simulation immersion by providing the user with a haptic response to the movement resistance force and/or the vertical repulsive force.
도 9는 본 명세서의 다른 실시예에 따른 절개 시뮬레이션 시스템의 블록도이다.FIG. 9 is a block diagram of a cutting simulation system according to another embodiment of the present specification.
도 9를 참조하면, 본 명세서의 다른 실시예에 따른 절개 시뮬레이션 시스템(1')은 절개 시뮬레이션 모델링 장치(10), 가상 의료 도구 제어 장치(20) 및 디스플레이 장치(30)를 포함할 수 있다.Referring to FIG. 9, an incision simulation system (1') according to another embodiment of the present specification may include an incision simulation modeling device (10), a virtual medical tool control device (20), and a display device (30).
상기 디스플레이 장치(30)는 상기 가상 공간 제공부(110)에서 제공된 가상 공간, 상기 가상 객체(200) 및 가상 의료 도구(300)를 표시할 수 있다. 상기 디스플레이 장치(30)는 사용자의 머리에 장착되는 소정 형태의 디스플레이 일 수 있다. 일 예로, 상기 디스플레이 장치는 VR(virtual reality) 장비 및/또는 AR(augmented reality) 장비의 스마트 안경(smart glasses), 스마트 고글(smart goggle), 헤드 마운티드 디스플레이(head mounted display) 또는 헬멧 마운티드 디스플레이(helmet mounted display)에 해당할 수 있다. 이는 일 예에 해당하며, 상기 디스플레이 장치는 CRT(Cathode-Ray Tube), PDP(Plasma Display Panel), LCD(Liquid Crystal Display), LED(Light Emitting Diode) 또는 OLED(Organic Light Emitting Diode) 등 다양할 수 있으며, 특정 디스플레이 장치에 의해서 제한되지 않는다.The display device (30) can display the virtual space provided by the virtual space providing unit (110), the virtual object (200), and the virtual medical tool (300). The display device (30) can be a display of a predetermined form mounted on the user's head. For example, the display device can correspond to smart glasses, smart goggles, a head mounted display, or a helmet mounted display of a VR (virtual reality) device and/or an AR (augmented reality) device. This is only an example, and the display device can be various, such as a CRT (Cathode-Ray Tube), a PDP (Plasma Display Panel), an LCD (Liquid Crystal Display), an LED (Light Emitting Diode), or an OLED (Organic Light Emitting Diode), and is not limited by a specific display device.
상기 메모리부(100), 가상 공간 제공부(110), 가상 의료 도구 제어부(120) 및 피드백 제어부(130)는, 산출 및 다양한 제어 로직을 실행하기 위해 본 발명이 속한 기술분야에 알려진 프로세서, ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로, 레지스터, 통신 모뎀, 데이터 처리 장치 등을 포함할 수 있다. 또한, 상술한 제어 로직이 소프트웨어로 구현될 때, 상기 메모리부(100), 가상 공간 제공부(110), 가상 의료 도구 제어부(120) 및 피드백 제어부(130)는 프로그램 모듈의 집합으로 구현될 수 있다. 이 때, 프로그램 모듈은 상기 메모리 장치에 저장되고, 프로세서에 의해 실행될 수 있다.The above memory unit (100), virtual space providing unit (110), virtual medical tool control unit (120), and feedback control unit (130) may include a processor, an ASIC (application-specific integrated circuit), another chipset, a logic circuit, a register, a communication modem, a data processing device, etc. known in the technical field to which the present invention belongs in order to execute calculations and various control logics. In addition, when the above-described control logic is implemented as software, the memory unit (100), virtual space providing unit (110), virtual medical tool control unit (120), and feedback control unit (130) may be implemented as a set of program modules. At this time, the program modules may be stored in the memory device and executed by the processor.
본 명세서에서는 고막 절개술의 시뮬레이션 상황을 가정하여 설명을 하였다. 이는 일 예에 해당하며, 심막 절개술(Pericardiotomy) 및/또는 경막 절개술(Durotomy) 등의 다양한 절개술 시뮬레이션에 따라서 가상 객체, 가상 의료 도구에 대한 모델링 데이터가 달라질 수 있으며, 생성되는 피드백도 달라질 수 있다. 따라서, 상기 고막 절개술의 시뮬레이션에 제한되는 것은 아니며, 절개술 시뮬레이션의 종류에 따라서 다양한 실시예가 생길 수 있다.In this specification, a simulation situation of myringotomy is assumed and explained. This is an example, and modeling data for virtual objects and virtual medical tools may vary depending on various incision simulations such as pericardiotomy and/or durotomy, and the generated feedback may also vary. Therefore, it is not limited to the simulation of myringotomy, and various embodiments may be created depending on the type of incision simulation.
이상, 첨부된 도면을 참조로 하여 본 명세서의 실시예를 설명하였지만, 본 명세서가 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described above with reference to the attached drawings, it will be understood by those skilled in the art to which the present invention pertains that the present invention may be implemented in other specific forms without changing the technical idea or essential characteristics thereof. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
[부호의 설명][Explanation of symbols]
1 : 절개 시뮬레이션 시스템1: Incision simulation system
10 : 절개 시뮬레이션 모델링 장치10: Incision simulation modeling device
20 : 가상 의료 도구 제어 장치20: Virtual Medical Tool Control Device
30 : 디스플레이 장치30 : Display device
100 : 메모리부100 : Memory section
110 : 가상 공간 제공부110: Virtual space provider
120 : 가상 의료 도구 제어부120: Virtual Medical Tool Control Unit
130 : 피드백 제어부130 : Feedback control unit
Claims (13)
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230176175A KR20250086927A (en) | 2023-12-07 | 2023-12-07 | Apparatus for incision simulation modeling based on virtual environment |
| KR10-2023-0176175 | 2023-12-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025121679A1 true WO2025121679A1 (en) | 2025-06-12 |
Family
ID=95981021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2024/017150 Pending WO2025121679A1 (en) | 2023-12-07 | 2024-11-04 | Virtual environment-based incision simulation modeling device |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20250086927A (en) |
| WO (1) | WO2025121679A1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013014868A1 (en) * | 2011-07-28 | 2013-01-31 | パナソニック株式会社 | Cutting simulation device and cutting simulation program |
| KR20150113929A (en) * | 2014-03-31 | 2015-10-08 | 주식회사 코어메드 | Method for Providing Training of Image Guided Surgery and Computer-readable Recording Medium for the same |
| US20170243344A1 (en) * | 2016-02-22 | 2017-08-24 | Sony Corporation | System and method for providing assistance in surgery in presence of tissue deformation |
| KR20200078340A (en) * | 2018-12-21 | 2020-07-01 | (주)리얼디멘션 | Sytem for simulation of surgical operation |
| US20220151700A1 (en) * | 2019-05-10 | 2022-05-19 | Fvrvs Limited | Virtual reality surgical training systems |
-
2023
- 2023-12-07 KR KR1020230176175A patent/KR20250086927A/en active Pending
-
2024
- 2024-11-04 WO PCT/KR2024/017150 patent/WO2025121679A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013014868A1 (en) * | 2011-07-28 | 2013-01-31 | パナソニック株式会社 | Cutting simulation device and cutting simulation program |
| KR20150113929A (en) * | 2014-03-31 | 2015-10-08 | 주식회사 코어메드 | Method for Providing Training of Image Guided Surgery and Computer-readable Recording Medium for the same |
| US20170243344A1 (en) * | 2016-02-22 | 2017-08-24 | Sony Corporation | System and method for providing assistance in surgery in presence of tissue deformation |
| KR20200078340A (en) * | 2018-12-21 | 2020-07-01 | (주)리얼디멘션 | Sytem for simulation of surgical operation |
| US20220151700A1 (en) * | 2019-05-10 | 2022-05-19 | Fvrvs Limited | Virtual reality surgical training systems |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20250086927A (en) | 2025-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ellis | Virtual environments and environmental instruments1 | |
| Fisher et al. | Virtual interface environment workstations | |
| JP7071405B2 (en) | Virtual reality training, simulation, and collaboration in robotic surgery systems | |
| US20070048702A1 (en) | Immersion-type live-line work training system and method | |
| Boman | International survey: Virtual-environment research | |
| Brooks Jr et al. | Research directions in virtual environments | |
| Satava | Virtual reality surgical simulator: the first steps | |
| JP5617448B2 (en) | Information processing apparatus, information processing method, and program | |
| WO2021062375A1 (en) | Augmented and extended reality glasses for use in surgery visualization and telesurgery | |
| WO2017034283A1 (en) | Apparatus for generating tactile sensation | |
| EP3950231B1 (en) | Control device and master-slave system | |
| Park et al. | Development of a virtual reality training system for live-line workers | |
| WO2021153973A1 (en) | Device for providing joint replacement robotic surgery information and method for providing same | |
| US20210271373A1 (en) | Object display method and apparatus for simulating feeling of blind person and storage medium | |
| Kim et al. | Computationally efficient techniques for real time surgical simulation with force feedback | |
| WO2025121679A1 (en) | Virtual environment-based incision simulation modeling device | |
| WO2018076454A1 (en) | Data processing method and related device thereof | |
| FURNESS III et al. | Advanced Interface Design | |
| Mercurio et al. | Interactive scientific visualization: An assessment of a virtual reality system. | |
| CN105487653B (en) | Realize the method and system of virtual reality scenario | |
| WO2024128704A1 (en) | Apparatus for generating operable area of surgical robot and method thereof | |
| CN213483158U (en) | Laparoscope simulator | |
| WO2019074228A2 (en) | Head-mounted display for reducing virtual-reality motion sickness and operating method thereof | |
| Max et al. | Blind persons navigate in virtual reality (VR); hearing and feeling communicates “reality” | |
| WO2024248381A1 (en) | Method and system for mathematics teaching through implicit condition finding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24900866 Country of ref document: EP Kind code of ref document: A1 |