KR101068828B1 - Network-based Medical Image Analysis System and Its Control Method - Google Patents
Network-based Medical Image Analysis System and Its Control Method Download PDFInfo
- Publication number
- KR101068828B1 KR101068828B1 KR1020080061753A KR20080061753A KR101068828B1 KR 101068828 B1 KR101068828 B1 KR 101068828B1 KR 1020080061753 A KR1020080061753 A KR 1020080061753A KR 20080061753 A KR20080061753 A KR 20080061753A KR 101068828 B1 KR101068828 B1 KR 101068828B1
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- analysis
- medical
- network
- web page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
본 발명은 네트워크 기반 의료영상 분석시스템 및 그 제어방법에 관한 것으로서,의료기관의 PACS(Picture Archiving and Communication System) 또는 의료영상장비로부터 사전에 정해진 조건에 따라 의료영상데이터를 수집 및 변환하고 분석의뢰정보와 함께 네트워크를 통해 의료영상 분석서버에 전송하며, 상기 의료영상 분석서버에서 수행된 결과를 수신하여 상기 PACS에 등록하는 브로커장치와 상기 분석의뢰정보에 따라 상기 의료영상데이터를 분석하는 의료영상 분석부와 상기 의료영상 분석부의 분석결과가 웹페이지 형식으로 저장되는 웹페이지 저장부와 상기 웹페이지 저장부에 저장된 상기 의료영상데이터의 분석결과를 네트워크를 통해 사용자의 네트워크 단말기로 제공하는 서버 제어부를 포함한다. The present invention relates to a network-based medical image analysis system and a method of controlling the same, collecting and converting medical image data according to a predetermined condition from a picture archiving and communication system (PACS) or a medical imaging apparatus of a medical institution, and analyzing request information and Together with the network to transmit a medical image analysis server through the network, and receives the results performed by the medical image analysis server to register in the PACS and medical image analysis unit for analyzing the medical image data in accordance with the analysis request information; A web page storage unit for storing the analysis results of the medical image analysis unit in a web page format and a server control unit for providing the analysis results of the medical image data stored in the web page storage unit to the user's network terminal through the network.
이에 의해, 의료기관에서 의료영상을 이용한 진단 또는 치료과정에서 컴퓨터 보조진단(CAD:Computer Aided Diagnosis) 시스템 등을 포함하는 고성능의 지능적 영상분석 기능을 사용하고자 하는 경우, 사용자가 여러 컴퓨터 시스템을 접속하여 데이터를 입출력 하는 불편을 겪지 않고 사용자가 익숙한 PACS 사용자 인터페이스 내에서 간편하고 빠르게 의료영상의 분석 서비스를 받을 수 있게 해준다. As a result, when a medical institution wants to use a high performance intelligent image analysis function including a computer aided diagnosis (CAD) system in a diagnosis or treatment process using a medical image, a user accesses data by connecting various computer systems. This allows users to easily and quickly receive medical image analysis services within the familiar PACS user interface without the inconvenience of input and output.
Description
본 발명은 네트워크 기반 의료영상 분석시스템 및 그 제어방법에 관한 것으로서, 더욱 상세하게는, 의료기관에서 의료영상을 이용한 진단 또는 치료과정에서 컴퓨터보조진단 (CAD:Computer Aided Diagnosis) 등을 포함하는 고성능의 지능적 영상분석 기능을 사용하고자 하는 경우, 사용자가 여러 컴퓨터 시스템을 접속하여 데이터를 입출력 하는 불편을 겪지 않고 사용자가 익숙한 PACS 사용자 인터페이스 내에서 간편하고 빠르게 의료영상의 분석 서비스를 받을 수 있게 하는 네트워크 기반 의료영상 분석시스템 및 그 제어방법에 관한 것이다.The present invention relates to a network-based medical image analysis system and a control method thereof, and more particularly, to a high-performance intelligent system including computer aided diagnosis (CAD) in a diagnosis or treatment process using a medical image in a medical institution. If you want to use the image analysis function, the network-based medical image that allows the user to easily and quickly receive medical image analysis services within the familiar PACS user interface without the inconvenience of connecting and inputting data to and from multiple computer systems. An analysis system and a control method thereof.
의료기관에서 의료영상을 이용하여 질병의 진단, 치료계획 수립, 또는 치료경과 평가 등을 수행하고자 할 경우 병변의 크기나 범위, 기능 등을 정량적으로 측정하여야 할 경우가 빈번히 발생한다. 예를 들어, 항암치료를 시행할 경우 항암치료가 적절한 효과를 나타내는지를 확인하기 위해서는 치료 전, 후 종양의 크기를 측정하여 종양이 줄어드는지를 확인하는 과정이 필요하다. When medical institutions use medical images to diagnose diseases, establish treatment plans, or evaluate the progress of treatment, it is frequently necessary to quantitatively measure the size, extent, and function of lesions. For example, in the case of chemotherapy, it is necessary to check whether the tumor is reduced by measuring the size of the tumor before and after the treatment in order to confirm whether the chemotherapy has an appropriate effect.
그런데, 의료영상은 판독자의 눈에 따라 다른 의미를 부여할 수 있으므로, 판독자의 실수로 영상 내에 존재하는 병변을 인지하지 못하는 경우가 적지않게 발생한다. 또한, 영상에서 보이는 병변의 크기 등을 정량적으로 측정하기 위해서 이제까지는 판독자가 수작업으로 병변의 범위를 설정하여야하는데, CT, MRI, PET와 같은 단면 영상의 경우 여러 매의 영상에서 반복작업을 해야하므로 실질적으로는 정량적 측정이 이루어지지 못해왔으며, 수작업으로 이를 수행한다 하더라도 작업자의 육안적 식별성향에 따라 그 크기가 일정치 못하여 측정 오차의 한계가 크다는 문제가 있었다.
한편, 의료영상을 이용하여 질병의 초기 진단을 하는 경우에는 영상에서 병변을 검출함으로써 질병의 유무와 진행정도를 파악하게 되는데, 많은 수의 환자에서 얻어지는 대용량의 영상으로부터 병변을 효과적으로 검출하는 문제에서도 판독자의 숙련도나 피로도에 따라 정확도의 차이가 있으므로 병변의 존재를 간과하는 일이 종종 발생한다.
이와 같은 문제점을 해소하기 위해, 컴퓨터보조진단 (CAD:Computer Aided
Diagnosis) 시스템과 같이 지능적인 고성능 영상분석 시스템 컴퓨터에 의해 의료영상을 사전에 분석하거나 판별하여 병변 유무와 위치 또는 병변의 변화등을 의사에게 제공하는 기술이 개발되었다. 이러한 컴퓨터보조진단시스템은, 의료영상 내에서 병변의 존재여부를 판별하고 병변의 위치를 찾아서 표시해줄수 있으며, 더 나아가 병변을 자동적, 또는 반자동적으로 분할하고 그 크기를 계산함으로써, 수동 측정에 의한 정확도의 한계를 극복하는 것이 가능하다.
그러나, 이러한 CAD 시스템은 고가의 장비로 예산이 충분치 못한 병원에서는 구입하는 것이 어렵고, 구입하는 경우라 하더라도 개인별로 이용하기보다는 네트워크를 통해 다수의 사용자가 공유하게 되는 것이 일반적이다. 또한 이러한 CAD 시스템을 의료진이 사용하기 위해서는 PACS 로부터 영상데이터를 다운로드 받아서 CAD 시스템으로 복사하고, CAD 시스템에서 이를 다시 입력시킨 다음 적절한 메뉴를 조작하여 기능을 수행하여야 하며, 수행이 완료될때까지 기다렸다가 그 결과를 조회한 후, 다시 PACS에 그 결과를 입력하여야 하는 매우 복잡한 절차를 거쳐야 한다. 더욱이 CAD 시스템에서 검출된 병변이나 측정된 병변의 크기는 항상 정확한 것이 아니기 때문에, 판독자는 최종 판독문에 CAD의 결과를 포함시키기 전에 일일이 그 결과의 진위여부를 확인하거나 경우에 따라서는 CAD의 기능을 재 작동시켜서 올바른 결과를 얻어내야 하고, 최종적으로는 그 결과를 다시 PACS에 입력시킴으로써 판독문을 완성하여야 한다.However, since the medical image may have different meanings according to the eyes of the reader, there are many cases in which the reader does not recognize a lesion existing in the image by mistake. In addition, in order to quantitatively measure the size of lesions seen in an image, the reader has to manually set the extent of the lesion until now. In the case of cross-sectional images such as CT, MRI, and PET, it is necessary to repeat the work on several images. In practice, there has been a problem that the quantitative measurement has not been made, and even if it is performed by hand, the size of the measurement is not constant according to the human visual tendency, so the limit of measurement error is large.
On the other hand, in the early diagnosis of a disease by using a medical image to detect the disease presence and progression by detecting the lesion in the image, even in the problem of effectively detecting the lesion from a large amount of images obtained from a large number of patients Because of the difference in accuracy depending on the skill and fatigue of the patient, the occurrence of the lesion is often overlooked.
To solve this problem, computer aided diagnosis (CAD)
A technology that provides doctors with the presence or absence of lesions and changes in lesions by analyzing or determining medical images in advance by an intelligent high performance image analysis system computer such as a diagnosis system has been developed. Such computer-assisted diagnosis system can determine the presence of lesions in the medical image, find and mark the location of the lesion, and further, by automatically or semi-automatically dividing the lesion and calculating the size, accuracy by manual measurement It is possible to overcome the limitations.
However, such a CAD system is difficult to purchase in a hospital with expensive equipment and insufficient budget, and even if purchased, it is common to be shared by a large number of users through a network rather than individual use. In addition, in order for the medical staff to use the CAD system, image data from the PACS must be downloaded and copied to the CAD system, input again in the CAD system, and the appropriate menu is operated to perform the function. After querying, we have to go through a very complicated procedure to input the result back to PACS. Moreover, because the size of the detected or measured lesions in the CAD system is not always accurate, the reader must verify the authenticity of the results or reinstate the function of the CAD before including the results of the CAD in the final reading. It must be activated to get the correct result, and finally the reading must be completed by entering the result back into the PACS.
이러한 번거로움 때문에 현실적으로는 CAD 시스템을 진료현장에서 사용하지 못하고 있으며, 이에 따라 더 향상된 의료서비스를 제공할수 있는 기술이 있음에도 환자진료에 활용하지 못하는 어려움이 있다.Due to such a hassle, in reality, the CAD system is not used in the treatment field, and thus there is a difficulty in utilizing it in patient care even though there is a technology that can provide improved medical services.
삭제delete
삭제delete
본 발명은 전술한 문제점을 해결하기 위해 안출 된 것으로서, 의료기관에서 의료영상을 이용한 진단 또는 치료과정에서 컴퓨터 보조진단(CAD:Computer Aided Diagnosis) 등을 포함하는 고성능의 지능적 영상분석 기능을 사용하고자 하는 경우, 사용자가 여러 컴퓨터 시스템을 접속하여 데이터를 입출력 하는 불편을 겪지 않고 사용자가 익숙한 PACS 사용자 인터페이스 내에서 간편하고 빠르게 의료영상의 분석 서비스를 받을수 있게 하는 네트워크 기반 의료영상 분석시스템 및 그 제어방법을 제공하는데 그 목적이 있다. The present invention has been made to solve the above-mentioned problems, when a medical institution wants to use a high performance intelligent image analysis function, including computer aided diagnosis (CAD) in the process of diagnosis or treatment using medical images To provide a network-based medical image analysis system and a control method thereof, a user can easily and quickly receive medical image analysis services within a familiar PACS user interface without the inconvenience of connecting and inputting data to and from multiple computer systems. The purpose is.
전술한 목적을 달성하기 위한 본 발명에 따른 네트워크 기반 의료영상 분석시스템은, 의료기관의 PACS(Picture Archiving and Communication System) 또는 의료영상장비로부터 사전에 정해진 조건에 따라 의료영상데이터를 수집 및 변환하고 분석의뢰정보와 함께 네트워크를 통해 의료영상 분석서버에 전송하며, 상기 의료영상 분석서버에서 수행된 결과를 수신하여 상기 PACS에 등록하는 브로커장치와 상기 분석의뢰정보에 따라 상기 의료영상데이터를 분석하는 의료영상 분석부와 상기 의료영상 분석부의 분석결과가 웹페이지 형식으로 저장되는 웹페이지 저장부와 상기 웹페이지 저장부에 저장된 상기 의료영상데이터의 분석결과를 네트워크를 통해 사용자의 네트워크 단말기로 제공하는 서버 제어부를 포함한다.
여기서, 상기 브로커장치는 DICOM(Digital Imaging Communication in Medicine) 영상에 포함되어있는 검사장치, 검사명, 검사부위, DICOM 영상을 전송한 촬영장치의 DICOM AE title과 포트 번호(port number) 및 IP 주소의 조합 또는 사전에 정의된 인식 테이블을 사용하여 분석의뢰 사항을 전달하고, 상기 웹페이지 형식으로 저장된 상기 분석결과를 PACS에 등록하되, 상기 분석결과를 상기 PACS에서 직접 접속하여 조회할 수 있도록 상기 웹페이지의 URL(Uniform Resource Locator)도 함께 등록할 수 있다.
또한, 상기 의료영상 분석부는 상기 분석의뢰정보에 따라 상기 의료영상데이터에서 병변을 검출하는 기능과, 상기 병변을 정량화하는 기능과, 기능영상을 생성하는 기능 중 적어도 어느 하나를 수행할 수 있다.
또한, 상기 서버 제어부는 상기 의료영상데이터의 분석결과로서 상기 웹페이지의 URL(Uniform Resource Locator)을 상기 사용자의 네트워크 단말기로 전송하고, 상기 웹페이지의 URL 형식으로 전송된 상기 분석결과를 상기 사용자가 활성화시킬 경우 상기 사용자의 네트워크 단말기에서 상기 분석결과를 한 웹 페이지에 요약된 표로 제공할 수 있다. Network-based medical image analysis system according to the present invention for achieving the above object, collects, converts and requests medical image data according to a predetermined condition from a PACS (Picture Archiving and Communication System) or medical imaging equipment of a medical institution It transmits the information along with the information to the medical image analysis server through a network, and receives a result performed by the medical image analysis server and analyzes the medical image data according to the analysis request information and the broker device registering with the PACS. And a web page storage unit for storing the analysis result of the medical image analysis unit in a web page format and a server controller for providing the analysis result of the medical image data stored in the web page storage unit to a user's network terminal through a network. do.
Here, the broker device may include the inspection device, inspection name, inspection site, DICOM AE title, port number, and IP address of the imaging device included in the DICOM (Digital Imaging Communication in Medicine) image. Deliver the analysis request using a combination or predefined recognition table, and register the analysis result stored in the web page format in the PACS, and directly access the analysis result in the PACS to view the web page. Uniform Resource Locator (URL) can also be registered.
The medical image analyzing unit may perform at least one of a function of detecting a lesion in the medical image data, a function of quantifying the lesion, and a function image generation according to the analysis request information.
In addition, the server control unit transmits the Uniform Resource Locator (URL) of the web page to the network terminal of the user as an analysis result of the medical image data, and the user to transmit the analysis result transmitted in the URL format of the web page When activated, the user's network terminal may provide the analysis results in a table summarized on a web page.
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
이상에서 설명한 바와 같이, 본 발명의 네트워크 기반 의료영상 분석시스템 및 그 제어방법은, 의료기관에서 의료영상을 이용한 진단 또는 치료과정에서 컴퓨터 보조진단(CAD:Computer Aided Diagnosis) 시스템 등을 포함하는 고성능의 지능적 영상분석 기능을 사용하고자 하는 경우, 사용자가 여러 컴퓨터 시스템을 접속하여 데이터를 입출력 하는 불편을 겪지 않고 사용자가 익숙한 PACS 사용자 인터페이스 내에서 간편하고 빠르게 의료영상의 분석 서비스를 받을 수 있게 해준다. As described above, the network-based medical image analysis system and control method thereof according to the present invention include a high performance intelligent system including a computer aided diagnosis (CAD) system in a diagnosis or treatment process using a medical image in a medical institution. If you want to use the image analysis function, the user can easily and quickly receive medical image analysis service within the familiar PACS user interface without the inconvenience of inputting and outputting data by connecting various computer systems.
삭제delete
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예에 따른 네트워크 기반 의료영상 분석시스템 및 그 제어방법에 대해서 상세하게 설명한다. 다만, 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.Hereinafter, a network-based medical image analysis system and a control method thereof according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted.
도 1은 본 발명에 따른 네트워크 기반 의료영상 분석시스템의 제어블록도이다.1 is a control block diagram of a network-based medical image analysis system according to the present invention.
도 1에 도시된 바와 같이, 본 발명의 네트워크 기반 의료영상 분석시스템은, 촬영장치를 통해 획득된 의료영상에 대한 분석을 의뢰하는 분석의뢰자(200)와, 네트워크(1)를 통해 분석의뢰자(200)가 전송한 의료영상 및 분석의뢰 내용 등을 수신하여 의뢰 내용에 따라 의료영상에서 병변을 검출하거나 병변을 정량화하는 작업을 수행하는 의료영상 분석 서버(300)와, 의료영상 분석 서버(300)의 분석결과를 확인하기 위한 네트워크 단말기(100)를 포함한다.As shown in FIG. 1, the network-based medical image analysis system of the present invention includes an
네트워크(1)로는 인트라넷, 유/무선 인터넷, 이동통신 네트워크 등을 적용할 수 있다.The network 1 may be an intranet, a wired / wireless internet, a mobile communication network, or the like.
분석의뢰자(200)는 PACS(Picture Archiving and Communication System)(202)와, 브로커 장치(210)와, 네트워크 접속부(204)를 포함할 수 있다.The
PACS는 의료영상의 저장(Archiving), 조회(Viewing), 판독(Diagnosys) 등의 기능을 통합적으로 처리하는 시스템을 말한다. PACS는 X선, CT, MRI, PET, SPECT 등에 의해 촬영된 의료영상 및 영상덧표시정보를 데이터베이스에 저장하여 전문가가 의료영상을 모니터를 통해 판독할 수 있도록 한다. 이러한 PACS는 의료영상정보를 저장 및 관리하고 외부 요청에 따라 저장된 의료영상을 전송하는 기능을 수행할 수 있다. 이러한 PACS는 의료기관 간에 의료영상 및 그와 관련된 정보를 공유할 수 있도록 하기 위해, 국제표준인 DICOM(Digital Imaging Communication in Medicine)방식을 이용하여 정보를 가공 및 관리한다. 이에 따라, 각 영상 획득 장치는 제작사에서 지원하는 DICOM 표준의 저장 프로그램에 의해 별도의 인터페이스 장치 없이 직접 PACS에 의료영상을 전송 및 저장할 수 있으며, 판독실이나 외래의사 및 진단방사선과 의사들은 GUI로 개발된 뷰어(viewer)를 통해 자신의 연구실 또는 회의실에서 저장된 의료영상정보를 전송받아 판독하고 즉시 저장할 수 있다.PACS is a system that integrates the functions such as Archiving, Viewing, and Diagnosys of medical images. PACS stores medical images and image labeling information taken by X-ray, CT, MRI, PET, and SPECT in a database so that professionals can read the medical images on the monitor. The PACS may perform a function of storing and managing medical image information and transmitting the stored medical image according to an external request. The PACS processes and manages information using the DICOM (Digital Imaging Communication in Medicine) method, which is an international standard, for sharing medical images and related information among medical institutions. Accordingly, each image acquisition device can transmit and save medical images directly to PACS without a separate interface device by the DICOM standard storage program supported by the manufacturer, and the reading room, outpatient doctors, and diagnostic radiologists and doctors have developed the GUI. Through the viewer (viewer) can receive the medical image information stored in his laboratory or meeting room, can be read and immediately stored.
브로커 장치(210)는 의료기관의 PACS(202) 또는 촬영장치로부터 사전에 정의된 조건에 따라 분석의뢰가 필요한 의료영상데이터를 수집하는 기능, 획득된 의료영상데이터에 포함된 환자 개인정보들을 익명화시키는 기능, 데이터를 압축하는 기능, 전송할 데이터 세트를 암호화하는 기능, 의료영상 분석서버로 안전하게 전송하는 기능, 의료영상 분석서버에 분석서비스 주문을 전달하는 기능, 의료영상 분석서버에서 처리되는 결과를 확인하여 그 결과를 의료기관의 PACS에 등록하는 기능 등을 수행할 수 있다.The
네트워크 접속부(204)는 브로커 장치(210)가 전송하는 의료정보를 네트워크(1)를 통해 의료영상 분석 서버(300)에 제공한다. 여기서, 네트워크 접속부(204)는 브로커 장치(210)가 전송하는 의료정보를 SSL(secure soket layer)에 기반한 secure FTP(file transfer protocol) 방식 또는 HTTPS 방식으로 전송함으로써, 전송 데이터의 보안을 보장할 수 있다.
여기서, 브로커 장치(210)의 구성은 도 2에 도시된 바와 같다. 도 2에 도시된 바와 같이, 브로커 장치(210)는 PACS(202)로부터 의료영상정보를 수집 및 변환하는 변환부(212)와, 데이터 압축을 위한 압축부(214)와, 데이터 암호화를 위한 암호화부(216)와, 의료영상 분석 서버(300)와의 상호작용을 수행하는 분석의뢰 처리부(218)를 포함한다.
변환부(212)는 DICOM 수신방식을 이용하여 PACS(202) 혹은 촬영장치로부터 의료영상을 수집하며, 사용자가 분석해야 할 병변의 위치를 지정할 경우 이에 대한 영상데이터 표시정보를 DICOM 표준서식 또는 PACS 제조사가 정의한 형식으로 읽어들일 수 있다. 영상데이터 표시정보에 대한 DICOM 표준서식으로는 DICOM structural reporting(SR) 또는 DICOM Greyscale Softcopy Presentation State(GSPS) 정보객체 형식으로 수신할 수 있으며, PACS(202) 제조사가 이를 지원하지 않을 경우에는 PACS(202) 데이터베이스에 제조사가 정의한 형태로 저장된 영상덧표시정보를 사전에 정의된 SQL 질의를 통하여 읽어오는 기능을 수행한다. 이렇게 얻은 덧 표시정보를 서버에 전송할 때는 컴퓨터 보조진단(CAD:Computer Aided Diagnosis) 정보의 국제표준 형식인 DICOM SR 형태로 일괄 변환하여 전송한다.
또한, 변환부(212)는 획득된 DICOM 영상정보 중에서 환자명과 주민번호 등 환자 개인식별에 이용될 수 있는 정보를 검색하여 삭제함으로써 의료영상정보에 포함된 환자 개인정보들을 익명화시킬 수 있다. 이에, 환자 개인정보 침해를 사전에 방지할 수 있다.
압축부(214)는 DICOM 표준에서 지정한 영상압축기능, 또는 ZIP, LZH 등의 범용압축 방식 등을 이용하여 의료영상정보를 압축할 수 있다. 여기서, 어느 하나의 압축방식을 선택하여 파일 전체를 하나의 압축방식으로 압축하는 것이 가능하며, DICOM 의료영상 파일의 헤더 부분은 ZIP, LZH 등 범용압축 방식으로 압축하고, DICOM 영상파일의 영상부분은 DICOM 표준에서 지정한 영상압축 방식으로 각각 나누어 압축함으로써 압축의 효율을 높이는 것도 가능하다. 또한, 압축부(214)는 영상덧표시정보를 포함하는 DICOM GSPS 파일, DICOM SR 파일 등도 ZIP, LZH 등의 범용압축 방식으로 압축함으로써 압축의 효율을 높이는 것이 가능하다. 이러한 압축부(214)의 데이터 압축기능은 한 환자가 가지는 다수의 영상검사 데이터와 각 영상검사가 가지는 다수의 의료영상파일, 그리고 판독보고서 및 영상덧표시정보 등의 영상정보 세트를 하나의 파일로 압축시킴으로써 전송의 편리성을 도모할 수 있다.
암호화부(216)는 압축부(214)를 통해 하나의 파일로 압축된 영상정보 세트를 AES(Advanced Encription Standard) 방식으로 암호화함으로써, 전송 과정 중에 보안을 유지할 수 있도록 한다.
분석의뢰 처리부(218)는 분석 DICOM 영상에 포함되어있는 검사장치, 검사명, 검사부위, DICOM 영상을 전송한 PACS workstation또는 촬영장치의 DICOM AE title과 포트 번호(port number) 및 IP 주소 등의 조합을 이용하여 인식하여 분석의뢰 사항을 전달한다. 이때 사용되는 이때 사용되는 인식 테이블은 의료기관의 특성에 따라 개별화될 수 있다. 분석의뢰 처리부(218)가 의료영상 분석 서버(300)에 전달하는 분석의뢰 사항은, 병변검출, 병변 정량화, 기능영상 생성 등으로 분류되며, 영상장치 및 영상부위에 따라 분석의뢰 사항은 세분화될 수 있다.
또한, 분석의뢰 처리부(218)는 의료영상 분석 서버(300)의 데이터베이스에 갱신되는 내용을 조회함으로써 처리경과를 확인하고, 그 결과를 의료기관의 PACS(202)에 등록할 수 있다. 분석의뢰 처리부(218)는 분석의뢰 사항의 처리가 완료되었을 경우, 의료영상 분석 서버(300)에 저장된 분석결과 데이터에 접근하여 의료기관의 PACS(202)에 DICOM SR 정보객체로서 DICOM 표준방식으로 전송하거나, 혹은 사전에 정의된 SQL 문으로 PACS(202)의 데이터베이스에 갱신할 수 있다.
분석의뢰 처리부(218)는 의료영상 분석 서버(300)에서 제공하는 웹(Web) 기반의 처리결과를 의료기관의 PACS(202)에서 직접 접속하여 조회할 수 있도록 PACS(202)의 판독문에 해당 결과에 대한 URL을 등록한다. 여기서, PACS(202)의 판독문에 URL을 등록하는 방법으로서는 HL-7에 의한 전송표준으로 전송하거나 사전에 정의된 SQL 문으로 PACS(202)의 데이터베이스에 갱신하는 것이 가능하다.
또한, 분석의뢰 처리부(218)는 의료정보를 의료영상 분석 서버(300)에 전송함에 있어서 네트워크(1) 접속상태가 불안정하거나 중단되었을 경우, 소정의 저장장치(미도시)에 저장하였다가 네트워크(1) 접속이 가능해졌을 경우 재접속하여 전송을 안전하게 완료할 수 있다.
한편, 의료영상 분석 서버(300)는 수신된 의료영상에 대해 분석의뢰자(200)가 요청한 분석기능을 수행하여 그 결과를 제공한다. 예컨대, 의료영상에서 병변을 검출하거나 병변을 정량화하는 작업을 수행할 수 있다. The
Here, the configuration of the
The
In addition, the
The
The
The analysis request processing unit 218 is a combination of an inspection apparatus, an inspection name, an inspection region, a DICOM AE title, a port number, and an IP address of a PACS workstation or a photographing apparatus that transmits the DICOM image. Recognize using and deliver analysis request. The identification table used at this time may be individualized according to the characteristics of the medical institution. The analysis request delivered by the analysis request processor 218 to the medical
In addition, the analysis request processing unit 218 may check the processing progress by inquiring the contents updated in the database of the medical
The analysis request processing unit 218 provides the web-based processing results provided by the medical
In addition, when transmitting the medical information to the medical
Meanwhile, the medical
또한, 의료영상 분석 서버(300)는 경우에 따라 의료기관 내에 있거나 의료기관 밖에 있을 수 있으며, 브로커장치에 의해 전송된 의료영상에 대해 분석의뢰된 분석기능을 수행하여 그 결과를 제공한다. 예컨대, 의료영상에서 병변을 검출하거나 병변을 정량화하는 작업을 수행할 수 있다.In addition, the medical
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
도 3은 도 1의 의료영상 분석 서버의 제어블록도이다. 도 3에 도시된 바와 같이, 의료영상 분석 서버(300)는 데이터 송수신부(312)와, 수신된 의료영상이 저장되는 의료영상 DB(318)와, 의료영상의 병변을 검출하거나 정량화하는 등의 기능을 수행하는 의료영상 분석부(314)와, 분석결과가 저장되는 분석결과 DB(320)와, 분석결과 제공을 위한 웹페이지가 저장되는 웹페이지 저장부(316)와, 이들 각 구성요소의 기능을 제어하는 서버 제어부(310)와, 의료영상 분석 서버(300)의 기능을 관리하기 위한 관리자 인터페이스(322)를 포함한다.3 is a control block diagram of the medical image analysis server of FIG. 1. As shown in FIG. 3, the medical
삭제delete
삭제delete
데이터 송수신부(312)는 분석의뢰자(200)가 전송한 의료정보를 수신하고, 수신된 압축파일에 포함된 압축정보를 확인하여 압축을 해제하여 암호를 복원함으로써 원래의 DICOM 데이터로 복원한다. 이에, 서버 제어부(310)는 DICOM 데이터로 복원된 데이터를 의료영상 DB(318)에 저장한다.
의료영상 분석부(314)는 수신된 의료영상에 대해 분석의뢰자(200)로부터 받은 분석의뢰 요구에 따라, 의료영상에서 병변을 검출하거나 병변을 정량화하거나, 혹은 기능영상을 생성하는 작업을 수행한다. 여기서, 요청된 분석의뢰 주문이 병변검출일 경우에는 병변의 위치와 병변의 특성, 병변의 가능성, 병변의 영역 등을 표현하는 정보가 제공된다. 그리고, 주문이 병변 정량화일 경우에는 병변의 구획화 경계와 병변의 크기, 또는 병변 내부의 특정성분의 량과 분율 등에 관한 정보가 제공된다.
의료영상 분석부(314)의 분석결과는 서버 제어부(310)의 제어에 따라 컴퓨터 보조진단 정보의 국제표준인 DICOM SR 객체형태로 분석결과 DB(320)에 저장된다. The data transmission /
The
The analysis result of the medical
서버 제어부(310)는 의료영상 분석부(314)의 분석결과를 웹페이지 형식으로 작성하여 웹페이지 저장부(316)에 저장한다. 이에, 의료기관의 PACS(202)에 제공되는 것과 별개로, 웹 방식의 인터페이스를 갖는 네트워크 단말기(100)를 통해 의료영상에 대한 분석결과를 확인할 수 있다. 예컨대, 특정 환자의 추적검사가 있을 경우 여러 영상검사에서 얻은 결과들은 한 웹 페이지에 요약된 표로서 제공될 수 있다. The
서버 제어부(310)는 영상 분석결과를 웹 페이지에 등록한 후, 사전에 요청이 있을 경우 분석을 의뢰한 의료진에게 웹 페이지의 URL을 이메일로 전송함으로써, 담당 의료진이 필요에 따라 이 메일로 그 결과를 확인할 수 있도록 한다.The
삭제delete
삭제delete
관리자 인터페이스(322)는 웹기반의 인터페이스로 제공될 수 있다. 이에, 의료영상의 각 해당 분야의 전문가가, 관리자 인터페이스(322)를 통해 의료영상 분석결과를 확인하여 적정성을 감시할 수 있다. 분석결과가 적절치 못한 경우, 전문가는 관리자 인터페이스(322)를 통해 해당 결과를 삭제하거나 수정할 수 있으며, 직접 의료영상을 분석하여 그 결과를 제공할 수 있다. 이에 따라, 분석결과의 신뢰성을 제고하는 것이 가능하다.The
도 4는 본 발명의 일 실시 예에 따른 네트워크 기반 의료영상 분석시스템의 제어 흐름도로서, 특히, 의료영상 분석 서버(300)의 제어 흐름을 도시한 것이다.
먼저, 브로커장치에서 의료기관의 PACS(Picture Archiving and Communication System) 또는 의료영상장비로부터 사전에 정해진 조건에 따라 의료영상데이터를 수집 및 변환하고 분석의뢰정보와 함께 네트워크를 통해 의료영상 분석서버에 전송한다(S10). 상기 분석의뢰정보에 따라 의료영상 분석부에서 상기 의료영상데이터를 분석하고(S20), 상기 의료영상 분석부의 분석결과를 웹페이지 저장부에서 웹페이지 형식으로 저장한다(S30). 상기 웹페이지 저장부에 저장된 상기 의료영상데이터의 분석결과를 서버 제어부에서 네트워크를 통해 사용자의 네트워크 단말기로 제공하고(S40), 상기 의료영상 분석서버에서 수행된 결과를 상기 브로커장치가 수신하여 상기 PACS에 등록한다(S50).
상기 제어방법의 브로커 장치는 상기 네트워크 기반 의료영상 분석시스템에서 상술한 바이며, 동일한 내용에 대해서는 생략한다.
또한, 상기 의료영상데이터를 분석하는 단계(S20)는 상기 분석의뢰정보에 따라 상기 의료영상데이터에서 병변을 검출, 상기 병변을 정량화 및 기능영상을 생성하는 것 중 적어도 어느 하나를 수행할 수 있다.
또한, 상기 의료영상데이터를 분석하는 단계(S20)는 상기 의료영상데이터의 분석결과로서 상기 웹페이지의 URL(Uniform Resource Locator)을 상기 사용자의 네트워크 단말기로 전송할 수 있다. 이때, 상기 의료영상데이터를 분석하는 단계(S20)는 상기 웹페이지의 URL 형식으로 전송된 상기 분석결과를 상기 사용자가 활성화시킬 경우 상기 사용자의 네트워크 단말기에서 상기 분석결과를 한 웹 페이지에 요약된 표로 제공하는 단계를 더 포함할 수 있다.
한편, 상기 실시예에서, 상기 의료영상 분석부의 분석결과를 웹페이지 저장부에서 웹페이지 형식으로 저장(S30)하고 사용자의 네트워크 단말기로 제공하는 단계(S40)를 상기 의료영상 분석서버에서 수행된 결과를 상기 브로커 장치가 수신하여 상기 PACS에 등록하는 단계(S50)보다 먼저 도시하였지만, 상기의 순서에 꼭 한정되는 것은 아니며 상기 PACS에 등록하는 단계(S50)가 먼저 실시될 수 있음은 물론이다. 4 is a control flowchart of a network-based medical image analysis system according to an embodiment of the present invention. In particular, FIG. 4 illustrates a control flow of the medical
First, the broker device collects and converts medical image data according to a predetermined condition from a PACS (Picture Archiving and Communication System) or medical imaging equipment of a medical institution, and transmits the medical image data to the medical image analysis server through the network together with the analysis request information ( S10). The medical image analyzing unit analyzes the medical image data according to the analysis request information (S20), and stores the analysis result of the medical image analyzing unit in a web page format in a web page storage unit (S30). The server control unit provides the analysis result of the medical image data stored in the webpage storage unit to the user's network terminal through a network (S40), and the broker apparatus receives the result of the medical image analysis server and the PACS. Register at (S50).
The broker apparatus of the control method has been described above in the network-based medical image analysis system, and the same content is omitted.
The analyzing of the medical image data (S20) may perform at least one of detecting a lesion in the medical image data, quantifying the lesion, and generating a functional image according to the analysis request information.
In operation S20, the medical image data may be transmitted to a network terminal of the user as a result of analyzing the medical image data. At this time, the step of analyzing the medical image data (S20) is a table summarized in the web page of the analysis results in the user's network terminal when the user activates the analysis results transmitted in the URL format of the web page It may further comprise the step of providing.
On the other hand, in the embodiment, the result of performing the step of storing the analysis result of the medical image analysis unit in the web page format in the web page storage unit (S30) and providing to the user's network terminal (S40) in the medical image analysis server Although the broker device is shown earlier than the step of receiving and registering in the PACS (S50), it is not necessarily limited to the above order, and the step of registering in the PACS (S50) may be performed first.
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although the present invention has been described in detail with reference to exemplary embodiments above, those skilled in the art to which the present invention pertains can make various modifications to the above-described embodiments without departing from the scope of the present invention. Will understand. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.
도 1은 본 발명에 따른 네트워크 기반 의료영상 분석시스템의 제어블록도,1 is a control block diagram of a network-based medical image analysis system according to the present invention;
도 2는 도 1의 브로커 장치의 제어블록도,2 is a control block diagram of the broker apparatus of FIG. 1;
도 3은 도 1의 의료영상 분석 서버의 제어블록도,3 is a control block diagram of the medical image analysis server of FIG. 1;
도 4는 본 발명에 따른 네트워크 기반 의료영상 분석시스템의 제어 흐름도이다.4 is a control flowchart of a network-based medical image analysis system according to the present invention.
*** 도면의 주요 부분에 대한 부호의 설명 ****** Explanation of symbols for the main parts of the drawing ***
100 : 네트워크 단말기
200 : 분석의뢰자100: network terminal
200: Client for analysis
202 : PACS 204 : 네트워크 접속부202: PACS 204: network connection
210 : 브로커 장치 212 : 변환부210: broker device 212: converter
214 : 압축부 216 : 암호화부214: compression unit 216: encryption unit
300 : 의료영상 분석 서버300: medical image analysis server
310 : 서버 제어부 312 : 데이터 송수신부310: server controller 312: data transceiver
314 : 의료영상 분석부 316 : 웹페이지 저장부314: medical image analysis unit 316: web page storage unit
318 : 의료영상 DB 320 : 분석결과 DB318: Medical image DB 320: Analysis result DB
322 : 관리자 인터페이스322: administrator interface
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080061753A KR101068828B1 (en) | 2008-06-27 | 2008-06-27 | Network-based Medical Image Analysis System and Its Control Method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080061753A KR101068828B1 (en) | 2008-06-27 | 2008-06-27 | Network-based Medical Image Analysis System and Its Control Method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100001730A KR20100001730A (en) | 2010-01-06 |
| KR101068828B1 true KR101068828B1 (en) | 2011-09-29 |
Family
ID=41812002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080061753A Active KR101068828B1 (en) | 2008-06-27 | 2008-06-27 | Network-based Medical Image Analysis System and Its Control Method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101068828B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101507810B1 (en) | 2013-06-25 | 2015-04-07 | 삼성전자주식회사 | Method and apparatus for providing user interface for filming examinee using medical imaging device |
| KR20230071960A (en) * | 2021-11-17 | 2023-05-24 | (주)헬스허브 | System for seamless mobile access to pacs |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2011220513B2 (en) | 2010-02-25 | 2014-07-31 | Prairie Ventures, L.L.C. | System and method for anatomical pathology sample handling, storage, and analysis |
| WO2016130879A1 (en) * | 2015-02-13 | 2016-08-18 | Prairie Ventures, Llc | System and method to objectively measure quality assurance in anatomic pathology |
| WO2017051945A1 (en) * | 2015-09-24 | 2017-03-30 | 주식회사 뷰노코리아 | Method and apparatus for providing medical information service on basis of disease model |
| WO2018005562A1 (en) | 2016-06-28 | 2018-01-04 | Heartflow, Inc. | Systems and methods for anonymization of health data and transmition of health data for analysis across geographic regions |
| KR102108400B1 (en) * | 2019-07-12 | 2020-05-28 | 주식회사 딥노이드 | System for providing container based cloud platform service for interpretation of medical image |
| KR102556225B1 (en) * | 2020-08-26 | 2023-07-18 | 서울대학교산학협력단 | Neuroimaging analysis system and method |
| KR102835692B1 (en) * | 2021-12-10 | 2025-07-18 | 주식회사 크레스콤 | Method for, device for, and system for relaying medical image ananysis system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000049996A (en) * | 2000-05-10 | 2000-08-05 | 김태 | Method for analyzing medical image data using network and recording medium therefor |
| KR20040047561A (en) * | 2002-11-26 | 2004-06-05 | 지이 메디컬 시스템즈 글로발 테크놀러지 캄파니 엘엘씨 | Computer aided diagnosis of an image set |
| KR20050076233A (en) * | 2004-01-20 | 2005-07-26 | (주) 옵토바이오메드 | Digital photography process system and method for employing as the same |
| KR20080021723A (en) * | 2005-06-02 | 2008-03-07 | 더 메디패턴 코포레이션 | System and method of computer-aided detection |
-
2008
- 2008-06-27 KR KR1020080061753A patent/KR101068828B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000049996A (en) * | 2000-05-10 | 2000-08-05 | 김태 | Method for analyzing medical image data using network and recording medium therefor |
| KR20040047561A (en) * | 2002-11-26 | 2004-06-05 | 지이 메디컬 시스템즈 글로발 테크놀러지 캄파니 엘엘씨 | Computer aided diagnosis of an image set |
| KR20050076233A (en) * | 2004-01-20 | 2005-07-26 | (주) 옵토바이오메드 | Digital photography process system and method for employing as the same |
| KR20080021723A (en) * | 2005-06-02 | 2008-03-07 | 더 메디패턴 코포레이션 | System and method of computer-aided detection |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101507810B1 (en) | 2013-06-25 | 2015-04-07 | 삼성전자주식회사 | Method and apparatus for providing user interface for filming examinee using medical imaging device |
| KR20230071960A (en) * | 2021-11-17 | 2023-05-24 | (주)헬스허브 | System for seamless mobile access to pacs |
| KR102631540B1 (en) | 2021-11-17 | 2024-01-31 | (주)헬스허브 | System for seamless mobile access to pacs |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100001730A (en) | 2010-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101068828B1 (en) | Network-based Medical Image Analysis System and Its Control Method | |
| CN101347355B (en) | Medical image observation system | |
| US10673922B2 (en) | Cloud based 2D dental imaging system with HTML web browser acquisition | |
| Herz et al. | DCMQI: an open source library for standardized communication of quantitative image analysis results using DICOM | |
| US10977796B2 (en) | Platform for evaluating medical information and method for using the same | |
| US20090192824A1 (en) | Medical information system and medical image storage apparatus | |
| CN107978362B (en) | Query with data distribution in hospital networks | |
| US20070078674A1 (en) | Display method for image-based questionnaires | |
| US20110215930A1 (en) | Method and system for interpreting medical image data | |
| JP2019525364A (en) | System and method for anonymizing health data and modifying and editing health data across geographic regions for analysis | |
| US9002075B2 (en) | Interpretation support system | |
| JP6683934B2 (en) | Remote interpretation system, control method thereof, information processing device, and program | |
| US12300361B2 (en) | Systems and methods for independent assessment of image data | |
| KR20170046115A (en) | Method and apparatus for generating medical data which is communicated between equipments related a medical image | |
| CN107252353B (en) | Control method of medical imaging equipment and medical imaging equipment | |
| JP6753736B2 (en) | Medical image file management device, medical image file management method and medical image file management program | |
| US20080120140A1 (en) | Managing medical imaging data | |
| KR20210135400A (en) | System for managing health care | |
| WO2009128296A1 (en) | Regional medical cooperation system, registration terminal, and program | |
| KR101938376B1 (en) | Systems and method for managing web-based clinical trial medical imaging and program therefor | |
| KR101624305B1 (en) | Post-processing method and system for voxel-base analysis and Texture analysis in Radiologic and Digital medical image Reading Environment | |
| JP6559927B2 (en) | Medical information management apparatus and medical information management system | |
| JP2009289133A (en) | Medical device information system and method of locating cause of error | |
| JP6597465B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JP7272149B2 (en) | Selection support system and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20080627 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20100526 Patent event code: PE09021S01D |
|
| E90F | Notification of reason for final refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20101227 Patent event code: PE09021S02D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20110825 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20110923 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20110923 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20140822 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20140822 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170824 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170824 Start annual number: 7 End annual number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20180820 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180820 Start annual number: 8 End annual number: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20190917 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190917 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20211109 Start annual number: 11 End annual number: 11 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220822 Start annual number: 12 End annual number: 12 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230823 Start annual number: 13 End annual number: 13 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240823 Start annual number: 14 End annual number: 14 |