KR102204510B1 - Casualties Classification Method, And Rescue Robots for Performing the Method - Google Patents
Casualties Classification Method, And Rescue Robots for Performing the Method Download PDFInfo
- Publication number
- KR102204510B1 KR102204510B1 KR1020180129198A KR20180129198A KR102204510B1 KR 102204510 B1 KR102204510 B1 KR 102204510B1 KR 1020180129198 A KR1020180129198 A KR 1020180129198A KR 20180129198 A KR20180129198 A KR 20180129198A KR 102204510 B1 KR102204510 B1 KR 102204510B1
- Authority
- KR
- South Korea
- Prior art keywords
- injured person
- injured
- walk
- rescue robot
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 208000027418 Wounds and injury Diseases 0.000 claims abstract description 18
- 238000012546 transfer Methods 0.000 claims abstract description 18
- 230000006378 damage Effects 0.000 claims abstract description 16
- 208000014674 injury Diseases 0.000 claims abstract description 16
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 52
- 230000008859 change Effects 0.000 claims description 38
- 230000036387 respiratory rate Effects 0.000 claims description 23
- 210000001367 artery Anatomy 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 208000035657 Abasia Diseases 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 10
- 208000037656 Respiratory Sounds Diseases 0.000 claims description 4
- 230000032258 transport Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 210000003462 vein Anatomy 0.000 description 5
- 230000017531 blood circulation Effects 0.000 description 4
- 230000004087 circulation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 206010052428 Wound Diseases 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000001994 temporal artery Anatomy 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 210000002302 brachial artery Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000002321 radial artery Anatomy 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
- A61B5/024—Measuring pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Measuring devices for evaluating the respiratory organs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
- B25J11/009—Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Pulmonology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Nursing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
부상자 분류 방법 및 그 방법을 수행하는 구조 로봇이 개시된다. 부상자 분류 방법은 구조 로봇이 투입된 사고 현장 내 부상자의 생체 신호를 분석하여 부상자의 부상 정도에 따라 이송 순위를 분류하고, 분류한 이송 순위에 따른 구조 로봇을 이용하여 부상자를 구조한다.Disclosed is a method for classifying the injured and a rescue robot performing the method. The injured classification method analyzes the vital signs of the injured in the accident site where the rescue robot was put in, classifies the transfer order according to the degree of injury of the injured person, and rescues the injured using a rescue robot according to the classified transfer order.
Description
아래의 설명은 부상자 분류 방법 및 그 방법을 수행하는 구조 로봇에 관한 것으로, 보다 구체적으로는, 의료 전문가가 없는 재난 환경에서 부상자를 이송하는 구조 로봇을 이용하여 부상자를 분류하는 기술에 관한 것이다.The following description relates to a method of classifying the injured and a rescue robot that performs the method, and more specifically, to a technology for classifying the injured using a rescue robot that transports the injured in a disaster environment without a medical professional.
본 발명의 배경이 되는 기술은 다음의 문헌에 개시되어 있다.
1) 한국등록번호: 1912096 (2018.10.22), "화재／재난 상황 정찰로봇"
2) 한국공개번호: 2015-0136917(2015.12.08), "재난구조로봇을 이용한 재난 구조 시스템"
일반적으로, 구조 로봇은 구조자의 투입이 어려운 재난 현장이나, 전쟁터에서 부상자를 긴급 수송하거나 또는, 위험물(지뢰 제거)을 제거하기 위해 사용되는 등 다목적 구조 및 구난을 위해 활용된다. 다시 말해, 구조 로봇은 재난과 전쟁 상황 등의 야지/험지를 이동하면서, 사람 대신 투입되어 인명 구조, 폭발물 제거, 물류 이송 등의 임무를 목적으로 구조-구난 작업을 수행한다.The technology behind the present invention is disclosed in the following documents.
1) Korean registration number: 1912096 (2018.10.22), "Fire/Disaster Reconnaissance Robot"
2) Korean publication number: 2015-0136917 (2015.12.08), "Disaster Rescue System Using Disaster Rescue Robot"
In general, rescue robots are used for multi-purpose rescue and rescue, such as emergency transportation of the injured in a disaster site or battlefield where it is difficult to input a rescuer, or to remove dangerous objects (mine removal). In other words, rescue robots are used instead of people to perform rescue-rescue tasks for missions such as saving lives, removing explosives, and transporting logistics while moving field / rough areas such as disasters and war situations.
이때, 구조 로봇은 부상병 또는 부상자를 수송함에 있어, 한 번에 구조 가능한 부상자의 인원수에 제한이 있다. 자세하게, 구조 로봇은 인간형 휴머노이드 로봇 형태로 구현되며, 인간형 로봇이 실을 수 있는 부상자의 수가 통상 1명으로 제한되기 때문이다. 구조 로봇은 재난 시 구조 로봇 주위에 다수 부상자가 존재하더라도 한 번에 모든 부상자를 구조할 수 없다At this time, when the rescue robot transports injured soldiers or injured persons, there is a limit on the number of injured persons that can be rescued at one time. In detail, this is because the rescue robot is implemented in the form of a humanoid humanoid robot, and the number of injured persons that the humanoid robot can carry is usually limited to one. Rescue robots cannot rescue all the injured at once even if there are many injured around the rescue robot in a disaster.
구조 인원수가 제한된 환경에서 생존율을 높이기 위해는 구조 로봇이 다수 부상자 중 위급한 부상자부터 우선적으로 구조해야 한다. 이를 위해, 구조 로봇은 부상자의 상태진단을 기반으로 다수의 부상자 각각에 대응하여 위급한 정도를 판단한 후, 먼저 이송해야 할 부상자를 분류해야 한다In order to increase the survival rate in an environment where the number of rescuers is limited, rescue robots must first rescue the most injured among the many injured. To this end, the rescue robot must first classify the injured person to be transported after determining the degree of emergency in response to each of the plurality of injured persons based on the condition diagnosis of the injured person.
종래에는 부상자를 분류하기 위하여 재난 시 부상자의 호흡 순환 정신 상태를 기반으로 부상자를 분류하고, 부상자를 치료하는 부상자 분류 방법을 제안하였다. 부상자 분류 방법은 긴급, 지연, 경미, 사망예상으로 부상자를 분류하고, 부상자를 분류한 후, 이송순서는 '긴급 > 지연 > 경미 > 사망예상' 부상자 순이다.Conventionally, in order to classify the injured, a method for classifying the injured based on the mental state of the injured's breathing circulation during a disaster and treating the injured was proposed. The injured classification method is to categorize the injured into emergency, delayed, minor, and predicted death. After classifying the injured, the transfer order is in the order of'emergency> delayed> minor> predicted death.
그러나, 종래의 부상자 분류 방법은 부상자를 분류함에 있어, 사고가 발생한 현장에 부상자를 진단하고 각 부상자의 상태에 따라 상처를 치료할 수 있는 의료 전문가가 배치해야 한다는 한계가 존재한다. 다시 말해, 구조 로봇이 투입되는 환경은 주로 재난 현장에 의료전문가가 없는 환경으로, 먼저 이송해야 할 부상자를 선정할 때 의료전문가 진단이 필요한 종래 부상자 분류방법을 그대로 적용할 수 없다.However, in classifying the injured in the conventional method of classifying the injured, there is a limitation that a medical professional who can diagnose the injured at the site of the accident and treat the wound according to the condition of each injured person must be arranged. In other words, the environment in which the rescue robot is introduced is mainly an environment where there is no medical expert at the disaster site, and when selecting the injured person to be transferred first, the conventional method of classifying the injured, requiring medical expert diagnosis cannot be applied as it is.
따라서, 의료 전문가가 존재하지 않는 재난 환경에서 보다 효율적으로 부상자의 상태를 진단하고, 위급한 정도를 분류하는 방법이 필요하다.Therefore, there is a need for a method for more efficiently diagnosing the injured person's condition and classifying the degree of emergency in a disaster environment where no medical professional exists.
본 발명은 의료 전문가가 없는 재난 환경에서 우선적으로 이송해야 하는 부상자를 식별할 수 있는 의료 로봇이 수행하는 부상자 분류 방법을 제공할 수 있다.The present invention can provide a method for classifying the injured by a medical robot capable of identifying the injured person to be transferred preferentially in a disaster environment without a medical professional.
본 발명은 구조 로봇의 센서를 통해 부상자의 생체 신호를 측정하고, 측정된 생체 신호를 통해 부상자의 상태를 진단함으로써, 우선적으로 이동해야 하는 부상자의 이송 순위를 분류하는 부상자 분류 방법을 제공할 수 있다.The present invention can provide a method for classifying the injured person's transport priority by measuring the injured person's biosignal through the sensor of the rescue robot and diagnosing the injured person's condition through the measured biometric signal. .
일실시예에 따른 구조 로봇이 수행하는 부상자 분류 방법은 구조 로봇이 투입된 사고 현장 내 부상자가 존재하는지 여부를 확인하는 단계; 부상자가 존재하면, 구조 로봇의 입출력 장치를 이용하여 상기 부상자가 보행이 가능한지 여부를 확인하는 단계; 부상자의 보행이 불가능한 경우, 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 생체 신호를 추출하는 단계; 및 보행이 불가능한 부상자의 생체 신호를 분석하여 보행이 불가능한 부상자의 부상 정도에 따라 이송 순위를 분류하는 단계를 포함할 수 있다.The method for classifying the injured by the rescue robot according to an embodiment includes the steps of checking whether or not the injured person exists in the accident site where the rescue robot is put; If the injured person is present, checking whether the injured person can walk using an input/output device of a rescue robot; When the injured person is unable to walk, extracting a bio-signal of the injured person who cannot walk by using an infrared image of the rescue robot; And analyzing the biosignal of the injured person who cannot walk, and classifying the transfer order according to the injury degree of the injured person who cannot walk.
일실시예에 따른 보행이 가능한지 여부를 확인하는 단계는 구조 로봇의 입출력 장치를 통한 사고 현장 내 존재하는 부상자의 질의-응답 결과를 고려하여 부상자가 보행이 가능한지 여부를 확인할 수 있다.In the step of determining whether walking is possible according to an embodiment, whether or not the injured person can walk may be checked in consideration of the question-response result of the injured person present in the accident site through the input/output device of the rescue robot.
일실시예에 따른 부상자의 생체 신호를 추출하는 단계는 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되는지를 고려하여 부상자의 생체 신호를 추출할 수 있다.In the step of extracting the bio-signal of the injured person according to an embodiment, the bio-signal of the injured person may be extracted in consideration of whether a face of the injured person who cannot walk is detected using an infrared image of the rescue robot.
일실시예에 따른 부상자의 생체 신호를 추출하는 단계는 보행이 불가능한 부상자의 얼굴이 감지되면, 구조 로봇과 보행이 불가능한 부상자 간 무접촉 상태에서 보행이 불가능한 부상자의 호흡수 및 순환을 포함하는 생체 신호를 추출할 수 있다.In the step of extracting the bio-signal of the injured person according to an embodiment, when the face of the injured person who cannot walk is detected, a bio-signal including the respiratory rate and circulation of the injured person who cannot walk in a non-contact state between the rescue robot and the injured person who cannot walk Can be extracted.
일실시예에 따른 부상자의 생체 신호를 추출하는 단계는 감지된 부상자의 얼굴의 호흡 영역을 포함하는 적외선 영상을 수집하는 단계; 수집한 적외선 영상에 포함된 호흡 영역을 분할하고, 분할된 각 호흡 영역에서의 온도 변화에 따른 평균값을 측정하는 단계; 및 평균값으로부터 보행이 불가능한 부상자의 호흡수를 측정하는 단계를 포함할 수 있다.Extracting the bio-signal of the injured person according to an embodiment includes: collecting an infrared image including a breathing area of the detected person's face; Dividing the breathing area included in the collected infrared image, and measuring an average value according to the temperature change in each divided breathing area; And measuring the respiration rate of the injured person who cannot walk from the average value.
일실시예에 따른 부상자의 생체 신호를 추출하는 단계는 감지된 부상자의 얼굴의 표면 동맥 영역을 포함하는 적외선 영상을 수집하는 단계; 적외선 영상에 포함된 표면 동맥 영역에서의 온도를 측정하는 단계; 및 측정된 온도의 변화에 따른 보행이 불가능한 부상자의 맥박수를 측정하는 단계를 포함할 수 있다.Extracting the bio-signal of the injured person according to an embodiment includes: collecting an infrared image including a surface artery area of the detected person's face; Measuring a temperature in a superficial artery region included in the infrared image; And measuring the pulse rate of the injured person who is unable to walk according to the measured temperature change.
일실시예에 따른 부상자의 생체 신호를 추출하는 단계는 보행이 불가능한 부상자의 얼굴이 감지되지 않으면, 구조 로봇과 보행이 불가능한 부상자 간 접촉 상태에서 보행이 불가능한 부상자의 호흡수 및 맥박수를 포함하는 생체 신호를 추출할 수 있다.In the step of extracting the bio-signal of the injured person according to an embodiment, if the face of the injured person who cannot walk is not detected, a bio-signal including the respiratory rate and pulse rate of the injured person who cannot walk in a contact state between the rescue robot and the injured person who cannot walk Can be extracted.
일실시예에 따른 부상자의 생체 신호를 추출하는 단계는 구조 로봇의 압력 센서와 보행이 불가능한 부상자의 피부가 접촉한 상태에서, 압력 센서의 전압을 결정하는 단계; 및 측정된 압력 센서의 전압의 변화를 판단하고, 전압의 변화에 따른 부상자의 맥박수를 획득하는 단계를 포함할 수 있다.Extracting the bio-signal of the injured person according to an embodiment includes determining a voltage of the pressure sensor in a state in which the pressure sensor of the rescue robot and the skin of the injured person who cannot walk are in contact; And determining a change in voltage of the measured pressure sensor and obtaining a pulse rate of the injured person according to the change in voltage.
일실시예에 따른 이송 순위를 분류하는 단계는, i) 부상자의 생체 신호를 포함하는 호흡수가 비정상이거나 또는, 맥박수가 비정상인 경우, 부상자의 이송 순위를 긴급으로 분류하고, ii) 부상자의 생체 신호를 측정하기 이전, 보행이 가능한 경우, 부상자의 이송 순위를 경미로 분류하고, iii) 부상자의 생체 신호를 포함하는 호흡수 및 맥박수가 정상인 경우, 부상자의 이송 순위를 지연으로 분류하고, iv) 부상자의 생체 신호를 포함하는 호흡수가 '0' 인 경우, 부상자의 이송 순위를 사망예상으로 분류할 수 있다.The step of classifying the transfer priority according to an embodiment includes: i) when the respiratory rate including the injured person's biosignal is abnormal or the pulse rate is abnormal, the transfer priority of the injured person is classified as emergency, and ii) the injured person's biosignal Prior to measurement, if walking is possible, the injured person's transport rank is classified as minor, iii) the injured person's transport rank is classified as delay if the respiratory rate and pulse rate including the injured person's vital signs are normal, and iv) the injured person If the number of respirations including the vital signs of is '0', the order of transport of the injured can be classified as predicted death.
일실시예에 따른 구조 로봇에 있어서, 프로세서를 포함하고, 프로세서는, 구조 로봇이 투입된 사고 현장 내 부상자가 존재하는지 여부를 확인하고, 부상자가 존재하면, 구조 로봇의 입출력 장치를 이용하여 부상자가 보행이 가능한지 여부를 확인하고, 부상자의 보행이 불가능한 경우, 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 생체 신호를 추출하고, 보행이 불가능한 부상자의 생체 신호를 분석하여 보행이 불가능한 부상자의 부상 정도에 따라 이송 순위를 분류할 수 있다.In the rescue robot according to an embodiment, including a processor, the processor checks whether there is an injured person in the accident site where the rescue robot is put into, and if there is an injured person, the injured person walks using the input/output device of the rescue robot. Check whether this is possible, and if the injured person is unable to walk, the injured person's biosignal is extracted using the infrared image of the rescue robot, and the injured person who cannot walk is injured by analyzing the biosignal of the injured person who cannot walk You can classify the transfer order according to.
일실시예에 따른 프로세서는, 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되면, 구조 로봇과 보행이 불가능한 부상자 간 무접촉 상태에서 부상자의 생체 신호를 수집하고, 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되지 않으면, 구조 로봇과 보행이 불가능한 부상자 간 접촉 상태에서 부상자의 생체 신호를 수집할 수 있다.The processor according to an embodiment, when the face of the injured person who cannot walk is detected using the infrared image of the rescue robot, collects the bio-signals of the injured person in a non-contact state between the rescue robot and the injured person who cannot walk, and If the face of the injured person who cannot walk is not detected using the image, the bio-signals of the injured person can be collected in a contact state between the rescue robot and the injured person who cannot walk.
일실시예에 따른 프로세서는, 무접촉 상태에서 부상자의 생체 신호를 수집하는 경우, 감지된 부상자의 얼굴의 호흡 영역을 포함하는 적외선 영상을 수집하고, 수집한 적외선 영상에 포함된 호흡 영역을 분할하고, 분할된 각 호흡 영역에서의 온도 변화에 따른 평균값을 측정하고, 평균값으로부터 보행이 불가능한 부상자의 호흡수를 측정할 수 있다.The processor according to an embodiment of the present invention collects an infrared image including a breathing area of the detected injured's face when collecting a bio-signal of the injured in a contactless state, and divides the breathing area included in the collected infrared image. , The average value according to the temperature change in each divided breathing area can be measured, and the respiratory rate of the injured person who cannot walk can be measured from the average value.
일실시예에 따른 프로세서는 무접촉 상태에서 부상자의 생체 신호를 수집하는 경우, 감지된 부상자의 얼굴의 표면 동맥 영역을 포함하는 적외선 영상을 수집하고, 적외선 영상에 포함된 표면 동맥 영역에서의 온도를 측정하고, 측정된 온도의 변화에 따른 보행이 불가능한 부상자의 맥박수를 측정할 수 있다.The processor according to an embodiment collects an infrared image including a surface arterial area of the detected face of the injured when collecting a bio-signal of the injured person in a non-contact state, and calculates the temperature in the surface artery area included in the infrared image. It is possible to measure and measure the pulse rate of the injured person who cannot walk according to the change in the measured temperature.
일실시예에 따른 프로세서는 접촉 상태에서 부상자의 생체 신호를 수집하는 경우, 구조 로봇의 압력 센서와 보행이 불가능한 부상자의 피부가 접촉한 상태에서, 압력 센서의 전압을 결정하고, 측정된 압력 센서의 전압의 변화를 판단하고, 전압의 변화에 따른 부상자의 맥박수를 획득할 수 있다.The processor according to an embodiment determines the voltage of the pressure sensor, and determines the voltage of the pressure sensor, in a state in which the pressure sensor of the rescue robot and the skin of the injured person who cannot walk are in contact with each other when collecting the biological signal of the injured person in the contact state. It is possible to determine the change in voltage and obtain the injured person's pulse rate according to the change in voltage.
일실시예에 따른 프로세서는, i) 부상자의 생체 신호를 포함하는 호흡수가 비정상이거나 또는, 맥박수가 비정상인 경우, 부상자의 이송 순위를 긴급으로 분류하고, ii) 부상자의 생체 신호를 측정하기 이전, 보행이 가능한 경우, 부상자의 이송 순위를 경미로 분류하고, iii) 부상자의 생체 신호를 포함하는 호흡수 및 맥박수가 정상인 경우, 부상자의 이송 순위를 지연으로 분류하고, iv) 부상자의 생체 신호를 포함하는 호흡수가 '0' 인 경우, 부상자의 이송 순위를 사망예상으로 분류할 수 있다.The processor according to an embodiment includes: i) when the respiratory rate including the injured person's bio-signal is abnormal or the pulse rate is abnormal, classifies the transfer order of the injured person as urgency, and ii) before measuring the injured person's bio-signal, If walking is possible, the injured person's transport rank is classified as minor, iii) the injured person's transport rank is classified as delayed when the respiratory rate and pulse rate including the injured person's vital signs are normal, and iv) the injured person's vital signs are included. If the number of breathing is '0', the order of transport of the injured can be classified as predicted death.
본 발명은 구조 로봇을 통해 부상자의 생체 신호로부터 재난 환경에서의 부상자의 상태를 진단함으로써, 구조된 부상자(생존자)의 수를 늘릴 수 있는 구조 로봇이 수행하는 부상자 분류 방법을 제공한다.The present invention provides a method for classifying injured persons performed by a rescue robot capable of increasing the number of rescued injured persons (survivors) by diagnosing the condition of the injured person in a disaster environment from a biometric signal of the injured person through a rescue robot.
본 발명은 재난 환경에 투입된 구조 로봇을 부상자의 상태를 진단할 수 있는 의료 전문가의 역할로 활용함으로써, 최대 다수의 최대 혜택을 제공할 수 있는 구조 로봇이 수행하는 부상자 분류 방법을 제공한다.The present invention provides a method for classifying the injured by the rescue robot that can provide the maximum number of maximum benefits by utilizing the rescue robot put into a disaster environment as a medical professional capable of diagnosing the condition of the injured person.
도 1은 본 발명의 일실시예에 따른 부상자를 분류하기 위한 전반적인 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 부상자의 보행 여부를 판단한기 위한 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 무접촉 상태에서의 부상자의 온도 변화를 측정하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 무접촉 상태에서의 부상자의 온도 변화에 따른 분당 호흡수를 측정하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 무접촉 상태에서의 부상자의 표면 동맥 영역에서의 온도 변화를 측정하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 무접촉 상태에서의 부상자의 온도 변화에 따른 분당 맥박수를 측정하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 접촉 상태에서의 부상자의 분당 호흡수 및 분단 맥박수를 측정하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 구조 로봇이 수행하는 부상자 분류 방법을 설명하기 위한 흐름도이다.1 is a view showing an overall configuration for classifying the injured according to an embodiment of the present invention.
2 is a view showing a configuration for determining whether the injured person walks according to an embodiment of the present invention.
3 is a diagram for measuring a temperature change of an injured person in a non-contact state according to an embodiment of the present invention.
Figure 4 is a view for measuring the number of breaths per minute according to the temperature change of the injured in a contactless state according to an embodiment of the present invention.
5 is a diagram for measuring a temperature change in a superficial artery region of an injured person in a non-contact state according to an embodiment of the present invention.
6 is a diagram for measuring a pulse rate per minute according to a temperature change of an injured person in a non-contact state according to an embodiment of the present invention.
7 is a view for measuring the respiratory rate per minute and the divided pulse rate of an injured person in a contact state according to an embodiment of the present invention.
8 is a flowchart illustrating a method of classifying an injured person performed by a rescue robot according to an embodiment of the present invention.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the rights of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents, or substitutes to the embodiments are included in the scope of the rights.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for illustrative purposes only and should not be interpreted as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the embodiments, the detailed description thereof will be omitted.
도 1은 본 발명의 일실시예에 따른 부상자를 분류하기 위한 전반적인 구성을 도시한 도면이다.1 is a view showing an overall configuration for classifying the injured according to an embodiment of the present invention.
도 1을 참고하면, 구조 로봇(101)은 구조자가 진입할 수 없는 화재, 재난 등이 발생한 사고 현장(102)에 진입하여, 사고 현장(102) 내 고립 또는, 부상을 당한 부상자를 구조할 수 있다. 이는 사고 현장(102)에 의한 시설을 복구하는 과정에서 투입된 인력 또는 위험에 노출됨에 따라 2차 사망 사고로 이어질 수 있 있기 때문이다. 이에, 구조 로봇(101)은 구조자를 대신하여 사고 현장(102)에 투입되고, 사고 현장(102)에 대응하기 위한 휴머노이드 로봇 형태로 구현될 수 있다. 일례로, 구조 로봇(101)은 휴머노이드 로봇 형태로써, 머리, 몸통, 팔, 다리 등의 사람의 신체와 유사한 모습을 갖춘 로봇일 수 있다.Referring to FIG. 1, the
사고 현장(102)에 투입된 이후, 구조 로봇(101)은 구조 로봇이 투입된 사고 현장 내 부상자가 존재하는지 여부를 확인할 수 있다. 구조 로봇(101)은 구조 로봇의 입출력 장치를 통한 사고 현장(102) 내 존재하는 부상자의 질의-응답 결과를 고려하여 부상자가 보행이 가능한지 여부를 확인할 수 있다.After being put into the
구조 로봇(101)은 부상자가 존재하면, 구조 로봇(101)의 입출력 장치를 이용하여 부상자가 보행이 가능한지 여부를 확인할 수 있다. 구조 로봇(101)은 부상자의 보행이 불가능한 경우, 구조 로봇(101)의 적외선 영상을 이용하여 보행이 불가능한 부상자의 생체 신호를 추출할 수 있다. 자세하게, 구조 로봇(101)은 구조 로봇(101)의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되는지를 고려하여 부상자의 생체 신호를 추출할 수 있다.If the injured person is present, the
구조 로봇(101)은 보행이 불가능한 부상자의 얼굴이 감지되면, 구조 로봇과 보행이 불가능한 부상자 간 무접촉 상태에서 보행이 불가능한 부상자의 호흡수 및 순환을 포함하는 생체 신호를 추출할 수 있다. 보다 자세한 구성은 도 3 내지 도 6을 통해 설명하도록 한다.When the face of the injured person who cannot walk is detected, the
구조 로봇(101)은 보행이 불가능한 부상자의 얼굴이 감지되지 않으면, 구조 로봇(101)과 보행이 불가능한 부상자 간 접촉 상태에서 보행이 불가능한 부상자의 호흡수 및 맥박수를 포함하는 생체 신호를 추출할 수 있다. 보다 자세한 구성은 도 7을 통해 설명하도록 한다.If the face of the injured person who cannot walk is not detected, the
구조 로봇(101)은 보행이 불가능한 부상자의 생체 신호를 분석하여 보행이 불가능한 부상자의 부상 정도에 따라 이송 순위를 분류할 수 있다. 구조 로봇(101)은 부상자의 이송 순위를 긴급, 지연, 경미, 사망 예상 순으로 분류할 수 있다. 자세하게, 구조 로봇(101)은 부상자의 생체 신호를 포함하는 호흡수가 비정상이거나 또는, 맥박수가 비정상인 경우, 부상자의 이송 순위를 긴급으로 분류할 수 있다. 구조 로봇(101)은 부상자의 생체 신호를 측정하기 이전, 보행이 가능한 경우, 부상자의 이송 순위를 경미로 분류할 수 있다. 구조 로봇(101)은 부상자의 생체 신호를 포함하는 호흡수 및 맥박수가 정상인 경우, 부상자의 이송 순위를 지연으로 분류할 수 있다. 구조 로봇(101)은 부상자의 생체 신호를 포함하는 호흡수가 '0' 인 경우, 부상자의 이송 순위를 사망예상으로 분류할 수 있다.The
이후, 구조 로봇(101)은 분류된 우선순위에 따라, 우선적으로 이송해야 하는 부상자를 사고 현장에서 구조할 수 있다. 본 발명은 구조 로봇(102)을 통해 부상자의 생체 신호로부터 재난 환경에서의 부상자의 상태를 진단함으로써, 구조된 부상자(생존자)의 수를 늘릴 수 있다.Thereafter, the
도 2는 본 발명의 일실시예에 따른 부상자의 보행 여부를 판단한기 위한 구성을 도시한 도면이다.2 is a view showing a configuration for determining whether the injured person walks according to an embodiment of the present invention.
도 2를 참고하면, 구조 로봇은 사고 현장에 진입할 수 있다. 구조 로봇은 사고 현장에 진입한 상태에서, 사고 현장 내 부상자가 존재하는지 여부를 확인할 수 있다. 이 때, 사고 현장에는 화재, 재난 등에 의한 다수의 부상자가 존재할 수 있다.Referring to FIG. 2, the rescue robot may enter the accident site. When the rescue robot enters the accident site, it can check whether there are any injured persons in the accident site. At this time, there may be a large number of injured persons due to fire or disaster at the accident site.
구조 로봇은 생명이 위급한 부상자를 우선적으로 구조하기 위해, 사고 현장에 위치한 다수의 부상자 중 보행이 가능한 부상자가 존재하는지 여부를 확인할 수 있다. 구조 로봇은 부상자의 보행 여부를 확인하기 위해, 구조 로봇에 장착된 입출력 장치를 활용할 수 있다. 여기서, 입출력 장치는 구조 로봇과 부상자 또는, 원격 구조자 사이의 정보를 교환할 수 있는 장치의 집합일 수 있다. 일례로, 입출력 장치는 구조 로봇의 마이크, 스피커 등을 포함할 수 있다.The rescue robot can check whether there are any injured persons who can walk among the number of injured persons located at the accident site in order to give priority to the injured person in danger of life. The rescue robot can utilize the input/output device installed on the rescue robot to check whether the injured person is walking. Here, the input/output device may be a set of devices capable of exchanging information between a rescue robot and an injured person or a remote rescuer. As an example, the input/output device may include a microphone of a rescue robot, a speaker, and the like.
구조 로봇은 입출력 장치를 통해 부상자와 원격 구조자 간의 질의 응답을 통해 부상자의 보행 여부를 확인할 수 있다. 자세하게, 원격 구조자는 사고 현장의 외부에 위치하며, 구조 로봇을 통해 구출된 부상자의 상처를 치료할 수 있는 구조 요원 또는, 전문 의료인일 수 있다. 구조 로봇은 입출력 장치를 통해 부상자와 원격 구조자 간에 음성 신호를 송수신할 수 있다.The rescue robot can check whether the injured person is walking through a query response between the injured and a remote rescuer through an input/output device. In detail, the remote rescuer may be a rescuer or a medical professional who is located outside the accident site and can heal wounds of an injured person rescued through a rescue robot. The rescue robot can send and receive voice signals between the injured and remote rescuers through input and output devices.
일례로, 원격 구조자는 외부 컨트롤러를 통해 사고 현장에서 부상을 입은 부상자와의 대화를 시도할 수 있다. 구조 로봇은 원격 구조자로부터 입력된 음성 신호를 입력 장치를 통해 구조 현장에 존재하는 부상자에게 출력할 수 있다. 부상자는 구조 로봇의 출력 장치를 통해 출력된 음성 신호를 인지하고, 음성 신호의 질의에 응하여 답할 수 있다. 구조 로봇은 부상자로부터 입력된 음성 신호를 원격 구조자가 위치하는 외부 컨트롤러에 전송할 수 있다.For example, a remote rescuer could attempt a conversation with an injured injured person at the site of an accident through an external controller. The rescue robot can output a voice signal input from a remote rescuer to the injured person at the rescue site through an input device. The injured person recognizes the voice signal output through the output device of the rescue robot and can respond in response to a query of the voice signal. The rescue robot can transmit voice signals input from the injured to an external controller where the remote rescuer is located.
원격 구조자는 외부 컨트롤러를 통해 출력되는 부상자의 음성 신호를 확인할 수 있다. 원격 구조자는 부상자의 음성 신호로부터 부상자의 보행 여부를 판단할 수 있다. 원격 구조자는 외부 컨트롤러를 통해 부상자의 보행 여부에 대한 결과를 구조 로봇에게 전송할 수 있다. 구조 로봇은 외부 컨트롤러로부터 전송된 결과에 대응하여 부상자의 부상 정도를 결정할 수 있다.Remote rescuers can check the injured's voice signal output through an external controller. The remote rescuer can determine whether the victim is walking or not from the voice signal of the victim. The remote rescuer can transmit the result of whether the injured person is walking or not to the rescue robot through an external controller. The rescue robot can determine the degree of injury of the injured in response to the result transmitted from the external controller.
구조 로봇은 부상자가 보행이 가능한 것으로 판단되는 경우, 해당 부상자의 이송 순서를 경미로 분류할 수 있다. 도 2의 (a)를 살펴보면, 구조 로봇은 출력 장치를 통해 원격 구조자의 음성 신호인 '보행이 가능한가요?'라는 질의를 부상자에게 출력할 수 있다. 부상자는 원격 구조자의 질의에 따른 '네' 라고, 응답할 수 있다. 구조 로봇은 부상자의 응답을 외부 컨트롤러에 전송함으로써, 원격 구조자는 부상자의 응답에 따른 부상 정도를 판단할 수 있다.If it is determined that the injured person can walk, the rescue robot may classify the transfer order of the injured person as minor. Referring to (a) of FIG. 2, the rescue robot may output a query,'Is it possible to walk?', which is a voice signal of a remote rescuer, through an output device. The injured can respond with'yes' to the remote rescuer's query. The rescue robot transmits the injured person's response to an external controller, so that the remote rescuer can determine the degree of injury according to the injured person's response.
다시 말해, 원격 구조자는 부상자의 보행 가능 여부에 따른 긍정적인 대답에 대응하여, 해당 부상자의 부상 정도가 가볍다고 판단한 후, 이에 대한 결과를 외부 컨트롤러를 통해 구조 로봇에 전송할 수 있다. 여기서, 부상 정도가 가볍다는 것은 생명과 관련된 부상의 위험도가 낮다는 것을 의미한다. 구조 로봇은 외부 컨트롤러를 통해 전달된 결과에 따라, 해당 부상자의 이동 순위를 경미로 분류할 수 있다.In other words, in response to a positive answer according to whether the injured person can walk, the remote rescuer can determine that the injury degree of the injured person is light, and then transmit the result to the rescue robot through an external controller. Here, the lighter degree of injury means that the risk of life-related injury is low. The rescue robot can classify the injured person's movement rank as minor according to the result transmitted through the external controller.
반대로, 구조 로봇은 부상자가 보행이 불가능하다고 판단되는 경우, 부상자의 상태를 판단한기 위한 생체 신호를 추출할 수 있다. 도 2의 (b)를 살펴보면, 구조 로봇은 출력 장치를 통해 원격 구조자의 음성 신호인 '보행이 가능한가요?'라는 질의를 부상자에게 출력할 수 있다. 부상자는 원격 구조자의 질의에 따른 '아니요' 라고 응답하거나 또는 무응답할 수 있다. 구조 로봇은 부상자의 응답 또는, 무응답을 외부 컨트롤러에 전송함으로써, 원격 구조자는 부상자의 응답에 따른 부상 정도를 판단할 수 있다.Conversely, when it is determined that the injured person is unable to walk, the rescue robot may extract a bio-signal for determining the injured person's condition. Referring to (b) of FIG. 2, the rescue robot may output a query,'Is it possible to walk?', which is a voice signal of a remote rescuer, through an output device. The injured person may respond with a'no' or no response to a remote rescuer's query. The rescue robot transmits the injured person's response or non-response to the external controller, so that the remote rescuer can determine the degree of injury according to the injured person's response.
다시 말해, 원격 구조자는 부상자의 보행 가능 여부에 따른 부정적인 대답에 대응하여, 해당 부상자의 부상 정보가 무겁다고 판단한 후, 이에 대한 결과를 외부 컨트롤러를 통해 구조 로봇에 전송할 수 있다. 여기서, 부상 정도가 가볍다는 것은 생명과 관련된 부상의 위험도가 높다는 것을 의미한다. 구조 로봇은 외부 컨트롤러를 통해 전달된 결과에 따른 해당 부상자의 생체 신호를 추출하기 위한 단계를 수행할 수 있다.In other words, in response to a negative answer according to whether the injured person can walk, the remote rescuer may determine that the injury information of the injured person is heavy, and then transmit the result to the rescue robot through an external controller. Here, the lighter degree of injury means that the risk of life-related injury is high. The rescue robot may perform a step for extracting a bio-signal of the injured person according to the result transmitted through the external controller.
도 3은 본 발명의 일실시예에 따른 무접촉 상태에서 부상자의 온도 변화를 측정하기 위한 도면이다.3 is a diagram for measuring a temperature change of an injured person in a non-contact state according to an embodiment of the present invention.
도 3을 참고하면, 구조 로봇은 사고 현장 내 부상자가 존재하면, 구조 로봇의 입출력 장치를 이용하여 상기 부상자가 보행이 가능한지 여부를 확인할 수 있다. 구조 로봇은 부상자의 보행이 불가능한 경우, 무접촉 상태에서 부상자의 온도 변화를 측정할 수 있다. 구조 로봇은 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 생체 신호로, 부상자의 호흡수를 측정할 수 있다.Referring to FIG. 3, when the injured person exists in the accident site, the rescue robot may check whether the injured person can walk using the input/output device of the rescue robot. The rescue robot can measure the temperature change of the injured person in a non-contact state when walking of the injured person is impossible. The rescue robot can measure the respiration rate of the injured by using the infrared image of the rescue robot as a biometric signal of the injured person who cannot walk.
구조 로봇은 적외선 카메라 및 프로세서를 포함할 수 있다. 구조 로봇은 적외선 카메라로 수집한 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되는지 여부를 확인할 수 있다. 구조 로봇은 적외선 영상에서 부상자의 얼굴이 감지되면, 구조 로봇과 부상자 간에 무접촉한 상태에서 부상자의 호흡수를 측정할 수 있다. 여기서, 구조 로봇은 내장된 프로세서를 통해 부상자의 생체 신호로, 부상자의 호흡수를 결정할 수 있다.The rescue robot may include an infrared camera and a processor. The rescue robot can check whether the face of an injured person who cannot walk is detected using the infrared image of the rescue robot collected by the infrared camera. When the injured person's face is detected in an infrared image, the rescue robot can measure the injured's respiration rate without contact between the rescue robot and the injured person. Here, the rescue robot may determine the injured's respiration rate with the injured's bio-signals through the built-in processor.
도 3의 (a)를 살펴보면, 구조 로봇은 적외선 카메라를 이용하여 감지된 부상자의 얼굴의 호흡 영역을 포함하는 적외선 영상을 수집할 수 있다. 구조 로봇은 적외선 영상에 포함된 부상자의 얼굴을 구성하는 호흡 영역을 추출할 수 있다.Referring to (a) of FIG. 3, the rescue robot may collect an infrared image including a breathing area of the face of the injured person detected using an infrared camera. The rescue robot can extract the breathing area that constitutes the face of the injured person included in the infrared image.
도 3의 (b)를 살펴보면, 구조 로봇은 추출된 호흡 영역을 분할하고, 분할된 각 호흡 영역에서의 온도 변화에 따른 평균값을 측정할 수 있다. 즉, 구조 로봇은 적외선 영상에 포함된 부상자의 얼굴의 코, 입, 목 등의 얼굴 주위에서의 호흡 영역을 추출할 수 있다. 구조 로봇은 추출한 호흡 영역을 8 개의 세그먼트로 분할한 후, 분할된 세그먼트 각각의 온도 변화를 측정할 수 있다. 일례로, 구조 로봇은 부상자의 코의 끝을 8개의 세그먼트(C1 내지 C8)로 분할한 원으로 표시된 열 화상을 획득할 수 있다. 이후, 구조 로봇은 분할된 각 세그먼트에서의 호흡에 의한 온도 변화를 측정할 수 있다.Referring to (b) of FIG. 3, the rescue robot may divide the extracted breathing area and measure an average value according to temperature change in each divided breathing area. That is, the rescue robot can extract the breathing area around the face of the injured person's face included in the infrared image, such as the nose, mouth, and neck. The rescue robot can divide the extracted breathing area into 8 segments and then measure the temperature change of each segment. As an example, the rescue robot may acquire a thermal image represented by a circle by dividing the tip of the injured person's nose into eight segments C1 to C8. Then, the rescue robot can measure the temperature change due to breathing in each segmented segment.
그리고, 구조 로봇은 각 세그먼트의 온도 변화에 따른 평균값을 측정할 수 있다. 구조 로봇은 평균값으로부터 보행이 불가능한 부상자의 분당 호흡수를 측정할 수 있다.And, the rescue robot can measure the average value according to the temperature change of each segment. The rescue robot can measure the number of breaths per minute of an injured person who cannot walk from the average value.
도 4는 본 발명의 일실시예에 따른 무접촉 상태에서의 부상자의 온도 변화에 따른 분당 호흡수를 측정하기 위한 도면이다.Figure 4 is a view for measuring the number of breaths per minute according to the temperature change of the injured in a contactless state according to an embodiment of the present invention.
도 4의 그래프는 시간에 따른 부상자의 호흡 변화를 나타낸 그래프이다. 자세하게, 도 4의 그래프는 적외선 영상에 포함된 부상자의 얼굴을 구성하는 호흡 영역을 분할한 각 세그먼트에서의 호흡에 의한 온도 변화를 측정한 결과이다. 도 4의 그래프를 구성하는 각각 신호는 위에서부터 순차적으로 세그먼트 1 내지 세그먼트 8에서 측정된 부상자의 호흡 신호를 나타낼 수 있다.The graph of FIG. 4 is a graph showing a change in breathing of an injured person over time. In detail, the graph of FIG. 4 is a result of measuring a temperature change due to breathing in each segment divided into a breathing area constituting the face of the injured person included in the infrared image. Each signal constituting the graph of FIG. 4 may represent a breathing signal of an injured person sequentially measured in
도 5는 본 발명의 일실시예에 따른 무접촉 상태에서 부상자의 표면 동맥 영역에서의 온도 변화를 측정하기 위한 도면이다.5 is a view for measuring a temperature change in a superficial artery region of an injured person in a non-contact state according to an embodiment of the present invention.
도 5를 살펴보면, 구조 로봇은 사고 현장 내 부상자가 존재하면, 구조 로봇의 입출력 장치를 이용하여 부상자가 보행이 가능한지 여부를 확인할 수 있다. 구조 로봇은 부상자의 보행이 불가능한 경우, 무접촉 상태에서 부상자의 표면 동맥 영역에서의 온도 변화를 측정할 수 있다. 구조 로봇은 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 생체 신호로, 부상자의 맥박수를 측정할 수 있다.Referring to FIG. 5, when the injured person exists in the accident site, the rescue robot can check whether the injured person can walk using the input/output device of the rescue robot. The rescue robot can measure the temperature change in the superficial artery area of the injured person in a non-contact state when walking of the injured person is impossible. The rescue robot can measure the injured person's pulse rate by using the infrared image of the rescue robot as a bio-signal of the injured person who cannot walk.
구조 로봇은 적외선 카메라로 수집한 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되는지 여부를 확인할 수 있다. 구조 로봇은 적외선 영상에서 부상자의 얼굴이 감지되면, 구조 로봇과 부상자 간에 무접촉한 상태에서 부상자의 얼굴 피부의 혈류 흐름을 측정할 수 있다. 구조 로봇은 측정된 얼굴 피부의 혈류 흐름으로부터 부상자의 맥박수를 측정할 수 있다. 여기서, 구조 로봇은 내장된 프로세서를 통해 부상자의 생체 신호로, 부상자의 맥박수를 결정할 수 있다.The rescue robot can check whether the face of an injured person who cannot walk is detected using the infrared image of the rescue robot collected by the infrared camera. When the injured person's face is detected in the infrared image, the rescue robot can measure the blood flow of the injured person's facial skin in a non-contact state between the rescue robot and the injured person. The rescue robot can measure the injured person's pulse rate from the measured blood flow of the facial skin. Here, the rescue robot may determine the injured person's pulse rate using the injured person's bio-signals through the built-in processor.
도 5의 (a)를 살펴보면, 구조 로봇은 부상자의 얼굴 내 STA(Superficial Temporal Artery)등의 표면 동맥 영역을 포함하는 적외선 영상을 수집할 수 있다. 다시 말해, 구조 로봇은 적외선 카메라를 통해 STA의 열 화상에 관한 적외선 영상을 획득할 수 있다. 여기서, 표면 동맥 영역은 부상자의 동맥 펄스가 측정될 수 있는 위치를 의미할 수 있다. 일례로, 구조 로봇은 부상자의 이마 영역에서의 표면 동맥 영역을 포함하는 적외선 영상을 획득할 수 있다.Referring to FIG. 5A, the rescue robot may collect an infrared image including a superficial artery area such as an STA (Superficial Temporal Artery) within the face of the injured person. In other words, the rescue robot may acquire an infrared image of the thermal image of the STA through the infrared camera. Here, the superficial arterial region may mean a position at which an injured person's arterial pulse can be measured. For example, the rescue robot may acquire an infrared image including a superficial artery area in the forehead area of the injured person.
도 5의 (a)를 살펴보면, 구조 로봇에서 수집된 적외선 이미지는 부상자의 얼굴 내 표면 동맥 영역 뿐만 아니라, 안면 정맥(VEIN)을 포함할 수 있다. 자세하게, 적외선 이미지에는 표면 동맥 영역을 포함하는 전두엽과 안면 정맥이 명확하게 관찰되며, 서로 평행하게, 존재할 수 있다. STA는 굴곡을 따라 흐르며, 안면 정맥은 정맥의 흐름이 가파르게 흐르는 차이가 있다.Referring to FIG. 5A, the infrared image collected by the rescue robot may include a facial vein (VEIN) as well as a superficial artery area within the face of the injured person. In detail, in the infrared image, the frontal lobe and the facial vein including the superficial artery area are clearly observed, and may exist parallel to each other. The STA flows along the curve, and the facial vein differs in the steep flow of veins.
구조 로봇은 부상자의 표면 동맥 영역에서의 온도 변화에 따른 부상자의 분당 맥박수를 측정할 수 있다.The rescue robot can measure the injured person's pulse rate per minute according to the temperature change in the superficial artery area of the injured person.
도 6은 본 발명의 일실시예에 따른 접촉 상태에서의 부상자의 온도 변화에 따른 분당 맥박수를 측정하기 위한 도면이다.6 is a diagram for measuring a pulse rate per minute according to a temperature change of an injured person in a contact state according to an embodiment of the present invention.
도 6의 그래프는 시간 또는 진동수(frequency)에 따른 부상자의 맥박 변화를 나타낸 그래프이다. 자세하게, 도 6의 그래프는 적외선 영상에 포함된 부상자의 얼굴 내 얼굴 내 표면 동맥 영역에 의한 열 패턴으로부터 열 패턴의 온도 변화에 따른 부상자의 맥박 신호를 나타낼 수 있다.The graph of FIG. 6 is a graph showing a change in pulse rate of an injured person according to time or frequency. In detail, the graph of FIG. 6 may represent a pulse signal of an injured person according to a temperature change of a thermal pattern from a thermal pattern by a surface artery region within the face of the injured person included in the infrared image.
도 7은 본 발명의 일실시예에 따른 접촉 상태에서의 부상자의 분당 호흡수 및 분당 맥박수를 측정하기 위한 도면이다.7 is a view for measuring the breathing rate per minute and the pulse rate per minute of an injured person in a contact state according to an embodiment of the present invention.
도 7을 참고하면, 구조 로봇은 적외선 영상을 통해 부상자의 얼굴이 감지되지 않는 경우, 호흡 센서와 압력 센서를 이용하여 부상자의 생체 신호를 측정할 수 있다. 구조 로봇은 구조 로봇과 부상자가 접촉한 상태에서 부상자의 호흡수 및 맥박수를 포함하는 생체 신호를 측정할 수 있다. 구조 로봇의 호흡 센서 또는, 압력 센서는 부상자의 손가락, 귀, 손목, 팔꿈치 등에 접촉할 수 있다. 일례로, 구조 로봇은 접촉을 위한 구조 로봇의 팔이나 또한, 추가적으로 팔 등이 장착될 수 있으며, 팔 말단의 센서로 부상자의 팔목 등과 접촉하도록 한다.Referring to FIG. 7, when a face of an injured person is not detected through an infrared image, the rescue robot may measure a biosignal of the injured person using a breath sensor and a pressure sensor. The rescue robot may measure a vital signal including a respiratory rate and a pulse rate of the injured person while the rescue robot is in contact with the injured person. The breathing sensor or the pressure sensor of the rescue robot may contact the injured's fingers, ears, wrists, elbows, and the like. As an example, the rescue robot may be equipped with an arm of the rescue robot for contact or an additional arm, and the sensor at the end of the arm makes contact with the wrist of the injured person.
구조 로봇은 구조 로봇에 포함된 음파 센서를 이용한 부상자의 목의 호흡 소리를 측정하여 부상자의 호흡수를 측정할 수 있다. 구조 로봇은 음파 센서를 통해 일정 시간당 소비되는 부상자의 호흡에 의한 공기의 흐름을 측정할 수 있다. 자세하게, 구조 로봇은 공기 속도에 의해 생기는 음향을 감지하고, 이를 통해 부상자의 호흡에 의한 공기의 흐름을 감지함으로써, 부상자의 호흡수를 측정할 수 있다.The rescue robot can measure the breathing rate of the injured person by measuring the breathing sound of the injured person's neck using a sound wave sensor included in the rescue robot. The rescue robot can measure the air flow caused by the breathing of the injured person consumed per certain time through the sound wave sensor. In detail, the rescue robot detects the sound generated by the air velocity, and through this, detects the flow of air by the injured person's breath, thereby measuring the injured person's respiration rate.
또한, 구조 로봇은 구조 로봇에 포함된 압력 센서를 이용한 부상자의 움직임을 감지하여 부상자의 맥박수를 측정할 수 있다. 구조 로봇은 압력 센서를 통해 맥박을 측정하기 위해, 적외선 카메라를 이용할 수 있다. 구조 로봇은 적외선 카메라를 통해 부상자의 피부 표면의 혈류흐름을 측정하여 맥박을 분석할 수 있다. 구조 로봇은 피부 표면의 혈류 흐름에 따른 모세혈관 충만 시간까지 측정할 수 있다.In addition, the rescue robot may measure the injured person's pulse rate by detecting the movement of the injured person using a pressure sensor included in the rescue robot. The rescue robot can use an infrared camera to measure the pulse through a pressure sensor. The rescue robot can analyze the pulse by measuring the blood flow on the skin surface of the injured person through an infrared camera. The rescue robot can measure the capillary filling time according to the blood flow on the skin surface.
구조 로봇은 구조 로봇의 압력 센서와 보행이 불가능한 부상자의 피부가 접촉한 상태에서, 압력 센서의 전압을 결정할 수 있다. 구조 로봇은 상기 측정된 압력 센서의 전압의 변화를 판단하고, 전압의 변화에 따른 부상자의 맥박수를 획득할 수 있다. 여기서, 구조 로봇은 내장된 프로세서를 통해 부상자의 생체 신호로, 부상자의 호흡수 및 맥박수를 결정할 수 있다.The rescue robot may determine the voltage of the pressure sensor while the pressure sensor of the rescue robot and the skin of an injured person who cannot walk are in contact. The rescue robot may determine a change in voltage of the measured pressure sensor and obtain a pulse rate of the injured person according to the change in voltage. Here, the rescue robot may determine the injured's breathing rate and pulse rate with the injured's bio-signals through the built-in processor.
이때, 부상자의 얼굴이 감지 가능한 상태는 부상자의 원래 자세가 얼굴을 노출한 자세일 수도 있고, 부상자가 구두 명령에 의해 자세를 변경한 경우에 해당한다 얼굴이 감지되더라도 얼굴의 오염물질 의류 등으로 인해 맥박측정이 불가한 경우 접촉 방법으로 측정한다.At this time, the state in which the injured person's face can be detected may be that the injured person's original posture is a posture that exposes the face, or it corresponds to the case that the injured person has changed his posture by verbal command. If pulse measurement is not possible, measure by contact method.
도 7의 그래프는 압력 센서에 의한 다른 지점에서의 PZT 파형으로써, 순차적으로, 디지털 동맥 제쳐두고 손가락, 귀 앞쪽의 표재 측두엽 동맥, 팔꿈치 측면의 상완 동맥, 손목에 요골 동맥, 성전에서 측두 동맥에서 각각 측정된 결과를 나타낸다.The graph of FIG. 7 is a PZT waveform at different points by a pressure sensor, sequentially measured from a finger, a superficial temporal lobe artery in front of the ear, a brachial artery on the side of the elbow, a radial artery in the wrist, and a temporal artery in the temple. Shows the result.
도 8은 본 발명의 일실시예에 따른 구조 로봇이 수행하는 부상자 분류 방법을 설명하기 위한 흐름도이다.8 is a flowchart illustrating a method of classifying an injured person performed by a rescue robot according to an embodiment of the present invention.
단계(801)에서 구조 로봇은 구조 로봇이 투입된 사고 현장 내 부상자가 존재하는지 여부를 확인할 수 있다. 구조 로봇은 부상자가 존재하면, 구조 로봇의 입출력 장치를 이용하여 상기 부상자가 보행이 가능한지 여부를 확인할 수 있다. 구조 로봇은 구조 로봇의 입출력 장치를 통한 사고 현장 내 존재하는 부상자의 질의-응답 결과를 고려하여 부상자가 보행이 가능한지 여부를 확인할 수 있다.In
부상자가 보행이 가능한 경우(801: Yes), 구조 로봇은 부상자의 부상 정도가 경미한 것으로 결정할 수 있다.If the injured person is able to walk (801: Yes), the rescue robot can determine that the injured person has a minor injury.
단계(802)에서 구조 로봇은 부상자의 보행이 불가능한 경우, 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 생체 신호를 추출할 수 있다. 구조 로봇은 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되는지를 고려하여 부상자의 생체 신호를 추출할 수 있다.In
자세하게, 구조 로봇은 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되면, 구조 로봇과 보행이 불가능한 부상자 간 무접촉 상태에서 부상자의 생체 신호를 수집할 수 있다.In detail, when a face of an injured person who is unable to walk is detected using an infrared image of the rescue robot, the rescue robot may collect the injured's bio-signals in a non-contact state between the rescue robot and the injured person who cannot walk.
구조 로봇은 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되지 않으면, 구조 로봇과 보행이 불가능한 부상자 간 접촉 상태에서 부상자의 생체 신호를 수집할 수 있다.The rescue robot may collect biosignals of the injured in a state of contact between the rescue robot and the injured person who cannot walk if the face of the injured person who cannot walk is not detected using the infrared image of the rescue robot.
단계(803)에서 구조 로봇은 보행이 불가능한 부상자로부터 수집한 생체 신호를 분석할 수 있다. 구조 로봇은 보행이 불가능한 부상자의 부상 정도에 따라 이송 순위를 분류할 수 있다.In
보다 자세하게, 구조 로봇은 호흡수가 '0' 인 경우 부상자의 이송 순위를 '사망예상'으로 분류할 수 있다. 이때, 호흡수가 '0'은 (호흡수/min)=0 을 의미할 수 있으며, 사망예상으로 분류 시, 순환 정보는 고려하지 않을 수 있다.In more detail, the rescue robot can classify the transport order of the injured as'predicted death' when the respiratory rate is '0'. At this time, the respiratory rate '0' may mean (respiration rate/min) = 0, and when categorized as a death prediction, circulation information may not be considered.
구조 로봇은 부상자의 생체 신호를 포함하는 호흡수가 비정상이거나 또는, 맥박수가 비정상인 경우, 부상자의 이송 순위를 긴급으로 분류할 수 있다. 자세하게, 구조 로봇은 호흡수가 '0'인 상황을 제외하고, 1) 호흡이 비정상인 경우((호흡수/min)≤9 or (호흡수/min)≥30), 혹은 2) 맥박 상태가 비정상인 경우((맥박수/min)=0 and 모세혈관 충만시간(capillary refill time)>2sec)인 경우에 대응하여 부상자의 이송 순위를 '긴급'으로 분류할 수 있다The rescue robot may classify the injured person's transport priority as emergency when the respiratory rate including the injured person's biological signal is abnormal or the pulse rate is abnormal. In detail, the rescue robot has an abnormal respiration rate, except for situations where the respiratory rate is '0', 1) when the breathing is abnormal ((respiration rate/min)≤9 or (respiration rate/min)≥30), or 2) the pulse state is abnormal. In the case of ((pulse rate/min)=0 and capillary refill time>2sec), the transfer order of the injured can be classified as'emergency'.
단계(804)에서 구조 로봇은 부상자의 호흡 상태 및 맥박 상태가 정상인 경우, 호흡 상태 및 맥박 상태가 정상인 부상자의 의식 상태를 확인하여 부상자를 분류할 수 있다. 자세하게, 구조 로봇은 호흡 상태가 정상인 경우(9<(호흡수/min)<30) 및 맥박 상태가 정상인 경우((맥박수/min)≠and 모세혈관 충만시간≤2sec)인 경우에 대응하여 부상자의 의식 상태를 확인할 수 있다.In
구조 로봇은 부상자의 의식이 없는 경우, 해당 부상자의 이송 순위를 긴급으로 분류할 수 있다. 반대로, 구조 로봇은 부상자의 의식이 있는 경우, 해당 부상자의 이송 순위를 지연으로 분류할 수 있다.If the injured person is unconscious, the rescue robot can classify the injured person's transport rank as emergency. Conversely, if the injured person is conscious, the rescue robot can classify the transfer order of the injured person as delay.
여기서, 모세혈관 충만시간은 접촉 방식에서만 측정할 수 있다. 따라서, 접촉 방식에서는 맥박수와 모세혈관 충만시간 모두 고려하고, 무접촉 방식에서는 맥박수만 고려할 수 있다.Here, the capillary filling time can be measured only in the contact method. Therefore, in the contact method, both the pulse rate and the capillary filling time can be considered, and in the non-contact method, only the pulse rate can be considered.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments and claims and equivalents fall within the scope of the following claims.
Claims (15)
상기 구조 로봇이 투입된 사고 현장 내 부상자가 존재하는지 여부를 확인하는 단계;
상기 부상자가 존재하면, 구조 로봇의 입출력 장치를 이용하여 입출력 장치를 통해 출력된 원격 구조자의 음성 신호에 대응하는 구조 현장에 존재하는 부상자의 음성 신호를 수신하여 외부 컨트롤러를 통해 상기 수신한 부상자의 음성 신호를 전달하는 단계;
상기 외부 컨트롤러로부터 전달된 상기 부상자의 음성 신호에 따른 결과에 기반으로 상기 사고 현장 내 존재하는 부상자가 보행이 가능한지 여부를 확인하는 단계;
상기 부상자의 보행이 불가능한 경우, 적외선 카메라로 수집한 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴을 감지하는 단계;
상기 보행이 불가능한 부상자의 얼굴이 감지되면, 구조 로봇과 보행이 불가능한 부상자 간 무접촉 상태에서 적외선 영상을 수집하고, 상기 적외선 영상에 포함된 부상자의 얼굴을 구성하는 코, 입, 목 중 하나의 호흡 영역에서의 부상자의 분당 호흡수를 포함하는 생체 신호를 추출하는 단계;
상기 보행이 불가능한 부상자의 얼굴이 감지되지 않으면, 구조 로봇에 포함된 음파 센서를 이용한 부상자의 목의 호흡 소리를 측정하여 부상자의 호흡수를 검출하는 단계; 및
상기 보행이 불가능한 부상자의 생체 신호를 분석하여 보행이 불가능한 부상자의 부상 정도에 따라 이송 순위를 분류하는 단계
를 포함하고,
상기 생체 신호를 추출하는 단계는,
상기 적외선 영상을 이용하여 부상자의 호흡 영역을 복수의 세그먼트로 분할한 후, 분할된 호흡 영역의 복수의 세그먼트 각각에 대응하여 부상자의 호흡에 의한 온도 변화를 측정하고, 상기 측정된 온도 변화에 따른 평균값을 측정하여, 평균값으로부터 보행이 불가능한 부상자의 분당 호흡수를 측정하고,
상기 생체 신호를 검출하는 단계는,
상기 구조 로봇에 포함된 음파 센서를 통해 공기 속도에 의해 생기는 음향을 감지하여 일정 시간당 소비되는 부상자의 목의 호흡 소리를 측정하여 호흡에 의한 공기의 흐름을 감지함으로써, 부상자의 분당 호흡수를 검출하는 부상자 분류 방법.In the method for classifying the injured by the rescue robot,
Checking whether an injured person exists in the accident site where the rescue robot was put in;
If the injured person is present, the injured person's voice received through an external controller is received by receiving the voice signal of the injured person present at the rescue site corresponding to the voice signal of the remote rescuer output through the input/output device using the input/output device of the rescue robot. Passing a signal;
Checking whether the injured person present in the accident site is allowed to walk based on the result of the voice signal of the injured person transmitted from the external controller;
When the injured person is unable to walk, detecting a face of the injured person who cannot walk by using an infrared image of the rescue robot collected by an infrared camera;
When the face of the injured person who cannot walk is detected, infrared images are collected in a non-contact state between the rescue robot and the injured person who cannot walk, and breathing one of the nose, mouth and neck constituting the face of the injured person included in the infrared image Extracting a bio-signal including the number of breaths per minute of the injured person in the area;
If the face of the injured person who cannot walk is not detected, measuring the breathing sound of the injured person's neck using a sound wave sensor included in the rescue robot to detect the injured person's respiration rate; And
Analyzing the vital signs of the injured person who cannot walk and classifying the transport priority according to the injury degree of the injured person who cannot walk
Including,
The step of extracting the biological signal,
After dividing the breathing area of the injured person into a plurality of segments using the infrared image, the temperature change due to the breathing of the injured person is measured in correspondence with each of the plurality of segments of the divided breathing area, and the average value according to the measured temperature change And measure the breathing rate per minute of the injured person who cannot walk from the average value,
The step of detecting the biological signal,
By detecting the sound generated by the air velocity through the sound wave sensor included in the rescue robot, measuring the breathing sound of the injured person's neck consumed per a certain amount of time and detecting the flow of air by respiration, the number of respirations per minute of the injured person is detected. How to classify the injured.
상기 보행이 가능한지 여부를 확인하는 단계는,
상기 구조 로봇의 입출력 장치를 통한 사고 현장 내 존재하는 부상자의 질의-응답 결과를 고려하여 부상자가 보행이 가능한지 여부를 확인하는 부상자 분류 방법.The method of claim 1,
The step of checking whether the walking is possible,
A method for classifying the injured to determine whether or not the injured can walk in consideration of the question-response results of the injured in the accident site through the input/output device of the rescue robot.
상기 부상자의 생체 신호를 추출하는 단계는,
상기 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되는지를 고려하여 부상자의 생체 신호를 추출하는 부상자 분류 방법.The method of claim 1,
Extracting the biological signal of the injured person,
A method of classifying the injured by taking into account whether a face of the injured person who cannot walk is detected using the infrared image of the rescue robot.
상기 부상자의 생체 신호를 추출하는 단계는,
상기 감지된 부상자의 얼굴의 표면 동맥 영역을 포함하는 적외선 영상을 수집하는 단계;
상기 적외선 영상에 포함된 표면 동맥 영역에서의 온도를 측정하는 단계; 및
상기 측정된 온도의 변화에 따른 보행이 불가능한 부상자의 맥박수를 측정하는 단계
를 포함하는 부상자 분류 방법.The method of claim 1,
Extracting the biological signal of the injured person,
Collecting an infrared image including the detected superficial artery area of the injured person's face;
Measuring a temperature in a superficial artery region included in the infrared image; And
Measuring the pulse rate of the injured person unable to walk according to the measured temperature change
Injured classification method comprising a.
상기 부상자의 생체 신호를 추출하는 단계는,
상기 보행이 불가능한 부상자의 얼굴이 감지되지 않으면, 구조 로봇과 보행이 불가능한 부상자 간 접촉 상태에서 보행이 불가능한 부상자의 호흡수 및 맥박수를 포함하는 생체 신호를 추출하는 부상자 분류 방법.The method of claim 3,
Extracting the biological signal of the injured person,
If the face of the injured person who cannot walk is not detected, the injured person classification method extracts a bio-signal including the respiratory rate and the pulse rate of the injured person who cannot walk in a contact state between the rescue robot and the injured person who cannot walk.
상기 부상자의 생체 신호를 추출하는 단계는,
상기 구조 로봇의 압력 센서와 상기 보행이 불가능한 부상자의 피부가 접촉한 상태에서, 상기 압력 센서의 전압을 결정하는 단계; 및
상기 측정된 압력 센서의 전압의 변화를 판단하고, 전압의 변화에 따른 부상자의 맥박수를 획득하는 단계
를 포함하는 부상자 분류 방법.The method of claim 7,
Extracting the biological signal of the injured person,
Determining a voltage of the pressure sensor while the pressure sensor of the rescue robot and the skin of the injured person who cannot walk are in contact; And
Determining a change in voltage of the measured pressure sensor and obtaining a pulse rate of the injured person according to the change in voltage
Injured classification method comprising a.
상기 이송 순위를 분류하는 단계는
i) 부상자의 생체 신호를 포함하는 호흡수가 비정상이거나 또는, 맥박수가 비정상인 경우, 부상자의 이송 순위를 긴급으로 분류하고,
ii) 부상자의 생체 신호를 측정하기 이전, 보행이 가능한 경우, 부상자의 이송 순위를 경미로 분류하고,
iii) 부상자의 생체 신호를 포함하는 호흡수 및 맥박수가 정상인 경우, 부상자의 이송 순위를 지연으로 분류하고,
iv) 부상자의 생체 신호를 포함하는 호흡수가 '0' 인 경우, 부상자의 이송 순위를 사망예상으로 분류하는 부상자 분류 방법.The method of claim 1,
The step of classifying the transfer rank
i) If the respiratory rate including the vital signs of the injured person is abnormal or the pulse rate is abnormal, the transfer priority of the injured person is classified as emergency,
ii) Prior to measuring the injured's vital signs, if walking is possible, the injured person's transport rank is classified as minor,
iii) If the respiratory rate and pulse rate including the vital signs of the injured person are normal, the transfer order of the injured person is classified as delay,
iv) In case the respiratory rate including the injured person's vital signs is '0', the injured person's transport rank is classified as a predicted death method.
프로세서를 포함하고,
상기 프로세서는,
상기 구조 로봇이 투입된 사고 현장 내 부상자가 존재하는지 여부를 확인하고,
상기 부상자가 존재하면, 구조 로봇의 입출력 장치를 이용하여 입출력 장치를 통해 출력된 원격 구조자의 음성 신호에 대응하는 구조 현장에 존재하는 부상자의 음성 신호를 수신하여 외부 컨트롤러를 통해 상기 수신한 부상자의 음성 신호를 전달하고,
상기 외부 컨트롤러로부터 전달된 상기 부상자의 음성 신호에 따른 결과에 기반으로 상기 사고 현장 내 존재하는 부상자가 보행이 가능한지 여부를 확인하고,
상기 부상자의 보행이 불가능한 경우, 적외선 카메라로 수집한 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴을 감지하고,
상기 보행이 불가능한 부상자의 얼굴이 감지되면, 구조 로봇과 보행이 불가능한 부상자 간 무접촉 상태에서 적외선 영상을 수집하고, i) 상기 적외선 영상을 이용하여 적외선 영상에 포함된 부상자의 얼굴을 구성하는 코, 입, 목 중 하나의 호흡 영역을 복수의 세그먼트로 분할한 후, 분할된 호흡 영역의 복수의 세그먼트 각각에 대응하여 부상자의 호흡에 의한 온도 변화를 측정하고, 상기 측정된 온도 변화에 따른 평균값을 측정하여, 평균값으로부터 보행이 불가능한 부상자의 분당 호흡수를 측정하고 이를 포함하는 생체 신호를 추출하고,
상기 보행이 불가능한 부상자의 얼굴이 감지되지 않으면, 구조 로봇에 포함된 음파 센서를 통해 공기 속도에 의해 생기는 음향을 감지하여 일정 시간당 소비되는 부상자의 목의 호흡 소리를 측정하여 호흡에 의한 공기의 흐름을 감지함으로써, 부상자의 분당 호흡수를 포함하는 생체 신호를 검출하고,
상기 보행이 불가능한 부상자의 생체 신호를 분석하여 보행이 불가능한 부상자의 부상 정도에 따라 이송 순위를 분류하는 구조 로봇.In the rescue robot,
Including a processor,
The processor,
Check whether there is any injured in the accident site where the rescue robot was put into,
If the injured person is present, the injured person's voice received through an external controller is received by receiving the voice signal of the injured person present at the rescue site corresponding to the voice signal of the remote rescuer output through the input/output device using the input/output device of the rescue robot. Signal,
Based on the result of the voice signal of the injured person transmitted from the external controller, it is checked whether the injured person present in the accident site can walk,
When the injured person is unable to walk, the face of the injured person who cannot walk is detected using the infrared image of the rescue robot collected with an infrared camera,
When the face of the injured person who cannot walk is detected, infrared images are collected in a non-contact state between the rescue robot and the injured person who cannot walk, i) the nose constituting the face of the injured person included in the infrared image using the infrared image, After dividing one breathing area of the mouth and neck into a plurality of segments, the temperature change caused by the breathing of the injured person is measured corresponding to each of the plurality of segments of the divided breathing area, and the average value according to the measured temperature change is measured. Thus, from the average value, the number of respirations per minute of the injured person who cannot walk is measured, and a biosignal including this is extracted
If the face of the injured person who is unable to walk is not detected, the sound generated by the air velocity is sensed through the sound wave sensor included in the rescue robot, and the breathing sound of the injured person's neck consumed per a certain time is measured to measure the flow of air by breathing. By detecting, detecting a vital signal including the number of breaths per minute of the injured,
A rescue robot that analyzes the vital signs of the injured person who cannot walk and classifies the transfer order according to the injury degree of the injured person who cannot walk.
상기 프로세서는,
상기 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되면, 구조 로봇과 보행이 불가능한 부상자 간 무접촉 상태에서 부상자의 생체 신호를 수집하고,
상기 구조 로봇의 적외선 영상을 이용하여 보행이 불가능한 부상자의 얼굴이 감지되지 않으면, 구조 로봇과 보행이 불가능한 부상자 간 접촉 상태에서 부상자의 생체 신호를 수집하는 구조 로봇.The method of claim 10,
The processor,
When the face of the injured person who cannot walk is detected using the infrared image of the rescue robot, the bio-signals of the injured person are collected in a non-contact state between the rescue robot and the injured person who cannot walk,
If the face of the injured person who cannot walk is not detected using the infrared image of the rescue robot, the rescue robot collects the injured's bio-signals in a contact state between the rescue robot and the injured person who cannot walk.
상기 프로세서는,
상기 무접촉 상태에서 부상자의 생체 신호를 수집하는 경우, 감지된 부상자의 얼굴의 표면 동맥 영역을 포함하는 적외선 영상을 수집하고, 적외선 영상에 포함된 표면 동맥 영역에서의 온도를 측정하고, 상기 측정된 온도의 변화에 따른 보행이 불가능한 부상자의 맥박수를 측정하는 구조 로봇.The method of claim 11,
The processor,
In the case of collecting the vital signs of the injured person in the contactless state, an infrared image including a surface artery area of the detected injured person's face is collected, a temperature in a surface artery area included in the infrared image is measured, and the measured A rescue robot that measures the pulse rate of an injured person who cannot walk according to temperature changes.
상기 프로세서는,
상기 접촉 상태에서 부상자의 생체 신호를 수집하는 경우, 구조 로봇의 압력 센서와 상기 보행이 불가능한 부상자의 피부가 접촉한 상태에서, 상기 압력 센서의 전압을 결정하고, 상기 측정된 압력 센서의 전압의 변화를 판단하고, 전압의 변화에 따른 부상자의 맥박수를 획득하는 구조 로봇.The method of claim 11,
The processor,
In the case of collecting biosignals of the injured person in the contact state, in a state in which the pressure sensor of the rescue robot and the skin of the injured person who cannot walk, determine the voltage of the pressure sensor, and change the measured voltage of the pressure sensor A rescue robot that judges and obtains the injured person's pulse rate according to a change in voltage.
상기 프로세서는
i) 부상자의 생체 신호를 포함하는 호흡수가 비정상이거나 또는, 맥박수가 비정상인 경우, 부상자의 이송 순위를 긴급으로 분류하고,
ii) 부상자의 생체 신호를 측정하기 이전, 보행이 가능한 경우, 부상자의 이송 순위를 경미로 분류하고,
iii) 부상자의 생체 신호를 포함하는 호흡수 및 맥박수가 정상인 경우, 부상자의 이송 순위를 지연으로 분류하고,
iv) 부상자의 생체 신호를 포함하는 호흡수가 '0' 인 경우, 부상자의 이송 순위를 사망예상으로 분류하는 구조 로봇.The method of claim 10,
The processor is
i) If the respiratory rate including the vital signs of the injured person is abnormal or the pulse rate is abnormal, the transfer priority of the injured person is classified as emergency,
ii) Prior to measuring the injured's vital signs, if walking is possible, the injured person's transport rank is classified as minor,
iii) If the respiratory rate and pulse rate including the vital signs of the injured person are normal, the transfer order of the injured person is classified as delay,
iv) Rescue robot that classifies the injured person's transport rank as a predicted death when the number of breaths including the injured person's vital signs is '0'.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180129198A KR102204510B1 (en) | 2018-10-26 | 2018-10-26 | Casualties Classification Method, And Rescue Robots for Performing the Method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180129198A KR102204510B1 (en) | 2018-10-26 | 2018-10-26 | Casualties Classification Method, And Rescue Robots for Performing the Method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200047128A KR20200047128A (en) | 2020-05-07 |
| KR102204510B1 true KR102204510B1 (en) | 2021-01-19 |
Family
ID=70733906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180129198A Active KR102204510B1 (en) | 2018-10-26 | 2018-10-26 | Casualties Classification Method, And Rescue Robots for Performing the Method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102204510B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016072116A1 (en) * | 2014-11-07 | 2016-05-12 | ソニー株式会社 | Control system, control method, and storage medium |
| CN113139418B (en) * | 2020-12-07 | 2024-08-13 | 西安天和防务技术股份有限公司 | Rescue method, device and computer readable storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016165415A (en) * | 2015-03-10 | 2016-09-15 | 株式会社国際電気通信基礎技術研究所 | Biological information measurement device |
| KR101761314B1 (en) * | 2010-12-03 | 2017-07-26 | 삼성전자주식회사 | Vital signal measurement and control method thereof |
| KR101862545B1 (en) * | 2017-06-21 | 2018-05-30 | 동국대학교 산학협력단 | Method and system for providing rescue service using robot |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7761309B2 (en) * | 2002-03-22 | 2010-07-20 | Thinksharp, Inc. | Method and system of mass and multiple casualty triage |
| KR101413853B1 (en) * | 2012-06-20 | 2014-07-01 | 고려대학교 산학협력단 | Method and apparatus for measuring physiological signal usuing infrared image |
| KR101426750B1 (en) * | 2012-11-05 | 2014-08-05 | 주식회사 엘에스엘시스템즈 | System for mearsuring heart rate using thermal image |
-
2018
- 2018-10-26 KR KR1020180129198A patent/KR102204510B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101761314B1 (en) * | 2010-12-03 | 2017-07-26 | 삼성전자주식회사 | Vital signal measurement and control method thereof |
| JP2016165415A (en) * | 2015-03-10 | 2016-09-15 | 株式会社国際電気通信基礎技術研究所 | Biological information measurement device |
| KR101862545B1 (en) * | 2017-06-21 | 2018-05-30 | 동국대학교 산학협력단 | Method and system for providing rescue service using robot |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200047128A (en) | 2020-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3363351B1 (en) | System for detection of coronary artery disease in a person using a fusion approach | |
| US12064247B2 (en) | Human performance oxygen sensor | |
| Le et al. | Wireless wearable multisensory suite and real-time prediction of obstructive sleep apnea episodes | |
| Makhlouf et al. | Ambient assistance service for fall and heart problem detection | |
| US11706391B1 (en) | First responder monitoring system with distress detection | |
| KR102239557B1 (en) | Bio-signal analysis algorithm, system and method | |
| KR101879494B1 (en) | Terminal, wearable device, and method for monitoring emotional stability of user | |
| KR102204510B1 (en) | Casualties Classification Method, And Rescue Robots for Performing the Method | |
| CN117809207A8 (en) | Unmanned aerial vehicle non-contact type personnel heart rate and respiratory rate detection method and system | |
| KR20170133003A (en) | Wearable device and server for recognizing patient fall | |
| CN111245459A (en) | Wearable device, drowning monitoring method, electronic device, and storage medium | |
| Daley et al. | Machine learning models for the classification of sleep deprivation induced performance impairment during a psychomotor vigilance task using indices of eye and face tracking | |
| KR102158468B1 (en) | Real-time Emergency Rescue System Using Smart Bands That Provide Location Information | |
| KR102278548B1 (en) | Gesture-based disaster response device and method | |
| KR102749717B1 (en) | Sensor-based real-time behavior recognition early risk monitoring method and system | |
| WO2021222155A1 (en) | Human performance oxygen sensor | |
| KR102236630B1 (en) | System for recognizing scratch motion based on a wearable communications terminal and method therefor | |
| Ianculescu et al. | Improving the Elderly’s Fall Management through Innovative Personalized Remote Monitoring Solution | |
| CN114901130A (en) | Unobtrusive symptom monitoring for allergic asthma patients | |
| Ferrero et al. | Personal Assistance and Monitoring Devices Applications. | |
| Chang et al. | Towards robot-assisted mass-casualty triage | |
| Brokaw et al. | Pilot Medical Monitoring: State of the Science Review on Identification of Pilot Incapacitation | |
| EP3744245A1 (en) | Device and method for monitoring the respiratory rate of a subject | |
| NL2035659B1 (en) | Computer-implemented method and wearable device for detecting a cardiac arrest | |
| EP4292671A1 (en) | Methods, apparatuses, and systems for evaluating respiratory protective devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20181026 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200520 Patent event code: PE09021S01D |
|
| E90F | Notification of reason for final refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20201117 Patent event code: PE09021S02D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20210111 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20210113 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20210114 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20231215 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20241224 Start annual number: 5 End annual number: 5 |