[go: up one dir, main page]

KR102206303B1 - 딥러닝을 이용한 상태 판별 및 자세 추정 시스템과 방법 - Google Patents

딥러닝을 이용한 상태 판별 및 자세 추정 시스템과 방법 Download PDF

Info

Publication number
KR102206303B1
KR102206303B1 KR1020190137873A KR20190137873A KR102206303B1 KR 102206303 B1 KR102206303 B1 KR 102206303B1 KR 1020190137873 A KR1020190137873 A KR 1020190137873A KR 20190137873 A KR20190137873 A KR 20190137873A KR 102206303 B1 KR102206303 B1 KR 102206303B1
Authority
KR
South Korea
Prior art keywords
camera
posture
transfer unit
state
transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190137873A
Other languages
English (en)
Inventor
이용구
이성재
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020190137873A priority Critical patent/KR102206303B1/ko
Application granted granted Critical
Publication of KR102206303B1 publication Critical patent/KR102206303B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

상태 판별 및 자세 추정 시스템 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 상태 판별 및 자세 추정 시스템에 있어서, 상기 대상물을 이송하는 제1 이송부와 상기 제1 이송부로부터 이송되는 대상물의 위치를 인식하고, 상기 대상물의 모든 면(面)에서의 상태와 상기 대상물의 자세를 인식하는 카메라와 상기 제1 이송부에 의해 이송되는 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키며, 상기 카메라가 상기 대상물의 모든 면(面)을 인식할 수 있도록 파지한 대상물을 제자리에서 회전시키는 로봇암 및 상기 카메라가 인식한 대상물의 위치로 이동하여 상기 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키도록 상기 로봇암을 제어하며, 딥러닝을 이용하여 상기 카메라가 인식한 정보를 토대로 상기 대상물의 등급을 분류하고 상기 대상물의 자세를 추정하는 제어부를 포함하는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템을 제공한다.

Description

딥러닝을 이용한 상태 판별 및 자세 추정 시스템과 방법{System and Method for Discriminating Status and Estimating Posture Using Deep Learning}
본 실시예는 딥러닝을 이용하여 대상물의 상태를 판별하고 대상물의 자세를 추정하여 적절히 배치하기 위한 시스템 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
종래에는 사과와 같은 과수나 기타 다양한 대상물들의 상태를 판별하고 분류하기 위해 다음과 같은 공정을 거쳤다.
예를 들어, 대상물이 사과인 것을 가정하면, 수확된 사과는 세척과정을 거친 후 크기나 무게를 기준으로 다양하게 분류되었다. 분류과정을 거친 각 사과들은 외상이 있는지, 분류된 사과가 사과와 유사한 이물질이 아닌지 또는 사과가 적절하게 분류되었는지 등 사과의 상태의 검수과정을 거치며, 이후 포장과정 등을 거쳐 판매된다.
이때, 세척과정을 거친 사과를 특정 기준으로 분류하는 과정은 이미 자동화가 되어 기계적으로 특정 기준에 따라 분류가 가능하였으나, 상태의 검수는 여전히 자동화가 진행되지 않아 수작업으로 일일이 진행하여야만 했다. 또한, 상태의 검수가 진행된 사과들을 각각 포장함에 있어, 사과들의 사과꼭지가 상방을 향하도록 배치된 채 포장되어야 사과의 손상을 최소화할 수 있기에, 포장과정의 전처리 과정으로서 사과의 자세를 일일이 특정 방향으로 배치하여야만 했다. 즉, 사과의 상태판단과 분류 및 사과의 자세 배치를 일일이 수작업으로 수행해왔기 때문에, 상당한 인력이 투입되거나 오랜 시간 동안 작업이 진행되어야 하여 사과(대상물)의 생산단가가 상당히 상승하는 문제가 있었다.
본 발명의 일 실시예는, 대상물의 상태를 판별, 등급 분류 및 대상물이 배치된 자세를 추정하여 정방향으로 배치하는 모든 과정을 자동화한 상태 판별 및 자세 추정 시스템과 방법을 제공하는 데 일 목적이 있다.
본 실시예의 일 측면에 의하면, 대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 상태 판별 및 자세 추정 시스템에 있어서, 상기 대상물을 이송하는 제1 이송부와 상기 제1 이송부로부터 이송되는 대상물의 위치를 인식하고, 상기 대상물의 모든 면(面)에서의 상태와 상기 대상물의 자세를 인식하는 카메라와 상기 제1 이송부에 의해 이송되는 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키며, 상기 카메라가 상기 대상물의 모든 면(面)을 인식할 수 있도록 파지한 대상물을 제자리에서 회전시키는 로봇암 및 상기 카메라가 인식한 대상물의 위치로 이동하여 상기 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키도록 상기 로봇암을 제어하며, 딥러닝을 이용하여 상기 카메라가 인식한 정보를 토대로 상기 대상물의 등급을 분류하고 상기 대상물의 자세를 추정하는 제어부를 포함하는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템을 제공한다.
본 실시예의 일 측면에 의하면, 상기 상태 판별시스템은 분류된 대상물을 이송하는 복수의 제2 이송부를 더 포함하는 것을 특징으로 한다.
본 실시예의 일 측면에 의하면, 상기 로봇암은 상기 제어부의 제어에 따라, 등급이 분류된 대상물을 등급에 따라 서로 다른 제2 이송부에 배치하는 것을 특징으로 한다.
본 실시예의 일 측면에 의하면, 상기 카메라는 기 설정된 각도의 시야각(Field of View)을 갖는 것을 특징으로 한다.
본 실시예의 일 측면에 의하면, 상기 시야각은 상기 제1 이송부와 상기 제2 이송부가 모두 보이는 각도인 것을 특징으로 한다.
본 실시예의 일 측면에 의하면, 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 방법에 있어서, 이송되는 대상물의 위치를 확인하는 과정과 확인된 대상물을 파지하여 기 설정된 거리 상에서 회전시키며, 상기 대상물의 모든 면(面)에서의 상태와 자세를 확인하는 과정과 확인된 대상물의 상태에 따라 등급을 분류하는 과정 및 상기 대상물의 등급과 자세를 고려하여 이송하는 과정을 포함하는 것을 특징으로 하는 상태 판별 및 등급 분류 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예의 일 측면에 따르면, 대상물의 상태를 판별하고 등급을 분류하며 대상물이 배치된 자세를 추정하여 정방향으로 배치하는데 필요한 모든 과정을 자동화함으로써, 인력 투입으로 인해 발생하는 비용을 최소화할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 판별 결과를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하는 방법을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.
도 1은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템(100)은 제1 이송부(110), 카메라(120), 로봇암(130), 제2 이송부(140, 144, 148), 제어부(미도시) 및 데이터베이스(미도시)를 포함한다.
제1 이송부(110)는 상태가 판별되어야 할 대상물(115)들을 로봇암이 파지할 수 있는 위치로 이송한다. 제1 이송부(110)로 세척과정 등을 거친 대상물(115)들이 유입되며, 제1 이송부(110)는 유입된 대상물(115)들을 로봇암(130)이 위치한 방향으로 이송한다. 제1 이송부(110)는 유입된 대상물(115)들을 일시에 모두 이송할 수도 있고, 유입되는 순서에 따라 차례로 이송할 수도 있다. 제1 이송부(110)는 예를 들어 컨베이어 밸트로 구현될 수 있으나 반드시 이에 한정되는 것은 아니고, 복수의 대상물(115)을 일시에 또는 순차적으로 이송할 수 있는 구성이면 어떠한 것으로 대체되어도 무방하다.
도 1에는 대상물(115)이 사과로 도시되어 있으나 반드시 이에 한정되는 것은 아니며, 다양한 과수나 품질 또는 크기 등 일정 기준에 따라 분류되는 모든 물체로 대체될 수 있다
카메라(120)는 기 설정된 시야각(FOV: Field of View)을 가져, 각 이송부로 이송되는 대상물과 로봇암(130)이 파지한 대상물을 인식한다.
카메라(120)는 RBG 카메라 등 대상물을 인식하는 카메라와 함께, 대상물과의 거리까지 파악하는 뎁스(Depth) 카메라를 포함한다. 이에, 카메라(120)는 대상물을 인식함과 함께 대상물 또는 대상물의 특정 위치까지의 거리도 파악할 수 있다.
카메라(120)는 기 설정된 시야각을 가져, 각 이송부로 이송되는 대상물을 인식한다. 카메라(120)는 제1 이송부(110)와 제2 이송부(140, 144, 148)를 모두 인식할 수 있는 시야각을 가져, 제1 이송부(110)에서 이송되어 오는 대상물, 로봇암(130)이 파지한 대상물 및 제2 이송부(140, 144, 148) 각각에 배치되어 이송될 대상물 모두를 인식한다.
카메라(120)는 제1 이송부(110)로부터 이송되어 오는 대상물들을 인식하여 배치된 대상물들의 좌표를 인식한다. 제1 이송부(110)로부터 이송되어 오는 대상물을 로봇암(130)이 파지하여야 하기 때문에, 로봇암(130)이 파지할 수 있도록 카메라(120)는 제1 이송부(110)로부터 이송되어 오는 대상물들 각각의 좌표를 인식하여 제어부(미도시)로 전달한다.
카메라(120)는 로봇암(130)이 파지하여 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 가져오는 대상물의 상태와 자세를 인식한다. 로봇암(130)이 제1 이송부(110)로부터 이송되어 오는 대상물을 파지한 후 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 가져올 경우, 카메라(120)는 로봇암(130)이 가져온 대상물의 상태를 정밀하게 인식한다. 여기서, 대상물의 상태란 원하는 대상물이거나 이물질인지 여부, 대상물의 크기 또는 표면에의 외상 유무 등 대상물의 품질에 영향을 주는 모든 것을 의미한다. 대상물의 자세란 대상물 내 기 설정된 부위가 위치한 면이 어느 방향을 향하고 있는지를 의미한다. 여기서, 기 설정된 부위는 대상물이 이송부 상이나 포장 과정에서 배치되어야 할 방향을 정하는데 중요한 기준이 되는 부위로서, 예를 들어, 대상물이 사과일 경우 기 설정된 부위는 사과 꼭지일 수 있다. 카메라(120)는 로봇암(130)이 파지하여 근접하게 가져온 대상물의 상태와 자세를 정밀하게 인식하고 이를 제어부(미도시)로 전달한다.
카메라(120)는 제2 이송부(140, 144, 148)에 배치된 대상물들을 인식한다. 제어부(미도시)는 카메라(120)가 정밀하게 인식한 대상물의 상태를 토대로 대상물을 분류하게 되며, 분류 결과에 따라 해당 대상물은 제2 이송부(140, 144, 148) 중 어느 하나로 배치되어 이송된다. 이때, 상태가 분류된 대상물이 제2 이송부 내 적절한 위치에 정확히 배치되어야, 기 배치된 다른 대상물들과의 충돌 또는 제2 이송부로부터의 이탈 등으로 인한 대상물의 파손이 방지될 수 있다. 카메라(120)는 제2 이송부(140, 144, 148)에 배치된 각 대상물들을 인식하여, 상태가 분류된 대상물이 배치될 위치를 인식한다. 예를 들어, 배치될 위치는 제2 이송부로부터 추락위험이 없으면서 다른 대상물들이 배치되지 않은 위치일 수 있다. 카메라(120)는 인식 결과를 제어부(미도시)로 전달한다.
로봇암(130)은 파지부(미도시)와 암(Arm, 미도시)을 포함하여, 제1 이송부(110)로부터 이송되어 오는 대상물(115)을 파지하고, 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송시키며, 분류 결과에 따라 대상물(115)을 적절한 제2 이송부 상으로 배치한다.
로봇암(130)은 대상물(115)을 파지하기 위한 파지부(미도시)와 파지부의 위치를 조정하는 암(미도시)을 포함한다.
파지부(미도시)는 대상물(115)을 파지하여 로봇암(130)이 대상물(115)을 특정 위치에서 원하는 위치로 이동시킬 때까지 대상물(115)의 이탈을 방지하는 구성이다. 파지부(미도시)는 대상물(115)을 움켜쥐는 구성 또는 대상물(115)을 흡입하는 구성 등 대상물(115)을 파손없이 고정시킬 수 있는 구성이면 어떠한 것으로 구현되어도 무방하다.
암(미도시)은 파지부(미도시)와 연결부(미도시)로 연결되어 파지부(미도시)의 위치를 조정한다. 암(미도시)은 다각도로 회전할 수 있는 피봇(미도시)을 포함하여 파지부(미도시)를 다양한 방향으로 회전시킨다. 예를 들어, 암(미도시)은 파지부(미도시)를 제1 이송부(110)로부터 카메라(120)로 또는 카메라(120)로부터 제2 이송부(140, 144, 148)로 회전시킬 수 있다. 또한, 암(미도시)은 관절(미도시)을 포함하거나 신축되어 파지부(미도시)의 위치를 이동시킬 수 있다. 예를 들어, 암(미도시)은 제1 이송부(110)에서 이송되는 대상물을 파지하기 위한 위치까지 파지부(미도시)를 이동시키거나, 파지부(미도시)를 제1 이송부(110)로부터 카메라(120) 방향으로 회전시킨 뒤 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치까지 이동시킬 수 있다.
파지부(미도시)와 암(미도시)을 연결하는 연결부(미도시), 역시, 모든 방향으로 회전하여 파지부(미도시)를 회전시킬 수 있다. 카메라(120)는 로봇암(130)에 의해 이동된 대상물(115)을 정밀하게 인식하기 위해, 대상물(115)의 모든 면(面)을 인식할 수 있어야 한다. 특히, 카메라(120)가 대상물(115)의 외상 유무와 대상물(115)의 기 설정된 부위가 어느 면에 위치하고 있는지를 판단하기 위해서는 필수적으로 대상물(115)의 모든 면을 인식하여야 한다. 이를 위해, 파지부(미도시)와 암(미도시)을 연결하는 연결부(미도시)는 피봇 형태로 구현되어, 모든 방향으로 회전하여 파지부(미도시)를 회전시킬 수 있다. 이에 따라, 파지부(미도시)에 의해 고정된 대상물 역시 모든 방향으로 회전하며, 카메라(120)로 모든 면을 노출할 수 있다.
로봇암(130)은 제1 이송부(110)로부터 이송되어 오는 대상물(115)을 파지하고, 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송한다. 카메라(120)는 제1 이송부(110)로부터 이송되어 오는 대상물을 인식할 수 있으나, 상대적으로 거리가 멀어 위치(좌표) 정도까지만 인식할 수 있으며 대상물의 상태와 자세까지 인식하기는 곤란하다. 로봇암(130)은 제어부(미도시)의 제어에 따라 제1 이송부(110)로부터 이송되어 오는 대상물(115)을 파지하고, 파지한 대상물을 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치까지 이송시킨다. 카메라(120)는 로봇암(130)의 전술한 동작으로 대상물의 모든 면을 정밀하게 인식할 수 있다. 로봇암(130)은 전술한 구성을 구비하기에, 파지한 대상물을 해당 위치로 이송할 수 있으며 대상물의 모든 면이 카메라(120)에 노출되도록 대상물을 회전시킬 수 있다.
로봇암(130)은 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송한 대상물을 분류 결과에 따라 적절한 제2 이송부 상으로 배치한다. 로봇암(130)은 대상물을 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이송한 후, 제어부(미도시)의 등급 분류가 완료되면 분류 결과에 따른 적절한 제2 이송부로 대상물을 이송한다. 제어부의 제어에 따라, 로봇암(130)은 분석된 대상물의 자세를 고려하여, 대상물이 자세(기 설정된 부위의 방향)가 적절한 자세를 가지며 제2 이송부 상에 배치되도록 한다.
제2 이송부(140, 144, 148)는 각 등급의 대상물을 이송한다. 제2 이송부(140, 144, 148)는 분류하고자 하는 등급의 개수만큼 복수 개가 구비될 수 있으며, 로봇암(130)으로부터 분류되어 이송되는 각 등급의 대상물을 특정 위치, 예를 들어, 대상물을 포장하기 위한 장소 또는 장치로 이송한다. 제2 이송부(140, 144, 148)는 제2 이송부 상에 대상물을 직접 안착시켜 이송할 수도 있고, 별도로 복수의 대상물을 수납하기 위한 물체를 안착시켜 대상물을 수납한 물체를 이송할 수도 있다.
제어부(미도시)는 상태 판별 및 자세 추정 시스템(100) 내 각 구성의 동작을 제어하며, 대상물의 상태를 판별하여 등급을 분류하고 대상물의 자세를 추정(분석)한다.
제어부(미도시)는 카메라(120)가 인식한 제1 이송부(110)로부터 이송되어 오는 대상물들을 토대로, 제1 이송부(110)와 로봇암(130)을 제어한다. 제어부(미도시)는 카메라(120)가 인식한 정보를 토대로, 제1 이송부(110)로부터 이송되어 오는 대상물들이 각각 상태 판별 및 자세 추정 시스템(100)에서 분류하고자 하는 대상물인지 또는 이물질인지 여부를 분석하고, 분류하고자 하는 대상물들만의 위치를 파악하여 로봇암(130)이 해당 대상물을 파지할 수 있도록 제어한다. 또한, 로봇암(130)의 동작 상태와 제1 이송부(110)로부터 이송되어 오는 대상물들의 개수를 고려하여, 제어부(미도시)는 제1 이송부(110)의 대상물의 이송을 정지하거나 동작시킨다.
제어부(미도시)는 카메라가 인식한 대상물의 정보를 토대로 딥러닝을 수행함으로써, 대상물의 상태를 판별하여 등급을 분류하고 대상물의 자세를 추정한다. 제어부(미도시)는 데이터베이스(미도시)에 저장된 대상물에 대한 수많은 데이터를 토대로 딥러닝을 수행하여, 로봇암(130)이 파지하여 카메라(120)가 인식한 대상물의 정보로부터 대상물의 상태와 자세를 판별한다. 제어부가 판별한 결과는 도 2에 도시되어 있다.
도 2는 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템의 판별 결과를 도시한 도면이다.
제어부(미도시)는 카메라가 인식한 대상물의 정보로부터 딥러닝을 수행하여, 대상물의 상태를 판별한다. 판별하는 대상물의 상태정보에는 대상물의 크기, 표면에 외상이 존재하는지 여부 및 찾고자 하는 기 설정된 부위가 대상물의 어느 면에 위치하고 있는지 여부를 판단한다. 여기서, 기 설정된 부위는 제2 이송부(140, 144, 148)를 이용하여 대상물을 이송함에 있어, 대상물이 배치되어야 할 방향을 정하는데 중요한 기준이 되는 부위일 수 있다. 예를 들어, 도 2에 도시된 것처럼 대상물(115)이 사과일 경우, 기 설정된 부위는 사과 꼭지(220)일 수 있다. 기 설정된 부위가 사과 꼭지(220)인 경우, 대상물은 해당 부위가 연직상방을 향하도록 배치되는 것이 바람직하다. 이러한 이유로 제어부(미도시)는 기 설정된 부위가 어느 면에 위치하고 있는지를 판단한다. 데이터베이스(미도시)에는 수많은 대상물과 그 대상물들의 기 설정된 부위에 관한 정보가 저장되어 있어, 제어부(미도시)는 이를 이용하여 딥러닝을 수행함으로써, 대상물의 전술한 정보를 획득할 수 있다.
도 2(a)를 참조하면, 제어부(미도시)는 카메라가 인식한 대상물(115)의 모든 면 중 일 면의 정보를 토대로, 딥러닝을 수행하여 대상물이 분류하고자 하는 대상물인지와 대상물의 크기를 판별한다. 판단 결과, 대상물이 분류하고자 하는 대상물인 경우, 제어부(미도시)는 카메라가 인식한 거리정보를 이용하여 대상물(115)의 크기정보를 분석한다. 제어부(미도시)는 대상물(115)의 최외곽부를 이은 직선으로 대상물(115)을 포함하는 블럭박스(210)를 생성하여 대상물(115)을 직관적으로 판별한다.
도 2(b)를 참조하면, 제어부(미도시)는 카메라가 인식한 대상물(115)의 모든 면 중 일 면의 정보를 토대로, 딥러닝을 수행하여 기 설정된 부위(220)가 어느 면에 위치하였는지를 판별한다. 제어부(미도시)는 기 설정된 부위(220)에 대해서도 역시 마찬가지로, 기 설정된 부위의 최외곽부를 포함하는 블럭박스(220)를 생성하여 기 설정된 부위(220)를 직관적으로 판별한다. 제어부(미도시)는 블럭박스(220)를 이용하여 간단하게 대상물(115)의 어느 면에 기 설정된 부위가 위치하고 있는지를 인식할 수 있고, 로봇암(130)이 대상물을 제2 이송부(140, 144, 148)로 배치할 때 대상물의 자세를 적절히 배치하도록(기 설정된 부위가 특정 방향을 향하도록) 제어할 수 있다.
도 2(c)를 참조하면, 제어부(미도시)는 카메라가 인식한 대상물(115)의 모든 면 중 일 면의 정보를 토대로, 딥러닝을 수행하여 표면에 외상이 발생한 부분(230)이 있는지와 있을 경우 어느 면에 있는지를 판별한다. 제어부(미도시)는 외상이 발생한 부분(230)에 대해서도 역시 마찬가지로, 외상이 발생한 부분의 최외곽부를 포함하는 블럭박스(230)를 생성하여 외상이 발생한 부분(230)을 직관적으로 인식한다.
다시 도 1을 참조하면, 제어부(미도시)는 판별한 정보를 토대로, 각 대상물의 등급을 분류한다. 예를 들어, 3가지 등급(이 경우, 제2 이송부도 3개로 구현될 수 있음)으로 대상물을 분류할 경우, 제어부(미도시)는 크기가 기준을 초과하고 표면에 외상도 없는 것들을 최상급으로, 크기가 기준치에 근접하였으며 표면에 외상이 없거나 아주 작은 외상만이 있는 것들을 중급으로, 크기가 기준치에 미치지 못하거나 아주 큰 외상이 있는 것들을 하급으로 분류할 수 있다.
제어부(미도시)는 분류된 등급에 따라 적절한 제2 이송부로 대상물을 이송하도록 로봇암(130)을 제어한다. 각 제2 이송부는 이송할 대상물의 등급이 정해져 있다. 따라서, 제어부(미도시)는 로봇암(130)을 제어하여 해당 대상물을 그것의 등급에 맞는 제2 이송부에 배치한다.
이때, 제어부(미도시)는 로봇암(130)을 제어하여 기 설정된 부위가 포함된 면이 적절한 방향을 향하도록 대상물을 회전시킨 후 제2 이송부에 배치한다. 전술한 예에서와 같이, 대상물이 사과이며 기 설정된 부위가 사과꼭지일 경우, 기 설정된 부위를 포함한 면이 연직상방을 향하도록 사과를 회전시킨 후 제2 이송부에 배치할 수 있다. 이러한 과정을 거치며, 상태 판별 및 자세 추정 시스템(100)은 대상물의 상태를 판별하여 자동으로 등급을 분류하는 것은 물론, 대상물이 배치되어야 할 방향(자세)까지 조정하여 배치할 수 있다.
또한, 제어부(미도시)는 제2 이송부(140, 144, 148) 각각에 배치되어 이송될 대상물을 토대로, 대상물이 배치될 제2 이송부 상의 위치를 분석한다. 각 제2 이송부 상에는 등급을 분류하여 배치할 대상물 외에 기 분류되어 배치된 다른 대상물들이 존재할 수 있다. 이에, 제어부(미도시)는 카메라(120)가 인식한 정보를 분석하여, 기 배치된 다른 대상물들과의 충돌이 발생하지 않거나 제2 이송부로부터의 이탈되지 않을 위치를 파악한다. 제어부(미도시)는 파악한 위치를 토대로 로봇암(130)을 제어하여, 선정된 제2 이송부 상의 해당 위치로 대상물을 배치하도록 한다.
데이터베이스(미도시)는 대상물(115)과 동종의 대상물의 상태에 관한 수많은 데이터를 저장한다. 데이터베이스(미도시)는 다양한 크기의 대상물, 대상물 내 기 설정된 부위 및 대상물 내 외상이 발생한 부분에 관한 데이터를 저장하여, 제어부(미도시)가 저장된 데이터를 토대로 딥러닝을 수행할 수 있도록 한다.
도 3은 본 발명의 일 실시예에 따른 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하는 방법을 도시한 순서도이다.
카메라(120)는 유입되는 대상물의 위치를 확인한다(S310).
로봇암(130)은 확인된 대상물을 파지하여 회전시키며, 제어부(미도시)는 대상물의 모든면에서의 상태와 자세를 확인한다(S320). 로봇암(130)은 확인된 대상물을 파지하여 카메라(120)로부터 기 설정된 거리만큼 떨어진 위치로 이동시켜, 카메라(120)에 대상물의 모든면에서의 상태와 자세를 확인시킨다. 제어부(미도시)는 카메라(120)가 인식한 정보를 토대로 대상물의 모든면에서의 상태와 자세를 확인한다.
제어부(미도시)는 확인된 대상물의 상태에 따라 등급을 분류한다(S330).
로봇암(130)은 대상물의 등급과 자세를 고려하여 적절한 제2 이송부에 배치한다(S340).
도 3에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 3에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 상태 판별 및 자세 추정 시스템
110: 제1 이송부
115: 대상물
120: 카메라
130: 로봇암
140, 144, 148: 제2 이송부
210: 블럭박스
220: 기 설정된 부위
230: 외상이 발생한 부분

Claims (6)

  1. 대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 상태 판별 및 자세 추정 시스템에 있어서,
    상기 대상물을 이송하는 제1 이송부;
    상기 제1 이송부로부터 이송되는 대상물의 위치를 인식하고, 상기 대상물의 모든 면(面)에서의 상태와 상기 대상물의 자세를 인식하는 카메라;
    상기 제1 이송부에 의해 이송되는 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키며, 상기 카메라가 상기 대상물의 모든 면(面)을 인식할 수 있도록 파지한 대상물을 제자리에서 회전시키는 로봇암;
    상기 카메라가 인식한 대상물의 위치로 이동하여 상기 대상물을 파지하여 상기 카메라로부터 기 설정된 거리만큼 떨어진 위치로 이동시키도록 상기 로봇암을 제어하며, 딥러닝을 이용하여 상기 카메라가 인식한 정보를 토대로 상기 대상물의 등급을 분류하고 상기 대상물의 자세를 추정하는 제어부; 및
    분류하고자 하는 등급의 개수만큼 복수 개가 구비되어, 상기 제어부에서 등급이 분류되어 이송되는 각 등급의 대상물을 해당 위치에 배치하여 이송하는 복수의 제2 이송부를 포함하되,
    상기 제어부는,
    상기 카메라가 인식한 거리 정보를 이용하여 대상물의 크기 정보를 분석하고, 대상물의 최외곽부를 이은 직선으로 대상물을 포함하는 블럭박스를 생성하여 기설정된 부위를 판별하고, 상기 판별된 기설정된 부위를 중심으로 대상물의 자세를 추정하여 상기 제2 이송부에 배치될 대상물의 자세를 제어하며, 상기 대상물의 모든 면에서의 상태 정보에 기초하여 대상물의 크기와 표면 외상을 포함한 대상물의 품질에 관련된 대상물의 등급을 분류하는 것을 포함하는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 로봇암은,
    상기 제어부의 제어에 따라, 등급이 분류된 대상물을 등급에 따라 서로 다른 제2 이송부에 배치하는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.
  4. 제1항에 있어서,
    상기 카메라는,
    기 설정된 각도의 시야각(Field of View)을 갖는 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.
  5. 제4항에 있어서,
    상기 시야각은,
    상기 제1 이송부와 상기 제2 이송부가 모두 보이는 각도인 것을 특징으로 하는 상태 판별 및 자세 추정 시스템.
  6. 상태 판별 및 자세 추정 시스템이 대상물의 상태를 판별하고 등급을 분류하며 자세를 추정하는 방법에 있어서,
    카메라를 이용하여 이송되는 대상물의 위치를 확인하는 과정;
    확인된 대상물을 파지하여 기 설정된 거리 상에서 회전시키며, 상기 카메라가 인식한 대상물의 모든 면(面)에서의 일면 정보를 토대로 기 설정된 부위를 포함한 대상물의 최외곽부를 연결한 블럭박스를 생성하고, 상기 블럭박스를 이용하여 대상물의 상태를 확인하고, 상기 블럭박스를 이용하여 기설정된 부위의 위치를 판별하여 대상물의 자세를 확인하는 과정;
    확인된 대상물의 상태에 따라 딥러닝을 수행하여 대상물의 크기와 표면 외상을 포함한 대상물의 품질에 관련된 대상물의 등급을 분류하는 과정; 및
    상기 대상물의 등급이 분류되면 각 등급의 대상물을 등급별 해당 위치에 배치하여 이송하기 위해 기설정된 부위를 중심으로 대상물이 배치되어야 할 방향을 결정하여 대상물의 자세를 제어하여 이송하는 과정
    을 포함하는 것을 특징으로 하는 상태 판별 및 등급 분류 방법.
KR1020190137873A 2019-10-31 2019-10-31 딥러닝을 이용한 상태 판별 및 자세 추정 시스템과 방법 Active KR102206303B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190137873A KR102206303B1 (ko) 2019-10-31 2019-10-31 딥러닝을 이용한 상태 판별 및 자세 추정 시스템과 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190137873A KR102206303B1 (ko) 2019-10-31 2019-10-31 딥러닝을 이용한 상태 판별 및 자세 추정 시스템과 방법

Publications (1)

Publication Number Publication Date
KR102206303B1 true KR102206303B1 (ko) 2021-01-22

Family

ID=74309824

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190137873A Active KR102206303B1 (ko) 2019-10-31 2019-10-31 딥러닝을 이용한 상태 판별 및 자세 추정 시스템과 방법

Country Status (1)

Country Link
KR (1) KR102206303B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113524172A (zh) * 2021-05-27 2021-10-22 中国科学院深圳先进技术研究院 机器人及其物品抓取方法、计算机可读存储介质
CN115092716A (zh) * 2022-07-11 2022-09-23 合肥美亚光电技术股份有限公司 输送装置及分选设备
WO2023054819A1 (ko) * 2021-09-28 2023-04-06 이현 바코드 자동 스캔을 이용한 상품 계산 장치
KR20240032205A (ko) * 2022-08-30 2024-03-12 한국로봇융합연구원 굴 자동 분류 로봇 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080075730A (ko) * 2007-02-13 2008-08-19 한국과학기술연구원 물체인식을 바탕으로 한 로봇의 자기위치 추정 방법
WO2018087546A1 (en) * 2016-11-08 2018-05-17 Dogtooth Technologies Limited A robotic fruit picking system
KR20180107391A (ko) * 2017-03-20 2018-10-02 전자부품연구원 학습 기반 물류 자동화 시스템, 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080075730A (ko) * 2007-02-13 2008-08-19 한국과학기술연구원 물체인식을 바탕으로 한 로봇의 자기위치 추정 방법
WO2018087546A1 (en) * 2016-11-08 2018-05-17 Dogtooth Technologies Limited A robotic fruit picking system
KR20180107391A (ko) * 2017-03-20 2018-10-02 전자부품연구원 학습 기반 물류 자동화 시스템, 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113524172A (zh) * 2021-05-27 2021-10-22 中国科学院深圳先进技术研究院 机器人及其物品抓取方法、计算机可读存储介质
WO2023054819A1 (ko) * 2021-09-28 2023-04-06 이현 바코드 자동 스캔을 이용한 상품 계산 장치
CN115092716A (zh) * 2022-07-11 2022-09-23 合肥美亚光电技术股份有限公司 输送装置及分选设备
KR20240032205A (ko) * 2022-08-30 2024-03-12 한국로봇융합연구원 굴 자동 분류 로봇 시스템
KR102808651B1 (ko) 2022-08-30 2025-05-16 한국로봇융합연구원 굴 자동 분류 로봇 시스템

Similar Documents

Publication Publication Date Title
KR102206303B1 (ko) 딥러닝을 이용한 상태 판별 및 자세 추정 시스템과 방법
CN114585576B (zh) 协调多个机器人以满足工作流程并避免冲突
US11478923B2 (en) Systems and methods for processing objects including a zone gantry system
US10360531B1 (en) Robot implemented item manipulation
US10471597B1 (en) Adaptive perception for industrial robotic systems
US10822177B2 (en) Method and system for manipulating articles
US12280967B2 (en) Robotic tools and methods for operating the same
JP5558585B2 (ja) ワーク取り出し装置
CN113351522A (zh) 物品分拣方法、装置及系统
JP2019509559A (ja) センサ誘導式ロボットを用いたボックスの位置特定、分離、およびピッキング
US20230364787A1 (en) Automated handling systems and methods
US20250005518A1 (en) Surveillance system and methods for automated warehouses
JP2019501033A (ja) 異なる保管領域に置かれる部品から部品のバッチを構成するための方法および設備
TWM535875U (zh) 具影像辨識功能之自動化ic移載系統
US12172193B2 (en) System and method for quality control of wood pieces to be packaged
TWI626704B (zh) 具影像辨識功能之自動化ic移載系統及其移載方法
US11893718B2 (en) Image recognition method and image recognition device
US20250262773A1 (en) Item manipulation system and methods
CN118219279B (zh) 一种应用于水果产业机械臂的智能视觉方法及系统
US12350836B1 (en) Faceted finger for guided haptic feedback
CN114074077B (zh) 基于视觉识别的自动拣货方法及系统
CN111410045A (zh) 货箱搬运方法和装置
KR20250010844A (ko) 로봇 팔을 이용한 물체 이송 시스템
WO2017042760A1 (en) System for grain sorting
WO2023120306A1 (ja) 分類装置、分類方法、及び分類システム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191031

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20200707

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20191031

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200813

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201224

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210118

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210119

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20231221

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20250325

Start annual number: 5

End annual number: 5