KR102692725B1 - 로봇 제어 모델을 전환하기 위한 로봇 제어 장치, 로봇 제어 방법 및 로봇 시스템 - Google Patents

Abstract

본 개시의 일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 장치는, 로봇의 환경 또는 동작과 관련한 데이터를 측정하도록 구성된 적어도 하나의센서, 적어도 하나의 프로세서, 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함한다. 상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가, 기학습된 제어 모델에 포함된 제1 모델에 기초하여, 상기 로봇의 동작을 제어하고, 상기 적어도 하나의 센서로부터 획득한 제1 센싱 데이터 또는 상기 제1 모델에 기초한 상기 로봇의 동작의 완료 여부에 기초하여, 상기 제1 모델에 대응하는 지정된 전환 조건을 만족하는지 여부를 판단하고, 상기 판단 결과에 기초하여, 상기 로봇의 동작을 제어하는 상기 제1 모델을 상기 기학습된 제어 모델에 포함된 제2 모델로 전환하도록 구성된다.

Description

로봇 제어 모델을 전환하기 위한 로봇 제어 장치, 로봇 제어 방법 및 로봇 시스템 {ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD AND ROBOT SYSTEM FOR SWITCHING ROBOT CONTROL MODEL}

본 개시는, 로봇 제어 모델을 전환하기 위한 로봇 제어 장치, 로봇 제어 방법 및 로봇 시스템에 관한 것이다.

로봇 제어 기술은 산업 분야에서 최적화된 움직임 및 하드웨어에 특화된 제어 기술을 제공하지만, 지능적인 동작에 한계를 갖는다. 최근, 로봇 제어 기술에 딥러닝과 같은 인공지능 기술을 적용함으로써 로봇의 지능적인 동작이 구현 가능해지고 있지만, 하드웨어와 제한적으로 연동되거나, 또는 기술의 제약사항으로 속도가 최적화되기 어렵다.

본 개시의 일 목적은, 두 개 이상의 다른 로봇 제어 모델을 선택적으로 사용함으로써, 로봇의 사전에 프로그래밍된 동작과 지능적인 동작을 최적화하기 위함이다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

본 개시의 일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 장치는, 로봇의 환경 또는 동작과 관련한 데이터를 측정하도록 구성된 적어도 하나의 센서, 적어도 하나의 프로세서, 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함할 수 있다. 상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가, 기학습된 제어 모델에 포함된 제1 모델에 기초하여, 상기 로봇의 동작을 제어하고, 상기 적어도 하나의 센서로부터 획득한 제1 센싱 데이터 또는 상기 제1 모델에 기초한 상기 로봇의 동작의 완료 여부에 기초하여, 상기 제1 모델에 대응하는 지정된 전환 조건을 만족하는지 여부를 판단하고, 상기 판단 결과에 기초하여, 상기 로봇의 동작을 제어하는 상기 제1 모델을 상기 기학습된 제어 모델에 포함된 제2 모델로 전환하도록 구성될 수 있다.

본 개시의 일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 방법은, 기학습된 제어 모델에 포함된 제1 모델에 기초하여, 로봇의 동작을 제어하는 단계, 상기 로봇의 환경 또는 동작과 관련한 데이터를 측정하도록 구성된 적어도 하나의 센서로부터 획득한 제1 센싱 데이터 또는 상기 제1 모델에 기초한 상기 로봇의 동작의 완료 여부에 기초하여, 상기 제1 모델에 대응하는 지정된 전환 조건을 만족하는지 여부를 판단하는 단계, 상기 판단 결과에 기초하여, 상기 로봇의 동작을 제어하는 상기 제1 모델을 상기 기학습된 제어 모델에 포함된 제2 모델로 전환하는 단계를 포함할 수 있다.

본 개시의 일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 시스템은, 엔드 이펙터를 구비하는 로봇, 및 기학습된 제어 모델에 포함된 제1 모델에 기초하여 상기 로봇의 동작을 제어하고, 상기 로봇의 환경 또는 동작과 관련한 데이터를 측정하도록 구성된 적어도 하나의 센서로부터 획득한 제1 센싱 데이터 또는 상기 제1 모델에 기초한 상기 로봇의 동작의 완료 여부에 기초하여 상기 제1 모델에 대응하는 지정된 전환 조건을 만족하는지 여부를 판단하고, 상기 판단 결과에 기초하여 상기 로봇의 동작을 제어하는 상기 제1 모델을 상기 기학습된 제어 모델에 포함된 제2 모델로 전환하도록 구성된 로봇 제어 장치를 포함할 수 있다.

본 개시의 일 실시예에 따르면, 다양한 환경에서 안정적이고 유연한 동작을 수행하도록 로봇을 제어할 수 있다.

또한, 본 개시의 일 실시예에 따르면, 기존의 단일 제어 모델 방식에 대비하여 로봇의 동작에 대한 효율성 및 성능을 향상할 수 있다.

도 1은, 본 개시의 일 실시예에 따른, 로봇 제어 모델을 전환하기 위한 로봇 시스템의 구성도를 도시한 것이다.
도 2는, 본 개시의 일 실시예에 따른, 로봇 제어 장치의 프로세서의 제어 구성도를 도시한 것이다.
도 3a 및 도 3b는, 본 개시의 일 실시예에 따른 제1 센서가 설치된 예시를 도시한 것이다.
도 4a 및 도 4b는, 본 개시의 일 실시예에 따른 제2 센서가 설치된 예시를 도시한 것이다.
도 5는, 본 개시의 일 실시예에 따른 제3 센서가 설치된 예시를 도시한 것이다.
도 6은, 본 개시의 일 실시예에 따른, 예측 모델의 학습 과정의 예시를 도시한 것이다.
도 7은, 본 개시의 일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 방법의 순서도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우 뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본원 명세서 전체에서 사용하는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용하는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본원 명세서 전체에서, 마쿠시 형식의 표현에 포함된 "이들의 조합(들)"의 용어는 마쿠시 형식의 표현에 기재된 구성 요소들로 이루어진 군에서 선택되는 하나 이상의 혼합 또는 조합을 의미하는 것으로서, 상기 구성 요소들로 이루어진 군에서 선택되는 하나 이상을 포함하는 것을 의미한다.

본원 명세서 전체에서, "A 및/또는 B"의 기재는 "A 또는 B, 또는 A 및 B"를 의미한다.

이하, 첨부된 도면을 참조하여 본원의 구현예 및 실시예를 상세히 설명한다. 그러나, 본원이 이러한 구현예 및 실시예와 도면에 제한되지 않을 수 있다.

도 1은, 본 개시의 일 실시예에 따른, 로봇 제어 모델을 전환하기 위한 로봇 시스템(100)의 구성도를 도시한 것이다.

도 1을 참조하면, 일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 시스템(100)은, 로봇(110) 및/또는 로봇 제어 장치(130)를 포함할 수 있다.

일 실시예에 따른 로봇(110)은, 특정 부품 또는 지면에 고정된 베이스(113), 베이스(113)에 이동 또는 회전 가능하게 결합된 엔드 이펙터(115, end effector), 및/또는 베이스(113)를 기준으로 엔드 이펙터(115)를 이동 또는 회전하도록 구동되는 구동 모듈(117)을 포함할 수 있다.

엔드 이펙터(115)는 고정된 베이스(113)를 기준으로 3축 방향으로 이동 가능하고, 3축 방향으로 회전 가능한 6 자유도(6-DoF)를 갖도록 베이스(113)에 결합될 수 있다. 구동 모듈(117)은 고정된 베이스(113)를 기준으로 엔드 이펙터(115)를 적어도 하나 이상의 방향으로 이동 또는 회전시키는 모터일 수 있다.

예를 들어, 엔드 이펙터(115)는 로봇(110)이 작업을 할 때 작업 대상에 직접 작용하는 기능을 가진 구성으로, 그리퍼, 용접 토치, 스프레이건 또는 너트 러너일 수 있고, 본 개시에서는 그리퍼를 예시로 설명하지만, 이에 한정되지 않는다.

일 실시예에 따른 로봇 제어 장치(130)는, 로봇(110)의 환경 또는 동작과 관련한 데이터를 측정하도록 구성된 적어도 하나의 센서(131, 133, 135), 적어도 하나의 프로세서(137), 및/또는 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리(139)를 포함할 수 있다.

적어도 하나의 센서(131, 133, 135)는 제1 센서(131), 제2 센서(133) 및/또는 제3 센서(135)를 포함할 수 있다. 적어도 하나의 센서(131, 133, 135)는 특정 위치(예: 로봇(110)의 베이스(113), 그라운드 또는 천장)에 고정되거나, 또는 엔드 이펙터(115)의 이동 또는 회전에 따라 함께 이동 또는 회전되도록 로봇(110)의 엔드 이펙터(115)에 고정될 수 있다.

프로세서(137)는, 예를 들어 소프트웨어(예: 프로그램)를 실행하여 프로세서(137)에 연결된 로봇 제어 장치(130)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(137)는 다른 구성요소로부터 수신된 명령 또는 데이터를 휘발성 메모리에 저장하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 일 실시예에 따르면, 프로세서(137)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있고, 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다.

보조 프로세서는, 예를 들어 메인 프로세서가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서를 대신하여, 또는 메인 프로세서가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서와 함께, 로봇 제어 장치(130)의 구성요소들 중 적어도 하나의 구성요소와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 로봇 제어 장치(130) 자체에서 수행될 수 있고, 별도의 서버를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.

메모리(139)는, 로봇 제어 장치(130)의 적어도 하나의 구성요소(예: 프로세서(137))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(139)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 프로그램은 메모리(139)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제, 미들웨어 또는 어플리케이션을 포함할 수 있다.

도 2는, 본 개시의 일 실시예에 따른, 로봇 제어 장치(130)의 프로세서(137)의 제어 구성도를 도시한 것이다.

도 2를 참조하면, 일 실시예에 따른, 로봇 제어 장치(130)(예: 프로세서(137))는 기학습된 제어 모델(230)에 포함된 제어 모델(223, 235, 237)을 전환하는 전환 모듈(210)을 포함할 수 있다.

일 실시예에 따른 로봇 제어 장치(130)는, 기학습된 제어 모델(230)에 포함된 제어 모델 A(233), 제어 모델 B(235) 및/또는 제어 모델 C(237) 중 어느 하나에 기초하여 로봇(110)의 동작을 제어할 수 있다.

기학습된 제어 모델(230)에는, 사전에 프로그래밍된 동작을 제어하는 룰베이스 제어 모델(예: 제어 모델 A(233)), 심층 모방 학습에 기초하여 기학습된 모방 제어 모델(예: 제어 모델 B(235)) 및/또는 강화 학습에 기초하여 기학습된 강화 학습 제어 모델(예: 제어 모델 C(237))이 포함될 수 있다.

예를 들어, 룰베이스 제어 모델은 사전에 프로그래밍된 움직임 최적화에 따라 매우 빠른 속도로 작업이 가능할 수 있다. 룰베이스 제어 모델은 상대적으로 간단한 작업만을 수행할 수 있고, 비정형 소재의 목표물은 다루기 어려울 수 있다.

예를 들어, 기학습된 모방 제어 모델 또는 기학습된 강화 학습 제어 모델은 실시간으로 로봇(110)의 움직임을 예측하고 제어함으로써, 상대적으로 복잡한 작업을 수행할 수 있고, 예를 들어 비정형 소재의 목표물을 다룰 수 있다. 다만, 기학습된 모방 제어 모델 또는 기학습된 강화 학습 제어 모델은 크고 빠른 움직임이 어렵고, 학습 환경이 제한적이어서 실제 환경에서는 제한적으로 사용될 수 있다.

전환 모듈(210)은, 적어도 하나의 센서(131, 133, 135)로부터 획득한 센싱 데이터(예: 제2 센싱 데이터)를 획득하고, 획득한 센싱 데이터에 기초하여, 기학습된 제어 모델(230)에 포함된 제어 모델(예: 제1 모델)을 선택할 수 있다.

예를 들어, 전환 모듈(210)은 적어도 하나의 센서(131, 133, 135)로부터 획득한 센싱 데이터에 기초하여, 로봇(110)의 엔드 이펙터(115)가 목표물로부터 지정된 거리 이상 이격되거나, 또는 특정 영역에 진입하기 이전인 경우, 기학습된 제어 모델(230)에 포함된 룰베이스 제어 모델을 선택하여 로봇(110)을 제어할 수 있다. 예를 들어, 전환 모듈(210)은 적어도 하나의 센서(131, 133, 135)로부터 획득한 센싱 데이터에 기초하여, 로봇(110)의 엔드 이펙터(115)가 목표물로부터 지정된 거리 이내로 근접되거나, 특정 영역에 진입하거나, 또는 목표물에 접촉된 경우, 기학습된 모방 제어 모델 또는 기학습된 강화 학습 제어 모델을 선택하여 로봇(110)을 제어할 수 있다.

일 실시예에 따른 전환 모듈(210)은, 기학습된 제어 모델(230)에 포함된 제어 모델들(233, 235, 237) 사이에서, 로봇(110)의 동작을 제어하는 모델을 다른 모델로 전환할 수 있다. 전환 모듈(210)은, 적어도 하나의 센서(131, 133, 135)로부터 획득한 센싱 데이터 또는 제어 모델에 기초한 로봇(110)의 동작의 완료 여부에 기초하여, 제어 모델에 대응하는 지정된 전환 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 지정된 전환 조건은 로봇(110)의 동작을 제어하는 제어 모델에 대응하여 지정될 수 있다.

예를 들어, 전환 모듈(210)은 적어도 하나의 센서(131, 133, 135)로부터 획득한 센싱 데이터에 기초하여, 로봇(110)의 엔드 이펙터(115)가 목표물로부터 지정된 거리 이내로 근접되거나, 특정 영역에 진입하거나, 또는 목표물에 접촉된 경우에 지정된 전환 조건을 만족한 것으로 판단할 수 있다.

전환 모듈(210)은 제어 모델에 기초한 로봇(110)의 동작의 완료 여부에 기초하여, 제어 모델에 기초한 로봇(110)의 동작이 완료된 경우(예: 동작 완료 신호 발생시)에 지정된 전환 조건을 만족한 것으로 판단할 수 있다.

도 3a 및 도 3b는, 본 개시의 일 실시예에 따른 제1 센서(131)가 설치된 예시를 도시한 것이다.

도 3a 및 도 3b를 참조하면, 일 실시예에 따른 로봇 제어 장치(130)는 특정 위치에 고정되거나 또는 로봇(110)에 결합된 제1 센서(131)를 포함할 수 있다. 예를 들어, 제1 센서(131)는 2D 이미지 데이터 또는 3D 이미지 데이터를 획득하는 카메라 센서, 또는 목표물(O)과의 거리 또는 근접 여부를 감지하는 근접 센서(예: 레이더 센서, 라이다 센서, 초음파 센서 등)일 수 있다.

로봇 제어 장치(130)는 제1 센서(131)를 통하여, 로봇(110)과 목표물(O) 사이의 거리를 추정하고, 추정한 거리에 기초하여 지정된 전환 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 로봇 제어 장치(130)는 로봇(110)(예: 엔드 이펙터(115))와 목표물(O) 사이의 추정한 거리가 지정된 기준 거리 이내인 경우, 지정된 전환 조건을 만족한 것으로 판단할 수 있다. 예를 들어, 목표물(O)이 비정형 소재인 경우, 추정한 거리는 목표물(O)의 최대 높이를 갖는 지점으로부터 로봇(110) 사이의 거리로, 목표물(O)과 로봇(110) 사이의 최소 거리를 의미할 수 있다.

도 3a에 도시한 것과 같이, 제1 센서(131)는 로봇(110)의 엔드 이펙터(115)가 이동 또는 회전함에 따라 함께 이동 또는 회전되도록 로봇(110)에 결합될 수 있다. 예를 들어, 로봇(110)에 결합된 제1 센서(131)는 2차원 카메라이고, 촬영 영역 이내에 위치하는 목표물(O)의 크기(예: 픽셀 수)에 기초하여 목표물(O)과의 상대 거리에 관한 데이터를 획득할 수 있다. 예를 들어, 카메라 센서는 3차원 카메라이고, 촬영 영역 이내에 위치하는 목표물(O)과의 상대 거리에 관한 데이터를 획득할 수 있다.

도 3b에 도시한 것과 같이, 제1 센서(131)는 로봇(110)의 엔드 이펙터(115)의 이동 또는 회전과 무관하게 특정 위치에 고정될 수 있다. 제1 센서(131)는 로봇(110)의 엔드 이펙터(115) 및 목표물(O)을 함께 촬영하는 3차원 카메라이고, 로봇(110)의 엔드 이펙터(115)와 목표물(O) 사이의 거리에 관한 데이터를 획득할 수 있다.

도 4a 및 도 4b는, 본 개시의 일 실시예에 따른 제2 센서(133)가 설치된 예시를 도시한 것이다.

도 4a 및 도 4b를 참조하면, 일 실시예에 따른 로봇 제어 장치(130)는 특정 영역(F, 예: 작업대에 인접한 위치)을 향하도록 고정된 제2 센서(133)를 포함할 수 있다. 예를 들어, 제2 센서(133)는 특정 영역(F)에 대한 로봇(110)의 진입 여부를 감지하는 감지 센서(예: 스캐너, 적외선 센서 등)일 수 있다.

로봇 제어 장치(130)는 특정 영역(F)에 대한 로봇(110)의 진입 여부를 감지한 결과에 기초하여, 지정된 전환 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 로봇 제어 장치(130)는 로봇(110)(예: 엔드 이펙터(115))이 특정 영역(F)에 진입한 것으로 감지된 경우, 지정된 전환 조건을 만족한 것으로 판단할 수 있다.

도 5는, 본 개시의 일 실시예에 따른 제3 센서(135)가 설치된 예시를 도시한 것이다.

도 5를 참조하면, 일 실시예에 따른 로봇 제어 장치(130)는 로봇(110)의 엔드 이펙터(115)에 배치되는 제3 센서(135)를 포함할 수 있다. 예를 들어, 제3 센서(135)는 엔드 이펙터(115)의 접촉 데이터를 획득하는 힘 센서 또는 촉각 센서일 수 있다.

로봇 제어 장치(130)는 엔드 이펙터(115)의 접촉 데이터에 기초하여, 지정된 전환 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 로봇 제어 장치(130)는 힘 센서에서 지정된 세기 이상의 압력이 지정된 시간 이상 유지되는 경우 또는 촉각 센서의 접촉 프로파일(P)이 저장된 레퍼런스 프로파일과 유사한 경우, 지정된 전환 조건을 만족한 것으로 판단할 수 있다.

일 실시예에 따른 로봇 제어 장치(130)는, 지정된 전환 조건에 대응하는 파라미터의 기준값을 설정할 수 있다. 예를 들어, 파라미터는 로봇(110)과 목표물(O) 사이의 거리 또는 힘 센서의 압력이고, 기준값은 지정된 거리 또는 지정된 세기 등일 수 있다.

로봇 제어 장치(130)는 지정된 전환 조건에 대응하는 파라미터의 기준값에 대한 적어도 하나 이상의 후보값을 설정하고, 적어도 하나 이상의 후보값에 대응하는 로봇(110)의 제어 결과에 기초하여 기준값을 설정할 수 있다.

예를 들어, 로봇 제어 장치(130)는 최솟값(Xmin), 최댓값(Xmax), 탐색 횟수(n) 및/또는 일정 시간(t)을 입력 받고, 최솟값(Xmin)과 최댓값(Xmax) 사이의 범위를 탐색 횟수(n)으로 나누어 기준값에 대한 적어도 하나 이상의 후보값을 설정할 수 있다. 로봇 제어 장치(130)는 일정 시간(t)동안, 적어도 하나 이상의 후보값에 대응하여 로봇(110)의 동작을 제어할 수 있고, 적어도 하나 이상의 후보값에 대응하는 로봇(110)의 제어 결과에 기초하여 기준값을 설정할 수 있다. 예를 들어, 로봇 제어 장치(130)는 적어도 하나 이상의 후보값 중 로봇(110)의 동작에 대한 성공 횟수가 최대인 후보값을 기준값으로 설정할 수 있다.

다시 도 2를 참조하면, 일 실시예에 따른 전환 모듈(210)은, 지정된 전환 조건을 만족하는지 여부를 판단한 결과에 기초하여, 로봇(110)의 동작을 제어하는 제어 모델을 기학습된 제어 모델(230)에 포함된 다른 제어 모델(예: 제2 모델)로 전환할 수 있다.

도 6은, 본 개시의 일 실시예에 따른, 예측 모델(250)의 학습 과정의 예시를 도시한 것이다.

도 6을 참조하면, 일 실시예에 따른 로봇 제어 장치(130)는 기학습된 예측 모델(250) 및 센싱 데이터(예: 제1 센싱 데이터)에 기초하여, 기학습된 제어 모델(230)에서 적절한 제어 모델(예: 제2 모델)을 선택할 수 있다.

일 실시예로, 전환 모듈(210)은 지정된 전환 조건을 만족하는지 여부를 판단한 결과에 기초하여 로봇(110)의 동작을 제어하는 제어 모델 A(233)를 제어 모델 B(235)로 전환할 수 있고, 로봇 제어 장치(130)는 제어 모델 B(235)에 따른 로봇(110)의 제어 결과에 기초하여 예측 모델(250)을 학습시킬 수 있다. 예를 들어, 로봇 제어 장치(130)는 제어 모델 B(235)에 따른 로봇(110)의 제어 결과, 작업을 성공한 경우 성공 레이블을 생성하고, 작업을 실패한 경우 실패 레이블을 생성할 수 있다. 예측 모델(250)은 제어 모델 B(235)에 대응한 로봇(110)의 제어 결과를 학습할 수 있다.

일 실시예로, 기학습된 예측 모델(250)은, 센싱 데이터를 입력 받아, 기학습된 제어 모델(230) 중 적어도 일부에 대응하는 로봇(110)의 제어 결과를 출력하도록 딥러닝 학습된 것일 수 있다. 일 실시예로, 기학습된 예측 모델(250)은 입력 받은 센싱 데이터에 기초하여, 기학습된 제어 모델(230) 중 특정 모델에 대응하는 로봇(110)의 제어 결과를 예측하고, 예측 결과에 기초하여 적절한 제어 모델을 선택할 수 있다.

일 실시예로, 기학습된 예측 모델(250)은 로봇(110)의 제어 결과가 성공으로 예측되는 제어 모델이 복수 개인 경우, 복수 개의 제어 모델 중 상대적으로 빠르게 동작하는 제어 모델을 선택할 수 있다.

예를 들어, 기학습된 예측 모델(250)은 목표물(O)이 파지하기 용이한 상태인지 또는 파지하기 어려운 상태인지 판단함으로써, 기학습된 제어 모델(230)에서 적절한 제어 모델을 선택할 수 있다. 기학습된 예측 모델(250)은 목표물(O)이 파지하기 용이한 상태인 경우에는 룰베이스 제어 모델을 선택할 수 있고, 파지하기 어려운 상태인 경우에는 기학습된 모방 제어 모델 또는 기학습된 강화 학습 제어 모델을 선택할 수 있다.

따라서, 본 개시의 일 실시예에 따른 로봇 제어 장치(130)에 따르면, 룰베이스 제어 모델을 이용하여 목표물(O)까지 최대한 접근하도록 로봇(110)을 제어하고, 기학습된 모방 제어 모델 또는 기학습된 강화 학습 제어 모델을 이용하여 파지와 같은 복잡하고 세밀하게 동작하도록 로봇(110)을 제어하고, 이후에 다시 룰베이스 제어 모델을 이용하여 다음 동작을 수행하도록 로봇(110)을 제어할 수 있다.

도 7은, 본 개시의 일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 방법의 순서도(700)이다.

도 7을 참조하면, 일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 장치(130)는 동작 710에서, 적어도 하나의 센서(131, 133, 135)로부터 센싱 데이터를 획득할 수 있다.

일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 장치(130)는 동작 720에서, 센싱 데이터에 기초하여 기학습된 제어 모델(230)에서 제1 모델을 선택할 수 있다.

일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 장치(130)는 동작 730에서, 제1 모델에 기초하여 로봇(110)의 동작을 제어할 수 있다.

일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 장치(130)는 동작 740에서, 적어도 하나의 센서(131, 133, 135)로부터 획득한 센싱 데이터 또는 제1 모델에 기초한 로봇(110)의 동작의 완료 여부에 기초하여 제1 모델에 대응하는 지정된 전환 조건을 만족하는지 여부를 판단할 수 있다.

일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 장치(130)는, 제1 모델에 대응하는 지정된 전환 조건을 만족하는 것으로 판단한 경우(동작 740-예), 동작 750에서, 기학습된 예측 모델(250) 및 센싱 데이터에 기초하여, 기학습된 제어 모델(230)에서 제2 모델을 선택할 수 있다.

일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 장치(130)는, 제1 모델에 대응하는 지정된 전환 조건을 만족하지는 않는 것으로 판단한 경우(동작 740-아니오), 다시 동작 730에서, 제1 모델에 기초하여 로봇(110)의 동작을 제어할 수 있다.

일 실시예에 따른 로봇 제어 모델을 전환하기 위한 로봇 제어 장치(130)는 동작 760에서, 로봇(110)의 동작을 제어하는 제1 모델을 제2 모델로 전환할 수 있다.

상기 설명된 로봇 제어 모델을 전환하기 위한 로봇 제어 장치(130)에서 로봇 제어 모델을 전환하기 위한 로봇 제어 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어들을 포함하는 기록매체의 형태로도 구현될 수 있다. 또한, 상기 설명된 로봇 제어 모델을 전환하기 위한 로봇 제어 장치(130)에서 로봇 제어 모델을 전환하기 위한 로봇 제어 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.

컴퓨터 판독 가능 기록매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 기록매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

본원 명세서 내에 기재된 구성요소에 의해 실현되는 기능은 해당 기재된 기능을 실현하도록 프로그램된 범용 프로세서, 특정 용도 프로세서, 집적회로, ASICs(Application Specific Integrated Circuits), CPU(Central Processing Unit), 회로 및/또는 이들 조합을 포함하는 프로세싱 회로(processing circuitry)에서 구현되어도 된다. 프로세서는 트랜지스터나 기타 회로를 포함하며, 회로 또는 프로세싱 회로로 간주된다. 프로세서는 메모리에 저장된 프로그램을 실행하는 프로그램된 프로세서(programmed processor)여도 좋다.

본원 명세서에서, 회로, 부, 유닛, 수단은 기재된 기능을 실현하도록 프로그램된 하드웨어 또는 실행하는 하드웨어이다. 해당 하드웨어는 본원 명세서에 개시된 모든 하드웨어 또는 해당 기재된 기능을 실현하도록 프로그램되거나 실행하는 것으로 알려진 임의의 하드웨어라도 무방하다.

해당 하드웨어가 회로 타입이라고 간주되는 프로세서인 경우, 해당 회로, 해당 부, 수단 또는 유닛은 하드웨어와 해당 하드웨어 및 또는 프로세서를 구성하기 위해 이용되는 소프트웨어의 조합이다.

전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

1. 로봇 제어 모델을 전환하기 위한 로봇 제어 장치에 있어서,
   로봇의 환경 또는 동작과 관련한 데이터를 측정하도록 구성된 적어도 하나의 센서;
   적어도 하나의 프로세서; 및
   컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하고,
   상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가:
   룰베이스 제어 모델인 제1 모델에 기초하여, 상기 로봇의 동작을 제어하고,
   상기 적어도 하나의 센서로부터 획득한 제1 센싱 데이터 또는 상기 제1 모델에 기초한 상기 로봇의 동작의 완료 여부에 기초하여, 상기 제1 모델에 대응하는 지정된 전환 조건을 만족하는지 여부를 판단하고,
   상기 판단 결과에 기초하여, 상기 로봇의 동작을 제어하는 상기 제1 모델을 기학습된 제어 모델인 제2 모델로 전환하도록 구성되고,
   상기 기학습된 제어 모델은, 심층 모방 학습에 기초하여 기학습된 모방 제어 모델 및 강화 학습에 기초하여 기학습된 강화 학습 제어 모델 중 적어도 하나를 포함하는 것인,
   로봇 제어 장치.
2. 제 1 항에 있어서,
   상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가:
   상기 적어도 하나의 센서로부터, 제2 센싱 데이터를 획득하고,
   상기 제2 센싱 데이터에 기초하여, 상기 제1 모델을 선택하도록 구성된,
   로봇 제어 장치.
3. 제 1 항에 있어서,
   상기 적어도 하나의 센서는, 특정 위치에 고정되거나 상기 로봇에 결합된 카메라 센서 또는 근접 센서를 포함하고,
   상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가:
   상기 제1 모델에 대응하는 상기 지정된 전환 조건을 만족하는지 여부를 판단하는 동작의 적어도 일부로서,
   상기 카메라 센서 또는 상기 근접 센서를 통하여, 상기 로봇과 목표물 사이의 거리를 추정하고,
   상기 추정한 거리에 기초하여, 상기 지정된 전환 조건을 만족하는지 여부를 판단하도록 구성된,
   로봇 제어 장치.
4. 제 1 항에 있어서,
   상기 적어도 하나의 센서는, 특정 영역에 대한 상기 로봇의 진입 여부를 감지하는 감지 센서를 포함하고,
   상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가:
   상기 제1 모델에 대응하는 상기 지정된 전환 조건을 만족하는지 여부를 판단하는 동작의 적어도 일부로서,
   상기 감지 센서를 통하여, 상기 로봇이 상기 특정 영역에 진입하는지 여부를 감지하고,
   상기 감지 결과에 기초하여, 상기 지정된 전환 조건을 만족하는지 여부를 판단하도록 구성된,
   로봇 제어 장치.
5. 제 1 항에 있어서,
   상기 적어도 하나의 센서는, 상기 로봇의 엔드 이펙터에 배치되는 힘 센서 또는 촉각 센서를 포함하고,
   상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가:
   상기 제1 모델에 대응하는 상기 지정된 전환 조건을 만족하는지 여부를 판단하는 동작의 적어도 일부로서,
   상기 힘 센서 또는 상기 촉각 센서를 통하여, 상기 엔드 이펙터의 접촉 데이터를 획득하고,
   상기 획득한 접촉 데이터에 기초하여, 상기 지정된 전환 조건을 만족하는지 여부를 판단하도록 구성된,
   로봇 제어 장치.
6. 제 1 항에 있어서,
   상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가:
   상기 제1 모델에 대응하는 상기 지정된 전환 조건을 만족하는지 여부를 판단하는 동작의 적어도 일부로서, 상기 제1 모델에 기초한 상기 로봇의 동작이 완료된 경우, 상기 지정된 전환 조건을 만족하는 것으로 판단하도록 구성된,
   로봇 제어 장치.
7. 제 1 항에 있어서,
   상기 기학습된 제어 모델에는, 사전에 프로그래밍된 동작을 제어하는 룰베이스 제어 모델, 심층 모방 학습에 기초하여 기학습된 모방 제어 모델 또는 강화 학습에 기초하여 기학습된 강화 학습 제어 모델 중 적어도 하나 이상이 포함된,
   로봇 제어 장치.
8. 제 1 항에 있어서,
   상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가:
   상기 지정된 전환 조건에 대응하는 파라미터의 기준값에 대한 적어도 하나 이상의 후보값을 설정하고, 상기 적어도 하나 이상의 후보값에 대응하는 상기 로봇의 제어 결과에 기초하여 상기 기준값을 설정하도록 구성된,
   로봇 제어 장치.
9. 제 1 항에 있어서,
   상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가:
   기학습된 예측 모델 및 상기 제1 센싱 데이터에 기초하여, 상기 기학습된 제어 모델에서 상기 제2 모델을 선택하도록 구성되고,
   상기 기학습된 예측 모델은, 상기 기학습된 제어 모델 중 적어도 일부에 대응하는 상기 로봇의 제어 결과를 출력하도록 딥러닝 학습된 것인,
   로봇 제어 장치.
10. 제 9 항에 있어서,
    상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서를 통해 상기 로봇 제어 장치가:
    상기 기학습된 제어 모델에서 상기 제2 모델을 선택하는 동작의 적어도 일부로서,
    상기 기학습된 딥러닝 모델에 기초하여, 상기 기학습된 제어 모델에 포함된 사전에 프로그래밍된 동작을 제어하는 룰베이스 제어 모델에 대응하는 상기 제어 결과를 예측하고,
    상기 제어 결과에 기초하여, 상기 제2 모델을 선택하도록 구성된,
    로봇 제어 장치.
11. 로봇 제어 모델을 전환하기 위한 로봇 제어 방법에 있어서,
    룰베이스 제어 모델인 제1 모델에 기초하여, 로봇의 동작을 제어하는 단계;
    상기 로봇의 환경 또는 동작과 관련한 데이터를 측정하도록 구성된 적어도 하나의 센서로부터 획득한 제1 센싱 데이터 또는 상기 제1 모델에 기초한 상기 로봇의 동작의 완료 여부에 기초하여, 상기 제1 모델에 대응하는 지정된 전환 조건을 만족하는지 여부를 판단하는 단계;
    상기 판단 결과에 기초하여, 상기 로봇의 동작을 제어하는 상기 제1 모델을 기학습된 제어 모델인 제2 모델로 전환하는 단계를 포함하고,
    상기 기학습된 제어 모델은, 심층 모방 학습에 기초하여 기학습된 모방 제어 모델 및 강화 학습에 기초하여 기학습된 강화 학습 제어 모델 중 적어도 하나를 포함하는 것인,
    로봇 제어 방법.
12. 로봇 제어 모델을 전환하기 위한 로봇 시스템에 있어서,
    엔드 이펙터를 구비하는 로봇; 및
    룰베이스 제어 모델인 제1 모델에 기초하여 상기 로봇의 동작을 제어하고, 상기 로봇의 환경 또는 동작과 관련한 데이터를 측정하도록 구성된 적어도 하나의 센서로부터 획득한 제1 센싱 데이터 또는 상기 제1 모델에 기초한 상기 로봇의 동작의 완료 여부에 기초하여 상기 제1 모델에 대응하는 지정된 전환 조건을 만족하는지 여부를 판단하고, 상기 판단 결과에 기초하여 상기 로봇의 동작을 제어하는 상기 제1 모델을 기학습된 제어 모델인 제2 모델로 전환하도록 구성된 로봇 제어 장치를 포함하고,
    상기 기학습된 제어 모델은, 심층 모방 학습에 기초하여 기학습된 모방 제어 모델 및 강화 학습에 기초하여 기학습된 강화 학습 제어 모델 중 적어도 하나를 포함하는 것인,
    로봇 시스템.

Images