KR101636903B1 - 움직임 감지 카메라를 포함하는 전자기기 및 움직임 감지에 따른 전자기기 동작 방법 - Google Patents

Abstract

본 발명에 따른 전자기기는 객체의 움직임 여부를 감지하는 저전력 센서와; 상기 저전력 센서로부터 객체의 움직임이 감지되면, 활성화되어 객체의 동작을 인식하는 카메라와; 상기 카메라에서 인식된 객체의 동작이 소정 조건을 만족하는 경우 기설정된 동작을 수행하는 동작부를 포함하고, 상기 저전력 센서의 소비 전력은 상기 카메라의 소비 전력보다 작은 것을 특징으로 할 수 있다. 이로 인해 저전력 센서를 이용하여 카메라의 전원을 제어함으로써, 저전력 센서가 움직임을 감지하였을 경우에만 카메라에 전원을 공급할 수 있는 전자기기 및 움직임 감지에 따른 전자기기 동작 방법이 제공된다.

Description

움직임 감지 카메라를 포함하는 전자기기 및 움직임 감지에 따른 전자기기 동작 방법{ELECTRONIC DEVICE INCLUDING MOTION SENSING CAMERA AND OPERATING METHOD ACCORDING TO MOTION SENSING}

본 발명은 전자기기 및 움직임 감지에 따른 전자기기 동작 방법에 관한 것으로서, 보다 상세하게는 움직임 감지 카메라를 포함하는 전자기기 및 움직임을 감지하는 움직임 감지 카메라를 포함하는 전자기기 동작 방법에 관한 것이다.

최근 물체의 동작을 인식하는 카메라들이 활발하게 개발되고 있으며, 이는 사용자들의 편의를 위한 스마트 정보가전 제품군의 시장 변화라고 볼 수 있다. 예를 들면 사용자의 제스쳐(Gesture) 인식 등의 움직임을 인식할 수 있는 카메라(일반 영상을 입력으로 하는 카메라 또는 카메라와 사물과의 거리를 입력으로 하는 깊이정보 카메라 등)가 스마트TV 또는 스마트 핸드폰 등에 포함될 수 있다. 카메라는 사용자 동작을 감지하여 그 동작패턴에 맞는 입력(예를들어 사용자의 제스쳐에 따라 채널 변경 또는 음량변경 등등)을 텔레비전에 전달하고, 텔레비전은 해당 동작 프로세스를 수행할 수 있다.

또한 최근 사물인터넷(Internet of Things)이라는 기술이 각광 받기 시작하고 있다. 이 기술은 사물에 센서나 데이터 취득이 가능한 구조의 인터넷을 연결한 기술으로써 2009년까지 사물인터넷 기술을 사용하는 사물의 개수가 9억 개 였으나 2020년까지 이 수가 260억 개에 이를 것으로 전망하여 관련 분야에서의 보다 효율적인 기술이 계속해서 요구 되고 있다. 그 중 사물인터넷의 3대 주요 기술 중 하나인 센싱기술에 따른 상용화에 가능한 부분에 대한 기술 역시 고려해야 할 부분이다. 또, 다른 예로는 물체의 깊이 정보를 얻을 수 있는 깊이 카메라를 이용하여 물체와 카메라와의 거리를 감지하여 관련 처리를 수행하는 장치 등이 존재할 수 있다

이러한 동작인지 카메라를 가진 장치 또는 정보가전기기들은 사물의 움직임에 따라서 해당 동작에 맞는 처리(Process)를 수행하게된다(예를 들어 사물의 동작에 따라서 채널을 변경하던지 등등). 그렇기 때문에 관련한 장치가 비활성화 되더라도 (System OFF), 해당 장치내의 움직임 또는 상태를 감지하기 위한 전자기기의 전원과 움직임에 따른 처리를 수행하는 알고리즘은 항상 활성화 되어서 처리를 수행하고 있어야만 한다 (System이 OFF되어 있다고 하더라도, 동작인지 카메라와 동작인지 프로세스관련 장치는 ON되어서 계속 해당 프로세스를 수행하고 있어야만 한다). 이렇게 부분적인 프로세스가 항상 활성화가 계속 되어있는 경우에는 해당 제품이 켜져 있지 않은 대기중의 상태에서도 대기 전력의 소모가 굉장히 클 수 밖에 없다.

전력의 공급에 비해 수요가 지나치게 많아지는 요즘 전기 요금의 인상 때문에 저전력 제품에 대한 소비자의 수요가 증가하고 있는 추세이다. 하지만 위에서 언급된 바와 같이, 동작 인식을 위하여 항상 카메라가 켜져 있는 경우, 대기전력이 매우 크게 되어 절전형 장치를 소비자에게 공급하는데 문제가 따른다.

본 발명은 스마트 정보가전 제품의 시스템이 꺼져 있는 대기 상태에 있는 경우에도, 실제로는 사물의 움직임 또는 그 상태를 감지하기 위한 용도로 동작을 하는 카메라 및 부분적인 장치(사물의 움직임 또는 존재 여부를 판단하는 프로세스를 항상 수행해야하는 장치)에 계속하여 전원을 공급해야만 하는 장치들의 대기 전력 소모를 최소화 하기 위한 방법을 제시한다.

본 발명의 일 실시예는 동작인지를 수행하는 장치에 저전력 센서(Wide-range 저전력 초음파 센서 또는 Wide-range 저전력 적외선 센서; 저전력 센서에서는 장치와 기기간의 정확한 거리 또는 정확한 동작 감지를 할 필요가 없음. 단지 사물의 나타남 또는 사라짐 등의 존재여부 과정만 탐지하면 됨)를 추가적으로 탑재하여 저전력 센서로 하여금, 사물이 대략적으로 나타나는 경우 또는 간략한 움직임을 감지하였을 경우에만 동작인지 카메라에 전원을 공급하여, 해당 동작인지 프로세스를 수행하도록 하는, 따라서 동작인지에 따른 대기전력 소모를 최소화 할 수 있는 전자기기 및 움직임 감지에 따른 절전형 전자기기 작동 방법을 제공한다.

본 발명의 일 실시예는 사물의 존재여부 및 움직임 또는 동작 감지를 하기 위한 카메라 및 해당 장치의 프로세스를 동작시키기 위하여 전자기기가 꺼져 있는 상태임에도 불구하고(전자기기 대기 상태), 동작인지를 위한 장치 및 프로세스를 위하여 전원이 항상 공급되어야만 하는 전자기기 장치에서, 저전력 센서를 사용하여 대기전력 소모를 최소화 하는 전자기기 및 움직임 감지에 따른 전자기기 동작 방법을 제공한다.

본 발명의 일 실시예인 전자기기는 사물의 존재여부 또는 움직임 여부(상세 움직임 또는 동작형태를 감지할 필요가 없음, 해당 상세 움직임은 동작인지 카메라가 활성화되어 해당 카메라가 인지하게 됨)를 감지하는 저전력 센서와; 상기 저전력 센서로부터 객체의 움직임이 감지되면, 활성화되어 객체의 동작을 인식하는 카메라와; 상기 카메라에서 인식된 객체의 동작이 소정의 정해진 조건을 만족하는 경우 해당 설정에 맞는 동작을 수행하는 동작부를 포함하고, 상기 저전력 센서의 소비 전력은 상기 카메라의 소비 전력보다 작을 수 있다.

상기 저전력 센서는 초음파 센서 또는 적외선 센서를 포함할 수 있다 (사물의 존재 여부 또는 대략적인 움직임에 대한 감지 여부를 결정하는 센서이므로, 저전력 Wide-range 초음파 센서 또는 적외선 센서가 적용될 수 있다).

상기 동작인지 카메라는 일반적인 컬러 또는 흑백 카메라 또는 사물의 깊이정보(Depth)를 출력하는 깊이정보 맵(Depth-map) 카메라를 포함할 수 있다 (예: 마이크로소프트 키넥트 카메라 등).

상기 깊이정보맵 카메라의 경우, 사물의 깊이정보 변화가 기설정된 조건과 일치 또는 유사한 것으로 판단되는 경우, 상기 해당 조건에 맞는 동작부를 활성화하기 위한 제어 신호를 출력할 수 있다. 이와 같은 동작원리는 컬러 또는 흑백 카메라와 같은 영상 센서뿐만 아니라 사물과 주위 환경으로부터 정보를 얻을 수 있는 물리적 센서를 포함하는 모듈에도 유사하게 적용 가능하다.

상기 저전력 센서로부터 사물의 움직임이 감지되면(정적인 배경에 동적인 사물이 나타나는 경우 또는 정적인 사물이 움직이는 경우: 일 예로서 가정용 스마트TV의 경우 정적인 배경 상태에서 움직이는 사물이 감지되는 경우), 상기 동작인지를 위한 카메라와 해당 인지 프로세를 수행하는 장치에 전원을 공급할 수 있다.

본 발명의 다른 실시 형태에 따른 저전력 센서 및 사물의 동작이나 상태를 인식하는 카메라 혹은 전자 센서를 포함하는 장치의 동작 방법은 상기 저전력 센서를 통하여 사물을 감지하는 단계와; 사물이 감지되면, 상기 카메라 및 전자 센서를 활용하여 객체의 동작 또는 상태를 인지하는 단계와; 인지된 동작의 상태에 적합한 기설정된 동작을 수행하는 단계를 포함한다.

본 발명에 따르면 사물의 움직임 또는 상태를 감지하기 위해 동작을 인식하는 카메라 혹은 센서에, 전체 시스템의 전원은 꺼져있음에도 불구하고 (대기전력 소모 상태), 계속하여 전원을 공급해야만 하는 스마트 정보가전 장치들의 대기전력 소모를 절전형으로 해결하기 위한 방법이 제시된다.

본 발명의 일 실시예에 따르면, 저전력 센서를 이용하여 카메라의 전원을 제어함으로써, 저전력 센서가 움직임을 감지하였을 경우에만 카메라에 전원을 공급할 수 있는 전자기기 및 움직임 감지에 따른 전자기기 동작 방법이 제공된다.

이로써, 본 발명은 항상 전원이 공급되는 카메라 때문에 대기 전력의 과도한 소모로 인하여 이러한 동작인지 기술이 용이하게 상용화되지 못하는 상태에서, 대기 전력을 줄임으로써 이러한 기술들의 제품화가 가능하게 할 수 있다. 본 발명의 일 실시예는 저전력 센서를 사용하여 대기전력 소모가 낮은 전자기기 및 움직임 감지에 따른 전자기기 동작 방법이 제공된다.

도 1은 사물(객체)을 감지하고 있는 카메라의 상태를 도시한 도면이다.
도 2는 사물(객체)이 존재하지 않는 경우에 동작하는 카메라의 상태를 도시한 도면이다.
도 3은 본 발명의 일 예에 따른 전자기기를 개략적으도 도시한 도면이다.
도 4는 본 발명의 일 예에 따라 사물(객체)을 감지하고 있는 저전력 센서를 도시한 도면이다.
도 5는 본 발명의 일 예에 따라 사물이 존재하지 않는 경우에 동작하는 저전력 센서를 도시한 도면이다.
도 6은 본 발명의 일 예에 따라 저전력 센서의 사물(객체) 감지 후 동작하는 카메라를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 저전력 센서를 이용한 동작 인식을 설명하기 위한 제어 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 저전력 센서를 이용하여 동작 인식을 수행하는 센싱 모듈의 제어 블록도이다.
도 9는 본 발명의 일 실시예에 따른 전자기기의 제어 블록도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

이하 본 발명에 대한 이해를 돕기 위해 움직임 감지 카메라에 대한 일 실시 예를 설명하였으며, 실제로 카메라 이외에도 이와 같은 원리를 이용하여 전력 소모를 줄이는 전자기기 역시 본 발명의 범위에 포함이 된다.

도 1은 객체를 인식하고 있는 카메라의 상태를 도시한 도면이고, 도 2는 객체가 존재하지 않는 경우에도 동작하는 카메라의 상태를 도시한 도면이다.

도 1 및 도 2에 도시된 바와 같이, 객체의 동작을 인지하기 위하여 객체를 인식하는 카메라와, 객체의 동작을 인지하는 동작 인식 프로세스가 결합되어 동작할 수 있다.

기존의 기술을 따르면 동작을 인지하는 카메라는 언제 나타날지 모르는 사물(객체)의 존재여부 또는 사물(객체)의 움직임 여부를 항상 판단해야 하기 때문에 전자기기의 대기 상태(사용자 입장에서는 전자기기 시스템이 꺼져있는 상태로 간주한다)에서도 카메라에 항상 전력이 공급되어야 한다. 또한 이와 동시에 카메라로부터 입력받은 정보를 이용하여 사물의 존재 여부 또는 사물의 움직임 여부 및 사물의 상세 동작 패턴을 인식하는 프로세스가 계속해서 활성화되어야만 한다.

하지만 카메라에 항상 객체가 인지되는 것은 아니며, 거의 대부분의 대기상태에서는 인지를 해야 할 사물(객체)이 없이 정적인 배경만 계속 유지되는 경우가 많다. 하지만 언제 사용자의 동작을 인지하여 동작인지 패턴과 관련된 작업을 수행 해야 할지 알 수 없는 전자기기의 입장에서는 계속해서 전력을 공급해 카메라 및 관련 프로세스의 기능 활성화를 항상 유지시킬 수 밖에 없다. 대부분의 경우 도 1이 아닌 도 2와 같은 경우와 같이 카메라와 함께 동작 인식 프로세스에, 시스템 입장에서는 절전 대기상태임에도 불구하고 전력을 소비하며 카메라의 기능을 유지하고 있다 (즉, 대기전력 소비가 상대적으로 매우 높다).

즉, 동작 인식이 가능한 카메라와 관련된 알고리즘을 처리를 하는 데에 소비되는 전력으로 인하여 카메라를 내장 또는 외장하여 포함하는 전자기기에서 필요 이상의 대기 전력 소모가 야기된다.

본 발명은 인간의 동작이나 움직임을 인지하여 해당 동작 패턴에 맞는 처리를 수행하는 스마트 정보가전 제품군의 경우, 동작인지 카메라와 함께 동작인지 프로세스가, 해당 시스템의 대기상태 (사용자 입장에서는 시스템 전원을 끈 상태)에도, 항상 동작하고 있어서(켜져있어서) 대기전력 소모가 매우 크게되는 것을 방지하기 위한 방법을 제공한다. 이를 위하여 본 발명은 초음파 센서와 같은 저전력 센서를 이용하여 초음파가 카메라 앞 사물(객체)의 존재여부(사물이 없다가 갑자기 나타남) 또는 대략적인 움직임을 항상 확인하고, 객체의 존재여부 또는 어느 정도 임계치 이상의 움직임 여부가 감지되었을 때만 동작인지 카메라 및 프로세스에 전원을 공급하여, 시스템 대기상태에서 카메라의 소비전력을 최대한 줄이기 위한 방법 및 장치를 제공한다.

따라서, 본 발명은 시스템 대기 상태에서 (대기전력 상태), 사물(객체)의 동작을 인지하는 카메라 및 관련 프로세스의 전력 소비를 줄이기 위한 방법으로서 초음파 센서와 같은 저전력 센서를 추가적으로 이용할 수 있다. 초음파 센서를 이용하여 동작을 인지하는 카메라의 전원을 제어하여 초음파 센서가 움직임을 감지 하였을 경우에 한정하여 카메라 및 관련 프로세스에 전원을 공급할 수 있다.

본 발명은, 인간의 동작이나 움직임을 인지하여 해당 동작 패턴에 맞는 처리를 수행하는 스마트 정보가전 제품군에서, 전체 시스템은 대기 상태(대기전력 상태)임에도 불구하고 동작인지 카메라와 관련 프로세스에 항상 전원을 공급하여 상황인지를 해야만 하는 전자기기에 대한 대기전력 소비를 감소시키는데 큰 효과가 있다.

도 3은 본 발명의 일 예에 따른 전자기기를 개략적으도 도시한 도면이다.

도 3에 도시된 바와 같이, 전자기기(1)는 저전력 센서(10)와 카메라 모듈(20)을 포함하고 있다. 전자기기(1)는 예를 들어 텔레비전이나 사물 인터넷(Internet of Things, IoT)과 같은 디바이스로 구현될 수 있다. 또는 전자기기는 대형 스크린, 옥외 광고판 또는 사물(객체), 특히 사람의 접근 또는 움직임에 대응하여 동작 여부가 결정되는 모든 전자제품을 포함할 수 있다.

저전력 센서(10)는 초음파 센서 또는 적외선 센서와 같이 사물(객체)의 나타남(appearance) 또는 사물(객체)의 대략적인 움직임을 인지할 수 있는 센서를 포함할 수 있으며, 카메라 모듈과 비교하여 상당히 적은 전력을 소모하는 저전력 제품으로 구현될 수 있다.

카메라 모듈(20)는 도 1 및 도 2와 같이 카메라와 함께 동작인지(또는 인식) 알고리즘이 동작하는 프로세스를 포함할 수 있다. 사물(객체)이 정적인 배경에서 갑자기 나타나거나, 사물(객체)이 이미 기 존재하는 상황에서 어느 정도 임계치 이상의 커다란 움직임이 있는 경우, 해당 변화가 저전력 센서(10)에서 감지되면 카메라모듈(20)과 동작인지 프로세스가 활성화 될 수 있다. 동작 인식 알고리즘은 카메라로부터 얻은 정보를 통해 동작을 인식하는 공지된 다양한 알고리즘을 포함할 수 있다.

본 발명에 따를 경우, 전자기기(1)에 내장 또는 외장되어 있는 저전력 센서(10)와 카메라 모듈(20)은 전자기기(1)에 사물(객체)이 나타났는지 여부 또는 이미 존재하는 정적인 사물(객체)에서 어느정도 임계치 이상의 움직임이 존재하는지 여부 등에 따라 각각 동작 여부가 달라 질 수 있다.

기존에 사용되던 동작 인식 텔레비전에서는 객체의 동작을 인식을 하기 위해 텔레비전의 전원이 꺼져 있는 대기 상태에 이르더라도 계속하여 카메라 및 동작 인식 알고리즘이 항상 작동 하고 있기 때문에 그 전력의 소모가 매우 컸다. 또는 대기전력을 줄이기 위하여, 동작인지 카메라 역시도, 절전 대기상태에서 끈 상태에서, 리모컨 등으로 텔레비젼이 활성화 된 후에야 비로서 동작인지 카메라와 해당 프로세스를 활성화 시키는 방법 등을 사용하였다 (즉, 리모컨 등으로 텔레비젼이 활성화 (시스템 ON) 되어서야 비로서 동작인지를 수행할 수 있는 카메라가 활성화된다).

도 3에서와 같이 본 발명의 저전력 센서(10)는, 전체 시스템이 절전대기 상태에서, 카메라의 인지(또는 인식) 범위(range) 내의 객체의 도래 또는 임계치 이상의 대략적인 움직임 등을 센싱하여 카메라 모듈(20)을 동작시킬 수 있다. 저전력 센서(10)가 만약 사람이 아닌 물체 또는 사물의 움직임 혹은 도래(appearance)를 감지(인지 또는 인식으로도 표현이 가능함) 또는 센싱(Sensing)을 하더라도 그것은 단지 전체 시스템의 절전 대기 상태에서 전체 시스템을 활성화 시키는 것이 아니라 동작 인지 카메라와 동작 인지(인식) 알고리즘 관련 프로세스를 활성화 시키는 것이기 때문에 실제로 전체 전자기기(1)를 제어할 수 있는 관련 동작이 일어나지 않는 한 저전력 센서(10)에 의해 전자기기(1)가 켜지는 등의 동작은 발생하지 않는다. 즉, 저전력 센서(10)는 전체 시스템이 절전 대기 상태에서 사물(객체)의 도래(appearance) 또는 움직임 여부를 감지하여 오직 동작 인지 카메라와 동작 인지(인식) 알고리즘 관련 프로세스를 활성화 시키는 동작을 수행한다.

따라서, 절전 대기 중인 전자기기(1)에서는 오직 저전력 센서(10)만이 작동을 하기 때문에 카메라와 동작인식 알고리즘에서 사용되는 전력보다 훨씬 적은 전력으로 절전 대기 상태를 유지할 수 있다.

만약, 저전력 센서(10)가 도 3의 오른쪽 그림과 같이 사물(객체)의 도래(apparance) 또는 움직임을 인지(인식) 또는 센싱(sensing)하게 된다면 동작인지 카메라와 함께 동작인지 알고리즘 관련 프로세스는 저전력 센서(10)에 의하여 활성화되어 사물의 정확한 제스쳐(gesture) 패턴을 인식 할 수 있는 상태가 된다. 그리고 사물(객체)의 일련의 동작패턴(손가락을 피거나 접거나, 손을 오른쪽에서 왼쪽으로 휘졌거나 하는 일련의 동작과정에 대한 패턴)에 맞게 전자기기(1)의 전원을 넣거나, 채널을 변경하거나, 특정 프로그램을 실행하거나, 볼륨을 높이는 등의 해당 동작패턴(gesture pattern)에 맞는 작업을 처리할 수 있게 된다.

한편, 관련 기술 분야인 제스쳐 인식 (gesture recognition) 등의 동작 인지(인식)에 관한 연구는 활기차게 연구가 진행이 되고 있다. 동작 인식의 정확성, 깊이 정보를 통한 확실한 객체 분리 등 기술은 눈에 띄게 발전되고 있다. 기술의 발전이 이루어 지면서 이러한 기술은 움직임을 감지할 수 있는 카메라의 경우, 전체 시스템의 전원이 꺼져서 절전대기 상태인 경우에도 항상 해당 프로세스는 동작을 하여야 하고, 대기상태에서 절전형 전자제품의 구현에 문제가 따르기 때문에 실용성에 대한 측면에서 잠재적인 문제가 존재한다.

즉, 동작 인식에 대한 기술은 발전은 되었지만 시스템의 절전 대기상태에서의 소비 전력을 줄이기 위한 추가적인 기술 개발이 필요한 실정이다.

도 4는 본 발명의 일 예에 따라 사물(객체)의 도래 또는 움직임(변화)을 센싱 또는 인지하고 있는 (상황의 변화를 인지) 저전력 센서를 도시한 도면이고, 도 5는 본 발명의 일 예에 따라 객체가 존재하지 않는 경우에 동작하는 저전력 센서를 도시한 도면이다. 도 4 및 도 5에 도시되어 있는 저전력 센서는 초음파를 이용하여 사물(객체)의 변화를 센싱하는 초음파 센서로 간단히 구현될 수 있다.

초음파 센서는 초음파를 송신하고 수신하는 송파기(미도시) 및 수파기(미도시)를 포함하며, 카메라에 비교하여 낮은 소비 전력을 갖는다. 송파기는 파장을 내보내는 동작을 수행하고, 수파기는 파장이 사물(객체)에 부딪혀서 반사되어 되돌아 오는 파장을 수신하여 상황의 대략적인 변화를 감지 또는 인지한다. 본 발명의 일 예에 따른 초음파 센서는 송파기와 수파기를 같이 포함하는 반향 모드(Echo mode)일 수 있다.

도 4는 송파기에서 보낸 파동이 사물(객체)의 변화(상황인지)를 인지했을 경우 돌아오는 파동의 상태를 나타내고 있다. 실선으로 표시된 파동은 초음파 센서의 송파기에서 보내는 초음파이고, 점선으로 표시된 파동은 객체로부터 반사되어 수파기에 수신되는 파동을 나타내고 있다. 초음파 센서가 객체의 변화를 감지 또는 인지 하게 되면 (예를 들어 바로 이전 시간대의 초음파가 송신되어 반사되어 돌아오는 시간과 현재 초음파가 송신되어 반사되어 돌아오는 시간이 어떤 임계 값 이상의 차이가 발생되면 사물(객체)이 갑자기 나타났거나, 정적인 사물이 대략적으로 움직이거나 등으로 사물(객체)의 변화가 생긴 것을 인지했다고 쉽게 판단할 수 있다), 즉 저전력 센서에서 사물(객체)의 변화가 감지(인지 또는 센싱)되는 경우, 동작인지 카메라와 동작인지 프로세스에 전원을 공급하여 해당 프로세스를 수행하도록 조치하게 된다.

도 5와 같이 사물(객체)이 없는 동안에도 초음파 센서는 동작, 즉 객체 센싱 동작을 수행하고 있지만 초음파 센서의 사용 전력은 도 1 및 도 2에서 카메라를 계속 하여 사용하는 전력에 비해 훨씬 적은 전력을 사용하게 된다. 송파기에서 보내어 반사되어 수신되는 파동의 변화가 없다면(즉, 예를 들어 바로 전 시간대의 반사 시간과 현 시간대의 반사시간의 변화가 기 설정된 임계치 미만이라면), 관련한 어떤 처리 또는 동작도 수행할 필요가 없기 때문에 기존의 사용자가 시스템을 끈 대기시간 대에도 항상 카메라에 전력을 공급하여 영상을 분석하고 처리하는 작업을 하는 관련 모듈의 소비 전력과 대비된다 (대기전력의 소모의 차이가 매우 크다).

도 4 와 도 5에서 설명된 초음파 센서는 일 실시 예이고, 설명된 동작을 수행 할 수 있는 다른 저전력 센서로 그 역할을 대체할 수 있다.

정리하면, 동작 인식을 하는 카메라를, 전자제품 시스템이 꺼져있는 대기시간에도, 항상 작동시키는 것이 아니라, 카메라에는 전원 공급을 하지 않고 초음파 센서만을 작동시켜 대기 전력 소모를 최소한으로 할 수 있다. 초음파 센서의 송파기에서 보내는 파동이 수파기에 입력될 때, 해당 파동의 변화가 기 설정된 임계치 이하로서 변화가 없다고 판단되는 상태가 유지되면 초음파 센서는 센싱 동작만을 유지한다. 만약, 일 실시 예로서 수파기에 수신되는 파동이 바로 전 시간 대와 다른 임계치 이상의 변화가 발생되면, 사물(객체)이 갑자기 나타나거나 사물(객체)의 움직임이 감지(센싱 또는 인지)된 것으로 간주하여 동작을 인식하는 카메라 및 관련 프로세스에 전원을 공급할 수 있다. 전원이 들어온 카메라는 사물(객체)이 하는 제스쳐(동작)를 인식할 준비를 할 수 있다.

도 6은 본 발명의 일 예에 따라 저전력 센서의 객체 감지 후 동작하는 카메라를 도시한 도면이다.

도시된 바와 같이, 도 6의 저전력 센서와 카메라는 하나의 유닛 또는 모듈로 구현될 수 있다. 따라서, 저전력 센서와 카메라는 서로 유기적으로 동작할 수 있으며, 객체의 움직임을 감지하는 즉시 동작 인식을 할 준비를 신속하게 할 수 있다. 또한, 저전력 센서가 객체를 감지 후 카메라가 작동하여 객체의 제스쳐(동작)를 인지(인식)하고 처리하는 알고리즘 관련 프로세스의 동작 역시 연동될 수 있다. 이를 통하여 동작인지 카메라가 사물의 제스쳐 인식을 위하여 대기 상태에서도 최대한의 절전을 유지하지 못하고 항상 켜져 있어야 하는 문제점을 해결하면서도 저전력 센서 및 카메라의 새로운 연동에 의하여 기존의 기능을 유지할 수 있다.

도 7은 본 발명의 일 실시예에 따른 저전력 센서를 이용한 동작 인식을 설명하기 위한 제어 흐름도이다. 도 7은 장치 대기 상태에서 저전력 센서를 이용한 동작 인식에 대한 일 실시 예를 도시한 것으로, 저전력 센서의 종류나 객체 센싱 방법에 따라 다양한 실시 예가 존재할 수 있다.

전자기기의 대기 상태(S710)에서 저전력 센서는 항상 켜져 있는 상태를 유지하며(S720) 동작 인식 대상의 유무를 체크한다(S730). 저전력 센서는 움직임 여부를 인지함으로써 동작 인식 대상의 존재 여부를 센싱할 수 있다.

객체의 움직임이 기 설정한 임계치 이상 크지 않다면, 계속되는 초음파 송/수신을 통해 움직임을 체크 한다(S740).

만약, 저전력 센서에서 객체의 움직임이 감지되면, 예를 들어 초음파 센서의수파기에서 객체에 의해 반사되는 파동의 변화를 감지하게 되면 객체의 움직임이 감지된 것으로 간주하고 동작 인식을 수행할 카메라에 전원이 공급된다(S750).

그 이후 객체의 동작 인식은 카메라의 동작 인식 알고리즘 관련 프로세스를 활성화하여 수행될 수 있다(S760)

만약 카메라에서 객체의 움직임이 더 이상 없다면 동작 인식을 할 카메라에는 공급되는 전원은 차단될 수 있다.

이 경우, 동작인식 카메라는 비활성화 되며 동시에 초음파센서가 ON 상태 (S720)가 된후, 움직임 검색(S730), 객체 움직임 인식(S740), 동작인식 카메라 ON (S750), 동작인식(S760) 등의 일련의 과정을, 전자기기가 대기 상태에 있거나 또는 전자기기가 활성화 된 상태에 있을 때도 반복 할 수 있다.

한편, 전자기기가 대기 상태가 아닌 활성화된 상태에 있다 하더라도 사물 또는 객체의 움직임이 감지되지 않는 경우에서 도 7에 설명된 저전력 센서를 이용한 동작 인식 과정이 적용될 수 있다. 예를 들어, 텔레비전이 켜져 있는 상태지만, 사용자가 텔레비전 앞에 존재하지 않거나, 텔레비전 시스템은 켜져 있지만 사용자가 잠이 든 상태인 경우, 저전력 센서는 사용자의 움직임을 감지할 수 없으므로 카메라에 공급되는 전원을 차단할 수 있다. 즉, 전자기기 시스템이 켜져있는 상태인 경우에도 카메라에는 전원이 공급되지 않고 저전력 센서만이 동작하는 것이 가능하다.

본 발명에 따른 카메라는 객체의 깊이를 인식할 수 있는 깊이정보 맵 카메라(depth-map camera) 또는 깊이 카메라, 깊이 인식 카메라를 포함할 수 있다. 이하 설명의 편의를 위하여 깊이정보 맵 카메라로 표현한다.

깊이정보 맵 카메라는 객체와 카메라 사이의 깊이정보를 센싱(또는 인지)할 수 있으며, 본 발명에 따른 깊이정보 맵 카메라는 객체와의 깊이정보가 소정의 임계 범위(threshole) 내인 경우에만 객체의 동작으로 인식할 수 있다.

예를 들어 초음파 센서와 저전력 센서를 포함하는 전자기기 앞에서 객체가 감지되더라도 객체가 단순히 전자기기 앞을 지나가거나 전자기기를 작동시키려는 것으로 인식되지 않는 경우, 깊이정보 맵 카메라는 이를 동작으로 인식하지 않을 수 있다.

따라서, 깊이정보 맵 카메라는 감지된 객체의 깊이정보가 소정 임계 범위를 만족하는 경우 객체의 동작으로 인식하고, 전자기기에 전원을 공급하는 등의 후속적인 동작을 취할 수 있다.

도 8은 본 발명의 일 실시예에 따른 저전력 센서를 이용하여 동작 인식을 수행하는 센싱 모듈의 제어 블록도이다.

센셍 모듈은 전원 제어부(100), 초음파 센서 제어부(200) 그리고 카메라 제어부(300)를 포함할 수 있다. 도 8의 센셍 모듈은 큰 시스템, 예를 들어 전자기기의 제어부 안에 있는 세부적인 제어부로 구현될 수 있다.

전원 제어부(100)는 전자기기의 여러 전원들을 제어하는 부분으로, 본 실시예에서는 초음파 센서의 전원을 제어하는 초음파 센서 전원 제어부(110)와 카메라의 전원을 제어하는 카메라 전원제어부(120)를 포함할 수 있다.

초음파 센서 전원 제어부(110)는 초음파를 통해 파동을 보내고 받는 송파기와 수파기의 전원을 제어할 수 있다. 송파기와 수파기는 하나의 유닛으로 사용될 수 있기 때문에 하나의 초음파 센서 전원 제어부(110)에 의하여 제어될 수 있다.

카메라 전원제어부(120)는 카메라의 전원을 제어한다. 카메라에서 소비되는 전력을 줄이는 것이 본 발명의 큰 특징이기 때문에 전원 제어부(100)에서 의하여 카메라의 전원이 제어된다.

초음파 센서 제어부(200)는 초음파 센서의 기능에 대한 전반적인 제어를 수행한다. 초음파 센서 제어부(200)는 초음파 센서 전원부(210)와 움직임 인식 모듈(220)을 포함할 수 있다. 초음파 센서 전원부(210)는 초음파 센서 전원 제어부(110)의 제어를 통하여 초음파 센서에 전원을 공급할 수 있다.

움직임 인식 모듈(220)은 초음파 센서의 송파기에서 송출된 파동에 대응하여 객체를 통해 반사되어 돌아오는 신호를 이용하여 움직임을 인식하는 모듈이다. 움직임 인식 모듈(220)에서 움직임 인식이 이루어지면 카메라 전원부(310)를 활성화시키기 위한 신호가 카메라 전원제어부(120)로 입력된다.

카메라 제어부(300)은 카메라의 동작 인식을 총괄적으로 제어하는 부분이다. 카메라에 전체적인 전원을 공급하여 카메라 동작을 가능하게 하는 카메라 전원부(310)는 카메라 전원제어부(120)로부터 제어 신호를 수신한다.

즉, 전원이 공급되어 촬영에 대한 동작이 가능해지면, 카메라의 동작 인식 모듈(320)은 객체의 동작을 인식한다. 여기서 동작 인식 모듈(320)은 촬상을 수행하는 렌즈와 같은 카메라 장치와 이를 통하여 객체의 동작을 인식 하는 알고리즘관련 프로세스를 포함한다. 이를 통해 초음파 센서의 움직임 인식모듈(220)을 통해 움직임이 감지되었던 객체의 동작이 인식될 수 있다.

동작 인식 모듈(320)에 의하여 동작 인식이 수행하되면 초음파 센서의 초음파 센서 전원 제어부(110)를 통하여 초음파 센서의 전원을 관리할 수 있다. 카메라를 이용한 동작 인식 동안에, 초음파 센서의 움직임 인식은 실질적으로 큰 의미가 없기 때문에 초음파센서 전원 제어부(110)를 통하여 초음파 센서 전원부(210)를 제어할 수도 있다. 즉, 초음파센서 전원 제어부(110)는 초음파 센서로 공급되는 전원을 차단할 수도 있다.

도 9는 본 발명의 일 실시예에 따른 전자기기의 제어 블록도이다.

도시된 바와 같이, 전자기기(900)는 저전력 센서(910), 카메라(920), 동작부(930) 및 표시부(940)를 포함할 수 있다.

전자기기(900)는 영상을 표시하는 표시부(940)를 포함하는 모니터, 컴퓨터 시스템, 대형 스크린 또는 터치 스크린, 사물 인터넷으로 구현되는 각종 전자 디바이스를 포함할 수 있다.

저전력 센서(910)는 객체의 움직임, 또는 움직임 여부에 따라 객체의 존재 여부를 감지할 수 있다. 저전력 센서(910)는 초음파 센서 또는 또는 적외선 센서를 포함할 수 있다.

카메라(920)는 저전력 센서(910)로부터 객체가 존재하는 것이 감지되면, 활성화되어 객체의 동작을 인식할 수 있다. 본 발명에서 활성화된다는 것은 저전력 센서(910)로부터 객체가 존재하는 것이 감지되면, 카메라(920)에 전원이 공급되는 것을 의미할 수 있다. 즉, 객체의 동작을 인식하는 카메라(920)에는 전원이 공급되지 않다가 저전력 센서(910)에 객체가 존재하거나 움직이는 것으로 감지되면 그 이후부터 전원이 공급될 수 있다.

본 발명에 따를 경우, 카메라(920)는 객체의 깊이정보를 인식하는 깊이정보 맵 카메라를 포함할 수 있다. 카메라(920)는 객체의 깊이정보가 기설정된 임계 범위를 내에 존재하는 경우, 동작부(940)를 활성화하기 위한 제어 신호를 출력할 수 있다. 예를 들어, 객체가 소정 시간 동안 소정 임계 범위 내에 존재하는 경우 객체가 전자기기를 동작시키려는 의도로 파악하고 동작부(930)에 특정 제어 신호를 출력할 수 있다.

저전력 센서(910)의 소비 전력은 카메라(920)의 소비 전력보다 작은 것을 특징으로 한다.

동작부(930)는 카메라(920)에서 인식된 객체의 동작이 소정 조건을 만족하는 경우, 상술한 바와 같이 객체가 소정 시간 동안 소정 임계 범위 내에 존재하는 경우 기설정된 동작을 수행할 수 있다.

본 발명의 일 실시예에 따라 동작부(930)는 영상을 표시하는 표시부에 전원을 공급하는 전원부를 포함할 수 있다. 저전력 센서(910) 및 카메라(920)의 감지를 통하여 객체의 움직임이 전자기기를 제어하기 위한 의도로 파악되면 전원부는 표시부(940)에 전원을 공급하여 사용자에 전자기기의 사용을 위한 환경을 제공할 수 있다.

상술한 바와 같이, 본 발명에서는, 사용자가 실제로 원하는 저전력 제품에 대한 요구를 만족 할 수 있는 방법을 제시함으로써 기존에 항상 전원이 연결되어 필요 이상으로 소비되었던 전력을 절약할 수 있다.

또한, 실용의 측면에서 높은 소비전력으로 인하여 텔레비전과 같은 전자기기에 움직임 감지 카메라가 상시 내장되어 생산되지 못하는 점 역시 본 발명의 구성으로 인하여 해결될 수 있다.

따라서, 본 발명에서 제시하는 방법과 이를 이용하는 장치를 통하여 기존에 기술을 실제 전자 기기에 적용시킬 수 없었던 실용적 측면의 문제를 해결할 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

100 : 전원 제어부 110 : 초음파 센서 전원 제어부
120 : 카메라 전원제어부 200 : 초음파 센서 제어부
210 : 초음파 센서 전원부 220 : 움직임 인식 모듈
300 : 카메라 제어부 310 : 카메라 전원부
320 : 동작 인식 모듈

Claims (11)

1. 객체의 존재 여부 또는 움직임 여부를 감지하는 저전력 센서와;
   절전 대기 상태에서, 비활성화 상태를 유지하다가, 상기 저전력 센서를 통해 상기 객체의 움직임이 감지되면, 활성화되는 카메라와;
   상기 카메라가 상기 객체의 제스쳐를 인지하고, 상기 인지된 제스쳐가 소정 조건을 만족하는 경우 기설정된 동작을 수행하는 동작부를 포함하고,
   상기 저전력 센서의 소비 전력은 상기 카메라의 소비 전력보다 작은 것을 특징으로 하는 전자기기.
2. 제1항에 있어서,
   상기 저전력 센서는 초음파 센서 또는 적외선 센서를 포함하는 것을 특징으로 하는 전자기기.
3. 제1항에 있어서,
   상기 카메라는 상기 객체의 깊이정보를 인식하는 깊이정보 맵 카메라를 포함하는 것을 특징으로 하는 전자기기.
4. 제1항에 있어서,
   상기 카메라 대신 인식대상의 상태를 체크하는 센서를 부분적인 장치로 포함하는 전자기기.
5. 제3항에 있어서,
   상기 깊이정보가 기설정된 임계 범위 내에 존재하는 경우, 상기 동작부는 활성화되는 것을 특징으로 하는 전자기기.
6. 제1항에 있어서,
   상기 저전력 센서를 통해 상기 객체의 움직임이 감지되면, 상기 카메라에 전원이 공급되는 것을 특징으로 하는 전자기기.
7. 제1항에 있어서,
   상기 동작부는 영상을 표시하는 표시부 및 관련한 동작을 하는 부분에 전원을 공급하는 전원부를 포함하는 것을 특징으로 하는 전자기기.
8. 저전력 센서 및 객체의 동작을 인식하는 카메라를 포함하는 전자기기의 동작 방법에 있어서,
   상기 저전력 센서를 통하여 객체의 움직임 여부를 감지하는 단계와;
   상기 객체의 움직임이 감지되면, 상기 카메라를 활성화하는 단계와;
   상기 카메라를 통해 인지된 제스쳐가 소정 조건을 만족하는 경우 기설정된 동작을 수행하는 단계를 포함하고,
   상기 카메라는 절전 대기 상태에서 비활성화 상태를 유지하다가, 상기 저전력 센서를 통해 상기 객체의 움직임이 감지되면 활성화되는 것을 특징으로 하고,
   상기 저전력 센서의 소비 전력은 상기 카메라의 소비 전력보다 작은 것을 특징으로 하는 전자기기의 동작 방법.
9. 제8항에 있어서,
   상기 저전력 센서를 통해 상기 객체가 존재하는 것이 감지되면, 상기 카메라에 전원이 공급되는 것을 특징으로 하는 전자기기의 동작 방법.
10. 제8항에 있어서,
    상기 카메라가 상기 객체의 깊이정보를 인식하는 깊이정보 맵 카메라일 때,
    상기 기 설정된 동작을 수행하는 단계는, 상기 깊이정보가 기설정된 임계 범위 내에 존재할 것을 조건으로 수행되는 것을 특징으로 하는, 전자기기의 동작 방법.
11. 제8항에 있어서,
    상기 기설정된 동작을 수행하는 단계는, 영상을 표시하는 표시부에 전원을 공급하는 단계인 것을 특징으로 하는 전자기기의 동작 방법.

Images