KR101800617B1

KR101800617B1 - 디스플레이 장치 및 이의 화상 통화 방법

Info

Publication number: KR101800617B1
Application number: KR1020130000339A
Authority: KR
Inventors: 김상윤; 이봉석; 류희섭; 박승권; 이동호
Original assignee: 삼성전자주식회사
Priority date: 2013-01-02
Filing date: 2013-01-02
Publication date: 2017-12-20
Anticipated expiration: 2033-01-02
Also published as: US9319632B2; CN103916623B; AU2013276984B2; KR20140088452A; AU2013276984A1; EP2753075A1; CN103916623A; US20140184726A1

Abstract

디스플레이 장치 및 이의 화상 통화 방법이 제공된다. 본 디스플레이 장치의 화상 통화 방법은 영상을 촬영하고, 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하며, 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하며, 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하고, 화상 통화 영상을 외부 장치에 전송한다. 이에 의해, 사용자는 대화면의 디스플레이 장치를 이용하여 자연스럽고 편리한 화상 통화를 제공받을 수 있게 된다.

Description

디스플레이 장치 및 이의 화상 통화 방법{Display apparatus and Method for video calling thereof}

본 발명은 디스플레이 장치 및 이의 화상 통화 방법에 관한 것으로, 더욱 상세하게는 외부 장치와 화상 통화를 수행할 수 있는 디스플레이 장치 및 이의 화상 통화 방법에 관한 것이다.

통신 기술이 발달하고, 디스플레이 장치에 카메라가 채용됨에 따라, 근래의 디스플레이 장치에는 화상 통화 기능이 제공되고 있다. 이에 따라, 사용자는 가족 혹은 친구와의 화상 통화를 대화면의 디스플레이 장치를 통해 수행할 수 있게 되었다.

그러나, 종래에는 디스플레이 장치가 화상 통화 기능을 제공하더라도 디스플레이 장치의 카메라가 기 설정된 영역만을 촬영하였기 때문에, 화상 통화 시 사용자에게 동일한 위치 및 동일한 크기의 영상이 제공되었다.

이에 의해, 디스플레이 장치와 사용자가 멀리 떨어져 있는 경우, 사용자가 작게 보이거나, 디스플레이 장치와 가까이 존재하는 경우, 사람의 얼굴이 너무 크게 보이는 문제점이 발생하였다.

또한, 항상 동일한 위치 및 동일한 크기의 영상이 제공되므로, 한 사람이 촬영되는 경우, 영상 내에서 촬영되는 사람을 제외한 불필요한 영역이 많아 지고, 복수의 사람이 촬영되는 경우, 영상 내에 모든 사람이 촬영되지 못하거나 모든 사람이 촬영되기 위하여 불편한 자세가 요구되는 문제점이 존재하였다.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 영상 내에 존재하는 사용자 얼굴을 검출하여 얼굴이 검출된 적어도 하나의 사용자에 대한 관심 영역이 화상 통화 영상 내에 존재하도록 영상을 편집할 수 있는 디스플레이 장치 및 이의 화상 통화 방법을 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치의 화상 통화 방법은, 영상을 촬영하는 단계; 상기 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하는 단계; 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하는 단계; 상기 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하는 단계; 및 상기 화상 통화 영상을 외부 장치에 전송하는 단계;를 포함한다.

그리고, 상기 설정하는 단계는, 상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출된 경우, 상기 검출된 한 명의 사용자의 기설정된 신체 부위가 상기 관심 영역의 중앙에 위치하도록 상기 관심 영역을 설정할 수 있다.

또한, 상기 설정하는 단계는, 상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출되는 동안 적어도 한 명의 사용자 얼굴이 추가적으로 검출된 경우, 상기 한 명의 사용자 및 상기 추가적으로 검출된 적어도 한 명의 사용자의 기설정된 신체 부위가 모두 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정할 수 있다.

그리고, 상기 설정하는 단계는, 상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출된 경우, 상기 검출된 복수의 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 설정할 수 있다.

또한, 상기 설정하는 단계는, 상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출되는 동안 복수의 사용자 중 일부의 얼굴이 영상 밖으로 이동하여 상기 일부 사용자의 얼굴이 검출되지 않는 경우, 상기 복수의 사용자 중 일부 사용자를 제외한 나머지 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정할 수 있다.

그리고, 상기 생성하는 단계는, 상기 영상으로부터 상기 관심 영역을 크롭(crop)하는 단계; 및 상기 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 상기 화상 통화 영상을 생성하는 단계;를 포함할 수 있다.

또한, 상기 촬영된 영상 내에 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 전부 존재하지 않는 경우, 상기 적어도 하나의 사용자의 기설정된 신체 부위가 영상 내에 존재하도록 전자 줌(electronic zoom) 동작을 수행하는 단계;를 더 포함할 수 있다.

그리고, 상기 사용자의 기설정된 신체 부위는, 상기 사용자의 얼굴 및 상반신을 포함할 수 있다.

한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치는, 영상을 촬영하는 촬영부; 상기 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하고, 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하며, 상기 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하는 제어부; 및 상기 화상 통화 영상을 외부 장치에 전송하는 통신부;를 포함한다.

그리고, 상기 제어부는, 상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출된 경우, 상기 검출된 한 명의 사용자의 기설정된 신체 부위가 상기 관심 영역의 중앙에 위치하도록 상기 관심 영역을 설정할 수 있다.

또한, 상기 제어부는, 상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출되는 동안 적어도 한 명의 사용자 얼굴이 추가적으로 검출된 경우, 상기 한 명의 사용자 및 상기 추가적으로 검출된 적어도 한 명의 사용자의 기설정된 신체 부위가 모두 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정할 수 있다.

그리고, 상기 제어부는, 상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출된 경우, 상기 검출된 복수의 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 설정할 수 있다.

또한, 상기 제어부는, 상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출되는 동안 복수의 사용자 중 일부의 얼굴이 영상 밖으로 이동하여 상기 일부 사용자의 얼굴이 검출되지 않는 경우, 상기 복수의 사용자 중 일부 사용자를 제외한 나머지 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정할 수 있다.

그리고, 상기 제어부는, 상기 촬영된 영상으로부터 상기 설정된 관심 영역을 크롭(crop)하고, 상기 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 상기 화상 통화 영상을 생성할 수 있다.

또한, 상기 제어부는, 상기 촬영된 영상 내에 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 전부 존재하지 않는 경우, 상기 적어도 하나의 사용자의 기설정된 신체 부위가 영상 내에 존재하도록 전자 줌(electronic zoom) 동작을 수행할 수 있다.

상술한 바와 같은 다양한 실시예에 의해, 디스플레이 장치가 촬영된 영상 내에 사용자를 추적하여 최적의 화면을 제공함으로써, 사용자는 디스플레이 장치를 이용하여 자연스럽고 편리한 화상 통화를 제공받을 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 간략히 나타내는 블럭도,
도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 자세히 나타내는 블럭도,
도 3a 내지 도 3d는 본 발명의 일 실시예에 따른, 한 명의 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면,
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른, 복수의 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면,
도 5a 내지 도 5e는 본 발명의 일 실시예에 따른, 추가적으로 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면,
도 6a 내지 도 6e는 본 발명의 일 실시예에 따른, 복수의 사용자 얼굴 중 일부의 사용자 얼굴이 영상 밖으로 이동한 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면,
도 7a 내지 도 7d는 본 발명의 일 실시예에 따른, 관심 영역이 전부 촬영되지 않는 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른, 디스플레이 장치의 화상 통화 방법을 설명하기 위한 흐름도이다.

이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 간략히 나타내는 블럭도이다. 도 1에 도시된 바와 같이, 디스플레이 장치(100)는 촬영부(110), 제어부(120) 및 통신부(130)를 포함한다. 이때, 디스플레이 장치(100)는 화상 통화를 수행할 수 있는 TV일 수 있으나, 이는 일 실시예에 불과할 뿐, 휴대폰, 태블릿 PC, 노트북 PC, 데스크탑 PC 등과 같이 화상 통화를 수행할 수 있는 다른 디스플레이 장치로 구현될 수 있다.

촬영부(110)는 사용자가 위치할 수 있는 기설정된 영역을 촬영하여 영상을 생성한다. 이때, 촬영부(110)는 디스플레이 장치(100)의 베젤에 구비되거나 상단에 위치하여 기설정된 영역을 촬영할 수 있다.

제어부(120)는 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하고, 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하며, 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성한다.

특히, 제어부(120)는 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출할 수 있다. 구체적으로, 제어부(120)는 촬영된 영상으로부터 사람의 얼굴을 구성하는 요소(예를 들어, 눈, 코, 입, 머리 등)를 검출하여 적어도 하나의 사용자 얼굴을 검출할 수 있다. 특히, 제어부(120)는 지식기반 방법(Knowledge-based Methods), 특징 기반 방법(Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods), 외형 기반 방법(Appearance-based Methods) 등을 이용하여 촬영된 영상으로부터 사람의 얼굴을 검출할 수 있다.

그리고, 제어부(120)는 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정할 수 있다. 이때, 관심 영역은 촬영된 영상 내에서 불필요한 영역을 제외한 사용자의 기설정된 신체 부위(예를 들어, 얼굴 및 상반신)를 포함하는 직사각형 형태의 영역일 수 있다. 또한, 관심 영역의 가로 세로 비율은 디스플레이 해상도의 가로 세로 비율과 동일할 수 있다.

특히, 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출된 경우, 제어부(120)는 검출된 한 명의 사용자의 기설정된 신체 부위가 관심 영역의 중앙에 위치하도록 관심 영역을 설정할 수 있다. 촬영된 영상으로부터 복수의 사용자 얼굴이 검출된 경우, 제어부(120)는 검출된 복수의 사용자의 기설정된 신체 부위가 모두 관심 영역 내에 존재하도록 관심 영역을 설정할 수 있다.

또한, 제어부(120)는 촬영된 영상 내에서 사용자의 얼굴을 계속해서 추적하여 촬영 영상 내에 새로운 사용자 얼굴이 추가되거나 기존의 사용자 얼굴이 제거되는 경우, 관심 영역을 다시 설정할 수 있다. 구체적으로, 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출되는 동안 적어도 한 명의 사용자 얼굴이 추가적으로 검출된 경우, 제어부(120)는 한 명의 사용자 및 추가적으로 검출된 적어도 한 명의 사용자의 기설정된 신체 부위가 모두 관심 영역 내에 존재하도록 관심 영역을 다시 설정할 수 있다. 그리고, 촬영된 영상으로부터 복수의 사용자 얼굴이 검출되는 동안 복수의 사용자 중 일부의 얼굴이 영상 밖으로 이동하여 일부 사용자의 얼굴이 검출되지 않는 경우, 제어부(120)는 복수의 사용자 중 일부 사용자를 제외한 나머지 사용자의 기설정된 신체 부위가 관심 영역 내에 존재하도록 관심 영역을 다시 설정할 수 있다.

또한, 촬영된 영상 내에 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 전부 존재하지 않는 경우, 제어부(120)는 적어도 하나의 사용자의 기설정된 신체 부위가 영상 내에 존재하도록 전자 줌(electronic zoom) 동작을 수행할 수 있다. 예를 들어, 촬영된 영상 내에 사용자의 얼굴만 촬영되는 경우, 제어부(120)는 사용자의 상반신 역시 촬영된 영상 내에 포함될 수 있도록 전자 줌-아웃(electronic zoom-out) 동작을 수행할 수 있다.

그리고, 제어부(120)는 촬영된 영상 내의 관심 영역을 편집하여 화상 통화 영상을 생성할 수 있다. 구체적으로, 제어부(120)는 촬영된 영상으로부터 설정된 관심 영역을 크롭(crop)하고, 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 화상 통화 영상을 생성할 수 있다.

통신부(130)는 외부의 디스플레이 장치와 통신을 수행할 수 있다. 특히, 통신부(130)는 화상 통화를 수행하기 위하여 제어부(120)에 의해 생성된 화상 통화 영상을 외부 디스플레이 장치에 전송할 수 있으며, 외부 디스플레이 장치로부터 화상 통화 영상을 수신할 수 있다. 이때, 외부 디스플레이 장치로부터 수신한 화상 통화 영상은 제어부(120)에 의해 디스플레이 화면의 해상도에 맞게 스케일링되고, 디스플레이부(미도시)에 의해 출력될 수 있다.

상술한 바와 같은 촬영된 영상 내의 사용자의 얼굴을 추적하여 관심 영역을 설정함으로써, 화상 통화 시 사용자에게 최적의 화상 통화 영상을 제공할 수 있게 된다.

이하에서는 도 2 내지 도 7d를 참조하여 본 발명의 디스플레이 장치에 대해 더욱 상세히 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치(200)의 구성을 자세히 도시한 도면이다. 도 2에 도시된 바와 같이, 디스플레이 장치(200)는 촬영부(210), 영상 수신부(220), 영상 처리부(230), 통신부(240), 저장부(250), 디스플레이부(260), 오디오 출력부(270), 입력부(280) 및 제어부(290)를 포함한다.

한편, 도 2는 디스플레이 장치(200)가 화상 통화 기능, 통신 기능, 방송 수신 기능, 동영상 재생 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 2에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.

촬영부(210)는 사용자가 위치할 수 있는 기설정된 영역을 촬영하여 영상을 생성한다. 특히, 촬영부(210)는 도면에 도시되지 않은 셔터, 렌즈부, 조리개 및 CCD(Charge Coupled Device) 이미지 센서 및 ADC(Analog/Digital Converter)를 포함할 수 있다. 셔터는 조리개와 함께 노광하는 빛의 양을 조절하는 기구이다. 렌즈부는 외부 광원으로부터 빛을 받아 영상을 처리한다. 이때, 조리개는 개폐 정도에 따라 입사되는 빛의 양(광량)을 조절한다. CCD 이미지 센서는 렌즈부를 통하여 입력되는 광량을 축적하고 그 축적된 광량에 따라 렌즈부에서 촬상된 영상을 수직 동기 신호에 맞추어 출력한다. 영상 촬영 장치(100)의 영상 획득은 피사체로부터 반사되어 나오는 빛을 전기적인 신호로 변환시켜 주는 CCD 이미지 센서에 의해 이루어진다. CCD 이미지 센서를 이용하여 컬러 영상을 얻기 위해서는 컬러 필터를 필요로 하며, 대부분 CFA(Color filter array) 라는 필터를 채용하고 있다. CFA는 한 픽셀마다 한 가지 컬러를 나타내는 빛만을 통과시키며 규칙적으로 배열된 구조를 가지고 있으며, 배열 구조에 따라 여러 가지 형태를 가지고 있다. ADC는 CCD 이미지 센서로부터 출력되는 아날로그 영상신호를 디지털 신호로 변환한다. 한편, 촬영부(110)가 상술한 바와 같이 영상을 촬영하는 것은 일 실시 예에 불과할 뿐, 다른 방법에 의해 영상을 촬영할 수 있다. 예를 들어, CCD 이미지 센서가 아닌가 아닌 CMOS(Complementary Metal Oxide Semiconductor)이미지 센서를 이용하여 영상을 촬영할 수 있다.

영상 수신부(220)는 다양한 소스를 통해 영상 데이터를 수신한다. 구체적으로, 영상 수신부(220)는 외부의 방송국으로부터 방송 데이터를 수신할 수 있으며, 외부 장치(예를 들어, 셋탑 박스, DVD 장치, USB 장치)로부터 영상 데이터를 수신할 수 있다.

영상 처리부(230)는 영상 수신부(220)로부터 수신한 영상 데이터에 대한 처리를 수행하는 구성요소이다. 영상 처리부(230)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

통신부(240)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 특히, 통신부(240)는 외부의 디스플레이 장치와 화상 통화를 수행하기 위하여 영상 데이터 및 음성 데이터를 송수신할 수 있다.

한편, 통신부(240)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.

저장부(250)는 디스플레이 장치(200)를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(250)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 디스플레이 장치(200)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.

또한, 저장부(250)는 화상 통화 영상을 생성하기 위하여, 촬영된 영상으로부터 사용자 얼굴을 검출하는 얼굴 검출 모듈, 사용자의 기설정된 신체부위가 포함되는 관심 영역을 설정하는 관심 영역 설정 모듈, 관심 영역을 편집하여 화상 통화 영상을 생성하는 화상 통화 영상 생성 모듈을 포함할 수 있다.

한편, 상술한 바와 같이, 저장부(250)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 디스플레이 장치(200)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 디스플레이 장치(200)가 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.

디스플레이부(260)는 영상 수신부(220)로부터 수신한 영상 데이터를 영상 처리부(230)에서 처리한 비디오 프레임 및 그래픽 처리부(293)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다.

특히, 화상 통화 수행시, 디스플레이부(260)는 외부로부터 전송된 화상 통화 영상을 메인 화면으로 디스플레이할 수 있으며, 촬영된 영상으로부터 관심 영역을 추출하여 생성된 화상 통화 영상을 PIP 화면으로 디스플레이할 수 있다. 이때, 디스플레이부(260)는 사용자 입력에 의해, 외부로부터 전송되는 화상 통화 영상을 PIP 화면으로 디스플레이하고, 촬영된 영상으로부터 관심 영역을 추출하여 생성된 화상 통화 영상을 메인 화면으로 디스플레이할 수 있다.

오디오 출력부(270)는 오디오 처리부(미도시)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 화상 통화 수행시, 오디오 출력부(270)는 외부 디스플레이 장치로부터 전송된 화상 통화 음성 데이터를 출력할 수 있다.

입력부(280)는 디스플레이 장치(200)의 전반적인 동작을 제어하기 위한 사용자 명령을 수신한다. 이때, 입력부(280)는 복수의 버튼을 포함하는 리모컨으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 터치 패널, 포인팅 디바이스 등과 같이 디스플레이 장치(200)를 제어할 수 있는 다른 입력 장치로 구현될 수 있다.

제어부(290)는 저장부(250)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(200)의 전반적인 동작을 제어한다.

제어부(290)는 도 2에 도시된 바와 같이, RAM(291), ROM(292), 그래픽 처리부(293), 메인 CPU(294), 제1 내지 n 인터페이스(295-1 ~ 295-n), 버스(296)를 포함한다. 이때, RAM(291), ROM(292), 그래픽 처리부(293), 메인 CPU(294), 제1 내지 n 인터페이스(295-1 ~ 295-n) 등은 버스(296)를 통해 서로 연결될 수 있다.

ROM(292)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(294)는 ROM(292)에 저장된 명령어에 따라 저장부(250)에 저장된 O/S를 RAM(291)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(294)는 저장부(250)에 저장된 각종 어플리케이션 프로그램을 RAM(291)에 복사하고, RAM(291)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.

그래픽 처리부(293)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부(280)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(260)의 디스플레이 영역 내에 표시된다.

메인 CPU(294)는 저장부(240)에 액세스하여, 저장부(250)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(294)는 저장부(250)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

제1 내지 n 인터페이스(295-1 내지 295-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

특히, 촬영부(210)에 의해 영상이 촬영되면, 제어부(290)는 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출한다. 이때, 제어부(290)는 지식 기반 방법, 특징 기반 방법, 템플릿 매칭 방법, 외형 기반 방법 등과 같은 다양한 얼굴 검출 방법을 이용하여 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출한다. 여기서, 지식 기반 방법은 사람의 얼굴이 눈썹, 눈, 코, 입 등 각각의 얼굴 성분들은 서로 일정한 거리와 위치 관계를 이용하여 얼굴을 검출하는 방법이다. 특징 기반 방법은 얼굴 특징 성분(눈, 코, 입, 외곽선, 명암도)들의 크기와 모양, 상호 연관성, 얼굴의 색상과 질감(texture) 정보와 성분들의 혼합된 형태의 정보를 이용해서 얼굴을 검출하는 방법이다. 템플릿 매칭 방법은 대상이 되는 모든 얼굴에 대한 표준 템플릿을 만든 후, 입력 영상과 유사상관도를 비교하여 얼굴을 검출하는 방법으로 종류로는 사전 정의 템플릿 알고리즘과 변형 템플릿 알고리즘이 있다. 외형 기반 방법은 패턴 인식을 이용하여 학습 영상 집합에 의해 학습된 모델을 이용해서 얼굴을 검출하는 방법이다. 한편, 제어부(290)는 상술한 방법 이외에 다른 방법을 이용하여 사용자의 얼굴을 검출할 수 있다.

그리고, 제어부(290)는 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위(예를 들어, 얼굴 및 상반신)가 포함되도록 관심 영역을 설정하고, 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성한다. 이때, 관심 영역은 촬영된 영상 내에서 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되고, 불필요한 영역을 최대한 제거한 영역이다. 특히, 관심 영역은 촬영된 영상 내에서 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 최대의 크기로 포함되는 직사각형 형태의 영역일 수 있다.

이하에서는 도 3a 내지 도 7d를 이용하여, 제어부(290)가 관심 영역을 추출하여 화상 통화 영상을 생성하는 방법을 설명하기로 한다.

도 3a 내지 도 3d는 본 발명의 일 실시예에 따른, 한 명의 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면이다.

우선, 촬영부(210)는 도 3a에 도시된 바와 같이, 한 명의 사용자(310)가 포함된 영상을 촬영할 수 있다. 그리고, 제어부(290)는 얼굴 검출 모듈을 이용하여, 도 3b에 도시된 바와 같이, 촬영된 영상 속에 포함된 사용자의 얼굴(320)을 검출할 수 있다.

그리고, 제어부(290)는 도 3c에 도시된 바와 같이, 얼굴이 검출된 사용자의 얼굴 및 상반신을 포함하는 관심 영역(330)을 설정한다. 이때, 제어부(290)는 얼굴이 검출된 사용자의 얼굴 및 상반신이 관심 영역(330) 중앙에 위치하도록 하며, 가로 세로의 비율이 디스플레이 해상도와 동일하도록 직사각형 형태의 관심 영역(330)을 설정할 수 있다.

그리고, 제어부(290)는 촬영된 영상으로부터 관심 영역(330)을 크롭(crop)하고, 도 3d에 도시된 바와 같이, 크롭된 관심 영역(330)을 디스플레이 해상도에 맞게 스케일링하여 화상 통화 영상(340)을 생성할 수 있다. 예를 들어, 크롭된 관심 영역(330)의 해상도가 640x360이고, 디스플레이 해상도가 1280x720인 경우, 제어부(290)는 크롭된 관심 영역(330)의 해상도를 디스플레이 해상도인 1280x720으로 업 스케일링할 수 있다.

도 4a 내지 도 4d는 본 발명의 일 실시예에 따른, 복수의 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면이다.

우선, 촬영부(210)는 도 4a에 도시된 바와 같이, 두 명의 사용자(410,415)가 포함된 영상을 촬영할 수 있다. 그리고, 제어부(290)는 얼굴 검출 모듈을 이용하여, 도 4b에 도시된 바와 같이, 촬영된 영상 속에 포함된 두 명의 사용자의 얼굴(420,425)을 검출할 수 있다.

그리고, 제어부(290)는 도 4c에 도시된 바와 같이, 검출된 두 명의 사용자(410,415)의 얼굴 및 상반신을 포함하는 관심 영역(430)을 설정한다. 이때, 제어부(290)는 관심 영역(430) 내에 두 명의 사용자의 얼굴 및 상반신이 모두 포함되며, 가로 세로의 비율이 디스플레이 해상도와 동일하도록 직사각형 형태의 관심 영역(330)을 설정할 수 있다.

그리고, 제어부(290)는 촬영된 영상으로부터 관심 영역(430)을 크롭(crop)하고, 도 4d에 도시된 바와 같이, 크롭된 관심 영역(430)을 디스플레이 해상도에 맞게 스케일링하여 화상 통화 영상(440)을 생성할 수 있다. 예를 들어, 크롭된 관심 영역(430)의 해상도가 960x540이고, 디스플레이 해상도가 1280x720인 경우, 제어부(290)는 크롭된 관심 영역(430)의 해상도를 디스플레이 해상도인 1280x720으로 업 스케일링할 수 있다.

도 5a 내지 도 5e는 본 발명의 일 실시예에 따른, 추가적으로 사용자 얼굴이 검출된 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면이다.

제어부(290)는 한 명의 사용자를 검출하여 도 5a에 도시된 바와 같은 제1 관심 영역(510)을 설정할 수 있다.

촬영된 영상 속에 한 명의 사용자가 검출되는 동안, 도 5b에 도시된 바와 같이, 다른 사용자(520)의 얼굴(525)이 추가적으로 검출되면, 제어부(290)는 도 5c에 도시된 바와 같이, 두 명의 사용자의 얼굴 및 상반신이 모두 포함되도록 제2 관심 영역(530)을 다시 설정할 수 있다. 이때, 제어부(290)는 제2 관심 영역(530)의 가로 세로의 비율이 디스플레이 해상도와 동일하도록 직사각형 형태의 제2 관심 영역(530)을 설정할 수 있다.

그리고, 제어부(290)는 촬영된 영상으로부터 제2 관심 영역(530)을 크롭(crop)하고, 도 5d에 도시된 바와 같이, 크롭된 제2 관심 영역(530)을 디스플레이 해상도에 맞게 스케일링하여 화상 통화 영상(540)을 생성할 수 있다. 예를 들어, 크롭된 제2 관심 영역(530)의 해상도가 960x540이고, 디스플레이 해상도가 1280x720인 경우, 제어부(290)는 크롭된 제2 관심 영역(530)의 해상도를 디스플레이 해상도인 1280x720으로 업 스케일링할 수 있다.

도 6a 내지 도 6e는 본 발명의 일 실시예에 따른, 복수의 사용자 얼굴 중 일부의 사용자 얼굴이 영상 밖으로 이동한 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면이다.

우선, 제어부(290)는 두 명의 사용자를 검출하여 도 6a에 도시된 바와 같은 제1 관심 영역(610)을 설정할 수 있다.

촬영된 영상 속에 두 명의 사용자가 검출되는 동안, 한 명의 사용자가 촬영영역 밖으로 이동하여 도 6b에 도시된 바와 같이, 한 명의 사용자의 얼굴(525)만이 검출되면, 제어부(290)는 도 6c에 도시된 바와 같이, 현재 남아 있는 한 명의 사용자의 얼굴 및 상반신만이 포함되도록 제2 관심 영역(620)을 다시 설정할 수 있다. 이때, 제어부(290)는 제2 관심 영역(620)의 가로 세로의 비율이 디스플레이 해상도와 동일하도록 직사각형 형태의 제2 관심 영역(620)을 설정할 수 있다.

그리고, 제어부(290)는 촬영된 영상으로부터 제2 관심 영역(620)을 크롭(crop)하고, 도 6d에 도시된 바와 같이, 크롭된 제2 관심 영역(620)을 디스플레이 해상도에 맞게 스케일링하여 화상 통화 영상(630)을 생성할 수 있다. 예를 들어, 크롭된 관심 영역(620)의 해상도가 620x360이고, 디스플레이 해상도가 1280x720인 경우, 제어부(290)는 크롭된 제2 관심 영역(620)의 해상도를 디스플레이 해상도인 1280x720으로 업 스케일링할 수 있다.

도 7a 내지 도 7d는 본 발명의 일 실시예에 따른, 관심 영역이 전부 촬영되지 않는 경우 화상 통화 영상을 생성하는 방법을 설명하기 위한 도면이다.

우선, 제어부(290)는 도 7a에 도시된 바와 같이, 촬영된 영상 속에서 사용자의 얼굴(710)을 검출할 수 있다. 그리고, 제어부(290)는 관심 영역을 설정하기 위하여, 사용자의 얼굴 및 상반신을 검출할 수 있다.

그러나 도 7a에 도시된 바와 같이, 사용자의 상반신이 촬영되지 않아 사용자의 상반신을 검출할 수 없는 경우, 제어부(290)는 사용자의 상반신이 촬영될 수 있도록 전자적 줌(electronic zoom) 동작을 수행하여도 7b에 도시된 바와 같이, 사용자의 크기가 확대된 영상(720)을 획득할 수 있다.

그리고, 제어부(290)는 도 7c에 도시된 바와 같이, 검출된 사용자의 얼굴 및 상반신을 포함하는 관심 영역(730)을 설정한다. 이때, 제어부(290)는 얼굴이 검출된 사용자의 얼굴 및 상반신이 관심 영역(730) 중앙에 위치하도록 하며, 가로 세로의 비율이 디스플레이 해상도와 동일하도록 직사각형 형태의 관심 영역(730)을 설정할 수 있다.

그리고, 제어부(290)는 촬영된 영상으로부터 관심 영역(730)을 크롭(crop)하고, 도 7d에 도시된 바와 같이, 크롭된 관심 영역(730)을 디스플레이 해상도에 맞게 스케일링하여 화상 통화 영상(740)을 생성할 수 있다. 예를 들어, 크롭된 관심 영역(330)의 해상도가 640x360이고, 디스플레이 해상도가 1280x720인 경우, 제어부(290)는 크롭된 관심 영역(330)의 해상도를 디스플레이 해상도인 1280x720으로 업 스케일링할 수 있다.

그리고, 제어부(290)는 상술한 바와 같은 다양한 실시예에 의해 생성된 화상 통화 영상을 외부 디스플레이 장치에 전송하도록 통신부(240)를 제어할 수 있다.

또한, 통신부(240)를 통해 외부 디스플레이 장치로 화상 통화 영상 데이터 및 화상 통화 음성 데이터가 수신되면, 제어부(290)는 수신된 화상 통화 영상 데이터에 대한 영상 신호처리를 수행하여 신호처리된 화상 통화 영상을 디스플레이부(260)에 디스플레이하며, 화상 통화 음성 데이터에 대한 음성 신호처리를 수행하여 신호처리된 화상 통화 음성을 오디오 출력부(270)에 출력할 수 있다.

특히, 제어부(290)는 외부 장치로부터 수신된 화상 통화 영상을 메인 화면에 디스플레이하고, 촬영된 영상으로부터 관심 영역을 추출하여 생성한 화상 통화 영상을 PIP(Picture in Picture) 영상으로 디스플레이하도록 디스플레이부(260)를 제어할 수 있다.

상술한 바와 같이 디스플레이 장치(200)가 촬영된 영상 내에 적어도 하나의 사용자를 추적하여 관심 영역을 추출하고, 관심 영역을 통해 최적의 화면을 제공함으로써, 사용자는 디스플레이 장치를 이용하여 자연스럽고 편리한 화상 통화를 제공받을 수 있게 된다.

한편, 도 3a 내지 도 7d에서 설명한 실시예에서는 제어부(290)가 관심 영역 내에 사용자의 기설정된 신체부위가 모두 포함되고, 관심 영역의 가로 세로 비율이 디스플레이 해상도의 가로 세로 비율과 동일하도록 관심 영역을 설정할 수 있다고 언급하였으나, 이는 일 실시예에 불과할 뿐, 다른 방법으로 관심 영역을 설정할 수 있다. 예를 들어, 제어부(290)는 관심 영역 내에 사용자의 얼굴 및 상반신이 차지하는 비율이 최대가 되도록 관심 영역을 설정할 수 있다. 또한, 사용자의 얼굴 및 상반신 주위에 기설정된 크기의 여백이 존재하도록 관심 영역을 설정할 수 있다. 이때, 여백의 크기는 사용자에 의해 설정될 수 있다.

한편, 상술한 실시예에서는 사용자의 기설정된 신체부위가 얼굴 및 상반신으로 언급하였으나, 이는 일 실시예에 불과할 뿐, 다른 신체부위(예를 들어, 얼굴 및 어깨)가 적용될 수 있다.

이하에서는 도 8을 참조하여 디스플레이 장치(100)의 화상 통화 방법에 대해 더욱 상세히 설명하도록 한다.

우선, 디스플레이 장치(100)는 기설정된 영역에 대한 영상을 촬영한다(S810). 이때, 디스플레이 장치(100)는 적어도 하나의 사용자가 포함된 영상을 촬영할 수 있다.

그리고, 디스플레이 장치(100)는 촬영된 영상 내에 적어도 하나의 사용자 얼굴을 검출한다(S820). 구체적으로, 디스플레이 장치(100)는 다양한 얼굴 검출 방법(예를 들어, 지식 기반 방법, 특징 기반 방법, 템플릿 매칭 방법, 외형 기반 방법 등)을 이용하여 촬영된 영상 내에 적어도 하나의 사용자 얼굴을 검출할 수 있다.

그리고, 디스플레이 장치(100)는 검출된 사용자의 기설정된 신체부위가 포함되도록 관심 영역을 설정한다(S830). 구체적으로, 디스플레이 장치(100)가 관심 영역을 설정하는 방법은 도 2 내지 도 7d에서 설명한 바와 같다.

그리고, 디스플레이 장치(100)는 관심 영역을 편집하여 화상 통화 영상을 생성한다(S840). 구체적으로, 디스플레이 장치(100)는 설정된 관심 영역을 크롭하고, 크롭된 관심 영역을 디스플레이 해상도와 대응되도록 스케일링하여 화상 통화 영상을 생성할 수 있다.

그리고, 디스플레이 장치(100)는 화상 통화 영상을 외부 장치로 전송한다(S850).

이에 의해, 사용자는 촬영된 사용자가 최적의 크기로 존재하는 영상을 이용하여 화상 통화를 수행할 수 있게 된다.

한편, 상술한 다양한 실시 예에 따른 디스플레이 장치의 화상 통화 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.

구체적으로는, 영상을 촬영하는 단계; 상기 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하는 단계; 상기 얼굴이 검출된 적어도 하나의 사용자의 기설정된 신체 부위가 포함되도록 관심 영역을 설정하는 단계; 상기 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하는 단계; 및 상기 화상 통화 영상을 외부 장치에 전송하는 단계;를 포함하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110,210: 촬영부 120,290: 제어부
130,240: 통신부 220: 영상 수신부
230: 영상 처리부 250: 저장부
260: 디스플레이부 270: 오디오 출력부
280: 입력부

Claims

디스플레이 장치의 화상 통화 방법에 있어서,
영상을 촬영하는 단계;
상기 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하는 단계;
상기 얼굴이 검출된 적어도 하나의 사용자의 얼굴 및 상기 사용자에 의해 설정된 신체 부위가 포함되도록 관심 영역을 설정하는 단계;
상기 디스플레이 장치의 디스플레이 해상도를 바탕으로 상기 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하는 단계; 및
상기 화상 통화 영상을 외부 장치에 전송하는 단계;를 포함하며,
상기 관심 영역을 설정하는 단계는,
상기 촬영된 영상에 상기 설정된 신체 부위가 포함되어 있지 않은 경우, 상기 설정된 신체 부위가 상기 영상에 포함되도록 전자 줌(electronic zoom) 동작을 수행하는 단계; 및
상기 전자 줌 동작에 의해 촬영된 영상에서 상기 얼굴이 검출된 적어도 하나의 사용자의 얼굴 및 상기 설정된 신체 부위가 포함되도록 관심 영역을 설정하는 단계;를 포함하고,
상기 전송하는 단계는,
상기 외부 장치와 화상 통화 시, 상기 화상 통화 영상을 상기 외부 장치로 전송하는 화상 통화 방법.
제1항에 있어서,
상기 설정하는 단계는,
상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출된 경우, 상기 검출된 한 명의 사용자의 기설정된 신체 부위가 상기 관심 영역의 중앙에 위치하도록 상기 관심 영역을 설정하는 것을 특징으로 하는 화상 통화 방법.
제2항에 있어서,
상기 설정하는 단계는,
상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출되는 동안 적어도 한 명의 사용자 얼굴이 추가적으로 검출된 경우, 상기 한 명의 사용자 및 상기 추가적으로 검출된 적어도 한 명의 사용자의 기설정된 신체 부위가 모두 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정하는 것을 특징으로 하는 화상 통화 방법.
제1항에 있어서,
상기 설정하는 단계는,
상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출된 경우, 상기 검출된 복수의 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 설정하는 것을 특징으로 하는 화상 통화 방법.
제4항에 있어서,
상기 설정하는 단계는,
상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출되는 동안 복수의 사용자 중 일부의 얼굴이 영상 밖으로 이동하여 상기 일부 사용자의 얼굴이 검출되지 않는 경우, 상기 복수의 사용자 중 일부 사용자를 제외한 나머지 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정하는 것을 특징으로 하는 화상 통화 방법.
제1항에 있어서,
상기 생성하는 단계는,
상기 촬영된 영상으로부터 상기 관심 영역을 크롭(crop)하는 단계; 및
상기 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 상기 화상 통화 영상을 생성하는 단계;를 포함하는 화상 통화 방법.
삭제
제1항에 있어서,
상기 사용자에 의해 설정된 신체 부위는,
상기 사용자의 얼굴 및 상반신을 포함하는 것을 특징으로 하는 화상 통화 방법.
디스플레이 장치에 있어서,
영상을 촬영하는 촬영부;
상기 촬영된 영상으로부터 적어도 하나의 사용자 얼굴을 검출하고, 상기 얼굴이 검출된 적어도 하나의 사용자의 얼굴 및 상기 사용자에 의해 설정된 신체 부위가 포함되도록 관심 영역을 설정하며, 상기 디스플레이 장치의 디스플레이 해상도를 바탕으로 상기 촬영된 영상 내에 설정된 관심 영역을 편집하여 화상 통화 영상을 생성하는 제어부; 및
상기 화상 통화 영상을 외부 장치에 전송하는 통신부;를 포함하며,
상기 제어부는,
상기 촬영된 영상에 상기 설정된 신체 부위가 포함되어 있지 않은 경우, 상기 설정된 신체 부위가 상기 영상에 포함되도록 전자 줌(electronic zoom) 동작을 수행하고, 상기 전자 줌 동작에 의해 촬영된 영상에서 상기 검출된 적어도 하나의 사용자의 얼굴 및 상기 설정된 신체 부위가 포함되도록 관심 영역을 설정하고, 상기 외부 장치와 화상 통화 시, 상기 화상 통화 영상을 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 디스플레이 장치.
제9항에 있어서,
상기 제어부는,
상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출된 경우, 상기 검출된 한 명의 사용자의 기설정된 신체 부위가 상기 관심 영역의 중앙에 위치하도록 상기 관심 영역을 설정하는 것을 특징으로 하는 디스플레이 장치.
제10항에 있어서,
상기 제어부는,
상기 촬영된 영상으로부터 한 명의 사용자 얼굴이 검출되는 동안 적어도 한 명의 사용자 얼굴이 추가적으로 검출된 경우, 상기 한 명의 사용자 및 상기 추가적으로 검출된 적어도 한 명의 사용자의 기설정된 신체 부위가 모두 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정하는 것을 특징으로 하는 디스플레이 장치.
제9항에 있어서,
상기 제어부는,
상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출된 경우, 상기 검출된 복수의 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 설정하는 것을 특징으로 하는 디스플레이 장치.
제12항에 있어서,
상기 제어부는,
상기 촬영된 영상으로부터 복수의 사용자 얼굴이 검출되는 동안 복수의 사용자 중 일부의 얼굴이 영상 밖으로 이동하여 상기 일부 사용자의 얼굴이 검출되지 않는 경우, 상기 복수의 사용자 중 일부 사용자를 제외한 나머지 사용자의 기설정된 신체 부위가 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정하는 것을 특징으로 하는 디스플레이 장치.
제9항에 있어서,
상기 제어부는,
상기 촬영된 영상으로부터 상기 설정된 관심 영역을 크롭(crop)하고, 상기 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 상기 화상 통화 영상을 생성하는 것을 특징으로 하는 디스플레이 장치.
삭제
제9항에 있어서,
상기 사용자에 의해 설정된 신체 부위는,
상기 사용자의 얼굴 및 상반신을 포함하는 것을 특징으로 하는 디스플레이 장치.
적어도 하나의 사용자의 영상을 촬영하는 단계;
상기 촬영된 영상으로부터 사용자의 얼굴을 검출하는 단계;
상기 얼굴이 검출된 사용자의 얼굴 및 상기 사용자에 의해 설정된 신체 부위가가 포함된 관심영역을 설정하는 단계;
디스플레이 장치의 디스플레이 해상도를 바탕으로 상기 관심영역을 편집하는 단계; 및
상기 편집된 관심 영역에 상기 얼굴 및 상반신을 바탕으로 화상 통화 영상을 생성하는 단계;를 포함하며,
상기 관심 영역을 설정하는 단계는,
상기 촬영된 영상에 상기 설정된 신체 부위가 포함되어 있지 않은 경우, 상기 설정된 신체 부위가 상기 영상에 포함되도록 전자 줌(electronic zoom) 동작을 수행하는 단계; 및
상기 전자 줌 동작에 의해 촬영된 영상에서 상기 얼굴이 검출된 적어도 하나의 사용자의 얼굴 및 상기 설정된 신체 부위가 포함되도록 관심 영역을 설정하는 단계;를 포함하고,
상기 화상 통화 영상은,
외부 장치와의 화상 통화 시, 상기 외부 장치로 전송하기 위한 영상인 화상 통화 방법.
제17항에 있어서,
상기 촬영된 영상에 사용자 얼굴이 추가적으로 검출된 경우, 상기 적어도 하나의 사용자 및 상기 추가적으로 검출된 사용자의 얼굴 및 상기 사용자에 의해 설정된 신체 부위가 모두 상기 관심 영역 내에 존재하도록 상기 관심 영역을 다시 설정하는 단계;를 포함하는 것을 특징으로 하는 화상 통화 방법.
제17항에 있어서,
상기 편집하는 단계는,
상기 촬영된 영상으로부터 상기 관심 영역을 크롭(crop)하는 단계; 및
상기 크롭된 영상을 디스플레이 해상도에 대응되도록 스케일링하여 상기 화상 통화 영상을 생성하는 단계;를 포함하는 화상 통화 방법.