KR20180025754A

KR20180025754A - Display apparatus and control method thereof

Info

Publication number: KR20180025754A
Application number: KR1020160112859A
Authority: KR
Inventors: 안영춘
Original assignee: 삼성전자주식회사
Priority date: 2016-09-01
Filing date: 2016-09-01
Publication date: 2018-03-09
Also published as: WO2018043923A1

Abstract

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 상기 디스플레이장치는, 적어도 하나의 객체를 포함할 수 있는 영상을 수신하는 영상수신부; 상기 영상을 표시하는 디스플레이부; 및 상기 영상에서 상기 객체가 존재할 것으로 예상되는 관심영역을 결정하고, 상기 관심영역에서 상기 객체를 인식하고, 상기 인식된 객체에 대한 객체정보를 생성하고, 상기 객체정보에 기초하여 상기 인식된 객체에 관한 연관서비스정보를 처리하는 처리부를 포함한다.
이에 의하면, 객체 인식에 앞서 먼저 관심영역을 결정하고 그 영역 내에만 객체 인식을 수행함으로써 자동으로 객체를 인식하고 연관서비스를 처리하는 과정 전체의 속도와 효율이 높아지는 효과가 있다.The present invention relates to a display device and a control method thereof, the display device including: an image receiving unit for receiving an image including at least one object; A display unit for displaying the image; And determining a region of interest in which the object is expected to exist in the image, recognizing the object in the region of interest, generating object information for the recognized object, and determining, based on the object information, And processing the associated service information.
According to this, prior to the object recognition, the object region is first determined and the object recognition is performed only in the region, and thus the speed and efficiency of the entire process of automatically recognizing the object and processing the related service are increased.

Description

[0001] The present invention relates to a display apparatus and a control method thereof,

본 발명은 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 구체적으로는 디스플레이장치에 표시되는 영상에서 객체를 인식하고 그에 연관된 서비스정보를 처리하는 것에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a display device and a control method thereof, and more particularly, to recognition of an object in an image displayed on a display device and processing of service information associated therewith.

영상에 존재하는 객체를 인식하고 그에 연관된 서비스정보를 처리함에 있어서, 종래의 기술은 영상 내의 모든 객체를 검출하고 인식하였다. 사용자가 별로 관심이 없거나 중요도가 낮은 객체들에 대한 구별 없이 모든 객체를 인식한 것이다. In recognizing objects present in a video and processing service information associated therewith, the prior art detects and recognizes all objects in the video. All objects are recognized without any distinction between objects that are less of a user's interest or less important.

그 결과 영상 내의 객체를 디스플레이장치가 자동으로 인식한 후 영상을 시청하는 사용자에게 그 객체와 관련된 연관서비스를 제공하는 기술은 현실적으로 구현되기 어려웠다. 객체 인식을 위해 너무도 많은 시간과 자원이 소요됨에 따라, 사용자가 서비스를 제공받기 위해 대기할 수 있는 현실적인 시간 내에 객체를 인식하고 이에 기초한 연관서비스 정보를 제공할 수 없었기 때문이다. 나아가 객체를 인식했다고 하더라도 인식된 객체에는 사용자가 별로 관심이 없거나 중요하다고 느끼지 않는 객체들이 상당수 포함되어 있어서, 객체를 인식하기 위해 들인 시간과 자원에도 불구하고 사용자 입장에서 유용한 정보는 제공받기 어려웠다.As a result, a technique of providing an associated service related to the object to a user who views the image after the display device automatically recognizes the object in the image is difficult to implement realistically. Since too much time and resources are required to recognize the object, the user can not recognize the object within a realistic time that the user can wait to receive the service and can not provide the related service information based on the object. Even if the object is recognized, the recognized object contains many objects that the user is not interested in or important. Therefore, it is difficult to provide useful information from the viewpoint of the user despite the time and resources for recognizing the object.

이에 본 발명은, 빠르고 효율적으로 객체를 인식함으로써 객체 자동 인식에 기초한 연관서비스정보 처리의 속도와 효율이 높은 디스플레이장치를 제공하는 것을 목적으로 한다.Accordingly, it is an object of the present invention to provide a display device with high speed and efficiency of related service information processing based on automatic object recognition by recognizing objects quickly and efficiently.

또한, 본 발명은 객체 인식 결과의 신뢰도 및 적합도가 높은 디스플레이장치를 제공하는 것을 목적으로 한다.It is another object of the present invention to provide a display device having high reliability and good fit of object recognition results.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치는, 적어도 하나의 객체를 포함할 수 있는 영상을 수신하는 영상수신부; 상기 영상을 표시하는 디스플레이부; 및 상기 영상에서 상기 객체가 존재할 것으로 예상되는 관심영역을 결정하고, 상기 관심영역에서 상기 객체를 인식하고, 상기 인식된 객체에 대한 객체정보를 생성하고, 상기 객체정보에 기초하여 상기 인식된 객체에 관한 연관서비스정보를 처리하는 처리부를 포함한다. 이에 의하면, 객체 인식에 앞서 먼저 관심영역을 결정하고 그 영역 내에만 객체 인식을 수행함으로써 자동으로 객체를 인식하고 연관서비스를 처리하는 과정 전체의 속도와 효율이 높아지는 효과가 있다.According to an aspect of the present invention, there is provided a display apparatus including: an image receiving unit receiving an image including at least one object; A display unit for displaying the image; And determining a region of interest in which the object is expected to exist in the image, recognizing the object in the region of interest, generating object information for the recognized object, and determining, based on the object information, And a processing unit for processing the related service information. According to this, prior to the object recognition, the object region is first determined and the object recognition is performed only in the region, and thus the speed and efficiency of the entire process of automatically recognizing the object and processing the related service are increased.

상기 처리부는 복수의 상기 객체의 속성 별로 상기 관심영역을 서로 다르게 결정할 수 있다. 나아가, 상기 처리부는 상기 각 객체의 속성에 따라 결정된 가중치에 기초하여 시각주의지도를 생성하고, 상기 생성된 시각주의지도를 이용하여 상기 관심영역을 결정할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도가 높아지는 효과가 있다.The processing unit may determine the region of interest differently for each of a plurality of the attributes of the object. Furthermore, the processing unit may generate a visual attention map based on the weight determined according to the attributes of the objects, and may determine the attention area using the generated visual attention map. According to this, there is an effect that the reliability of the object recognition result is increased.

상기 처리부는 상기 영상에 관한 설명정보에 기초하여 상기 관심영역을 결정할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도와 적합도가 높아지는 효과가 있다.The processing unit may determine the region of interest based on explanatory information on the image. According to this, there is an effect that the reliability and fitness of the object recognition result is increased.

상기 처리부는 상기 객체에 대한 사용자의 사용이력정보에 기초하여 상기 관심영역을 결정할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도와 사용자적합도가 높아지는 효과가 있다.The processing unit may determine the region of interest based on the user's use history information on the object. According to this, there is an effect that the reliability of the object recognition result and the user fitness are enhanced.

상기 처리부는 상기 영상에 대한 사용자의 시청 상태에 기초하여 상기 관심영역을 결정할 수 있다. 이에 의하면, 불필요한 관심영역 결정 및 객체 인식 작업 수행에 따른 낭비와 속도저하를 방지하는 효과가 있다.The processing unit may determine the region of interest based on the viewing state of the user with respect to the image. According to this, there is an effect of preventing waste and speed degradation due to unnecessary region-of-interest determination and object recognition.

상기 처리부는 상기 객체정보를 서버로 전송하고, 상기 서버로부터 상기 연관서비스정보를 수신할 수 있다.The processing unit may transmit the object information to the server and receive the related service information from the server.

상기 연관서비스정보는 사용자정보를 포함할 수 있다. 이에 의하면, 연관서비스정보의 사용자적합도가 높아지는 효과가 있다.The associated service information may include user information. According to this, there is an effect that user fitness of the related service information is enhanced.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치의 제어방법은, 적어도 하나의 객체를 포함할 수 있는 영상을 수신하는 단계; 상기 영상을 표시하는 단계; 상기 영상에서 상기 객체가 존재할 것으로 예상되는 관심영역을 결정하는 단계; 상기 관심영역에서 상기 객체를 인식하는 단계; 상기 인식된 객체에 대한 객체정보를 생성하는 단계; 및 상기 객체정보에 기초하여 상기 인식된 객체에 관한 연관서비스정보를 처리하는 단계를 포함한다. 이에 의하면, 객체 인식에 앞서 먼저 관심영역을 결정하고 그 영역 내에만 객체 인식을 수행함으로써 자동으로 객체를 인식하고 연관서비스를 처리하는 과정 전체의 속도와 효율이 높아지는 효과가 있다.According to an aspect of the present invention, there is provided a method of controlling a display device, the method comprising: receiving an image including at least one object; Displaying the image; Determining an area of interest in the image where the object is expected to be present; Recognizing the object in the region of interest; Generating object information for the recognized object; And processing the associated service information related to the recognized object based on the object information. According to this, prior to the object recognition, the object region is first determined and the object recognition is performed only in the region, and thus the speed and efficiency of the entire process of automatically recognizing the object and processing the related service are increased.

상기 관심영역을 결정하는 단계는, 복수의 상기 객체의 속성 별로 상기 관심영역을 서로 다르게 결정하는 단계를 포함할 수 있다. 나아가, 상기 관심영역을 결정하는 단계는, 상기 각 객체의 속성에 따라 결정된 가중치에 기초하여 시각주의지도를 생성하고, 상기 생성된 시각주의지도를 이용하여 상기 관심영역을 결정하는 단계를 포함할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도가 높아지는 효과가 있다.The step of determining the region of interest may include the step of determining the region of interest differently for each of the plurality of objects. In addition, the step of determining the ROI may include generating a POI map based on weights determined according to the attributes of the objects, and determining the ROI using the generated POI maps have. According to this, there is an effect that the reliability of the object recognition result is increased.

상기 관심영역을 결정하는 단계는, 상기 영상에 관한 설명정보에 기초하여 상기 관심영역을 결정하는 단계를 포함할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도와 적합도가 높아지는 효과가 있다.The step of determining the region of interest may include the step of determining the region of interest based on the descriptive information about the image. According to this, there is an effect that the reliability and fitness of the object recognition result is increased.

상기 관심영역을 결정하는 단계는, 상기 객체에 대한 사용자의 사용이력정보에 기초하여 상기 관심영역을 결정하는 단계를 포함할 수 있다. 이에 의하면, 객체 인식 결과의 신뢰도와 사용자적합도가 높아지는 효과가 있다.The step of determining the region of interest may include determining the region of interest based on the user's usage history information for the object. According to this, there is an effect that the reliability of the object recognition result and the user fitness are enhanced.

상기 관심영역을 결정하는 단계는, 상기 영상에 대한 사용자의 시청 상태에 기초하여 상기 관심영역을 결정하는 단계를 포함할 수 있다. 이에 의하면, 불필요한 관심영역 결정 및 객체 인식 작업 수행에 따른 낭비와 속도저하를 방지하는 효과가 있다.The step of determining the region of interest may include the step of determining the region of interest based on a viewing state of the user with respect to the image. According to this, there is an effect of preventing waste and speed degradation due to unnecessary region-of-interest determination and object recognition.

상기 제어방법은, 상기 객체정보를 서버로 전송하고, 상기 서버로부터 상기 연관서비스정보를 수신하는 단계를 더 포함할 수 있다.The control method may further include transmitting the object information to a server and receiving the associated service information from the server.

상기한 바와 같이, 본 발명에 의하면, 빠르고 효율적으로 객체를 인식함으로써 객체 자동 인식에 기초한 연관서비스정보 처리의 속도와 효율이 높아진다.As described above, according to the present invention, the speed and efficiency of related service information processing based on automatic object recognition are improved by recognizing objects quickly and efficiently.

나아가, 본 발명에 의하면 객체 인식 결과의 신뢰도 및 적합도가 높아진다.Furthermore, according to the present invention, the reliability and fitness of the object recognition result is enhanced.

도 1은 본 발명의 제1실시예에 따른 디스플레이장치(300)의 작동개요를 나타내는 도면,
도 2는 본 발명의 제1실시예에 따른 관심영역 결정 및 객체 인식의 예시를 나타내는 도면,
도 3은 본 발명의 제1실시예에 따른 디스플레이장치(300)의 구성을 나타내는 도면,
도 4는 본 발명의 제1실시예에 따른 디스플레이장치(300) 중 처리부의 세부구성을 나타내는 도면,
도 5는 본 발명의 제1실시예에 따른 디스플레이장치(300) 중 처리부의 작동흐름을 나타내는 도면,
도 6은 본 발명의 제2실시예에 따른 디스플레이장치(300)의 세부 작동을 나타내는 도면,
도 7은 본 발명의 제3, 제4, 제5실시예에 따른 디스플레이장치(300)의 세부 작동을 나타내는 도면,
도 8은 본 발명의 제3실시예에 따른 디스플레이장치(300)의 작동 예를 나타내는 도면,
도 9는 본 발명의 제3실시예에 따른 디스플레이장치(300)의 다른 작동 예를 나타내는 도면,
도 10은 본 발명의 제3실시예에 따른 디스플레이장치(300)의 또 다른 작동 예를 나타내는 도면.1 is a diagram showing an operation outline of a display device 300 according to a first embodiment of the present invention,
2 is a diagram illustrating an example of region of interest determination and object recognition according to a first embodiment of the present invention;
3 is a view showing a configuration of a display device 300 according to the first embodiment of the present invention,
4 is a view showing a detailed configuration of a processing unit of the display device 300 according to the first embodiment of the present invention,
5 is a view showing an operation flow of the processing unit among the display apparatus 300 according to the first embodiment of the present invention,
6 is a detailed operation diagram of a display device 300 according to a second embodiment of the present invention.
FIG. 7 is a view showing the detailed operation of the display device 300 according to the third, fourth, and fifth embodiments of the present invention,
8 is a view showing an operation example of the display device 300 according to the third embodiment of the present invention,
9 is a view showing another operation example of the display device 300 according to the third embodiment of the present invention,
10 is a view showing another operation example of the display device 300 according to the third embodiment of the present invention.

이하에서는 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 실시예를 도면을 참조하여 설명한다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.Best Mode for Carrying Out the Invention Hereinafter, embodiments of the present invention capable of realizing the above object will be described with reference to the drawings. However, the technical spirit and essential structure and function of the present invention are not limited to the structure or function described in the following embodiments. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있고, 회로나 칩으로 구현될 수도 있으며, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수도 있다.In an embodiment of the present invention, terms including ordinal numbers such as first, second, etc. are used only for the purpose of distinguishing one constituent element from another, and the singular expressions, unless the context clearly indicates otherwise, &Lt; / RTI > It is also to be understood that in the practice of the invention, the terms " comprising, " " including, " " having ", and the like, Or < / RTI > Also, in the exemplary embodiments of the present invention, 'module' or 'sub' performs at least one function or operation, and may be implemented in hardware or software, or a combination of hardware and software, And may be implemented as at least one processor integrated into at least one module.

이하 실시예들에 의해 설명되는 본 발명의 사상은 영상을 표시하는 디스플레이장치에 적용될 수 있다. 본 발명이 적용되는 디스플레이장치의 예로는, TV, 스마트폰, 태블릿, 모바일 폰, 컴퓨터, 멀티미디어 재생기, 전자액자, 디지털 광고판, LFD(Large Format Display), 싸이니지, 셋탑박스, 스마트워치, 헤드 마운트형 디스플레이(head-mounted display) 등의 웨어러블 디바이스, 냉장고 등의 스마트가전이 있으나, 본 발명이 이에 한정되는 것은 아니다.The spirit of the present invention described by the embodiments below can be applied to a display device for displaying an image. Examples of the display device to which the present invention is applied include a TV, a smart phone, a tablet, a mobile phone, a computer, a multimedia player, an electronic frame, a digital billboard, a large format display (LFD), a set- A wearable device such as a head-mounted display, and a smart appliance such as a refrigerator, but the present invention is not limited thereto.

본 발명의 제1실시예는 도 1 내지 도 5를 참조하여 설명한다. A first embodiment of the present invention will be described with reference to Figs. 1 to 5. Fig.

본 발명의 실시예에 따르면, 적어도 하나의 객체를 포함할 수 있는 영상이 디스플레이장치(300)에 수신되면, 디스플레이장치(300)는 영상에서 객체가 존재할 것으로 예상되는 관심영역(Region Of Interest)을 결정한 후, 관심영역에서 객체를 인식하고 인식된 객체에 대한 객체정보를 생성하고 생성된 객체정보에 기초하여 연관서비스정보를 처리한다.According to an embodiment of the present invention, when an image including at least one object is received by the display device 300, the display device 300 displays a region of interest in which an object is expected to exist in the image After determining the object, it recognizes the object in the region of interest, generates object information about the recognized object, and processes the related service information based on the generated object information.

본 발명의 객체는 일정한 형체를 갖고 영상 내에 존재하며 영상을 구성하는 개별적인 요소를 말한다. 예컨대, 영상 내의 사람, 사물, 글자 등이 객체에 해당할 수 있다. 그러나 본 발명의 객체가 이에 한정되는 것은 아니다.The object of the present invention refers to an individual element that has a certain shape and exists in an image and constitutes an image. For example, a person, an object, a character, or the like in the image may correspond to the object. However, the object of the present invention is not limited thereto.

본 발명의 관심영역은, 영상에서 객체가 존재할 것으로 예상되는 영역으로서, 사용자가 영상 중에서 관심을 가지고 볼 가능성이 높은 영역일 수 있다. 즉, 관심영역은, 영상 중에서 사용자의 시선이 집중될 가능성이 높은 영역이라고도 할 수 있다. 본 발명의 제1실시예에 따른 디스플레이장치(300)는, 예컨대, 시각주의지도(saliency map)를 이용하여 관심영역을 결정할 수 있다. 시각주의지도는, 인간의 시각 시스템이 영상의 일부분에 더 집중하게 되는 현상을 컴퓨터 비전 분야에서 모델화한 것이다. 다만, 시각주의지도는 본 발명의 일 실시예에 의한 디스플레이장치(300)가 관심영역을 결정하기 위하여 이용하는 기법 중 하나의 예시일 뿐이며, 본 발명의 관심영역은, 사용자의 시선이 집중되는 영역을 판단할 수 있는 다른 다양한 방법에 의해서도 결정될 수 있다.The area of interest of the present invention is an area where an object is expected to exist in the image, and may be an area where the user is likely to see interest in the image. That is, the region of interest may be referred to as a region where the user's line of sight is likely to be concentrated in the image. The display device 300 according to the first embodiment of the present invention can determine a region of interest using, for example, a saliency map. The visual attention map is a model in the field of computer vision in which the human visual system becomes more focused on a part of the image. However, the visual attention map is only an example of one of the techniques that the display device 300 according to an embodiment of the present invention uses to determine a region of interest. The region of interest of the present invention is a region in which the user's gaze is concentrated But can also be determined by various other methods that can be determined.

본 발명의 객체정보는 인식된 객체가 무엇인지, 입력 영상 내에서 해당 객체의 위치는 어디인지 등에 관한 정보를 포함하는 것으로서, 디스플레이장치(300) 또는 그 이외의 장치에서, 인식된 객체에 관한 연관서비스정보를 생성하는데 있어 기초자료로 사용되는 정보이다.The object information of the present invention includes information on what the recognized object is, the location of the corresponding object in the input image, and the like. In the display device 300 or other devices, It is the information that is used as basic data in generating service information.

도 1을 참조하여 본 발명의 제1실시예를 자세히 설명하면 다음과 같다. 디스플레이장치(300)는 입력 영상을 수신한다(S101). 이후 입력영상에 대한 시각주의지도(saliency map)을 계산한다(S103). 시각주의지도가 계산되면 이를 바탕으로 관심영역을 결정할 수 있다.The first embodiment of the present invention will be described in detail with reference to FIG. The display device 300 receives the input image (S101). Then, a saliency map for the input image is calculated (S103). When the visual attention map is calculated, the area of interest can be determined based on this map.

관심영역이 결정되면 각 관심영역이 사람 영역인지 사물 영역인지 글자 영역인지를 판별하여 분류한다(S105). 이후 각 분류군에 적합한 객체 인식기를 사용하여 객체를 인식한다(S106).If the region of interest is determined, it is determined whether each region of interest is a human region, an object region, or a character region, and classified (S105). Thereafter, the object is recognized using an object recognizer suitable for each taxon (S106).

여기서, 장면 전환 감지 기술을 사용하여 객체 인식 속도를 더욱 빠르게 하는 것도 가능하다(S102). 즉, 장면 전환 감지를 통해 현재의 입력 영상이 기존의 영상과 같은 장면(scene)에 속하는지 여부 판단하고, 판단 결과 현재의 입력 영상이 기존의 영상과 같은 장면(scene)에 속할 경우, 객체 추적(object tracking) 기술을 더 이용하면 종래 영상에서 객체로 인식한 정보를 활용하여 현재 입력 영상의 객체를 빠르게 파악할 수 있으므로 객체 인식 속도를 향상시킬 수 있다(S104).Here, it is also possible to further speed up object recognition using the scene change detection technique (S102). That is, it is determined whether the current input image belongs to the same scene as the existing image through the scene change detection. If the current input image belongs to the same scene as the existing image, (object tracking) technique, it is possible to quickly recognize an object of a current input image by utilizing information recognized as an object in a conventional image, thereby improving the speed of object recognition (S104).

객체가 인식된 후에는 인식된 각 객체에 대하여 객체정보를 태깅(tagging)한다(S107). 태깅된 객체정보는 서버(310)에 전송된다(S108). 서버(310)는 수신한 객체정보에 기초하여 상기 인식된 객체에 관한 연관서비스정보를 생성한 후 이를 디스플레이장치(300)로 전송한다(S109). 연관서비스정보의 예로는 객체정보를 활용한 광고, 객체정보를 통해 분석한 사용자의 취향을 고려한 컨텐츠 추천, 객체정보를 통해 분석한 사용자의 시청 컨텐츠 이력에 기반한 서비스정보 등이 가능하다.After the object is recognized, the object information is tagged for each recognized object (S107). The tagged object information is transmitted to the server 310 (S108). The server 310 generates related service information related to the recognized object based on the received object information and transmits it to the display device 300 (S109). Examples of the related service information include advertisements using object information, recommendation of contents considering user's taste analyzed through object information, service information based on the viewer's contents history analyzed by object information, and the like.

도 2는 본 발명의 제1실시예에 따른 관심영역 결정 및 객체 인식의 예시를 나타내는 도면이다. 디스플레이장치(300)는 입력 영상(201)이 수신되면 그 영상에 대한 시각주의지도를 생성한다. 도 2의 입력 영상(201)에 대한 시각주의지도에 의하면, 입력 영상(201)에서 가장 눈에 띄는 인물 영역(202, 203), 글자 영역(204, 205), 사물 영역(206)이 관심영역으로 결정된다. 위와 같이 관심영역이 결정된 후에는 각 관심영역에 대해 객체 인식을 수행함으로써 각 관심영역 내에 존재하는 객체가 무엇인지를 식별하게 된다.2 is a diagram illustrating an example of region of interest determination and object recognition according to a first embodiment of the present invention. When the input image 201 is received, the display device 300 generates a visual attention map for the image. According to the visual attention map of the input image 201 shown in Fig. 2, the character areas 202 and 203, the character areas 204 and 205 and the object area 206, which are most prominent in the input image 201, . After the region of interest is determined as described above, object recognition is performed for each region of interest, thereby identifying what objects exist in each region of interest.

도 3은 본 발명의 제1실시예에 따른 디스플레이장치(300)의 구성을 나타내는 도면이다. 디스플레이장치(300)는 영상수신부(301), 처리부(302), 통신부(303)로 구성된다. 디스플레이장치(300)는 서버(310)와 통신할 수 있다. 그 경우 서버(310)는 통신부(311), 처리부(312), 데이터베이스(313)로 구성될 수 있다. 서버(310)는 디스플레이장치(300) 내부에 존재하는 것도 가능하나, 이하에서는 설명의 편의상 디스플레이장치(300)의 외부에 있는 것으로 가정한다.3 is a view showing a configuration of a display device 300 according to the first embodiment of the present invention. The display device 300 includes an image receiving unit 301, a processing unit 302, and a communication unit 303. The display device 300 can communicate with the server 310. In this case, the server 310 may include a communication unit 311, a processing unit 312, and a database 313. The server 310 may exist inside the display apparatus 300, but it is assumed that the server 310 is outside the display apparatus 300 for convenience of explanation.

영상수신부(301)는 디스플레이장치(300)로 입력되는 영상을 수신한다. 영상신호의 한 예로 방송신호가 있다. 그러나 영상신호는 이에 한정되지 않고 디스플레이장치(300)에서 영상으로 표시될 수 있는 신호라면 무엇이든 가능하다. 또한, 영상은 디스플레이장치(300)의 외부로부터 수신될 수도 있고 디스플레이장치의 내부에 저장되어 있는 저장부를 통해 제공될 수도 있다.The image receiving unit 301 receives an image input to the display device 300. An example of a video signal is a broadcast signal. However, the video signal is not limited thereto, and any signal that can be displayed as an image in the display device 300 is possible. In addition, the image may be received from the outside of the display device 300 or may be provided through a storage unit stored in the display device.

영상신호가 방송신호인 경우, 영상수신부(301)가 영상신호는 유선신호 또는 무선신호일 수 있고, 디지털신호 또는 아날로그신호일 수도 있으며, 공중파 신호, 케이블신호, 위성신호 또는 네트워크신호일 수도 있다. 나아가 영상수신부(301)는 무선통신을 위한 와이파이 통신모듈, 별도의 유선 접속을 위한 이더넷 모듈, USB 메모리의 접속을 위한 USB 포트 등을 추가적으로 포함할 수 있다.When the video signal is a broadcasting signal, the video signal of the video receiving unit 301 may be a wired signal or a wireless signal, a digital signal or an analog signal, an airwave signal, a cable signal, a satellite signal, or a network signal. Furthermore, the image receiving unit 301 may further include a Wi-Fi communication module for wireless communication, an Ethernet module for a separate wired connection, and a USB port for connecting the USB memory.

처리부(302)는 영상수신부(301)가 수신한 영상에 대하여, 관심영역을 결정하고 관심영역에서 객체를 인식하며 객체정보를 생성한 후 객체정보를 통신부(303)로 보낸다. 처리부(302)는 입력 영상으로부터 관심영역을 결정하고 객체를 인식하며 객체정보를 생성할 수 있는 이미지 프로세서, 이미지 프로세서를 포함하고 있는 칩셋, 모듈 또는 전자 디바이스 등으로 구현될 수 있다.The processing unit 302 determines an area of interest for the image received by the image receiving unit 301, recognizes the object in the area of interest, generates object information, and sends the object information to the communication unit 303. The processing unit 302 may be implemented as an image processor, a chipset, a module, or an electronic device including an image processor capable of determining an area of interest from an input image and recognizing the object and generating object information.

통신부(303)는 유선 또는 무선으로 네트워크와 연결되어 외부의 서버(310)와 통신을 수행한다. 구체적으로, 통신부(303)는 처리부(302)가 생성한 객체정보를 서버(310)로 송신하고, 서버(310)에서 생성한 연관서비스정보를 수신한다.The communication unit 303 is connected to the network through wired or wireless communication with the external server 310. Specifically, the communication unit 303 transmits the object information generated by the processing unit 302 to the server 310, and receives the associated service information generated by the server 310. [

통신부(303)는 넓은 의미의 WLAN(Wireless Local Area Network)를 위한 통신 프로토콜을 포함할 수 있다. 또한, 블루투스, Wi-Fi, 지그비(Zigbee), IR통신, RF 통신 등 다양한 통신방법에 대응하는 통신 모듈을 포함할 수 있다.The communication unit 303 may include a communication protocol for a WLAN (Wireless Local Area Network) in a broad sense. In addition, it may include a communication module corresponding to various communication methods such as Bluetooth, Wi-Fi, Zigbee, IR communication, and RF communication.

서버(310)의 통신부(311)는 디스플레이장치(300)로부터 객체정보를 수신하고 서버(310)에서 생성한 연관서비스정보를 디스플레이장치(300)에 송신한다. 하드웨어적인 구성은 디스플레이장치(300)의 통신부(303)에서의 설명이 그대로 적용 가능하다.The communication unit 311 of the server 310 receives the object information from the display device 300 and transmits the associated service information generated by the server 310 to the display device 300. The hardware configuration may be applied to the communication unit 303 of the display device 300 as it is.

서버(310)의 처리부(312)는 통신부(311)가 수신한 객체정보에 기초하여 해당 객체와 관련된 연관서비스정보를 생성한다. 연관서비스정보 생성시에는 데이터베이스(313)를 참고할 수 있다. 데이터베이스(313)에는 사용자의 객체에 대한 사용이력정보 등이 저장되어 있을 수 있다.The processing unit 312 of the server 310 generates the related service information related to the object based on the object information received by the communication unit 311. [ The database 313 may be referred to when generating the associated service information. The database 313 may store usage history information of the user's object.

이하, 디스플레이장치(300)의 처리부(302)의 세부구성을 도 4를 참조하여 설명한다. 디스플레이장치(300)의 처리부(302)는 영상수신부(410), 관심영역 결정부(420), 객체 인식부(430), 객체정보 생성부(440), 연관서비스정보 처리부(460)로 구성된다.Hereinafter, the detailed configuration of the processing unit 302 of the display device 300 will be described with reference to FIG. The processing unit 302 of the display device 300 includes an image receiving unit 410, a region of interest determining unit 420, an object recognizing unit 430, an object information generating unit 440, and an associated service information processing unit 460 .

영상수신부(410)는 입력 영상 캡쳐부(411)와 이미지 전처리부(412)를 포함한다. 입력 영상 캡쳐부(411)는 입력 영상 중 객체 인식에 적합한 사이즈의 영상을 캡쳐한다. 이미지 전처리부(412)는 캡쳐된 영상에 대하여 대비도 증가(Contrast/Detail Enhancement), 노이즈 감소(Noise Reduction) 등의 처리를 수행한다.The image receiving unit 410 includes an input image capturing unit 411 and an image preprocessing unit 412. The input image capturing unit 411 captures an image of a size suitable for object recognition among input images. The image preprocessing unit 412 performs processing such as Contrast / Detail Enhancement and Noise Reduction for the captured image.

전처리된 영상은 관심영역 결정부(420)로 보내진다. 관심영역 결정부(420)는 특징 추출부(421), 차이 계산부 및 필터링부(422), 시각주의영역 감지부(423)를 포함한다. 특징 추출부(421)는 전처리된 입력 영상에서 주파수, 컬러, 모션 벡터 등의 정보를 추출한다. 차이 계산 및 필터링부(422)는 각 추출된 특징정보마다 차이(Temporal Difference)를 계산하여 시각주의영역의 기초가 되는 맵을 생성하고 여기에 IIR 필터를 적용하여 맵의 안정성을 확보한다. 시각주의영역 감지부(423)는 위 맵에 기초하여 시각주의영역(Salient Region)을 감지한다. 감지된 시각주의영역에 의해 관심영역이 결정된다.The preprocessed image is sent to the region of interest decision unit 420. The interest region determining unit 420 includes a feature extracting unit 421, a difference calculating unit, a filtering unit 422, and a visual attention region sensing unit 423. The feature extraction unit 421 extracts information such as frequency, color, and motion vector from the preprocessed input image. The difference calculation and filtering unit 422 calculates a temporal difference for each extracted feature information, generates a map serving as a basis of the visual attention region, and secures the stability of the map by applying an IIR filter thereto. The visual attention area sensing unit 423 senses a salient area based on the above map. The region of interest is determined by the detected visual attention region.

객체 인식부(430)는 인식 엔진(431)을 포함한다. 객체 인식부(430)는 결정된 관심영역에 대해 객체 인식을 수행하여 그 결과를 위치정보(432)와 객체인식결과(433)로 저장한다. 위치정보(432)는 인식된 객체의 영상 내 위치 등에 관한 정보를 포함하고, 객체인식결과(433)는 해당 객체가 사람인지 사물인지 글자인지 등에 관한 분류 정보를 포함한다.The object recognition unit 430 includes a recognition engine 431. The object recognition unit 430 performs object recognition on the determined region of interest and stores the result as the location information 432 and the object recognition result 433. The location information 432 includes information on the location of the recognized object in the image and the like, and the object recognition result 433 includes classification information about whether the object is a person, an object, or a character.

인식된 객체는 객체정보 생성부(440)로 보내진다. 객체정보 생성부(440)는 객체 인식 정보인 위치정보(432)과 객체인식결과(433)를 메타데이터(metadata)(441) 형태로 저장한다. 객체정보 생성부(440)는 객체추적 및 장면 전환 감지부(442)와 연동될 수 있다. 연동되는 모습을 구체적으로 살펴보면, 객체추적 및 장면 전환 감지부(442)는 장면이 전환되었는지 여부를 판단하여 장면이 전환되지 않았을 경우에는 동일한 객체를 장면 내에서 계속 추적한다. 추적된 객체는 그 객체가 최초로 인식되었을 때 객체정보가 이미 생성되었으므로 추적된 객체에 대하여는 객체정보 생성부(440)에서 객체정보를 생성하지 않아도 무방하다.The recognized object is sent to the object information generating unit 440. The object information generating unit 440 stores the object information 432 and the object recognition result 433 in the form of a metadata 441. The object information generation unit 440 may be interlocked with the object tracking and scene change detection unit 442. Concretely, the object tracking and scene change detection unit 442 determines whether or not scenes have been switched. If the scenes are not switched, the object tracking and scene change detection unit 442 keeps track of the same objects in the scene. Since the object information has already been generated when the object is recognized for the first time, the object information generator 440 does not need to generate the object information for the tracked object.

객체정보 생성부(440)에서 생성된 메타데이터(441)는 서버(310)의 처리부(312) 내의 연관서비스정보 제공부(450)로 전송된다. 연관서비스정보 제공부(450)는 수신한 메타데이터(441)에 기초하여 그 객체에 관한 연관서비스정보를 생성한다. 연관서비스정보의 예로는, 객체 단위의 인식결과를 활용하여 광고 플랫폼을 연동하는 것, 컨텐츠를 추천하는 것, 사용자 로그 분석을 통해 관련 어플리케이션에 정보를 제공하는 것 등을 들 수 있다.The metadata 441 generated by the object information generating unit 440 is transmitted to the related service information providing unit 450 in the processing unit 312 of the server 310. [ The associated service information providing unit 450 generates related service information related to the object based on the received metadata 441. [ Examples of associated service information include linking an advertising platform using object-based recognition results, recommending content, and providing information to related applications through user log analysis.

연관서비스정보 처리부(460)는 서버(310)의 처리부(312)가 생성한 연관서비스정보를 수신하고 이를 처리하여 디스플레이장치(300)의 사용자에게 연관서비스에 관한 정보를 제공한다. The related service information processing unit 460 receives the related service information generated by the processing unit 312 of the server 310 and processes the related service information to provide information on the related service to the user of the display device 300. [

도 5는 본 발명의 제1실시예에 따른 디스플레이장치(300) 중 처리부(302)의 작동흐름을 나타내는 도면이다. 디스플레이장치(300)의 처리부(302)는 입력영상에서 관심영역을 결정하고(S501) 관심영역에서 객체를 인식한 후(S502) 인식된 객체에 대한 객체정보를 생성하여(S503) 서버(310)로 객체정보를 전송한다. 서버(310)의 처리부(312)에서는 수신된 객체정보에 기초하여 연관서비스정보를 생성한 후(S504) 디스플레이장치(300)로 전송한다. 연관서비스정보를 수신한 디스플레이장치(300)의 처리부(302)는 이를 처리한다.5 is a flowchart illustrating an operation of the processing unit 302 in the display apparatus 300 according to the first embodiment of the present invention. The processing unit 302 of the display device 300 determines the region of interest in the input image (S501), recognizes the object in the region of interest (S502), generates object information about the recognized object (S503) As shown in FIG. The processing unit 312 of the server 310 generates the related service information based on the received object information (S504) and transmits it to the display device 300. [ The processing unit 302 of the display device 300 that has received the associated service information processes the information.

디스플레이장치(300)의 처리부(302)는 객체의 속성별로 관심영역을 서로 다르게 결정할 수 있다(제2실시예). 여기서 객체의 속성이란, 일군의 객체가 다른 군의 객체와 구별되는 특징을 말한다. 본 발명의 제2실시예에 따르면, 예를 들어, 인식대상 객체가 '글자'인 경우, 관심영역 결정 방법을 인식대상 객체가 '사람'인 경우 또는 '사물'인 경우의 관심영역 결정 방법과는 다르게 함으로써 보다 신뢰도가 높은 관심영역을 결정할 수 있다. 영상 속에서 글자의 속성은 사람이나 사물의 속성과는 구별된다. 따라서 이러한 구별되는 특징을 반영하여 인식하려는 객체의 속성에 적합한 특징값을 선택하고 나아가 각 특징값에 대한 가중치도 조정하면 해당 객체에 대한 관심영역의 신뢰도를 높일 수 있다. 구체적으로, 글자 객체의 경우 주위 배경 또는 다른 객체와 비교하여 그 재질이나, 기울어진 정도, 색상에 있어서 확연한 차이가 난다는 특징이 있다. 따라서 시각주의지도 생성시 재질(frequency), 기울어진 정도(skew), 색상(color) 등을 특징값으로 선택하면 글자 객체 인식의 신뢰도가 높은 관심영역을 결정하는 것이 가능하다.The processing unit 302 of the display device 300 can determine the region of interest differently for each attribute of the object (the second embodiment). Here, an attribute of an object refers to a feature in which a group of objects is distinguished from other groups of objects. According to the second embodiment of the present invention, for example, when the object to be recognized is 'letter', a method of determining a region of interest is a method of determining a region of interest when the object to be recognized is 'person' It is possible to determine a region of interest with higher reliability. In the video, the attributes of characters are distinguished from those of people or things. Therefore, it is possible to increase the reliability of the ROI for the object by selecting the characteristic value suitable for the object property to be recognized and adjusting the weight value for each characteristic value according to the distinguishing characteristic. Specifically, the character object has a distinctive difference in the material, tilting degree, and color compared to the surrounding background or other objects. Therefore, it is possible to determine the region of interest with high reliability of recognition of the character object by selecting the frequency, skew, color, and the like as the feature value when generating the visual attention map.

도 6이 이러한 본 발명의 제2실시예에 따른 디스플레이장치(300)의 세부 작동을 나타내는 도면이다. 제2실시예에 따르면, 제1실시예에 관한 도 5에서 관심영역을 결정하는 단계(S512)에 앞서서, 인식대상 객체의 속성을 파악하고 그에 따라 관심영역을 다르게 결정하는 단계가 추가된다. 예를 들어 인식하고자 하는 객체를 그 속성에 따라 사람, 사물, 글자로 분류하여 접근하는 경우, 처리부(302)는 인식하고자 하는 객체가 사람인지 사물인지 글자인지를 판단하여(S602), 해당 인식대상 객체의 인식을 위한 관심영역 결정에 적합한 특징값 및 가중치를 선택하고(S603, S604, S605) 그로부터 시각주의지도를 생성한 후(S606) 관심영역을 결정한다(S511).FIG. 6 is a view showing detailed operation of the display device 300 according to the second embodiment of the present invention. According to the second embodiment, prior to step S512 of determining the region of interest in FIG. 5 according to the first embodiment, a step of grasping the attribute of the object to be recognized and determining the region of interest differently is added. For example, when an object to be recognized is categorized as a person, a thing, or a character according to the attribute, the processing unit 302 determines whether the object to be recognized is a person, an object, or a character (S602) (S603, S604, S605), a visual attention map is generated therefrom (S606), and a region of interest is determined (S511).

관심영역 및 인식 결과의 신뢰도를 높이는 방법은 위 제2실시예에 한정되지 않는다. 관심영역의 신뢰도를 높이기 위하여, 디스플레이장치(300)의 처리부(302)는 영상에 관한 설명정보에 기초하여 관심영역을 결정할 수도 있고(제3실시예), 사용자의 사용이력정보에 기초하여 관심영역을 결정할 수도 있으며(제4실시예), 영상에 대한 사용자의 시청 상태에 기초하여 관심영역을 결정할 수도 있다(제5실시예).The method of increasing the reliability of the area of interest and the recognition result is not limited to the above second embodiment. In order to increase the reliability of the ROI, the processing unit 302 of the display apparatus 300 may determine the ROI based on the explanatory information about the image (third embodiment), and based on the use history information of the user, (The fourth embodiment), and may determine the region of interest based on the viewing state of the user with respect to the image (the fifth embodiment).

도 7이 위와 같은 본 발명의 제3, 제4, 제5실시예에 따른 디스플레이장치의 세부 작동을 나타내는 도면이다. 도 7(a), 7(b), 7(c)가 각각 제3, 제4, 제5실시예에 대응된다.FIG. 7 is a view illustrating detailed operations of the display device according to the third, fourth, and fifth embodiments of the present invention. 7 (a), 7 (b), and 7 (c) correspond to the third, fourth, and fifth embodiments, respectively.

본 발명의 제3실시예에 따르면, 디스플레이장치(300)의 처리부(302)는 먼저 영상에 관한 설명정보를 수신한다(S701). 여기서 영상에 관한 설명정보는 해당 영상에 관련된 각종의 정보를 기술한 내용을 담고 있는 데이터로서, 해당 영상에 관한 정보를 메타데이터 형태로 담고 있을 수 있다. 예를 들어 해당 영상이 방송 프로그램일 경우, 영상에 관한 설명정보는 해당 방송 프로그램의 제목, 프로그램의 분야, 해당 회차 방송내용, 각 장면별 설명(scene description), 제작방송국명, 방송 시간, 출연자 정보, 자막, 관련 프로그램 등의 정보를 포함할 수 있다. 디스플레이장치(300)의 처리부(302)는 이러한 영상에 관한 설명정보를 분석하여 해당 방송에서 주요 인식대상이 될 객체가 무엇인지를 파악한다(S702). 이렇게 해당 방송의 주요 인식대상 객체를 예측한 후 각 객체의 속성에 따라 관심영역을 다르게 결정하는 단계로 나아가면(S601) 신뢰도 높은 관심영역을 결정할 수 있다.According to the third embodiment of the present invention, the processing unit 302 of the display apparatus 300 first receives explanatory information on the image (S701). Here, the descriptive information on the image includes data describing various kinds of information related to the image, and information about the image may be contained in the form of metadata. For example, when the corresponding image is a broadcast program, description information on the image includes a title of the broadcast program, a field of the program, a content of the corresponding broadcast, a scene description, a name of the broadcast station, , Subtitles, related programs, and the like. The processing unit 302 of the display device 300 analyzes the explanatory information on the image to determine what object to be a main recognition target in the broadcast (S702). In step S601, it is possible to determine a region of interest with high reliability by predicting the main recognition target object of the broadcast and then determining the region of interest differently according to the property of each object.

본 발명의 제4실시예에 따르면, 디스플레이장치(300)의 처리부(302)는 객체에 대한 사용자의 사용이력정보를 수신한다(S703). 객체에 대한 사용자의 사용이력정보는 사용자의 디스플레이장치 이력 정보를 객체의 관점에서 파악한 것으로서, 과거로부터의 객체 인식 결과를 통해 축적된 사용자의 관심 객체 히스토리 또는 데이터베이스를 포함할 수 있다. 디스플레이장치(300)의 처리부(302)는 이러한 객체에 대한 사용자의 사용이력정보를 분석하여 해당 방송에서 사용자가 주로 관심을 가질 객체가 무엇인지를 파악한다(S704). 이렇게 사용자가 관심을 가질만한 객체를 예측한 후 각 객체의 속성에 따라 관심영역을 다르게 결정하는 단계로 나아가면(S601) 사용자의 취향에 부합하며 신뢰도가 높은 관심영역을 결정할 수 있다.According to the fourth embodiment of the present invention, the processing unit 302 of the display device 300 receives the user's usage history information on the object (S703). The history information of the user about the object may include the history of the user's interest or the database of the user accumulated through the result of the recognition of the past from the past. The processing unit 302 of the display device 300 analyzes the user's history information of the object and determines what object the user is interested mainly in the broadcast (S704). If the user predicts an object of interest and then determines the region of interest differently according to the property of each object (S601), it is possible to determine a region of interest having high reliability that matches the user's taste.

본 발명의 제5실시예에 따르면, 디스플레이장치(300)의 처리부(302)는 영상에 대한 사용자의 시청 상태를 파악한다(S705). 영상에 대한 사용자의 시청 상태를 파악하는 방법은 다양할 것이나, 하나의 예로는 해당 영상에 대한 시청 시간을 분석함으로써 파악할 수 있다. 영상에 대한 사용자의 시청 시간이 짧을 경우 해당 영상에 대해 사용자의 관심도가 높지 않거나 다른 프로그램으로 채널을 돌리는 과정 중에 잠시 재생된 것으로 추측할 수 있다. 따라서 해당 영상에 대한 사용자의 시청 시간이 소정 시간 이상일 경우에만 관심영역 결정단계(S511)로 나아가고, 그렇지 않을 경우에는 관심영역 결정단계로 나아가지 않음으로써(S706) 불필요한 관심영역 결정 및 객체 인식 작업 수행에 따른 낭비와 처리부(302) 속도저하를 방지할 수 있다.According to the fifth embodiment of the present invention, the processing unit 302 of the display device 300 grasps the viewing state of the user with respect to the image (S705). There are a variety of methods for grasping the user's viewing state of the image, but one example can be understood by analyzing the viewing time of the corresponding image. If the user's viewing time for the video is short, the user's interest in the video is not high, or it can be assumed that the user is temporarily playing during the process of turning the channel to another program. Therefore, if the user's viewing time for the corresponding image is longer than the predetermined time, the process proceeds to the interest area determination step S511. Otherwise, the user does not advance to the interest area determination step (S706) And the speed of the processing unit 302 can be prevented from being lowered.

본 발명의 제3실시예에 따른 구체적인 작동 모습은 도 8 내지 도 10을 참조하여 설명한다. A specific operation view according to the third embodiment of the present invention will be described with reference to Figs. 8 to 10. Fig.

도 8은 본 발명의 제3실시예에 따른 디스플레이장치(300)의 작동 예를 나타내는 도면이다. 디스플레이장치(300)에는 맛집 관련 프로그램이 방영 중이다. 디스플레이장치(300)의 처리부(302)는 방송 프로그램의 설명정보를 수신하고 분석하여 현재 방영 중인 방송 프로그램이 맛집 관련 프로그램임을 파악한다. 그로부터 해당 영상에서 주요 인식대상이 될 객체가 음식과 글자라는 것도 파악할 수 있다. 따라서 음식 및 글자 객체 인식에 적절한 특징값 및 가중치를 선택한 후 이를 토대로 시각주의시도를 생성하고 관심영역을 결정한다. 결정된 관심영역에서 음식 및 글자 객체를 인식하고 객체정보를 생성한다. 생성된 객체정보는 서버(310)로 전송한다.8 is a view showing an operation example of the display device 300 according to the third embodiment of the present invention. A restaurant-related program is being broadcast on the display device 300. The processing unit 302 of the display device 300 receives and analyzes the description information of the broadcast program to determine that the broadcast program currently being broadcast is a restaurant-related program. From this, it can be understood that the object to be recognized as a major object in the image is food and character. Therefore, we select feature values and weights appropriate for food and character object recognition, and then create visual attention attempts based on them and determine the area of interest. Recognizes food and character objects in the determined region of interest and generates object information. The generated object information is transmitted to the server 310.

서버(310)는 디스플레이장치(300)로부터 수신한 음식 및 글자 객체정보를 바탕으로 연관서비스정보를 생성한다. 글자 객체정보에는 해당 맛집의 이름이 담겨 있을 수 있으므로 서버(310)는 해당 맛집의 이름을 바탕으로 해당 맛집 관련 정보를 구성하여 연관서비스정보의 형태로 생성할 수 있다. 또한 서버(310)는 음식 객체정보를 통해 해당 음식이 무엇인지를 파악하여 해당 음식 관련 재료 정보 등도 연관서비스정보의 형태로 생성 가능하다. 디스플레이장치(300)는 서버(310)로부터 연관서비스정보를 수신하여 화면에 표시한다. 그 결과 디스플레이장치(300)의 사용자는 맛집 관련 프로그램을 시청하는 중에 해당 맛집에 관한 추가적인 정보나 해당 음식에 관한 추가적인 정보를 제공받게 된다.The server 310 generates related service information based on the food and character object information received from the display device 300. Since the name of the favorite restaurant may be contained in the character object information, the server 310 may construct the relevant restaurant-related information based on the name of the favorite restaurant and generate it in the form of related service information. In addition, the server 310 can recognize what the corresponding food is through the food object information, and generate the related food related information in the form of related service information. The display apparatus 300 receives the related service information from the server 310 and displays it on the screen. As a result, the user of the display device 300 receives additional information about the restaurant or additional information about the food during the viewing of the restaurant-related program.

여기서 연관서비스정보는 자동으로 디스플레이장치(300)에 표시될 수도 있고 사용자가 해당 정보의 제공을 선택한 경우에만 표시될 수도 있다. 또한, 디스플레이장치(300)에 표시 중인 방송 프로그램의 화면 위에 겹쳐서 표시될 수도 있고, 방송 프로그램의 화면과는 별도로 마련된 표시 공간에 표시될 수도 있다.Here, the related service information may be automatically displayed on the display device 300 or may be displayed only when the user selects to provide the information. In addition, it may be displayed on the display device 300 in a superimposed manner on the screen of the broadcast program being displayed, or may be displayed in a display space provided separately from the screen of the broadcast program.

도 9는 본 발명의 제3실시예에 따른 디스플레이장치(300)의 다른 작동 예를 나타내는 도면이다. 디스플레이장치(300)에는 드라마가 방영 중이다. 앞서 도 8에서와 마찬가지로 이 경우에도 디스플레이장치(300)는 방송 프로그램의 설명정보를 수신하고 분석한다. 이를 통해 현재 방영 중인 방송 프로그램이 드라마임을 파악한다. 그로부터 해당 영상에서 주요 인식대상이 될 객체가 사람이라는 것도 파악할 수 있다. 따라서 사람 객체 인식에 적절한 특징값 및 가중치를 선택한 후 이를 토대로 시각주의시도를 생성하고 관심영역을 결정한다. 이후 결정된 관심영역에서 객체를 인식하고 객체정보를 생성하여 서버로 전송하는 것은 도 8에서와 동일하다.9 is a view showing another operation example of the display device 300 according to the third embodiment of the present invention. The display device 300 is displaying a drama. 8, the display device 300 receives and analyzes the description information of the broadcast program. Through this, it is understood that the broadcasting program currently being broadcast is a drama. From this, it can be understood that the object to be a main recognition target in the image is a person. Therefore, we select characteristic values and weights suitable for human object recognition, create visual attention attempts based on them, and determine the region of interest. Then, the object is recognized in the determined region of interest and the object information is generated and transmitted to the server as in FIG.

도 9의 예는 연관서비스정보가 사용자정보를 포함하는 점에 특징이 있다. 사용자정보란, 사용자의 이름, 나이, 성별, 거주지 정보, 방송 프로그램 시청 이력 등 사용자를 특정할 수 있거나 사용자의 기호나 취향, 선호를 파악할 수 있는 정보를 포함한다. 도 9의 예에서는, 서버(310)가 디스플레이장치(300)로부터 수신한 사람 객체정보를 바탕으로 연관서비스정보를 생성함에 있어서 사용이력정보 데이터베이스(313)를 사용한다. 연관서비스정보를 생성함에 있어서 과거로부터 사용자가 시청한 영상에 대한 객체 인식 결과를 축적해놓은 데이터베이스(313)를 참조함으로써, 연관서비스정보에 해당 영상에서 인식된 객체정보뿐만 아니라 사용자가 그동안 관심을 보였던 객체에 관한 정보도 반영할 수 있게 되어 사용자에게 더욱 특화된 연관서비스정보를 제공할 수 있게 된다. 도 9의 경우 디스플레이장치(300)가 드라마 영상 속에서 주인공 AAA와 BBB를 인식하여 이를 객체정보로 전송하면, 서버(310)는 사용이력정보 데이터베이스(313)를 참조하여 위 두 객체정보 중에서 사용자가 더욱 관심을 갖고 있는 주인공은, 예를 들어, AAA임을 파악할 수 있다. 그에 따라 서버(310)는 AAA 객체에 관한 연관서비스정보, 예를 들어 AAA가 출연한 최신 영화 등의 컨텐츠 정보를 생성할 수 있다. The example of FIG. 9 is characterized in that the associated service information includes user information. The user information includes information that can specify the user such as the user's name, age, sex, residence information, history of viewing the broadcast program, or can grasp the taste, preference and preference of the user. In the example of FIG. 9, the server 310 uses the usage history information database 313 in generating the related service information based on the person object information received from the display device 300. By referring to the database 313 storing the object recognition result of the image viewed by the user from the past in the generation of the related service information, not only the object information recognized in the corresponding image but also the object So that it is possible to provide more specific related service information to the user. 9, when the display device 300 recognizes the main characters AAA and BBB in the drama image and transmits the AAA and BBB as object information, the server 310 refers to the usage history information database 313, For example, the main character who is more interested can understand that it is AAA. Accordingly, the server 310 can generate the content information such as the latest movie starring the AAA, for example, related service information related to the AAA object.

연관서비스정보가 복수의 사용자정보를 참조할 수 있음을 물론이다. 예를 들어, 위의 예에서 사용자의 거주지 정보를 추가로 참조하여, 사용자의 거주지 주변에서 AAA가 출연한 최신 영화가 상영되고 있는 영화관을 추천하는 것도 가능하다. 이에 의하면, 연관서비스정보의 사용자적합도와 유용성이 더욱 높아지는 효과가 있다.It is a matter of course that the related service information can refer to a plurality of pieces of user information. For example, in the above example, it is also possible to refer to a user's residence information to recommend a movie theater where the latest movie starring AAA is displayed around the user's residence. According to this, there is an effect that user fitness and usability of the related service information are further enhanced.

도 9의 서버(310)에서 생성된 연관서비스정보는 앞서 도 8에서와 같이 사용자가 영상을 시청하고 있던 디스플레이장치(300)에 전송할 수 있으나, 위 디스플레이장치(300)와는 별도의 디스플레이장치(320)에 전송하는 것도 가능하다. 별도의 디스플레이장치(320)는 서버(310)에서 생성한 연관서비스정보를 수신하여 표시할 수 있는 장치라면 무엇이든 가능하나, 사용자의 스마트폰을 별도의 디스플레이장치(320)로 설정하여 연관서비스정보를 전송하면 유용할 것이다. 그 경우 사용자는 서버(310)에서 생성한 연관서비스정보의 내용을 스마트폰(320)을 통해 확인할 수 있고 이후 사용자입력을 통한 추가적인 상호작용도 가능하다. 예를 들어, 해당 연관서비스정보가 도 9에서와 같이 추천 컨텐츠 정보라면 사용자가 스마트폰(320)에 표시된 해당 추천 컨텐츠를 선택할 경우 그 컨텐츠의 구매 화면으로 전환되는 등의 상호작용이 가능하다. 연관서비스정보는 자동으로 별도의 디스플레이장치(320)에 표시될 수도 있고 사용자가 해당 정보의 제공을 선택한 경우에만 표시될 수도 있다.The related service information generated by the server 310 of FIG. 9 may be transmitted to the display device 300 that the user has watched the image as shown in FIG. 8, ). The separate display device 320 may be any device capable of receiving and displaying the associated service information generated by the server 310. However, it is also possible to set the smartphone of the user as a separate display device 320, Would be useful. In this case, the user can confirm the content of the related service information generated by the server 310 through the smart phone 320, and then can further interact through user input. For example, if the related service information is the recommended content information as shown in FIG. 9, the user can switch to the purchase screen of the content when the user selects the recommended content displayed on the smartphone 320. The associated service information may be automatically displayed on a separate display device 320 or displayed only when the user selects to provide the information.

도 10은 본 발명의 제3실시예에 따른 디스플레이장치(300)의 또 다른 작동 예를 나타내는 도면이다. 디스플레이장치(300)에는 프로그램 가이드 화면인 EPG(Electronic Program Guide) 화면이 표시되고 있다. 디스플레이장치(300)의 처리부(302)는 EPG 화면이 표시되어 있다는 정보로부터 해당 영상에서 주요 인식대상이 될 객체가 글자임을 파악할 수 있다. 따라서 글자 객체 인식에 적절한 특징값 및 가중치를 선택한 후 이를 토대로 시각주의시도를 생성하고 관심영역을 결정한다. 이후 결정된 관심영역에서 객체를 인식하고 객체정보를 생성하여 서버로 전송하는 것은 도 8, 도 9에서와 동일하다.10 is a view showing still another operation example of the display device 300 according to the third embodiment of the present invention. An EPG (Electronic Program Guide) screen, which is a program guide screen, is displayed on the display device 300. The processing unit 302 of the display device 300 can recognize that the object to be a main recognition target in the image is the character from the information that the EPG screen is displayed. Therefore, we select feature values and weights appropriate for character object recognition, create visual attention attempts based on them, and determine the region of interest. Then, the object is recognized in the determined region of interest and the object information is generated and transmitted to the server in the same manner as in FIGS. 8 and 9. FIG.

도 10의 예는 사용자가 읽고 있는 EPG의 내용을 글자 객체 인식을 통해 파악할 수 있게 됨에 따라 사용자의 관심과 상황을 더욱 정확히 반영한 연관서비스정보를 제공할 수 있다. 도 10에서와 같이, EPG 화면은 해당 방송프로그램의 이름, 방영 채널 정보, 방송 시간대, 출연진 등의 정보를 포함할 수 있다. 이 경우 인식된 객체정보를 전송받은 서버(310)는 수신된 객체정보를 바탕으로 사용자의 관심 프로그램, 관심채널, 시청가능시간대 등을 파악할 수 있다. 그러면 사용자의 관심과 시청가능시간대 등을 고려한 방송 프로그램 추천 정보를 연관서비스정보의 형태로 제공할 수 있게 되므로, 사용자의 관심과 상황을 더욱 정확히 반영한 연관서비스정보를 제공할 수 있다.In the example of FIG. 10, since the contents of the EPG read by the user can be grasped through recognition of the character object, the related service information that more accurately reflects the user's interest and situation can be provided. As shown in FIG. 10, the EPG screen may include information such as a name of a corresponding program, broadcasting channel information, a broadcasting time zone, a cast, and the like. In this case, the server 310 having received the recognized object information can grasp the user's program of interest, the channel of interest, the viewable time zone, etc. based on the received object information. Thus, it is possible to provide the broadcast program recommendation information in the form of the related service information in consideration of the interest of the user and the viewable time zone. Thus, the related service information that more accurately reflects the user's interest and situation can be provided.

이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되지 않고, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 특허청구범위의 범위에 속한다고 할 것이며, 본 개시 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications, and variations will be apparent to those skilled in the art. For example, it should be understood that the techniques described may be performed in a different order than the described methods, or that components of the described systems, structures, devices, circuits, and the like may be combined or combined in other ways than the described methods, Lt; / RTI > can be achieved, even if it is replaced or replaced by < RTI ID = 0.0 > It is therefore intended that the present invention not be limited by the foregoing embodiments and the accompanying drawings, and that other implementations, other embodiments and equivalents to the claims are also within the scope of the claims, It should be considered from an illustrative point of view, not from a definite point of view.

300: 디스플레이장치
301: 영상수신부
302: 처리부
310: 서버
410: 영상 수신부
420: 관심영역 결정부
430: 객체 인식부
440: 객체정보 생성부
450: 연관서비스정보 제공부
460: 연관서비스정보 처리부300: display device
301:
302:
310: Server
410:
420: region of interest determination unit
430: Object recognition unit
440: Object information generating unit
450: Providing related service information
460: Associated service information processor

Claims

In the display device,
An image receiving unit for receiving an image including at least one object;
A display unit for displaying the image; And
Determining an area of interest in which the object is expected to be present in the image, recognizing the object in the area of interest, generating object information for the recognized object, and determining, based on the object information, And processing the associated service information.

The method according to claim 1,
Wherein the processor determines the region of interest differently for each of a plurality of attributes of the object.

3. The method of claim 2,
Wherein the processing unit generates a visual attention map based on the weight determined according to the attribute of each object and determines the ROI using the generated visual attention map.

The method according to claim 1,
And the processing unit determines the region of interest based on explanatory information on the image.

The method according to claim 1,
Wherein the processing unit determines the region of interest based on user's use history information on the object.

The method according to claim 1,
Wherein the processing unit determines the region of interest based on a viewing state of the user with respect to the image.

The method according to claim 1,
Wherein the processing unit transmits the object information to the server and receives the associated service information from the server.

The method according to claim 1,
And the associated service information includes user information.

A method of controlling a display device,
The method comprising: receiving an image that may include at least one object;
Displaying the image;
Determining an area of interest in the image where the object is expected to be present;
Recognizing the object in the region of interest;
Generating object information for the recognized object; And
And processing associated service information related to the recognized object based on the object information.

10. The method of claim 9,
Wherein the step of determining the region of interest comprises the step of determining the region of interest differently for each of a plurality of the attributes of the object.

11. The method of claim 10,
Wherein the step of determining the ROI includes generating a visual attention map based on the weights determined according to the attributes of the objects and determining the ROI using the generated POI map, Control method.

10. The method of claim 9,
Wherein the step of determining the region of interest comprises the step of determining the region of interest based on the descriptive information about the image.

10. The method of claim 9,
Wherein the step of determining the region of interest comprises the step of determining the region of interest based on the user's usage history information for the object.

10. The method of claim 9,
Wherein the step of determining the region of interest comprises the step of determining the region of interest based on a viewing state of the user with respect to the image.

10. The method of claim 9,
Transmitting the object information to a server, and receiving the associated service information from the server.

10. The method of claim 9,
And the associated service information includes user information.