KR20180050460A

KR20180050460A - Method and apparatus for dividing video contnets shot using adaptive threshold

Info

Publication number: KR20180050460A
Application number: KR1020160146661A
Authority: KR
Inventors: 박소영; 김선중; 박원주; 손정우
Original assignee: 한국전자통신연구원
Priority date: 2016-11-04
Filing date: 2016-11-04
Publication date: 2018-05-15

Abstract

본 발명의 일면에 따른 비디오 컨텐츠의 샷 분할 장치는, 샷 검출의 대상이 되는 비디오 콘텐츠를 입력받는 영상 입력부; 상기 비디오 콘텐츠를 구성하는 프레임의 특징값을 추출하는 특징값 추출부; 샷 검출의 대상이 되는 프레임의 특징값과 시간적으로 상기 프레임의 직전 프레임의 특징값을 비교하여 유사도를 계산하는 유사도 연산부; 상기 유사도를 이용하여 상기 비디오 콘텐츠 전체의 임계치인 전체임계치와, 상기 샷 검출 대상 프레임 전후의 기설정된 구간의 임계치인 부분임계치를 계산하는 임계치 연산부; 및 상기 전체임계치 및 부분임계치를 이용하여 최종임계치를 구하고, 상기 최종임계치와 상기 유사도를 비교하여 샷을 구분하는 샷 검출부 를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus and method for dividing a shot of video content, the apparatus comprising: a video input unit receiving video content to be shot; A feature value extracting unit for extracting a feature value of a frame constituting the video content; A similarity calculator for comparing a feature value of a frame to be shot with a feature value of a frame immediately preceding the frame to calculate a similarity; A threshold value calculation unit for calculating a total threshold value, which is a threshold value of the entire video content, and a partial threshold value, which is a threshold value of a predetermined interval before and after the shot detection target frame, using the similarity; And a shot detection unit for obtaining a final threshold value by using the total threshold value and the partial threshold value, and comparing the final threshold value and the similarity degree to distinguish the shots.

Description

[0001] METHOD AND APPARATUS FOR DIVIDING VIDEO CONTENTS SHOT USING ADAPTIVE THRESHOLD [0002]

본 발명은 비디오 콘텐츠를 구성하는 샷(Shot)을 분할하는 것에 관한 것으로서, 보다 구체적으로는 비디오 콘텐츠 샷을 분할하는 기준에 있어서 적응적 임계치를 사용함으로써 샷 검출 정확도를 높이기 위한 방법 및 그 장치에 관한 것이다.The present invention relates to segmentation of shots constituting video content, and more particularly to a method and apparatus for increasing shot detection accuracy by using an adaptive threshold in reference to segmenting video content shots will be.

방송 콘텐츠를 비롯하여 다양한 비디오 콘텐츠의 의미 분석을 위하여 비디오 콘텐츠를 장면 혹은 샷(Shot) 단위로 분할해야 하는 경우가 있다. In order to analyze the meaning of various video contents including broadcasting contents, there is a case where the video contents are divided into a scene or a shot.

샷의 검출을 위해 종래에는 비디오 콘텐츠를 구성하는 프레임(Frame)에 대해 특징값을 추출하고, 연속된 프레임 사이의 특징값을 비교하여 유사도를 계산하고, 이 유사도를 임계치와 비교하여 샷을 검출하는 방법이 사용되어 왔다.In order to detect a shot, conventionally, a feature value is extracted for a frame constituting a video content, the similarity is calculated by comparing feature values between consecutive frames, and the similarity is compared with a threshold value to detect a shot Methods have been used.

하지만 비디오 콘텐츠 생성 시 촬영 및 편집 기법이 다양해짐에 다라 비디오 콘텐츠 간 특징 차이가 커지고, 어떤 경우에는 동일한 비디오 콘텐츠 내에서도 타임라인에 따라 특징 차이가 큰 경우도 발생한다.However, since the shooting and editing techniques are diversified when video contents are generated, there is a large difference between the video contents. In some cases, even in the same video contents, the feature difference may be large according to the time line.

이렇게 비디오 콘텐츠의 특징에 따라 유사도는 다양하게 변경될 수 있는데 샷 검출을 위해 사용하는 임계치는 고정된 값을 사용하면 다양한 비디오 콘텐츠에 대한 샷 검출의 정확도는 낮아질 수 밖에 없는 문제가 발생한다.In this way, the degree of similarity can be changed according to the characteristics of the video contents. When the fixed value is used as the threshold value for the shot detection, the accuracy of the shot detection for various video contents is inevitably lowered.

본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 비디오 콘텐츠 상에서 샷을 구분하기 위한 지점을 검출하는 데 있어서, 샷 구분의 기준이 되는 특징값의 임계치를 적응적으로 적용함으로써 샷 특성에 따른 임계치의 변화를 반영할 수 있는 샷 분할 방법 및 그 장치를 제공하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION The present invention has been made in view of the technical background as described above, and it is an object of the present invention to provide a method and apparatus for detecting a point for distinguishing a shot on video content by adaptively applying a threshold value of a feature value, And to provide a shot dividing method and apparatus thereof capable of reflecting a change in a shot size.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

전술한 목적을 달성하기 위한 본 발명의 일면에 따른 비디오 컨텐츠의 샷 분할 장치는, 샷 검출의 대상이 되는 비디오 콘텐츠를 입력받는 영상 입력부; 상기 비디오 콘텐츠를 구성하는 프레임의 특징값을 추출하는 특징값 추출부; 샷 검출의 대상이 되는 프레임의 특징값과 시간적으로 상기 프레임의 직전 프레임의 특징값을 비교하여 유사도를 계산하는 유사도 연산부; 상기 유사도를 이용하여 상기 비디오 콘텐츠 전체의 임계치인 전체임계치와, 상기 샷 검출 대상 프레임 전후의 기설정된 구간의 임계치인 부분임계치를 계산하는 임계치 연산부; 및 상기 전체임계치 및 부분임계치를 이용하여 최종임계치를 구하고, 상기 최종임계치와 상기 유사도를 비교하여 샷을 구분하는 샷 검출부 를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus and method for dividing a shot of video content, the apparatus comprising: a video input unit receiving video content to be shot; A feature value extracting unit for extracting a feature value of a frame constituting the video content; A similarity calculator for comparing a feature value of a frame to be shot with a feature value of a frame immediately preceding the frame to calculate a similarity; A threshold value calculation unit for calculating a total threshold value, which is a threshold value of the entire video content, and a partial threshold value, which is a threshold value of a predetermined interval before and after the shot detection target frame, using the similarity; And a shot detection unit for obtaining a final threshold value by using the total threshold value and the partial threshold value, and comparing the final threshold value and the similarity degree to distinguish the shots.

본 발명의 다른 일면에 따른 비디오 컨텐츠의 샷 분할 방법은, 샷 검출의 대상이 되는 비디오 콘텐츠를 입력받는 단계; 상기 비디오 콘텐츠를 구성하는 프레임의 특징값을 추출하는 단계; 샷 검출의 대상이 되는 프레임의 특징값과 시간적으로 상기 프레임의 직전 프레임의 특징값을 비교하여 유사도를 계산하는 단계; 상기 유사도를 이용하여 상기 비디오 콘텐츠 전체의 임계치인 전체임계치와, 상기 샷 검출 대상 프레임 전후의 기설정된 구간의 임계치인 부분임계치를 계산하는 단계; 상기 전체임계치 및 부분임계치를 이용하여 최종임계치를 구하고, 상기 최종임계치와 상기 유사도를 비교하여 샷을 구분하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of dividing a video content shot, the method comprising: receiving a video content to be shot; Extracting a feature value of a frame constituting the video content; Comparing a feature value of a frame to be shot detection with a feature value of a frame immediately preceding the frame to calculate a similarity degree; Calculating a total threshold value, which is a threshold value of the entire video content, and a partial threshold value, which is a threshold value of a predetermined interval before and after the shot detection target frame, using the similarity; Determining a final threshold value by using the total threshold value and the partial threshold value, and comparing the final threshold value with the similarity value to distinguish the shots.

본 발명에 따르면, 샷 분할을 위한 특징값의 임계치를 고정값이 아닌 적응적으로 적용함으로써 샷 분할의 정확도를 향상시키고, 고정 임계치 적용시의 샷 분할 정확성의 변동성을 감소시킬 수 있는 효과가 있다.According to the present invention, the threshold value of the feature value for shot division is adaptively applied instead of the fixed value, thereby improving the accuracy of the shot division and reducing the variability of the shot division accuracy at the time of applying the fixed threshold value.

도 1은 본 발명의 일실시예에 따른 비디오 콘텐츠의 샷 분할 장치의 구조도를 도시한 도면.
도 2는 본 발명의 일실시예에 따른 비디오 콘텐츠의 샷 분할 장치의 임계치 연산부의 구조도를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 비디오 콘텐츠의 샷 분할 방법의 흐름도.
도 4는 본 발명의 일실시예에 따른 비디오 콘텐츠의 샷 분할 방법이 실행되는 컴퓨터 시스템의 구조도.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a structural diagram of a video content shot dividing apparatus according to an embodiment of the present invention; Fig.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0002]
3 is a flowchart of a method of dividing a shot of video content according to an embodiment of the present invention.
4 is a structural view of a computer system in which a method of dividing a shot of video content is performed according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, the terms " comprises, " and / or "comprising" refer to the presence or absence of one or more other components, steps, operations, and / Or additions.

이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 비디오 컨텐츠의 샷 분할 장치(100)의 구조도를 나타낸다. 1 is a structural diagram of a video content shot dividing apparatus 100 according to an embodiment of the present invention.

샷 분할 장치(100)는 영상 입력부(110), 특징값 추출부(120), 유사도 연산부(130), 임계치 연산부(140), 임계치 임력부(150) 및 샷 검출부(160)를 포함한다.The shot division device 100 includes an image input unit 110, a feature value extraction unit 120, a similarity calculation unit 130, a threshold value calculation unit 140, a threshold value application unit 150 and a shot detection unit 160.

영상 입력부(110)는 샷 검출 대상이 되는 비디오 콘텐츠를 입력받아 특징값 추출부(120)에 전달한다.The video input unit 110 receives the video content as a shot detection target and delivers the video content to the feature value extraction unit 120.

특징값 추출부(120)는 비디오 콘텐츠를 구성하는 프레임(Frame)에 대해 특징값을 추출한다.The feature value extracting unit 120 extracts a feature value for a frame constituting the video content.

특징값을 추출하는 프레임은 비디오 콘텐츠를 구성하는 모든 프레임을 대상으로 하거나 일정 간격으로 추출된 프레임을 대상으로 할 수 있다.The frame for extracting the feature value may be a target of all frames constituting the video content or a frame extracted at a predetermined interval.

모든 프레임을 대상으로 하는 경우 연산량과 추출속도의 문제가 있을 수 있으므로 샷 검출 속도 향상 또는 제한된 연산량 이용을 위해 일부 프레임만 이용하는 것이다.When all frames are targeted, there may be a problem of computation amount and extraction speed. Therefore, only some frames are used to improve the shot detection speed or to use a limited calculation amount.

특징값 추출 대상이 되는 일부 프레임을 선택하는 것은 목적에 따라 다양한 방법들이 사용될 수 있다.Various methods can be used to select a certain frame to be a feature value extraction object depending on the purpose.

특징값 추출 대상이 되는 프레임인 타겟 프레임에서 추출되는 특징값은 주로 영상 정보를 기반으로 하나 꼭 영상 정보에 한정되는 것은 아니다.Feature values extracted from a target frame, which is a frame to be extracted as a feature value, are mainly based on image information, but are not limited to image information.

대표적으로 RGB(Red Green Blue) 또는 HSV(Hue(색조), Saturation(채도), Value(명도)) 값이 이용되며, RGB 또는 HSV의 히스토그램도 이용할 수 있다.Typically, RGB (Red Green Blue) or HSV (Hue, Saturation, Value) values are used, and RGB or HSV histograms are also available.

그 외에 모션 벡터(Motion Vector), 회색 밝기Gray Intensity), 휘도(Luminance) 등을 이용할 수 있고, 경우에 따라 비디오 콘텐츠의 소리(Sound) 정보나 텍스트 정보를 이용할 수 있다.In addition, a motion vector, a gray intensity, and a luminance can be used. In some cases, sound information or text information of video contents can be used.

프레임들의 특징값이 추출되면 유사도 연산부(130)는 특징값들을 이용하여 프레임들 사이의 유사도를 계산한다.When the feature values of the frames are extracted, the similarity calculation unit 130 calculates similarities between the frames using the feature values.

프레임간 유사도의 계산은 타겟 프레임의 특징값과 직전 프레임의 특징값을 비교함으로써 이루어진다.The calculation of the inter-frame similarity is performed by comparing the feature value of the target frame with the feature value of the immediately preceding frame.

유사도를 계산하는 방법은 상관도(Correlation), 카이 제곱(Chi-square) 테스트, 인터섹션(Intersection) 또는 바타차랴(Bhattacharyya) 방법 등이 이용될 수 있다.Correlation, Chi-square test, Intersection or Bhattacharyya method can be used to calculate the similarity.

임계치 연산부(140)는 유사도 연산부(130)에서 전달받은 프레임간 유사도 값을 기반으로 샷 분할을 위한 임계치를 계산한다.The threshold value operation unit 140 calculates a threshold value for shot division based on the inter-frame similarity value received from the similarity operation unit 130.

도 2는 임계치 연산부(140)의 구조도를 나타낸다.2 shows the structure of the threshold value calculation unit 140. As shown in FIG.

적응적 임계치의 설정을 위하여 세 가지 요소가 이용된다. Three factors are used to set the adaptive threshold.

첫째는 타겟 프레임(샷 분할 지점인지의 판단 대상이 되는 프레임)을 기준으로 근접한 프레임들의 특징값의 유사도 값으로, 적응적 임계치의 적용 목적에 가장 부합하는 개념으로 볼 수 있다.The first is the similarity value of the feature values of the adjacent frames based on the target frame (the frame to be judged as the shot division point), and can be regarded as a concept that best matches the application purpose of the adaptive threshold.

둘째는 샷 검출의 대상이 되는 비디오 콘텐츠의 전체 타임라인에 걸친 특징값을 기반으로 하여 제공되는 값으로, 해당 콘텐츠가 가지는 특성을 임계치에 반영할 수 있다. The second is a value provided based on the feature value over the entire time line of the video content to be shot, and the characteristic of the corresponding content can be reflected in the threshold value.

셋째는 샷 검출을 하고자 하는 이용자가 직접 입력하는 값으로, 샷 검출 시 이용자가 목적하는 방향성을 반영하는 역할을 할 수 있다.The third is a value directly inputted by the user who wants to detect the shot, and can reflect the directionality of the user in detecting the shot.

이를 위해 임계치 연산부(140)는 전체임계치 연산부(142)와 부분임계치 연산부(144)를 포함하고, 각각 전체임계치와 부분임계치를 계산해낸다.To this end, the threshold value calculation unit 140 includes a total threshold value calculation unit 142 and a partial threshold value calculation unit 144, and calculates the total threshold value and the partial threshold value, respectively.

전체임계치는 비디오 콘텐츠 전체에 적용되는 임계치이다. 즉, 현재 특징값 추출의 대상이 되는 타겟 프레임의 위치와 상관없이 샷 검출 대상이 되는 비디오 콘텐츠에 대하여 하나의 값으로 도출되는 임계치이다.The overall threshold is a threshold applied to the entire video content. That is, the threshold value is derived as one value for the video contents to be the shot detection target, irrespective of the position of the target frame to be the current feature value extraction target.

전체임계치는 비디오 콘텐츠 전체의 특징에 따라 결정되는 것으로, 비디오 콘텐츠 전체가 변화가 많은 영상인 경우 유사도가 작게 나타나기 때문에 전체임계치는 작은 값을 가지게 되고, 변화가 상대적으로 적은 영상인 경우에는 유사도가 크게 나타나므로 전체임계치가 보다 큰 값을 가지는 것이다.The overall threshold value is determined according to the characteristics of the entire video content. When the entire video content is a video having a large variation, the similarity is small. Therefore, the total threshold value has a small value. In the case of a relatively small variation, The total threshold value has a larger value.

이 같은 특징에 의해 전체임계치 연산부(142)는 영상의 전체 특징에 따라 전체임계치를 계산한다.According to this characteristic, the total threshold value calculating section 142 calculates the total threshold value according to the overall characteristics of the image.

부분임계치는 특징값 추출 대상이 되는 프레임의 위치에 종속적인 값을 갖는다. 즉, 특징값 추출 대상이 되는 타겟 프레임 주변의 프레임 특징값들의 변화량이 많다면 부분임계치는 큰 값을 가지고, 반면 주변 프레임의 특징값들의 변화량이 적다면 부분임계치는 보다 작은 값을 가진다.The partial threshold value has a value dependent on the position of the frame to be the feature value extraction object. That is, the partial threshold value has a large value when the amount of change of the frame feature values around the target frame to be extracted is large, whereas the partial threshold value has a smaller value when the variation amount of the feature values of the neighboring frame is small.

따라서 이를 이용하여 부분임계치 연산부(144)는 타겟 프레임 주변의 일정 구간에서 적용될 수 있는 부분임계치를 계산한다.Accordingly, the partial threshold value operation unit 144 calculates a partial threshold value applicable to a certain period around the target frame.

임계치 입력부(150)는 샷 분할을 위한 입력임계치를 외부, 즉, 사용자로부터 입력받는다. 사용자의 특정한 의도에 따라 샷을 분할하기 위해 임계치를 사용자가 직접 설정할 때 사용된다.The threshold input unit 150 receives an input threshold value for shot division from the outside, i.e., from the user. It is used when the user directly sets the threshold value to divide the shot according to the user's specific intention.

샷 검출부(160)는 임계치 연산부(140)와 임계치 입력부(150)에서 계산되거나 입력된 임계치들을 이용하여 샷의 분할지점을 검출한다.The shot detecting unit 160 detects a shot dividing point using the threshold values calculated or input by the threshold calculating unit 140 and the threshold value inputting unit 150.

임계치 연산부(140)와 임계치 입력부(150)에서 도출해 낸 임계치는 전체임계치, 부분임계치 및 입력임계치의 세 임계치이므로 이들에 의해 샷을 분할한다.The threshold values derived from the threshold value operation unit 140 and the threshold value input unit 150 are three thresholds of the total threshold value, the partial threshold value, and the input threshold value, and thus the shots are divided by these threshold values.

샷 분할을 위한 한 방법으로 전체임계치, 부분임계치 및 입력임계치에 각각 가중치를 곱하여 모두 더하여 최종가중치를 구하고, 이를 타겟 프레임과 이전 프레임간의 유사도와 비교하여 샷의 분할 여부를 결정한다.One method for shot segmentation is to multiply the total threshold value, the partial threshold value, and the input threshold value by their weights, add them together to obtain a final weight, and compare the result with the similarity between the target frame and the previous frame.

다른 방법으로는 타겟 프레임의 유사도를 전체임계치, 부분임계치 및 입력임계치와 각각 비교했을 때 세 경우 모두 유사도가 더 작다면 샷 분할 지점으로 결정할 수 있고, 또는 셋 중 적어도 둘 이상의 경우에 유사도가 임계치보다 작으면 샷 분할 지점으로 결정할 수 있다.Alternatively, when the similarity degree of the target frame is compared with the total threshold value, the partial threshold value and the input threshold value, if the similarity degree is smaller in all three cases, it can be determined as the shot division point, or the similarity degree can be determined If it is small, it can be decided as a shot division point.

또 다른 방법으로는 전체임계치를 0과 1사이의 값으로 정규화 하여 이를 a라고 했을 때, 최종임계치를 a*부분임계치+(1-a)*입력임계치 와 같이 계산하여 부분임계치와 입력임계치의 반영 비율을 전체임계치에 따라 조정할 수 있다.Another method is to normalize the entire threshold value to a value between 0 and 1, and calculate the final threshold value as a * partial threshold + (1-a) * input threshold value to reflect the partial threshold value and the input threshold value The ratio can be adjusted according to the overall threshold.

전체임계치가 큰 경우 영상의 변화가 적으므로 부분임계치의 비율을 높이고, 전체임계치가 작은 경우 영상의 변화가 많으므로 입력임계치의 비율을 높임으로써 전체 영상의 성질에 따라 샷 분할의 임계치를 적응적으로 적용할 수 있는 효과가 있다.If the total threshold value is large, the ratio of the partial threshold value is increased because the image change is small. If the total threshold value is small, the image change is high. Therefore, the threshold value of the shot image is adaptively adjusted There is an effect that can be applied.

이 외에도 전체임계치, 부분임계치 및 입력임계치의 세 가지 임계치에 의해 다양한 임계치를 계산하는 것이 가능하다.In addition, it is possible to calculate various threshold values by three thresholds of the total threshold value, the partial threshold value and the input threshold value.

도 3은 본 발명의 다른 실시예에 따른 적응적 임계치를 이용한 비디오 콘텐츠의 샷 분할 방법의 흐름도를 나타낸다.3 is a flowchart illustrating a method of dividing a shot of a video content using an adaptive threshold according to another embodiment of the present invention.

비디오 콘텐츠의 샷 분할을 위해 비디오 콘텐츠를 입력받는다(S310).The video content is input for shot division of the video content (S310).

비디오 콘텐츠를 입력받은 다음 비디오 콘텐츠의 각 프레임에 대해 특징값을 추출한다(S320).After receiving the video content, the feature value is extracted for each frame of the video content (S320).

특징값을 추출하는 프레임은 매 프레임이 될 수도 있고, 연산량이나 속도의 제한이 있는 경우에는 일정 간격의 프레임을 추출 대상이 되는 프레임으로 할 수 있다.The frame for extracting the feature value may be every frame or, if there is a restriction on the amount of computation or speed, a frame at a predetermined interval may be a frame to be extracted.

추출되는 특징값은 주로 영상 정보를 기반으로 하나 이에 한정되는 것은 아니며, 경우에 따라 비디오 콘텐츠의 소리나 텍스트 정보를 이용하는 것도 가능한다.The extracted feature values are mainly based on image information, but the present invention is not limited thereto, and it is also possible to use the sound or text information of video contents in some cases.

특징값 추출은 전술한 바와 같이 RGB 또는 HSV 값이나, RGB 또는 HSV의 히스토그램을 이용하여 구할 수 있다.Feature value extraction can be obtained by using RGB or HSV values or a histogram of RGB or HSV as described above.

특징값이 추출되고 나면 추출된 특징값들 비교하여 유사도를 계산한다(S330).After the characteristic values are extracted, the extracted characteristic values are compared with each other and the similarity is calculated (S330).

유사도는 타겟 프레임과 직전 프레임의 특징값을 비교하여 구한다. 유사도 계산을 위해서는 상관도, 카이 제곱 테스트, 인터섹션 또는 바타차랴 방법 등이 사용될 수 있다.The degree of similarity is obtained by comparing the feature values of the target frame and the immediately preceding frame. Correlation, chi-square test, intersection or Batacharya method can be used for the similarity calculation.

다음으로 샷 분할을 위한 임계치를 결정한다(S340).Next, a threshold value for shot division is determined (S340).

최종임계치는 전체임계치, 부분임계치, 입력임계치 등을 이용하여 계산할 수 있고, 자세한 방법은 전술한 바와 같다.The final threshold value can be calculated using the total threshold value, the partial threshold value, the input threshold value, and the detailed method is as described above.

마지막으로 최종임계치를 이용하여 타겟 프레임의 유사도가 최종임계치보다 작으면 샷의 분할 지점으로 검출한다(S350).Finally, if the similarity of the target frame is smaller than the final threshold value using the final threshold value, it is detected as a shot dividing point (S350).

이와 같이 적응적 임계치를 사용함으로써 보다 정확한 샷의 분할 지점을 검출할 수 있다.By using the adaptive threshold value as described above, more accurate shot division points can be detected.

한편, 본 발명의 실시예에 따른 비디오 콘텐츠의 샷 분할 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 4에 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(421)와, 메모리(423)와, 사용자 입력 장치(426)와, 데이터 통신 버스(422)와, 사용자 출력 장치(427)와, 저장소(428)를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(422)를 통해 데이터 통신을 한다.Meanwhile, a method of dividing a shot of video content according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. 4, a computer system includes at least one processor 421, a memory 423, a user input device 426, a data communication bus 422, a user output device 427, And may include a storage 428. Each of the above-described components performs data communication via the data communication bus 422. [

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(429)를 더 포함할 수 있다. 상기 프로세서(421)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(423) 및/또는 저장소(428)에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface 429 coupled to the network. The processor 421 may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in the memory 423 and / or the storage 428.

상기 메모리(423) 및 상기 저장소(428)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(423)는 ROM(424) 및 RAM(425)을 포함할 수 있다.The memory 423 and the storage 428 may include various forms of volatile or non-volatile storage media. For example, the memory 423 may include a ROM 424 and a RAM 425.

따라서, 본 발명의 실시예에 따른 비디오 콘텐츠의 샷 분할 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 비디오 콘텐츠의 샷 분할 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 인식 방법을 수행할 수 있다.Accordingly, the method of dividing a shot of video content according to an embodiment of the present invention can be implemented in a computer-executable method. When the method of dividing a shot of video content according to an embodiment of the present invention is performed in a computer device, computer-readable instructions can perform the recognition method according to the present invention.

한편, 상술한 본 발명에 따른 비디오 콘텐츠의 샷 분할 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the above-described method of dividing a shot of a video content according to the present invention can be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording media storing data that can be decoded by a computer system. For example, there may be a ROM (Read Only Memory), a RAM (Random Access Memory), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device and the like. The computer-readable recording medium may also be distributed and executed in a computer system connected to a computer network and stored and executed as a code that can be read in a distributed manner.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.While the present invention has been described in detail with reference to the accompanying drawings, it is to be understood that the invention is not limited to the above-described embodiments. Those skilled in the art will appreciate that various modifications, Of course, this is possible. Accordingly, the scope of protection of the present invention should not be limited to the above-described embodiments, but should be determined by the description of the following claims.

Claims

A shot detection apparatus for video content comprising one or more processors, the apparatus comprising:
A video input unit for receiving video content to be shot detection;
A feature value extracting unit for extracting a feature value of a frame constituting the video content;
A similarity calculator for comparing a feature value of a frame to be shot with a feature value of a frame immediately preceding the frame to calculate a similarity;
A threshold value calculation unit for calculating a total threshold value, which is a threshold value of the entire video content, and a partial threshold value, which is a threshold value of a predetermined interval before and after the shot detection target frame, using the similarity; And
A shot detection unit for obtaining a final threshold value using the total threshold value and the partial threshold value, and comparing the final threshold value and the similarity value to distinguish the shots;
Wherein the video content is a video content.