KR20150026731A

KR20150026731A - A method for content aware multimedia resizing

Info

Publication number: KR20150026731A
Application number: KR20140005447A
Authority: KR
Inventors: 난단 호사아그라하라 샨카라머시; 산제이 나라시마 머시; 파반 시드힌드라; 라자람 하누만타차야 나가누르
Original assignee: 삼성전자주식회사
Priority date: 2013-08-29
Filing date: 2014-01-16
Publication date: 2015-03-11

Abstract

콘텐츠 인식 멀티미디어 리사이징을 위한 방법이 개시된다. 상기 방법은 적어도 하나의 ROI를 획득하고, 입력 멀티미디어 내의 적어도 하나의 비-ROI를 그들 치수들과 함께 식별한다. 출력 미디어의 목표 치수들을 수신시에, 상기 방법은 최대 가능한 적어도 하나의 ROI의 출력 치수들 및 적어도 하나의 비-ROI의 출력 치수들을 계산한다. 또한, 상기 방법은 출력 멀티미디어 내의 선택된 적어도 하나의 ROI의 종횡비를 입력 멀티미디어의 것과 동일하게 유지하는 것에 의해 입력 멀티미디어 내의 적어도 하나의 ROI를 균일하게 리사이징한다. 이에 부가하여, 상기 방법은 리사이징 함수를 적용하는 것에 의해 입력 멀티미디어 내의 적어도 하나의 비-ROI를 비선형적으로 리사이징한다.A method for content-aware multimedia resizing is disclosed. The method obtains at least one ROI and identifies at least one non-ROI in the input multimedia with their dimensions. Upon receiving the target dimensions of the output media, the method calculates the output dimensions of the at least one ROI and the output dimensions of the at least one non-ROI. The method also uniformly resizes at least one ROI in the input multimedia by keeping the aspect ratio of the selected at least one ROI in the output multimedia equal to that of the input multimedia. In addition, the method non-linearly resizes at least one non-ROI in the input multimedia by applying a resizing function.

Description

[0001] METHOD FOR CONTENT AWARE MULTIMEDIA RESIZING [0002]

본 발명은 멀티미디어 처리 분야에 관한 것이고, 보다 구체적으로는 콘텐츠 인식 멀티미디어 리사이징을 위한 방법에 관한 것이다.The present invention relates to the field of multimedia processing, and more particularly to a method for content-aware multimedia resizing.

디스플레이 디바이스들의 다양성 및 다기능성은 디지털 멀티미디어의 설계자에게 새로운 요구를 부여하고 있다. 예를 들어, 설계자들은 웹 콘텐츠에 대해 상이한 대안들을 생성해야 하고, 상이한 디스플레이 디바이스들에 대해 상이한 레이아웃들을 설계해야만 한다. 또한, HTML(Hyper Text Markup Language) 및 다른 표준들이 페이지 레이아웃의 동적 변경들을 지원할 수 있다. 일반적으로, 디지털 멀티미디어에서의 핵심 요소들 중 하나인 이미지들 또는 비디오들의 사이즈는 리지드(rigid) 상태를 유지하며, 그 이미지 또는 비디오의 종횡비를 감안하여 자동으로 상이한 레이아웃들에 적합해지도록 변형될 수 없다. 다른 케이스들에서는, 이미지 또는 비디오의 사이즈나 종횡비가 상이한 디스플레이 디바이스들, 예컨대 컴퓨터, 셀 폰 또는 PDA(Personal Digital Assistant)에 적합해지도록 변경될 필요가 있다. 또한, 비디오는 예를 들어 비디오 요약이나 비디오 편집과 같은 상이한 목적들을 위해 상이한 런타임으로 보여질 필요가 있을 수 있다. 또한, 웹 레이아웃의 일부인 웹 페이지들 내의 비디오 및 이미지 콘텐츠들은 디스플레이 디바이스들의 해상도에 기초하여 리사이징될 필요가 있다.The versatility and versatility of display devices is placing new demands on designers of digital multimedia. For example, designers must create different alternatives for web content and design different layouts for different display devices. In addition, Hyper Text Markup Language (HTML) and other standards can support dynamic changes in page layout. In general, the size of images or videos, one of the key elements in digital multimedia, remains rigid and can be modified to automatically adapt to different layouts taking into account the aspect ratio of the image or video none. In other cases, the size or aspect ratio of the image or video needs to be changed to suit different display devices, such as a computer, a cell phone or a personal digital assistant (PDA). In addition, the video may need to be viewed at different runtimes for different purposes, such as video summarization or video editing, for example. In addition, the video and image content in web pages that are part of the web layout need to be resized based on the resolution of the display devices.

이미지 리사이징을 위한 종래의 기술들은 스케일링(scaling)과 크로핑(cropping)을 일반적으로 포함하지만, 리사이징될 이미지의 콘텐츠를 고려하지는 않는다. 이러한 기술들은 이미지 콘테츠를 인식하지 못하며, 통상적으로는 획일적으로 적용될 수 있을 뿐이다. 또한, 이러한 방법들은 뷰어에게 중요할 수도 있는 이미지 콘텐츠를 왜곡시킬 수 있다. 보다 효율적인 리사이징은 이미지 치수들과 함께, 이미지 콘텐츠를 전체적으로 고려하는 것에 의해서만 달성될 수 있다.Conventional techniques for image resizing generally include scaling and cropping, but do not take into account the content of the image to be resized. These technologies do not recognize image content, and are usually only uniformly applied. In addition, these methods can distort image content that may be important to the viewer. More efficient resizing, together with image dimensions, can only be achieved by considering the image content as a whole.

기존의 방법은 심 카빙(seam carving)을 사용하여 이미지를 리사이징한다. 상기 방법은 이미지의 한쪽에서 다른쪽으로 실행되는 "시임(seams)"으로 동작한다. 시임에서 모든 픽셀들을 제거하는 것은 픽셀의 일 행 또는 일 열만큼 이미지를 감소시킨다. 반대로, 이미지에 시임을 부가하는 것은 픽셀들의 일 행 또는 일 열을 확대할 수 있다. 이미지 내의 동일 영역들로부터 복수의 시임들이 제거되는 경우, 왜곡들이 발생할 가능성이 높으며, 리사이징된 이미지에 보여질 수 있다. 이들 및 다른 기존의 기술들은 계산적으로 비용이 많이 들기 때문에 실시간 성능을 제공하지 못한다. 이러한 모든 관점에서, 기존의 기술들은 디스플레이 디바이스들의 다양성 및 다기능성에 의해 만들어지는 요구들을 충족시키기에 적절하지 않다.Conventional methods use seam carving to resize images. The method operates as "seams" executed from one side of the image to the other. Removing all pixels from the seam reduces the image by one row or one column of pixels. Conversely, adding a seam to an image can magnify a row or column of pixels. If multiple seams are removed from the same areas in the image, the likelihood of distortions is high and can be seen in the resized image. These and other existing technologies are computationally expensive and do not provide real-time performance. In all these respects, existing technologies are not well suited to meet the demands made by the versatility and versatility of display devices.

본 발명의 주된 목적은 콘텐츠 인식 멀티미디어 리사이징을 위한 방법을 제공하는 것이다.The main object of the present invention is to provide a method for content-aware multimedia resizing.

이에 따라, 본 발명은 콘텐츠 인식 멀티미디어 리사이징을 위한 방법을 제공하며, 상기 방법은 출력 멀티미디어 내의 선택된 적어도 하나의 관심영역(region of interest; ROI)의 종횡비를 입력 멀티미디어의 종횡비와 동일하게 유지하여, 상기 입력 멀티미디어 내의 상기 선택된 적어도 하나의 ROI를 균일하게 리사이징하는 것을 포함한다. 또한, 상기 방법은 상기 입력 멀티미디어 내의 적어도 하나의 비-ROI를 비선형적으로 리사이징하여 적어도 하나의 리사이징된 비-ROI를 생성하는 것을 포함한다.Accordingly, the present invention provides a method for content-aware multimedia resizing comprising maintaining the aspect ratio of a selected at least one region of interest (ROI) in the output multimedia equal to the aspect ratio of the input multimedia, And uniformly resizing the selected at least one ROI in the input multimedia. The method also includes non-linearly resizing at least one non-ROI in the input multimedia to generate at least one resized non-ROI.

또한, 본 발명은 콘텐츠 인식 멀티미디어 리사이징을 위한 프로그램을 저장한 컴퓨터 판독 가능한 매체를 제공하며, 상기 매체는 집적 회로를 포함한다. 또한, 상기 집적 회로는 상기 집적 회로 내에 컴퓨터 프로그램 코드를 구비하는 적어도 하나의 메모리 및 적어도 하나의 프로세서를 포함한다. 또한, 상기 적어도 하나의 프로세서를 가지는 컴퓨터 프로그램 코드 및 상기 적어도 하나의 메모리는 상기 매체로 하여금 콘텐츠 인식 이미지 리사이징(CAIR) 모듈에 의해, 출력 멀티미디어 내의 선택된 적어도 하나의 관심영역(region of interest; ROI)의 종횡비를 입력 멀티미디어의 종횡비와 동일하게 유지하여, 상기 입력 멀티미디어 내의 상기 선택된 적어도 하나의 ROI를 균일하게 리사이징하게 한다. 또한, 상기 매체는 상기 CAIR 모듈에 의해, 상기 입력 멀티미디어 내의 적어도 하나의 비-ROI를 비선형적으로 리사이징하여 적어도 하나의 리사이징된 비-ROI를 생성하도록 구성된다.The present invention also provides a computer-readable medium storing a program for content-aware multimedia resizing, the medium including an integrated circuit. The integrated circuit also includes at least one memory and at least one processor having computer program code in the integrated circuit. Also, the computer program code having the at least one processor and the at least one memory may cause the medium to be identified by a content aware image resizing (CAIR) module, a selected region of interest (ROI) Such that the selected at least one ROI in the input multimedia is uniformly resized. The medium is further configured, by the CAIR module, to non-linearly resize at least one non-ROI in the input multimedia to generate at least one resized non-ROI.

본 발명의 이들 및 다른 양태들은 첨부 도면들 및 다음의 설명과 함께 고려될 시에 더욱 용이하게 인식 및 이해될 것이다. 그러나, 다음의 설명들은 바람직한 실시예들 및 그것의 다수의 특정 상세를 나타내겠지만, 한정이 아닌 예시의 방법으로 주어진 것임을 이해해야 한다. 다수의 변경 및 변형이 본 발명의 사상을 벗어남 없이 본 실시예들의 범위 내에서 이루어질 수 있으며, 본 발명의 실시예들은 이러한 모든 변형을 포함한다.These and other aspects of the invention will be more readily appreciated and understood when considered in conjunction with the accompanying drawings and the following description. However, it should be understood that the following description, while indicating preferred embodiments and numerous specific details thereof, is given by way of illustration and not of limitation. Numerous modifications and variations can be made within the scope of the embodiments without departing from the spirit of the invention, and embodiments of the invention include all such variations.

콘텐츠 인식 멀티미디어 리사이징을 위한 방법을 적용함으로써, 관심 영역들에 대한 제어 및 리사이징을 사용자에게 제공할 수 있다. 또한, 리사이징된 이미지의 왜곡을 감소시켜서 더 좋은 뷰잉을 사용자에게 제공하는 효과를 가진다. 또한, 콘텐츠 인식 멀티미디어 리사이징 방법을 적용하는 리사이징 프로세스는 비용이 적게 드는 이점을 갖는다.By applying a method for content-aware multimedia resizing, control and resizing of regions of interest can be provided to a user. In addition, it has the effect of reducing the distortion of the resized image and providing better viewing to the user. Also, the resizing process employing the content-aware multimedia resizing method has the advantage of lower cost.

본 발명은 첨부 도면들에 예시되어 있으며, 여러 도면들에서 유사한 참조 부호들은 대응 부품들을 나타낸다. 도면들을 참조하는 다음의 설명으로부터 본 발명의 실시예들이 더욱 용이하게 이해될 것이다.
도 1은 본 발명의 실시예들에 따른, 콘텐츠 인식 이미지 리사이징을 위한 디바이스의 블록도를 도시하고 있다.
도 2는 본 발명의 실시예들에 따른, 콘텐츠 인식 이미지 리사이징을 위한 방법을 설명하는 흐름도를 도시하고 있다.
도 3a 내지 도 3d는 본 발명의 실시예들에 따른, 콘텐츠 인식 이미지 리사이징에 대한 예시적 방법을 도시하고 있다.
도 4는 본 발명의 실시예들에 따라, 이미지의 픽셀들을 수평방향으로 다운사이징하는 예시적 방법을 도시하고 있다.
도 5는 본 발명의 실시예들에 따라, 이미지의 픽셀들을 수직방향으로 업사이징하는 예시적 방법을 도시하고 있다.
도 6은 본 발명의 실시예들에 따라, 이미지의 픽셀들을 수직방향으로 다운사이징하는 예시적 방법을 도시하고 있다.
도 7은 본 발명의 실시예들에 따른, 콘텐츠 인식 이미지 리사이징을 위한 예시적 입력 이미지를 나타낸다.
도 8은 본 발명의 실시예들에 따라, 도 7의 예시적 소스 이미지의 업사이징된 이미지를 나타낸다.
도 9는 본 발명의 실시예들에 따라, 도 7의 예시적 소스 이미지의 다운사이징된 이미지를 나타낸다.
도 10은 본 발명의 실시예들에 따라, 입력 이미지 내의 관심영역의 좌측 또는 상측에 비 관심영역이 존재할 때, 리사이징 팩터를 계산하는 예시적 리사이징 팩터 그래프를 도시하고 있다.
도 11은 본 발명의 실시예들에 따라, 입력 이미지내의 우측 또는 하측에 비 관심 영역이 존재할 때, 리사이징 팩터를 계산하는 예시적 곡선 또는 리사이징 팩터 그래프를 도시하고 있다.
도 12는 본 발명의 실시예들에 따라, 입력 이미지 내의 2개의 관심영역들 사이에 비 관심영역이 존재할 때, 리사이징 팩터를 계산하는 예시적 곡선 또는 리사이징 팩터 그래프를 도시하고 있다.The invention is illustrated in the accompanying drawings, wherein like reference numerals designate corresponding parts in the several figures. The embodiments of the present invention will be more readily understood from the following description with reference to the drawings.
Figure 1 shows a block diagram of a device for content aware image resizing, in accordance with embodiments of the present invention.
Figure 2 shows a flow diagram illustrating a method for content aware image resizing, in accordance with embodiments of the present invention.
Figures 3A-3D illustrate an exemplary method for content aware image resizing, in accordance with embodiments of the present invention.
Figure 4 illustrates an exemplary method of downsampling pixels of an image in a horizontal direction, in accordance with embodiments of the present invention.
Figure 5 illustrates an exemplary method of upsampling pixels of an image in a vertical direction, in accordance with embodiments of the present invention.
Figure 6 illustrates an exemplary method of downsampling pixels of an image in a vertical direction, in accordance with embodiments of the present invention.
Figure 7 illustrates an exemplary input image for content aware image resizing, in accordance with embodiments of the present invention.
Figure 8 shows an upsized image of the exemplary source image of Figure 7, in accordance with embodiments of the present invention.
Figure 9 shows a downsized image of the exemplary source image of Figure 7, in accordance with embodiments of the present invention.
10 illustrates an exemplary resizing factor graph for calculating a resizing factor when there is an un-interested region on the left or top of the region of interest in the input image, according to embodiments of the present invention.
Figure 11 illustrates an exemplary curve or resizing factor graph for calculating a resizing factor when there is a non-interest region on the right or bottom side of an input image, in accordance with embodiments of the present invention.
Figure 12 illustrates an exemplary curve or resizing factor graph for calculating a resizing factor when there is an uninteresting region between two regions of interest in an input image, in accordance with embodiments of the present invention.

본 발명의 실시예들 및 그것의 각종 특징들과 유리한 세부사항들은, 첨부 도면들에 예시되어 있으면서 다음의 설명에서 상세히 기술된 비한정적인 실시예들을 참조하여 설명되어 있다. 공지의 컴포넌트들과 처리 기술들의 설명은 본 발명을 불필요하게 모호화하지 않도록 생략되어 있다. 본 명세서에 사용된 예들은 단지, 본 발명의 실시예들이 실시될 수 있으며 또한 당업자로 하여금 본 발명의 실시예들을 실시할 수 있게 하는 방법들의 이해를 용이하게 하기 위한 것으로 의도된다. 그러므로, 본 예들은 본 발명의 실시예들의 범위를 한정하는 것으로 해석되어서는 아니 된다.BRIEF DESCRIPTION OF THE DRAWINGS Embodiments of the invention and various features and advantageous details thereof are set forth in the accompanying drawings and are described with reference to the non-limiting embodiments described in detail in the following description. The description of known components and processing techniques is omitted so as not to unnecessarily obscure the present invention. The examples used herein are merely intended to facilitate understanding of the ways in which embodiments of the invention may be practiced and which may enable those skilled in the art to practice the embodiments of the invention. Therefore, these examples should not be construed as limiting the scope of embodiments of the present invention.

본 발명의 실시예들은 치수들과 함께, 멀티미디어 콘텐츠를 전체적으로 고려하는 것에 의해 멀티미디어를 리사이징하는 방법 및 시스템을 달성한다. 본 명세서에 개시된 멀티미디어는 비디오, 이미지 및 텍스트 중의 적어도 하나이다. 본 발명의 실시예들은 이미지를 고려하여 설명되었다. 그러나, 본 발명의 실시예들이 임의의 다른 형태의 멀티미디어로 확장될 수 있음은 당업자에게 명백할 것이다.Embodiments of the present invention achieve a method and system for resizing multimedia by taking overall consideration of the multimedia content together with the dimensions. The multimedia disclosed herein is at least one of video, image, and text. Embodiments of the present invention have been described in consideration of images. However, it will be apparent to those skilled in the art that embodiments of the present invention may be extended to any other form of multimedia.

리사이징될 입력 이미지는 적어도 하나의 관심영역(Region Of Interest; ROI) 및 적어도 하나의 비-ROI로 분할된다. ROI들은 이미지에서 다른 영역들보다 더 중요한 것으로 간주되는 이미지의 영역들이다. 한정이 아닌 예시의 방법으로, ROI들은 꽃, 과일, 얼굴 또는 건축물 등 다양할 수 있다. 적어도 하나의 ROI는 출력 이미지 내의 적어도 하나의 ROI의 종횡비를 입력 이미지의 것과 동일하게 유지하는 것에 의해 균일하게 리사이징되며, 적어도 하나의 비-ROI는 리사이징 함수를 적용하는 것에 의해 비선형적으로 리사이징된다.The input image to be resized is divided into at least one region of interest (ROI) and at least one non-ROI. ROIs are regions of an image that are considered more important than other regions in the image. By way of example and not of limitation, ROIs may vary, such as flowers, fruits, faces or buildings. At least one ROI is uniformly resized by keeping the aspect ratio of at least one ROI in the output image equal to that of the input image, and at least one non-ROI is non-linearly resized by applying a resizing function.

또한, 본 방법은 출력 이미지의 목표 치수들을 충족시키기 위하여, 입력 이미지로부터 리사이징을 위한 적어도 하나의 ROI 및 적어도 하나의 비-ROI를 선택할 수 있다. 또한, 선택된 ROI들 및 비-ROI들 중의 일부는 입력 이미지의 치수들 및 출력 이미지의 목표 치수들에 따라 리사이징되는 것으로 고려되거나 또는 그렇지 않을 수도 있다. 입력 이미지 내의 ROI로부터 떨어져 있는 적어도 하나의 비-ROI는 입력 이미지 내의 ROI 근처에 있는 적어도 하나의 비-ROI에 비해 높은 비율로 리사이징되며, 이에 의해 상기 입력 이미지 내의 ROI 및 영역들을 보존한다. 마지막으로, 리사이징된 적어도 하나의 ROI 및 비-ROI가 입력 이미지의 좌표들에 관한 그들의 발생 순서로 배열되어 출력 이미지를 생성한다.In addition, the method may select at least one ROI and at least one non-ROI for resizing from the input image to meet the target dimensions of the output image. Also, some of the selected ROIs and non-ROIs may or may not be considered to be resized according to the dimensions of the input image and the target dimensions of the output image. At least one non-ROI remote from the ROI in the input image is resized at a higher rate than at least one non-ROI near the ROI in the input image, thereby preserving the ROIs and regions in the input image. Finally, the at least one resized ROI and non-ROI are arranged in their order of occurrence with respect to the coordinates of the input image to produce an output image.

설명의 전반에 걸쳐, 용어들 중 치수 및 사이즈는 상호 교환적으로 사용된다.Throughout the description, the terms dimension and size are used interchangeably.

이제 도면들, 보다 구체적으로는 도 1 내지 도 12를 참조하여, 바람직한 실시예들을 나타내도록 하며, 여기서 유사한 참조부호들은 도면들 전체에 걸쳐 일관되게 대응하는 특징들을 표시한다.Referring now to the drawings, and more particularly to Figs. 1 to 12, there are shown preferred embodiments, wherein like reference numerals denote features corresponding consistently throughout the figures.

도 1은 본 발명의 실시예들에 따른, 콘텐츠 인식 이미지 리사이징을 위한 디바이스의 블록도를 도시하고 있다. 상기 디바이스는 ROI 프로바이더(102)와, 처리 모듈(103)을 포함할 수 있다. 상기 처리 모듈(104)은 콘텐츠 인식 이미지 리사이징(content aware image resizing; CAIR) 모듈(103a), 및 적어도 하나의 메모리(103b)를 포함할 수 있다. 리사이징될 이미지가 입력(101)으로서 수신되면, 상기 입력으로 수신된 입력 이미지(101) 내의 적어도 하나의 ROI를 치수들과 함께 처리 모듈(103)에게 제공하는 ROI 프로바이더(102)로 전달된다. Figure 1 shows a block diagram of a device for content aware image resizing, in accordance with embodiments of the present invention. The device may include an ROI provider 102 and a processing module 103. The processing module 104 may include a content aware image resizing (CAIR) module 103a, and at least one memory 103b. When the image to be resized is received as input 101, it is passed to the ROI provider 102 which provides at least one ROI in the input image 101 received with the input to the processing module 103 along with the dimensions.

처리 모듈(103)은 입력 이미지(101)에서 비-ROI를 식별하고, 높이와 폭을 포함하는 출력 이미지(104)의 목표 치수들을 수신하고, 상기 입력 이미지(101)를 리사이징 처리함으로써 리사이징된 출력 이미지(104)를 생성한다.The processing module 103 identifies the non-ROI in the input image 101 and receives the target dimensions of the output image 104, including the height and width, and resizes the input image 101, Image 104 is generated.

ROI 프로바이더(102)는 ROI 검출기 모듈(102a), ROI 데이터베이스(102c), 사용자 공급 ROI(102b), ROI 트래커 모듈(102d)을 포함할 수 있다. 또한, ROI 프로바이더(102) 즉, ROI 검출기 모듈(102a), ROI 데이터베이스(102c), 사용자 공급 ROI(102b), ROI 트래커 모듈(102d) 중 적어도 하나에 따라 입력 이미지(101) 내의 적어도 하나의 ROI를 획득한다. 또한, 본 발명의 실시예들에 따르면, 입력 이미지(101) 내의 적어도 하나의 ROI를 선택할 옵션을 사용자에게 제공하며, 이에 의해 사용자에게 적어도 하나의 ROI에 대한 제어를 제공한다. 한정이 아닌 예시의 방식으로, ROI 검출기(102a)는 얼굴 검출 알고리즘과 물체 검출 알고리즘과 같은 기존의 검출 방법들 중의 적어도 하나를 사용하여 입력 이미지(101) 내의 적어도 하나의 ROI를 검출할 수 있다. 또한, 상기 검출 방법 이외에도 다양한 검출 방법들을 사용하여 입력 이미지(101) 내의 적어도 하나의 ROI를 검출할 수 있다. 또한, 상이한 검출 방법들을 사용하여 입력 이미지(10) 내의 다수의 상이한 ROI들을 검출할 수 있다. 폭과 높이와 같은 이미지의 치수들은 2차원 평면의 'x' 축 및 'y' 축으로 각각 나타나 있을 수 있다. 또한, 폭과 높이와 같은 이미지의 차수들은 2차원 평면의 'x' 축 및 'y' 축에 대응하는 값으로 각각 나타나 있을 수 있다.The ROI provider 102 may include an ROI detector module 102a, an ROI database 102c, a user supplied ROI 102b, and an ROI tracker module 102d. It should also be noted that at least one of the input images 101 in the input image 101 may be associated with at least one of the ROI provider 102, i.e., the ROI detector module 102a, the ROI database 102c, the user supplied ROI 102b, and the ROI tracker module 102d. Obtain ROI. Further, according to embodiments of the present invention, an option is provided to the user to select at least one ROI in the input image 101, thereby providing the user with control over at least one ROI. By way of example and not of limitation, the ROI detector 102a can detect at least one ROI in the input image 101 using at least one of the conventional detection methods, such as face detection algorithm and object detection algorithm. Further, in addition to the above detection method, various detection methods can be used to detect at least one ROI in the input image 101. [ In addition, different detection methods can be used to detect a large number of different ROIs in the input image 10. Dimensions of the image, such as width and height, may be represented by the 'x' axis and the 'y' axis, respectively, of the two-dimensional plane. In addition, the orders of the image such as the width and the height may be represented by values corresponding to the 'x' axis and the 'y' axis of the two-dimensional plane, respectively.

출력 이미지(104)의 높이와 폭을 포함하는 목표 치수들과 적어도 하나의 ROI를 가진 입력 이미지(101)를 수신하는 경우, 처리 모듈(103)은 수평 리사이징, 수직 리사이징 중의 적어도 하나를 수행함으로써 입력 이미지(101)를 리사이징 처리한다. 예를 들어, 하나의 목표 치수, 즉, 출력 이미지(104)의 높이가 입력 이미지(101)의 높이보다 더 크거나 작은 경우, 처리 모듈(103)은 'y' 축에서의 입력 이미지(101)의 리사이징, 즉, 수직 리사이징을 수행한다. 이후, 다른 목표 치수, 즉 출력 이미지(104)의 폭이 입력 이미지(101)의 폭보다 크거나 작은 경우, 처리 모듈(103)은 'x' 축에서의 입력 이미지(101)의 리사이징, 즉 수평 리사이징을 수행한다. 또한, 처리 모듈(103)은 입력 이미지(10)에 대한 수평 리사이징을 수행한 이후 수직 리사이징을 수행할 수도 있다. 또한, 처리 모듈(103)은 입력 이미지(101)에 대한 수평 및 수직 리사이징 모두를 동시에 수행함으로써 출력 이미지(104)의 목표 치수들을 충족하도록 구성되기도 한다.When receiving an input image 101 having at least one ROI and target dimensions including the height and width of the output image 104, the processing module 103 performs at least one of horizontal resizing, vertical resizing, The image 101 is subjected to a resizing process. For example, if one target dimension, i.e., the height of the output image 104 is greater than or less than the height of the input image 101, then the processing module 103 determines the input image 101 in the 'y' That is, vertical resizing. If the other target dimension, i.e., the width of the output image 104 is greater than or less than the width of the input image 101, then the processing module 103 determines the resizing of the input image 101 in the 'x' Perform resizing. In addition, the processing module 103 may perform horizontal resizing on the input image 10 and then perform vertical resizing. The processing module 103 is also configured to meet the target dimensions of the output image 104 by performing both horizontal and vertical resizing on the input image 101 simultaneously.

도 2는 본 발명의 실시예들에 따른, 콘텐츠 인식 이미지 리사이징을 위한 방법을 설명하는 흐름도를 도시하고 있다. 도 2를 참조하면, 단계 201에서, 처리 모듈(103)은 입력 이미지(101)와, 상기 입력 이미지(101)의 높이와 폭을 포함하는 치수들과, 출력 이미지(104)의 목표 치수들, 및 ROI 프로바이더(102)에 의해 제공되는 입력 이미지(101) 내의 검출된 적어도 하나의 ROI를 수신한다.Figure 2 shows a flow diagram illustrating a method for content aware image resizing, in accordance with embodiments of the present invention. Referring to Figure 2, in step 201, the processing module 103 receives input images 101, dimensions including the height and width of the input image 101, and target dimensions of the output image 104, And at least one detected ROI in the input image 101 provided by the ROI provider 102.

수신된 입력에 대한 응답으로, 단계 202에서, 처리 모듈(103)의 CAIR 모듈(103a)은 'x' 좌표들(폭) 및 'y' 좌표들(높이)에 대해 오름차순, 즉 입력 이미지(101) 내의 좌표들에 대한 발생 순서로 적어도 하나의 ROI를 소팅(sorting)한다. 예를 들어, CAIR 모듈(103a)이 수직 리사이징을 수행하고 있는 경우, 즉 'y' 축 방향으로 입력 이미지(101)를 리사이징하고 있는 경우, 수신된 적어도 하나의 ROI가 높이에 대해 오름차순으로 소팅되고; 마찬가지로 CAIR 모듈(103a)이 수평 리사이징을 수행하고 있는 경우, 즉 'x' 축 방향으로 입력 이미지(101)을 리사이징하고 있는 경우, 수신된 적어도 하나의 ROI는 폭에 대해 오름차순으로 소팅된다.In response to the received input, the CAIR module 103a of the processing module 103, in step 202, determines in ascending order for the 'x' coordinates (width) and 'y' ) At least one ROI in the order of occurrence. For example, when the CAIR module 103a is performing vertical resizing, i.e., resizing the input image 101 in the 'y' axis direction, at least one received ROI is sorted in ascending order of height ; Similarly, when the CAIR module 103a is performing horizontal resizing, i.e., resizing the input image 101 in the 'x' axis direction, the received at least one ROI is sorted in ascending order of width.

단계 203에서, CAIR 모듈(103a)은 오버래핑(overlapping) ROI를 조합하여 소팅된 ROI 내의 적어도 하나의 구별되는 비오버래핑 ROI를 식별한다. CAIR 모듈(103a)은 하나의 ROI를 소팅되어 있는 ROI들 내의 연속 ROI와 비교하고, 이에 의해 그 하나의 ROI와 연속 ROI가 부분적으로 오버래핑되고 있는 경우에는, 적어도 하나의 신규 ROI를 구성한다. 또한, 이들 적어도 하나의 ROI가 연속 ROI에 완전히 속하여 있는 경우, CAIR 모듈(103a)은 적어도 하나의 ROI를 삭제한다.In step 203, the CAIR module 103a combines overlapping ROIs to identify at least one distinct, nonoverlapping ROI within the sorted ROI. The CAIR module 103a compares one ROI with the successive ROIs in the sorted ROIs, thereby constructing at least one new ROI if the one ROI and the successive ROI are partially overlapping. Also, if these at least one ROI belongs to a continuous ROI, the CAIR module 103a deletes at least one ROI.

적어도 하나의 구별되는 비오버래핑 ROI를 획득한 경우, 단계 204에서, CAIR 모듈(103a)은 치수들(후술하는 식별된 비-ROI의 치수들을 나타냄)과 함께 적어도 하나의 비-ROI를 식별하고, 상기 소팅된 ROI들을 적어도 하나의 검출된 ROI와 적어도 하나의 식별된 비-ROI로 분할한다. 또한, CAIR 모듈(104a)은 입력 이미지(101)의 좌표들에 관한 발생 순서로, 적어도 하나의 검출된 ROI의 치수들, 및 적어도 하나의 식별된 비-ROI의 치수들을 포함하는 입력 리스트를 생성한다.If at least one distinct non-overlapping ROI is obtained, then in step 204, the CAIR module 103a identifies at least one non-ROI with dimensions (representing the dimensions of the identified non-ROI described below) And divides the sorted ROIs into at least one detected ROI and at least one identified non-ROI. The CAIR module 104a also generates an input list that includes the dimensions of at least one detected ROI and the dimensions of at least one identified non-ROI in the order of occurrence with respect to the coordinates of the input image 101 do.

단계 205에서, CAIR 모듈(103a)은 출력 이미지(104) 내의 ROI들의 종횡비를 입력 이미지(101)와 동일하게 유지하여, 적어도 하나의 검출된 ROI의 최대 출력 치수들을 계산한다. 적어도 하나의 ROI의 최대 높이와 폭을 포함하는 출력 치수들은 하기 수학식 1, 2와 같이 계산된다.In step 205, the CAIR module 103a maintains the aspect ratio of the ROIs in the output image 104 the same as the input image 101, thereby calculating the maximum output dimensions of the at least one detected ROI. The output dimensions including the maximum height and width of at least one ROI are calculated as shown in the following equations (1) and (2).

입력 이미지 높이에 대한 입력 이미지 폭의 비율이 출력 이미지 높이에 대한 출력 이미지 폭의 비율보다 큰 경우에는, CAIR 모듈(103a)이 상기 수학식 1을 고려하여 출력 ROI 폭을 계산한다. 이에 따라, 출력 ROI의 종횡비들을 입력 ROI의 종횡비들과 동일하게 유지하는 것에 의해 계산된 출력 ROI 폭을 사용하여, 출력 ROI 높이가 대응하는 입력 ROI에 관하여 계산된다. 마찬가지로, 입력 이미지 높이에 대한 입력 이미지 폭의 비율이 출력 이미지 높이에 대한 출력 이미지 폭의 비율보다 작은 경우에는, CAIR 모듈(104a)이 수학식 2를 고려하여 출력 ROI 높이를 계산한다. 이에 따라, 출력 ROI의 종횡비들을 입력 ROI의 종횡비들과 동일하게 유지하는 것에 의해 계산된 출력 ROI 높이를 사용하여, 출력 ROI 폭이 대응하는 입력 ROI에 관하여 계산된다. When the ratio of the input image width to the input image height is larger than the ratio of the output image width to the output image height, the CAIR module 103a calculates the output ROI width in consideration of Equation (1) above. Thus, using the output ROI width calculated by keeping the aspect ratios of the output ROI equal to the aspect ratios of the input ROI, the output ROI height is calculated with respect to the corresponding input ROI. Similarly, if the ratio of the input image width to the input image height is less than the ratio of the output image width to the output image height, the CAIR module 104a calculates the output ROI height in view of Equation (2). Thus, using the output ROI height calculated by maintaining the aspect ratios of the output ROI equal to the aspect ratios of the input ROI, the output ROI width is calculated with respect to the corresponding input ROI.

단계 206에서, CAIR 모듈(104a)은 출력 이미지(104)의 목표 치수들 및 단계 205의 적어도 하나의 ROI의 계산된 출력 치수들에 기초하여, 적어도 하나의 식별된 비-ROI의 적어도 하나의 치수들을 계산한다. 적어도 하나의 비-ROI(하기 수학식에서는 Non ROI라 함)의 높이와 폭은 하기 수학식 3, 4와 같이 계산된다,In step 206, the CAIR module 104a determines, based on the target dimensions of the output image 104 and the calculated output dimensions of the at least one ROI of step 205, at least one dimension of the at least one identified non- Lt; / RTI > The height and width of at least one non-ROI (non-ROI in the following equation) are calculated as shown in Equations (3) and (4)

또한, CAIR 모듈(103a)은 입력 리스트 내의 발생 순서의, 적어도 하나의 검출된 ROI의 계산된 치수들, 및 적어도 하나의 식별된 비-ROI의 계산된 치수들을 포함하는 출력 리스트를 생성한다.In addition, the CAIR module 103a generates an output list that includes the calculated dimensions of at least one detected ROI, and the calculated dimensions of at least one identified non-ROI in the order of occurrence in the input list.

적어도 하나의 ROI와 적어도 하나의 비-ROI의 출력 치수들을 계산한 경우, 단계 207에서, CAIR 모듈(103a)은 후술하는 리사이징 함수를 적용함으로써 비선형적으로 적어도 하나의 비-ROI를 리사이징한다. CAIR 모듈(103a)은 각각의 비-ROI를 하나 이상의 픽셀들을 포함하는 복수의 세그먼트들로 분할하고, 적어도 하나의 리사이징 팩터들에 기초하여 비선형적으로 그 세그먼트들 중의 각각의 것을 리사이징함으로써 적어도 하나의 리사이징된 비-ROI를 생성한다.When calculating the output dimensions of at least one ROI and at least one non-ROI, in step 207, the CAIR module 103a resizes at least one non-ROI nonlinearly by applying a resizing function described below. The CAIR module 103a may be configured to divide each non-ROI into a plurality of segments including one or more pixels and to resize each of the segments non-linearly based on the at least one resizing factors, And generates a resized non-ROI.

각각의 리사이징 팩터는 상기 세그먼트의 각각의 것에 대응하고, 리사이징 팩터들은 비-ROI로부터 ROI를 향해 비선형적으로 감소한다. 이러한 리사이징 팩터의 감소는 2개의 상이한 엔드 포인트들에서 2개의 상이한 기울기들을 갖는 곡선에 의해 계산된다. 이 조건들을 만족하는, 비선형 함수가 리사이징 함수로서 선택될 수 있다. 비선형 함수의 몇몇 예들로는 3차 다항식 함수, 2차 함수, 지수 함수 및 로그 함수가 있다. 일 예로서는 아래에 나타낸 비선형 함수와 같은 3차 다항식(수학식 5)을 고려한다.Each resizing factor corresponds to each of the segments, and the resizing factors are non-linearly decreasing from non-ROI toward ROI. The reduction of this resizing factor is computed by a curve with two different slopes at two different end points. A non-linear function satisfying these conditions can be selected as the resizing function. Some examples of nonlinear functions are cubic polynomial functions, quadratic functions, exponential functions, and logarithmic functions. As an example, consider a cubic polynomial (Equation 5) such as the following nonlinear function.

또한, 상기 방법은 각 비-ROI에 대한 곡선을 생성함으로써 3차 다항식의 계수들 a, b, c 및 d를 계산한다. 비-ROI의 입력 치수들 및 출력 치수들과 함께, CAIR 모듈(103a)은 곡선의 엔드 포인트들 및 그들 엔드 포인트들에서의 기울기를 제공한다. CAIR 모듈(104a)은 적어도 하나의 비-ROI의 계산된 사이즈, 및 그 비-ROI 근처에 있는 적어도 하나의 ROI의 계산된 사이즈에 기초하여, 곡선의 엔드들에서의 기울기를 계산한다. ROI에서 멀리 떨어져 있는 한쪽 엔드 포인트에서의 곡선의 기울기는 다음 수학식 6과 같이 주어진다,The method also calculates the coefficients a, b, c, and d of the third order polynomial by generating a curve for each non-ROI. With the input dimensions and output dimensions of the non-ROI, the CAIR module 103a provides the end points of the curve and the slope at their end points. CAIR module 104a calculates the slope at the ends of the curve based on the calculated size of at least one non-ROI and the calculated size of at least one ROI near its non-ROI. The slope of the curve at one endpoint far from the ROI is given by Equation 6,

ROI 근처에 있는 다른쪽 엔드 포인트에서의 곡선의 기울기는 ROI 근처의 영역을 보존하도록 1로 가정된다.The slope of the curve at the other end point near the ROI is assumed to be 1 to preserve the area near the ROI.

CAIR 모듈(103a)은 기존의 방법들을 사용하여, 계산된 기울기들을 사용함으로써 3차 다항식들의 계수들을 결정한다. 계수들의 결정시에, 상기 생성된 3차 다항식을 사용하여 각각의 비-ROI의 각 세그먼트의 리사이징 팩터가 계산된다. n번째 세그먼트에서의 픽셀들의 리사이징 팩터는 f(n-1)에서 f(n)을 감산함으로써 결정된다. 계산된 리사이징 팩터에 따라 각각의 비-ROI의 각 세그먼트가 리사이징되며, 이에 따라 리사이징된 비-ROI를 생성한다.The CAIR module 103a uses the existing methods to determine the coefficients of the third order polynomials by using the calculated slopes. In determining the coefficients, the generated third-order polynomial is used to calculate the resizing factor of each segment of each non-ROI. The resizing factor of the pixels in the nth segment is determined by subtracting f (n) from f (n-1). Each segment of each non-ROI is resized according to the calculated resizing factor, thereby generating a resized non-ROI.

단계 208에서, 처리 모듈(103)은 적어도 하나의 리사이징된 ROI 및 적어도 하나의 리사이징된 비-ROI를 포함하는 출력 이미지(104)를 출력 리스트의 발생 순서로 생성한다. 도 2(200)의 각종 동작들은 주어진 순서, 상이한 순서 또는 동시에 수행될 수 있다. 또한, 실시예들에서는, 도 2에 리스트된 몇몇 동작들이 생략될 수도 있다.In step 208, the processing module 103 generates an output image 104 containing at least one resized ROI and at least one resized non-ROI in the order of occurrence of the output list. The various operations of FIG. 2 (200) may be performed in a given order, different orders, or concurrently. Further, in the embodiments, some of the operations listed in Fig. 2 may be omitted.

도 3a 내지 도 3d는 본 발명의 실시예들에 따른, 콘텐츠 인식 이미지 리사이징에 대한 예시적 방법을 도시하고 있다. 여기에는 입력 이미지(101) 치수들을 600×400에서 800×400으로 업사이징하는 예가 제공된다. ROI 프로바이더(102)는 이미지 치수들 600×400과 함께 리사이징용 입력 이미지(101)를 수신한다. 입력 이미지(101)의 수신시에, 도 3a에 나타낸 바와 같이, ROI 프로바이더(102)는 그 각각이 100×100의 치수를 가지면서 입력 이미지(101)의 좌표들 (100,100) 및 (350,100)에 위치되는 2개의 ROI들을 검출하게 된다. 치수들과 함께 검출된 ROI들 및 입력 이미지(101)는 처리 모듈(103)로 전달된다. 또한, CAIR 모듈(104a)에 의해 출력 이미지(104)의 목표 치수들 800×400이 수신된다.Figures 3A-3D illustrate an exemplary method for content aware image resizing, in accordance with embodiments of the present invention. There is provided an example of upsizing the input image 101 dimensions from 600x400 to 800x400. The ROI provider 102 receives an input image 101 for resizing with image dimensions 600x400. 3A, the ROI provider 102 determines the coordinates (100,100) and (350,100) of the input image 101, each of which has a dimension of 100x100, As shown in FIG. The detected ROIs along with the dimensions and the input image 101 are passed to the processing module 103. Also, the target dimensions 800x400 of the output image 104 are received by the CAIR module 104a.

출력 이미지(10)의 목표 치수들을 수신 시, CAIR 모듈(103a)은 수행될 리사이징의 타입을 식별한다. 이 예에서, CAIR 모듈(103a)은 수평 리사이징을 수행한다. 처음 단계에서, CAIR 모듈(103a)은 그 각각이 100, 150 및 150 픽셀들의 폭을 각각 갖는, 입력 이미지(101) 내의 3개의 비-ROI들을 식별하게 된다. 비-ROI의 식별시에, 도 3b에 나타낸 바와 같이, CAIR 모듈(103a)은 입력 이미지(101)를 ROI들 및 비-ROI들로 분할한다.Upon receiving the target dimensions of the output image 10, the CAIR module 103a identifies the type of resizing to be performed. In this example, the CAIR module 103a performs horizontal resizing. In the first step, the CAIR module 103a identifies three non-ROIs in the input image 101, each of which has a width of 100, 150 and 150 pixels, respectively. Upon identification of the non-ROI, as shown in FIG. 3B, the CAIR module 103a segments the input image 101 into ROIs and non-ROIs.

다음 단계에서, CAIR 모듈(103a)은 출력 이미지(104)의 ROI의 종횡비들을 입력 이미지(101)의 ROI의 종횡비들과 동일하게 유지함으로써, ROI의 최대 가능한 출력 폭을 계산한다. 이 예에서는, 동일한 종횡비를 유지하기 위해, ROI가 더 리사이징될 수 없다. 그러므로, 출력 이미지(104)에는 2개 ROI의 총 200픽셀이 고정된다. 다른 400 픽셀들은 출력 이미지(104)의 목표 치수들 800×400을 달성하기 위해 600 픽셀로 늘어날 필요가 있다. 이에 따라, 3개 비-ROI의 전체 폭이 400 픽셀에서 600 픽셀로 늘어날 필요가 있다. 그러므로, 도 3c에 나타낸 바와 같이, 3개 비-ROI의 출력 폭은 150, 225 및 225 픽셀들로 계산된다. 이에 따라, ROI들(100+100=200) 및 비-ROI(150+225+225=600)의 전체 폭은 800 픽셀로 늘어난다.In the next step, the CAIR module 103a calculates the maximum possible output width of the ROI by keeping the aspect ratios of the ROI of the output image 104 equal to the aspect ratios of the ROI of the input image 101. [ In this example, in order to maintain the same aspect ratio, the ROI can not be further resized. Therefore, in the output image 104, a total of 200 pixels of two ROIs are fixed. The other 400 pixels need to be increased to 600 pixels to achieve the target dimensions 800x400 of the output image 104. [ Accordingly, the total width of the three non-ROIs needs to increase from 400 pixels to 600 pixels. Therefore, as shown in FIG. 3C, the output widths of the three non-ROIs are calculated as 150, 225, and 225 pixels. Accordingly, the total width of ROIs (100 + 100 = 200) and non-ROI (150 + 225 + 225 = 600) is increased to 800 pixels.

다른 단계에서, CAIR 모듈(103a)은 3차 다항식을 사용하여 각각의 비-ROI를 비선형적으로 분할한다. 전술한 바와 같이, 리사이징 팩터는 비-ROI에서 ROI로 비선형적으로 감소한다. 이러한 리사이징 팩터의 감소를 결정하기 위해, CAIR 모듈(103a)은 3차 다항식을 사용한다. 예를 들어, 여기서의 설명은 도 3d에 나타낸 바와 같이 100 픽셀에서 150 픽셀로 제 1 비-ROI를 늘리는 것에 대하여 제공된 것이다.In another step, the CAIR module 103a non-linearly divides each non-ROI using a third order polynomial. As described above, the resizing factor decreases non-linearly from non-ROI to ROI. To determine the reduction of such a resizing factor, the CAIR module 103a uses a third order polynomial. For example, the description herein is provided for increasing the first non-ROI from 100 pixels to 150 pixels, as shown in Figure 3d.

CAIR 모듈(103a)이 ROI로부터 떨어져 있는 곡선의 엔드 포인트에서의 기울기를 계산한 것이 2로 발견되며, 이 기울기는 적어도 하나의 비-ROI의 계산된 사이즈 및 비-ROI 근처에 있는 적어도 하나의 ROI의 계산된 사이즈에 기초하여 계산되어 있다. 계산된 기울기를 사용하여, 본 방법은 제 1 비-ROI에 대한 3차 다항식 함수(수학식 7)를 생성하며, 이것은 다음과 같이 주어진다It is found that the CAIR module 103a calculates the slope at the endpoint of the curve away from the ROI is 2, which is the calculated size of at least one non-ROI and at least one ROI near the non- Is calculated on the basis of the calculated size. Using the calculated slope, the method generates a third order polynomial function (Equation 7) for the first non-ROI, which is given by

다음 단계에서, CAIR 모듈(103a)은 그 각각의 세그먼트가 하나 이상의 픽셀들을 갖는 세그먼트들로서, 제 1 비-ROI의 100 픽셀들을 분할한다. 이 예에서는, 도 3d에 나타낸 바와 같이 100 픽셀은, 그 각각이 10 픽셀을 갖는 10 세그먼트로 분할된다. 마지막으로, CAIR 모듈(103a)은 대응 세그먼트의 리사이징 팩터를 결정하기 위해 생성된 3차 다항식 함수에서 각 세그먼트 내의 픽셀들의 개수를 대체하는 것에 의해 각 세그먼트의 리사이징 팩터를 결정한다. 예를 들어, x가 10 픽셀인 경우, 제 1 세그먼트에 대해 대응하는 f(x), 즉 리사이징 팩터는 19 픽셀이다. x가 20 픽셀인 경우, 대응하는 f(x)는 38 픽셀이다. 전술한 바와 같이, f(n-1)에서 f(n)을 감산하는 것에 의해서, n번째 세그먼트의 픽셀들에 대한 리사이징 팩터가 결정된다. 그러므로, 이 예에서, 제 2 세그먼트의 픽셀들에 대한 리사이징 팩터는 19이다. 마찬가지로, 모든 비-ROI의 모든 세그먼트들에 대한 리사이징 팩터들이 계산되며, 출력 이미지(104)가 목표 치수들에 따라 생성된다.In the next step, the CAIR module 103a segments the 100 pixels of the first non-ROI with segments of which each segment has one or more pixels. In this example, as shown in Fig. 3D, 100 pixels are divided into 10 segments, each of which has 10 pixels. Finally, the CAIR module 103a determines the resizing factor of each segment by replacing the number of pixels in each segment in the generated third-order polynomial function to determine the resizing factor of the corresponding segment. For example, if x is 10 pixels, the corresponding f (x) for the first segment, i.e., the resizing factor is 19 pixels. If x is 20 pixels, the corresponding f (x) is 38 pixels. As described above, by subtracting f (n) from f (n-1), the resizing factor for the pixels of the nth segment is determined. Therefore, in this example, the resizing factor for the pixels of the second segment is 19. Likewise, the resizing factors for all segments of all non-ROI are calculated, and the output image 104 is generated according to the target dimensions.

도 4는 본 발명의 실시예에 따라, 이미지의 픽셀들을 수평방향으로 다운사이징하는 예시적 방법을 도시하고 있다. 도 4에 도시된 바와 같이, 이미지의 각 블록은 하나 이상의 픽셀들을 나타낸다. 예를 들어, ROI가 2 픽셀을 갖는 수평 리사이징을 위해서, 20 픽셀을 갖는 이미지가 고려된다. 20 픽셀을 12 픽셀로 리사이징하기 위해, 도 4에 나타낸 바와 같이, 본 방법은 리사이징 팩터가 비-ROI로부터 ROI쪽으로 증가하도록 리사이징 팩터들을 결정한다. 그러므로, 이미지의 픽셀들은 상이한 리사이징 팩터들로 늘어난다.Figure 4 illustrates an exemplary method of downsampling pixels of an image in a horizontal direction, in accordance with an embodiment of the present invention. As shown in Figure 4, each block of an image represents one or more pixels. For example, for horizontal resizing with an ROI of 2 pixels, an image with 20 pixels is considered. To resize 20 pixels to 12 pixels, as shown in Figure 4, the method determines resizing factors such that the resizing factor increases from non-ROI towards ROI. Therefore, the pixels of the image are stretched to different resizing factors.

도 5는 본 발명의 실시예들에 따라, 이미지의 픽셀들을 수직방향으로 업사이징하는 예시적 방법을 도시하고 있다. 도 5에 도시된 바와 같이, 이미지의 각 블록은 하나 이상의 픽셀들을 나타낸다. 예를 들어, ROI가 2 픽셀을 갖는 수직 리사이징을 위해서, 12 픽셀을 갖는 이미지가 고려된다. 12 픽셀을 20 픽셀로 리사이징하기 위해, 도 5에 나타낸 바와 같이, 본 방법은 비-ROI로부터 ROI쪽으로 리사이징 팩터가 감소하도록 리사이징 팩터들을 결정한다. 그러므로, 이미지의 픽셀들은 상이한 리사이징 팩터들로 늘어난다.Figure 5 illustrates an exemplary method of upsampling pixels of an image in a vertical direction, in accordance with embodiments of the present invention. As shown in Figure 5, each block of an image represents one or more pixels. For example, for vertical resizing with an ROI of 2 pixels, an image with 12 pixels is considered. To resize 12 pixels to 20 pixels, the method determines resizing factors such that the resizing factor decreases from non-ROI towards ROI, as shown in Fig. Therefore, the pixels of the image are stretched to different resizing factors.

도 6은 본 발명의 실시예들에 따라, 이미지의 픽셀들을 수직방향으로 다운사이징하는 예시적 방법을 도시하고 있다. 도 6에 도시된 바와 같이, 이미지의 각 블록은 하나 이상의 픽셀들을 나타낸다. 예를 들어, ROI가 2 픽셀을 갖는 수직 리사이징을 위해서 20 픽셀을 갖는 이미지가 고려된다. 20 픽셀을 12 픽셀로 리사이징하기 위해, 도 6에 나타낸 바와 같이, 본 방법은 비-ROI로부터 ROI쪽으로 리사이징 팩터가 증가하도록 리사이징 팩터들을 결정한다. 그러므로, 이미지의 픽셀들은 상이한 리사이징 팩터들로 늘어난다.Figure 6 illustrates an exemplary method of downsampling pixels of an image in a vertical direction, in accordance with embodiments of the present invention. As shown in Figure 6, each block of an image represents one or more pixels. For example, an image with 20 pixels is considered for vertical resizing with an ROI of 2 pixels. To resize 20 pixels to 12 pixels, the method determines resizing factors such that the resizing factor increases from non-ROI towards ROI, as shown in FIG. Therefore, the pixels of the image are stretched to different resizing factors.

도 7은 본 발명의 실시예들에 따른 콘텐츠 인식 이미지 리사이징을 위한 예시적 입력 이미지(101)를 나타낸다. 또한, 도 8은 본 발명의 실시예들에 따라, 도 7의 예시적 소스 이미지의 업사이징된 이미지를 나타내며, 도 9는 본 발명의 실시예들에 따라, 도 7의 예시적 소스 이미지의 다운사이징된 이미지를 나타낸다. 도 7을 참조하면, 이미지는 도 8 및 도 9에 각각 도시된 바와 같이 업사이징 및 다운사이징 동안에 보존되는 4개의 ROI들을 구비하고 있다. 또한, 도 8 및 도 9에서의 ROI들 근처에 있는 단어 "colorful swings"의 문자들은, 상기 ROI들로부터 떨어져 있는 문자들(도시되지 아니 함)에 비해 덜 리사이징된다.7 shows an exemplary input image 101 for content aware image resizing in accordance with embodiments of the present invention. 8 also shows an upsized image of the exemplary source image of FIG. 7, according to embodiments of the present invention, and FIG. 9 is a diagram illustrating the downsampling of the exemplary source image of FIG. 7, in accordance with embodiments of the present invention. It represents a sized image. Referring to Fig. 7, the image has four ROIs that are preserved during upsizing and downsizing, as shown in Figs. 8 and 9, respectively. Also, the characters of the word "colorful swings" near the ROIs in Figs. 8 and 9 are less re-sized compared to the characters (not shown) that are away from the ROIs.

도 10은 본 발명의 실시예들에 따라, 입력 이미지(101) 내의 ROI의 좌측 또는 상측에 비-ROI가 존재할 때, 리사이징 팩터를 계산하는 예시적 리사이징 팩터 그래프를 도시하고 있다. 도 10에 도시된 바와 같이, 리사이징 팩터는 ROI쪽으로 감소한다. 이 예에서는, 5 픽셀을 갖는 이미지가 10 픽셀로 늘어나는 것이 고려된다. 리사이징 팩터들을 결정하기 위해, 본 방법은 리사이징 함수를 생성한다. 본 방법은 2개의 엔드 포인트들 (0, 0) 및 (5, 10)에서의 곡선 기울기를 각각 3과 1로 결정하였다.10 illustrates an exemplary resizing factor graph for calculating a resizing factor when there is a non-ROI on the left or top side of the ROI in the input image 101, in accordance with embodiments of the present invention. As shown in FIG. 10, the resizing factor decreases toward ROI. In this example, it is contemplated that the image with 5 pixels will grow to 10 pixels. To determine the resizing factors, the method generates a resizing function. The method determines the curve slopes at the two end points (0, 0) and (5, 10) as 3 and 1, respectively.

이 값들을 사용하여, 본 방법은 다음과 같이 주어진 리사이징 함수 또는 3차 다항식 함수(수학식 8)를 생성한다.Using these values, the method generates a given resizing function or a cubic polynomial function (Equation 8) as follows.

상기 수학식 8은 입력 이미지(101) 내의 5개 픽셀의 리사이징 팩터들을 결정하고, 이에 의해 5개 픽셀 영역을 10개 픽셀 영역으로 늘리는데 사용된다.Equation (8) above determines the resizing factors of the five pixels in the input image 101, thereby increasing the five pixel region to ten pixel regions.

도 11은 본 발명의 실시에들에 따라, 입력 이미지(101) 내의 우측 또는 하측에 비-ROI가 존재할 때, 리사이징 팩터를 계산하는 예시적 곡선 또는 리사이징 팩터 그래프를 도시하고 있다. 도 11에 도시된 바와 같이, 리사이징 팩터는 ROI 영역쪽으로 증가한다. 이 예에서는, 5 픽셀을 갖는 이미지가 10 픽셀로 리사이징되는 것이 고려된다. 리사이징 팩터들을 결정하기 위해, 본 방법은 리사이징 함수를 생성한다. 본 방법은 2개의 엔드 포인트들 (0, 0) 및 (5, 10)에서의 곡선 기울기를 각각 1 및 3으로 결정하였다. 이 값들을 사용하여, 본 방법은 다음과 같이 주어지는 3차 다항식 함수 또는 리사이징 함수(수학식 9)를 생성한다.Figure 11 shows an exemplary curve or resizing factor graph for calculating a resizing factor when there is a non-ROI in the right or bottom side of the input image 101, according to embodiments of the present invention. As shown in Fig. 11, the resizing factor increases toward the ROI region. In this example, it is contemplated that an image with 5 pixels is resized to 10 pixels. To determine the resizing factors, the method generates a resizing function. The method has determined the curve slopes at the two end points (0, 0) and (5, 10) to be 1 and 3, respectively. Using these values, the method generates a cubic polynomial function or a resizing function (Equation 9) given as follows.

상기 수학식 9는 입력 이미지(101) 내의 5 픽셀의 리사이징 팩터들을 결정하고, 이에 의해 5개 픽셀 영역을 10개 픽셀 영역으로 늘리는데 사용된다.Equation (9) above determines the resizing factors of 5 pixels in the input image 101, and thereby is used to increase the five pixel region to the ten pixel region.

도 12는 본 발명의 실시예들에 따라, 입력 이미지(101) 내의 2개의 ROI들 사이에 비-ROI가 존재할 때, 리사이징 팩터를 계산하는 예시적 곡선 또는 리사이징 팩터 그래프를 도시하고 있다. 도 12에 도시된 바와 같이, 리사이징 팩터는 2개의 ROI들 사이의 미드포인트(midpoint) 쪽으로 증가하며, 또한 다른 ROI쪽으로 증가한다. 이 예에서는, 10 픽셀을 가진 이미지가 20 픽셀로 리사이징되는 것이 고려된다. 리사이징 팩터는 5번째 픽셀까지 비선형적으로 증가하며, 5번째 픽셀로부터 10번째 픽셀까지 비선형적으로 감소한다는 것이, 그래프로부터 명백하다. 이와 같은 경우, 5번째 픽셀까지의, 리사이징 팩터들을 결정하기 위해, 다음의 함수가 사용된다.12 illustrates an exemplary curve or resizing factor graph for calculating a resizing factor when there is a non-ROI between two ROIs in the input image 101, in accordance with embodiments of the present invention. As shown in Figure 12, the resizing factor increases towards the midpoint between the two ROIs and also increases towards the other ROI. In this example, it is contemplated that an image with 10 pixels is resized to 20 pixels. It is evident from the graph that the resizing factor increases nonlinearly up to the fifth pixel and decreases nonlinearly from the fifth pixel to the tenth pixel. In such a case, the following function is used to determine the resizing factors up to the fifth pixel.

5번째 픽셀에서 10번째 픽셀까지의, 리사이징 팩터는 다음의 함수를 사용하여 결정된다.The resizing factor from the 5th pixel to the 10th pixel is determined using the following function.

콘텐츠 인식 멀티미디어 리사이징을 위한 방법은 많은 이점들을 제공한다. 본 방법을 사용하는 리사이징 프로세스는 계산적으로 비용이 적게 든다. 이에 부가하여, 본 방법은 ROI들에 대한 제어 및 리사이징을 사용자에게 제공한다. 또한, 이 리사이징 방법은 사용자 뷰잉 체험을 증가시킨다.The method for content-aware multimedia resizing offers many advantages. The resizing process using this method is computationally inexpensive. In addition, the method provides the user with control and resizing of ROIs. In addition, this resizing method increases the user viewing experience.

본 발명의 실시예들은 적어도 하나의 하드웨어 디바이스에서 실행되어 상기 구성요소들을 제어하기 위해 네트워크 관리 기능들을 수행하는 적어도 하나의 소프트웨어 프로그램을 통해 구현될 수 있다. 도 1에 나타낸 구성요소들은 하드웨어 디바이스, 또는 하드웨어 디바이스와 소프트웨어 모듈의 조합 중의 적어도 하나일 수 있다.Embodiments of the present invention may be implemented through at least one software program that runs on at least one hardware device and performs network management functions to control the components. The components shown in Fig. 1 may be at least one of a hardware device, or a combination of a hardware device and a software module.

전술한 특정 실시예들의 설명은 현재의 지식을 적용하는 것에 의해 본 발명의 실시예들의 일반 성질을 완전히 나타나게 되며, 그 일반 개념으로부터 벗어남 없는 특정 실시예들을 용이하게 변형될 수 있고 및/또는 각종 응용들에 대해 적응될 수 있다. 따라서, 이러한 적용물들 및 변형물들은 본 발명의 동등물의 의미 및 범위 내인 것으로 이해되는 것이 의도된다. 본 명세서에서 사용된 전문용어 또는 어법은 한정이 아닌 설명의 목적을 위한 것이라는 것이 이해될 것이다. 그러므로, 바람직한 실시예들의 관점에서 본 실시예들을 기술하였지만, 당업자는 본 실시예들이 여기에 기술된 실시예들의 사상 및 범위 내의 변형을 가지고 실시될 수 있다는 것을 인식할 것이다.
The description of the specific embodiments above is to be regarded as complete in characterizing the general nature of embodiments of the invention by applying the present knowledge, and specific embodiments without departing from its generic concept may be readily modified and / &Lt; / RTI > It is, therefore, to be understood that such applications and modifications are within the meaning and range of equivalents of the present invention. It is to be understood that the terminology or grammar used herein is for the purpose of description and not of limitation. Therefore, while these embodiments have been described in terms of their preferred embodiments, those skilled in the art will recognize that the embodiments may be practiced with modifications within the spirit and scope of the embodiments described herein.

Claims

A method for content-aware multimedia resizing comprising:
Maintaining the aspect ratio of the selected at least one region of interest (ROI) in the output multimedia equal to the aspect ratio of the input multimedia, thereby uniformly resizing the selected at least one ROI in the input multimedia; And
And non-linearly re-sizing at least one non-ROI in the input multimedia to generate at least one re-sized non-ROI.

The method as recited in claim 1, wherein the input multimedia is one of an image and a video.

2. The method of claim 1, further comprising: prior to uniformly resizing the selected at least one ROI in the input multimedia,
Obtaining the dimensions of the at least one ROI and the at least one ROI in the input multimedia; And
Further comprising sorting the obtained at least one ROI with respect to the dimensions. &Lt; Desc / Clms Page number 20 >

4. The method of claim 3, further comprising determining at least one non-overlapping ROI in the sorted ROI.

4. The method of claim 3, further comprising, prior to non-linearly resizing the at least one non-ROI,
Identifying dimensions of the at least one non-ROI and the at least one non-ROI; And
Further comprising the step of partitioning the input multimedia into at least one obtained ROI and at least one non-ROI identified. &Lt; Desc / Clms Page number 20 >

2. The method of claim 1, wherein uniformly resizing the selected at least one ROI in the input multimedia comprises:
Calculating an output dimension of the at least one ROI based on predetermined dimensions of the output multimedia and dimensions of the input multimedia; And
And generating at least one resized ROI by resizing the at least one ROI based on the calculated output dimensions. &Lt; Desc / Clms Page number 21 >

7. The method of claim 6, wherein non-linearly resizing at least one non-ROI in the input multimedia comprises:
Calculating an output dimension of the at least one non-ROI based on at least one of the predetermined dimensions of the output multimedia and the calculated output dimension of the at least one ROI; And
Segmenting the at least one non-ROI into a plurality of segments,
RTI ID = 0.0 > 1, < / RTI > wherein the segment comprises one or more pixels.

8. The method of claim 7, further comprising: applying a resizing function to non-linearly resizing the segments,
The resizing function includes:
And determining a resizing factor of each of the segments. &Lt; Desc / Clms Page number 22 >

The method of claim 1, wherein the resizing comprises:
Wherein the method comprises at least one of horizontal up-resizing, vertical up-resizing, horizontal down resizing, and vertical down resizing.

10. The method according to claim 8 or 9,
Wherein the resizing factor is non-linearly decreasing from the at least one non-ROI toward the at least one ROI when the resizing is the horizontal up-resizing or the vertical up-sizing. .

10. The method according to claim 8 or 9,
Wherein the resizing factor is non-linearly increasing from the at least one non-ROI toward the at least one ROI when the resizing is the horizontal down resizing or the vertical down resizing. .

9. The method of claim 8, wherein if the at least one non-ROI is between the at least one ROI in the input multimedia and a consecutive ROI, then the resizing factor is determined to be contiguous with the at least one ROI in the input multimedia Linearly increases toward the midpoint between the ROI and the ROI, and decreases toward the continuous ROI.

9. The method as recited in claim 8, further comprising generating the resizing function.

2. The method of claim 1, wherein in the order of occurrence of the at least one resized ROI and the at least one resized non-ROI coordinates in the input multimedia, the at least one resized ROI and the at least one resized non- And generating the output multimedia.

A computer-readable medium storing a program for content-aware multimedia resizing,
An integrated circuit including at least one processor; And
At least one memory having computer program code in the integrated circuit,
Wherein the at least one memory and the computer program code cause the medium, along with the at least one processor,
A content aware image resizing (CAIR) module maintains an aspect ratio of a selected at least one region of interest (ROI) within an output multimedia equal to the aspect ratio of the input multimedia, such that the selected at least one ROI Uniformly < / RTI >
Wherein the CAIR module non-linearly resizes at least one non-ROI in the input multimedia to generate at least one resized non-ROI.

16. The computer-readable medium of claim 15, wherein the input multimedia is one of an image and a video.

16. The apparatus of claim 15, wherein the medium is adapted to: obtain, by a ROI provider, dimensions of the at least one ROI and the at least one ROI in the input multimedia before uniformly resizing the selected at least one ROI; And to sort the at least one obtained ROI with respect to the dimensions by the CAIR module.

18. The medium of claim 17, wherein the medium is further configured to determine, by the CAIR module, at least one non-overlapping ROI in the sorted ROI.

18. The apparatus of claim 17, wherein the medium is configured to allow the at least one non-ROI and the at least one non-ROI to be dimensioned by the CAIR module, prior to non-linearly resizing the at least one non-ROI. Identify; Further comprising, by the CAIR module, to divide the input multimedia into the obtained at least one ROI and the identified at least one non-ROI.

16. The apparatus of claim 15, wherein the medium further comprises: calculating, by the CAIR module, an output dimension of the at least one ROI based on predetermined dimensions of the output multimedia and dimensions of the input multimedia; And wherein the CAIR module is further configured to generate at least one resized ROI by resizing the at least one ROI based on the calculated output dimension.

21. The apparatus of claim 20, wherein the medium is configured to allow, by the CAIR module, based on at least one of the predetermined dimensions of the output multimedia and the calculated output dimensions of the at least one ROI, To calculate an output dimension of; Wherein by the CAIR module, the at least one non-ROI is divided into a plurality of segments, wherein the segment is further configured to include at least one pixel.

22. The apparatus of claim 21, wherein the medium is further configured to non-linearly resize the segments by applying a resizing function by the CAIR module, wherein the resizing function stores a program for determining a resizing factor of each of the segments A computer readable medium.

16. The computer-readable medium of claim 15, wherein the resizing comprises at least one of horizontal upsizing, vertical upsizing, horizontal down resizing, and vertical down resizing.

24. The method of claim 22 or 23, wherein if the resizing is the horizontal up-resizing or the vertical up-sizing, the resizing factor is a non-linearly decreasing program from the at least one non-ROI toward the at least one ROI Readable medium.

24. The method of claim 22 or 23, wherein if the resizing is the horizontal down resizing or the vertical down resizing, the resizing factor is a non-linearly increasing program from the at least one non-ROI toward the at least one ROI Readable medium.

23. The method of claim 22, wherein if the at least one non-ROI is between the at least one ROI in the input multimedia and a consecutive ROI, then the resizing factor is selected to be contiguous with the at least one ROI in the input multimedia Linearly increases towards the midpoint between the ROIs and decreases toward the successive ROIs.

23. The computer-readable medium of claim 22, wherein the medium is further configured to generate the resizing function by the CAIR module.

16. The method of claim 15, wherein the medium is adapted to generate, by the CAIR module, the at least one resized ROI in the input multimedia and the at least one resized non-ROI coordinates in the order of occurrence of the at least one re- And arranging the at least one resized non-ROI to generate the output multimedia.