[go: up one dir, main page]

KR20190048196A - Method and Apparatus for Processing Image based on Image Quality - Google Patents

Method and Apparatus for Processing Image based on Image Quality Download PDF

Info

Publication number
KR20190048196A
KR20190048196A KR1020170142848A KR20170142848A KR20190048196A KR 20190048196 A KR20190048196 A KR 20190048196A KR 1020170142848 A KR1020170142848 A KR 1020170142848A KR 20170142848 A KR20170142848 A KR 20170142848A KR 20190048196 A KR20190048196 A KR 20190048196A
Authority
KR
South Korea
Prior art keywords
image
quality
image quality
information
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020170142848A
Other languages
Korean (ko)
Other versions
KR102033078B1 (en
Inventor
나태영
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170142848A priority Critical patent/KR102033078B1/en
Publication of KR20190048196A publication Critical patent/KR20190048196A/en
Application granted granted Critical
Publication of KR102033078B1 publication Critical patent/KR102033078B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 실시예는 딥러닝을 이용한 초고해상도 영상 복원 기법 수행 시 영상의 화질 수준을 측정하고, 측정결과에 따라 서로 다른 학습 모델을 적용함으로써 영상의 해상도 뿐만 아니라 품질 상태까지 고려된 결과가 도출될 수 있도록 하며, 이를 통해 사용자로 하여금 보다 자연스럽고 선명한 영상을 제공받을 수 있도록 하는 영상 처리방법 및 그 장치에 관한 것이다.This embodiment measures the image quality level of an image when performing an ultrahigh resolution image restoration method using deep learning and applies a different learning model according to the measurement result so that not only the resolution of the image but also the quality state can be obtained And to provide a user with a more natural and clear image through the image processing method and apparatus.

Figure P1020170142848
Figure P1020170142848

Description

화질 측정 기반 영상 처리방법 및 그 장치{Method and Apparatus for Processing Image based on Image Quality}TECHNICAL FIELD [0001] The present invention relates to an image processing method,

본 실시예는 화질 측정 기반 영상 처리방법 및 그 장치에 관한 것이다. 더욱 상세하게는, 딥러닝을 이용한 초고해상도 영상 복원 기법 수행 시 영상의 품질 수준을 고려하여 적절한 학습 모델이 적용될 수 있도록 하는 화질 측정 기반 영상 처리방법 및 그 장치에 관한 것이다.This embodiment relates to an image quality measurement based image processing method and apparatus therefor. More particularly, the present invention relates to an image quality measurement based image processing method and apparatus for applying an appropriate learning model in consideration of a quality level of an image when an ultra high resolution image restoration technique using deep learning is performed.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.

최근, 디스플레이의 대화면화 및 고해상도화 추세에 따라 저해상도 영상을 고화질의 고해상도 영상으로 변환하기 위한 업 스케일링(UP-Scaling) 기법의 중요성이 점차 증가하고 있으며, 그 중 하나로 초고해상도(SR: Super-Resolution) 영상 복원 기법이 사용되고 있다.In recent years, UP-scaling techniques for converting a low-resolution image into a high-resolution, high-resolution image have become increasingly important according to the large-screen display and high resolution of displays. One of them is Super-Resolution (SR) ) Image restoration technique is used.

전형적인 초고해상도 영상 복원 기법(이하, SR 기법으로 예시하여 설명하도록 한다.)은 여러 장의 저해상도 영상들을 정합하여 하나의 초고해상도 영상을 복원해내는 기법을 말한다. 하지만, 이런 SR 기법은 움직임 보상 기반 정합을 위해 방대한 연산량을 요구한다는 문제점이 존재한다. 혹은, 초해상화 되는 화소 위치 주변 몇 개의 화소값들을 사용하여 새로운 화소값을 생성하는 Bicubic 보간 방법을 사용하기도 하나, 이러한 기법은 주변 화소값들만을 활용하기 때문에 초해상화 후의 영상이 화질이 떨어질 수 있는 문제점이 역시 존재한다A typical ultrahigh-resolution image restoration technique (hereinafter, referred to as an SR technique) is a technique of restoring a single ultra-high resolution image by matching several low-resolution images. However, there is a problem that such an SR technique requires a large amount of computation for motion-compensation-based matching. Alternatively, a Bicubic interpolation method is used to generate a new pixel value using several pixel values around the pixel position to be super-resolution. However, since this technique utilizes only surrounding pixel values, the image quality of the super-resolution image is deteriorated There are also problems that can be

최근 들어, 초해상화 성능을 획기적으로 향상시킬 수 있는 학습 기반(ex: Deep Learning)의 SR 기법이 사용되고 있다. 학습 기반의 SR 기법은 입력된 저해상도 영상에 대해 학습 단계에서 구축한 학습 데이터를 이용하여 고해상도 영상을 생성함으로써 영상 복원 과정이 보다 원활하게 수행될 수 있도록 하는 효과가 있다. 하지만 이러한, 종래의 학습 기반 SR 기법을 실제 IPTV와 같은 멀티미디어 서비스에 적용하는 경우, CP(Contents Provider)들이 공급하는 영상의 화질이 크게 상이하여 학습의 효과가 떨어지게 되며 결국 최종적으로 초해상화된 영상의 화질이 떨어지는 문제가 발생할 수 있다.In recent years, the SR technique (Deep Learning) has been used to dramatically improve the super resolution performance. The learning-based SR technique has the effect of enabling the image restoration process to be performed more smoothly by generating a high-resolution image using the learning data constructed in the learning stage for the input low-resolution image. However, when the conventional learning-based SR technique is applied to a multimedia service such as an actual IPTV, the image quality of the image supplied by the CPs (Content Providers) is greatly different, and the learning effect becomes inferior. Finally, The quality of the image may be deteriorated.

이에, 학습 기반의 SR 기법을 이용한 영상 복원 절차 수행 시 영상의 해상도뿐만 아니라 품질 상태까지 고려한 학습 결과를 활용하여 보다 자연스러운 복원 영상의 획득이 가능토록 하는 새로운 기술을 필요로 한다.Therefore, a new technique is required to obtain a more natural reconstruction image by using the learning result considering the resolution of the image as well as the quality of the image in performing the image restoration procedure using the learning-based SR technique.

본 실시예는 딥러닝을 이용한 초고해상도 영상 복원 기법 수행 시 영상의 화질 수준을 측정하고, 측정결과에 따라 서로 다른 학습 모델을 적용함으로써 영상의 해상도 뿐만 아니라 품질 상태까지 고려된 결과가 도출될 수 있도록 하며, 이를 통해 사용자로 하여금 보다 자연스럽고 선명한 영상을 제공받을 수 있도록 하는 데 그 목적이 있다.This embodiment measures the image quality level of an image when performing an ultrahigh resolution image restoration method using deep learning and applies a different learning model according to the measurement result so that not only the resolution of the image but also the quality state can be obtained So that the user can be provided with more natural and clear images.

본 실시예는, 영상의 화질 개선을 위한 영상 처리장치에 있어서, 상기 화질 개선의 대상이 되는 대상 영상에 대한 화질을 측정하는 측정부; 화질 상태에 따라 분류된 화질 정보별로 상기 화질 개선과 관련하여 기 학습된 학습 데이터를 저장하는 학습부; 및 상기 대상 영상의 화질 측정결과 및 상기 화질 정보별 상기 학습 데이터에 기반하여 상기 대상 영상에 대한 화질 개선을 수행하는 제어부를 포함하는 것을 특징으로 하는 영상 처리장치를 제공한다.The present embodiment is directed to an image processing apparatus for improving image quality, the apparatus comprising: a measurement unit for measuring an image quality of a target image to be improved in image quality; A learning unit for storing learning data learned in association with the image quality improvement for each picture quality information classified according to picture quality states; And a controller for performing image quality improvement on the target image based on the image quality measurement result of the target image and the learning data for each image quality information.

또한, 본 실시예의 다른 측면에 의하면, 영상 처리장치의 영상 화질 개선방법에 있어서, 상기 화질 개선의 대상이 되는 대상 영상의 화질을 측정하는 과정; 화질 정보별 상기 화질 개선과 관련하여 기 학습된 학습 데이터를 저장한 학습 모델 및 상기 대상 영상의 화질 측정결과에 기반하여 상기 대상 영상에 대응되는 보간 파라미터 정보를 산출하는 과정; 및 상기 보간 파라미터 정보를 활용하여 상기 대상 영상에 대한 화질 개선을 수행하는 과정을 포함하는 것을 특징으로 하는 영상 화질 개선방법을 제공한다.According to another aspect of the present invention, there is provided a method of improving image quality of an image processing apparatus, comprising the steps of: measuring an image quality of a target image to be improved; Calculating a learning model storing learned learning data related to the picture quality improvement by picture quality information and interpolation parameter information corresponding to the target picture based on a picture quality measurement result of the subject picture; And performing an image quality enhancement on the target image using the interpolation parameter information.

본 실시예에 따르면, 딥러닝을 이용한 초고해상도 영상 복원 기법 수행 시 영상의 화질 수준을 측정하고, 측정결과에 따라 서로 다른 학습 모델을 적용함으로써 영상의 해상도 뿐만 아니라 품질 상태까지 고려된 결과가 도출될 수 있도록 하며, 이를 통해 사용자로 하여금 보다 자연스럽고 선명한 영상을 제공받을 수 있도록 하는 효과가 있다.According to the present embodiment, when an ultra-high resolution image restoration technique using deep learning is performed, the image quality level is measured and a different learning model is applied according to the measurement result, Thus, it is possible to provide a more natural and clear image to the user.

도 1은 본 실시예에 따른 영상 처리장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 측정부를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 대상 영상의 화질 측정을 위한 입력 신호를 설명하기 위한 예시도이다.
도 4는 본 실시예에 따른 영상 처리장치의 동작을 설명하기 위한 예시도이다.
도 5는 본 실시예에 따른 영상 처리방법을 설명하기 위한 순서도이다.
도 6은 본 실시예에 따른 영상 처리방법의 효과를 설명하기 위한 예시도이다.1 is a block diagram schematically showing an image processing apparatus according to the present embodiment.
2 is a block diagram schematically showing a measuring unit according to the present embodiment.
3 is an exemplary diagram illustrating an input signal for image quality measurement of a subject image according to the present embodiment.
4 is an exemplary diagram for explaining the operation of the image processing apparatus according to the present embodiment.
5 is a flowchart for explaining an image processing method according to the present embodiment.
6 is an exemplary diagram for explaining the effect of the image processing method according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 영상 처리장치를 개략적으로 나타낸 블록 구성도이다.1 is a block diagram schematically showing an image processing apparatus according to the present embodiment.

본 실시예에 따른 영상 처리장치(100)는 학습 기반의 SR 기법을 이용하여 영상 복원 절차를 수행하는 장치를 의미한다. 보다 자세하게는, 본 실시예에 따른, 영상 처리장치(100)는 영상 복원 절차 수행 시 영상의 화질 수준을 측정하고, 측정결과와 유사한 화질의 영상들로 기 학습되어 도출된 보간 파라미터 정보를 적용함으로써 영상의 해상도뿐만 아니라 품질 상태까지 고려된 결과가 도출될 수 있도록 하며, 이를 통해 사용자로 하여금 보다 자연스럽고 선명한 영상을 제공받을 수 있도록 동작한다.The image processing apparatus 100 according to the present embodiment refers to a device that performs an image restoration procedure using a learning-based SR technique. More specifically, the image processing apparatus 100 according to the present embodiment measures the image quality level of the image during the image restoration procedure and applies the derived interpolation parameter information to the image of similar quality to the measurement result A result considering not only the resolution of the image but also the quality state can be derived, thereby allowing the user to receive a more natural and clear image.

이러한, 영상 처리장치(100)는 바람직하게는 IPTV 또는 모바일 멀티미디어 서비스 분야에 적용될 수 있으며, 이 경우, FHD급으로 제작된 디지털 방송 컨텐츠를 보다 고화질 및 고해상도 예컨대, UHD급으로 제공 가능한 효과가 있다.The image processing apparatus 100 can be applied to the IPTV or mobile multimedia service field. In this case, the digital broadcasting contents produced in the FHD class can be provided in a higher quality and a higher resolution, for example, UHD level.

이하에서는 본 실시예에 따른 영상 처리장치(100)가 IPTV 서비스 분야에서 적용된 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니다.Hereinafter, the image processing apparatus 100 according to the present embodiment is applied to the IPTV service field, but the present invention is not limited thereto.

본 실시예에 따른 영상 처리장치(100)는 통신부(110), 측정부(120), 학습부(130) 및 제어부(140)를 포함한다. 이때, 본 실시예에 따른 영상 처리장치(100)에 포함되는 구성요소는 반드시 이에 한정되는 것은 아니다.The image processing apparatus 100 according to the present embodiment includes a communication unit 110, a measurement unit 120, a learning unit 130, and a control unit 140. At this time, the components included in the image processing apparatus 100 according to the present embodiment are not limited thereto.

통신부(110)는 영상 복원 절차를 수행하는 과정에서 필요한 정보들을 송수신하는 장치를 의미한다. 이러한, 통신부(110)는 실시예에 따른 측정부(120)의 구성요소로서 포함되는 형태로 구현될 수 있다.The communication unit 110 is a device for transmitting and receiving necessary information in the process of performing the image restoration procedure. The communication unit 110 may be implemented as a component of the measurement unit 120 according to the embodiment.

본 실시예에 따른 통신부(110)는 컨텐츠 제공장치(미도시)와 통신을 수행하고, 컨텐츠 제공장치로부터 영상 관련정보를 수신한다. 한편, 컨텐츠 제공장치는 IPTV 또는 모바일 멀티미디어 서비스를 위한 영상이 저장되어 있는 서버를 의미한다.The communication unit 110 according to the present embodiment performs communication with a content providing apparatus (not shown) and receives image related information from the content providing apparatus. Meanwhile, the content providing apparatus refers to a server storing images for IPTV or mobile multimedia services.

이하, 도 3을 참조하여, 본 실시예에 따른 통신부(110)가 컨텐츠 제공장치로부터 수신하는 영상 관련정보(=대상 영상의 화질 측정을 위한 입력 신호)에 대해 설명하도록 한다.Hereinafter, with reference to FIG. 3, description will be made of image related information (= input signal for measuring image quality of a target image) received from the content providing apparatus by the communication unit 110 according to the present embodiment.

통신부(110)는 컨텐츠 제공장치로부터 영상 복원 즉, 화질 개선의 대상이 되는 대상 영상을 수신한다. 본 실시예에 있어서, 통신부(110)는 컨텐츠 제공장치로부터 비트스트림 형태로 전송되는 대상 영상을 수신한다.The communication unit 110 receives a target image to be subjected to image restoration, that is, an object of image quality improvement, from the content providing apparatus. In this embodiment, the communication unit 110 receives a target image transmitted in the form of a bit stream from the content providing apparatus.

통신부(110)가 컨텐츠 제공장치로부터 제공받는 대상 영상의 비트스트림은 컨텐츠 제공장치의 선 스케일링 수행 동작에 따라 생성된 비트스트림일 수 있다. 예컨대, 대상 영상의 비트스트림은 컨텐츠 제공장치의 트랜스코더(Transcoder)를 통해 생성된 H.264/HEVC 포맷의 비트스트림일 수 있다.The bitstream of the target image that the communication unit 110 receives from the content providing apparatus may be a bitstream generated according to the line scaling operation of the content providing apparatus. For example, the bitstream of the target image may be a bitstream of the H.264 / HEVC format generated through a transcoder of the content providing apparatus.

또한, 통신부(110)는 컨텐츠 제공장치로부터 대상 영상의 비트스트림에 대한 트랜스코딩 과정에서 산출된 복호화 정보를 수신한다. 이때, 대상 영상의 비트스트림에 대한 복호화 정보는 양자화 파라미터(QP), 비트레이트(Bitrate), 움직임 정도(Motion Vector) 및 인코딩 관련정보가 수집될 수 있으나 반드시 이에 한정되는 것은 아니다. 예컨대, 통신부(110)는 상기의 복호화 정보로서, 잔여 오차(Residual), 블록킹(Blocking) 정도, 비트 에러(Bit Error), 패킷 손실(Paket loss), 지연(Delay), 지터링(Jittering) 등을 추가로 수집할 수도 있다.Also, the communication unit 110 receives the decoding information calculated in the transcoding process for the bitstream of the target image from the content providing apparatus. At this time, quantization parameter (QP), bit rate, motion vector (Motion Vector), and encoding related information may be collected as decoded information for the bitstream of the target image, but the present invention is not limited thereto. For example, the communication unit 110 may use residual information such as Residual, Blocking, Bit Error, Packet loss, Delay, Jittering, and the like as the above- May be further collected.

다른 실시예에서, 통신부(110)는 컨텐츠 제공장치로부터 트랜스코딩되기 이전의 비트스트림 예컨대, MPEG2 TS 포맷의 비트스트림을 수신할 수도 있다.In another embodiment, the communication unit 110 may receive a bitstream, for example, an MPEG2 TS format, before being transcoded from the content providing apparatus.

통신부(110)는 컨텐츠 제공장치로부터 수신한 영상 관련정보를 측정부(120)로 전달한다.The communication unit 110 transmits the image related information received from the content providing apparatus to the measurement unit 120. [

측정부(120)는 대상 영상에 대한 화질(=품질)을 측정하는 장치를 의미한다.The measurement unit 120 is a device for measuring image quality (= quality) of a target image.

측정부(120)는 대상 영상에 대한 원본 영상의 수집 여부에 따라 전기준법(Full-Reference), 부분기준법(Reduced-Reference) 및 무기준법(No-Reference) 등과 같은 다양한 기준법을 활용하여 대상 영상에 대한 화질을 측정할 수 있다.The measurement unit 120 may use various reference methods such as Full-Reference, Reduced-Reference, and No-Reference depending on whether the original image is acquired for the target image, The quality of the image can be measured.

한편, 본 실시예에서는 영상 처리장치(100)가 IPTV 또는 모바일 멀티미디어 서비스 분야에 적용된 것으로 예시하여 설명하고 있으며, 이에, 측정부(120)가 무기준법을 활용하여 대상 영상에 대한 화질을 측정하는 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니다. 무기준법은 원본 영상 정보가 필요 없으며, 대상 영상을 평가하기 위한 특정 기준을 설정하여 대상 영상에 대한 품질을 평가하는 방법이다.Meanwhile, in the present embodiment, the image processing apparatus 100 is exemplified as applied to the IPTV or mobile multimedia service field, and the measuring unit 120 measures the image quality of the target image using the inorganic compliance method But the present invention is not limited thereto. Weapon compliance is a method of evaluating the quality of a target image by setting specific criteria for evaluating the target image, without the need for original image information.

측정부(120)는 무기준법에 따라 대상 영상의 화질을 측정하는 데 있어서, 컨텐츠 제공장치로부터 수신한 영상 관련정보 보다 자세하게는, 대상 영상의 비트스트림을 트랜스코딩하는 과정에서 산출된 정보 중 일부 또는 전부를 활용한다.In measuring the image quality of a target image according to the inorganic compliance method, the measuring unit 120 may be configured to measure, in more detail, the image related information received from the content providing apparatus, a part of information calculated in the process of transcoding the bitstream of the target image, Use the whole thing.

이하, 도 2를 참조하여, 본 실시예에 따른 측정부(120)가 무기준법에 따라 대상 영상의 화질을 측정하는 방법에 대해 설명하도록 한다. 한편, 도 2는 본 실시예에 따른 측정부(120)가 무기준법에 따라 대상 영상의 화질을 측정 시의 그 구현 형태를 예시한 블록도이다.Hereinafter, with reference to FIG. 2, a method of measuring the image quality of a target image according to the inorganic compliance method by the measurement unit 120 according to the present embodiment will be described. 2 is a block diagram illustrating an embodiment of the measurement unit 120 according to the present embodiment when the image quality of a target image is measured according to the inorganic compliance method.

도 2에 도시하듯이, 본 실시예에 따른 측정부(120)는 제1 프로세서(200), 디코더(210), 제2 프로세서(220) 및 제3 프로세서(230)를 포함한다.2, the measuring unit 120 includes a first processor 200, a decoder 210, a second processor 220, and a third processor 230.

제1 프로세서(200)는 컨텐츠 제공장치가 대상 영상의 비트스트림(ex: MPEG2 TS 비트스트림)을 트랜스코딩하는 과정에서 산출된 해당 비트스트림의 복호화 정보를 수신하고, 이를 기준 값으로 활용하여 대상 영상에 대한 품질을 평가한다.The first processor 200 receives the decoded information of the corresponding bitstream calculated in the course of transcoding the bitstream (ex: MPEG2 TS bitstream) of the target image, and uses the decoded information as a reference value, To evaluate the quality.

디코더(210)는 컨텐츠 제공장치에 의해 트랜스코딩된 비트스트림(ex: H.264/HEVC 비트스트림)을 수신하고, 수신한 비트스트림을 복호화하여 해당 비트스트림에 대한 복호화 정보를 산출한다. 마찬가지로, 트랜스코딩된 비트스트림에 대한 복호화 정보로는 양자화 파라미터(QP), 비트레이트(Bitrate), 움직임 정도(Motion Vector) 및 인코딩 관련정보 등이 포함될 수 있다. 한편, 디코더(210)는 그 효율성 등을 이유로, 트랜스코딩된 비트스트림에 대하여 부분적 복호화를 수행하고, 이를 통해, 상기의 정보만을 산출하는 형태로 구현될 수 있다.The decoder 210 receives a bit stream (ex: H.264 / HEVC bitstream) transcoded by the content providing apparatus, decodes the received bit stream, and calculates decoding information for the bit stream. Similarly, the decoding information for the transcoded bitstream may include a quantization parameter (QP), a bit rate, a motion vector, and encoding-related information. On the other hand, the decoder 210 may perform partial decoding on the transcoded bit stream and calculate only the information through the decoding.

제2 프로세서(220)는 디코터(210)로부터 산출된 복호화 정보를 수신하고, 이를 기준 값으로 활용하여 대상 영상에 대한 품질을 평가한다.The second processor 220 receives the decoding information calculated from the decoder 210 and evaluates the quality of the target image using the decoded information as a reference value.

한편, 제1 프로세서(200) 및 제2 프로세서(220)가 각각 수집된 복호화 정보들을 활용하여 대상 영상에 대한 품질을 평가하는 방법은 종래의 무기준법에서 기준 정보를 활용하여 대상 영상에 대한 품질을 평가하는 방법과 동일하며, 이에 자세한 설명은 생략하도록 한다. 예컨대, 제1 프로세서(200) 및 제2 프로세서(220)는 수집된 복호화 정보에 포함된 요소들과 MOS(Mean Opinion Score)간의 관계를 선형 회귀(Linear Regression) 방법을 이용하여 모델링하는 방식을 통해 대상 영상에 대한 품질을 평가할 수 있다.Meanwhile, the method of evaluating the quality of a target image using the decoded information collected by the first processor 200 and the second processor 220, respectively, And the detailed description thereof will be omitted. For example, the first processor 200 and the second processor 220 may be configured to model the relationship between the elements included in the decoded information and the MOS (Mean Opinion Score) using a linear regression method The quality of the target image can be evaluated.

제3 프로세서(230)는 제1 프로세서(200) 및 제2 프로세서(220)로부터 산출된 대상 영상에 대한 품질 결과를 수신하고, 이를 활용하여 대상 영상에 대한 품질을 평가할 수 있다. 예컨대, 제3 프로세서(230)는 제1 프로세서(200) 및 제2 프로세서(220)로부터 산출된 대상 영상에 대한 품질 값에 대한 평균을 취하거나, 둘 중 정확도가 높은 프로세서의 품질 값에 더 높은 가중치를 주는 방식 등을 통해 대상 영상의 품질을 평가할 수 있다.The third processor 230 receives the quality result of the target image calculated from the first processor 200 and the second processor 220 and can evaluate the quality of the target image using the received result. For example, the third processor 230 may take an average of the quality values of the target image calculated from the first processor 200 and the second processor 220, And the quality of the target image can be evaluated through a weighting method.

측정부(120)는 실시예에 따라 제1 프로세서(200), 제2 프로세서(220) 및 제3 프로세서(230) 중 어느 하나의 프로세서의 출력을 대상 영상의 품질 평가 결과로서 제어부(140)에 제공할 수 있다.The measuring unit 120 outputs the output of one of the processors of the first processor 200, the second processor 220 and the third processor 230 to the control unit 140 as a result of the quality evaluation of the target image, .

다른 실시예에서, 측정부(120)는 컨텐츠 제공장치로부터 수신한 대상 영상의 비트스트림(ex: MPEG2 TS 비트스트림)을 복호화하고, 이를 통해 산출된 복호화 정보에 기반하여 대상 영상의 화질을 측정할 수도 있다. 예컨대, 측정부(120)는 산출된 복호화 정보를 제1 프로세서(200)의 입력값으로 제공하거나, 대상 영상의 비트스트림 내 사전에 책정된 대상 영상의 품질 평가정보가 포함되어 있는 경우 이를 활용하는 방식을 통해 대상 영상의 화질을 측정할 수 있다. 이를 위해, 측정부(120)는 대상 영상의 비트스트림을 수신하여 복화하는 복호화 수단 예컨대, 디코더를 구성요소로서 추가 포함할 수 있다.In another embodiment, the measuring unit 120 decodes a bitstream (ex: MPEG2 TS bitstream) of the target image received from the content providing apparatus and measures the image quality of the target image based on the decoded information calculated through the decoding It is possible. For example, the measuring unit 120 may provide the calculated decoding information as an input value of the first processor 200 or, if the quality evaluation information of the target image is included in the bitstream of the target image, The image quality of the target image can be measured. To this end, the measuring unit 120 may additionally include, as a component, a decoding means, e.g., a decoder, for receiving and decoding the bitstream of the target image.

학습부(130)는 영상의 화질 개선과 관련한 정보들을 딥러닝 기법을 통해 선 학습하고, 이를 대상 영상의 화질 개선을 위한 기준 데이터로서 제공하는 장치를 의미한다.The learning unit 130 refers to a device that learns information related to image quality enhancement through a deep learning technique and provides it as reference data for improving the image quality of a target image.

한편, 종래의 경우 서로 유사한 해상도를 갖는 영상별로 그룹화를 수행하고, 각 그룹별로 화질 개선과 관련한 스케일링 절차를 수행한 결과를 학습하는 방식을 통해 학습 모델을 생성하였다. 하지만, 이 경우, CP들이 공급하는 영상의 화질이 크게 상이하여 학습의 효과가 떨어지게 되며 결국 최종적으로 초해상화된 영상의 화질이 떨어지는 문제가 발생할 수 있다.On the other hand, in the conventional case, a learning model is created by grouping images having similar resolution and learning a result of scaling process related to image quality improvement for each group. However, in this case, since the image quality of the CPs supplied by the CPs greatly differs, the effect of learning deteriorates, and ultimately, the image quality of the super-resolution image may be degraded.

이 점에 기인하여, 본 실시예에 따른 학습부(130)는 서로 유사한 해상도를 갖는 영상들을 다시 그 화질 상태에 따라 분류하여 화질 정보별 그룹화를 수행하고, 각 그룹별로 화질 개선과 관련한 업 스케일링 절차를 수행한 결과를 학습하는 방식을 통해 학습 모델을 생성한다.Due to this point, the learning unit 130 according to the present exemplary embodiment classifies images having similar resolutions according to their image quality levels, groups them according to image quality information, and performs an up-scaling process The learning model is generated by learning the result of performing the learning.

즉, 본 실시예에 따른 학습부(130)는 화질 상태에 따라 분류된 화질 정보(Group)별로 화질 개선과 관련하여 기 학습된 학습 데이터를 저장하여 제공한다. 예컨대, 학습부(130)는 저화질, 중화질 및 고화질로 분류된 화질 정보별로 화질 개선 과정에서 학습된 학습 데이터를 저장할 수 있다.That is, the learning unit 130 according to the present embodiment stores and provides the learned learning data related to the picture quality improvement for each picture quality information (Group) classified according to the picture quality state. For example, the learning unit 130 may store learning data learned in the picture quality improvement process for each picture quality information classified into the low quality, the neutral quality, and the high picture quality.

한편, 학습부(130)가 화질 정보별로 화질 개선과 관련한 학습 데이터를 수집하는 방법은 종래의 해상도 정보별로 화질 개선과 관련한 학습 데이터를 수집하는 방법과 동일하며, 이에 자세한 설명은 생략하도록 한다. 예컨대, 학습부(130)는 화질 정보별로 최소근접(Nearestneighbor) 보간법, 양선형(Bilinear) 보간법, 큐빅 컨벌루션(Cubic-Convolution) 보간법, 큐빅 스플라인(Cubic-Spline) 보간법 중 어느 하나의 보간 기법을 수행한 결과에 따라 도출된 보간 파라미터 정보를 학습 데이터로서 수집할 수 있다. 이때, 보간 파라미터 정보는 컨볼루션 계수(Coefficient)일 수 있다.Meanwhile, the method of collecting the learning data related to the picture quality improvement by the learning unit 130 is the same as the method of collecting the learning data related to the picture quality improvement according to the conventional resolution information, and a detailed description thereof will be omitted. For example, the learning unit 130 performs an interpolation technique of Nearest neighbor interpolation, Bilinear interpolation, Cubic-Convolution interpolation, and Cubic-Spline interpolation for each picture quality information And the interpolation parameter information derived according to the result can be collected as learning data. At this time, the interpolation parameter information may be a convolution coefficient.

제어부(140)는 대상 영상에 대한 영상 복원 절차를 수행하는 장치를 의미한다.The control unit 140 refers to a device that performs an image restoration procedure for a target image.

본 실시예에 따른 제어부(140)는 측정부(120)를 이용하여 측정된 대상 영상에 대한 화질 측정결과 및 학습부(130)에 저장된 화질 정보별 학습 데이터에 기반하여 대상 영상에 대한 화질 개선을 수행한다.The control unit 140 according to the present embodiment may improve the image quality of the target image based on the image quality measurement result of the target image measured by the measurement unit 120 and the learning data of the image quality information stored in the learning unit 130 .

제어부(140)는 학습부(130) 내 기 분류된 화질 정보 중 대상 영상의 화질 측정결과에 상응하는 화질 정보를 선별하고, 선별된 화질 정보에 대하여 저장된 학습 데이터를 활용하여 대상 영상의 화질을 개선한다.The control unit 140 selects image quality information corresponding to the image quality measurement result of the target image among the image quality information classified in the learning unit 130 and uses the stored learning data for the selected image quality information to improve the image quality of the target image do.

예컨대, 제어부(140)는 대상 영상의 현재 화질 상태에 대응하여 산출된 보간 파라미터 정보를 대상 영상에 적용하고, 이를 통해, 복원 영상을 생성할 수 있다.For example, the control unit 140 may apply the interpolation parameter information calculated corresponding to the current image quality state of the target image to the target image, thereby generating the restored image.

도 4는 본 실시예에 따른 영상 처리장치의 동작을 설명하기 위한 예시도이다.4 is an exemplary diagram for explaining the operation of the image processing apparatus according to the present embodiment.

도 4에 도시하듯이, 본 실시예에 따른 영상 처리장치의 동작은 학습 단계 및 적용 단계로 구분될 수 있다.As shown in FIG. 4, the operation of the image processing apparatus according to the present embodiment can be divided into a learning step and an application step.

학습 단계는, 영상 처리장치(100)가 영상의 화질 개선과 관련한 정보들을 딥러닝 기법을 통해 선 학습하고, 이를, 대상 영상의 화질 개선을 위한 기준 데이터로서 제공하는 단계에 해당한다.The learning step corresponds to a step in which the image processing apparatus 100 learns information related to the image quality improvement through the deep learning technique and provides the information as reference data for improving the image quality of the target image.

이러한, 학습 단계에 있어서, 본 실시예에 따른 영상 처리장치(100)는 서로 유사한 해상도를 갖는 영상들을 화질 상태에 따라 분류하여 화질 정보별 그룹화를 수행하고, 각 그룹별로 화질 개선과 관련한 스케일링 절차를 수행한 결과를 학습하는 방식을 통해 학습 모델을 생성한다.In this learning stage, the image processing apparatus 100 according to the present embodiment classifies images having similar resolutions according to image quality levels, groups them by image quality information, and scales the image quality improvement for each group The learning model is created by learning the result of the execution.

적용 단계는, 영상 처리장치(100)가 대상 영상의 화질 수준을 측정하고, 측정결과에 따라 적합한 학습 모델이 적용될 수 있도록 하는 단계에 해당한다.The applying step corresponds to a step of allowing the image processing apparatus 100 to measure the image quality level of the target image and to apply an appropriate learning model according to the measurement result.

이러한, 적용 단계에 있어서, 본 실시예에 따른 영상 처리장치(100)는 무기준법을 활용하여 대상 영상에 대한 화질을 측정한다.In this application step, the image processing apparatus 100 according to the present embodiment measures the image quality of the target image using the inorganic compliance method.

영상 처리장치(100)는 학습 단계를 통해 생성된 학습 모델 내 대상 영상의 화질 측정결과에 상응하는 화질 정보를 선별하고, 선별된 화질 정보에 대하여 저장된 학습 데이터(ex: 보간 파라미터 정보)를 활용하여 대상 영상의 화질을 개선한다.The image processing apparatus 100 selects the image quality information corresponding to the image quality measurement result of the target image in the learning model generated through the learning step and uses the stored learning data (ex: interpolation parameter information) for the selected image quality information Thereby improving the image quality of the target image.

도 5는 본 실시예에 따른 영상 처리방법을 설명하기 위한 순서도이다.5 is a flowchart for explaining an image processing method according to the present embodiment.

영상 처리장치(100)는 화질 개선의 대상이 되는 대상 영상의 화질을 측정한다(S502). 단계 S502에서 영상 처리장치(100)는 무기준법에 따라 대상 영상의 화질을 측정할 수 있다. 예컨대, 영상 처리장치(100)는 무기준법에 따라 대상 영상의 화질을 측정 시 대상 영상의 비트스트림을 트랜스코딩하는 과정에서 산출된 정보 중 일부 또는 전부를 기준 정보로서 활용할 수 있다.The image processing apparatus 100 measures the image quality of the target image to be improved in image quality (S502). In step S502, the image processing apparatus 100 can measure the image quality of the target image according to the inorganic compliance method. For example, the image processing apparatus 100 may use some or all of the information calculated in the process of transcoding the bitstream of the target image as reference information when measuring the image quality of the target image according to the inorganic compliance method.

영상 처리장치(100)는 기 저장된 학습 모델 내 단계 S502의 측정결과에 상응하는 화질 정보를 선별한다(S504).The image processing apparatus 100 selects image quality information corresponding to the measurement result of step S502 in the pre-stored learning model (S504).

영상 처리장치(100)는 단계 S504에서 선별된 화질 정보에 대하여 저장된 학습 데이터를 활용하여 대상 영상에 대응하는 보간 파라미터 정보를 산출한다(S506).The image processing apparatus 100 calculates the interpolation parameter information corresponding to the target image using the learning data stored for the selected image quality information in step S504 (S506).

영상 처리장치(100)는 단계 S506에서 산출된 보간 파라미터 정보를 활용하여 대상 영상에 대한 화질 개선을 수행한다(S508).The image processing apparatus 100 performs image quality improvement on the target image using the interpolation parameter information calculated in step S506 (S508).

여기서, 단계 S502 내지 S508은 앞서 설명된 영상 처리장치(100)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.Here, steps S502 to S508 correspond to the operations of the respective components of the image processing apparatus 100 described above, and thus a detailed description thereof will be omitted.

도 5에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 5, it is described that each process is sequentially executed, but it is not limited thereto. In other words, it can be applied to changing the procedure described in FIG. 5 or executing one or more processes in parallel, so that FIG. 3 is not limited to a time series order.

전술한 바와 같이 도 5에 기재된 영상 처리방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.As described above, the image processing method shown in FIG. 5 is implemented by a recording medium (a CD-ROM, a RAM, a ROM, a memory card, a hard disk, a magneto-optical disk, a storage device, etc.) Lt; / RTI >

도 6은 본 실시예에 따른 영상 처리방법의 효과를 설명하기 위한 예시도이다. 한편, 도 6의 (a)는 종래의 영상 처리방법에서 활용되는 학습 모델의 생성 과정을 예시하였으며, 도 6의 (b)는 본 실시예에 따른 영상 처리방법에서 활용되는 학습 모델의 생성 과정을 예시하였다.6 is an exemplary diagram for explaining the effect of the image processing method according to the present embodiment. 6 (a) illustrates a process of generating a learning model utilized in the conventional image processing method, and FIG. 6 (b) illustrates a process of generating a learning model used in the image processing method according to the present embodiment. .

도 6의 (a)를 참조하면, 종래의 영상 처리방법에서 활용되는 학습 모델의 경우 서로 유사한 해상도를 갖는 영상별로 그룹화를 수행하고, 각 그룹별로 화질 개선과 관련한 스케일링 절차를 수행한 결과를 학습하는 방식을 통해 생성되는 것을 확인할 수 있다. Referring to FIG. 6 (a), in the case of the learning model used in the conventional image processing method, grouping is performed for images having similar resolutions, and a result of performing a scaling procedure related to image quality improvement for each group is learned It should be noted that the method of FIG.

반면, 도 6의 (b)를 참조하면, 본 실시예에 따른 영상 처리방법에서 활용되는 학습 모델의 경우 서로 유사한 해상도를 갖는 영상들을 다시 그 화질 상태에 따라 분류하여 화질 정보별 그룹화를 수행하고, 각 그룹별로 화질 개선과 관련한 스케일링 절차를 수행한 결과를 학습하는 방식을 통해 생성되는 것을 확인할 수 있다. 즉, 본 실시예에 따른 학습 모델을 활용하여 영상 복원 절차를 수행 시 영상의 해상도뿐만 아니라 품질 상태까지 고려한 결과가 도출될 수 있으며, 이를 통해, 보다 자연스러운 복원 영상의 획득이 가능토록 하는 효과가 있다.6B, in the case of the learning model used in the image processing method according to the present embodiment, images having similar resolutions are classified according to their image quality levels, grouped according to image quality information, And the result of performing the scaling procedure related to image quality improvement for each group is learned. That is, when the image restoration procedure is performed using the learning model according to the present embodiment, a result considering not only the resolution of the image but also the quality state can be obtained, thereby allowing a more natural restored image to be obtained .

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

100: 영상 처리장치 110: 통신부
120: 측정부 130: 학습부
140: 제어부 200: 제1 프로세서
210: 디코더 220: 제2 프로세서
230: 제3 프로세서100: image processing apparatus 110: communication unit
120: measuring unit 130:
140: control unit 200: first processor
210: decoder 220: second processor
230: third processor

Claims (11)

영상의 화질 개선을 위한 영상 처리장치에 있어서,
상기 화질 개선의 대상이 되는 대상 영상에 대한 화질을 측정하는 측정부;
화질 상태에 따라 분류된 화질 정보별로 상기 화질 개선과 관련하여 기 학습된 학습 데이터를 저장하는 학습부; 및
상기 대상 영상의 화질 측정결과 및 상기 화질 정보별 상기 학습 데이터에 기반하여 상기 대상 영상에 대한 화질 개선을 수행하는 제어부
를 포함하는 것을 특징으로 하는 영상 처리장치.1. An image processing apparatus for improving image quality of an image,
A measuring unit for measuring an image quality of a target image to be subjected to the image quality improvement;
A learning unit for storing learning data learned in association with the image quality improvement for each picture quality information classified according to picture quality states; And
A control unit for performing image quality improvement on the target image based on the image quality measurement result of the target image and the learning data for each image quality information,
And an image processing unit for processing the image. 제 1항에 있어서,
상기 측정부는,
상기 대상 영상의 비트스트림을 트랜스코딩하는 과정에서 산출되는 정보들을 활용하여 상기 대상 영상의 화질을 측정하는 것을 특징으로 하는 영상 처리장치.The method according to claim 1,
Wherein the measuring unit comprises:
Wherein the image quality of the target image is measured using information calculated in a process of transcoding the bitstream of the target image. 제 2항에 있어서,
상기 측정부는,
상기 트랜스코딩 과정 중 산출된 상기 비트스트림에 대한 복호화 정보 및 상기 트랜스코딩 과정을 거쳐 트랜스코딩된 비트스트림에 대하여 산출한 복호화 정보 중 일부 또는 전부에 기반하여 상기 대상 영상의 화질을 측정하는 것을 특징으로 하는 영상 처리장치.3. The method of claim 2,
Wherein the measuring unit comprises:
The image quality of the target image is measured on the basis of a part or all of decoding information on the bit stream calculated during the transcoding process and decoded information on the bit stream to be transcoded through the transcoding process The image processing apparatus. 제 3항에 있어서,
상기 측정부는,
상기 트랜스코딩된 비트스트림을 수신하고, 수신된 비트스트림에 대한 복호화를 수행하는 복호화 수단을 포함하는 것을 특징으로 하는 영상 처리장치.The method of claim 3,
Wherein the measuring unit comprises:
And decoding means for receiving the transcoded bit stream and performing decoding on the received bit stream. 제 1항에 있어서,
상기 측정부는,
상기 대상 영상의 비트스트림을 수신하여 복호화하는 복호화 수단을 포함하고, 상기 복호화 수단을 통해 산출된 상기 비트스트림의 복호화 정보에 기반하여 상기 대상 영상의 화질을 측정하는 것을 특징으로 하는 영상 처리장치.The method according to claim 1,
Wherein the measuring unit comprises:
And a decoding unit that receives and decodes the bitstream of the target image, and measures the image quality of the target image based on the decoding information of the bitstream calculated through the decoding unit. 제 1항에 있어서,
상기 학습부는,
저화질, 중화질 및 고화질로 분류된 상기 화질 정보별로 화질 개선 과정에서 도출된 보간 파라미터 정보를 학습하여 저장하는 것을 특징으로 하는 영상 처리장치.The method according to claim 1,
Wherein,
And the interpolation parameter information derived from the picture quality improvement process for each picture quality information classified into the low picture quality, the neutral quality and the high picture quality is learned and stored. 제 1항에 있어서,
상기 제어부는,
상기 학습부 내 기 분류된 화질 정보 중 상기 대상 영상의 화질 측정결과에 상응하는 화질 정보를 선별하고, 선별된 화질 정보에 대하여 저장된 학습 데이터를 활용하여 상기 대상 영상의 화질을 개선하는 것을 특징으로 하는 영상 처리장치.The method according to claim 1,
Wherein,
And the image quality of the target image is improved by using the stored learning data for the selected image quality information. Image processing apparatus. 영상 처리장치의 영상 화질 개선방법에 있어서,
상기 화질 개선의 대상이 되는 대상 영상의 화질을 측정하는 과정;
화질 정보별 상기 화질 개선과 관련하여 기 학습된 학습 데이터를 저장한 학습 모델 및 상기 대상 영상의 화질 측정결과에 기반하여 상기 대상 영상에 대응되는 보간 파라미터 정보를 산출하는 과정; 및
상기 보간 파라미터 정보를 활용하여 상기 대상 영상에 대한 화질 개선을 수행하는 과정
을 포함하는 것을 특징으로 하는 영상 화질 개선방법.A method for improving image quality of an image processing apparatus,
A step of measuring an image quality of a target image to be subjected to the image quality improvement;
Calculating a learning model storing learned learning data related to the picture quality improvement by picture quality information and interpolation parameter information corresponding to the target picture based on a picture quality measurement result of the subject picture; And
A step of performing image quality improvement on the target image using the interpolation parameter information
Wherein the image quality enhancement method comprises: 제 8항에 있어서,
상기 측정하는 과정은,
상기 대상 영상의 비트스트림을 트랜스코딩하는 과정에서 산출되는 정보들을 활용하여 상기 대상 영상의 화질을 측정하는 것을 특징으로 하는 영상 화질 개선방법.9. The method of claim 8,
Wherein the measuring step comprises:
Wherein the image quality of the target image is measured using information calculated in a process of transcoding the bitstream of the target image. 제 9항에 있어서,
상기 측정하는 과정은,
상기 트랜스코딩 과정 중 산출된 상기 비트스트림에 대한 복호화 정보 및 상기 트랜스코딩 과정을 거쳐 트랜스코딩된 비트스트림에 대하여 산출한 복호화 정보 중 일부 또는 전부에 기반하여 상기 대상 영상의 화질을 측정하는 것을 특징으로 하는 영상 화질 개선방법.10. The method of claim 9,
Wherein the measuring step comprises:
The image quality of the target image is measured on the basis of a part or all of decoding information on the bit stream calculated during the transcoding process and decoded information on the bit stream to be transcoded through the transcoding process / RTI > 제 8항에 있어서,
상기 산출하는 과정은,
상기 학습 모델 내 기 분류된 화질 정보 중 상기 대상 영상의 화질 측정결과에 상응하는 화질 정보를 선별하고, 선별된 화질 정보에 대하여 저장된 학습 데이터를 활용하여 상기 보간 파라미터 정보를 산출하는 것을 특징으로 하는 영상 화질 개선방법.9. The method of claim 8,
The calculating process includes:
The image quality information corresponding to the image quality measurement result of the target image among the image quality information classified in the learning model is selected and the interpolation parameter information is calculated using the learning data stored for the selected image quality information Improving image quality.
KR1020170142848A 2017-10-30 2017-10-30 Method and Apparatus for Processing Image based on Image Quality Active KR102033078B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170142848A KR102033078B1 (en) 2017-10-30 2017-10-30 Method and Apparatus for Processing Image based on Image Quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170142848A KR102033078B1 (en) 2017-10-30 2017-10-30 Method and Apparatus for Processing Image based on Image Quality

Publications (2)

Publication Number Publication Date
KR20190048196A true KR20190048196A (en) 2019-05-09
KR102033078B1 KR102033078B1 (en) 2019-10-16

Family

ID=66545490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170142848A Active KR102033078B1 (en) 2017-10-30 2017-10-30 Method and Apparatus for Processing Image based on Image Quality

Country Status (1)

Country Link
KR (1) KR102033078B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107291A1 (en) * 2019-11-29 2021-06-03 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR20220108610A (en) * 2021-01-27 2022-08-03 삼성전자주식회사 Image processing apparatus and operating method for the same
WO2022186443A1 (en) * 2021-03-03 2022-09-09 삼성전자 주식회사 Method and device for correcting image on basis of compression quality of image in electronic device
KR20230045074A (en) * 2020-09-29 2023-04-04 주식회사 히타치하이테크 Picture quality improvement system and picture quality improvement method
KR20230073314A (en) * 2020-09-24 2023-05-25 센츄리링크 인텔렉츄얼 프로퍼티 엘엘씨 Content Delivery Using Distributed Ledger and AI-Based Transcoding Technology
US11727533B2 (en) 2019-08-13 2023-08-15 Electronics And Telecommunications Research Institute Apparatus and method for generating super resolution image using orientation adaptive parallel neural networks
EP4184425A4 (en) * 2021-01-27 2024-02-21 Samsung Electronics Co., Ltd. IMAGE PROCESSING APPARATUS AND ITS OPERATING METHOD
US12223617B2 (en) 2021-08-10 2025-02-11 Samsung Electronics Co., Ltd. Electronic apparatus and method for reproducing image based on artificial intelligence according to application

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022197001A1 (en) * 2021-03-16 2022-09-22 +Samsung Electronics Co., Ltd. Method and electronic device for removing artifact in high resolution image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102186A (en) * 2003-09-05 2005-04-14 Matsushita Electric Ind Co Ltd Video stream processing apparatus and video stream processing method
JP2015201819A (en) * 2014-04-10 2015-11-12 株式会社東芝 Image quality improvement system, image quality improvement method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102186A (en) * 2003-09-05 2005-04-14 Matsushita Electric Ind Co Ltd Video stream processing apparatus and video stream processing method
JP2015201819A (en) * 2014-04-10 2015-11-12 株式会社東芝 Image quality improvement system, image quality improvement method, and program

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727533B2 (en) 2019-08-13 2023-08-15 Electronics And Telecommunications Research Institute Apparatus and method for generating super resolution image using orientation adaptive parallel neural networks
US20220230296A1 (en) 2019-11-29 2022-07-21 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11315227B2 (en) 2019-11-29 2022-04-26 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
WO2021107291A1 (en) * 2019-11-29 2021-06-03 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11138717B2 (en) 2019-11-29 2021-10-05 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11763440B2 (en) 2019-11-29 2023-09-19 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
KR20230073314A (en) * 2020-09-24 2023-05-25 센츄리링크 인텔렉츄얼 프로퍼티 엘엘씨 Content Delivery Using Distributed Ledger and AI-Based Transcoding Technology
KR20230045074A (en) * 2020-09-29 2023-04-04 주식회사 히타치하이테크 Picture quality improvement system and picture quality improvement method
KR20220108610A (en) * 2021-01-27 2022-08-03 삼성전자주식회사 Image processing apparatus and operating method for the same
WO2022163995A1 (en) * 2021-01-27 2022-08-04 삼성전자 주식회사 Image processing apparatus and operating method thereof
EP4184425A4 (en) * 2021-01-27 2024-02-21 Samsung Electronics Co., Ltd. IMAGE PROCESSING APPARATUS AND ITS OPERATING METHOD
US12079964B2 (en) 2021-01-27 2024-09-03 Samsung Electronics Co., Ltd. Image processing apparatus and operation method thereof
WO2022186443A1 (en) * 2021-03-03 2022-09-09 삼성전자 주식회사 Method and device for correcting image on basis of compression quality of image in electronic device
US12223617B2 (en) 2021-08-10 2025-02-11 Samsung Electronics Co., Ltd. Electronic apparatus and method for reproducing image based on artificial intelligence according to application

Also Published As

Publication number Publication date
KR102033078B1 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
KR20190048196A (en) Method and Apparatus for Processing Image based on Image Quality
US11032576B2 (en) Selectively enhancing compressed digital content
JP5521202B2 (en) Multi-view image encoding method, multi-view image decoding method, multi-view image encoding device, multi-view image decoding device, multi-view image encoding program, and multi-view image decoding program
CN108833917B (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, computer device, and storage medium
JP4799477B2 (en) Image coding apparatus and image coding method
CN101401434B (en) Method and device for changing the temporal frequency of a sequence of video images
JP5144545B2 (en) Moving picture codec apparatus and method
JP3521412B2 (en) Apparatus and method for encoding orientation interpolation node
Zhao et al. AOM common test conditions v2. 0
JP6867611B2 (en) Image decoding device, image decoding method and program
KR100612691B1 (en) Video quality evaluation system and method
JP2011522496A (en) Image coding method by texture synthesis
US10284857B2 (en) Method and apparatus for evaluating video quality
JP2008054267A (en) Image processing apparatus, image encoding apparatus, and image decoding apparatus
JP2012235407A (en) Image processing apparatus and image processing method
Chung et al. Effective content-aware chroma reconstruction method for screen content images
JP6145069B2 (en) Subjective image quality estimation device and subjective image quality estimation program
KR20230023460A (en) Electronic apparatus for reproducing image based on artificial intelligence according to application and method thereby
CN110572677B (en) Video encoding and decoding method and device, storage medium and electronic device
JP2009048487A (en) Image processor and image processing program
US20110317773A1 (en) Method for downsampling images
JP6016488B2 (en) Video compression format conversion apparatus, video compression format conversion method, and program
US20140072045A1 (en) Image processing apparatus, image processing system, and computer-implemented method for processing image data
Mizdos et al. Linking bitstream information to QoE: A study on still images using HEVC intra coding
Zhao et al. AOM Common Test Conditions v3. 0

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

L13 Limitation or reissue of ip right requested

Free format text: ST27 STATUS EVENT CODE: A-2-3-L10-L13-LIM-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

L13-X000 Limitation or reissue of ip right requested

St.27 status event code: A-2-3-L10-L13-lim-X000