[go: up one dir, main page]

KR20120128607A - 방송 수신기 및 3ｄ 이미지 디스플레이 방법 - Google Patents

방송 수신기 및 3ｄ 이미지 디스플레이 방법 Download PDF

Info

Publication number
KR20120128607A
KR20120128607A KR1020127017605A KR20127017605A KR20120128607A KR 20120128607 A KR20120128607 A KR 20120128607A KR 1020127017605 A KR1020127017605 A KR 1020127017605A KR 20127017605 A KR20127017605 A KR 20127017605A KR 20120128607 A KR20120128607 A KR 20120128607A
Authority
KR
South Korea
Prior art keywords
data
information
image
value
distortion compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020127017605A
Other languages
English (en)
Other versions
KR101759943B1 (ko
Inventor
서종열
김진필
김관석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20120128607A publication Critical patent/KR20120128607A/ko
Application granted granted Critical
Publication of KR101759943B1 publication Critical patent/KR101759943B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

3D 이미지 디스플레이 방법 및 방송 수신기가 개시된다. 본 발명의 일 실시예에 따른 3D 이미지 디스플레이 방법은, 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 단계; 상기 3D 오브젝트 데이터를 디코딩하는 단계로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코딩 단계; 상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하는 단계; 상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 단계; 및 상기 3D 오브젝트를 디스플레이 출력하는 단계를 포함한다. 또한 본 발명의 일 실시예에 따른 방송 수신기는, 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 방송 신호 수신부; 상기 3D 오브젝트 데이터를 디코딩하는 디코더로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코더; 상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하고, 상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 그래픽 엔진; 및 상기 3D 오브젝트를 디스플레이 출력하는 포매터를 포함한다.

Description

방송 수신기 및 3D 이미지 디스플레이 방법{BROADCASTING RECEIVER AND METHOD FOR DISPLAYING 3D IMAGES}
본 발명은 방송 수신기 및 그의 3D 이미지 디스플레이 방법에 대한 것으로, 더욱 상세하게는 방송 신호에 포함된 3D 이미지 디스플레이시 3D 오브젝트의 디스플레이 효과를 조정하여 디스플레이하는 방송 수신기 및 그의 3D 이미지 디스플레이 방법에 대한 것이다.
일반적으로 3D(3 dimensions) 이미지(또는 입체 이미지)는 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 이미지는 좌안과 우안 각각이 연관된 평면 이미지를 보도록 이미지를 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3D 이미지를 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안에서 시청되기 위한 레프트 뷰(left view) 이미지와 우안에서 시청되기 위한 라이트 뷰(right view) 이미지를 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 레프트 뷰 이미지와 라이트 뷰 이미지를 시청함으로써 3D 효과를 인지할 수 있도록 한다.
본 발명이 이루고자 하는 기술적 과제는, 방송 수신기에서 3D 이미지 데이터를 수신하여 디스플레이하는 경우 발생할 수 있는 디스플레이 효과를 조정함으로써 사용자에게 더욱 편리하교 효율적인 3D 시청 환경을 제공하는데 있다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 3D 이미지 디스플레이 방법은, 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 단계; 상기 3D 오브젝트 데이터를 디코딩하는 단계로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코딩 단계; 상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하는 단계; 상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 단계; 및 상기 3D 오브젝트를 디스플레이 출력하는 단계를 포함한다.
또한 전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 방송 수신기는, 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 방송 신호 수신부; 상기 3D 오브젝트 데이터를 디코딩하는 디코더로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코더; 상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하고, 상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 그래픽 엔진; 및 상기 3D 오브젝트를 디스플레이 출력하는 포매터를 포함한다.
본 발명에 따르면, 3D 오브젝트의 디스플레이시 3D 오브젝트가 나타나는 원근감에 의해 발생하는 이미지의 사이즈 왜곡 현상을 해결하여 사용자에거 더욱 편리한 3D 이미지 시청 환경을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 오브젝트의 디스플레이 방법을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 3D 오브젝트 디스플레이의 3D 효과를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 디스패러티 값에 따른 3D 오브젝트의 디스플레이를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 3D 이미지 디스플레이시 사용자와 이미지, 스크린간의 간격을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 도면이다.
도 6은 본 발명의 다른 일 실시예에 따른 방송 수신기를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 3D 오브젝트 디스플레이 방법을 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 3D 오브젝트의 사이즈 조정을 위한 UI를 나타낸 도면이다.
발명의 실시를 위한 최선의 형태
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3D 영상 표현 방법은 2 개의 시점을 고려하는 스테레오스코픽 이미지 디스플레이 방식과 3 개 이상의 시점을 고려하는 멀티뷰 디스플레이 이미지 방식을 포함한다. 이에 비해 종래의 싱글 뷰 이미지 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 이미지 디스플레이 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 영상을 사용한다. 다시점 영상은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 영상을 사용한다. 이하에서 스테레오스코픽 이미지 디스플레이 방식을 일 실시예로 본 발명을 설명하나 본 발명의 사상은 다시점 영상에도 적용될 수 있다.
스테레오스코픽 이미지 또는 다시점 이미지는 MPEG(Moving Picture Experts Group)을 포함하는 여러가지 방법으로 압축 부호화되어 전송될 수 있다.
예를 들어, 스테레오 이미지 또는 다시점 이미지는 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때 수신 시스템은 H.264/AVC 코딩 방식의 역으로 수신 이미지을 복호하여 3D 영상을 얻을 수 있다.
또한 스테레오스코픽 이미지의 레프트 뷰 이미지(left view image)와 라이트 뷰 이미지(right view image) 중 하나 또는 멀티뷰 이미지 중 하나의 이미지를 베이스 레이어(base layer) 이미지로, 나머지 영상은 익스텐디드 레이어(extended layer) 이미지로 할당하고, 베이스 레이어의 이미지는 모노스코픽 영상과 동일한 방식으로 부호화하고, 익스텐디드 레이어의 이미지는 베이스 레이어와 익스텐디드 레이어의 이미지 간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 이때 베이스 레이어에 해당하는 이미지를 베이스 뷰 이미지로, 익스텐디드 레이어에 해당하는 이미지를 익스텐디드 뷰 이미지로 지칭할 수 있다. 베이스 레이어 이미지에 대한 압축 부화화 방식의 예로 JPEG, MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있으며, 본 발명은 H.264/AVC 방식을 사용하는 것을 일 실시예로 한다. 익스텐디드 레이어와 같은 상위 레이어의 영상에 대한 압축 부호화 방식은 H.264/MVC(Multi-view Video Coding) 방식을 사용하는 것을 일 실시예로 한다.
스테레오스코픽 이미지 디스플레이를 위해 AVC 방식에 MVC 방식을 추가로 사용하거나 AVC 만으로 좌/우 이미지 시퀀스를 코딩한 경우, 해당 3D 컨텐트를 방송하고자 할 때 고려해야하는 사항 중 하나는 기존의 2D 방송 수신기와의 호환성이다. 이를 위해 3D 이미지 디스플레이를 지원하지 않는 종래의 방송 수신기를 위해 좌/우 영상 중 한 시점의 이미지는 backward compaptible한 방법으로 코딩을 하여 송신하면, 2D 방송 수신기는 해당 신호만을 인식하여 출력함으로써 기존의 장비에서도 해당 컨텐트의 시청이 가능하다. 이하에서 레거시 방송 수신기를 위해 전송되는 시점의 베이스 레이어의 이미지를 베이스 뷰 이미지 또는 베이스 뷰 비디오, 3D 이미지 디스플레이를 위해 전송되는 익스텐디드 레이어의 이미지를 익스텐디드 뷰 이미지 또는 익스텐디드 뷰 비디오라고 호칭할 수도 있다.
이렇게 베이스 뷰 비디오 데이터와 익스텐디드 뷰 비디오 데이터를 전송하면 레거시 2D 방송 수신기에서는 베이스 뷰 비디오 데이터로부터 2D 이미지를, 3D 방송 수신기에서는 베이스 뷰 비디오 데이터 및 익스텐디드 뷰 비디오 데이터로부터 3D 이미지를 각각 디스플레이할 수 있다. 다만 이러한 경우 메인 이미지에 부가되는 이미지 오브젝트(예를 들면, 서브타이틀 또는 캡션 등)를 디스플레이하는 방법이 문제된다.
이하에서, 화면에 디스플레이되는 메인 이미지와 별도로 추가적으로 디스플레이되는 이미지를 3D 오브젝트 또는 3D 이미지 오브젝트라고 지칭하도록 한다. 3D 오브젝트는, 일 실시예로서 화면의 메인 이미지에 추가로 제공되는 서브타이틀, 캡션, 로고, 추가 메뉴 등을 포함할 수 있다. 즉, 방송 수신기는 3D 오브젝트에 대한 데이터를 수신하여, 메인 이미지와 합성하여 디스플레이할 수 있으며, 이 경우 방송 수신기가 수신하는 3D 오브젝트 데이터는 3D 오브젝트에 대한 캡션/그래픽 데이터 및 3D 효과를 위한 디스패러티 정보를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3D 오브젝트의 디스플레이 방법을 나타낸 도면이다.
도 1에서, 좌측의 디스플레이 이미지(1010)는 레프트 뷰에 해당하는 비디오 플레인을, 우측의 디스플레이 이미지(1020)는 라이트 뷰에 해당하는 비디오 플레인을 나타낸다. 그리고 도 1에서 3D 오브젝트는 캡션 텍스트(1030, 1040)에 대응된다. 스테레오스코픽 이미지 디스플레이 방식의 경우, 한 화면에 레프트 뷰에 해당하는 이미지와 라이트 뷰에 해당하는 이미지가 함께 디스플레이되며, 사용자는 3D 안경을 통해 좌안은 레프트 뷰의 이미지를, 우안은 라이트 뷰의 이미지를 보게 된다. 이 때 레프트 뷰의 이미지와 라이트 뷰의 이미지는 도 1에서와 같이 일정 간격만큼 떨어져 디스플레이되며, 이 간격을 디스패러티 값이라고 지칭할 수 있다.
3D 오브젝트 데이터는, 오브젝트 자체에 대한 데이터(이미지, 텍스트 정보 등)와 디스패러티 값에 대한 정보를 포함할 수 있다. 3D 오브젝트 데이터를 수신한 방송 수신기는 도 1과 같이 오브젝트에 대한 데이터를 처리하여 오브젝트를 표현할 수 있고, 디스패러티 값만큼 익스텐디드 뷰 이미지의 오브젝트를 이동하여 디스플레이함으로써 3D 오브젝트를 디스플레이할 수 있다.
도 1에서는, 좌시점의 3D 오브젝트(1030)와 우시점의 3D 오브젝트(1040)가 소정의 디스패러티 값만큼 떨어져 디스플레이되며, 사용자는 이 간격에 해당하는 3D 효과를 갖는 3D 오브젝트를 시청하게 된다.
도 2는 본 발명의 일 실시예에 따른 3D 오브젝트 디스플레이의 3D 효과를 나타낸 도면이다.
도 2는 도 1의 레프트 뷰 이미지와 라이트 뷰 이미지가 합성되어 디스플레이되는 경우 3D 오브젝트가 갖는 3D 효과를 나타낸 도면이다. 도 1에서와 같이 레프트 뷰 이미지의 3D 오브젝트와 라이트 뷰 이미지의 3D 오브젝트가 디스패러티 값만큼의 간격을 갖고 디스플레이되면, 디스패러티 값에 해당하는 3D 효과가 나타난다.
도 2에서, 3D 오브젝트(2010)는 3D 효과가 거의 없이 원래의 디스플레이 화면 위치에 3D 오브젝트가 디스플레이되는 경우를, 3D 오브젝트(2020)는 디스플레이 화면에서 사용자 측으로 나오는 효과를 갖고 디스플레이되는 경우를, 3D 오브젝트(2030)는 화면의 뒤쪽으로 들어가는 효과를 갖고 디스플레이되는 경우를 각각 나타낸다.
다만 이러한 경우, 크기 항등성(Size Constiancy)의 원리에 따라 사용자는 가까이 보이는 3D 오브젝트(2020)보다 멀리 보이는 3D 오브젝트(2030)를 더 크게 인식하게 된다. 다시 말하면, 일반적으로 사물의 크기를 인식할 때 해당 사물에 대한 거리감이 크기의 인식에 영향을 미치므로, 동일한 크기를 갖는 오브젝트에 3D 효과를 주어 디스플레이하는 경우 3D 효과에 따른 거리감에 따라 오브젝트의 크기가 거리에 비례하여 작거나 크게 인식되는 것이다.
실제로 스테레오스코픽 디스플레이 상에서 3D 캡션 데이터나 3D 그래픽과 같은 3D 오브젝트를 사용하여 실험하는 경우, 같은 크기의 3D 오브젝트에 다른 디스패러티 값을 부과하여 거리감을 조절하면 스크린 앞으로 3D 오브젝트가 나올수록 즉 3D 오브젝트가 사용자에게 가까워 질수록 3D 오브젝트의 크기가 상대적으로 작아보이는 현상이 발생한다.
이렇게 사용자에게 인지되는 크기의 변화는 거리감에 비례하므로 3D 이미지 시청시 자막/그래픽 데이터에 대한 왜곡을 발생시킬 수 있어, 이를 보정할 수 있는 방법/장치를 이하에서 제안하고자 한다.
상술한 바와 같이 방송 수신기는 3D 오브젝트 데이터를 수신하며, 3D 오브젝트 데이터는 3D 오브젝트에 대한 그래픽 데이터 또는 이미지 데이터와, 3D 효과를 주기 위한 디스패러티 정보를 포함한다. 본 발명에서, 3D 효과에 따라 왜곡되는 크기를 보정할 수 있도록 왜곡 보상 계수를 산출하여 3D 오브젝트를 리사이징하는 방법을 제안한다.
디스패러티 정보에 포함되느 디스패러티 값은 레프트 뷰 이미지와 라이트 뷰 이미지의 디스플레이 화면에서의 거리 차이를 나타내며, 통상 픽셀 단위로 나타낼 수 있다. 이에 비해 패럴랙스(parallax) 값은 스크린상에 맺히는 상의 거리로서, 인치 또는 센티 미터와 같은 단위로 나타낼 수 있다. 이하에서는, 3D 오브젝트 데이터에 포함되어 수신된 디스패러티 값을 사용하여 패럴랙스 값을 계산하고, 계산된 패럴랙스 값을 사용하여 크기 왜곡 보상 계수를 산출하여, 3D 오브젝트에 대해 리사이징을 수행하는 방법에 대하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 디스패러티 값에 따른 3D 오브젝트의 디스플레이를 나타낸 도면이다.
도 1 및 도 2에서와 같이 디스패러티 값에 따라 레프트/라이트 뷰의 이미지가 디스플레이되면, 사용자가 보게되는 3D 오브젝트는 도 3에서 도시한 바와 같다.
도 3에서, x-y 평면은 스크린에 해당하는 면으로, 디스패러티 값이 0인 경우에 해당한다. 비디오 오브젝트 1은 디스페러티 값이 음수인 경우로, 비디오 오브젝트 1은 스크린 면에서 사용자 방향으로 나오는 3D 효과를 갖는다. 비디오 오브젝트 2는 디스패러티 값이 양수인 경우로, 비디오 오브젝트 2는 스크린 면에서 스크린 안쪽 방향으로 들어가는 3D 효과를 갖는다.
방송 수신기는 3D 오브젝트 데이터를 수신하고, 그래픽 데이터/이미지 데이터를 처리하여 x-y 평면에 오브젝트를 표현한다. 그 후, 디스패러티 값에 따라 z 축상의 효과를 갖도록 3D 오브젝트를 디스플레이한다.
즉, z 축상의 효과에 따라 상술한 크기 왜곡 현상이 발생하고, z 축상의 효과는 디스패러티 값에 관련되므로 이들을 사용하여 크기 왜곡 보정 지수를 산출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 3D 이미지 디스플레이시 사용자와 이미지, 스크린간의 간격을 나타낸 도면이다.
도 4에서, 3D 오브젝트와 사용자의 간격을 X로, 사용자와 디스플레이 화면 간의 간격을 K로, 3D 오브젝트와 디스플레이 화면 간의 간격을 D(=K-X)로 나타낼 수 있다.
이하에서, 3D 오브젝트의 사이즈는 디스패러티가 0인 경우를 기준으로 보상하는 것을 실시예로서 설명한다. 방송 수신기가 수신한 3D 오브젝트 데이터에 포함된 그래픽/이미지 데이터는 디스패러티가 0인 경우의 오브젝트 이미지를 표현하는 그래픽/이미지 데이터이고, 3D 오브젝트가 디스패러티 값에 따라 거리감을 갖고 디스플레이 되므로, 디스패러티가 0인 경우의 크기를 기준으로 보상 계수를 산출하기로 한다.
먼저, 3D 오브젝트와 사용자와의 간격 X는 이하의 수학식 1과 같이 표현할 수 있다.
Figure pct00001
수학식 1에서, K는 스크린과 사용자의 눈과의 거리를, Id는 양안 시차(Inter-ocular distance)를, p는 스크린 상의 패럴랙스를 각각 나타낸다.
또한, 패럴랙스는 디스패러티를 사용하여 나타낼 수 있으며, 이 때 패럴랙스는 이하의 수학식 2와 같이 표현할 수 있다.
Figure pct00002
수학식 2에서, p는 패럴랙스 값을, d는 디스패러티 값을, S는 스크린의 대각(diagonal) 사이즈를, vw는 코딩된 비디오의 폭을 각각 나타낸다.
수학식 2는 화면비가 16:9인 경우 디스패러티 값을 패럴랙스로 나타내는 실시예로서, 47인치의 FHD(Full HD) 비디오에서 디스패러티 값이 -50인 경우, 패럴랙스 값은 -2.7cm에 해당한다. 이 경우 사용자가 스크린으로부터 5m 거리에서 화면을 시청한다면, 사용자가 인지하는 오브젝트간의 거리는 3.53 m에 해당한다.
수학식 1 및 수학식 2를 사용하여 수학식 3와 같이 왜곡 보상 계수를 산출할 수 있다.
Figure pct00003
먼저, 왜곡 보상 계수 F는 3D 오브젝트의 거리감에 의한 착시를 보상하면 되므로, K/X로 표현할 수 있으며, 이는 수학식 1을 사용하여 (Id-p)/Id로 나타낼 수 있다. 즉, 방송 수신기는 수신된 3D 오브젝트 데이터에 포함된 디스패러티 정보를 패럴랙스 값으로 산출하여 수학식 3을 사용하여 왜곡 보상 계수를 구할 수 있다. 양안 시차 Id는 설정된 평균치를 사용하거나, 사용자에 따라 양안 시차를 입력받아 사용할 수도 있다.
그리고 방송 수신기는 왜곡 보상 계수에 따라 원래의 3D 오브젝트 이미지의 사이즈를 조정하여 3D 오브젝트의 디스플레이를 조정할 수 있다.
3D 오브젝트 데이터는 방송 신호에 포함되어 수신된다. 본 발명의 실시예에서, 3D 오브젝트는 캡션 또는 서브타이틀을 포함한다. 그리고 3D 오브젝트가 캡션 또는 서브타이틀에 해당하는 경우, 3D 오브젝트 데이터는 방송 신호에서 비디오 데이터에 포함되어 수신되거나, 별도의 ES로 수신될 수 있다. 이하에서는 각 경우에 대해 상술한 3D 오브젝트 이미지 보정 방법에 대하여 설명하겠다. 이하에서, 3D 오브젝트는 캡션 또는 서브 타이틀을 실시예로서 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 방송 수신기를 나타낸 도면이다.
도 5의 방송 수신기는 캡션 데이터가 비디오 데이터의 헤더 영역에 포함되어 수신되는 경우 이를 프로세싱하는 방송 수신기에 대한 실시예이다. 일 실시예로서, 도 5의 방송 수신기는 ATSC(Advanced Television System Committee) 시스템의 방송 신호를 수신하여 처리하는 방송 수신기를 나타낼 수 있다. 이하에서 캡션 데이터는 DTVCC 데이터로 지칭할 수 있다.
도 5의 방송 수신기는 방송 신호를 튜닝 및 복조하는 튜너/복조부(5010), 수신한 방송 신호에 대해 VSB(Vestigial Side Band) 디코딩을 수행하여 방송 스트림을 출력하는 VSB 디코더(5020), 방송 스트림을 디멀티플렉싱하여 PSIP(Program and System Information Protocol) 데이터 ES(Elementarly Stream), 비디오 ES 등을 출력하는 TP(TransPort stream) 디멀티플렉서(5030), PSIP 데이터를 처리하여 시스템 정보를 획득하는 PSIP 프로세서(5040), 3D 비디오 ES에 포함된 비디오 데이터를 디코딩하는 비디오 디코더(5050), 비디오 디코더로부터 DTVCC(DTV Closed Caption) 데이터를 수신하여 디코딩하는 DTVCC 디코더(5060), 디코딩된 캡션에 디스패러티/뎁스를 고려하여 스케일링을 수행하는 그래픽 엔진(5070), 스케일링된 캡션을 OSD(On Screen Display) 프로세싱하는 OSD 프로세서(5080), 메인 비디오와 OSD 화면을 아웃풋 포매팅하는 포매터(5090)를 포함한다. 튜너/복조부(5010) 및 VSB 디코더(5020)를 포함하여 방송 신호 수신부로 지칭할 수도 있다. 또한, 그래픽 엔진은 3D 그래픽 프로세서로, 비디오 디코더 및 DTVCC 디코더는 디코더로 지칭할 수도 있다.
도 5의 방송 수신기는 튜너/복조부를 사용하여 3D 방송 데이터를 포함하는 방송 신호를 수신 및 복조한다. 방송 신호는 3D 비디오 데이터, 오디오 데이터, 부가 데이터를 포함하며, DTVCC(캡션) 데이터는 비디오 데이터의 헤더 영역의 픽처 유저 데이터 부분에 포함될 수 있다. 3D 비디오의 방송 수신기는, VSB 디코더를 사용하여 수신한 방송 신호를 VSB 디코딩하여 TS(Transport Stream)로 출력한다.
방송 수신기는 TP 디멀티플렉서(5030)를 사용하여, 방송 신호에 포함된 시그널링 정보를 PSIP 프로세서(5040)로 출력하고, PSIP 프로세서(5040)는 시그널링 정보를 사용하여 비디오 ES의 PID(Packet Identifier)를 파악한다. 시그널링 정보는 PSI/PSIP 정보를 나타내며, PSIP 정보는 PMT(Program Map Table), VCT(Vitrual Channel Table), EIT(Event Information Table) 등의 정보를 포함할 수 있다.
방송 수신기는 TP 디멀티플렉서(5030)로 PID 필터링을 수행하여 3D 비디오 데이터를 비디오 디코더(5050)로 출력하고, 비디오 디코더(5050)는 3D 비디오 데이터를 디코딩하여 3D 비디오 데이터의 헤더(예를 들면, MPEG2 비디오 데이터의 헤더 및 익스텐션 영역)에 포함된 DTVCC 데이터를 DTVCC 디코더(5060)로 출력한다.
DTVCC 디코더(5060)는 DTVCC 데이터를 디코딩한다. DTVCC 데이터는, 캡션 데이터, 시점 정보, 디스패러티/뎁스 정보 중 적어도 하나를 포함할 수 있다. 캡션 데이터는 출력될 캡션에 대한 이미지 데이터 또는 텍스트 데이터 및 출력 위치에 대한 정보(좌표 정보 등)를 포함한다.
방송 수신기는 그래픽 엔진(5070)을 사용하여 캡션 데이터를 처리한다. 먼저, 방송 수신기는 DTVCC 데이터에 포함된 디스패러티 정보를 사용하여 좌/우 비디오 평면에서의 캡션 출력 좌표를 결정한다. 그리고 비디오 스크린의 크기, 비디오 해상도 등을 고려하여 디스패러티로부터 비디오 스크린에서의 캡션 데이터간의 거리인 패럴랙스를 산출한다. 이 때 상술한 수학식 1 내지 수학식 3을 사용하며, 예를 들면 47인치의 크기를 갖는 3DTV의 경우 풀 HD 화면 비디오에 출력되는 캡션의 경우 -50 픽셀의 디스패러티에 해당하는 패럴랙스 값은 -2.7cm가 된다. 패럴랙스 값이 산출되면, 수학식 3을 사용하여 패럴랙스 값과 양안 시차를 사용하여 왜곡 보상 계수를 산출할 수 있다. 양안 시차는, 성인의 경우 6.5cm를 기본 값으로 사용할 수 있으며, 사용자에 따라 입력받은 값을 사용할 수도 있다.
방송 수신기는 이렇게 산출한 왜곡 보상 계수를 사용하여 최종 출력될 캡션의 사이즈를 조정한다. 사이즈의 조정은, 캡션의 폰트 크기 또는 이미지의 사이즈에 왜곡 보상 계수를 곱하여 수행될 수 있다. 즉, 최종적으로 디스플레이되는 캡션은, 스크린 앞으로 위치하는 캡션은 더 작게, 스크린 뒤쪽으로 위치하는 더 크게, 거리감에 비례하여 캡션의 사이즈를 조정하여 출력된다.
도 6은 본 발명의 다른 일 실시예에 따른 방송 수신기를 나타낸 도면이다.
도 6의 방송 수신기는 도 5에서와 달리 캡션 데이터가 별도의 스트림에 포함되어 수신되는 경우 이를 프로세싱하는 방송 수신기에 대한 실시예이다. 도 6의 실시예에서는 캡션 데이터를 서브타이틀 데이터로 지칭할 수 있다. 일 실시예로서, 도 6의 방송 수신기는 DVB(Digital Video Broadcasting) 시스템의 방송 신호를 수신하여 처리하는 방송 수신기를 나타낼 수 있다.
서브타이틀 데이터는 베이스 뷰에 대한 서브타이틀 데이터와 익스텐디드 뷰에 대한 서브타이틀 데이터를 포함한다. 베이스 뷰에 대한 서브타이틀 데이터는 서브타이틀이 디스플레이되는데 필요한 디스플레이 윈도우 구성에 대한 디스플레이 정의 정보(display definition information), 페이지 구성 정보(page composition information), 리젼 구성 정보(region composition information), 객체(object) 데이터 정보(object data information) 등을 포함한다. 이하에서, 전송시 신택스 구조적인 의미에서 각각 DDS(Display Definition Segment), PCS(Page Composition Segment), RCS(Region Composition Segment) 및 ODS(Object Data Segment)로 지칭할 수도 있다. 익스텐디드 뷰에 대한 서브타이틀 데이터는 3D 디스플레이를 위한 익스텐디드 서브타이틀 데이터로 지칭할 수도 있으며, 베이스 뷰에 대한 서브 타이틀과 같이 DDS_EXT, PCS_EXT, RCS_EXT 및 ODS_EXT를 포함할 수 있다. 3D 디스플레이를 위한 디스패러티 정보 또는 뎁스 정보는 베이스 뷰에 대한 서브타이틀 데이터 및 익스텐디드 뷰에 대한 서브타이틀 데이터 중 적어도 하나에 포함될 수 있다. 익스텐디드 서브타이틀 데이터는 서브타이틀의 출력 위치 또는 좌표에 대한 정보와, 디스패러티 정보를 포함할 수 있다.
도 6의 방송 수신기는, 방송 신호를 수신및 복조하여 방송 스트림을 출력하는 방송 신호 수신부(미도시), 방송 스트림으로부터 서브타이틀 데이터에 해당하는 PID로 서브타이틀 데이터를 추출하여 출력하는 디멀티플렉서(6010), 서브타이틀 데이터를 섹션별로 필터링하여 출력하는 섹션 필터(6020), 익스텐디드 뷰에 대한 서브타이틀 데이터를 디코딩하는 EV 서브타이틀 디코더(6030), 베이스 뷰에 대한 서브타이틀 데이터를 디코딩하는 BV 서브타이틀 디코더(6040), 섹션별 데이터를 버퍼링하여 출력하는 컴포지션 버퍼(6050), 익스텐디드 뷰에 대한 서브 타이틀을 버퍼링하는 EV 픽셀 버퍼(6060), 베이스 뷰에 대한 서브타이틀을 버퍼링하는 BV 픽셀 버퍼(6070), 각 버퍼로부터 데이터를 수신, 판독 및 프로세싱하여 서브타이틀을 3D 디스플레이 출력하는 3D 그래픽 프로세서(6080) 및 CLUTDS(Colour Loop Up Table Definition Segment)를 처리하는 CLUT 프로세서(6090)를 포함한다. 이하에서 EV 서브타이틀 디코더(6030) 및 BV 서브타이틀 디코더(6040)는 디코더로, EV 픽셀 버퍼(6060) 및 BV 픽셀 버퍼(6070)는 픽셀 버퍼로, 3D 그래픽 프로세서(6080)는 그래픽 엔진으로 지칭할 수도 있다.
방송 수신기는 시그널링 정보(PMT 등)를 사용하여 비디오 데이터 및 서브타이틀 데이터에 대한 PID를 파악한다. 일 실시예로서, DVB 서브타이틀 데이터의 경우 스트림 타입 값이 0x06인 스트림의 PID를 가질 수 있다.
방송 수신기는 디멀티플렉서(6010)를 사용하여 비디오 스트림과 서브타이틀 스트림(데이터)을 분리하여 디코더로 출력한다. 그리고 섹션 필터(6020)를 사용하여 서브타이틀 데이터에 해당하는 스트림(일 실시예로서, PES(Packetized Elementary Stream))으로부터 PES_packet_data_byte 영역에 포함된 data_identifier 정보 및 subtitle_stream_id 정보를 사용하여 서브타이틀 데이터를 추출하고 segment_type 정보를 고려하여 서브타이틀 데이터를 섹션별로 출력할 수 있다.
방송 수신기는 디코더(6030, 6040)를 사용하여 서브타이틀 데이터를 디코딩하고, 3D 그래픽 프로세서(6080)가 디코딩된 서브타이틀 데이터를 프로세싱하여 3D 디스플레이 출력한다. 서브타이틀 데이터는, 상술한 캡션 데이터와 같이 서브타이틀에 대한 이미지 또는 텍스트 정보와, 서브타이틀을 출력할 위치 또는 좌표 정보, 3D 효과를 위한 디스패러티 정보 또는 뎁스 정보를 포함한다.
3D 그래픽 프로세서(6080)의 동작은 도 5에서 설명한 그래픽 엔진의 동작과 유사하며, 이하에서 설명하도록 한다.
방송 수신기는 3D 그래픽 프로세서(6080)를 통해 좌/우 시점(베이스 뷰, 익스텐디드 뷰)의 비디오 플레인에서 디스페러티 정보를 사용하여 서브타이틀 그래픽 데이터의 출력 좌표를 결정한다. 그리고 비디오 스크린의 크기, 비디오 해상도 등을 고려하여 디스패러티 정보로부터 비디오 스크린에서의 캡션 데이터간의 거리인 패럴랙스를 산출한다. 이 때 상술한 수학식 1 내지 수학식 3을 사용하며, 예를 들면 47인치의 크기를 갖는 3DTV의 경우 풀 HD 화면 비디오에 출력되는 캡션의 경우 -50 픽셀의 디스패러티에 해당하는 패럴랙스 값은 -2.7cm가 된다. 패럴랙스 값이 산출되면, 수학식 3을 사용하여 패럴랙스 값과 양안 시차를 사용하여 왜곡 보상 계수를 산출할 수 있다. 양안 시차는, 성인의 경우 6.5cm를 기본 값으로 사용할 수 있으며, 사용자에 따라 입력받은 값을 사용할 수도 있다.
방송 수신기는 이렇게 산출한 왜곡 보상 계수를 사용하여 최종 출력될 캡션의 사이즈를 조정한다. 사이즈의 조정은, 캡션의 폰트 크기 또는 이미지의 사이즈에 왜곡 보상 계수를 곱하여 수행될 수 있다. 즉, 최종적으로 디스플레이되는 캡션은, 스크린 앞으로 위치하는 캡션은 더 작게, 스크린 뒤쪽으로 위치하는 더 크게, 거리감에 비례하여 캡션의 사이즈를 조정하여 출력된다.
도 7은 본 발명의 일 실시예에 따른 3D 오브젝트 디스플레이 방법을 나타낸 순서도이다.
도 7의 3D 오브젝트 디스플레이 방법은, 도 5 내지 도 6에서 도시하고 설명한 방송 수신기에서 수행되는 3D 오브젝트 디스플레이 방법을 나타낸다.
방송 수신기는 방송 신호 수신부를 사용하여 3D 오브젝트 데이터를 포함하는 방송 신호를 수신하여 복조한다(S7010). 3D 오브젝트는, 메인 비디오 외의 이미지로서, 사용자에게 제공되는 캡션, 서브타이틀, 메뉴, 로고 등의 이미지를 나타낸다. 캡션 및 서브타이틀의 경우, 3D 오브젝트 데이터는 상술한 바와 같이 비디오 데이터의 헤더 영역에 포함되거나, 별도의 ES로 수신될 수 있다.
방송 수신기는 디코더를 사용하여 3D 오브젝트 데이터를 디코딩한다(S7020). 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 및 그래픽, 동영상 중 적어도 하나에 대한 이미지 정보와, 3D 오브젝트를 출력할 스크린 상의 위치에 대한 위치 정보 및 3D 효과를 나타내는데 필요한 디스패러티 정보 또는 뎁스 정보를 포함한다. 위치 정보는 스크린 상에서 3D 오브젝트가 위치하는 좌표 정보를 포함할 수도 있다.
방송 수신기는 그래픽 엔진 또는 3D 그래픽 프로세서를 사용하여 3D 오브젝트의 3D 디스플레이에 따른 크기 왜곡을 보상하기 위한 왜곡 보상 계수를 산출한다(S7030). 자세히 설명하면, 방송 수신기는 3D 오브젝트 데이터에 디스패러티 정보가 포함된 경우 상술한 수학식들을 사용하여 디스패러티 값으로부터 패럴랙스 값을 산출한다. 그리고 상술한 수학식들을 통해 패럴랙스 값과 양안 시차로부터 왜곡 보상 계수를 산출할 수 있다. 양안 시차는 기설정된 디폴트 값(예를 들면, 6.5cm)을 사용하거나, 인종, 성별, 나이에 따라 다른 값을 사용할 수 있으며, 사용자에 따라 양안 시차를 입력받아 사용할 수도 있다.
3D 오브젝트 데이터에 뎁스 정보가 포함된 경우, 뎁스 정보를 직접 사용하여 왜곡 보상 계수를 산출할 수 있다. 수학식 3의 왜곡 보상 계수 F = K/X 에서 K는 스크린과 시청자 사이의 거리를 나타내며, X는 뎁스값 D를 물리적인 거리로 변환한 값에 해당한다. 즉, 뎁스 정보를 0?255 사이의 값으로 정의하는 경우 이 값들에 대해 실제 3D 화면에서 디스플레이시 사용자가 지각하게 되는 물리적인 X가 존재한다. 방송 수신기는 이미지에 코딩된 뎁스를 사용자가 지각하게 되는 거리를 계산할 수 있거나, 뎁스를 물리적인 거리로 매핑하는 뎁스 매핑 정보를 사용하여 X값을 획득할 수 있으므로, 이 X값을 사용하여 바로 왜곡 보상 계수를 산출할 수도 있다. 다시 말해, 왜곡 보상 계수 F는 F = K/X = K/(K-D)로 산출될 수 있으며, 이 식에서 D는 뎁스 값을 스크린과 3D 오브젝트 사이의 거리로 매핑한 물리적인 거리값에 해당한다. 다만, 이경우 스크린과 시청자 사이의 거리를 기설정된 값으로 사용하거나, 사용자로부터 입력받아 사용할 수도 있다.
방송 수신기는 그래픽 엔진 또는 3D 그래픽 프로세서에서 왜곡 보상 계수를 사용하여 3D 오브젝트의 사이즈를 조정한다(S7040). 사이즈의 조정은, 캡션의 폰트 크기 또는 이미지의 사이즈에 왜곡 보상 계수를 곱하여 수행될 수 있다. 즉, 폰트 크기 또는 이미지의 가로/세로 사이즈에 왜곡 보상 계수를 곱한 사이즈로 3D 오브젝트의 사이즈를 조정한다. 최종적으로 디스플레이되는 3D 오브젝트는, 스크린 앞으로 위치하는 캡션은 더 작게, 스크린 뒤쪽으로 위치하는 더 크게, 거리감에 비례하여 캡션의 사이즈를 조정하여 출력된다.
최종적으로 방송 수신기는 조정된 3D 오브젝트를 출력한다(S7050).
상술한 3D 오브젝트의 사이즈 조정은 자동으로 수행된다. 그러나 3D 오브젝트의 사이즈를 사용자의 선택에 따라 조정할 수도 있다. 즉, 사용자 입력에 따라 3D 오브젝트의 사이즈를 조정할 수 있는 UI를 디스플레이하고, 사용자의 선택에 따라 3D 오브젝트의 사이즈를 조정할 수 있다. 사용자가 3D 오브젝트의 사이즈를 키우거나 줄이는 경우, 이에 해당하는 사이즈 변화를 입력받고, 사이즈 변화를 왜곡 보상 계수에 반영하여 3D 오브젝트의 사이즈를 조정할 수도 있다.
도 8은 본 발명의 일 실시예에 따른 3D 오브젝트의 사이즈 조정을 위한 UI를 나타낸 도면이다.
도 8에서, 3D 오브젝트는 캡션에 해당하는 것으로 나타내었다.
방송 수신기는 스크린(8010)과 같이 캡션 사이즈 변경을 위한 UI를 디스플레이할 수 있다. 이러한 UI는 사용자의 입력에 의해 활성화되거나, 캡션을 디스플레이하는 경우 자동으로 활성화될 수도 있다.
사용자가 리모콘 등의 입력 수단을 통해 캡션 사이즈 변경을 선택하면 (스크린(8010)의 UI에서 YES를 선택한 경우), 방송 수신기는 스크린(8020)의 UI를 디스플레이할 수 있다. 사용자는 사용자 입력 수단을 통해 화살표를 점선과 같이 이동하여 캡션 사이즈를 조정할 수 있다.
캡션 사이즈가 입력되면, 방송 수신기는 도 7에서 단계(S7030) 이후의 단계들을 수행하여 캡션의 사이즈를 조정할 수 있다. 다시 말해 이러한 3D 오브젝트의 UI를 디스플레이하여 캡션 사이즈 조정을 사용자에게 입력받는 단계는 도 7의 단계(S7020)와 단계(S7030)의 사이 또는 단계(S7030)와 단계(S7040)의 사이에서 수행될 수 있다.
발명의 실시를 위한 형태
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.
산업상 이용가능성
전술한 바와 같이, 본 발명은 디지털 방송 시스템에 전체적으로 또는 부분적으로 적용될 수 있다.

Claims (12)

  1. 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 단계;
    상기 3D 오브젝트 데이터를 디코딩하는 단계로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코딩 단계;
    상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하는 단계;
    상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 단계; 및
    상기 3D 오브젝트를 디스플레이 출력하는 단계를 포함하는, 3D 이미지 디스플레이 방법.
  2. 제 1 항에 있어서,
    상기 3D 오브젝트 데이터는 캡션 데이터를 포함하며, 상기 3D 오브젝트 데이터는 상기 비디오 데이터의 헤더 부분에 포함되는, 3D 이미지 디스플레이 방법.
  3. 제 1 항에 있어서,
    상기 3D 오브젝트 데이터는 서브타이틀 데이터를 포함하며, 상기 3D 오브젝트 데이터는 상기 비디오 데이터와 별도의 ES로 수신되는, 3D 이미지 디스플레이 방법.
  4. 제 1 항에 있어서,
    상기 왜곡 보상 계수를 산출하는 단계는, 양안 시차 값으로부터 패럴랙스 값을 감산한 값을 양안 시차 값으로 나누어 산출하는 단계를 더 포함하는, 3D 이미지 디스플레이 방법.
  5. 제 1 항에 있어서,
    상기 3D 오브젝트 데이터는 상기 3D 오브젝트의 뎁스 정보를 더 포함하는, 3D 이미지 디스플레이 방법.
  6. 제 5 항에 있어서,
    상기 뎁스 정보를 사용하여 왜곡 보상 계수를 산출하는 단계를 더 포함하는, 3D 이미지 디스플레이 방법.
  7. 비디오 데이터 및 3D 오브젝트 데이터를 포함하는 방송 신호 수신하는 방송 신호 수신부;
    상기 3D 오브젝트 데이터를 디코딩하는 디코더로서, 상기 3D 오브젝트 데이터는 3D 오브젝트에 대한 텍스트 또는 이미지 정보, 3D 오브젝트의 출력 위치 정보 및 3D 오브젝트의 디스패러티 정보를 포함하는, 디코더;
    상기 디스패러티 정보로부터 패럴랙스 값을 획득하고, 상기 패럴랙스 값을 사용하여 왜곡 보상 계수를 산출하고, 상기 왜곡 보상 계수를 사용하여 3D 오브젝트의 디스플레이 크기를 조정하는 그래픽 엔진; 및
    상기 3D 오브젝트를 디스플레이 출력하는 포매터를 포함하는, 방송 수신기.
  8. 제 7 항에 있어서,
    상기 3D 오브젝트 데이터는 캡션 데이터를 포함하며, 상기 3D 오브젝트 데이터는 상기 비디오 데이터의 헤더 부분에 포함되는, 방송 수신기.
  9. 제 7 항에 있어서,
    상기 3D 오브젝트 데이터는 서브타이틀 데이터를 포함하며, 상기 3D 오브젝트 데이터는 상기 비디오 데이터와 별도의 ES로 수신되는, 방송 수신기.
  10. 제 7 항에 있어서,
    상기 그래픽 엔진은, 양안 시차 값으로부터 패럴랙스 값을 감산한 값을 양안 시차 값으로 나누어 상기 왜곡 보상 계수를 산출하는, 방송 수신기.
  11. 제 7 항에 있어서,
    상기 3D 오브젝트 데이터는 상기 3D 오브젝트의 뎁스 정보를 더 포함하는, 방송 수신기.
  12. 제 11 항에 있어서,
    상기 그래픽 엔진은, 상기 뎁스 정보를 사용하여 왜곡 보상 계수를 산출하는, 방송 수신기.
KR1020127017605A 2010-01-11 2011-01-10 방송 수신기 및 3ｄ 이미지 디스플레이 방법 Expired - Fee Related KR101759943B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US29409010P 2010-01-11 2010-01-11
US61/294,090 2010-01-11
PCT/KR2011/000136 WO2011084021A2 (ko) 2010-01-11 2011-01-10 방송 수신기 및 3d 이미지 디스플레이 방법

Publications (2)

Publication Number Publication Date
KR20120128607A true KR20120128607A (ko) 2012-11-27
KR101759943B1 KR101759943B1 (ko) 2017-07-20

Family

ID=44305980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127017605A Expired - Fee Related KR101759943B1 (ko) 2010-01-11 2011-01-10 방송 수신기 및 3ｄ 이미지 디스플레이 방법

Country Status (4)

Country Link
US (2) US9215444B2 (ko)
EP (1) EP2525579B1 (ko)
KR (1) KR101759943B1 (ko)
WO (1) WO2011084021A2 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9066075B2 (en) * 2009-02-13 2015-06-23 Thomson Licensing Depth map coding to reduce rendered distortion
CN102812711B (zh) * 2010-02-25 2016-11-02 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
WO2011106798A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
KR20110136414A (ko) * 2010-06-15 2011-12-21 삼성전자주식회사 영상처리장치 및 그 제어방법
KR20110138151A (ko) * 2010-06-18 2011-12-26 삼성전자주식회사 자막 서비스를 포함하는 디지털 방송 서비스를 제공하기 위한 비디오 데이터스트림 전송 방법 및 그 장치, 자막 서비스를 포함하는 디지털 방송 서비스를 제공하는 비디오 데이터스트림 수신 방법 및 그 장치
JP5324538B2 (ja) * 2010-09-06 2013-10-23 富士フイルム株式会社 立体画像表示制御装置ならびにその動作制御方法およびその動作制御プログラム
GB2485140A (en) * 2010-10-26 2012-05-09 Sony Corp A Method and Apparatus For Inserting Object Data into a Stereoscopic Image
US9357200B2 (en) * 2011-04-28 2016-05-31 Panasonic Intelectual Property Management Co., Ltd. Video processing device and video processing method
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
CN103392342B (zh) 2011-12-21 2016-02-10 青岛海信电器股份有限公司 视区调整的方法和装置、能实现立体显示视频信号的设备
TWI555400B (zh) * 2012-05-17 2016-10-21 晨星半導體股份有限公司 應用於顯示裝置的字幕控制方法與元件
KR102188149B1 (ko) * 2014-03-05 2020-12-07 삼성메디슨 주식회사 3차원 영상을 디스플레이하는 방법 및 그 디스플레이 장치
US9607427B2 (en) * 2014-06-24 2017-03-28 Google Inc. Computerized systems and methods for analyzing and determining properties of virtual environments
US9948913B2 (en) * 2014-12-24 2018-04-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for processing an image pair
WO2017002602A1 (ja) * 2015-06-30 2017-01-05 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
US11076112B2 (en) * 2016-09-30 2021-07-27 Lenovo (Singapore) Pte. Ltd. Systems and methods to present closed captioning using augmented reality
US12457318B2 (en) * 2021-06-02 2025-10-28 Dolby Laboratories Licensing Corporation Method, encoder, and display device for representing a three-dimensional scene and depth-plane data thereof

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100704136B1 (ko) * 1998-03-10 2007-04-09 키네티큐 리미티드 3차원 촬상 시스템
EP2357835A3 (en) * 2002-03-27 2012-02-22 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
WO2004049734A1 (ja) * 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
KR100738500B1 (ko) * 2006-02-20 2007-07-12 한국과학기술원 영상 기반 돌출 변위 매핑 방법과, 이를 이용한 이중 변위매핑 방법
US8831299B2 (en) * 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
JP4618384B2 (ja) 2008-06-09 2011-01-26 ソニー株式会社 情報提示装置および情報提示方法
CN102067591B (zh) 2008-06-26 2014-03-19 松下电器产业株式会社 再现装置、记录装置、再现方法及记录方法
WO2010064118A1 (en) * 2008-12-01 2010-06-10 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
WO2010076846A1 (ja) * 2008-12-29 2010-07-08 パナソニック株式会社 記録媒体、再生装置、及び集積回路

Also Published As

Publication number Publication date
EP2525579B1 (en) 2019-03-06
KR101759943B1 (ko) 2017-07-20
WO2011084021A3 (ko) 2011-11-10
WO2011084021A2 (ko) 2011-07-14
EP2525579A4 (en) 2014-11-12
US9215444B2 (en) 2015-12-15
US9485489B2 (en) 2016-11-01
US20120320155A1 (en) 2012-12-20
EP2525579A2 (en) 2012-11-21
US20160065933A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
KR101759943B1 (ko) 방송 수신기 및 3ｄ 이미지 디스플레이 방법
US8866886B2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
KR101672283B1 (ko) 3ｄ 비디오 신호 처리 방법 및 이와 같은 기능을 수행하는 디지털 방송 수신기
CA2749583C (en) Broadcast receiver and 3d video data processing method
US9578305B2 (en) Digital receiver and method for processing caption data in the digital receiver
CA2819141C (en) Receiving device and method for receiving multiview three-dimensional broadcast signal
CN102342112A (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
JP6139691B2 (ja) 多視点３ｄｔｖサービスにおいてエッジ妨害現象を処理する方法及び装置
EP2528333A2 (en) Broadcast signal receiver and method for processing video data
KR101556149B1 (ko) 수신 시스템 및 데이터 처리 방법
KR20120056647A (ko) 3차원 자막 전송 방법 및 전송 장치, 3차원 자막 표시 방법 및 표시 장치

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20230715

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20230715