[go: up one dir, main page]

KR101078641B1 - 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법 - Google Patents

감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법 Download PDF

Info

Publication number
KR101078641B1
KR101078641B1 KR1020080126032A KR20080126032A KR101078641B1 KR 101078641 B1 KR101078641 B1 KR 101078641B1 KR 1020080126032 A KR1020080126032 A KR 1020080126032A KR 20080126032 A KR20080126032 A KR 20080126032A KR 101078641 B1 KR101078641 B1 KR 101078641B1
Authority
KR
South Korea
Prior art keywords
metadata
sensory
information
effect
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020080126032A
Other languages
English (en)
Other versions
KR20100012013A (ko
Inventor
조맹섭
김진서
구본기
이지형
추창우
김호원
박일규
최윤석
박지영
임성재
황본우
박정철
김갑기
김상균
주용수
Original Assignee
명지대학교 산학협력단
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 명지대학교 산학협력단, 한국전자통신연구원 filed Critical 명지대학교 산학협력단
Priority to CN200980127406.3A priority Critical patent/CN102598554B/zh
Priority to PCT/KR2009/003010 priority patent/WO2010008139A2/en
Priority to EP09798042.9A priority patent/EP2301245A4/en
Priority to JP2011518637A priority patent/JP5781435B2/ja
Priority to US13/054,408 priority patent/US20110123168A1/en
Publication of KR20100012013A publication Critical patent/KR20100012013A/ko
Application granted granted Critical
Publication of KR101078641B1 publication Critical patent/KR101078641B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/68—Systems specially adapted for using specific information, e.g. geographical or meteorological information
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8186—Monomedia components thereof involving executable data, e.g. software specially adapted to be executed by a peripheral of the client device, e.g. by a reprogrammable remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 기술에 관한 것으로, 동영상 콘텐츠 시청에 있어 동영상 콘텐츠를 구성하는 내용에 따라 디스플레이 기기의 색감 및 주변 조명 등 주변 감각 재생 장치를 제어하는 멀티미디어 응용 시스템에 대한 메타데이터를 구성하는 과정에 있어서, 감각 재생 장치를 효과적으로 제어하기 위한 감각 효과 정보(SEI) 메타데이터를 활용하는 방법을 포함하고 있으며, 메타데이터에 기반을 둔 콘텐츠 활용 방법적 도구들을 포함함으로써, 동영상 콘텐츠 제작에서 최종 소비에 이르기까지 감각 재생 공정 간에 제작자의 의도에 따른 소비자 중심의 고품질 멀티미디어 서비스 제공을 특징으로 한다. 본 발명에 의하면, 동영상 콘텐츠의 내용에 따라 주변 감각 재생 장치를 제어하기 위한 메타데이터를 활용하여 감각 재생 시 제작자의 의도에 따른 소비자 중심의 고품질 멀티미디어 서비스 제공을 가능하게 할 수 있다.
Figure R1020080126032
메타데이터, SEI(Sensory Effect Information), UPI(User Preference Informarion), SDC(Sensory Device Commands), DCI(Device Capability Information)

Description

감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법{SYSTEM AND METHOD FOR MULTIMEDIA APPLICATION BY USING METADATA FOR SENSORY DEVICE}
본 발명은 동영상 콘텐츠를 사용자에게 제공하는 기술에 관한 것으로서, 특히, 동영상 콘텐츠 시청에 있어 동영상 콘텐츠를 구성하는 내용에 따라 디스플레이 기기의 색감 및 주변 조명 등 주변 감각 재생 장치를 제어하는 멀티미디어 응용 시스템에 대한 메타데이터를 구성하는 과정에 있어서, 감각 재생 장치를 효과적으로 제어하기 위한 감각 효과 정보(Sensory Effect Information, 이하 SEI라 한다) 메타데이터를 활용하는 방법을 포함하고 있으며, 메타데이터에 기반을 둔 콘텐츠 활용 방법적 도구들을 포함함으로써, 동영상 콘텐츠 제작에서 최종 소비에 이르기까지 감각 재생 공정 간에 제작자의 의도에 따른 소비자 중심의 고품질 멀티미디어 서비스 제공을 수행하는데 적합한 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법에 관한 것이다.
본 연구는 지식경제부 및 정보통신연구진흥원의 IT 신성장동력핵심기술개발 사업의 일환으로 수행하였음.[2008-F-030-01, 방통융합형 Full 3D 복원 기술 개발]
일반적으로 동영상 콘텐츠를 사용자에게 제공하는 방식은, 동영상 콘텐츠를 재생할 수 있는 컴퓨팅 장치 또는 동영상 콘텐츠가 CD, DVD, 블루레이와 같은 광 디스크에 담겨있는 경우, 광 디스크 플레이어를 통하여 동영상 콘텐츠를 재생하며, 재생되는 영상 신호는 컴퓨팅 장치와 연결된 모니터, 광 디스크 플레이어와 연결된 텔레비전을 통하여 사용자에게 디스플레이 하게 된다.
다만, 이러한 동영상 콘텐츠 재생기술은 더욱 발전하여 동영상 재생 중에 좀 더 실감나는 영상을 사용자에게 제공하기 위해, 동영상 컨텐츠의 내용에 따라 안개, 바람, 온도, 냄새, 불빛, 번개, 의자 움직임 등의 감각 효과를 제어하는 주변 감각 재생 장치 및 주변 감각 재생 장치를 제어하는 신호처리 시스템에 대한 많은 연구가 진행되어 왔으며, 이러한 기술을 제공하는 여러 시스템이 출시되고 있다.
상기한 바와 같이 동작하는 종래 기술에 의한 주변 감각 재생 장치에 있어서는, 동영상의 콘텐츠 내용에 따라 여러가지 효과를 제공하고 있으나, 아직까지는 정해진 공간의 정해진 장소에서만 구현되고 있다.
또한, 동영상 콘텐츠 시청에 있어 동영상 콘텐츠를 구성하는 내용에 따라 해당 감각 재생 장치들을 통해 감각 효과들을 재생하고 있으나, 각 동영상 콘텐츠와 감각 재생 장치들과의 연관관계 및 호환여부가 각각 다를 수 있으므로, 사용자의 일반 가정에 있는 가전기기 및 조명장치를 이용하여 동영상 콘텐츠에 설정된 감각효과를 재생하기 위해서는 각 동영상 콘텐츠에 맞는 연결관계 또는 해당 감각효과 를 수행할 수 있는 감각 재생 장치를 구비해야 가능했다.
그리고 이러한 감각 효과는 단순히 동영상을 좀 더 실감나게 시청하기 위한 도구일 뿐, 제작자의 의도에 따른 동영상 색 재현이나, 조명 제어 방식에 대해서는 나타낼 수 없었으며, 이와 더불어 동영상 콘텐츠를 재생시키는 사용자도 시청하는 동영상에서 사용자가 원하는 감각 효과를 제어하고 싶으나, 이에 대한 별다른 방안이 없었다.
이에 본 발명은 동영상 콘텐츠 시청에 있어 동영상 콘텐츠를 구성하는 내용에 따라 디스플레이 기기의 색감 및 주변 조명 등 주변 감각 재생 장치를 효과적으로 제어할 수 있는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법을 제공한다.
또한 본 발명은, 동영상 콘텐츠 시청에 있어 동영상 콘텐츠 제작자의 제작 의도 및 소비자 시청시 동영상 내용에 따른 디스플레이 색감과 주변 감각 재생 장치의 조절을 최적화하기위한 새로운 메타데이터 형식을 수반하고, 기존 제작자의 의도에 따른 소비자 중심의 고품질 멀티미디어 서비스를 제공할 수 있는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법을 제공한다.
또한 본 발명은, 동영상 콘텐츠 시청에 있어 동영상 콘텐츠를 구성하는 내용에 따라 디스플레이 기기의 색감 및 주변 조명 등 주변 감각 재생 장치를 제어하는 멀티미디어 응용 시스템에 대한 메타데이터를 구성하는 과정에 있어서, 감각 재생 장치를 효과적으로 제어하기 위한 SEI 메타데이터를 활용하는 방법을 포함하고 있으며, 메타데이터에 기반을 둔 콘텐츠 활용 방법적 도구들을 포함함으로써, 동영상 콘텐츠 제작에서 최종 소비에 이르기까지 감각 재생 공정 간에 제작자의 의도에 따른 소비자 중심의 고품질 멀티미디어 서비스를 제공할 수 있는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법을 제공한다.
본 발명의 일 실시예 시스템은, 동영상 콘텐츠 제작자가 동영상 콘텐츠의 내용에 따라 감각 재생 장치를 이용하여 감각 효과를 나타내기 위해 생성된 감각 효과 정보(SEI)를 입력받고, 소비자가 설정한 감각 재생 장치의 사용자 선호 정보(UPI)를 입력받은 상태에서, 상기 감각 재생 장치에 사용 가능한 재생 능력 정보(DCI)를 입력받고, 상기 입력받은 감각 효과 정보(SEI), 사용자 선호 정보(UPI), 재생 능력 정보(DCI)를 토대로 상기 감각 재생 장치 제어를 위한 재생 명령 정보(SDC)를 생성하는 감각 재생장치 엔진부와, 상기 생성된 재생 명령 정보(SDC)를 토대로 감각 효과 재생을 수행하는 각 감각 재생 장치들을 제어하는 감각 재생 장치 제어부를 포함한다.
본 발명의 일 실시예 방법은, 감각 재생장치 엔진부에서 동영상 콘텐츠 제작자가 상기 동영상 콘텐츠 내용에 따라 감각 효과를 나타내는 감각 재생 장치를 위해 생성된 감각 효과 정보(SEI)를 입력받는 과정과, 소비자가 설정한 감각 재생 장치의 사용자 선호 정보(UPI)를 입력받는 과정과, 상기 감각 재생 장치에 사용 가능한 재생 능력 정보(DCI)를 입력받는 과정과, 상기 입력받은 감각 효과 정보(SEI), 사용자 선호 정보(UPI), 재생 능력 정보(DCI)를 토대로 상기 감각 재생 장치 제어를 위한 재생 명령 정보(SDC)를 생성하는 과정과, 상기 생성된 재생 명령 정 보(SDC)를 감각 효과 재생을 수행하는 각 감각 재생 장치들과 연동된 감각 재생 장치 제어부로 전달하는 과정을 포함한다.
본 발명에 있어서, 개시되는 발명 중 대표적인 것에 의하여 얻어지는 효과를 간단히 설명하면 다음과 같다.
본 발명은, 동영상 콘텐츠 시청에 있어 동영상 콘텐츠를 구성하는 내용에 따라 디스플레이 기기의 색감 및 주변 조명 등 주변 감각 재생 장치를 제어하는 멀티미디어 응용 시스템에 대한 메타데이터를 구성하는 과정에서, 감각 재생 장치를 효과적으로 제어하기 위해 필요한 다양한 힌트 정보를 메타데이터로 포함하고, 메타데이터에 기반을 둔 컨텐츠 활용 방법적 도구들을 포함함으로써, 동영상 콘텐츠 제작에서 최종 소비에 이르기까지 감각 재생 공정 간에 제작자의 의도에 따른 동영상 색 재현에 대한 감각 기능을 추가함으로써, 사용자가 원 동영상의 색감을 느낄 수 있는 소비자 중심의 고품질 멀티미디어 서비스를 제공할 수 있는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 동영상 콘텐츠 시청에 있어 동영상 콘텐츠를 구성하는 내용에 따라 디스플레이 기기의 색감 및 주변 조명 등 주변 감각 재생 장치를 효과적으로 제어하기 위한 것으로서, 동영상 내용에 따라 디스플레이 색감과 주변 감각 재생 장치의 조절을 최적화하기 위한 새로운 메타데이터 형식을 수반하고, 기존 제작자의 의도에 따른 소비자 중심의 고품질 멀티미디어 서비스를 제공하기 위한 것이다.
이를 통해 본 발명은 동영상 콘텐츠 시청에 있어 동영상 콘텐츠를 구성하는 내용에 따라 디스플레이 기기의 색감 및 주변 조명 등 주변 감각 재생 장치를 제어하는 멀티미디어 응용 시스템에 대한 메타데이터를 구성하는 과정에 있어서, 감각 재생 장치를 효과적으로 제어하기 위한 SEI 메타데이터를 활용하는 방법을 포함하고 있으며, 메타데이터에 기반을 둔 콘텐츠 활용 방법적 도구들을 포함함으로써, 동영상 콘텐츠 제작에서 최종 소비에 이르기까지 감각 재생 공정 간에 제작자의 의도에 따른 소비자 중심의 고품질 멀티미디어 서비스를 제공하는 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 멀티미디어 응용 시스템의 구조를 도시한 블록도이다.
도 1을 참조하면, 멀티미디어 응용시스템은, 동영상 콘텐츠의 감각 효과 정보(SEI) 메타데이터 생성부(100)와, 소비자의 선호 정보(User Preference Informarion, 이하 UPI라 한다) 메타데이터 생성부(102)와, 감각 재생 장치의 재생 능력 정보(Device Capability Information, 이하 DCI라 한다) 메타데이터 생성부(104)와, 감각 재생 장치 제어 명령 정보(Sensory Device Commands, SDC라 한다) 메타데이터 생성부(106)와, 감각 재생장치 엔진부(108)와, 감각 재생 장치 제어부(110)와, 통신 채널부(112)를 포함한다.
먼저 멀티미디어 응용시스템의 구동 방식을 간략하게 설명하면, SEI 메타데이터 생성부(100)와, UPI 메타데이터 생성부(102)를 통해 각각의 메타데이터를 생성하고, 생성된 정보를 통신 채널부(112)를 이용하여 감각 재생 장치관련 메타데이터를 해석 및 제어를 위한 엔진(sensory device engine) 즉, 감각 재생 장치 엔진부(108)에 전달하여, 감각 재생 장치 엔진부(108)에서는 SDC 메타데이터 생성부(106)를 통해 메타데이터를 생성하여 감각 재생 장치 제어기(110)로 전달하고, 감각 재생 장치 제어기(110)에서는 감각 재생 장치 제어기(110)에 의해 제어되는 감각 재생 장치 즉, 디스플레이 장치(114), 조명장치(116), 발광소자(LED) 장치(118), 온도 조절 장치(120)중 적어도 어느 하나 또는 그외 동영상 콘텐츠 내용에 따라 제어할 수 있는 감각 재생 장치(예컨대, 바람 조절 장치, 향기 조절 장치)를 통해 고품질 멀티미디어 서비스 제공하게 된다.
여기서 감각 재생 장치 엔진부(108)는 각각의 메타데이터 생성부를 통해 입력 받은 감각 효과 정보(SEI) 메타데이터, 사용자 선호 정보(UPI) 메타데이터, 재생 능력 정보(DCI) 메타데이터를 토대로 감각 재생 장치 제어를 위한 재생 명령 정보(SDC)를 생성하게 된다.
예를 들어, 감각 재생 장치 엔진부(108)는 감각 효과 정보(SEI)에 사용자 선호 정보(UPI)를 반영한 상태에서 재생 능력 정보(DCI)를 토대로 사용 가능한 감각 재생 장치에 대한 정보를 판단하여 재생 명령 정보(SDC)를 생성하게 되며, 이때 생 성된 재생 명령 정보(SDC)는 입력 받은 감각 효과 정보(SEI), 사용자 선호 정보(UPI), 재생 능력 정보(DCI)를 토대로 감각 재생장치 제어부(110)에서 제어 가능한 감각 재생 장치들과 이러한 감각 재생 장치들의 제어 범위를 설정한 것이다.
SEI 메타데이터 생성부(100)는 동영상 콘텐츠 제작자가 감각 재생 장치의 효과를 서술하는 SEI 메타데이터를 생성하고, UPI 메타데이터 생성부(102)는 최종 소비자로부터 감각 효과 재생에 관련된 소비자 선호 정보를 서술하는 UPI 메타데이터를 생성하며, DCI 메타데이터 생성부(104)는 감각 재생 장치 제어부(110)에 연결된 감각 재생 장치의 재생 능력 정보를 서술하는 DCI 메타데이터를 생성한다.
즉, 감각 재생 장치 제어부(110)는 DCI 메타데이터 생성부(104)를 통하여 감각 재생 장치 제어부(110)에 연동된 감각 재생 장치들을 제어할 수 있는 제어범위가 설정된 재생 능력 정보를 생성하는 것이다.
SDC 메타데이터 생성부(106)는 감각 재생 장치 엔진부(108)에서 SEI 메타데이터와 UPI 메타데이터 및 DCI 메타데이터를 입력받아, 입력받은 정보들을 기반으로 감각 재생 장치를 제어하기 위한 정보를 SDC 메타데이터 생성부(106)로 전달함으로써, SDC 메타데이터 생성부(106)에서는 전달받은 정보를 통하여 감각 재생 장치를 제어 하기 위한 정보를 서술하는 감각 재생 명령 정보 메타데이터(SDC metadata)를 생성하게 된다.
이때, 감각 재생 장치 엔진부(108)와의 데이터 송수신 및 감각 재생 장치 엔진부(108)와 감각 재생 장치 제어부(110)의 데이터 송수신은 통신 채널부(112)를 통해 수행하게 되며, 여기서 통신 채널부(112)는 감각 재생 장치 엔진부(108)와 감 각 재생 장치 제어부(110)를 광케이블 또는 랜(UTP)케이블과 같은 유선망으로 연결하여 특정 통신 규약으로 데이터를 송수신할 수 있으며, 또는 CDMA, WCDMA, FDMA 와 같은 이동통신, 블루투스, 와이브로, 무선랜 등과 같은 무선 통신 방식 중 적어도 하나를 이용하여 데이터 송수신을 수행할 수도 있으나, 이는 하나의 실시예일뿐, 데이터 송수신에 사용될 수 있는 통신 방식이면, 어느 통신방식이나 적용 가능함은 물론이다.
한편, 본 발명은 메타데이터를 표준화된 형식 및 구조에 따라 서술하는 단계에 있어서 MPEG-7 서술 구조 표준(MDS : Multimedia Description Scheme)과 MPEG-21의 디지털아이템적응(DIA : Digital Item Adaptation) 서술 구조 표준을 이용하는 것을 기본 특징으로 한다.
도 2는 본 발명의 바람직한 실시예에 따른 SEI 메타데이터 생성부를 도시한 블록도이다.
도 2를 참조하면, SEI 메타데이터 생성부(100)는 동영상 콘텐츠 제작자가 감각 재생 장치의 효과를 서술하는 SEI 메타데이터(200)로 구성되어 있으며, SEI 메타데이터 생성부(100)를 통해 SEI 메타데이터(200)를 생성하게 된다.
도 3은 본 발명의 바람직한 실시예에 따른 SEI 메타데이터의 요소들을 도시한 블록도로서, 도 3에서와 같이, SEI 메타데이터(200)는 확장 가능한 재생장치에 대한 속성 정보를 서술하는 메타데이터(##other)(300)와 두 개 이상의 감각 효과 정보를 서술하는 메타데이터(Group Of Effects)(302), 하나의 감각 효과 정보를 서술하는 메타데이터(Single Effect)(304),감각 효과와 관련된 파라미터들을 서술하 는 메타데이터(Parameters)(306)를 포함하는 것으로, 동영상 콘텐츠 제작자가 감각 재생 장치를 위한 다양한 감각 효과 정보를 포함한다.
도 4는 본 발명의 바람직한 실시예에 따른 SEI 메타데이터를 스키마 형태로 도시한 구조도로서, 도 3에 도시한 SEI 메타데이터(200) 및 SEI 메타데이터(200)의 요소들을 스키마 형태로 나타내고 있다.
(표 1)은 SEI 메타데이터(200)의 서술 구조를 확장성 생성언어(XML: eXtensible Markup Language) 스키마(Schema) 형태로 나타낸 것이다.
Figure 112008085430923-pat00001
도 5는 본 발명의 바람직한 실시예에 따른 SEI 메타데이터(200)의 서술 구조의 스키마에서 기본 타입 체계에서 최상위 기본 타입으로 제공되는 SEI Base Type 메타데이터의 요소들을 도시한 블록도로서, 도 5에서와 같이, SEI Base Type 메타데이터(500)는 어떤 식별 가능한 속성 정보를 서술하는 메타데이터(id)(502)를 포함한다.
또한, 도 5에서의 SEI Base Type 메타데이터(500)는 Single Effect 메타데이터(304)의 기본 타입(Single Effect Base Type)과 Parameters 메타데이터(306)의 기본 타입(Parameters Base Type), SDC 메타데이터의 기본타입(SDC Base Type)에 기본 타입으로 사용된다.
도 6은 본 발명의 바람직한 실시예에 따른 SEI Base Type 메타데이터를 스키마 형태로 도시한 구조도로서, 도 5에 도시한 SEI Base Type 메타데이터(500) 및 SEI Base Type 메타데이터(500)의 요소들을 스키마 형태로 나타내고 있다.
(표 2)는 SEI Base Type 메타데이터(500)의 서술 구조를 확장성 생성언어 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00002
도 7은 본 발명의 바람직한 실시예에 따른 Group Of Effects 메타데이터의 요소들을 도시한 블록도로서, 도 7에서와 같이, Group Of Effects 메타데이터(302)는 확장 가능한 재생장치에 대한 속성 정보를 서술하는 메타데이터(##other)(700)와 하나의 감각 효과 정보를 서술하는 메타데이터(Single Effect)(702)를 최소한 두 개 이상 포함한다.
도 8은 본 발명의 바람직한 실시예에 따른 Group Of Effects 메타데이터를 스키마 형태로 도시한 구조도로서, 도 7에 도시한 Group Of Effects 메타데이터(302) 및 Group Of Effects 메타데이터(3021)의 요소들을 스키마 형태로 나타내고 있다.
(표 3)은 Group Of Effects 메타데이터(302)의 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00003
(표 4)는 Single Effect 메타데이터(304)의 기본 타입으로 제공되는 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00004
(표 5)는 Parameters 메타데이터(306)의 기본 타입으로 제공되는 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00005
도 9는 본 발명의 바람직한 실시예에 따른 하나의 감각 효과 정보를 표현하기 위해 바람 효과를 재생하는 장치의 정보를 서술하는 메타데이터(Fan Type)(900)의 요소들을 도시한 블록도이다.
도 9를 참조하면, 장치의 재생 방법을 나타내는 속성 정보를 서술하는 메타데이터(method)(902)와 위치 정보를 나타내는 속성 정보를 서술하는 메타데이터(side)(904), 재생 강도를 나타내는 속성 정보를 서술하는 메타데이터(speed)(906), 일정하게 재생되는 지속 시간을 나타내는 속성 정보를 서술하는 메타데이터(duration)(908), 변화하면서 재생되는 지속 시간을 나타내는 속성 정보를 서술하는 메타데이터(vTime)(910), 변화하는 지속 시간 동안의 시간의 변화량을 나타내는 속성 정보를 서술하는 메타데이터(vDelta)(912), 변화하는 패턴을 나타내는 속성 정보를 서술하는 메타데이터(vSide)(914), 변화하는 재생 강도의 최저 강도를 나타내는 속성 정보를 서술하는 메타데이터(vLower)(916), 변화하는 재생 강도의 최고 강도를 나타내는 속성 정보를 서술하는 메타데이터(vUpper)(918), 재생 장치의 활성화를 나타내는 속성 정보를 서술하는 메타데이터(activate)(920)를 포함한다.
도 10은 본 발명의 바람직한 실시예에 따른 Fan Type 메타데이터(900)를 스키마 형태로 도시한 구조도로서, Fan Type 메타데이터(900) 및 Fan Type 메타데이터(900)의 요소들을 스키마 형태로 나타내고 있다.
(표 6)은 Fan Type 메타데이터(900)의 기본 타입으로 제공되는 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00006
한편, 본 발명에서는 하나의 감각 효과 정보를 표현하기 위한 하나의 실시 예인 Fan Type 메타데이터(900)와 같이, 온도, 조명, 진동 효과와 같은 감각 재생 효과 정보를 표현 하기 위해 Single Effect 메타데이터(304)의 서술 구조를 확장한 메타데이터를 생성하는 방법으로 다양한 감각 효과 정보를 표현할 수 있다.
도 11은 본 발명의 바람직한 실시예에 따른 원본(참조) 컬러 파라미터 메타데이터의 요소들을 도시한 블록도이다.
도 11을 참조하면, 동영상 콘텐츠의 원본 컬러 복원 정보를 서술하는 메타데이터(Reference Color Parameter)(1100)는 성공적인 컬러 복원을 위한 원본 컬러 디스플레이 장치의 특성을 보여주는 커브를 서술하는 Tone Reproduction Curves(1102), 원본 영상의 컬러 공간에서 표준 컬러 공간으로 영상 변환을 수행하는 매트릭스를 서술하는 Conversion Matrix(1104), 원본 영상 작업 공간에서의 조명 광원의 종류를 서술하는 Illuminant(1106), 원본 컬러 디스플레이의 색역을 서술하는 Input Device Color Gamut(1108), 주변의 휘도를 서술하는 Luminance Of Surround(1110) 메타데이터를 포함한다.
한편, 본 발명에서는 색 공간 변환을 위한 방법으로 이득. 오프셋 감마(GOG : Gain Offset Gamma)모델을 사용하는 것을 기본으로 하나, 다항변환(Polynomial)이나 PLCC와 같은 다른 변환 모델을 사용할 수도 있다.
도 12는 본 발명의 바람직한 실시예에 따른 원본 컬러 메타데이터를 스키마 형태로 도시한 구조도로서, Reference Color Parameter 메타데이터(1100) 및 Reference Color Parameter 메타데이터(1100)의 요소들을 스키마 형태로 나타내고 있다.
(표 7)은 Reference Color Parameter 메타데이터(1100)의 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00007
Figure 112008085430923-pat00008
도 13은 본 발명의 바람직한 실시예에 따른 톤 재생 커브의 요소들을 도시한 블록도이다.
도 13을 참조하면, 원본 컬러 디스플레이 장치의 특성을 보여주는 커브를 서술하는 메타데이터(Tone Reproduction Curves)(1102)의 요소들을 도시한 것으로서, Tone Reproduction Curves 메타데이터(1102)는 원본 컬러 디스플레이 장치의 각 채널마다의 감마값을 표시하기 위해 필요한 DAC(Digital to Analog conversion)값과 RGB값을 서술하는 Record(1300) 메타데이터와 DAC값을 서술하는 DAC_Value(1302) 메타데이터와 각 채널의 RGB값을 서술하는 RGB_Value(1304) 메타데이터를 포함한다.
도 14는 본 발명의 바람직한 실시예에 따른 톤 재생 커브를 스키마 형태로 도시한 구조도로서, Tone Reproduction Curves 메타데이터(1102) 및 Tone Reproduction Curves 메타데이터(1102)의 요소들을 스키마 형태로 나타내고 있다.
(표 8)은 Tone Reproduction Curves 메타데이터(1102)를 XML 인스턴스 형식으로 표현한 예를 나타낸 것이다.
Figure 112008085430923-pat00009
도 15는 본 발명의 바람직한 실시예에 따른 영상 변환 매트릭스의 요소들을 도시한 블록도이다.
도 15를 참조하면, 원본 영상의 컬러 공간에서 표준 컬러 공간으로 영상 변환을 수행하는 매트릭스를 서술하는 메타데이터(Conversion Matrix)(1104)의 요소들을 도시한 것으로서, Conversion Matrix 메타데이터(1104)는 RGB 색 공간을 XYZ 색 공간으로 변환하기 위한 메트릭스를 서술하는 RGB_XYZ(1500), GOG 변환을 위해 필요한 각 채널의 RGB 스칼러(Scalar) 최대값을 서술하는 RGBScalar_Max(1502), 원본 컬러 디스플레이 장치의 오프셋(offset)값을 서술하는 Offset_Value(1504), GOG 변환을 위해 필요한 파라미터인 원본 컬러 디스플레이 장치의 게인, 오프셋, 감마 값을 서술하는 Gain_Offset_Gamma(1506), XYZ 색 공간을 RGB 색 공간으로 역변환 하기 위한 메트릭스를 서술하는 Inverse matrix(1508) 메타데이터를 포함 한다.
도 16은 본 발명의 바람직한 실시예에 따른 영상 변환 매트릭스를 스키마 형태로 도시한 구조도로서, Conversion Matrix 메타데이터(1104) 및 Conversion Matrix 메타데이터(1104)의 요소들을 스키마 형태로 나타내고 있다.
(표 9)는 Conversion Matrix 메타데이터(1104)를 XML 인스턴스 형식으로 표현한 예를 나타낸 것이다.
Figure 112008085430923-pat00010
도 17은 본 발명의 바람직한 실시예에 따른 조명 광원 메타데이터의 요소들을 도시한 블록도이다.
도 17을 참조하면, 원본 영상 작업 공간에서의 조명 광원의 종류를 서술하는 메타데이터(Illuminant, 1106)의 요소들을 도시한 것으로서, Illuminant 메타데이터(1106)는 CIE 표준 조명의 타입을 서술하는 Daylight(1700), 표준 조명의 타입에 따르는 백색 기준점 색도(white point chromaticity) 값을 서술하는 XY_Value(1702) 메타데이터를 포함한다.
도 18은 본 발명의 바람직한 실시예에 따른 조명 광원을 스키마 형태로 도시한 구조도로서, Illuminant 메타데이터(1106) 및 Illuminant 메타데이터(1106)의 요소들을 스키마 형태로 나타낸 것이다.
(표 10)은 Illuminant 메타데이터(1106)를 XML 인스턴스 형식으로 표현한 예를 나타낸 것이다.
Figure 112008085430923-pat00011
도 19는 본 발명의 바람직한 실시예에 따른 입력 장치 색역 메타데이터의 요소들을 도시한 구조도이다.
도 19를 참조하면, 원본 컬러 디스플레이의 색역을 서술하는 메타데이터(Input Device Color Gamut)(1108)의 요소들을 도시한 것으로, Input Device Color Gamut 메타데이터(1108)는 입력 기기의 종류를 서술하는 IDCG_Type(1900), 입력 기기의 최대 DAC 값에서의 x, y값을 서술하는 IDCG_Value(1902) 메타데이터를 포함한다.
도 20은 본 발명의 바람직한 실시예에 따른 입력 장치 색역 메타데이터를 스키마 형태로 도시한 구조도로서, Input Device Color Gamut 메타데이터(1108) 및 Input Device Color Gamut 메타데이터(1108)의 요소들을 스키마 형태로 나타내고 있다.
(표 11)은 Input Device Color Gamut 메타데이터(1108)를 XML 인스턴스 형식으로 표현한 예를 나타낸 것이다.
Figure 112008085430923-pat00012
도 21은 본 발명의 바람직한 실시예에 따른 UPI 메타데이터 생성부를 도시한 블록도이다.
도 21을 참조하면, UPI 메타데이터 생성부(102)는 소비자의 선호 정보에 대한 메타데이터 정보를 포함하는 UPI 메타데이터(User Preference Information metadata)(2100)로 구성되어 있으며, UPI 메타데이터 생성부(102)를 통해 UPI 메타데이터를 생성하게 된다.
도 22는 본 발명의 바람직한 실시예에 따른 UPI 메타데이터의 요소들을 도시한 블록도이다.
도 22를 참조하면, UPI 메타데이터(2100)는 최종 사용자의 개인 정보를 서술하는 메타데이터(Personal Info)(2200)와 감각 효과 선호 정보를 서술하는 메타데이터(Preference Description)(2202)를 포함한다.
도 23은 본 발명의 바람직한 실시예에 따른 UPI 메타데이터를 스키마 형태로 도시한 구조도로서, UPI 메타데이터(2100) 및 UPI 메타데이터(2100)의 요소들을 스키마 형태로 나타낸 것이다.
(표 12)는 UPI 메타데이터(2100)의 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00013
도 24는 본 발명의 바람직한 실시예에 따른 감각 효과 선호 정보 메타데이터의 요소들을 도시한 구조도이다.
도 24를 참조하면, 감각 효과 선호 정보를 서술하는 메타데이터(Preference Description)(2202)의 요소들을 도시한 것으로서, Preference Description 메타데이터(2202)는 사용자의 동영상 콘텐츠의 원본 컬러 복원의 선호 정보를 서술하는 메타데이터(Select Reference Color)(2400)와 조명 조절 선호 정보를 서술하는 메타데이터(Select Dimming)(2402), 주변 조명 조절 선호 정보를 서술하는 메타데이터(Select LED)(2404), 온도 조절 선호 정보를 서술하는 메타데이터(Select Temperature)(2406), 그 밖의 재생 가능한 효과들의 선호 정보를 서술하는 메타데이터(Select Wind)(2408)를 포함하는 것을 특징으로 한다.
도 25는 본 발명의 바람직한 실시예에 따른 감각 효과 선호 정보 메타데이터를 스키마 형태로 도시한 구조도로서, Preference Description 메타데이터(2202) 및 Preference Description 메타데이터(2204)의 요소들을 스키마 형태로 나타낸 것이다.
(표 13)은 Preference Description 메타데이터(2204)의 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00014
도 26은 본 발명의 바람직한 실시예에 따른 DCI 메타데이터 생성부을 도시한 블록도이다.
도 26을 참조하면, DCI 메타데이터 생성부(104)는 감각 재생 장치의 재생 능력 정보에 대한 메타데이터 정보를 포함하는 DCI 메타데이터(Device capability Information metadata)(2600)로 구성되어 있으며, DCI 메타데이터 생성부(104)를 통해 DCI 메타데이터(2600)를 생성하게 된다.
도 27은 본 발명의 바람직한 실시예에 따른 DCI 메타데이터의 요소들을 도시한 블록도로서, DCI 메타데이터(104)는 장치의 재생 가능한 능력을 서술하는 메타데이터(Device Capability)(2600)를 포함한다.
도 28은 본 발명의 바람직한 실시예에 따른 DCI 메타데이터를 스키마 형태로 도시한 구조도로서, DCI 메타데이터(104) 및 DCI 메타데이터(104)의 요소인 Device Capability(2600)를 스키마 형태로 나타낸 것이다.
(표 14)는 DCI 메타데이터(104)의 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00015
도 29는 본 발명의 바람직한 실시예에 따른 장치 능력 메타데이터의 요소들을 도시한 블록도이다.
도 29를 참조하면, 장치의 재생 가능한 능력을 서술하는 메타데이터(Device Capability)(2700)의 요소들을 도시한것으로서, 도 29에서와 같이, Device Capability 메타데이터(2700)는 장치의 고유 식별 번호 속성 정보를 서술하는 메타데이터(Device ID)(2900)와 장치의 종류를 나타내는 속성 정보를 서술하는 메타데이터(Type Of Device)(2902), 감각 효과 재생 장치의 개수 정보를 서술하는 메타데이터(Number)(2904)와 장치의 재생 가능한 최소 능력 정보를 서술하는 메타데이터(Min Level)(2906), 재생 가능한 최대 능력 정보를 서술하는 메타데이터(Max Level)(2908), 장치의 위치 정보를 서술하는 메타데이터(Location)(2910)를 포함한다.
도 30은 본 발명의 바람직한 실시예에 따른 장치 능력 메타데이터 스키마 형태로 도시한 구조도로서, Device Capability 메타데이터(2700)를 스키마 형태로 나타낸 것이다.
(표 15)는 Device Capability 메타데이터(2700)의 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00016
도 31은 본 발명의 바람직한 실시예에 따른 SDC 메타데이터 생성부를 도시한 블록도이다.
도 31을 참조하면, SDC 메타데이터 생성부(106)는 감각 재생 장치 제어 명령 정보에 대한 메타데이터 정보를 포함하는 SDC 메타데이터(Sensory Device Command metadata)(3100)로 구성되어 있으며, SDC 메타데이터 생성부(106)는 SDC 메타데이터(3100)를 생성하게 된다.
도 32는 본 발명의 바람직한 실시예에 따른 SDC 메타데이터의 요소들을 도시한 블록도로서, 도 32에서와 같이, SDC 메타데이터(3100)는 감각 재생 장치 제어 명령 정보를 서술하는 메타데이터(SensoryDeviceCommand)(3200)를 포함한다.
도 33은 본 발명의 바람직한 실시예에 따른 SDC 메타데이터를 스키마 형태로 도시한 구조도로서, 도 32에 도시한 SDC 메타데이터(3100) 및 SDC 메타데이터(3100)의 요소들을 스키마 형태로 나타내고 있다.
(표 16)은 SDC 메타데이터(3100)의 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00017
(표 17)은 SDC 메타데이터(3100)의 기본 타입으로 제공되는 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00018
도 34는 본 발명의 바람직한 실시예에 따른 하나의 감각 재생 장치 제어 명령 정보를 표현하기 위한 예로서, 바람 효과를 재생하는 장치의 제어 명령 정보를 서술하는 메타데이터(Set Fan Type)(2400)의 요소들을 도시한 블록도이다.
도 34를 참조하면, 재생 강도를 나타내는 속성 정보를 서술하는 메타데이터(speed)(3402)와 일정하게 재생되는 지속 시간을 나타내는 속성 정보를 서술하는 메타데이터(duration)(3404), 재생 장치의 활성화를 나타내는 속성 정보를 서술하는 메타데이터(activate)(3406)를 포함한다.
도 35는 본 발명의 바람직한 실시예에 따른 Set Fan Type 메타데이터(3400)를 스키마 형태로 도시한 구조도로서, Set Fan Type 메타데이터(3400) 및 Set Fan Type 메타데이터(3400)의 요소들을 스키마 형태로 나타내고 있다.
(표 18)은 Set Fan Type 메타데이터(3400)의 기본 타입으로 제공되는 서술 구조를 XML 스키마 형태로 나타낸 것이다.
Figure 112008085430923-pat00019
한편, 본 발명에서는 하나의 감각 재생 장치 제어 명령 정보를 표현하기 위한 하나의 실시 예인 Set Fan Type 메타데이터(3400)와 같이, 온도, 조명, 진동 효과와 같은 감각 재생 효과 정보를 표현 하기 위해 SDC 메타데이터(3100)의 서술 구조를 확장한 메타데이터를 생성하는 방법으로 다양한 감각 재생 장치 제어 명령 정보를 표현할 수 있다.
즉, 감각 재생 장치 제어 명령 정보를 서술하는 메타데이터(SensoryDeviceCommand)(3200)에는 감각 효과를 재생할 장치에 대한 고유 식별 정보와, 재생 장치의 감각 효과 정보와, 감각 효과와 관련된 파라미터 정보에 대한 메타데이터를 포함할 수 있다.
예를 들어, 감각 효과를 재생할 장치에 대한 고유 식별 정보로서 각 재생 장치 타입정보에 대한 메타데이터가 확장될 수 있으며, 각 재생 장치 타입정보 메타데이터의 각 요소 또는 재생 장치의 감각 효과 정보 및 감각 효과와 관련된 파라미터 정보로서 동영상 콘텐츠의 원본 컬러 복원 설정 정보와, 조명 재생 설정 정보와, 진동 설정 정보와, 온도 재생 설정 정보와, 각 재생 장치의 재생 방향 설정 정보 등과 같은 메타데이터가 포함될 수 있다.
도 36은 본 발명의 바람직한 실시예에 따른 광고 동영상 콘텐츠의 시청에 있어서 메타데이터를 활용하여 감각 효과를 재생하는 멀티미디어 응용 서비스를 도시한 도면으로서, 동영상 콘텐츠의 시청에 있어서 감각 효과를 재생하는 멀티미디어 응용 시스템과 장치에 대한 메타데이터를 활용하여 광고하는 방법을 나타낸 도면이다.
도 36을 참조하면, 광고 제작자가 제작한 광고 동영상 콘텐츠(3600)와 제작자가 의도하는 감각 효과들을 생성하여 사용자에게 제공하기 위한 것으로서, 제작자는 완성된 광고의 효과를 극대화 하기 위해 원색 표현, 메인 조명, 주변 조명 및 온도에 해당하는 SEI 메타데이터(200)를 생성한다.
(표 19)는 광고 제작자가 생성한 SEI 메타데이터(200)를 XML 인스턴스 형식으로 표현한 예를 나타낸 것이다.
Figure 112008085430923-pat00020
Figure 112008085430923-pat00021
Figure 112008085430923-pat00022
Figure 112008085430923-pat00023
상기 (표 19)는 광고 제작자가 의도하는 원본 컬러 복원을 위한 파라미터들을 포함하고, 메인 조명 효과와 주변 조명 효과(LED), 온도 효과, 바람효과 등을 서술하고 있는 SEI 메타데이터(200)의 XML 인스턴스이다.
완성된 광고 동영상 콘텐츠(3600)와 이에 해당하는 SEI 메타데이터(200)를 전송하기 위해 MAF(Multimedia Application Format) 형태의 광고 미디어를 생성한다. 한편, 본 발명에서는 동영상 콘텐츠와 메타데이터를 하나의 미디어 형태로 표현하기 위해 MAF 형태를 사용하나 여기에 국한되지는 않는다. 생성된 MAF 형태의 광고 미디어를 인터넷이나 케이블 등의 통신 채널부(112)를 통해 감각 재생장치 엔진부(108)로 전달하며, 소비자에게 광고 동영상 콘텐츠(300)에 대한 감각 효과가 있음을 알리게 된다.
이에 광고 소비자는 전송된 광고 미디어의 감각 효과를 적용할 지 여부를 선택한다. 선택하는 방법의 일 실시예로는 소비자의 디스플레이에 재생 및 재생 효과 정도를 선택할 수 있는 그래픽 사용자 인터페이스(GUI)를 이용할 수 있다. 만약 광고 미디어 재생 효과의 적용 여부를 선택 하였다면, UPI 메타데이터(2100)가 생성되어 감각 재생 장치 엔진부(108)에 전송 된다.
(표 20)은 소비자가 광고 미디어 효과를 적용하였을 때, 소비자로부터 생성된 UPI 메타데이터(2100)를 XML 인스턴스 형식으로 표현한 예를 도시한 것이다.
Figure 112008085430923-pat00024
상기 (표 20)은 광고 소비자의 감각 효과 선호 정보를 서술하고 있는 UPI 메타데이터(2100)의 XML 인스턴스로 원본 색 재현, 메인 조명, 주변 조명, 온도, 바람 조절 효과를 모두 사용하고, 메인 조명과 온도, 바람 조절의 재생 효과 정도를 서술하고 있다.
감각 재생 장치 엔진부(108)에서는 광고 미디어의 감각 효과를 재생하기 위한 SEI 메타데이터(200)와, 감각 재생 장치 제어부(110)에 연결된 주변 장치(메인 조명, 주변 조명(LED), 에어컨)들의 DCI 메타데이터(2600), 사용자의 감각 효과 재생 선호 정보인 UPI 메타데이터(2100)를 입력 받아 초기화 되고, 광고가 재생되기 시작한다.
(표 21)은 감각 재생 장치 제어부(110)로부터 생성된 감각 효과 재생 장치의 DCI 메타데이터(2600)를 XML 인스턴스 형식으로 표현한 예를 도시한 것이다.
Figure 112008085430923-pat00025
상기 (표 21)은 각 감각 재생 장치의 감각 효과 재생 능력의 범위를 서술하고 있는 DCI 메타데이터(2600)의 XML 인스턴스로 메인 조명과 주변 조명, 온도, 바람 조절 장치의 재생 능력 범위를 서술하고 있다.
광고가 재생되는 동안 제작자가 제공한 원색 표현, 메인 조명, 주변 조명, 온도 및 바람 SEI 메타데이터가 감각 재생 장치 엔진부(108)에 의해 해석되고, 여기에 DCI 메타데이터(2600)를 해석하여 제작자가 나타내고자 하는 감각 효과 중 현재 사용가능한 감각 재생 장치를 판단한다.
이후, 사용자의 UPI 메타데이터(2100)를 토대로 사용자의 선호 정보를 최종적으로 해석하여 생성된 SDC 메타데이터(3100)를 감각 재생 장치 제어부(110)에 전달한다.
(표 22)는 감각 재생 장치 엔진부(108)로부터 생성된 SDC 메타데이터(3100)를 XML 인스턴스 형식으로 표현한 예를 나타낸 것이다.
Figure 112008085430923-pat00026
상기 (표 22)는 감각 재생 장치 제어부(110)에 전달되는 SDC 메타데이터(3100)의 XML 인스턴스로 소비자의 UPI 메타데이터(2100)에 따라 조정된 감각 효과 재생 정보에 따라 원본 컬러 복원 정보 및 메인 조명, 주변 조명, 온도, 바람 조절의 재생 효과 정도를 서술하고 있다.
감각 재생 장치 제어부(110)는 SDC 메타데이터(3100)를 기반으로 연결된 각각의 감각 재생 장치들에게 제어 신호를 보내서 소비자에게 제작자가 의도한 감각 효과를 재생한다. 이에 따라 광고 화면에서 태양 빛이 강한 시원한 바다 화면이 재생 중이라면 광고 제작자가 의도한 대로 편집한 원 색감 그대로 보여지면서, 메인 조명을 강하게 비추고, 시원한 바다 배경에 맞추어 주변의 LED(주변 조명)가 파랗게 빛나고, 등 뒤에서는 시원한 에어컨 바람이 나오게 된다. 소비자는 이러한 광고 미디어를 시청하면서 광고 상품을 구매하고 싶은 충동을 느끼고 상품을 구매하게 된다.
만약 소비자가 광고 미디어 효과를 적용하지 않았다면, 광고 제작자의 의도된 화면의 원색이 아닌 디지털 텔레비전의 색감 정보가 반영된 맥주 광고가 재생되고, 소비자는 광고를 보면서 별 다른 반응을 보이지 않을 수 있다.
(표 23)은 소비자가 광고 미디어 효과를 적용하지 않았을 때, 소비자로부터 생성된 UPI 메타데이터(2100)를 XML 인스턴스 형식으로 표현한 예를 나타낸 것이다.
Figure 112008085430923-pat00027
상기 (표 23)은 소비자의 감각 효과 선호 정보를 서술하고 있는 UPI 메타데이터(2100)의 XML 인스턴스로 원본 색 재현, 메인 조명, 주변 조명, 온도, 바람 조절 효과를 모두 사용하지 않는 것을 서술하고 있다.
이상 설명한 바와 같이, 본 발명은 동영상 콘텐츠 시청에 있어 동영상 콘텐츠를 구성하는 내용에 따라 디스플레이 기기의 색감 및 주변 조명 등 주변 감각 재생 장치를 효과적으로 제어하기 위한 것으로서, 동영상 내용에 따라 디스플레이 색감과 주변 감각 재생 장치의 조절을 최적화하기 위한 새로운 메타데이터 형식을 수반하고, 기존 제작자의 의도에 따른 소비자 중심의 고품질 멀티미디어 서비스를 제공한다.
한편 본 발명의 상세한 설명에서는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법의 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 즉, 본 발명의 실시예에서 개시하고 있는 메타데이터 및 메타데이터의 요소는 기재된 요소에 한정되지 않으며, 기재된 요소 또한 본 발명의 구현 방식에 따라 메타데이터에 적어도 하나 이상의 요소가 포함될 수 있다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 바람직한 실시예에 따른 멀티미디어 응용 시스템의 구조를 도시한 블록도,
도 2는 본 발명의 바람직한 실시예에 따른 SEI 메타데이터 생성부를 도시한 블록도,
도 3은 본 발명의 바람직한 실시예에 따른 SEI 메타데이터의 요소들을 도시한 블록도,
도 4는 본 발명의 바람직한 실시예에 따른 SEI 메타데이터를 스키마 형태로 도시한 구조도,
도 5는 본 발명의 바람직한 실시예에 따른 SEI 메타데이터의 서술 구조의 스키마에서 기본 타입 체계에서 최상위 기본 타입으로 제공되는 SEI Base Type 메타데이터의 요소들을 도시한 블록도,
도 6은 본 발명의 바람직한 실시예에 따른 SEI Base Type 메타데이터를 스키마 형태로 도시한 구조도,
도 7은 본 발명의 바람직한 실시예에 따른 Group Of Effects 메타데이터의 요소들을 도시한 블록도,
도 8은 본 발명의 바람직한 실시예에 따른 Group Of Effects 메타데이터를 스키마 형태로 도시한 구조도,
도 9는 본 발명의 바람직한 실시예에 따른 하나의 감각 효과 정보를 표현하기 위한 하나의 실시 예인, 바람 효과를 재생하는 장치의 정보를 서술하는 메타데 이터의 요소들을 도시한 블록도,
도 10은 본 발명의 바람직한 실시예에 따른 Fan Type 메타데이터를 스키마 형태로 도시한 구조도,
도 11은 본 발명의 바람직한 실시예에 따른 원본(참조) 컬러 파라미터 메타데이터의 요소들을 도시한 블록도,
도 12는 본 발명의 바람직한 실시예에 따른 원본 컬러 메타데이터를 스키마 형태로 도시한 구조도,
도 13은 본 발명의 바람직한 실시예에 따른 톤 재생 커브의 요소들을 도시한 블록도,
도 14는 본 발명의 바람직한 실시예에 따른 톤 재생 커브를 스키마 형태로 도시한 구조도,
도 15는 본 발명의 바람직한 실시예에 따른 영상 변환 매트릭스의 요소들을 도시한 블록도,
도 16은 본 발명의 바람직한 실시예에 따른 영상 변환 매트릭스를 스키마 형태로 도시한 구조도,
도 17은 본 발명의 바람직한 실시예에 따른 조명 광원 메타데이터의 요소들을 도시한 블록도,
도 18은 본 발명의 바람직한 실시예에 따른 조명 광원을 스키마 형태로 도시한 구조도,
도 19는 본 발명의 바람직한 실시예에 따른 입력 장치 색역 메타데이터의 요 소들을 도시한 구조도
도 20은 본 발명의 바람직한 실시예에 따른 입력 장치 색역 메타데이터를 스키마 형태로 도시한 구조도,
도 21은 본 발명의 바람직한 실시예에 따른 UPI 메타데이터 생성부를 도시한 블록도,
도 22는 본 발명의 바람직한 실시예에 따른 UPI 메타데이터의 요소들을 도시한 블록도,
도 23은 본 발명의 바람직한 실시예에 따른 UPI 메타데이터를 스키마 형태로 도시한 구조도,
도 24는 본 발명의 바람직한 실시예에 따른 감각 효과 선호 정보 메타데이터의 요소들을 도시한 구조도,
도 25는 본 발명의 바람직한 실시예에 따른 감각 효과 선호 정보 메타데이터를 스키마 형태로 도시한 구조도,
도 26은 본 발명의 바람직한 실시예에 따른 DCI 메타데이터 생성부을 도시한 블록도,
도 27은 본 발명의 바람직한 실시예에 따른 DCI 메타데이터의 요소들을 도시한 블록도,
도 28은 본 발명의 바람직한 실시예에 따른 DCI 메타데이터를 스키마 형태로 도시한 구조도,
도 29는 본 발명의 바람직한 실시예에 따른 장치 능력 메타데이터의 요소들 을 도시한 블록도,
도 30은 본 발명의 바람직한 실시예에 따른 장치 능력 메타데이터 스키마 형태로 도시한 구조도,
도 31은 본 발명의 바람직한 실시예에 따른 SDC 메타데이터 생성부를 도시한 블록도,
도 32는 본 발명의 바람직한 실시예에 따른 SDC 메타데이터의 요소들을 도시한 블록도,
도 33은 본 발명의 바람직한 실시예에 따른 SDC 메타데이터를 스키마 형태로 도시한 구조도,
도 34는 본 발명의 바람직한 실시예에 따른 하나의 감각 재생 장치 제어 명령 정보를 표현하기 위한 예로서, 바람 효과를 재생하는 장치의 제어 명령 정보를 서술하는 메타데이터(Set Fan Type)의 요소들을 도시한 블록도,
도 35는 본 발명의 바람직한 실시예에 따른 Set Fan Type 메타데이터를 스키마 형태로 도시한 구조도,
도 36은 본 발명의 바람직한 실시예에 따른 광고 동영상 콘텐츠의 시청에 있어서 메타데이터를 활용하여 감각 효과를 재생하는 멀티미디어 응용 서비스를 도시한 도면.
< 도면의 주요 부분에 대한 부호 설명 >
100 : SEI 메타데이터 생성부 102 : UPI 메타데이터 생성부
104 : DCI 메타데이터 생성부 106 : SDC 메타데이터 생성부
108 : 감각 재생 장치 엔진부 110 : 감각 재생 장치 제어부
112 : 통신 채널부 114 : 디스플레이 장치
116 : 조명장치 118 : LED 장치
120 : 온도 조절 장치

Claims (37)

  1. 동영상 콘텐츠 제작자가 동영상 콘텐츠의 내용에 따라 감각 재생 장치를 이용하여 감각 효과를 나타내기 위해 생성된 감각 효과 정보(SEI)를 입력받고, 소비자가 설정한 감각 재생 장치의 사용자 선호 정보(UPI)를 입력받고, 상기 감각 재생 장치에 사용 가능한 재생 능력 정보(DCI)를 입력받은 상태에서, 상기 입력받은 감각 효과 정보(SEI), 사용자 선호 정보(UPI), 재생 능력 정보(DCI)를 토대로 상기 감각 재생 장치 제어를 위한 재생 명령 정보(SDC)를 생성하는 감각 재생장치 엔진부와,
    상기 생성된 재생 명령 정보(SDC)를 토대로 감각 효과 재생을 수행하는 각 감각 재생 장치들을 제어하는 감각 재생 장치 제어부
    를 포함하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  2. 제 1항에 있어서,
    상기 감각 재생장치 엔진부는,
    상기 감각 효과 정보(SEI)에 상기 사용자 선호 정보(UPI)가 반영된 상태에서 상기 재생 능력 정보(DCI)를 토대로 사용 가능한 감각 재생 장치에 대한 정보를 판단하여 상기 재생 명령 정보(SDC)를 생성하는 것을 특징으로 하는 감각 재생 장치 에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  3. 제 2항에 있어서,
    상기 감각 재생장치 엔진부는,
    재생 장치에 대한 속성 정보와, 재생 장치의 감각 효과 정보와, 감각 효과와 관련된 파라미터 정보 중 적어도 하나를 포함하는 상기 감각 효과 정보(SEI)와,
    최종 사용자의 개인 정보와, 감각 효과 선호 정보를 포함하는 상기 사용자 선호 정보(UPI)와,
    장치의 고유 식별 번호 속성 정보와, 장치의 종류를 나타내는 속성 정보와, 감각 효과 재생 장치의 개수 정보와, 재생 가능한 최소 능력 정보와, 재생 가능한 최대 능력 정보와, 장치의 위치 정보 중 적어도 하나를 포함하는 상기 재생 능력 정보(DCI)를 토대로 상기 감각 재생장치 제어부에서 제어 가능한 감각 재생 장치들과 이러한 상기 감각 재생 장치들의 제어 범위를 설정하여,
    감각 효과를 재생할 장치에 대한 고유 식별 정보와, 재생 장치의 감각 효과 정보와, 감각 효과와 관련된 파라미터 정보 중 적어도 하나를 포함하는 재생 명령 정보(SDC)를 생성하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  4. 제 1항에 있어서,
    상기 감각 재생 장치 제어부는,
    연동된 상기 감각 재생 장치들을 제어할 수 있는 제어범위가 설정된 재생 능력 정보(DCI)를 생성하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  5. 제 1항에 있어서,
    상기 감각 재생장치 제어부는,
    상기 감각 재생장치 엔진부로부터 전달받은 재생 명령 정보(SDC)에 포함된 해당 기기들에게 효과 재생 명령을 전달하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  6. 제 1항에 있어서,
    상기 멀티미디어 응용 시스템은,
    상기 감각 재생장치 엔진부와, 상기 감각 재생 장치 제어부 간의 유무선 데이터 송수신을 수행하는 통신 채널부
    를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  7. 제 6항에 있어서,
    상기 통신 채널부는,
    상기 감각 재생장치 엔진부와 상기 감각 재생 장치 제어부 간을 유선망으로 연결하여 데이터를 송수신하거나, 이동통신, 블루투스, 와이브로, 무선랜 중 적어도 하나를 이용한 무선 통신을 통하여 데이터 송수신하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  8. 제 1항에 있어서,
    상기 감각 재생 장치는,
    디스플레이 장치, 조명장치, 발광소자(LED) 장치, 온도 조절 장치, 바람 조절 장치, 향기 조절 장치 중 적어도 하나인 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 응용 시스템.
  9. 제 1항에 있어서,
    상기 정보는,
    메타데이터 또는 스키마 형태인 것을 특징으로 하는 감각 재생 장치에 관계 된 메타데이터를 이용한 멀티미디어 응용 시스템.
  10. 제 1항에 있어서,
    상기 정보는,
    확장성 생성언어(XML) 인스턴스 또는 XML 스키마 형태로 생성되는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  11. 감각 재생장치 엔진부에서 동영상 콘텐츠 제작자가 상기 동영상 콘텐츠 내용에 따라 감각 효과를 나타내는 감각 재생 장치를 위해 생성된 감각 효과 정보(SEI)를 입력받는 과정과,
    소비자가 설정한 감각 재생 장치의 사용자 선호 정보(UPI)를 입력받는 과정과,
    상기 감각 재생 장치에 사용 가능한 재생 능력 정보(DCI)를 입력받는 과정과,
    상기 입력받은 감각 효과 정보(SEI), 사용자 선호 정보(UPI), 재생 능력 정보(DCI)를 토대로 상기 감각 재생 장치 제어를 위한 재생 명령 정보(SDC)를 생성하는 과정과,
    상기 생성된 재생 명령 정보(SDC)를 감각 효과 재생을 수행하는 각 감각 재 생 장치들과 연동된 감각 재생 장치 제어부로 전달하는 과정
    을 포함하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 방법.
  12. 제 11항에 있어서,
    상기 재생 명령 정보(SDC)를 생성하는 과정은,
    상기 감각 효과 정보(SEI)에 상기 사용자 선호 정보(UPI)를 반영하는 과정과,
    상기 사용자 선호 정보(UPI)가 반영된 감각 효과 정보(SEI)에 상기 재생 능력 정보(DCI)를 토대로 사용 가능한 감각 재생 장치에 대한 정보를 판단하여 상기 재생 명령 정보(SDC)를 생성하는 과정
    을 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 방법.
  13. 제 12항에 있어서,
    상기 재생 명령 정보(SDC)를 생성하는 과정은,
    재생 장치에 대한 속성 정보와, 재생 장치의 감각 효과 정보와, 감각 효과와 관련된 파라미터 정보 중 적어도 하나를 포함하는 상기 감각 효과 정보(SEI)와,
    최종 사용자의 개인 정보와, 감각 효과 선호 정보를 포함하는 상기 사용자 선호 정보(UPI)와,
    장치의 고유 식별 번호 속성 정보와, 장치의 종류를 나타내는 속성 정보와, 감각 효과 재생 장치의 개수 정보와, 재생 가능한 최소 능력 정보와, 재생 가능한 최대 능력 정보와, 장치의 위치 정보 중 적어도 하나를 포함하는 상기 재생 능력 정보(DCI)를 토대로 상기 감각 재생장치 제어부에서 제어 가능한 감각 재생 장치들과 이러한 상기 감각 재생 장치들의 제어 범위를 설정하여,
    감각 효과를 재생할 장치에 대한 고유 식별 정보와, 재생 장치의 감각 효과 정보와, 감각 효과와 관련된 파라미터 정보 중 적어도 하나를 포함하는 재생 명령 정보(SDC)를 생성하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 방법.
  14. 제 11항에 있어서,
    상기 재생 능력 정보(DCI)는,
    상기 감각 재생 장치 제어부에 연동된 상기 감각 재생 장치들을 제어할 수 있는 제어범위가 설정된 정보인 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 방법.
  15. 제 11항에 있어서,
    상기 전달하는 과정은,
    상기 감각 재생 장치 제어부에서 상기 감각 재생장치 엔진부로부터 전달받은 재생 명령 정보(SDC)에 포함된 해당 기기들에게 효과 재생 명령을 전달하는 과정을 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 방법.
  16. 제 11항에 있어서,
    상기 감각 재생장치 엔진부에서 정보를 입력 받거나, 상기 감각 재생장치 엔진부와 상기 감각 재생 장치 제어부 간의 데이터 송수신은 유무선으로 연동된 통신채널부를 통해 수행하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 방법.
  17. 제 16항에 있어서,
    상기 통신 채널부는,
    상기 감각 재생장치 엔진부와 상기 감각 재생 장치 제어부 간을 유선망으로 연결하여 데이터를 송수신하거나, 이동통신, 블루투스, 와이브로, 무선랜 중 적어도 하나를 이용한 무선 통신을 통하여 데이터 송수신하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 방법.
  18. 제 11항에 있어서,
    상기 감각 재생 장치는,
    디스플레이 장치, 조명장치, 발광소자(LED) 장치, 온도 조절 장치, 바람 조절 장치, 향기 조절 장치 중 적어도 하나인 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 방법.
  19. 제 11항에 있어서,
    상기 정보는,
    메타데이터 또는 스키마 형태인 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 방법.
  20. 제 11항에 있어서,
    상기 정보는,
    확장성 생성언어(XML) 인스턴스 또는 XML 스키마 형태로 생성되는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 방법.
  21. 제 1항에 있어서,
    상기 감각 효과 정보(SEI)는,
    확장성 생성언어(XML) 스키마 형태의 메타데이터로서, 확장 가능한 재생장치에 대한 속성 정보를 나타내는 메타데이터(##other),
    적어도 두 개의 감각 효과 정보를 나타내는 그룹 효과 메타데이터(Group Of Effects),
    하나의 감각 효과 정보를 나타내는 싱글 효과 메타데이터(Single Effect),
    감각 효과와 관련된 파라미터들을 나타내는 파라미터 메타데이터(Parameters) 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  22. 제 21항에 있어서,
    상기 SEI 메타데이터는,
    최상위 기본 타입으로 제공되는 SEI 기본 타입(SEI base type) 메타데이터를 포함하며, 상기 SEI 기본 타입 메타데이터는 싱글 효과 메타데이터의 기본 타입(Single Effect Base Type)과, 파라미터 메타데이터의 기본 타입(Parameters Base Type)과, SDC 메타데이터의 기본타입(SDC Base Type)에 기본 타입으로 사용하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  23. 제 22항에 있어서,
    상기 SEI 기본 타입 메타데이터는,
    식별 가능한 속성 정보를 나타내는 메타데이터(id)를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  24. 제 21항에 있어서,
    상기 그룹 효과 메타데이터(Group Of Effects)는,
    확장 가능한 감각 재생 장치에 대한 속성 정보를 나타내는 메타데이터(##other)와,
    하나의 감각 효과 정보를 나타내는 메타데이터(Single Effect)를 두개 이상 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  25. 제 22항에 있어서,
    상기 싱글 효과 메타데이터의 기본 타입(Single Effect Base Type)은,
    확장 가능한 재생장치에 대한 속성 정보를 나타내는 메타데이터(##other)
    를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  26. 제 22항에 있어서,
    상기 파라미터 메타데이터의 기본 타입(Parameters Base Type)은,
    확장 가능한 재생장치에 대한 속성 정보를 나타내는 메타데이터(##other)
    를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  27. 제 21항에 있어서,
    상기 싱글 효과 메타데이터(Single Effect)는,
    바람 효과를 재생하는 장치의 정보를 나타내는 팬 타입 메타데이터(Fan Type)로서, 상기 팬 타입 메타데이터는 상기 바람 효과를 재생하는 장치의 재생 방법에 대한 속성 정보를 나타내는 메타데이터(method),
    위치 정보에 대한 속성 정보를 나타하는 메타데이터(side),
    재생 강도에 대한 속성 정보를 나타내는 메타데이터(speed),
    일정하게 재생되는 지속 시간에 대한 속성 정보를 나타내는 메타데이터(duration),
    변화하면서 재생되는 지속 시간에 대한 속성 정보를 나타내는 메타데이터(vTime),
    변화하는 지속 시간 동안의 시간 변화량에 대한 속성 정보를 나타내는 메타데이터(vDelta),
    변화하는 패턴에 대한 속성 정보를 나타내는 메타데이터(vSide),
    변화하는 재생 강도의 최저 강도에 대한 속성 정보를 나타내는 메타데이터(vLower),
    변화하는 재생 강도의 최고 강도에 대한 속성 정보를 나타내는 메타데이터(vUpper), 재생 장치의 활성화에 대한 속성 정보를 나타내는 메타데이터(activate) 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  28. 제 21항에 있어서,
    상기 싱글 효과 메타데이터(Single Effect)는,
    동영상 콘텐츠의 원본 컬러 복원 정보를 나타내는 원본 컬러 메타데이터(Reference Color Parameter)로서, 상기 원본 컬러 메타데이터(Reference Color Parameter)는 컬러 복원을 위한 원본 컬러 디스플레이 장치의 특성을 보여주는 커브를 나타내는 메타데이터(Tone Reproduction Curves),
    원본 영상의 컬러 공간에서 표준 컬러 공간으로 영상 변환을 수행하는 매트릭스를 나타내는 메타데이터(Conversion Matrix),
    원본 영상 작업 공간에서의 조명 광원의 종류를 나타내는 메타데이터 (Illuminant),
    원본 컬러 디스플레이의 색역을 나타내는 메타데이터(Input Device Color Gamut),
    주변의 휘도를 나타내는 메타데이터(Luminance Of Surround) 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  29. 제 21항에 있어서,
    상기 파라미터 메타데이터(Parameters)는,
    원본 컬러 디스플레이 장치의 특성을 보여주는 커브에 대한 메타데이터(Tone Reproduction Curves)로서, 상기 메타데이터(Tone Reproduction Curves)는 원본 컬러 디스플레이 장치의 각 채널마다의 감마값을 표시하기 위해 필요한 DAC(Digital to Analog conversion)값과 RGB값을 나타내는 메타데이터(Record),
    상기 DAC값을 나타내는 메타데이터(DAC_Value),
    각 채널의 RGB값을 나타내는 메타데이터(RGB_Value) 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  30. 제 1항에 있어서,
    상기 사용자 선호 정보(UPI)는,
    확장성 생성언어(XML) 스키마 형태의 메타데이터로서, 최종 사용자의 개인 정보를 나타내는 메타데이터(Personal Info)와 감각 효과 선호 정보를 나타내는 메타데이터(Preference Description)를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  31. 제 30항에 있어서,
    상기 메타데이터(Preference Description)는,
    동영상 콘텐츠의 원본 컬러 복원의 선호 정보를 나타내는 메타데이터(Select Reference Color),
    조명 조절 선호 정보를 나타내는 메타데이터(Select Dimming),
    주변 조명 조절 선호 정보를 나타내는 메타데이터(Select LED),
    온도 조절 선호 정보를 나타내는 메타데이터(Select Temperature),
    재생 가능한 효과들의 선호 정보를 나타내는 메타데이터(Select Wind) 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  32. 제 1항에 있어서,
    상기 재생 능력 정보(DCI)는,
    확장성 생성언어(XML) 스키마 형태의 메타데이터로서, 감각 재생 장치의 재생 가능한 능력을 나타내는 메타데이터(Device Capability)
    를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  33. 제 32항에 있어서,
    상기 메타데이터(Device Capability)는,
    상기 감각 재생 장치의 고유 식별 번호 속성 정보를 나타내는 메타데이터(Device ID),
    장치의 종류를 나타내는 속성 정보를 나타내는 메타데이터(Type Of Device),
    상기 감각 재생 장치의 개수 정보를 나타내는 메타데이터(Number),
    장치의 재생 가능한 최소 능력 정보를 나타내는 메타데이터(Min Level),
    재생 가능한 최대 능력 정보를 나타내는 메타데이터(Max Level),
    장치의 위치 정보를 나타내는 메타데이터(Location) 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  34. 제 1항에 있어서,
    상기 재생 명령 정보(SDC)는,
    확장성 생성언어(XML) 스키마 형태의 메타데이터로서, 감각 재생 장치 제어 명령 정보를 나타내는 메타데이터(SensoryDeviceCommand)
    를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  35. 제 34항에 있어서,
    상기 메타데이터(SensoryDeviceCommand)는,
    바람 효과를 재생하는 장치의 제어 명령 정보를 나타내는 메타데이터(Set Fan Type)
    를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  36. 제 35항에 있어서,
    상기 메타데이터(Set Fan Type)는,
    재생 강도에 대한 속성 정보를 나타내는 메타데이터(speed),
    일정하게 재생되는 지속 시간에 대한 속성 정보를 나타내는 메타데이터(duration),
    재생 장치의 활성화에 대한 속성 정보를 나타내는 메타데이터(activate) 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
  37. 제 1항에 있어서,
    상기 SDC 메타데이터는,
    확장성 생성언어(XML) 인스턴스 형태의 메타데이터로서, 사용자 선호 정보(UPI) 메타데이터를 토대로 조정된 감각 효과 재생 정보에 따라 원본 컬러 복원 정보, 메인 조명, 주변 조명, 온도, 바람 조절의 재생 효과 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템.
KR1020080126032A 2008-07-14 2008-12-11 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법 Active KR101078641B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN200980127406.3A CN102598554B (zh) 2008-07-14 2009-06-19 对感觉装置使用元数据的多媒体应用系统和方法
PCT/KR2009/003010 WO2010008139A2 (en) 2008-07-14 2009-06-19 Multimedia application system and method using metadata for sensory device
EP09798042.9A EP2301245A4 (en) 2008-07-14 2009-06-19 MULTIMEDIA APPLICATION SYSTEM AND METHOD USING METADATA FOR A SENSOR DEVICE
JP2011518637A JP5781435B2 (ja) 2008-07-14 2009-06-19 感覚再生装置に係るメタデータを用いるマルチメディアアプリケーションシステム及びその方法
US13/054,408 US20110123168A1 (en) 2008-07-14 2009-06-19 Multimedia application system and method using metadata for sensory device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080068054 2008-07-14
KR20080068054 2008-07-14

Publications (2)

Publication Number Publication Date
KR20100012013A KR20100012013A (ko) 2010-02-04
KR101078641B1 true KR101078641B1 (ko) 2011-11-01

Family

ID=42086327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080126032A Active KR101078641B1 (ko) 2008-07-14 2008-12-11 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법

Country Status (6)

Country Link
US (1) US20110123168A1 (ko)
EP (1) EP2301245A4 (ko)
JP (1) JP5781435B2 (ko)
KR (1) KR101078641B1 (ko)
CN (1) CN102598554B (ko)
WO (1) WO2010008139A2 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US20110276659A1 (en) * 2010-04-05 2011-11-10 Electronics And Telecommunications Research Institute System and method for providing multimedia service in a communication system
KR101746453B1 (ko) * 2010-04-12 2017-06-13 삼성전자주식회사 실감 효과 처리 시스템 및 방법
RU2444056C1 (ru) 2010-11-01 2012-02-27 Закрытое акционерное общество "Лаборатория Касперского" Система и способ ускорения решения проблем за счет накопления статистической информации
US9049494B2 (en) * 2011-01-31 2015-06-02 Cbs Interactive, Inc. Media playback control
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101305735B1 (ko) * 2012-06-15 2013-09-06 성균관대학교산학협력단 촉각 효과의 제공 방법 및 장치
KR102071576B1 (ko) 2012-12-21 2020-03-02 삼성전자주식회사 콘텐트 재생 방법 및 이를 위한 단말
WO2014190065A1 (en) * 2013-05-21 2014-11-27 Sony Corporation Post production replication of optical processing for digital cinema cameras using metadata
CN103596044A (zh) * 2013-11-22 2014-02-19 深圳创维数字技术股份有限公司 一种视频文件的处理及播放方法、装置及系统
JP6504165B2 (ja) * 2014-06-24 2019-04-24 ソニー株式会社 情報処理装置及び情報処理方法並びにプログラム
US10739737B2 (en) * 2015-09-25 2020-08-11 Intel Corporation Environment customization
KR102573933B1 (ko) * 2016-10-04 2023-09-05 한국전자통신연구원 기계 학습 기반의 실감 미디어 저작 방법 및 장치
US10942569B2 (en) 2017-06-26 2021-03-09 SonicSensory, Inc. Systems and methods for multisensory-enhanced audio-visual recordings
WO2019245578A1 (en) * 2018-06-22 2019-12-26 Virtual Album Technologies Llc Multi-modal virtual experiences of distributed content
JP7211514B2 (ja) * 2019-07-10 2023-01-24 日本電信電話株式会社 コンテンツ再生装置、コンテンツ再生方法及びコンテンツ再生プログラム
US11317137B2 (en) * 2020-06-18 2022-04-26 Disney Enterprises, Inc. Supplementing entertainment content with ambient lighting
JP7292532B1 (ja) * 2022-04-27 2023-06-16 三菱電機株式会社 制御装置、制御システム、制御方法、及び制御プログラム
US20240223910A1 (en) * 2023-01-04 2024-07-04 Adobe Inc. Gain map generation, embedding, and application for high dynamic range digital image functionality

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249315B1 (en) * 1997-03-24 2001-06-19 Jack M. Holm Strategy for pictorial digital image processing
US20040015983A1 (en) * 2002-04-22 2004-01-22 Thomas Lemmons Method and apparatus for a data receiver and controller for the facilitation of an enhanced television viewing environment
KR100612831B1 (ko) * 2002-04-25 2006-08-18 삼성전자주식회사 영상의 내용기술 메타데이터를 이용한 색온도 변환 방법및 시스템
CN1650220B (zh) * 2002-04-26 2010-06-09 韩国电子通信研究院 通过调整背光和调节可视信号减少功耗的设备和方法
JP4052556B2 (ja) * 2002-05-07 2008-02-27 日本放送協会 外部機器連動型コンテンツ生成装置、その方法及びそのプログラム
KR100612835B1 (ko) * 2002-12-12 2006-08-18 삼성전자주식회사 영상의 색 특성에 관한 사용자 선호성 데이터 생성 방법및 장치와 이를 이용한 영상 색선호특성 변환 방법 및 장치
US20040222954A1 (en) * 2003-04-07 2004-11-11 Lueder Ernst H. Methods and apparatus for a display
US20040257352A1 (en) * 2003-06-18 2004-12-23 Nuelight Corporation Method and apparatus for controlling
US7859494B2 (en) * 2004-01-02 2010-12-28 Samsung Electronics Co., Ltd. Display device and driving method thereof
JP4179262B2 (ja) * 2004-10-06 2008-11-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
KR100707638B1 (ko) * 2005-04-28 2007-04-13 삼성에스디아이 주식회사 발광 표시장치 및 그의 구동 방법
US20070070069A1 (en) * 2005-09-26 2007-03-29 Supun Samarasekera System and method for enhanced situation awareness and visualization of environments
EP1966753A2 (en) * 2005-12-22 2008-09-10 Koninklijke Philips Electronics N.V. Script synchronization by watermarking
US20090109340A1 (en) * 2006-04-21 2009-04-30 Sharp Kabushiki Kaisha Data Transmission Device, Data Transmission Method, Audio-Visual Environment Control Device, Audio-Visual Environment Control System, And Audio-Visual Environment Control Method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Advances in information sciences and services*

Also Published As

Publication number Publication date
KR20100012013A (ko) 2010-02-04
CN102598554A (zh) 2012-07-18
EP2301245A4 (en) 2013-07-10
WO2010008139A3 (en) 2012-04-12
JP2012511837A (ja) 2012-05-24
CN102598554B (zh) 2015-07-01
EP2301245A2 (en) 2011-03-30
US20110123168A1 (en) 2011-05-26
WO2010008139A2 (en) 2010-01-21
JP5781435B2 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
KR101078641B1 (ko) 감각 재생 장치에 관계된 메타데이터를 이용한 멀티미디어 응용 시스템 및 방법
KR101667416B1 (ko) 실감 효과 표현 방법 및 그 장치 및 실감 기기 성능 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
JP5092015B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2012524452A (ja) 感覚効果のためのメタデータ提供方法及び装置、感覚効果のためのメタデータが記録されたコンピュータ読み取り可能な記録媒体、感覚再生方法及び装置
JP4698609B2 (ja) 周囲光スクリプト・コマンドのコード化
CN107918901B (zh) 用于产生和分配照明数据文件的系统和方法
US20110188832A1 (en) Method and device for realising sensory effects
US20100268745A1 (en) Method and apparatus for representing sensory effects using sensory device capability metadata
CN102783173B (zh) 内容重放装置、电视接收机、内容重放方法、内容重放程序、及存储介质
JP2012511837A5 (ko)
RU2427986C2 (ru) Управление окружающим освещением на основе событий
WO2010007987A1 (ja) データ送信装置、データ受信装置、データ送信方法、データ受信方法および視聴環境制御方法
KR20100008775A (ko) 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20090038835A (ko) 실감 미디어 생성 및 소비 방법 및 그 장치 및 실감 미디어메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록매체
US20100274817A1 (en) Method and apparatus for representing sensory effects using user&#39;s sensory effect preference metadata
Yoon et al. MPEG-V: Bridging the virtual and real world
JP5442643B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
KR20100008774A (ko) 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
KR20110111251A (ko) 감각 효과를 위한 메타데이터 제공 방법 및 장치, 감각 효과를 위한 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체, 감각 재생 방법 및 장치
KR100934690B1 (ko) 단일 미디어 다중 디바이스 기반 유비쿼터스 홈 미디어재현 방법 및서비스 방법
JP2015097168A (ja) 照明制御システム
Timmerer et al. Interfacing with virtual worlds
WO2010087153A1 (ja) 感覚効果情報のデータ構造、感覚効果情報出力装置、感覚効果情報出力方法、感覚効果情報生成装置、制御装置、システム、プログラムおよび記録媒体
KR20190008105A (ko) 실감 효과 적응 방법 및 이를 수행하는 적응 엔진 및 실감 장치
Yun et al. Development of sensory effect representing system adapting user preferences and device capability

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20140926

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 14

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 15