[go: up one dir, main page]

KR102156311B1 - 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들 - Google Patents

향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들 Download PDF

Info

Publication number
KR102156311B1
KR102156311B1 KR1020197035259A KR20197035259A KR102156311B1 KR 102156311 B1 KR102156311 B1 KR 102156311B1 KR 1020197035259 A KR1020197035259 A KR 1020197035259A KR 20197035259 A KR20197035259 A KR 20197035259A KR 102156311 B1 KR102156311 B1 KR 102156311B1
Authority
KR
South Korea
Prior art keywords
audio
speaker
audio object
playback
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020197035259A
Other languages
English (en)
Other versions
KR20190134854A (ko
Inventor
니콜라스 알. 칭고스
찰스 큐. 로빈슨
저건 더블유. 샤프
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority to KR1020207025906A priority Critical patent/KR102394141B1/ko
Publication of KR20190134854A publication Critical patent/KR20190134854A/ko
Application granted granted Critical
Publication of KR102156311B1 publication Critical patent/KR102156311B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)

Abstract

오디오 재생 데이터를 오서링 및 렌더링하는 개선된 툴들이 제공된다. 몇몇의 이러한 오서링 툴들은 오디오 재생 데이터가 매우 다양한 재생 환경들에 대해 일반화될 수 있도록 한다. 오디오 재생 데이터는 오디오 객체들에 대한 메타데이터를 생성하는 것에 의해 오서링될 수 있다. 메타데이터는 스피커 존들을 참조하여 생성될 수 있다. 렌더링 처리 동안, 오디오 재생 데이터는 특정 재생 환경의 재생 스피커 레이아웃에 따라 재생될 수 있다.

Description

향상된 3D 오디오 오서링과 렌더링을 위한 시스템 및 툴들{SYSTEM AND TOOLS FOR ENHANCED 3D AUDIO AUTHORING AND RENDERING}
관련 출원에 대한 상호-참조
본 출원은 2011년 7월 1일에 출원된 미국 가출원 번호 제61/504,005 및 2012년 4월 20일에 출원된 가출원 번호 제61/636,102호에 대한 우선권을 주장하며, 이들 모두는 모든 목적을 위해 그 전체내용이 참조에 의하여 본 명세서에 포함된다.
기술 분야
본 발명은 오디오 재생 데이터의 오서링(authoring) 및 렌더링(rendering)에 관한 것이다. 특히, 본 발명은 시네마 사운드 재생 시스템과 같은 재생 환경용 오디오 재생 데이터를 오서링 및 렌더링하는 것에 관한 것이다.
1927년 필름에 대한 음향의 도입으로 인하여, 동화상 사운드 트랙의 예술적 의도를 담아내고 시네마 환경에서 그것을 재생하기 위하여 사용되는 기술이 꾸준히 발전되어 왔다. 1930년대의 디스크 상에 동기화되는 음향은 필름 가변 영역 음향에 대한 방식을 제공하였고, 이것은 1940년대 극장 음향 고려사항들에 있어서 더욱 개선되었으며, 또한 멀티 레코딩 및 조종가능 재생(제어 톤을 사용한 음향 이동)과 함께 라우드스피커 설계를 개선하였다. 1950년대 및 1960년대에는, 필름의 자기 스트라이핑(magnetic striping)으로 인하여 극장에서의 멀티-채널 재생을 가능하게 되었으며, 이것은 고급 극장에서 5개까지 스크린 채널 및 서라운드 채널을 도입할 수 있게 하였다.
1970년대 돌비(Dolby)는 3개 스크린 채널들과 모노 서라운드 채널의 믹스들을 인코딩 및 디스트리뷰팅하는 비용-효율적 방식에 따라, 필름 및 포스트-프로덕션(post-production) 모두에 있어서의 노이즈 저감을 도입하였다. 시네마 사운드의 품질은 THX와 같은 인증 프로그램들과 돌비 SR(Spectral Recording) 노이즈 저감에 따라 1980년대에 더욱 개선되었다. 돌비는 저음역 효과(low-frequency effect)를 위해 개별적인 좌측, 중앙 및 우측 스크린 채널들, 좌측 및 우측 서라운드 어레이들 및 서브 우퍼 채널를 제공하는 5.1 채널 포맷을 이용하여 1990년 동안 시네마에 디지털 사운드를 제공하였다. 2010년에 도입된 돌비 서라운드 7.1은 기존의 좌측 및 우측 서라운드 채널들을 4개의 "존(zone)들"로 분할하는 것에 의해 서라운드 채널들의 개수를 증가시켰다.
채널들의 개수 증가 및 평면 2-차원(2D) 어레이에서 엘리베이션(elevation)을 포함하는 3-차원(3D) 어레이로의 라우드스피커 레이아웃 전환으로 인하여, 사운드를 포지셔닝하고 렌더링하는 작업이 갈수록 더 어려워지고 있다. 개선된 오디오 오서링 및 렌더링 방법들이 바람직할 것이다.
본 발명은 상기한 바와 같은 문제점을 해소하기 위해 안출된 것으로, 향상된 3D 오디오 오서링과 렌더링을 위한 시스템 및 툴들을 제공함에 그 목적이 있다.
본 발명에 기술된 주된 내용의 일부 양태들은 오디오 재생 데이터를 오서링 및 렌더링하는 툴들로 구현될 수 있다. 오디오 재생 데이터를 오서링 및 렌더링하는 개선된 툴들이 제공된다. 몇몇의 이러한 오서링 툴들은 오디오 재생 데이터가 매우 다양한 재생 환경들에 대해 일반화될 수 있도록 한다. 몇몇의 이러한 구현들에 따르면, 오디오 재생 데이터는 오디오 객체들에 대한 메타데이터를 생성하는 것에 의해 오서링될 수 있다. 메타데이터는 스피커 존들을 참조하여 생성될 수 있다. 렌더링 처리 동안, 오디오 재생 데이터는 특정 재생 환경의 재생 스피커 레이아웃에 따라 재생될 수 있다.
본 명세서에 기술된 몇몇 구현들은 인터페이스 시스템 및 로직 시스템을 포함하는 장치를 제공한다. 로직 시스템은 인터페이스 시스템을 통하여, 하나 이상의 오디오 객체들 및 관련 메타데이터를 포함하는 오디오 재생 데이터와 재생 환경 데이터를 수신하도록 구성될 수 있다. 재생 환경 데이터는 재생 환경에서의 복수의 재생 스피커들의 표시 및 상기 재생 환경 내에 있는 각 재생 스피커의 로케이션의 표시를 포함할 수 있다. 로직 시스템은 관련 메타데이터에 적어도 부분적으로 기초하여, 상기 오디오 객체들을 하나 이상의 스피커 급전 신호들로 렌더링하되, 각각의 스피커 급전 신호는 상기 재생 환경 내의 상기 재생 스피커들 중의 적어도 하나에 대응하도록 구성될 수 있다. 로직 시스템은 가상 스피커 위치들에 대응하는 스피커 이득들을 계산하도록 구성될 수 있다.
재생 환경은, 예를 들어 시네마 사운드 시스템 환경일 수 있다. 재생 환경은 돌비 서라운드 5.1 구성, 돌비 서라운드 7.1 구성, 하마사키 22.2 서라운드 사운드 구성을 가질 수도 있다. 재생 환경 데이터는 재생 스피커 로케이션들을 표시하는 재생 스피커 레이아웃 데이터를 포함할 수도 있다. 재생 환경 데이터는 재생 스피커 영역들을 표시하는 재생 스피커 존 레이아웃 데이터 및 그 재생 스피커 영역들과 대응하는 재생 스피커 로케이션들을 포함할 수 있다.
메타데이터는 오디오 객체 위치를 단일의 재생 스피커 로케이션으로 매핑하는 정보를 포함할 수 있다. 렌더링은 소망하는 오디오 객체 위치, 상기 소망하는 오디오 객체 위치에서 기준 위치까지의 거리, 오디오 객체의 속도 또는 오디오 객체 콘텐츠 타입 중의 하나 이상에 기초하는 종합적인 이득(gain)을 생성하는 것을 포함할 수 있다. 메타데이터는 오디오 객체의 위치를 1-차원 곡선 또는 2-차원 표면으로 제한하는 데이터를 포함할 수 있다. 메타데이터는 오디오 객체에 대한 경로 데이터를 포함할 수 있다.
렌더링은 스피커 존 제한들을 부과하는 것을 포함할 수 있다. 예를 들어, 상기 장치는 사용자 입력 시스템을 포함할 수 있다. 몇몇 구현들에 따르면, 렌더링은 사용자 입력 시스템으로부터 수신되는 스크린-투-룸 밸런스 제어 데이터에 따라 스크린-투-룸 밸런스 제어를 적용하는 것을 포함할 수 있다.
상기 장치는 디스플레이 시스템을 포함할 수 있다. 상기 로직 시스템은 재생 환경의 동적 3-차원 뷰를 디스플레이하도록 상기 디스플레이 시스템을 제어하도록 구성될 수 있다.
상기 렌더링은 3개 차원들 중의 하나 이상으로의 스프레드되도록 오디오 객체를 제어하는 것을 포함할 수 있다. 상기 렌더링은 스피커 과부하에 대응하는 동적 객체 블로빙(dynamic object blobbing)을 포함할 수 있다. 상기 렌더링은 오디오 객체 로케이션들을 상기 재생 환경의 스피커 어레이들의 평면들로 매핑하는 것을 포함할 수 있다.
상기 장치는 하나 이상의 비일시적 저장 매체, 예컨대 메모리 시스템의 메모리 디바이스들을 포함할 수 있다. 상기 메모리 디바이스들은 예를 들어, RAM(random access memory), ROM(read-only memory), 플래시 메모리, 하나 이상의 하드 드라이브 등을 포함할 수 있다. 상기 인터페이스 시스템은 상기 로직 시스템과 하나 이상의 메모리 디바이스들 사이의 인터페이스를 포함할 수 있다. 또한, 상기 인터페이스 시스템은 네트워크 인터페이스를 포함할 수도 있다.
상기 메타데이터는 스피커 존 제한 메타데이터를 포함할 수 있다. 상기 로직 시스템은 선택된 스피커들로부터의 기여도(contribution)들을 포함하는 제 1 이득들을 계산하는 동작; 상기 선택된 스피커들로부터의 기여도들을 포함하지 않는 제 2 이득들을 계산하는 동작; 및 상기 제 1 이득들과 상기 제 2 이득들을 조합하는 동작을 수행하는 것에 의하여, 선택된 스피커 급전 신호들을 감쇄시키도록 구성될 수 있다. 상기 로직 시스템은 오디오 객체 위치에 대해 패닝 규칙들(panning rules)을 적용할 지의 여부 또는 오디오 객체 위치를 단일의 스피커 로케이션으로 매핑할 지의 여부를 결정하도록 구성될 수 있다. 상기 로직 시스템은 제 1 단일의 스피커 로케이션에서 제 2 단일의 스피커 로케이션으로의 오디오 객체 위치 매핑의 전환시에, 스피커 이득들의 전환들을 부드럽게 하도록 구성될 수 있다. 상기 로직 시스템은 오디오 객체 위치를 단일의 스피커 로케이션으로 매핑하는 것과 상기 오디오 객체 위치에 대해 패닝 규칙들을 적용하는 것 사이의 전환시에, 스피커 이득들의 전환들을 부드럽게 하도록 구성될 수 있다. 상기 로직 시스템은 가상 스피커 위치들 사이에서 1-차원 곡선을 따르는 오디오 객체 위치들에 대한 스피커 이득들을 계산하도록 구성될 수 있다.
본 명세서에 기술된 몇몇 방법들은 하나 이상의 오디오 객체들 및 관련 메타데이터를 포함하는 오디오 재생 데이터를 수신하는 것과 재생 환경에서의 복수의 재생 스피커들의 표시를 포함하는 재생 환경 데이터를 수신하는 것을 포함한다. 상기 재생 환경 데이터는 상기 재생 환경 내의 각 재생 스피커의 로케이션의 표시를 포함할 수 있다. 상기 방법들은 상기 관련 메타데이터에 적어도 부분적으로 기초하여, 상기 오디오 객체들을 하나 이상의 스피커 급전 신호로 렌더링하는 것을 포함할 수 있다. 각 스피커 급전 신호는 상기 재생 환경 내의 재생 스피커들 중의 적어도 하나에 대응할 수 있다. 상기 재생 환경은 시네마 사운드 시스템 환경일 수 있다.
상기 렌더링은 소망하는 오디오 객체 위치, 상기 소망하는 오디오 객체 위치에서 기준 위치까지의 거리, 오디오 객체의 속도 또는 오디오 객체 콘텐츠 타입 중의 하나 이상에 기초하는 종합적인 이득을 생성하는 것을 포함할 수 있다. 상기 메타데이터는 오디오 객체의 위치를 1-차원 곡선 또는 2-차원 표면으로 제한하는 데이터를 포함할 수 있다. 상기 렌더링은 스피커 존 제한들을 부과하는 것을 포함할 수 있다.
몇몇 구현들은 소프트웨어가 저장된 하나 이상의 비일시적 매체로 나타날 수 있다. 상기 소프트웨어는 인스트럭션들을 포함하며, 상기 인스트럭션들은, 하나 이상의 오디오 객체들 및 관련 메타데이터를 포함하는 오디오 재생 데이터를 수신하는 동작; 재생 환경에서의 복수의 재생 스피커들의 표시 및 상기 재생 환경 내의 각 재생 스피커의 로케이션의 표시를 포함하는 재생 환경 데이터를 수신하는 동작; 및 상기 관련 메타데이터에 적어도 부분적으로 기초하여 상기 오디오 객체들을 하나 이상의 스피커 급전 신호들로 렌더링하는 동작을 수행하도록 하나 이상의 디바이스들을 제어한다. 각 스피커 급전 신호는 상기 재생 환경 내의 상기 재생 스피커들 중의 적어도 하나에 대응할 수 있다. 상기 재생 환경은 예를 들어 시네마 사운드 시스템 환경일 수 있다.
상기 렌더링은 소망하는 오디오 객체 위치, 상기 소망하는 오디오 객체 위치에서 기준 위치까지의 거리, 오디오 객체의 속도 또는 오디오 객체 콘텐츠 타입 중의 하나 이상에 기초하는 종합적인 이득을 생성하는 것을 포함할 수 있다. 상기 메타데이터는 오디오 객체의 위치를 1-차원 곡선 또는 2-차원 표면으로 제한하는 데이터를 포함할 수 있다. 상기 렌더링은 스피커 존 제한들을 부과하는 것을 포함할 수 있다. 상기 렌더링은 스피커 과부하에 대응하는 동적 객체 블로빙을 포함할 수 있다.
다른 디바이스들 및 장치들이 본 명세서에 기술되어 있다. 몇몇의 이러한 장치는 인터페이스 시스템, 사용자 입력 시스템 및 로직 시스템을 포함할 수 있다. 상기 로직 시스템은 상기 인터페이스 시스템을 통하여 오디오 데이터를 수신하고, 상기 사용자 입력 시스템 또는 상기 인터페이스 시스템을 통하여 오디오 객체의 위치를 수신하고, 또한 3-차원 공간에서 상기 오디오 객체의 위치를 결정하도록 구성될 수 있다. 상기 결정은 상기 위치를 상기 3-차원 공간 내의 1-차원 곡선 또는 2-차원 표면으로 제한하는 것을 포함할 수 있다. 상기 로직 시스템은 상기 사용자 입력 시스템을 통하여 수신되는 사용자 입력에 적어도 부분적으로 기초하여 상기 오디오 객체와 관련된 메타데이터를 생성하도록 구성될 수 있으며, 상기 메타데이터는 상기 3-차원 공간에 상기 오디오 객체의 위치를 표시하는 데이터를 포함할 수 있다.
상기 메타데이터는 상기 3-차원 공간 내에 상기 오디오 객체의 시간-가변 위치를 표시하는 경로 데이터를 포함할 수 있다. 상기 로직 시스템은 상기 사용자 입력 시스템으로부터 수신되는 사용자 입력에 따라 상기 경로 데이터를 계산하도록 구성될 수 있다. 상기 경로 데이터는 복수의 시간 인스턴스들에서의 상기 3-차원 공간 내의 위치들의 세트를 포함할 수 있다. 상기 경로 데이터는 초기 위치, 속도 데이터 및 가속도 데이터를 포함할 수 있다. 상기 경로 데이터는 초기 위치 및 3-차원 공간과 대응 시간들에서의 위치들을 규정하는 등식을 포함할 수 있다.
상기 장치는 디스플레이 시스템을 포함할 수 있다. 상기 로직 시스템은 상기 경로 데이터에 따라 오디오 객체 경로를 디스플레이하도록 상기 디스플레이 시스템을 제어하도록 구성될 수 있다.
상기 로직 시스템은 상기 사용자 입력 시스템을 통하여 수신되는 사용자 입력에 다라 스피커 존 제한 메타데이터를 생성하도록 구성될 수 있다. 상기 스피커 존 제한 메타데이터는 선택된 스피커들을 디스에이블하는 데이터를 포함할 수 있다. 상기 로직 시스템은 오디오 객체 위치를 단일의 스피커로 매핑하는 것에 의해 스피커 존 제한 메타데이터를 생성하도록 구성될 수 있다.
상기 장치는 사운드 재생 시스템을 포함할 수 있다. 상기 로직 시스템은, 적어도 부분적으로, 상기 메타데이터에 따라 상기 사운드 재생 시스템을 제어하도록 구성될 수 있다.
상기 오디오 객체의 위치는 1-차원 곡선으로 제한될 수 있다. 상기 로직 시스템은 상기 1-차원 곡선을 따르는 가상 스피커 위치들을 생성하도록 더 구성될 수 있다.
다른 방법들이 본 명세서에 기술되어 있다. 몇몇의 이러한 방법들은 오디오 데이터를 수신하는 것과, 오디오 객체의 위치를 수신하는 것과, 3-차원 공간에서의 상기 오디오 객체의 위치를 결정하는 것을 포함한다. 상기 결정은 상기 위치를 상기 3-차원 공간 내의 1-차원 곡선 또는 2-차원 표면으로 제한하는 것을 포함할 수 있다. 상기 방법들은 사용자 입력에 적어도 부분적으로 기초하여 상기 오디오 객체와 관련된 메타데이터를 생성하는 것을 포함할 수 있다.
상기 메타데이터는 상기 3-차원 공간에 상기 오디오 객체의 위치를 표시하는 데이터를 포함할 수 있다. 상기 메타데이터는 상기 3-차원 공간 내에 상기 오디오 객체의 시간-가변 위치를 표시하는 경로 데이터를 포함할 수 있다. 상기 메타데이터를 생성하는 것은 예를 들어, 상기 사용자 입력에 따라 스피커 존 제한 메타데이터를 생성하는 것을 포함할 수 있다. 상기 스피커 존 제한 메타데이터는 선택된 스피커들을 디스에이블하는 데이터를 포함할 수 있다.
상기 오디오 객체의 위치는 1-차원 곡선으로 제한될 수 있다. 상기 방법들은 상기 1-차원 곡선에 따르는 가상 스피커 위치들을 생성하는 것을 포함할 수 있다.
본 발명의 다른 양태들은 소프트웨어가 저장된 하나 이상의 비일시적 매체로 구현될 수 있다. 상기 소프트웨어는 오디오 데이터를 수신하는 동작; 오디오 객체의 위치를 수신하는 동작; 및 3-차원 공간에서의 상기 오디오 객체의 위치를 결정하는 동작을 수행하도록 하나 이상의 디바이스들을 제어하는 인스트럭션들을 포함할 수 있다. 상기 결정은 상기 위치를 상기 3-차원 공간 내의 1-차원 곡선 또는 2-차원 표면으로 제한하는 것을 포함할 수 있다. 상기 소프트웨어는 상기 오디오 객체와 관련된 메타데이터를 생성하도록 하나 이상의 디바이스들을 제어하는 인스트럭션들을 포함할 수 있다. 상기 메타데이터는 사용자 입력에 적어도 부분적으로 기초하여 생성될 수 있다.
상기 메타데이터는 상기 3-차원 공간에 상기 오디오 객체의 위치를 표시하는 데이터를 포함할 수 있다. 상기 메타데이터는 상기 3-차원 공간 내에 상기 오디오 객체의 시간-가변 위치를 표시하는 경로 데이터를 포함할 수 있다. 상기 메타데이터를 생성하는 것은 예를 들어, 사용자 입력에 따라 스피커 존 제한 메타데이터를 생성하는 것을 포함할 수 있다. 상기 스피커 존 제한 메타데이터는 선택된 스피커들을 디스에이블하는 데이터를 포함할 수 있다.
상기 오디오 객체의 위치는 1-차원 곡선으로 제한될 수 있다. 상기 소프트웨어는 상기 1-차원 곡선을 따르는 가상 스피커 위치들을 생성하도록 하나 이상의 디바이스들을 제어하는 인스트럭션들을 포함할 수 있다.
본 명세서에 기술된 주된 발명의 하나 이상의 구현들에 관한 상세가 첨부 도면들 및 하기의 상세한 설명에서 기술되어 있다. 다른 특징들, 양태들, 및 이점들은 본 상세한 설명, 도면, 및 청구범위로부터 명백해질 것이다. 다음 도면들의 상대적 치수들은 일정한 비례로 확대 또는 축소하여 그려진 것이 아닐 수 있음에 유의해야 한다.
본 발명은 향상된 3D 오디오 오서링과 렌더링을 위한 시스템 및 툴들을 제공하는 효과가 있다.
또한, 본 발명은 시네마 사운드 재생 시스템과 같은 재생 환경용 오디오 재생 데이터를 오서링 및 렌더링하는 효과가 있다.
도 1은 돌비 서라운드 5.1 구성을 가진 재생 환경의 일 예를 나타내고 있다.
도 2는 돌비 서라운드 7.1 구성을 가진 재생 환경의 일 예를 나타내고 있다.
도 3은 하마사키 22.2 서라운드 사운드 구성을 가진 재생 환경의 일 예를 나타내고 있다.
도 4a는 가상 재생 환경에서 다양한 엘리베이션들에 있는 스피커 존들을 보여주는 그래픽 사용자 인터페이스(GUI)의 일 예를 나타내고 있다.
도 4b는 다른 재생 환경의 일 예를 나타내고 있다.
도 5a 내지 도 5c는 3-차원 공간의 2-차원 표면에 대해 제한된 위치를 갖는 오디오 객체에 대응하는 스피커 응답들의 예를 나타내고 있다.
도 5d 및 도 5e는 오디오 객체가 제한될 수 있는 2-차원 표면의 예들을 나타내고 있다.
도 6a는 2-차원 표면에 대한 오디오 객체의 위치들을 제한하는 프로세스 일 예의 개요를 보여주는 흐름도이다.
도 6b는 단일의 스피커 로케이션 또는 단일의 스피커 존으로 오디오 객체 위치를 매핑시키는 프로세스 일 예의 개요를 보여주는 흐름도이다.
도 7은 가상 스피커들을 확립 및 사용하는 프로세스의 개요를 보여주는 흐름도이다.
도 8a 내지 도 8c는 라인 엔드포인트들에 매핑된 가상 스피커들 및 대응하는 스피커 응답들의 예들을 나타내고 있다.
도 9a 내지 도9c는 오디오 객체를 이동시키기 위해 가상 테더(tether)를 사용하는 예들을 나타내고 있다.
도 10a는 오디오 객체를 이동시키기 위해 가상 테더를 사용하는 프로세스의 개요를 보여주는 흐름도이다.
도 10b는 오디오 객체를 이동시키기 위해 가상 테더를 사용하는 다른 프로세스의 개요를 보여주는 흐름도이다.
도 10c 내지 도 10e는 도 10b에서 개요로 보여준 프로세스의 예들을 나타내고 있다.
도 11은 가상 재생 환경에서 스피커 존 제한을 적용하는 일 예를 나타내고 있다.
도 12는 스피커 존 제한 규칙들을 적용하는 몇몇 예들의 개요를 보여주는 흐름도이다.
도 13a 및 도 13b는 가상 재생 환경의 2-차원 뷰와 3-차원 뷰 사이에서 전환될 수 있는 GUI의 일 예를 나타내고 있다.
도 13c 내지 도 13e는 재생 환경들의 2-차원 및 3-차원 묘사들의 조합을 나타내고 있다.
도 14a는 도 13c 내지 도 13e에 나타낸 GUI들을 제공하는 장치의 제어 프로세스의 개요를 보여주는 흐름도이다.
도 14b는 재생 환경을 위해 오디오 객체들을 렌더링하는 프로세스의 개요를 보여주는 흐름도이다.
도 15a는 가상 재생 환경에서의 오디오 객체 및 관련 오디오 객체 폭의 일 예를 나타내고 있다.
도 15b는 도 15a에 나타낸 오디오 객체 폭에 대응하는 스프레드 프로파일(spread profile)의 일 예를 나타내고 있다.
도 16은 오디오 객체들을 블로빙(blobbing)하는 프로세스의 개요를 보여주는 흐름도이다.
도 17a 및 도 17b는 3-차원 가상 재생 환경에 위치된 오디오 객체의 예들을 나타내고 있다.
도 18은 패닝 모드(panning mode)에 대응하는 존들의 예들을 나타내고 있다.
도 19a 내지 도 19d는 상이한 로케이션들에 있는 오디오 객체들에 대해 근계(near-field) 및 원계(far-field) 패닝 기술들 적용하는 예들을 나타내고 있다.
도 20은 스크린-투-룸 바이어스 제어 프로세스에 사용될 수 있는 재생 환경의 스피커 존들을 나타내고 있다.
도 21은 오서링 및/또는 렌더링 장치들의 컴포넌트들의 예를 제공하는 블록도이다.
도 22a는 오디오 콘텐츠 생성을 위해 사용될 수 있는 몇몇 컴포넌트들을 나타내는 블록도이다.
도 22b는 재생 환경에서의 오디오 플레이백을 위해 사용될 수 있는 몇몇 컴포넌트들을 나타내는 블록도이다.
여러 도면들에서의 유사 참조부호들 및 표시들은 유사한 구성요소들을 나타낸다.
다음의 설명은 본 발명의 진보적인 양태들을 설명할 목적의 소정 구현들, 및 이들 진보적인 양태들이 구현될 수 있는 콘텍스트들의 예들에 관한 것이다. 그러나, 본 명세서의 교시들이 각종 상이한 방식들로 적용될 수도 있다. 예를 들어, 여러 구현들이 특정 재생 환경들의 관점에서 기술되었지만, 본 명세서의 교시들은 다른 공지의 재생 환경들 및 향후에 도입될 수 있는 재생 환경들에 폭넓게 적용될 수 있는 것이다. 마찬가지로, 그래픽 사용자 인터페이스(GUI)들의 예가 여기에 제안되었지만, 이들의 일부는 스피커 로케이션들, 스피커 존들 등의 예들을 제공하며, 다른 구현들이 발명자들에 의해 고려될 수 있다. 또한, 여기에 기술된 구현들은 각종 오서링 및/또는 렌더링 툴들로 구현될 수 있지만, 이것은 다양한 하드웨어, 소프트웨어, 펌웨어 등으로 구현될 수도 있다. 그러므로, 본 발명의 교시들은 도면 및/또는 본 설명에 나타낸 구현들로 한정되는 것을 의도치 않으며, 폭 넓은 적용 가능성을 갖는다.
도 1은 돌비 서라운드 5.1 구성을 가진 재생 환경의 일 예를 나타내고 있다. 돌비 서라운드 5.1은 1990년대에 개발되었지만, 이 구성은 여전히 시네마 사운드 시스템 환경에서 널리 사용되고 있다. 프로젝터(105)는 스크린(150) 상에 비디오 이미지들, 예컨대 무비를 투사하도록 구성될 수 있다. 오디오 재생 데이터는 비디오 이미지와 동기화되어 사운드 프로세서(110)에 의해 처리될 수 있다. 전력 증폭기들(115)은 재생 환경(100)의 스피커들에 대해 스피커 급전 신호(speaker feed signal)들을 제공할 수 있다.
돌비 서라운드 5.1 구성은 좌측 서라운드 어레이(120), 우측 서라운드 어레이(125)를 포함하며, 그 각각은 단일 채널에 의해 집단 구동(gang-drive)된다. 또한, 돌비 서라운드 5.1 구성은 좌측 스크린 채널(130), 중앙 스크린 채널(135) 및 우측 스크린 채널(140)에 관한 별개의 채널들을 포함한다. 서브 우퍼(145)에 관한 별개의 채널은 저음역 효과(low-frequency effect; LFE)를 위해 제공된다.
2010년에, 돌비는 돌비 서라운드 7.1을 도입함으로써 디지털 시네마 사운드에 대한 개선을 제공하였다. 도 2는 돌비 서라운드 7.1 구성을 가진 재생 환경의 일 예를 나타내고 있다. 디지털 프로젝터(205)는 디지털 비디오 데이터를 수신하여 스크린(150) 상에 비디오 이미지들을 투사하도록 구성될 수 있다. 오디오 재생 데이터는 사운드 프로세서(210)에 의해 처리될 수 있다. 전력 증폭기들(215)은 재생 환경(200)의 스피커들에 대해 스피커 급전 신호를 제공할 수 있다.
돌비 서라운드 7.1 구성은 좌측 서라운드 어레이(220) 및 우측 서라운드 어레이(225)를 포함하며, 그 각각은 단일 채널에 의해 구동될 수 있다. 돌비 서라운드 5.1과 마찬가지로, 돌비 서라운드 7.1 구성은 좌측 스크린 채널(230), 중앙 스크린 채널(235), 우측 스크린 채널(240) 및 서브 우퍼(245)에 관한 별개의 채널들을 포함한다. 그러나, 돌비 서라운드 7.1은 돌비 서라운드 5.1의 좌측 및 우측 서라운드 채널들을 4개의 존들로 분할하는 것에 의해(즉, 좌측 서라운드 어레이(220)와 우측 서라운드 어레이(225)에 부가하여, 후방 좌측 서라운드 스피커들(224)과 후방 우측 서라운드 스피커들(226)에 관한 별개의 채널들이 포함됨), 서라운드 채널들의 개수를 증가시키고 있다. 재생 환경(200) 내의 서라운드 존들의 개수를 증가시키는 것은 사운드의 로컬리제이션(localization)을 상당히 향상시킬 수 있다.
더 몰입된 환경을 생성하기 위해, 몇몇 재생 환경들은 스피커들의 개수를 증가시키고, 채널들의 개수를 증가시키는 것으로 구성될 수 있다. 또한, 몇몇 재생 환경들은 다양한 엘리베이션들에 배치되는 스피커들을 포함할 수 있으며, 그들의 몇몇은 재생 환경 중의 좌석 영역(seating area) 위에 존재할 수 있다.
도 3은 하마사키 22.2 서라운드 사운드 구성을 가진 재생 환경의 일 예를 나타내고 있다. 하마사키 22.2는 UHDTV(Ultra High Definition Television)의 서라운드 사운드 컴포넌트로서 일본의 NHK Science & Technology Research Laboratories에서 개발되었다. 하마사키 22.2는 24 스피커 채널들을 제공하며, 이것은 3 레이어에 배열된 스피커들을 구동하는데 사용될 수 있다. 재생 환경(300) 중의 상부 스피커 레이어(310)는 9 채널들로 구동될 수 있다. 중간 스피커 레이어(320)는 10 채널들로 구동될 수 있다. 하부 스피커 레이어(330)는 5 채널들로 구동될 수 있으며, 그 중의 2개는 서브 우퍼들(345a 및 345b)을 위한 것이다.
이에 따라, 최신의 트렌드는 더 많은 스피커들과 채널들을 포함할 뿐만 아니라, 상이한 높이에 있는 스피커들을 포함하는 것이다. 채널 개수의 증가와 2D 어레이에서 3D 어레이로의 스피커 레이아웃 전환으로 인하여, 사운드들을 포지셔닝하고 렌더링하는 작업들은 점점 더 어려워지고 있다.
본 발명은 3D 오디오 사운드 시스템에 관한 기능을 증가시키고/시키거나 오서링 복잡도를 감소시키는, 각종 툴과 관련 사용자 인터페이스들을 제공한다.
도 4a는 가상 재생 환경에서 상이한 엘리베이션들에 존재하는 스피커 존들을 보여주는 그래픽 사용자 인터페이스(GUI)의 일 예를 나타낸다. GUI(400)는 예를 들어, 사용자 입력 장치 등으로부터 수신된 신호들에 따라, 로직 시스템으로부터의 인스트럭션들에 따르는 디스플레이 장치에 디스플레이될 수 있다. 이러한 몇몇 디바이스들이 도 21을 참조하여 아래에 기술되어 있다.
가상 재생 환경들, 예컨대 가상 재생 환경(404)을 참조하여 본 명세서에서 사용된, 용어 "스피커 존"은 일반적으로 실제 재생 환경의 재생 스피커와 일대일 대응을 가지거나 그렇지 않을 수 있는 논리적 구성을 지칭한다. 예를 들어, "스피커 존 로케이션"은 시네마 재생 환경의 특정 재생 스피커 로케이션에 해당하거나 그렇지 않을 수 있다. 대신에, 용어 "스피커 존 로케이션"은 일반적으로 가상 재생 환경의 존을 지칭할 수도 있다. 몇몇 구현들에서, 가상 재생 환경의 스피커 존은 예컨대, Dolby Headphone,™(때때로 Mobile Surround™로 지칭됨)과 같은 가상화 기술을 통한 가상 스피커에 해당할 수 있으며, 이것은 2-채널 스테레오 헤드폰 세트를 사용하여 실시간으로 가상 서라운드 사운드 환경을 생성한다. GUI(400)에서, 제 1 엘리베이션에는 7개의 스피커 존들(402a)이 존재하고, 제 2 엘리베이션에는 2개의 스피커 존들(402b)이 존재하며, 이들은 가상 재생 환경(404)에서 총 9개의 스피커 존들을 만들어 내고 있다. 이 예에서, 가상 재생 환경(404)의 전방 영역(405)에는 스피커 존들(1-3)이 존재하고 있다. 전방 영역(405)은 예를 들어, 스크린(150)이 위치되는 시네마 재생 환경의 영역, 텔레비젼 스크린이 위치되는 홈의 영역 등에 해당할 수 있다.
여기서, 스피커 존(4)은 일반적으로 가상 재생 환경(404)의 좌측 영역(410)에 있는 스피커들에 해당하고, 스피커 존(5)은 가상 재생 환경(404)의 우측 영역(415)에 있는 스피커들에 해당한다. 스피커 존(6)은 가상 재생 환경(404)의 후방 좌측 영역(412)에 해당하고, 스피커 존(7)은 가상 재생 환경(404)의 후방 우측 영역(414)에 해당한다. 스피커 존(8)은 상부 영역(420a)에 있는 스피커들에 해당하고, 스피커 존(9)은 상부 영역(420b)에 있는 스피커들에 해당하며, 이것은 가상 천장 영역 예컨대 도 5d 및 도 5e에 나타낸 가상 천장(520)의 영역일 수 있다. 이에 따라, 아래에서 더 상세히 기술되는 바와 같이, 도 4a에 나타나 있는 스피커 존들(1-9)의 로케이션들은 실제 재생 환경의 재생 스피커들의 로케이션들에 해당하거나 그렇지 않을 수도 있다. 또한, 다른 구현들은 더 많거나 더 적은 스피커 존들 및/또는 엘리베이션들을 포함할 수도 있다.
여기에 기술된 각종 구현들에서, GUI(400)와 같은 사용자 인터페이스는 오서링 툴 및/또는 렌더링 툴의 부분으로 사용될 수도 있다. 몇몇 구현들에서, 오서링 툴 및/또는 렌더링 툴은 하나 이상의 비일시적 매체에 저장된 소프트웨어를 통해 구현될 수도 있다. 오서링 툴 및/또는 렌더링 툴은 도 21을 참조하여 아래에 기술된 로직 시스템 및 다른 디바이스들과 같은, 하드웨어, 펌웨어 등에 의해 (적어도 부분적으로) 구현될 수 있다. 몇몇 오서링 구현들에서는, 관련 오서링 툴이 관련 오디오 데이터에 대한 메타데이터를 생성하기 위해 사용될 수도 있다. 메타데이터는 예를 들어, 3-차원 공간에서의 오디오 객체의 위치 및/또는 경로를 나타내는 데이터, 스피커 존 제한 데이터 등을 포함할 수 있다. 메타데이터는 실제 재생 환경의 특정 스피커 레이아웃에 대한 것이 아니라, 가상 재생 환경(404)의 스피커 존들(402)에 대해 생성될 수 있다. 렌더링 툴은 오디오 데이터 및 관련 메타데이터를 수신할 수 있고, 또한 재생 환경에 대한 오디오 이득들과 스피커 급전 신호를 계산할 수도 있다. 이러한 오디오 이득들 및 스피커 급전 신호들은, 재생 환경의 위치 P로부터 사운드가 들어오는 감지(perception)를 생성할 수 있는, 진폭 패닝 프로세스(amplitude panning 프로세스)에 따라 계산될 수 있다. 예를 들어, 스피커 급전 신호들은 다음의 등식에 따라 재생 환경의 재생 스피커들(1 내지 N)에 제공될 수 있다.
xi(t) = gix(t), i = l, . . . N (등식 1)
등식 1에서, xi(t)는 스피커 i에 적용되는 스피커 급전 신호를 나타내고, gi는 대응 채널의 이득 인자를 나타내며, x(t)는 오디오 신호를 나타내고 또한 t는 시간을 나타낸다. 이득 인자들은 예를 들어, V.Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources(Audio Engineering Society(AES) International Conference on Virtual, Synthetic and Entertainment Audio) 의 페이지 3-4, 섹션 2에 기술된 진폭 패닝 방법(amplitude panning method)들에 따라 결정될 수 있으며, 그 내용은 참조에 의해 본 명세서에 포함된다. 몇몇 구현들에서, 이득들은 주파수 종속적일 수 있다. 몇몇 구현들에서는, x(t)를 x(t-Δt)로 대체함으로써 시간 지연이 도입될 수도 있따.
몇몇 렌더링 구현들에서, 스피커 존들(402)과 관련하여 생성된 오디오 재생 데이터는 다양한 재생 환경의 스피커 로케이션들로 매핑될 수 있으며, 이것은, 상기 재생 환경은 돌비 서라운드 5.1 구성, 돌비 서라운드 7.1 구성, 하마사키 22.2 구성, 또는 다른 구성일 수 있다. 예를 들어, 도 2를 참조하면, 렌더링 툴은 스피커 존들(4 및 5)에 대한 오디오 재생 데이터를, 돌비 서라운드 7.1 구성을 가진 재생 환경의 좌측 서라운드 어레이(220) 및 우측 서라운드 어레이(225)로 매핑할 수 있다. 스피커 존들(1,2 및 3)에 대한 오디오 재생 데이터는 좌측 스크린 채널(230), 우측 스크린 채널(240) 및 중앙 스크린 채널(235)로 각각 매핑될 수 있다. 스피커 존들(6 및 7)에 대한 오디오 재생 데이터는 후방 좌측 서라운드 스피커들(224) 및 후방 우측 서라운드 스피커들(226)로 매핑될 수 있다.
도 4b는 다른 재생 환경의 일 예를 나타낸다. 몇몇 구현들에서, 렌더링 툴은 스피커 존들(1, 2 및 3)에 관한 오디오 재생 데이터를 재생 환경(450)의 대응하는 스크린 스피커들(455)로 매핑할 수 있다. 렌더링 툴은 스피커 존들(4 및 5)에 관한 오디오 재생 데이터를 좌측 서라운드 어레이(460) 및 우측 서라운드 어레이(465)로 매핑할 수 있으며, 또한 스피커 존들(8 및 9)에 관한 오디오 재생 데이터를 좌측 오버헤드 스피커들(470a) 및 우측 오버헤드 스피커들(470b)로 매핑할 수 있다. 스피커 존들(6 및 7)에 관한 오디오 재생 데이터는 후방 좌측 서라운드 스피커들(480a) 및 후방 우측 서라운드 스피커들(480b)로 매핑될 수 있다.
몇몇 오서링 구현들에서, 오서링 툴은 오디오 객체들에 관한 메타데이터를 생성하는데 사용될 수 있다. 본 명세서에서 사용되는, 용어 "오디오 객체"는 오디오 데이터의 스트림 및 관련 메타데이터를 지칭할 수 있다. 일반적으로, 메타데이터는 객체의 3D 위치, 렌더링 제한들 및 콘텐츠 타입(예컨대, 다이얼로그, 이펙트 등)을 나타낸다. 구현에 따라, 메타데이터는 다른 타입의 데이터, 예컨대 폭 데이터, 이득 데이터, 경로 데이터 등을 포함할 수도 있다. 몇몇 오디오 객체들은 정적(static)일 수 있고, 반면에 다른 객체들은 이동할 수도 있다. 오디오 객체 상세들은, 특히 소정 시점에서 3-차원 공간으로 오디오 객체의 위치를 나타낼 수 있는, 관련 메타데이터에 따라 오서링 또는 렌더링될 수 있다. 재생 환경에서 오디오 객체들이 모니터링 되거나 플레이 백 되는 경우, 오디오 객체들은, 돌비 5.1 및 돌비 7.1과 같은 종래의 채널-기반 시스템들의 경와 같이 소정 물리적 채널로 출력되는 것이 아니라, 그 재생 환경에 존재하고 있는 재생 스피터들을 사용하여 위치적 메타데이터에 따라 렌더링될 수 있다.
본 명세서에서는 GUI(400)와 실질적으로 동일한 GUI를 참조하여 각종 오서링 및 렌더링 툴들이 기술되어 있다. 그러나, GUI들을 포함하지만 이에 한정되지 않는 각종 다른 사용자 인터페이스들이 이들 오서링 및 렌더링 툴들과 연동하여 사용될 수도 있다. 몇몇의 이러한 툴들은 여러 가지 타입의 제한들을 적용하는 것에 의해 오서링 프로세스를 단순화할 수 있다. 이제 도 5a 이하를 참조하여 몇몇 구현들을 설명하도록 한다.
도 5a 내지 도 5c는 3-차원 공간(본 예에서는 반구체)의 2-차원 표면에 대해 제한된 위치를 갖는 오디오 객체에 대응하는 스피커 응답들의 예를 나타내고 있다. 이 예들에서, 스피커 응답들은 그 각 스피커가 스피커 존들(1-9)의 하나에 대응하는 9-스피커 구성을 가정하여 렌더러에 의해 계산되었다. 그러나, 본 명세서의 다른 부분에서 언급된 바와 같이, 일반적으로 가상 재생 환경의 스피커 존들과 재생 환경의 재생 스피커들 사이에는 일대일 매핑이 존재하지 않을 수도 있다. 먼저 도 5a를 참조하면, 가상 재생 환경(404)의 좌측 전방부 로케이션에는 오디오 객체(505)가 나타나 있다. 따라서, 스피커 존(1)에 대응하는 스피커는 상당한 이득을 나타내고, 스피커 존들(3 및 4)에 대응하는 스피커들은 보통의 이득들을 나타낸다.
이 예에서, 오디오 객체(505)의 로케이션은 오디오 객체(505) 상에 커서(510)를 놓고 그 오디오 객체(505)를 가상 재생 환경(404)의 x,y 평면에서 소망하는 로케이션으로 "드래깅(dragging)"하는 것에 의해 변경될 수 있다. 재생 환경의 가운데쪽으로 객체가 드래깅됨에 따라, 또한 그것은 반구체의 표면으로 매핑되며 그것의 엘리베이션이 증가하게 된다. 여기서, 오디오 객체(505)의 엘리베이션의 증가는 오디오 객체(505)를 나타내는 원의 직경 증가로 표시되며, 즉 도 5b 및 도 5c에 도시된 바와 같이, 오디오 객체(505)가 가상 재생 환경(404)의 상단 중앙으로 드래깅됨에 따라, 오디오 객체(505)는 점점 더 커지는 것으로 나타난다. 대안적으로, 또는 추가적으로, 오디오 객체(505)의 엘리베이션은 색상, 밝기, 수치적 엘리베이션 표시 등의 변경에 의해 표시될 수도 있다. 오디오 객체(505)가 가상 재생 환경(404)의 상단 중앙에 위치되는 경우, 도 5c에 도시된 바와 같이, 스피커 존들(8 및 9)에 대응하는 스피커들은 상당한 이득들을 나타내며, 다른 스피커들은 거의 없거나 없는 이득을 나타낸다.
이 구현에서, 오디오 객체(505)의 위치는 2-차원 표면, 예컨대 구 표면(spherical surface), 타원형 표면(elliptical surface), 원뿔 표면(conical surface), 원통형 표면(cylindrical surface), 웨지(wedge) 등으로 제한된다. 도 5d 및 도 5e는 오디오 객체가 제한될 수 있는 2-차원 표면들의 예를 나타낸다. 도 5d 및 도 5e는 가상 재생 환경(404)에 대한 단면도들이며, 전방 영역(405)은 좌측에 나타나 있다. 도 5d 및 도 5e에서, y-z 축의 y 값들은 가상 재생 환경(404)의 전방 영역(405)의 전방 영역(405) 방향으로 증가하며, 이에 따라 도 5a 내지 도 5c에 도시된 x-y 축의 배향들과의 일관성을 유지한다.
도 5d에 나타낸 예에서, 2-차원 표면(515a)는 타원체의 일 부분이다. 도 5e에 나타낸 예에서, 2-차원 표면(515b)은 웨지(wedge)의 일 부분이다. 그러나, 도 5d 및 도 5e에 나타낸 2-차원 표면들(515)의 형상, 배향 및 위치는 단순 예시일 뿐이다. 다른 구현들에서는, 2-차원 표면(515)의 적어도 일부가 가상 재생 환경(404)의 바깥쪽으로 연장될 수도 있다. 몇몇 이러한 구현들에서, 2-차원 표면(515)은 가상 천장(520)의 위로 연장될 수 있다. 따라서, 2-차원 표면(515)이 연장되는 3-차원 공간은 가상 재생 환경(404)의 볼륨과 반드시 동일한 공간을 갖는 것은 아니다. 또 다른 구현들에서, 오디오 객체는 1-차원적 특징들 예컨대 곡선, 직선 등으로 제한될 수도 있다.
도 6a는 2-차원 표면에 대한 오디오 객체의 위치들을 제한하는 프로세스 일 예의 개요를 보여주는 흐름도이다. 본 명세서에서 제공되는 다른 흐름도들과 같이, 프로세스(600)의 동작들은 반드시 도시된 순서대로 수행될 필요는 없다. 또한, 프로세스(600)(및 본 명세서에서 제공된 다른 프로세스들)는 도면에 표시되고/되거나 기술된 것보다 많거나 적은 동작들을 포함할 수도 있다. 이 예에서, 블록들(605 내지 622)은 오서링 툴에 의해 수행되며, 블록들(624 내지 630)은 렌더링 툴에 의해 수행된다. 오서링 툴 및 렌더링 툴은 단일 장치 또는 하나 보다 많은 장치로 구현될 수 있다. 도 6a(및 본 명세서에서 제공된 다른 흐름도들)는 오서링 및 렌더링 프로세스들이 순차적 방식으로 수행되는 임프레션(impression)을 생성할 수 있지만, 다수의 구현들에서는 오서링 및 렌더링 프로세스들이 실질적으로 동시에 수행된다. 오서링 프로세스들과 렌더링 프로세스들은 상호작용적 일 수 있다. 예를 들어, 오서링 동작의 결과들은 렌더링 툴로 전송될 수 있으며, 이에 대응하는 렌더링 툴의 결과들은 그 결과들 등에 기초하여 추가 오더링을 수행할 수도 있는, 사용자에 의해 평가될 수 있다.
블록(605)에서는, 오디오 객체 위치가 2-차원 표면으로 제한되어야 한다는 표시가 수신된다. 그 표시는, 예를 들어, 오서링 및/또는 렌더링 툴을 제공하도록 구성된 장치의 로직 시스템에 의해 수신될 수 있다. 본 명세서에 기술된 다른 구현들과 같이, 로직 시스템은 펌웨어 등에 따라, 비일시적 매체에 저장된 소프트웨어의 인스트럭션들에 따라 동작할 수 있다. 이 표시는 사용자로부터의 입력에 반응하는 사용자 입력 장치(예컨대, 터치 스크린, 마우스, 트랙 볼(track ball), 제스처 인식 디바이스 등)로부터의 신호일 수 있다.
선택적 블록(607)에서는, 오디오 데이터가 수신된다. 블록(607)은 이 예에서 선택적이며, 오디오 데이터는 메타데이터 오서링 툴로 시각 동기화된 다른 소스(예컨대, 믹싱 콘솔)로부터 렌더러로 직접 진행할 수도 있다. 몇몇 이러한 구현들에서, 비명시적 메커니즘은 각각의 오디오 스트림을 대응하는 유입 메타데이터 스트림에 결합하여 오디오 객체를 형성하도록 존재할 수 있다. 예를 들어, 메타데이터 스트림은 예를 들어, 1 내지 N까지의 수치값을 나타내는 오디오 객체에 대한 식별자를 포함할 수 있다. 또한 1에서 N으로 넘버링된 오디오 입력들로 렌더링 장치가 구성되는 경우, 렌더링 툴은 오디오 객체가 수치값(예컨대, 1)로 식별된 메타데이터 스트림 및 제 1 오디오 입력상에 수신된 오디오 데이터로 형성되는 것으로 자동적으로 가정할 수 있다. 마찬가지로, 숫자 2로 식별된 메타데이터 스트림은 제 2 오디오 입력 채널 상에 수신된 오디오를 이용하여 객체를 형성할 수 있다. 몇몇 구현들에서, 오디오 및 메타데이터는 오서링 툴에 의해 프리패키징되어 오디오 객체들을 형성할 수 있으며, 상기 오디오 객체들은 예컨대, TCP/IP 패킷들과 같은 네트워크를 통해 전송된 렌더링 툴로 제공될 수 있다.
다른 구현들에서, 오서링 툴은 네트워크로 메타데이터를 전송만 할 수 있으며, 렌더링 툴이 다른 소스로부터(예컨대, PCM(pulse-code modulation) 스트림을 통해, 아날로그 오디오 등을 통해) 오디오를 수신할 수 있다. 이러한 구현들에서, 렌더링 툴은 오디오 데이터 및 메타데이터를 그룹화하여 오디오 객체들을 형성하도록 구성될 수 있다. 오디오 데이터는, 예를 들어, 인터페이스를 통해 로직 시스템에 의해 수신될 수 있다. 인터페이스는, 예를 들어, 네트워크 인터페이스, 오디오 인터페이스(예컨대, AES/EBU로도 알려진 Audio Engineering Society and the European Broadcasting Union에 의해 개발된 AES3 표준을 통해, MADI(Multichannel Audio Digital Interface) 프로토콜을 통해, 아날로그 신호 등을 통해 통신하도록 구성된 인터페이스), 로직 시스템과 메모리 디바이스 사이의 인터페이스일 수 있다. 이 예에서, 렌더러에 의해 수신된 데이터는 적어도 하나의 오디오 객체를 포함한다.
블록(610)에서, 오디오 객체 위치의 (x,y) 또는 (x,y,z) 좌표들이 수신된다. 블록(610)은, 예를 들어, 오디오 객체의 초기 위치를 수신하는 것을 포함할 수 있다. 또한, 블록(610)은 예를 들어 도 5a 내지 도 5c을 참조하여 위에서 기술된 바와 같이, 사용자가 오디오 객체를 위치시켰거나 재위치시켰다는 표시를 수신하는 것을 포함할 수 있다. 오디오 객체의 좌표들은 블록(615)의 2-차원 표면으로 매핑된다. 2-차원 표면은 도 5d 및 도 5e를 참조하여 위에서 기술한 것과 유사할 수 있으며, 또는 그것은 상이한 2-차원 표면일 수도 있다. 이 예에서, x-y 평면의 각 포인트는 단일의 z 값으로 매핑되며, 이에 따라 블록(615)은 블록(610)에서 수신된 x 및 y 좌표들을 z의 값으로 매핑하는 것을 포함한다. 다른 구현들에서는, 상이한 매핑 프로세스들 및/또는 좌표 시스템들이 사용될 수도 있다. 오디오 객체는 블록(615)에서 결정된 (x,y,z) 로케이션에 디스플레이 될 수 있다(블록(620)). 상기 매핑된, 블록(615)에서 결정된 (x,y,z) 로케이션을 포함하는 오디오 데이터 및 메타데이터는 블록(621)에 저장될 수 있다. 오디오 데이터 및 메타데이터는 렌더링 툴로 송신될 수 있다(블록(622)). 몇몇 구현들에서, 메타데이터는 몇몇 오서링 동작들이 수행되고 있는 동안, 예컨대, 오디오 객체가 GUI(400) 등에 위치되고, 제한되고, 디스플레이되는 동안 연속적으로 송신될 수 있다.
블록(623)에서는, 오서링 프로세스를 계속할 지의 여부가 결정된다. 예를 들어, 오서링 프로세스는 사용자가 더 이상 오디오 객체 위치들을 2-차원 표면으로 제한하기를 원치 않음을 나타내는, 사용자 인터페이스로부터의 입력 수신시에 종료될 수 있다(블록(625)). 그렇지 않은 경우, 오서링 프로세스는 예컨대, 블록(607) 또는 블록(610)으로 되돌아가는 것에 의해 계속될 수 있다. 몇몇 구현들에서, 렌더링 동작들은 오서링 프로세스가 계속되는지의 여부를 계속할 수 있다. 몇몇 구현들에서, 오디오 객체들은 오서링 플랫폼상의 디스크에 기록된 후에, 사운드 프로세서(예컨대, 도 2의 사운드 프로세서(210)와 유사한 사운드 프로세서)에 연결된 시네마 서버 또는 전용 사운드 프로세서로부터 플레이백 될 수 있다.
몇몇 구현들에서, 렌더링 툴은 오서링 기능을 제공하도록 구성된 장치에서 실행되는 소프트웨어일 수 있다. 다른 구현들에서, 렌더링 툴은 다른 디바이스에 제공될 수 있다. 오서링 툴과 렌더링 툴 사이의 통신을 위해 사용된 통신 프로토콜의 타입은, 양쪽 모두의 툴들이 동일 디바이스 상에서 실행되고 있는지의 여부 또는 그들이 네트워크를 통해 통신하고 있는지의 여부에 따라 달라질 수 있다.
블록(626)에서, 오디오 데이터 및 메타데이터(블록(615)에서 결정된 (x,y,z) 위치(들)을 포함)이 렌더링 툴에 의해 수신된다. 다른 구현들에서, 오디오 데이터 및 메타데이터는 개별적으로 수신되어, 비명시적 메커니즘을 통해 오디오 객체로서 렌더링 툴에 의해 인터프리팅될 수 있다. 전술한 바와 같이, 예를 들어, 메타데이터 스트림은 오디오 객체 식별 코드(예컨대, 1,2,3 등)를 포함할 수 있고, 렌더링 시스템상의 제 1, 제 2, 제 3 오디오 입력들(즉, 디지털 또는 아날로그 오디오 연결)과 각각 결합됨으로써 라우드스피커들로 렌더링될 수 있는 오디오 객체를 형성할 수 있다.
프로세스(600)의 렌더링 동작들 (및 본 명세서에 기술된 다른 렌더링 동작들) 동안, 특정 재생 환경의 재생 스피커 레이아웃에 따라서 패닝 이득(panning gain) 등식들이 적용될 수 있다. 그러므로, 렌더링 툴의 로직 시스템은 재생 환경에서의 다수의 재생 스피커들의 표시 및 재생 환경 내의 각 재생 스피커의 로케이션 표시를 포함하는 재생 환경을 수신할 수 있다. 이들 데이터는, 예를 들어, 로직 시스템에 의해 액세스가능한 메모리에 저장된 데이터 구조 또는 인터페이스 시스템을 통해 수신된 데이터 구조에 액세스함으로써 수신될 수 있다.
이 예에서, 패닝 이득 등식들이 (x,y,z) 위치(들)에 대해 적용되어 오디오 데이터를 적용하기 위한(블록(630)) 이득 값들을 결정한다(블록(628)). 몇몇 구현들에서, 이득 값들에 따른 레벨로 조절된 오디오 데이터는 재생 스피커들에 의해, 예컨대, 렌더링 툴의 로직 시스템과 통신하도록 구성된 헤드폰들의 스피커들(또는 다른 스피커들)에 의해 재생될 수 있다. 몇몇 구현들에서, 재생 스피커 로케이션들은 가상 재생 환경, 예컨대 전술한 가상 재생 환경(404)의 스피커 존들의 로케이션들에 대응할 수 있다. 대응하는 스피커 응답들이 예컨대 도 5a 내지 도 5c에 도시된 바와 같이, 디스플레이 장치에 디스플레이될 수 있다.
블록(635)에서는, 프로세스가 계속될지의 여부가 결정된다. 예를 들어, 프로세스는 사용자가 더 이상 렌더링 프로세스를 계속하길 원치 않는다고 표시하는 사용자 인터페이스로부터의 입력 수신시에 종료될 수 있다(블록(640)). 그렇지 않은 경우, 프로세스는 예컨대 블록(626)으로 되돌아감으로써 계속될 수 있다. 사용자가 대응하는 오서링 프로세스로 되돌아가기를 원한다는 표시를 로직 시스템이 수신한 경우, 프로세스(600)는 블록(607) 또는 블록(610)으로 복귀할 수 있다.
다른 구현들은 각종 다른 타입의 제한들을 부과하는 것과 오디오 객체들에 관한 메타데이터의 다른 타입의 제한을 생성하는 것을 포함할 수 있다. 도 6b는 오디오 객체 위치를 단일의 스피커 로케이션으로 매핑하는 프로세스 일 예의 개요를 보여주는 흐름도이다. 이 프로세스는 본 명세서에서 "스냅핑(snapping)"으로도 지칭될 수 있다. 블록(655)에서는, 오디오 객체 위치가 단일의 스피커 로케이션 또는 단일의 스피커 존으로 스냅핑될 수 있다는 표시가 수신된다. 이 예에서, 상기 표시는 적절한 시점에, 오디오 객체 위치가 단일의 스피커 로케이션으로 스냅핑될 것이라는 것이다. 상기 표시는 예를 들어, 오서링 툴들을 제공하도록 구성된 장치의 로직 시스템에 의해 수신될 수 있다. 상기 표시는 사용자 입력 장치로부터 수신된 입력에 대응할 수 있다. 그러나, 상기 표시는 오디오 객체의 카테고리(예컨대, 블릿 사운드(bullet sound), 음성화(vocalization) 등과 같은) 및/또는 오디오 객체의 폭에 대응할 수도 있다. 카테고리 및/또는 폭에 관한 정보는, 예를 들어, 오디오 객체의 메타데이터로서 수신될 수 있다. 이러한 구현들에서, 블록(657)은 블록(655) 이전에 발생할 수 있다.
블록(656)에서는, 오디오 데이터가 수신된다. 오디오 객체 위치의 좌표들은 블록(657)에서 수신된다. 이 예에서, 오디오 객체 위치는 블록(657)에서 수신된 좌표들에 따라 디스플레이된다(블록(658)). 오디오 객체 좌표들 및 스냅 플래그(snap flag)를 포함하고, 스냅핑 기능을 표시하는 메타데이터가 블록(659)에서 저장된다. 오디오 데이터 및 메타데이터는 오서링 툴에 의하여 렌더링 툴로 송신된다(블록(660)).
블록(662)에서는, 오서링 프로세스가 계속될지의 여부가 결정된다. 예를 들어, 오서링 프로세스는 사용자가 더 이상 오디오 객체 위치들을 스피커 로케이션으로 스냅핑하는 것을 원치않는다고 표시하는 사용자 인터페이스로부터의 입력 수신시에 종료될 수 있다(블록(663)). 그렇지 않은 경우, 오서링 프로세스는 예를 들어 블록(665)으로 복귀하는 것에 의해 계속될 수 있다. 몇몇 구현들에서, 렌더링 동작들은 오서링 프로세스가 계속되는지의 여부를 계속할 수 있다.
오서링 툴에 의해 송신된 오디오 데이터 및 메타데이터가 블록(664)에서 렌더링 툴에 의해 수신된다. 블록(665)에서는, (예컨대, 로직 시스템에 의하여) 오디오 객체 위치를 스피커 로케이션으로 스냅핑할지의 여부가 결정된다. 이 결정은, 재생 환경의 가장 가까운 재생 스피커 로케이션과 오디오 객체 위치 사이의 거리에, 적어도 부분적으로 기초할 수 있다.
이 예에서, 오디오 객체 위치를 스피커 로케이션으로 스냅핑하는 것으로 블록(665)에서 결정되는 경우, 블록(670)에서는 일반적으로 오디오 객체에 대해 수신된 예정된 (x,y,z) 위치에 가장 가까운 스피커 로케이션으로 오디오 객체 위치가 매핑되게 된다. 이 경우, 이 스피커 로케이션에 의해 재생되는 오디오 데이터에 관한 이득은 1.0이 되는 반면, 다른 스피커들에 의해 재생되는 오디오 데이터에 관한 이득은 0이 되게 된다. 다른 구현들에서, 블록(670)에서는 오디오 객체 위치가 매핑되어 스피커 로케이션들을 그룹화할 수 있다.
예를 들어, 도 4b를 참조하면, 블록(670)은 오디오 객체의 위치를 좌측 오버헤드 스피커들(470a) 중의 하나에 스냅핑하는 것을 포함할 수 있다. 다르게는, 블록(670)은 오디오 객체의 위치를 단일의 스피커 및 이웃하는 스피커들, 예컨대 1 또는 2개의 이웃하는 스피커들로 스냅핑하는 것을 포함할 수 있다. 그러므로, 대응하는 메타데이터가 작은 그룹의 재생 스피커들로 및/또는 개별 재생 스피커로 적용될 수 있다.
그러나, 블록(665)에서 오디오 객체 위치가 스피커 로케이션으로 스냅핑되지 않는 것으로 결정된 경우, 예를 들어, 이것이 원래 의도되었던 객체에 관해 수신된 위치에 대한 위치에 큰 차이를 야기하는 경우, 패닝 규칙(panning rules)이 적용되게 된다(블록(675)). 이 패닝 규칙은 오디오 객체 위치 및 오디오 객체의 다른 특징(예컨대 폭, 볼륨 등)에 따라 적용될 수 있다.
블록(675)에서 결정된 이득 데이터는 블록(681)에서 오디오 데이터로 적용될 수 있으며, 그 결과가 저장될 수 있다. 몇몇 구현들에서, 결과적으로 생성된 오디오 데이터는 로직 시스템과 통신하도록 구성된 스피커들에 의해 재생될 수 있다. 블록(685)에서 프로세스(650)가 계속되는 것으로 결정되는 경우, 프로세스(650)는 블록(664)으로 복귀하여 렌더링 동작들을 계속할 수 있다. 다르게는, 프로세스(650)는 블록(655)으로 복귀하여 오서링 동작들을 재개할 수 있다.
프로세스(650)는 여러 가지 타입의 스무딩 동작들(smoothing operations)을 포함할 수 있다. 예를 들어, 로직 시스템은 제 1 단일의 스피커 로케이션으로부터 제 2 단일의 스피커 로케이션으로 오디오 객체 위치를 매핑하는 전환시에 오디오 데이터에 적용되는 이득들의 전환을 부드럽게 하도록 구성될 수 있다. 도 4b를 참조하면, 오디오 객체의 위치가 처음에 좌측 오버헤드 스피커들(470a) 중의 하나로 매핑되고 이후에 후방 우측 서라운드 스피커들(480b) 중의 하나로 매핑되는 경우, 로직 시스템은 스피커들 사이의 전환을 부드럽게 함으로써 오디오 객체가 갑작스럽게 한 스피커(또는 스피커 존)으로부터 다른것으로 "점프"하지 않도록 구성될 수 있다. 몇몇 구현들에서, 이 스무딩은 크로스페이드 레이트(crossfade rate) 파라미터에 따라 구현될 수 있다.
몇몇 구현들에서, 로직 시스템은 오디오 객체 위치를 단일의 스피커 로케이션으로 매핑하는 것과 오디오 객체 위치에 대해 패닝 규칙을 적용하는 것 사이의 전환 시에, 오디오 데이터에 적용되는 이득들의 전환을 부드럽게 하도록 구성될 수 있다. 예를 들어, 블록(665)에서 오디오 객체의 위치가 가장 가까운 스피커로부터 매우 먼 것으로 결정된 위치로 이동된 것으로 후속적으로 결정되는 경우, 블록(675)에서 오디오 객체 위치에 대한 패닝 규칙이 적용될 수 있다. 그러나, 스냅핑으로부터 패닝으로의 전환시(또는 그 역의 경우), 로직 시스템은 오디오 데이터에 적용되는 이득들의 전환을 부드럽게 하도록 구성될 수 있다. 본 프로세스는 예컨대 사용자 인터페이스로부터의 대응 입력 수신시에, 블록(690)에서 종료될 수 있다.
몇몇 다른 구현들은 논리적 제한들을 생성하는 것을 포함할 수 있다. 몇몇 예들에서, 예를 들어, 사운드 믹서는 특정 패닝 동작 동안 사용되고 있는 스피커들의 세트에 대한 더욱 명시적인 제어를 소망할 수 있다. 몇몇 구현들은 사용자로 하여금 스피커들의 세트와 패닝 인터페이스 사이에 1-차원 또는 2-차원의 "논리 매핑(logical mapping)"을 생성하도록 할 수 있다.
도 7은 가상 스피커들을 확립하여 사용하는 프로세스의 개요를 보여주는 흐름도이다. 도 8a 내지 도 8c는 라인 엔드포인트들에 매핑된 가상 스피커들 및 대응하는 스피커 존 응답들의 예를 나타낸다. 먼저 도 7의 프로세스(700)를 참조하면, 블록(705)에서 가상 스피커들을 생성하는 표시가 수신된다. 상기 표시는 예를 들어, 오서링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신된 입력에 대응할 수 있다.
블록(710)에서, 가상 스피커 로케이션의 표시가 수신된다. 예를 들어, 도 8a를 참조하면, 사용자는 사용자 입력 장치를 사용하여 가상 스피커(805a)의 위치에 커서(510)를 위치시키고, 예컨대 마우스 클릭을 통해 그 로케이션을 선택할 수 있다. 블록(715)에서는, (예컨대, 사용자 입력에 따라) 추가의 가상 스피커들이 이 예에서 선택되도록 하는 것이 결정된다. 본 프로세스는 블록(710)으로 복귀하며, 사용자는 본 예에서, 도 8a에 나타낸 가상 스피커(805b)의 위치를 선택한다.
이 예에서는, 사용자가 단지 2개의 가상 스피커 로케이션만을 확립하기를 소망한다. 그러므로, 블록(715)에서는, (예컨대, 사용자 입력에 따라) 어떠한 추가의 가상 스피커들도 선택되지 않는 것으로 결정된다. 도 8a에 도시된 바와 같이, 가상 스피커(805a 및 805b)의 위치들을 연결시키는 폴리라인(810)이 디스플레이될 수 있다. 몇몇 구현들에서, 오디오 객체(505)의 위치는 폴리라인(810)으로 제한되게 된다. 몇몇 구현들에서, 오디오 객체(505)의 위치는 파라메트릭 곡선(parametric curve)으로 제한될 수 있다. 예를 들어, 일련의 제어 포인트들이 사용자 입력에 따라 제공될 수 있으며, 슬라라인(spline)과 같은 곡선-맞춤 알고리즘이 파라메트릭 곡선을 결정하는데 사용될 수 있다. 블록(725)에서, 폴리라인(810)을 따르는 오디오 객체 위치의 표시가 수신된다. 몇몇 이러한 구현들에서, 상기 위치는 0과 1 사이의 스칼라 값으로 표시되게 된다. 블록(725)에서, 오디오 객체의 (x,y,z) 좌표들 및 가상 스피커들에 의해 규정된 폴리라인이 디스플레이될 수 있다. 획득된 스칼라 위치 및 가상 스피커들의 (x,y,z) 좌표들을 포함하는, 오디오 데이터 및 관련 메타데이터가 디스플레이될 수 있다(블록(727)). 여기서는, 블록(728)에서 적절한 통신 프로토콜을 통해 오디오 데이터 및 메타데이터가 렌더링 툴로 송신될 수 있다.
블록(729)에서는, 오서링 프로세스가 계속될지의 여부가 결정된다. 계속되지 않는 것으로 결정된 경우, 프로세스(700)가 종료되거나(블록(730)), 사용자 입력에 따라 렌더링 동작들을 계속할 수도 있다. 전술한 바와 같이, 그러나, 다수의 구현들에서는 적어도 몇몇 렌더링 동작들이 오서링 동작들과 동시에 수행될 수도 있다.
블록(732)에서는, 오디오 데이터 및 메타데이터가 렌더링 툴에 의해 수신된다. 블록(735)에서는, 오디오 데이터에 적용될 이득들이 각각의 가상 스피커 위치에 관하여 계산된다. 도 8b는 가상 스피커(805a)의 위치에 대한 스피커 응답들을 나타낸다. 도 8c는 가상 스피커(805b)의 위치에 대한 스피커 응답들을 나타낸다. 이 예에서, 본 명세서에 기술된 다수의 다른 예들에서와 같이, 그 표시된 스피커 응답들은, GUI(400)의 스피커 존들에 대해 나타나 있는 로케이션들과 대응하는 로케이션들을 갖는 재생 스피커들에 관한 것이다. 여기서, 가상 스피커들(805a 및 805b), 및 라인(810)은 스피커 존들(8 및 9)과 대응하는 로케이션들을 갖는 재생 스피커들이 근처에 존재하지 않는 평면에 위치되어 있다. 그러므로, 도 8b 또는 도 8c에는 이들 스피커들에 대한 어떠한 이득도 표시되어 있지 않다.
사용자가 라인(810)을 따르는 다른 위치들로 오디오 객체(505)를 이동시키는 경우, 로직 시스템은 예를 들어, 오디오 객체 스칼라 위치 파라미터에 따라, 이들 위치들에 대응하는 크로스-페이딩을 계산하게 된다(블록 740). 몇몇 구현들에서는, 페어-와이즈 패닝 법칙(pair-wise panning law)(예컨대, 에너지 보존 사인 또는 멱법칙(power law))이, 가상 스피커(805a)의 위치에 관해 오디오 데이터에 적용되는 이득들과, 가상 스피커(805b)의 위치에 관한 오디오 데이터에 적용되는 이득들 사이를 조합하기 위해 사용될 수 있다.
블록(742)에서는, 이어서 프로세스(700)를 계속할 지의 여부가 (예컨대, 사용자 입력에 따라) 결정될 수 있다. 예를 들어, 사용자에게는 렌더링 동작들을 계속하거나 오서링 동작들로 복귀하는 옵션이 (예컨대, GUI를 통해) 제공될 수 있다. 프로세스(700)가 계속되지 않는 것으로 결정된 경우, 본 프로세스는 종료된다(블록(745)).
패닝이 오디오 객체들(예를 들어, 자동차, 제트기 등에 대응하는 오디오 객체들)을 급속히 이동시킬 시에, 일 시점에 사용자가 오디오 객체 위치들을 선택하는 경우에는 부드러운 경로를 오서링하는 것이 어려울 수 있다. 오디오 객체 경로에 있어서의 부드러움(smoothness)의 결여는 지각되는 사운드 이미지에 영향을 미칠 수도 있다. 그러므로, 본 명세서에서 제공되는 몇몇 오서링 구현들은 오디오 객체의 위치에 저역 필터(low-pass filter)를 적용함으로써, 결과적으로 생성되는 패닝 이득들을 부드럽게 한다. 다른 오서링 구현들은 오디오 데이터에 적용된 이득에 대해 저역 필터를 적용한다.
다른 오서링 구현들은 사용자로 하여금 그래빙(grabbing), 풀링(pulling), 스로윙(throwing) 또는 오디오 객체들과의 유사한 상호작용을 모사 가능하게 할 수 있다. 몇몇의 이러한 구현들은 속도, 가속도, 모멘텀, 운동 에너지, 힘의 적용 등을 묘사하기 위해 사용되는 규칙 세트들과 같은, 모사된 물리 법칙의 적용을 포함할 수 있다.
도 9a 내지 도9c는 가상 테더를 사용하여 오디오 객체를 드래깅하는 예들을 나타낸다. 도 9a에서, 가상 테더(905)가 오디오 객체(505)와 커서(510) 사이에 형성되어 있다. 이 예에서, 가상 테더(905)는 가상 스프링 상수를 갖는다. 몇몇 이러한 구현들에서, 가상 스프링 상수는 사용자 입력에 따라 선택될 수 있다.
도 9b는 사용자가 스피커 존(3)쪽으로 커서(510)를 이동시킨 이후의 시간에서의 오디오 객체(505) 및 커서(510)를 나타낸다. 사용자는 마우스, 조이스틱, 트랙 볼(track ball), 제스처 검출 장치, 또는 임의 타입의 사용자 입력 장치를 사용하여, 커서(510)를 이동시켰을 수 있다. 가상 테더(905)는 신장되어 있으며, 오디오 객체(505)는 스피커 존(8) 근처로 이동되어 있다. 도 9a 및 도 9b에서 오디오 객체(505)는 거의 동일한 사이즈를 가지며, 이것은 (본 예에서) 오디오 객체(505)의 엘리베이션이 실질적으로 변경되지 않았다는 것을 나타낸다.
도 9c는 사용자가 스피커 존(9) 근처로 커서를 이동시킨 이후 시간에서의 오디오 객체(505) 및 커서(510)를 나타낸다. 가상 테더(905)는 또한 더 신장되어 있다. 오디오 객체(505)의 사이즈 감소로 나타난 바와 같이, 오디오 객체(505)는 아래쪽으로 이동되어 있다. 오디오 객체(505)는 부드러운 아크(arc)로 이동되어 있다. 이 예는 이러한 구현들의 어떤 잠재적인 이점, 즉 사용자가 단순히 포인트 바이 포인트(point by point)로 오디오 객체(505)에 대한 위치들을 선택하는 경우에 비해, 오디오 객체(505)가 더 부드러운 경로로 이동될 수 있다는 이점을 예시하고 있다.
도 10a는 가상 테더를 사용하여 오디오 객체를 이동시키는 프로세스의 개요를 보여주는 흐름도이다. 프로세스(1000)는 오디오 데이터가 수신되는 블록(1005)과 함께 시작된다. 블록(1007)에서는, 오디오 객체와 커서 사이에 가상 테더를 부여하는 신호가 수신된다. 상기 표시는 오서링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 도 9a를 참조하면, 예를 들어, 사용자는 오디오 객체(505) 위에 커서(510)를 위치시킬 수 있으며, 그 후에, 사용자 입력 장치 또는 GUI를 통해, 커서(510)와 오디오 객체(505) 사이에 가상 테더(905)가 형성되어야 함을 표시한다. 커서 및 객체 위치 데이터가 수신될 수 있다(블록(1010)).
이 예에서, 커서(510)가 이동되는 경우, 커서 속도 및/또는 가속도 데이터는 커서 위치 데이터에 따라 로직 시스템에 의해서 계산될 수 있다(블록 1015). 오디오 객체(505)에 대한 위치 데이터 및/또는 경로 데이터는 가상 테더(905)의 가상 스프링 상수와 커서 위치, 속도 및 가속도 데이터에 따라 계산될 수 있다. 몇몇의 이러한 구현들은 오디오 객체(505)에 대해 가상 질량을 할당하는 것을 포함할 수 있다(블록(1020)). 예를 들어, 커서(510)가 상대적으로 일정한 속도로 이동되는 경우, 가상 테더(905)는 신장되지 않을 수 있으며, 오디오 객체(505)는 상대적으로 일정한 속도로 당겨질 수 있다. 커서(510)가 가속되는 경우, 가상 테더(905)는 신장될 수 있으며, 이에 대응하는 힘이 가상 테더(905)에 의해 오디오 객체(505)로 적용될 수 있다. 커서(510)의 가속도와 가상 테더(905)에 의해 적용된 힘 사이에는 타임 래그(time lag)가 존재할 수 있다. 다른 구현들에서, 오디오 객체(505)의 위치 및/또는 경로는 상이한 방식으로, 예컨대, 가상 테더(905)에 대해 가상 스프링 상수를 할당하는 것 없이도, 오디오 객체(505)에 대해 마찰 및/또는 관성 법칙들 등을 적용하는 것에 의해서 결정될 수 있다.
오디오 객체(505) 및 커서(510)의 개별 위치들 및/또는 경로가 디스플레이 될 수 있다(블록(1025)). 이 예에서, 로직 시스템은 일 시간 구간에서의 오디오 객체 위치들을 샘플링한다(블록(1030)). 몇몇 이러한 구현들에서, 사용자는 샘플링을 위한 시간 구간을 결정할 수도 있다. 오디오 객체 로케이션 및/또는 경로 메타데이터 등이 저장될 수 있다(블록(1034))
블록(1036)에서는, 이 오서링 모드가 계속될지의 여부가 결정된다. 본 프로세스는 사용자가 원하는 경우, 예컨대 블록(1005) 또는 블록(1010)으로 복귀하는 것에 의해 계속될 수 있다. 그렇지 않은 경우, 프로세스(1000)가 종료될 수 있다(블록(1040)).
도 10b는 가상 테더를 사용하여 오디오 객체를 이동시키는 다른 프로세스의 개요를 보여주는 흐름도이다. 도 10c 내지 도 10e는 도 10b에 나타낸 프로세스의 예들을 보여준다. 먼저 도 10b를 참조하면, 프로세스(1050)는 오디오 데이터가 수신되는 블록(1055)과 함께 시작된다. 블록(1057)에서는, 오디오 객체와 커서 사이에 가상 테더를 부여하는 표시가 수신된다. 상기 표시는 오서링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 도 10c를 참조하면, 예를 들어, 사용자는 오디오 객체(505) 위에 커서(510)를 위치시킬 수 있으며, 이어서 사용자 입력 장치 또는 GUI를 통해, 커서(510)와 오디오 객체(505) 사이에 가상 테더(905)가 형성되어야 함을 표시할 수 있다.
커서 및 오디오 객체 위치 데이터가 블록(1060)에서 수신될 수 있다. 블록(1062)에서, 로직 시스템은 (예를 들어, 사용자 입력 장치 또는 GUI를 통해) 오디오 객체(505)가 표시된 위치, 예컨대, 커서(510)에 의해 표시된 위치로 가야한다는 표시를 수신할 수 있다. 블록(1065)에서, 로직 디바이스는 커서(510)가 새로운 위치로 이동되었다는 표시를 수신하며, 이 새로운 위치는 오디오 객체(505)의 위치와 함께 디스플레이 될 수 있다(블록(1067)). 도 10d를 참조하면, 예를 들어, 커서(510)는 가상 재생 환경(404)의 좌측에서 우측으로 이동되었다. 그러나, 오디오 객체(510)는 도 10c에 표시된 것과 동일한 위치에서 계속 유지되고 있다. 그 결과, 가상 테더(905)는 실질적으로 신장되었다.
블록(1069)에서, 로직 시스템은 (예를 들어, 사용자 입력 장치 또는 GUI를 통해) 오디오 객체(505)가 해제될 것이라는 신호를 수신한다. 로직 시스템은 결과적으로 생성되는 오디오 객체 위치 및/또는 경로 데이터를 계산할 수 있으며, 이것은 디스플레이될 수 있다(블록(1075)). 결과적으로 생성되는 디스플레이는 도 10e에 나타낸 것과 유사할 수 있으며, 이것은 오디오 객체(505)가 가상 재생 환경(404)을 가로질러 부드럽고 신속히 이동하고 있는 것을 보여준다. 로직 시스템은 오디오 객체 로케이션 및/또는 경로 메타데이터를 메모리 시스템에 저장할 수 있다(블록(1080)).
블록(1085)에서는, 오서링 프로세스(1050)가 계속될 지의 여부가 결정된다. 본 프로세스는 사용자가 그렇게 하기를 원하는 표시를 로직 시스템이 수신하는 경우 계속될 수 있다. 예를 들어, 프로세스(1050)는 블록(1055) 또는 블록(1060)으로 복귀함으로써 계속될 수 있다. 그렇지 않은 경우, 오서링 툴은 오디오 데이터 및 메타데이터를 렌더링 툴로 송신할 수 있으며(블록(1090)), 그 후에 프로세스(1050)가 종료될 수 있다(블록(1095)).
인지되는 오디오 객체 움직임의 사실감을 최적화하기 위해, 오서링 툴(또는 렌더링 툴)의 사용자로 하여금 재생 환경에서의 스피커들의 서브세트를 선택하도록 하고 또한 액티브 스피커들의 세트를 그 선택된 서브세트로 제한하도록하는 것이 바람직할 수 있다. 몇몇 구현들에서, 스피커 존들 및/또는 스피커 존들의 그룹들은 어서링이나 렌더링 동작 동안에 활성 또는 비활성으로 지정될 수 있다. 예를 들어, 도 4a를 참조하면, 전방 영역(405), 좌측 영역(410), 우측 영역(415) 및/또는 상부 영역(420)의 스피커 존들은 한 그룹으로 제어될 수 있다. 스피커 존들(6 및 7)을 포함하는 후방 영역의 스피커 존들(및, 다른 구현들에서는, 스피커 존들(6 및 7) 사이에 위치된 하나 이상의 다른 스피커 존들)도 또한 한 그룹으로 제어될 수 있다. 특정 스피커 존 또는 다수의 스피커 존들을 포함하는 영역에 대응하는 모든 스피커들을 동적으로 인에이블 또는 디스에이블시키는 사용자 인터페이스가 제공될 수도 있다.
몇몇 구현들에서, 오서링 디바이스(또는 렌더링 디바이스)의 로직 시스템은 사용자 입력 시스템을 통해 수신되는 사용자 입력에 따라 스피커 존 제한 메타데이터를 생성하도록 구성될 수 있다. 스피커 존 제한 메타데이터는 선택된 스피커 존들을 디스에이블시키는 데이터를 포함할 수 있다. 이제 도 11 및 도 12를 참조하여 몇몇의 이러한 구현들을 설명하도록 한다.
도 11은 가상 재생 환경에서 스피커 존 제한을 적용한 일 예를 나타낸다. 몇몇 이러한 구현들에서, 사용자는 마우스와 같은 사용자 입력 장치를 사용하여, GUI(400)와 같은 GUI에서 그들의 표현을 클릭함으로써 스피커 존들을 선택할 수 있다. 여기서, 사용자는 가상 재생 환경(404)의 사이드들 상의 스피커 존들(4 및 5)을 디스에이블하였다. 스피커 존들(4 및 5)은 시네마 사운드 시스템 환경과 같은 물리적 재생 환경에서 대부분의(또는 모든) 스피커들에 대응할 수 있다. 이 예에서, 또한 사용자는 오디오 객체(505)의 위치들을 라인(1105)을 따르는 위치들로 제한하였다. 측벽들을 따르는 대부분의 또는 모든 스피커들이 디스에이블되어 있으므로, 스크린(150)으로부터 가상 재생 환경(404)의 후방으로의 팬(pan)은 사이드 스피커들을 사용하지 않는 것으로 제한되어 진다. 이것은 넓은 관중 영역에 대한, 특히 스피커 존들(4 및 5)에 대응하는 재생 스피커들 근처에 앉아 있는 관중 구성원들에 대한 전방에서 후방으로의 개선된 움직임 지각을 생성할 수 있다.
몇몇 구현들에서, 스피커 존 제한들은 모든 리-렌더링 모드(re-rendering mode)들을 통해 행해질 수 있다. 예를 들어, 스피커 존 제한들은 렌더링을 위해 사용가능한 존들이 적은 상황, 예를 들어, 7 또는 5 존들만이 노출되는 돌비 서라운드 7.1 또는 5.1 구성으로 렌더링하는 상황에서 행해질 수 있다. 또한, 스피커 존 제한들은 렌더링을 위해 사용가능한 존들이 더 많은 경우 행해질 수도 있다. 그러므로, 스피커 존 제한들은 리-렌더링을 안내하여, 종래의 "업믹싱/다운믹싱" 프로세스에 대한 넌-블라인드 해결책을 제공하기 위한 방식으로 인식될 수 있다.
도 12는 스피커 존 제한 규칙들을 적용하는 몇몇 예들의 개요를 보여주는 흐름도이다. 프로세스(1200)는 스피커 존 제한 규칙들을 적용하는 하나 이상의 표시들이 수신되는 블록(1205)과 함께 시작된다. 상기 표시(들)은 오서링 또는 렌더링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 예를 들어, 상기 표시들은 비활성화할 하나 이상의 스피커 존들에 관한 사용자 선택에 대응할 수 있다. 몇몇 구현들에서, 블록(1205)은 예컨대, 아래에서 기술되는 바와 같이 어떤 타입의 스피커 존 제한 규칙들이 적용되어야 하는지의 표시를 수신하는 것을 포함할 수 있다.
블록(1207)에서, 오디오 데이터가 오서링 툴에 의해 수신된다. 오디오 객체 위치 데이터는 예컨대, 오서링 툴의 사용자로부터의 입력에 따라 수신될 수 있으며(블록(1210)), 이것은 디스플레이될 수 있다(블록(1215)). 위치 데이터는 이 예에서 (x,y,z) 좌표들이다. 여기서, 블록(1215)에서는, 선택된 스피커 존 제한 규칙들에 대한 활성 및 비활성 스피커 존들이 또한 디스플레이된다. 블록(1220)에서는, 오디오 데이터 및 관련 메타데이터가 저장된다. 이 예에서, 메타데이터는 스피커 존 식별 플래그를 포함할 수 있는 스피커 존 제한 메타데이터 및 오디오 객체 위치를 포함한다.
몇몇 구현들에서, 스피커 존 제한 메타데이터는 예컨대, 선택된(디스에이블된) 스피커존들의 모든 스피커들을 "오프"로 간주하고 또한 모든 다른 스피커 존들을 "온"으로 간주하는 것에 의해, 렌더링 툴이 패닝 등식들을 적용하여 2진 방식으로 이득들을 계산해야 한다는 것을 표시할 수 있다. 로직 시스템은 선택된 스피커 존들을 디스에이블시키는 데이터를 포함하는 스피커 존 제한 메타데이터를 생성하도록 구성될 수 있다.
다른 구현들에서, 스피커 존 제한 메타데이터는 디스에이블된 스피커 존들의 스피커들로부터 기여 정도를 포함하는 조합 방식으로 패닝 등식들을 적용하여 이득들을 계산한다는 것을 표시할 수 있다. 예를 들어, 로직 시스템은 선택된(디스에이블된) 스피커 존들로부터의 기여들을 포함하는 제 1 이득들을 계산하는 동작; 상기 선택된 스피커 존들로부터의 기여들을 포함하지 않는 제 2 이득들을 계산하는 동작; 및 제 1 이득들과 제 2 이득들을 조합하는 동작을 수행함으로써 선택된 스피커 존들을 감쇄시켜야 한다는 것을 표시한 스피커 존 제한 메타데이터를 생성하도록 구성될 수 있다. 몇몇 구현들에서는, 바이어스(bias)가 제 1 이득들 및/또는 제 2 이득들에 대해(예컨대, 선택된 최소 값에서부터 선택된 최대 값까지)적용됨으로써 선택된 스피커 존들로부터의 잠재적인 기여들의 범위를 허용할 수 있다.
이 예에서, 블록(1225)에서는 오서링 툴이 오디오 데이터 및 메타데이터를 렌더링 툴로 송신한다. 그 후에, 로직 시스템은 오서링 프로세스가 계속될 지의 여부를 결정할 수 있다(블록(1227)). 사용자가 그렇게 하기를 원한다는 표시를 로직 시스템이 수신한 경우, 오서링 프로세스가 계속될 수 있다. 그렇지 않은 경우, 오서링 프로세스는 종료될 수 있다(블록(1229)). 몇몇 구현들에서, 렌더링 동작들은 사용자 입력에 따라 계속될 수 있다.
블록(1230)에서, 오서링 툴에 의해 생성된 오디오 데이터 및 메타데이터를 포함하는 오디오 객체들이 렌더링 툴에 의해 수신된다. 이 예에서, 블록(1235)에서는 특정 오디오 객체에 대한 위치 데이터가 수신된다. 렌더링 툴의 로직 시스템은 스피커 존 제한 규칙들에 따라 패닝 등식들을 적용함으로써 오디오 객체 위치 데이터에 대한 이득들을 계산할 수 있다.
블록(1245)에서는, 상기 계산된 이득들이 오디오 데이터로 적용된다. 로직 시스템은 이득, 오디오 객체 로케이션 및 스피커 존 제한 메타데이터를 메모리 시스템에 저장할 수 있다. 몇몇 구현들에서, 오디오 데이터는 스피커 시스템에 의해 재생될 수 있다. 대응하는 스피커 응답들이 몇몇 구현들의 디스플레이 상에 나타날 수 있다.
블록(1248)에서는, 프로세스(1200)가 계속될 지의 여부가 결정된다. 사용자가 그렇게 하기를 원한다는 표시를 로직 시스템이 수신한 경우, 프로세스가 계속될 수 있다. 예를 들어, 렌더링 프로세스는 블록(1230) 또는 블록(1235)으로 복귀함으로써 계속될 수 있다. 사용자가 대응하는 오서링 프로세스로 복귀하기를 원한다는 표시가 수신된 경우, 프로세스가 블록(1207) 또는 블록(1210)으로 복귀될 수도 있다. 그렇지 않은 경우, 프로세스(1200)가 종료될 수 있다(블록(1250)).
3-차원 가상 재생 환경에서 오디오 객체들을 포지셔닝하고 렌더링하는 작업들은 점점 더 어려워지고 있다. 어려움 중의 일부는 GUI에서 가상 재생 환경을 나타냄에 있어서의 장애들에 관한 것이다. 본 명세서에서 제공되는 몇몇 오서링 및 렌더링 구현들은, 사용자로 하여금 2-차원 스크린 공간 패닝과 3-차원 룸-공간 패닝 사이에서 전환할 수 있게 한다. 이러한 기능은 사용자에게 편리한 GUI를 제공하면서 오디오 객체 포지셔닝의 정밀도를 유지하는데 도움이 될 수 있다.
도 13a 및 도 13b는 가상 재생 환경의 2-차원 뷰와 3-차원 뷰 사이에서 전환할 수 있는 GUI의 일 예를 나타낸다. 먼저 도 13a를 참조하면, GUI(400)는 스크린상의 이미지(1305)를 나타낸다. 이 예에서, 이미지(1305)는 칼날-이빨 호랑이(saber-toothed tiger)에 관한 것이다. 가상 재생 환경(404)에 관한 이 평면도에서, 사용자는 오디오 객체(505)가 스피커 존(1) 근처에 있다는 것을 쉽게 관측할 수 있다. 엘리베이션은 예를 들어, 오디오 객체(505)의 사이즈, 색상, 또는 몇몇 다른 속성에 의해 추론될 수 있다. 그러나, 이미지(1305)에 대한 상기 위치의 관계는 이 도면에서 결정하기 어려울 수 있다.
이 예에서, GUI(400)는 축(1310)과 같은 축 주위를 동적으로 회전할 수 있는 것으로 나타날 수 있다. 도 13b는 회전 프로세스 이후의 GUI(1300)를 나타낸다. 이 도면에서, 사용자는 이미지(1305)를 더욱 명확하게 볼 수 있으며, 이미지(1305)로부터의 정보를 사용하여 더욱 정확하게 오디오 객체(505)의 위치를 결정할 수 있다. 이 예에서, 오디오 객체는 칼날-이빨 호랑이가 보고 있는 사운드에 대응한다. 가상 재생 환경(404)의 탑 뷰와 스크린 뷰 사이에서의 전환을 가능하게 하는 것은, 사용자로 하여금 스크린상 내용의 정보를 사용하여, 오디오 객체(505)에 대한 적절한 엘리베이션을 신속하고 정확하게 선택할 수 있게 한다.
오서링 및/또는 렌더링에 대한 여러 가지 다른 편리한 GUI들이 여기에 제공되어 있다. 도 13c 내지 도 13e는 재생 환경들에 관한 2-차원 및 3-차원 묘사들의 조합을 나타낸다. 먼저 도 13c를 참조하면, 가상 재생 환경(404)의 평면도가 GUI(1310)의 좌측 영역에 도시되어 있다. 또한, GUI(1310)는 가상(또는 실제) 재생 환경의 3-차원 묘사(1345)를 포함한다. 3-차원 묘사(1345) 중의 영역(1350)은 GUI(400)의 스크린(150)에 대응한다. 오디오 객체(505)의 위치, 특히 그것의 엘리베이션은 3-차원 묘사(1345)에서 명확하게 알 수 있다. 이 예에서, 오디오 객체(505)의 폭이 또한 3-차원 묘사(1345)에 나타나 있다.
스피커 레이아웃(1320)은 스피커 로케이션들(1324 내지 1340)을 나타내고 있으며, 그것의 각각은 가상 재생 환경(404)에서 오디오 객체(505)의 위치에 대응하는 이득을 표시할 수 있다. 몇몇 구현들에서, 스피커 레이아웃(1320)은 예를 들어, 오버헤드 스피커들 등으로 증강된 돌비 서라운드 5.1 구성, 돌비 서라운드 7.1 구성, 돌비 7.1 구성과 같은, 실제 재생 환경의 재생 스피커 로케이션들을 나타낼 수 있다. 로직 시스템이 가상 재생 환경(404)에서의 오디오 객체(505)의 위치 표시를 수신하는 경우, 로직 시스템은 예컨대 전술한 진폭 패닝 프로세스(amplitude panning process)에 의해, 스피커 레이아웃(1320)의 스피커 로케이션들(1324 내지 1340)에 대한 이득들로 이 위치를 매핑하도록 구성될 수 있다. 예를 들어, 도 13c에서, 스피커 로케이션들(1325, 1335 및 1337) 각각은 오디오 객체(505)의 위치에 대응하는 이득들을 표시하는 색상 변경을 갖는다.
이제 도 13d를 참조하면, 오디오 객체가 스크린(150) 뒤쪽의 위치로 이동되었다. 예를 들어, 사용자는 GUI(400)에 있는 오디오 객체(505) 상에 커서를 놓고 그것을 새로운 위치로 드래깅하는 것에 의해 오디오 객체(505)를 이동시켰을 수 있다. 또한 이 새로운 위치는 새로운 배향으로 회전된 3-차원 묘사(1345)로 나타나 있다. 스피커 레이아웃(1320)의 응답들은 도 13c 및 도 13d와 실질적으로 동일하게 나타날 수 있다. 그러나, 실제의 GUI에서, 스피커 로케이션들(1325, 1335 및 1337)은 상이한 모습(예컨대, 상이한 밝기 또는 색상)을 가질 수 있으며, 이에 따라 오디오 객체(505)의 상이한 위치에 의해 야기된 대응하는 이득 차이들을 표시할 수 있다.
이제 도 13e를 참조하면, 가상 재생 환경(404)의 후방 우측부 위치로 신속히 이동되었다. 도 13e에 도시된 순간에, 스피커 로케이션(1326)은 오디오 객체(505)의 현재 위치에 대응하며, 스피커 로케이션들(1325 및 1337)은 여전히 오디오 객체(505)의 이전 위치에 대응한다.
도 14a는 도 13c 내지 도 13e에 나타낸 것과 같은 GUI들을 제공하는 장치를 제어하는 프로세스의 개요를 보여주는 흐름도이다. 프로세스(1400)는 재생 환경에 대한 오디오 객체 로케이션들, 스피커 존 로케이션들 및 재생 스피커 로케이션들을 디스플레이하는 하나 이상의 표시들이 수신되는 블록(1405)과 함께 시작된다. 스피커 존 로케이션들은 예를 들어, 도 13c 내지 도 13e에 나타낸 바와 같이 가상 재생 환경 및/또는 실제 재생 환경에 대응할 수 있다. 상기 표시(들)은 렌더링 및/또는 오서링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 예를 들어, 상기 표시들은 재생 환경 구성에 대한 사용자 선택에 대응할 수 있다.
블록(1407)에서는, 오디오 데이터가 수신된다. 블록(1410)에서는, 오디오 객체 위치 데이터 및 폭이 예를 들어 사용자 입력에 따라 수신된다. 블록(1415)에서는, 오디오 객체, 스피커 존 로케이션들 및 재생 스피커 로케이션들이 디스플레이된다. 오디오 객체 위치는 예를 들어 도 13c 내지 도 13e에 도시된 바와 같이 2-차원 및/또는 3-차원 뷰들로 디스플레이될 수 있다. 폭 데이터는 오디오 객체 렌더링을 위해서만 사용될 수 있을 뿐만아니라, 오디오 객체가 디스플레이되는 방식에도 영향을 미칠 수 있다(도 13c 내지 도 13e의 3-차원 묘사(1345)에서 오디오 객체(505) 묘사 참조).
오디오 데이터 및 관련 메타데이터가 기록될 수 있다(블록(1420)). 블록(1425)에서, 오서링 툴은 오디오 데이터 및 메타데이터를 렌더링 툴로 송신한다. 그 후에, 로직 시스템은 오서링 프로세스가 계속될 지의 여부를 결정할 수 있다(블록(1427)). 사용자가 그렇게 하기를 원하는 표시를 로직 시스템이 수신한 경우, (예컨대, 블록(1405)으로 복귀하는 것에 의해) 오서링 프로세스는 계속될 수 있다. 그렇지 않은 경우, 오서링 프로세스가 종료될 수 있다(블록(1429)).
블록(1430)에서는, 오서링 툴에 의해 생성된 오디오 데이터 및 메타데이터를 포함하는 오디오 객체들이 렌더링 툴에 의해 수신된다. 이 예에서, 블록(1435)에서는 특정 오디오 객체에 대한 위치 데이터가 수신된다. 렌더링 툴의 로직 시스템은, 폭 메타데이터에 따라, 패닝 등식들을 적용하여 오디오 객체 위치 데이터에 대한 이득들을 계산할 수 있다.
몇몇 렌더링 구현들에서, 로직 시스템은 스피커 존들을 재생 환경의 재생 스피커들로 매핑할 수 있다. 예를 들어, 로직 시스템은 스피커 존들 및 대응하는 재생 스피커 로케이션들을 포함하는 데이터 구조에 액세스할 수 있다. 보다 상세한 내용 및 예들이 아래의 도 14b를 참조하여 기술되어 있다.
몇몇 구현들에서는, 패닝 등식들이 오디오 객체 위치, 폭 및/또는 다른 정보, 예컨대 재생 환경의 스피커 로케이션들에 따라, 예를 들어 로직 시스템에 의해 적용될 수 있다(블록(1440)). 블록(1445)에서는, 블록(1440)에서 획득된 이득들에 따라 오디오 데이터가 처리된다. 결과적으로 생성된 오디오 데이터의 적어도 일부는, 원하는 경우, 오서링 툴로부터 수신된 대응하는 오디오 객체 위치 데이터 및 다른 메타데??와 함께 저장될 수 있다. 오디오 데이터는 스피커들에 의해 재생될 수 있다.
그 후에, 로직 시스템은 프로세스(1400)가 계속될 지의 여부를 결정할 수 있다(블록(1448)). 예를 들어, 사용자가 그렇게 하기를 원하는 표시를 로직 시스템이 수신한 경우, 프로세스(1400)는 계속될 수 있다. 그렇지 않을 경우, 프로세스(1400)는 종료될 수 있다(블록(1449)).
도 14b는 재생 환경에 대한 오디오 객체들을 렌더링하는 프로세스의 개요를 보여주는 흐름도이다. 프로세스(1450)는 재생 환경에 대한 오디오 객체들을 렌더링하는 하나 이상의 표시들이 수신되는 블록(1455)과 함께 시작된다. 상기 표시(들)은 렌더링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 예를 들어, 상기 표시들은 재생 환경 구성에 대한 사용자 선택에 대응할 수 있다.
블록(1457)에서는, (하나 이상의 오디오 객체들 및 관련 메타데이터를 포함하는) 오디오 재생 데이터가 수신된다. 블록(1460)에서는, 재생 환경 데이터가 수신될 수 있다. 재생 환경 데이터는 재생 환경 내의 다수의 재생 스피커들의 표시 및 재생 환경 내의 각 재생 스피커의 로케이션의 표시를 포함할 수 있다. 재생 환경은 시네마 사운드 시스템 환경, 홈 시어터 환경 등일 수 있다. 몇몇 구현들에서, 재생 환경 데이터는 재생 스피커 존들 및 그 스피커 존들에 대응하는 재생 스피커 로케이션들을 표시하는 재생 스피커 존 레이아웃 데이터를 포함할 수 있다.
블록(1465)에서는 재생 환경이 디스플레이될 수 있다. 몇몇 구현들에서, 재생 환경은 도 13c 내지 도 13e에 나타낸 스피커 레이아웃(1320)과 유사한 방식으로 디스플레이될 수 있다.
블록(1470)에서는, 오디오 객체들이 재생 환경에 대한 하나 이상의 스피커 급전 신호(speaker feed signal)들로 렌더링될 수 있다. 몇몇 구현들에서, 오디오 객체들과 관련된 메타데이터는, 전술한 바와 같이, 메타데이터가 스피커 존들에 대응하는(예를 들어, GUI(400)의 스피커 존들(1-9)에 대응하는) 이득 데이터 포함할 수 있도록 하는 방식으로 오서링될 수 있다. 로직 시스템은 스피커 존들을 재생 환경의 재생 스피커들로 매핑할 수 있다. 예를 들어, 로직 시스템 스피커 존들 및 대응하는 재생 스피커 로케이션들을 포함하는, 메모리에 저장되어 있는 데이터 구조에 액세스할 수 있다. 이러한 렌더링 디바이스는 그 각각이 상이한 스피커 구성에 대응하는 다양한 데이터 구조들을 가질 수 있다. 몇몇 구현들에서, 렌더링 장치는 다양한 표준 재생 환경 구성들, 예컨대 돌비 서라운드 5.1 구성, 돌비 서라운드 7.1 구성 및/또는 하마사키 22.2 서라운드 사운드 구성에 대한 데이터 구조들을 가질 수 있다.
몇몇 구현들에서, 오디오 객체들에 대한 메타데이터는 오서링 프로세스로부터의 다른 정보를 포함할 수 있다. 예를 들어, 메타데이터는 스피커 제한 데이터를 포함할 수 있다. 메타데이터는 오디오 객체 위치를 단일의 재생 스피커 로케이션 또는 단일의 재생 스피커 존으로 매핑하는 정보를 포함할 수 있다. 메타데이터는 오디오 객체의 위치를 1차원 곡선이나 2-차원 표면으로 제한하는 데이터를 포함할 수 있다. 메타데이터는 오디오 객체에 대한 경로 데이터를 포함할 수 있다. 메타데이터는 콘텐츠 타입에 대한 식별자(예컨대, 다이얼로그, 뮤직 또는 이펙트)를 포함할 수 있다.
이에 따라, 렌더링 프로세스는 예컨대 스피커 존 제한들을 부과하기 위한 메타데이터의 사용을 포함할 수 있다. 몇몇 이러한 구현들에서, 렌더링 장치는 메타데이터에 의해 표시되는 제한들을 변경하는 옵션, 예를 들어, 스피커 제한들을 변경하고 이에 따라 리렌더링하는 옵션을 사용자에게 제공할 수 있다. 리렌더링은 소망하는 오디오 객체 위치, 소망하는 오디오 객체 위치에서 기준 위치까지의 거리, 오디오 객체의 속도 또는 오디오 객체 콘텐츠 타입 중의 하나 이상에 기초하여 총 이득을 생성하는 것을 포함할 수 있다. 재생 스피커들의 대응하는 응답들이 디스플레이될 수 있다(블록(1475)). 몇몇 구현들에서, 로직 시스템은 렌더링 프로세스의 결과들에 대응하는 사운드를 재생하도록 스피커들을 제어할 수 있다.
블록(1480)에서는, 로직 시스템이 프로세스(1450)가 계속될 지의 여부를 판정할 수 있다. 예를 들어, 사용자가 그렇게 하기를 원하는 표시를 로직 시스템이 수신하는 경우, 프로세스(1450)가 계속될 수 있다. 예를 들어, 프로세스(1450)는 블록(1457) 또는 블록(1460)으로 복귀하는 것에 의해 계속될 수 있다. 그렇지 않은 경우, 프로세스(1450)가 종료될 수도 있다(블록(1485)).
스프레드 및 외관상 소스 폭 제어(spread and apparent source width control)는 몇몇 기존의 서라운드 사운드 오서링/렌더링 시스템들의 특징들이다. 본 발명에서, 용어 "스프레드(spread)"는 동일한 신호를 복수의 스피커들에게 분재하여 사운드 이미지를 블러링(blurring)하는 것을 지칭한다. 용어 "폭(width)"은 출력 신호들을 외관상 폭 제어를 위한 각 채널로 상관해제시키는 것을 지칭한다. 폭은 각각의 스피커 급전 신호에 대해 적용되는 상관해제의 양을 제어하는 추가적인 스칼라 값일 수 있다.
본 명세서에 기술된 몇몇 구현들은 3D 축 배향 스프레드 제어를 제고한다. 이제 도 15a 및 도 15b를 참조하여 하나의 이러한 구현을 설명하도록 한다. 도 15a는 가상 재생 환경에서 오디오 객체 및 관련 오디오 객체 폭의 일 예를 나타낸다. 여기서, GUI(400)는 오디오 객체(505) 근처로 연장되고 오디오 객체 폭을 표시하는 타원체(1505)를 표시한다. 오디오 객체 폭은 오디오 객체 메타데이터에 의해 표시되고/되거나 사용자 입력에 따라 수신될 수 있다. 이 예에서는, 타원체(1505)의 x 및 y 치수들이 상이하지만, 다른 구현들에서는 이 치수들이 동일할 수도 있다. 타원체(1505)의 z 치수들은 도 15a에 나타나 있지 않다.
도 15b는 도 15a에 도시된 오디오 객체 폭에 대응하는 스프레드 프로파일(spread profile)의 일 예를 나타낸다. 스프레드는 3-차원 벡터 파라미터로 표현될 수 있다. 이 예에서, 스프레드 프로파일(1507)은 예를 들어, 사용자 입력에 따른 3 차원들을 따라서 독립적으로 제어될 수 있다. x 및 y 축들을 따르는 이득들은 곡선들(1510 및 1520)의 각각의 높이에 의해 도 15b에 표현되어 있다. 또한, 각각의 샘플(1512)에 대한 이득은 스프레드 프로파일(1507) 내의 해당 원들(1515)의 사이즈에 의해 표시된다. 도 15b에서 스피커들(1510)의 응답들은 회색 음영으로 표시되어 있다.
몇몇 구현들에서, 스프레드 프로파일(1507)은 각 축에 대한 가분 적분(separable integral)에 의해 구현될 수 있다. 몇몇 구현들에 따르면, 패닝(panning) 시의 음색 차(timbral discrepancies)를 방지하기 위하여, 최소 스프레드 값이 스피커 배치의 함수로서 자동 설정될 수 있다. 대안적으로, 또는 추가적으로는, 동화상 내의 신속 이동 이미지들이 블러링하는 방식과 유사하게, 오디오 객체 속도가 증가함에 따라 객체가 공간적으로 더욱 스프레드 아웃 하도록 하기 위해, 패닝된 오디오 객체의 속도 함수로서 자동 설정될 수 있다.
본 명세서에 기술된 바와 같은, 오디오 객체-기반 오디오 렌더링 구현들을 사용하는 경우, 잠재적으로 많은 개수의 오디오 트랙들과 첨부된 메타데이터(3-차원 공간에서 오디오 객체 위치들을 표시하는 메타데이터를 포함하며 이에 한정되지 않음)가 재생 환경으로 단독상태로 전달될 수 있다. 실시간 렌더링 툴은 이러한 재생 환경에 관한 정보 및 메타데이터를 사용하여 각 오디오 객체 재생을 최적화하기 위한 스피커 급전 신호들을 계산할 수 있다.
많은 개수의 오디오 객체들이 스피커 출력들로 함께 혼합되는 경우, 증폭된 아날로그 신호가 재생 스피커들로 플레이 백 될 시에, 디지털 영역(예를 들어, 아날로그 변환 이전에 디지털 신호가 클리핑(clipped) 될 수 있음) 또는 아날로그 영역에는 과부하가 발생할 수 있다. 두 케이스 모두 바람직하지 않은 가청 왜곡(audible distortion)을 야기할 수 있다. 또한, 아날로그 영역에서의 과부하는 재생 스피커들에 손상을 가할 수 있다.
그러므로, 본 명세서에 기술된 몇몇 구현들은 재생 스피커 과부하에 대응하여 동적 객체 "블로빙(blobbing)"을 포함한다. 주어진 스프레드 프로파일로 오디오 객체들이 렌더링 되는 경우, 몇몇 구현들에서는, 전체적으로는 일정한 에너지를 유지하면서, 에너지가 증가된 개수의 이웃 재생 스피커들로 향해질 수 있다. 예를 들어, 오디오 객체에 관한 에너지가 N 재생 스피커들에 대해 균일하게 퍼지게 되는 경우, 그것은 gain l/sqrt(N)로 출력되는 각 재생 스피커에 기여할 수 있다. 이러한 접근방식은 추가적인 혼합 "헤드룸(headroom)"을 제공하여, 클리핑과 같은 재생 스피커 왜곡을 제거 또는 방지할 수 있다.
수치적 예를 사용하기 위해, 스피커는 그것이 1.0 보다 큰 입력을 수신하는 경우, 클리핑하는 것으로 가정한다. 2개의 객체들이 스피커 A로 혼합되며, 하나는 레벨 1.0 이고, 다른 것은 레벨 0.25로 나타나는 것으로 가정한다. 블로빙(blobbing)이 사용되지 않는 경우, 스피커 A에서의 혼합 레벨은 총 1.25이 되며, 클립핑이 발생한다. 그러나, 제 1 객체가 다른 스피커 B와 블로빙되는 경우, (몇몇 구현들에 따르면) 각 스피커는 0.707로 그 객체를 수신하게 되며, 추가 객체들을 혼합하기 위해 스피커 A에서 추가적인 "헤드롬(headroom)"을 야기하게 된다. 스피커 A의 혼합 레벨은 0.707 + 0.25 = 0.957이 될 것이므로, 제 2 객체는 클립핑 없이 스피커 A로 안전하게 혼합될 수 있다.
몇몇 구현들에서는, 오서링 단계 동안, 각각의 오디오 객체가 주어진 혼합 이득을 가지고 스피커 존들(또는 모든 스피커 존들)의 서브세트로 혼합될 수 있다. 각 라우드스피커에 기여하는 모든 객체들의 동적 리스트는 미리 구성될 수 있다. 몇몇 구현들에서는, 이 리스트가 예를 들어, 혼합 이득만큼 승산된 신호의 본래 RMS(root mean square) 레벨의 프로덕트를 사용하여, 에너지 레벨들을 감소시킴으로써 소팅될 수 있다. 다른 구현들에서는, 이 리스트가 다른 기준, 예컨대 오디오 객체에 할당된 상대적 중요성에 따라 소팅될 수도 있다.
렌더링 프로세스 동안에, 주어진 재생 스피커 출력에 대한 과부하가 검출되는 경우, 오디오 객체들의 에너지는 수개의 재생 스피커들에 걸쳐 확산될 수 있다. 예를 들어, 오디오 객체들의 에너지는 과부하의 양 및 주어진 재생 스피커에 대한 각 오디오 객체의 상대적 기여도에 비례하는 폭 또는 스프레드 인자를 사용하여 확산될 수 있다. 동일한 오디오 객체가 수개의 과부하 재생 스피커들에 기여하는 경우, 몇몇 구현들에서, 그것의 폭 또는 스프레드 인자는 추가적으로 증가되어 오디오 데이터의 다음 렌더링 되는 프레임에 적용될 수 있다.
일반적으로, 하드 리미터(hard limiter)는 임계값에 대한 한계를 초과하는 값을 클립핑하게 된다. 위의 예에서와 같이, 스피커가 레벨 1.25에서 혼합 객체를 수신하고, 1.0의 최대 레벨만을 허용할 수 있는 경우에는, 그 객체가 1.0에 대한 "하드 리미터"가 된다. 소프트 리미터(soft limiter)는 절대 임계값에 도달하기 이전에 제한을 적용하기 시작하며, 이에 의해 더 부드럽고, 더 가청적으로 즐겁게 하는 결과물을 제공한다. 또한, 소프트 리미터는 향후 클립핑이 발생할 수 있는 시점을 예측하기 위해 "룩 어헤드(look ahead)" 특징을 사용할 수 있으며, 이에 의해 클립핑이 발생하는 시점 이전에 이득을 부드럽게 감소시키며 이에 따라 클립핑을 방지하게 된다.
본 명세서에서 제공되는 각종 "블로빙" 구현들은 공간 정확도/선명도의 열화를 방지하면서 가청 왜곡을 제한하기 위하여, 하드 리미터나 소프트 리미터와 함께 사용될 수 있다. 글로벌 스프레드 또는 리미터들 단독 사용과는 대조적으로, 블로빙 구현들은 라우드 객체들, 또는 주어진 콘텐츠 타입의 객체들을 선택적으로 타게팅할 수 있다. 이러한 구현들은 혼합기(mixer)에 의해 제어될 수 있다. 예를 들어, 재생 스피커들의 서브세트가 사용되지 않아야 한다는 것을 오디오 객체에 관한 스피커 존 제한 메타데이터가 표시하는 경우, 렌더링 장치는 블로빙 방법을 구현하는 것에 부가하여 해당 스피커 존 제한 규칙들을 적용할 수 있다.
도 16은 오디오 객체들을 블로빙하는 프로세스의 개요를 보여주는 흐름도이다. 프로세스(1600)는 오디오 객체 블로빙 기능을 활성화하는 하나 이상의 표시들이 수신되는 블록(1605)와 함께 시작된다. 상기 표시(들)은 렌더링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 몇몇 구현들에서, 상기 표시들은 재생 환경 구성에 대한 사용자 선택을 포함할 수 있다. 다른 구현들에서, 재생 환경 구성을 미리 선택할 수 있다.
블록(1607)에서는, (하나 이상의 오디오 객체들 및 관련 메타데이터를 포함하는) 오디오 재생 데이터가 수신된다. 몇몇 구현들에서, 메타데이터는 예를 들어 전술한 바와 같은 스피커 존 제한 메타데이터를 포함할 수 있다. 이 예에서, 블록(1610)에서는 오디오 객체 위치, 시간 및 스프레드 데이터가 오디오 재생 데이터로부터 파싱된다(또는 그렇지 않은 경우, 예컨대 사용자 인터페이스로부터의 입력을 통해 수신됨).
재생 스피커 응답들은 예를 들어 전술한 바와 같은 오디오 객체 데이터에 패닝 등식들을 적용함으로써 재생 환경 구성이 결정된다(블록 1612). 블록(1615)에서는, 오디오 객체 위치 및 재생 스피커 응답들이 디스플레이된다(블록(1615)). 또한, 재생 스피커 응답들은 로직 시스템과 통신하도록 구성된 스피커들을 통해 재생될 수 있다.
블록(1620)에서는, 재생 환경의 임의 재생 스피커에 대한 과부하가 검출되었는지의 여부를 로직 시스템이 결정한다. 검출된 경우에는, 전술한 바와 같은 오디오 객체 블로빙 규칙들이, 과부하가 검출되지 않을 때까지 적용될 수 있다(블록(1625)). 원하는 경우, 블록(1630)에서 출력된 오디오 데이터가 저장될 수 있으며, 재생 스피커들로 출력될 수도 있다.
블록(1635)에서는, 로직 시스템이 프로세스(1600)가 계속될 지의 여부를 결정할 수 있다. 예를 들어, 사용자가 그렇게 하기를 원하는 표시를 로직 시스템이 수신하는 경우, 프로세스(1600)는 계속될 수 있다. 예를 들어, 프로세스(1600)는 블록(1607) 또는 블록(1610)으로 복귀함으로써 계속될 수 있다. 그렇지 않은 경우, 프로세스(1600)는 종료될 수 있다(블록(1640)).
몇몇 구현들은 3-차원 공간에서 오디오 객체 위치를 이미지화하는데 사용될 수 있는 확장된 패닝 이득 등식들을 제공한다. 이제 도 17a 내지 도 17b를 참조하여 몇몇 예들을 설명하도록 한다. 도 17a 및 도 17b는 3-차원 가상 재생 환경에 위치된 오디오 객체의 예들을 보여주고 있다. 먼저 도 17a를 참조하면, 오디오 객체(505)의 위치가 가상 재생 환경(404) 내에서 확인될 수 있다. 이 예에서는, 도 17b에 나타낸 바와 같이, 스피커 존들(1-7)이 하나의 평면에 위치되어 있으며, 스피커 존들(8 및 9)이 다른 평면에 위치되어 있다. 그러나, 스피커 존들, 평면들 등의 개수는 단지 예시의 방법으로 이루진 것이며; 여기에 기술된 개념들은 상이한 개수의 스피커 존들(또는 개별 스피커들) 및 2개보다 많은 엘리베이션 평면들로 확장될 수도 있다.
이 예에서, 0에서 1의 범위로 존재할 수 있는 엘리베이션 파라미터 "z"는, 오디오 객체의 위치를 엘리베이션 평면들로 매핑한다. 이 예에서, 값 z = 0 는 스피커 존들(1-7)을 포함하는 베이스 평면에 대응하고, 값 z = 1 은 스피커 존들(8 및 9)을 포함하는 오버헤드 평면에 대응한다. 0과 1 사이의 e 의 값들은 베이스 평면의 스피커들만을 사용하여 생성된 사운드 이미지와 오버헤드 평면의 스피커들만을 사용하여 생성된 사운드 이미지 간의 조합에 대응한다.
도 17b에 나타낸 예에서, 오디오 객체(505)에 대한 엘리베이션 파라미터는 0.6의 값을 갖는다. 그러므로, 일 구현에서, 제 1 사운드 이미지는 베이스 평면에서의 오디오 객체(505)의 (x,y) 좌표들에 따라서, 베이스 평면에 관한 패닝 등식들을 사용하여 생성될 수 있다. 제 2 사운드 이미지는 오버헤드 평면에서의 오디오 객체(505)의 (x,y) 좌표들에 따라서, 오버헤드 평면에 관한 패닝 등식들을 사용하여 생성될 수 있다. 최종적으로 생성되는 사운드 이미지는 각 평면에 대한 오디오 객체(505)의 근접성에 따라, 제 1 사운드 이미지와 제 2 사운드 이미지를 조합함으로써 재생될 수 있다. 엘리베이션 z의 에너지 보존 함수 또는 진폭 보존 함수가 적용될 수도 있다. 예를 들어, z가 0에서 1의 범위에 있을 수 있는 것으로 가정하면, 제 1 사운드 이미지의 이득 값들은 Cos(z*π/2) 만큼 곱해질 수 있고, 제 2 사운드 이미지의 이득 값들은 sin(z*π/2) 만큼 곱해질 수 있으며, 이에 따라 그들의 제곱의 합은 1이 된다(에너지 보존).
본 명세서에 기술된 다른 구현들은 2개 이상의 패닝 기술들에 기초하여 이득들을 계산하는 것과, 하나 이상의 파라미터들에 기초하여 종합적인 이득을 생성하는 것을 포함할 수 있다. 상기 파라미터들은 다음 중의 하나 이상을 포함할 수 있다: 소망하는 오디오 객체 위치; 소망하는 오디오 객체 위치에서 기준 위치까지의 거리; 오디오 객체의 속력 또는 속도; 또는 오디오 객체 콘텐츠 타입.
이제 도 18 이하를 참조하여 몇몇의 이러한 구현들을 설명하도록 한다. 도 18은 상이한 패닝 모드들에 대응하는 존들의 예를 나타낸다. 이들 존들의 사이즈, 형상 및 규모는 단순히 예시의 방법으로 이루어져 있다. 이 예에서는, 존(1805) 내에 위치된 오디오 객체들에 대해 근계(near-field) 패닝 방법들이 적용되어 있으며, 존(1810)의 바깥쪽에 있는 존(1815)에 위치된 오디오 객체들에 대해서는 원계(far-field) 패닝 방법들이 적용되어 있다.
도 19a 내지 도 19d는 상이한 로케이션들에 있는 오디오 객체들에 대해 근계(near-field) 및 원계(far-field) 패닝 기술들을 적용한 예들을 나타낸다. 먼저 도 19a를 참조하면, 오디오 객체는 실질적으로 가상 재생 환경(1900)의 바깥쪽에 있다. 이 로케이션은 도 18의 존(1815)에 대응한다. 그러므로, 이 예에서는 하나 이상의 원계 패닝 방법들이 적용될 것이다. 몇몇 구현들에서, 원계 패닝 방법들은 당업자에게 알려진 벡터-기반 진폭 패닝(vector-based amplitude panning; VBAP)에 기초할 수 있다. 예를 들어, 원계 패닝 방법들은 V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources(AES International Conference on Virtual, Synthetic and Entertainment Audio)의 4페이지, 섹션 2.3에 기술된 VBAP 등식들에 기초할 수 있으며, 이것은 참조에 의해 본 명세서에 포함된다. 다른 구현들에서, 다른 방법들이 원계 및 근계 오디오 객체들을 패닝하는데 사용될 수 있으며, 예를 들어, the synthesis of corresponding acoustic planes or spherical wave. D. de Vries, Wave Field Synthesis(AES Monograph 1999)을 포함하는 방법들이 적절한 방법들을 기술하고 있고, 이 내용은 참조에 의해 본 명세서에 포함된다.
이제 도 19b를 참조하면, 오디오 객체가 가상 재생 환경(1900)의 내부에 존재한다. 이 로케이션은 도 18의 존(1805)에 대응한다. 그러므로, 이 예에서는 하나 이상의 근계 패닝 방법들이 적용될 것이다. 몇몇의 이러한 근계 패닝 방법들은 가상 재생 환경(1900)에서 오디오 객체(505)를 둘러싸는 스피커 존들의 개수를 사용하게 된다.
몇몇 구현들에서, 근계 패닝 방법은 "듀얼-밸런스(dual-balance)" 패닝 및 2 세트의 이득들을 조합하는 것을 포함할 수 있다. 도 19b에 도시된 예에서, 제 1 세트의 이득들은 y축을 따라 오디오 객체(505)의 위치들을 둘러싸는 2 세트의 스피커 존들 사이의 전방/후방 밸런스에 대응한다. 대응하는 응답들은 스피커 존들(1915 및 1960)을 제외한, 가상 재생 환경(1900)의 모든 스피커 존들을 포함한다.
도 19c에 도시된 예에서, 제 2 세트의 이득들은 x축을 따라 오디오 객체(505)의 위치들을 둘러싸는 2 세트의 스피커 존들 사이의 좌측/우측 밸런스에 대응한다. 대응하는 응답들은 스피커 존들(1905 내지 1925)을 포함한다. 도 19d는 도 19b 및 도 19c에 나타낸 응답들을 조합한 결과를 나타낸다.
오디오 객체가 가상 재생 환경(1900)에 들어오고 나감에 따라 상이한 패닝 모드들 사이를 조합하는 것이 바람직할 수 있다. 그러므로, 근계 패닝 방법들 및 원계 패닝 방법들에 따라 계산된 이득들의 조합이 존(1810)에 위치된 오디오 객체들에 대해 적용된다(도 18 참조). 몇몇 구현들에서는, 페어-와이즈 패닝 법칙(pair-wise panning law)(예컨대, 에너지 보존 사인 또는 멱법칙)이 근계 패닝 방법들 및 원계 패닝 방법들에 따라 계산된 이득들 사이를 조합하는데 사용될 수 있다. 다른 구현들에서, 페어-와이즈 패닝 법칙은 에너지 보존이 아닌 진폭 보존일 수 있으며, 이에 따라 그 제곱의 합이 1이 되는 대신에 그 합이 1이 되도록 한다. 또한, 최종적으로 생성된 처리 신호들을 조합하는 것이 가능할 수 있으며, 예를 들어 패닝 방법들을 독립적으로 사용하여 오디오 신호를 처리하고 또한 2개의 최종 오디오 신호들을 크로스 패이드(cross-fade) 하는 것이 가능하다.
주어진 오서링 경로에 대한 상이한 리렌더링을 용이하게 미세조정하기 위해, 콘텐츠 생성기 및/또는 콘텐츠 재생기를 허용하는 메커니즘을 제공하는 것이 바람직할 수 있다. 동화상들을 혼합하는 문맥에서, 스크린-투-룸 에너지 밸런스의 개념은 중요하게 고려된다. 몇몇 예들에서, 주어진 사운드 경로(또는 '팬(pan)')의 자동 리렌더링은 재생 환경 내의 재생 스피커들의 개수에 따라, 상이한 스크린-투-룸 밸런스를 야기하게 된다. 몇몇 구현들에 따르면, 오서링 프로세스 동안 생성된 메타데이터에 따라 스크린-투-룸 바이어스가 제어될 수 있다. 다른 구현들에 따르면, 스크린-투-룸 바이어스는 메타데이터에 대한 응답으로가 아닌, 렌더링 쪽에서(즉, 콘텐츠 재생기의 제어하에) 단독으로 제어될 수 있다.
그러므로, 본 명세서에 기술된 몇몇 구현들은 하나 이상 형태의 스크린-투-룸 바이어스 제어를 제공한다. 몇몇 이러한 구현들에서, 스크린-투-룸 바이어스는 스케일링 동작(scaling operation)으로서 구현될 수 있다. 예를 들어, 스케일링 동작은 프론트-투-백 방향을 따르는 본래 의도된 오디오 객체의 경로 및/또는 패닝 이득들을 결정하기 위해 렌더러에서 사용되는 스피머의 스케일링을 포함할 수 있다. 몇몇 이러한 구현들에서, 스크린-투-룸 바이어스 제어는 0과 최대값(예컨대, 1) 사이의 가변값일 수 있다. 변동(variation)은 예를 들어, GUI, 가상 또는 물리적 슬라이더, 놉(knob) 등으로 제어될 수 있다.
대안적으로, 또는 추가적으로, 스크린-투-룸 바이어스 제어는 몇몇 형태의 스피커 영역 제한을 사용하여 구현될 수도 있다. 도 20은 스크린-투-룸 바이어스 제어 프로세스에서 사용될 수 있는 재생 환경의 스피커 존들을 나타낸다. 이 예에서, 전방 스피커 영역(2005)과 후방 스피커 영역(2010)(또는 2015)이 확립될 수 있다. 스크린-투-룸 바이어스는 선택된 스피커 영역들의 함수로서 조절될 수 있다. 몇몇 이러한 구현들에서, 스크린-투-룸 바이어스는 전방 스피커 영역(2005)과 후방 스피커 영역(2010)(또는 2015) 사이의 스케일링 동작으로서 구현될 수 있다. 다른 구현들에서, 스크린-투-룸 바이어스는 예를 들어, 사용자로 하여금 전방-쪽 바이어스, 후방-쪽 바이어스 또는 바이어스 없음을 선택할 수 있게 함으로써 2진 방식으로 구현될 수 있다. 각 경우에 대한 바이어스 설정들은 전방 스피커 영역(2005) 및 후방 스피커 영역(2010)(또는 2015)에 대한 미리결정된(및 일반적으로는 넌-제로인) 바이어스 레벨들에 대응할 수 있다. 본질적으로, 이러한 구현들은 연속 값인 스케일링 동작 대신에(또는 이에 부가하여) 스크린-투-룸 바이어스 제어에 대한 3개의 프리-세트들을 제공할 수 있다.
몇몇의 이러한 구현들에 따르면, 측벽들을 전방 측벽과 후방 측벽으로 분할하는 것에 의해, 오서링 GUI(예컨대, 400)에 2개의 추가의 논리적 스피커 존들이 생성될 수 있다. 몇몇 구현들에서, 2개의 추가의 논리적 스피커 존들은 렌더러의 좌측 벽/좌측 서라운드 사운드 영역 및 우측 벽/우측 서라운드 사운드 영역에 대응한다. 이 2개 논리적 스피커 존들 중의 어떤 것이 활성화되는지의 사용자 선택에 따라, 렌더링 툴은 돌비 5.1 또는 돌비 7.1 구성들로의 렌더링 시에 (예컨대, 전술한 바와 같은) 프리세트 스케일링 인자들을 적용할 수 있다. 또한, 렌더링 툴은 예를 들어, 그들의 물리적 스피커 구성들이 측벽 상에 단지 하나의 물리적 스피커를 가지기 때문에, 이들 2개의 추가 논리적 존들의 정의를 지원하지 않는 재생 환경들에 대한 렌더링시에, 그러한 프리세트 스케일링 인자들을 적용할 수 있다.
도 21은 오서링 및/또는 렌더링 장치들의 컴포넌트들의 예들을 제공하는 블록도이다. 이 예에서, 디바이스(2100)는 인터페이스 시스템(2105)을 포함한다. 인터페이스 시스템(2105)은 무선 네트워크 인터페이스와 같은 네트워크 인터페이스를 포함할 수 있다. 대안적으로, 또는 추가적으로, 인터페이스 시스템(2105)은 USB(universal serial bus) 인터페이스 또는 다른 이러한 인터페이스를 포함할 수 있다.
디바이스(2100)는 로직 시스템(2110)을 포함한다. 로직 시스템(2110)은 범용 단일-칩 프로세서 또는 멀티-칩 프로세서와 같은 프로세서를 포함할 수 있다. 로직 시스템(2110)은 DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 프로그래머블 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 또는 이산 하드웨어 컴포넌트들, 그 조합들을 포함할 수 있다. 로직 시스템(2110)은 디바이스(2100)의 다른 컴포넌트들을 제어하도록 구성될 수 있다. 디바이스(2100)의 컴포넌트들 사이에는 인터페이스들이 존재하지 않는 것으로 도 21에 나타나 있지만, 로직 시스템(2110)은 다른 컴포넌트들과의 통신을 위한 인터페이스들을 갖도록 구성될 수 있다. 다른 컴포넌트들은 적절하게 서로 통신하도록 구성되거나, 또는 그렇지 않을 수도 있다.
로직 시스템(2110)은 오디오 오서링 및/또는 렌더링 기능을 수행하도록 구성될 수 있고, 이것은 본 명세서에 기술된 오디오 오서링 및/또는 렌더링 기능의 타입들을 포함하지만 이에 한정되지 않는다. 몇몇 이러한 구현들에서, 로직 시스템(2110)은 (적어도 부분적으로는) 하나 이상의 비일시적 매체에 저장된 소프트웨어에 따라 동작하도록 구성될 수 있다. 비일시적 매체는 로직 시스템(2110)과 연동되는 메모리, 예를 들어 RAM(random access memory) 및/또는 ROM(read-only memory)를 포함할 수 있다. 비일시적 매체는 메모리 시스템(2115)의 메모리를 포함할 수 있다. 메모리 시스템(2115)은 하나 이상의 적절한 타입의 비일시적 저장 매체, 예컨대 플래시 메모리, 하드 드라이브 등을 포함할 수 있다.
디스플레이 시스템(2130)은 디바이스(2100)의 표시에 따라, 하나 이상의 적절한 타입의 디스플레이를 포함할 수 있다. 예를 들어, 디스플레이 시스템(2130)은 액정 디스플레이, 플라즈마 디스플레이, 쌍안정 디스플레이 등을 포함할 수 있다.
사용자 입력 시스템(2135)은 사용자로부터의 입력을 받아들이도록 구성된 하나 이상의 디바이스들을 포함할 수 있다. 몇몇 구현들에서, 사용자 입력 시스템(2135)은 디스플레이 시스템(2130)의 디스플레이 위에 놓인 터치 스크린을 포함할 수 있다. 사용자 입력 시스템(2135)은 마우스, 트랙 볼(track ball), 제스처 검출 시스템, 조이스틱, 하나 이상의 GUI 및/또는 디스플레이 시스템(2130)에 제공된 메뉴들, 버튼들, 키보드, 스위치들 등을 포함할 수 있다. 몇몇 구현들에서, 사용자 입력 시스템(2135)은 마이크로폰(2125)을 포함할 수 있으며: 사용자는 마이크로폰(2125)을 통해 디바이스(2100)에 대해 음성 명령을 제공할 수 있다. 로직 시스템은 음성을 인식하고 또한 이러한 음성 명령에 따라 디바이스(2100)의 적어도 몇몇 동작들을 제어하도록 구성될 수 있다.
전력 시스템(2140)은 하나 이상의 적절한 에너지 저장 디바이스들, 예컨대 니켈-카드뮴 배터리 또는 리튬-이온 배터리를 포함할 수 있다. 전력 시스템(2140)은 콘센트로부터 전력을 수신하도록 구성될 수 있다.
도 22a는 오디오 콘텐츠 생성을 위해 사용될 수 있는 몇몇 컴포넌트들을 나타낸 블록도이다. 시스템(2200)은 예를 들어 믹싱 스튜디오 및/또는 더빙 스테이지에서의 오디오 콘텐츠 생성을 위해 사용될 수 있다. 이 예에서, 시스템(2200)은 오디오 및 메타데이터 오서링 툴(2205)과 렌더링 툴(2210)을 포함한다. 이 구현에서, 오디오 및 메타데이터 오서링 툴(2205)과 렌더링 툴(2210)은 각각 오디오 커넥트 인터페이스들(2207 및 2212)을 포함하며, 이것은 AES/EBU, MADI, 아날로그 등을 통해 통신하도록 구성될 수 있다. 오디오 및 메타데이터 오서링 툴(2205)과 렌더링 툴(2210)은 각각 네트워크 인터페이스들(2209 및 2217)을 포함하며, 이것은 TCP/IP 또는 임의의 다른 적절한 프로토콜을 통해 메타데이터를 송수신하도록 구성될 수 있다. 인터페이스(2220)는 오디오 데이터를 스피커들로 출력하도록 구성된다.
시스템(2200)은 예를 들어 플러그인으로서 메타데이터 생성 툴(즉, 본 명세서에 기술된 패너(panner))을 실행하는, Pro Tools™ 시스템과 같은 기존의 오서링 시스템을 포함할 수 있다. 또한, 패너는 렌더링 툴(2210)에 연결된 독립형 시스템(예컨대, PC 또는믹싱 콘솔)에서 실행되거나, 렌더링 툴(2210)과 동일한 물리적 디바이스에서 실행될 수 있다. 후자의 경우에, 패너 및 렌더러는 예컨대 공유 메모리를 통한 로컬 연결을 사용할 수 있다. 또한, 패너 GUI는 태블릿 디바이스, 랩톱 등에 대한 원격지에 존재할 수 있다. 렌더링 툴(2210)은 렌더링 소프트웨어를 실행하도록 구성된 사운드 프로세서를 포함하는 렌더링 시스템으로 구성될 수 있다. 렌더링 시스템은 예를 들어, 오디오 입/출력 및 적절한 로직 시스템을 위한 인터페이스들을 포함하는 개인용 컴퓨터, 랩톱 등을 포함할 수 있다.
도 22b는 재생 환경(예컨대, 무비 시어터)에서 오디오 플레이백을 위해 사용될 수 있는 몇몇 컴포넌트들을 나타내는 블록도이다. 이 예에서, 시스템(2250)은 시네마 서버(2255) 및 렌더링 시스템(2260)을 포함한다. 시네마 서버(2255) 및 렌더링 시스템(2260)은 각각 네트워크 인터페이스들(2257 및 2262)을 포함하며, 이것은 TCP/IP 또는 임의의 다른 적절한 프로토콜을 통해 오디오 객체들을 송수신하도록 구성될 수 있다. 인터페이스(2264)는 오디오 데이터를 스피커들로 출력하도록 구성된다.
본 발명에서 기술된 구현들에 대한 여러 가지 변형들이 당업자에게는 쉽고 명백할 수 있다. 본 명세서에 규정된 일반 원리들은 본 발명의 사상 또는 범위를 일탈하지 않는 범위 내에서 다른 구현들에 적용될 수 있다. 따라서, 본 청구범위들은 여기에 나타낸 구현들로 한정되는 것으로 의도치 않으며, 본 발명, 원리들 및 여기에 개시된 신규 특징들과 일치하는 최광의 범위가 주어져야만 한다.

Claims (3)

  1. 하나 이상의 오디오 객체들, 및 상기 하나 이상의 오디오 객체들 각각에 관련된 메타데이터를 포함하는 오디오 재생 데이터를 수신하는 단계;
    재생 환경에서의 복수의 재생 스피커들의 표시 및 상기 재생 환경 내의 각 재생 스피커의 로케이션의 표시를 포함하는 재생 환경 데이터를 수신하는 단계; 및
    각 오디오 객체에 진폭 패닝(panning) 프로세스를 적용하여 상기 오디오 객체들을 하나 이상의 스피커 급전 신호들로 렌더링(rendering)하는 단계로서, 상기 진폭 패닝 프로세스는 각 오디오 객체에 관련된 상기 메타데이터, 및 상기 재생 환경 내의 각 재생 스피커의 로케이션에 적어도 부분적으로 기초하고, 각 스피커 급전 신호는 상기 재생 환경 내의 상기 재생 스피커들 중 적어도 하나에 대응하는, 렌더링(rendering)하는 단계; 를 포함하되,
    상기 각 오디오 객체에 관련된 상기 메타데이터는,
    상기 재생 환경 내에서 상기 오디오 객체의 예정된 재생 위치를 표시하는 오디오 객체 좌표들과, 3 개의 차원들 중 2 이상의 차원에서의 오디오 객체 스프레드(spread)들을 표시하는 메타 데이터를 포함하며,
    상기 오디오 객체 스프레드들은, 상기 2 이상의 차원에서 동일하고,
    상기 렌더링(rendering)하는 단계는,
    상기 메타 데이터에 반응하여 상기 2 이상의 차원에서 상기 오디오 객체 스프레드들을 제어하는, 방법.
  2. 인터페이스 시스템; 및
    로직 시스템; 을 포함하는 장치로서,
    상기 로직 시스템은,
    상기 인터페이스 시스템을 통하여, 하나 이상의 오디오 객체들, 및 상기 하나 이상의 오디오 객체들 각각에 관련된 메타데이터를 포함하는 오디오 재생 데이터를 수신하는 단계;
    상기 인터페이스 시스템을 통하여, 재생 환경에서의 복수의 재생 스피커들의 표시 및 상기 재생 환경 내의 각 재생 스피커의 로케이션의 표시를 포함하는 재생 환경 데이터를 수신하는 단계; 및
    각 오디오 객체에 진폭 패닝(panning) 프로세스를 적용하여 상기 오디오 객체들을 하나 이상의 스피커 급전 신호들로 렌더링(rendering)하는 단계로서, 상기 진폭 패닝 프로세스는, 각 오디오 객체에 관련된 상기 메타데이터 및 상기 재생 환경 내의 각 재생 스피커의 로케이션에, 적어도 부분적으로, 기초하고, 각 스피커 급전 신호는 상기 재생 환경 내의 상기 재생 스피커들 중 적어도 하나에 대응하는, 렌더링(rendering)하는 단계; 를 수행하도록 구성되고,
    각 오디오 객체와 관련된 상기 메타데이터는,
    상기 재생 환경 내에서 상기 오디오 객체의 예정된 재생 위치를 표시하는 오디오 객체 좌표들과, 3 개의 차원들 중 2 이상의 차원에서의 오디오 객체 스프레드(spread)들을 표시하는 메타데이터를 포함하며,
    상기 오디오 객체 스프레드들은 상기 2 이상의 차원에서 동일하고,
    상기 렌더링(rendering)하는 단계는,
    상기 메타데이터에 반응하여 2 이상의 차원에서의 상기 오디오 객체 스프레드들을 제어하는 것을 포함하는, 장치.
  3. 일련의 명령들이 저장된 비일시적 매체로서, 상기 명령들은, 오디오 신호 처리 장치에 의해 실행되었을 때, 상기 오디오 신호 처리 장치가 방법을 수행하도록 야기하며, 상기 방법은:
    하나 이상의 오디오 객체들 및 상기 하나 이상의 오디오 객체들 각각에 관련된 메타데이터를 포함하는 오디오 재생 데이터를 수신하는 단계;
    재생 환경에서의 복수의 재생 스피커들의 표시 및 상기 재생 환경 내의 각 재생 스피커의 로케이션의 표시를 포함하는 재생 환경 데이터를 수신하는 단계; 및
    각 오디오 객체에 진폭 패닝(panning) 프로세스를 적용하여 상기 오디오 객체들을 하나 이상의 스피커 급전 신호들로 렌더링(rendering)하는 단계로서, 상기 진폭 패닝 프로세스는, 각 오디오 객체에 관련된 상기 메타데이터 및 상기 재생 환경 내의 각 재생 스피커의 로케이션에, 적어도 부분적으로, 기초하고, 각 스피커 급전 신호는 상기 재생 환경 내의 상기 재생 스피커들 중 적어도 하나에 대응하는, 렌더링(rendering)하는 단계;
    를 포함하고,
    각 오디오 객체와 관련된 상기 메타데이터는,
    상기 재생 환경 내에서 상기 오디오 객체의 예정된 재생 위치를 표시하는 오디오 객체 좌표들과, 3 개의 차원들 중 2 이상의 차원에서 오디오 객체 스프레드(spread)들을 표시하는 메타데이터를 포함하며,
    상기 오디오 객체 스프레드들은 상기 2 이상의 차원에서 동일하고,
    상기 렌더링하는 단계는,
    상기 메타데이터에 반응하여 상기 2 이상의 차원들에서의 상기 오디오 객체 스프레드를 제어하는, 비일시적 매체.
KR1020197035259A 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들 Active KR102156311B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207025906A KR102394141B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161504005P 2011-07-01 2011-07-01
US61/504,005 2011-07-01
US201261636102P 2012-04-20 2012-04-20
US61/636,102 2012-04-20
PCT/US2012/044363 WO2013006330A2 (en) 2011-07-01 2012-06-27 System and tools for enhanced 3d audio authoring and rendering

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197006780A Division KR102052539B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207025906A Division KR102394141B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들

Publications (2)

Publication Number Publication Date
KR20190134854A KR20190134854A (ko) 2019-12-04
KR102156311B1 true KR102156311B1 (ko) 2020-09-15

Family

ID=46551864

Family Applications (9)

Application Number Title Priority Date Filing Date
KR1020237021095A Active KR102790093B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020157001762A Active KR101843834B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020207025906A Active KR102394141B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020227014397A Active KR102548756B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020187008173A Active KR101958227B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020137035119A Active KR101547467B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020197006780A Active KR102052539B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020257010060A Pending KR20250047841A (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020197035259A Active KR102156311B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들

Family Applications Before (8)

Application Number Title Priority Date Filing Date
KR1020237021095A Active KR102790093B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020157001762A Active KR101843834B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020207025906A Active KR102394141B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020227014397A Active KR102548756B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020187008173A Active KR101958227B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020137035119A Active KR101547467B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020197006780A Active KR102052539B1 (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
KR1020257010060A Pending KR20250047841A (ko) 2011-07-01 2012-06-27 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들

Country Status (20)

Country Link
US (9) US9204236B2 (ko)
EP (5) EP4132011B1 (ko)
JP (10) JP5798247B2 (ko)
KR (9) KR102790093B1 (ko)
CN (2) CN103650535B (ko)
AR (1) AR086774A1 (ko)
AU (8) AU2012279349B2 (ko)
BR (1) BR112013033835B1 (ko)
CA (7) CA3134353C (ko)
CL (1) CL2013003745A1 (ko)
DK (1) DK2727381T3 (ko)
ES (4) ES3020342T3 (ko)
HU (1) HUE058229T2 (ko)
IL (9) IL298624B2 (ko)
MX (5) MX349029B (ko)
MY (1) MY181629A (ko)
PL (1) PL2727381T3 (ko)
RU (2) RU2554523C1 (ko)
TW (8) TWI548290B (ko)
WO (1) WO2013006330A2 (ko)

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4132011B1 (en) 2011-07-01 2025-03-26 Dolby Laboratories Licensing Corporation Apparatus for rendering audio objects according to imposed speaker zone constraints, corresponding method and computer program product
KR101901908B1 (ko) * 2011-07-29 2018-11-05 삼성전자주식회사 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치
KR101744361B1 (ko) * 2012-01-04 2017-06-09 한국전자통신연구원 다채널 오디오 신호 편집 장치 및 방법
US9264840B2 (en) * 2012-05-24 2016-02-16 International Business Machines Corporation Multi-dimensional audio transformations and crossfading
WO2013192111A1 (en) * 2012-06-19 2013-12-27 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
WO2014044332A1 (en) * 2012-09-24 2014-03-27 Iosono Gmbh Method for controlling a three-dimensional multi-layer speaker arrangement and apparatus for playing back three-dimensional sound in an audience area
US10158962B2 (en) 2012-09-24 2018-12-18 Barco Nv Method for controlling a three-dimensional multi-layer speaker arrangement and apparatus for playing back three-dimensional sound in an audience area
RU2612997C2 (ru) * 2012-12-27 2017-03-14 Николай Лазаревич Быченко Способ управления звуком для зрительного зала
JP6174326B2 (ja) * 2013-01-23 2017-08-02 日本放送協会 音響信号作成装置及び音響信号再生装置
EP2974384B1 (en) 2013-03-12 2017-08-30 Dolby Laboratories Licensing Corporation Method of rendering one or more captured audio soundfields to a listener
BR122022005121B1 (pt) * 2013-03-28 2022-06-14 Dolby Laboratories Licensing Corporation Método, meio não transitório e aparelho
EP2979467B1 (en) 2013-03-28 2019-12-18 Dolby Laboratories Licensing Corporation Rendering audio using speakers organized as a mesh of arbitrary n-gons
WO2014159898A1 (en) 2013-03-29 2014-10-02 Dolby Laboratories Licensing Corporation Methods and apparatuses for generating and using low-resolution preview tracks with high-quality encoded object and multichannel audio signals
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
EP2982138A1 (en) 2013-04-05 2016-02-10 Thomson Licensing Method for managing reverberant field for immersive audio
WO2014168618A1 (en) * 2013-04-11 2014-10-16 Nuance Communications, Inc. System for automatic speech recognition and audio entertainment
WO2014171706A1 (ko) * 2013-04-15 2014-10-23 인텔렉추얼디스커버리 주식회사 가상 객체 생성을 이용한 오디오 신호 처리 방법
US10171926B2 (en) 2013-04-26 2019-01-01 Sony Corporation Sound processing apparatus and sound processing system
RU2667377C2 (ru) 2013-04-26 2018-09-19 Сони Корпорейшн Способ и устройство обработки звука и программа
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
CN105191354B (zh) * 2013-05-16 2018-07-24 皇家飞利浦有限公司 音频处理装置及其方法
US9491306B2 (en) * 2013-05-24 2016-11-08 Broadcom Corporation Signal processing control in an audio device
TWI615834B (zh) * 2013-05-31 2018-02-21 Sony Corp 編碼裝置及方法、解碼裝置及方法、以及程式
KR101458943B1 (ko) * 2013-05-31 2014-11-07 한국산업은행 가상 스크린 내 오브젝트 위치를 이용한 스피커 제어 장치 및 방법
CN105340300B (zh) * 2013-06-18 2018-04-13 杜比实验室特许公司 用于音频呈现的低音管理
EP2818985B1 (en) * 2013-06-28 2021-05-12 Nokia Technologies Oy A hovering input field
EP2830050A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830049A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
RU2716037C2 (ru) * 2013-07-31 2020-03-05 Долби Лэборетериз Лайсенсинг Корпорейшн Обработка пространственно-диффузных или больших звуковых объектов
US9483228B2 (en) 2013-08-26 2016-11-01 Dolby Laboratories Licensing Corporation Live engine
US8751832B2 (en) * 2013-09-27 2014-06-10 James A Cashin Secure system and method for audio processing
CN105637901B (zh) * 2013-10-07 2018-01-23 杜比实验室特许公司 空间音频处理系统和方法
KR102226420B1 (ko) * 2013-10-24 2021-03-11 삼성전자주식회사 다채널 오디오 신호 생성 방법 및 이를 수행하기 위한 장치
EP3657823A1 (en) * 2013-11-28 2020-05-27 Dolby Laboratories Licensing Corporation Position-based gain adjustment of object-based audio and ring-based channel audio
EP2892250A1 (en) * 2014-01-07 2015-07-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a plurality of audio channels
US9578436B2 (en) * 2014-02-20 2017-02-21 Bose Corporation Content-aware audio modes
RU2752600C2 (ru) 2014-03-24 2021-07-29 Самсунг Электроникс Ко., Лтд. Способ и устройство для рендеринга акустического сигнала и машиночитаемый носитель записи
CN103885596B (zh) * 2014-03-24 2017-05-24 联想(北京)有限公司 一种信息处理方法及电子设备
KR101534295B1 (ko) * 2014-03-26 2015-07-06 하수호 멀티 뷰어 영상 및 3d 입체음향 제공방법 및 장치
EP2928216A1 (en) * 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
EP2925024A1 (en) * 2014-03-26 2015-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition
WO2015152661A1 (ko) * 2014-04-02 2015-10-08 삼성전자 주식회사 오디오 오브젝트를 렌더링하는 방법 및 장치
KR102258784B1 (ko) 2014-04-11 2021-05-31 삼성전자주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2015177224A1 (en) * 2014-05-21 2015-11-26 Dolby International Ab Configuring playback of audio via a home audio playback system
USD784360S1 (en) 2014-05-21 2017-04-18 Dolby International Ab Display screen or portion thereof with a graphical user interface
PL3800898T3 (pl) * 2014-05-28 2023-12-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Procesor danych i transport danych kontrolnych użytkownika do dekoderów audio i modułów renderowania
DE102014217626A1 (de) * 2014-09-03 2016-03-03 Jörg Knieschewski Lautsprechereinheit
EP3196876B1 (en) 2014-09-04 2020-11-18 Sony Corporation Transmitting device, transmitting method, receiving device and receiving method
US9706330B2 (en) * 2014-09-11 2017-07-11 Genelec Oy Loudspeaker control
CN113077800B (zh) 2014-09-12 2024-07-02 索尼公司 发送装置、发送方法、接收装置以及接收方法
EP3192282A1 (en) * 2014-09-12 2017-07-19 Dolby Laboratories Licensing Corp. Rendering audio objects in a reproduction environment that includes surround and/or height speakers
CN113921020B (zh) 2014-09-30 2025-10-10 索尼公司 发送装置、发送方法、接收装置和接收方法
US10142757B2 (en) 2014-10-16 2018-11-27 Sony Corporation Transmission device, transmission method, reception device, and reception method
GB2532034A (en) * 2014-11-05 2016-05-11 Lee Smiles Aaron A 3D visual-audio data comprehension method
CN106537942A (zh) * 2014-11-11 2017-03-22 谷歌公司 3d沉浸式空间音频系统和方法
MX2017006581A (es) 2014-11-28 2017-09-01 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion, y metodo de recepcion.
USD828845S1 (en) 2015-01-05 2018-09-18 Dolby International Ab Display screen or portion thereof with transitional graphical user interface
US10225676B2 (en) 2015-02-06 2019-03-05 Dolby Laboratories Licensing Corporation Hybrid, priority-based rendering system and method for adaptive audio
CN105992120B (zh) 2015-02-09 2019-12-31 杜比实验室特许公司 音频信号的上混音
US10475463B2 (en) 2015-02-10 2019-11-12 Sony Corporation Transmission device, transmission method, reception device, and reception method for audio streams
CN105989845B (zh) * 2015-02-25 2020-12-08 杜比实验室特许公司 视频内容协助的音频对象提取
WO2016148553A2 (ko) * 2015-03-19 2016-09-22 (주)소닉티어랩 3차원 사운드를 편집 및 제공하는 방법 및 장치
US9609383B1 (en) * 2015-03-23 2017-03-28 Amazon Technologies, Inc. Directional audio for virtual environments
CN111586533B (zh) * 2015-04-08 2023-01-03 杜比实验室特许公司 音频内容的呈现
EP3286929B1 (en) * 2015-04-20 2019-07-31 Dolby Laboratories Licensing Corporation Processing audio data to compensate for partial hearing loss or an adverse hearing environment
US10304467B2 (en) 2015-04-24 2019-05-28 Sony Corporation Transmission device, transmission method, reception device, and reception method
US10187738B2 (en) * 2015-04-29 2019-01-22 International Business Machines Corporation System and method for cognitive filtering of audio in noisy environments
US10628439B1 (en) 2015-05-05 2020-04-21 Sprint Communications Company L.P. System and method for movie digital content version control access during file delivery and playback
US9681088B1 (en) * 2015-05-05 2017-06-13 Sprint Communications Company L.P. System and methods for movie digital container augmented with post-processing metadata
WO2016183379A2 (en) 2015-05-14 2016-11-17 Dolby Laboratories Licensing Corporation Generation and playback of near-field audio content
KR101682105B1 (ko) * 2015-05-28 2016-12-02 조애란 입체음향 조절 방법 및 장치
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
EP3313103B1 (en) 2015-06-17 2020-07-01 Sony Corporation Transmission device, transmission method, reception device and reception method
JP6962192B2 (ja) * 2015-06-24 2021-11-05 ソニーグループ株式会社 音声処理装置および方法、並びにプログラム
WO2016210174A1 (en) * 2015-06-25 2016-12-29 Dolby Laboratories Licensing Corporation Audio panning transformation system and method
US9913065B2 (en) 2015-07-06 2018-03-06 Bose Corporation Simulating acoustic output at a location corresponding to source position data
US9854376B2 (en) * 2015-07-06 2017-12-26 Bose Corporation Simulating acoustic output at a location corresponding to source position data
US9847081B2 (en) 2015-08-18 2017-12-19 Bose Corporation Audio systems for providing isolated listening zones
SG11201710889UA (en) 2015-07-16 2018-02-27 Sony Corp Information processing apparatus, information processing method, and program
TWI736542B (zh) * 2015-08-06 2021-08-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
EP3145220A1 (en) 2015-09-21 2017-03-22 Dolby Laboratories Licensing Corporation Rendering virtual audio sources using loudspeaker map deformation
US20170098452A1 (en) * 2015-10-02 2017-04-06 Dts, Inc. Method and system for audio processing of dialog, music, effect and height objects
WO2017087564A1 (en) * 2015-11-20 2017-05-26 Dolby Laboratories Licensing Corporation System and method for rendering an audio program
ES2971421T3 (es) 2015-11-20 2024-06-05 Dolby Laboratories Licensing Corp Renderización mejorada de contenido de audio inmersivo
JP6876924B2 (ja) 2015-12-08 2021-05-26 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
EP3389260A4 (en) * 2015-12-11 2018-11-21 Sony Corporation Information processing device, information processing method, and program
WO2017104519A1 (ja) 2015-12-18 2017-06-22 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN106937204B (zh) * 2015-12-31 2019-07-02 上海励丰创意展示有限公司 全景多声道声效轨迹控制方法
CN106937205B (zh) * 2015-12-31 2019-07-02 上海励丰创意展示有限公司 面向影视、舞台的复杂声效轨迹控制方法
WO2017126895A1 (ko) * 2016-01-19 2017-07-27 지오디오랩 인코포레이티드 오디오 신호 처리 장치 및 처리 방법
EP3203363A1 (en) * 2016-02-04 2017-08-09 Thomson Licensing Method for controlling a position of an object in 3d space, computer readable storage medium and apparatus configured to control a position of an object in 3d space
CN105898668A (zh) * 2016-03-18 2016-08-24 南京青衿信息科技有限公司 一种声场空间的坐标定义方法
WO2017173776A1 (zh) * 2016-04-05 2017-10-12 向裴 三维环境中的音频编辑方法与系统
CN116709161A (zh) 2016-06-01 2023-09-05 杜比国际公司 将多声道音频内容转换成基于对象的音频内容的方法及用于处理具有空间位置的音频内容的方法
HK1219390A2 (zh) * 2016-07-28 2017-03-31 Sub-Intelligence Robotics (Sir) Corporation (Hong Kong) Limited 终端混音设备
US10419866B2 (en) 2016-10-07 2019-09-17 Microsoft Technology Licensing, Llc Shared three-dimensional audio bed
CN109983786B (zh) * 2016-11-25 2022-03-01 索尼公司 再现方法、装置及介质、信息处理方法及装置
CN110249297B (zh) * 2017-02-09 2023-07-21 索尼公司 信息处理设备和信息处理方法
EP3373604B1 (en) * 2017-03-08 2021-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for providing a measure of spatiality associated with an audio stream
WO2018167948A1 (ja) * 2017-03-17 2018-09-20 ヤマハ株式会社 コンテンツ再生機器、方法、及びコンテンツ再生システム
JP6926640B2 (ja) * 2017-04-27 2021-08-25 ティアック株式会社 目標位置設定装置及び音像定位装置
EP3410747B1 (en) * 2017-06-02 2023-12-27 Nokia Technologies Oy Switching rendering mode based on location data
US20180357038A1 (en) * 2017-06-09 2018-12-13 Qualcomm Incorporated Audio metadata modification at rendering device
CN114047902B (zh) * 2017-09-29 2024-06-14 苹果公司 用于空间音频的文件格式
US10531222B2 (en) * 2017-10-18 2020-01-07 Dolby Laboratories Licensing Corporation Active acoustics control for near- and far-field sounds
EP4093058A1 (en) * 2017-10-18 2022-11-23 Dolby Laboratories Licensing Corp. Active acoustics control for near- and far-field sounds
FR3072840B1 (fr) * 2017-10-23 2021-06-04 L Acoustics Arrangement spatial de dispositifs de diffusion sonore
EP3499917A1 (en) 2017-12-18 2019-06-19 Nokia Technologies Oy Enabling rendering, for consumption by a user, of spatial audio content
WO2019132516A1 (ko) * 2017-12-28 2019-07-04 박승민 입체 음향 컨텐츠 저작 방법 및 이를 위한 장치
WO2019149337A1 (en) * 2018-01-30 2019-08-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses for converting an object position of an audio object, audio stream provider, audio content production system, audio playback apparatus, methods and computer programs
JP7146404B2 (ja) * 2018-01-31 2022-10-04 キヤノン株式会社 信号処理装置、信号処理方法、及びプログラム
GB2571949A (en) * 2018-03-13 2019-09-18 Nokia Technologies Oy Temporal spatial audio parameter smoothing
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
WO2020071728A1 (ko) * 2018-10-02 2020-04-09 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
KR102458962B1 (ko) 2018-10-02 2022-10-26 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
CN111869239B (zh) 2018-10-16 2021-10-08 杜比实验室特许公司 用于低音管理的方法和装置
US11503422B2 (en) * 2019-01-22 2022-11-15 Harman International Industries, Incorporated Mapping virtual sound sources to physical speakers in extended reality applications
KR20210148238A (ko) 2019-04-02 2021-12-07 에스와이엔지, 인크. 공간적 오디오 렌더링을 위한 시스템들 및 방법들
KR102848597B1 (ko) * 2019-04-16 2025-08-22 소니그룹주식회사 표시 장치, 제어 방법 및 프로그램
EP3726858A1 (en) * 2019-04-16 2020-10-21 Fraunhofer Gesellschaft zur Förderung der Angewand Lower layer reproduction
KR102285472B1 (ko) * 2019-06-14 2021-08-03 엘지전자 주식회사 음향의 이퀄라이징 방법과, 이를 구현하는 로봇 및 ai 서버
US12069464B2 (en) 2019-07-09 2024-08-20 Dolby Laboratories Licensing Corporation Presentation independent mastering of audio content
US12094475B2 (en) 2019-07-19 2024-09-17 Sony Group Corporation Signal processing device and signal processing method, and program
JP7589226B2 (ja) 2019-07-30 2024-11-25 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ装置の協調
US11659332B2 (en) 2019-07-30 2023-05-23 Dolby Laboratories Licensing Corporation Estimating user location in a system including smart audio devices
US12003673B2 (en) 2019-07-30 2024-06-04 Dolby Laboratories Licensing Corporation Acoustic echo cancellation control for distributed audio devices
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
KR102670118B1 (ko) 2019-07-30 2024-05-29 돌비 레버러토리즈 라이쎈싱 코오포레이션 다중 스피커를 통한 다중 오디오 스트림 재생 관리
EP4005234A1 (en) 2019-07-30 2022-06-01 Dolby Laboratories Licensing Corporation Rendering audio over multiple speakers with multiple activation criteria
EP4005233A1 (en) * 2019-07-30 2022-06-01 Dolby Laboratories Licensing Corporation Adaptable spatial audio playback
KR102535704B1 (ko) 2019-07-30 2023-05-30 돌비 레버러토리즈 라이쎈싱 코오포레이션 상이한 재생 능력을 구비한 디바이스에 걸친 역학 처리
US11533560B2 (en) 2019-11-15 2022-12-20 Boomcloud 360 Inc. Dynamic rendering device metadata-informed audio enhancement system
WO2021098957A1 (en) * 2019-11-20 2021-05-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio object renderer, methods for determining loudspeaker gains and computer program using panned object loudspeaker gains and spread object loudspeaker gains
EP3857919B1 (en) 2019-12-02 2022-05-18 Dolby Laboratories Licensing Corporation Methods and apparatus for conversion from channel-based audio to object-based audio
JP7443870B2 (ja) 2020-03-24 2024-03-06 ヤマハ株式会社 音信号出力方法および音信号出力装置
US11102606B1 (en) * 2020-04-16 2021-08-24 Sony Corporation Video component in 3D audio
US12190013B2 (en) * 2020-07-09 2025-01-07 Sony Interactive Entertainment LLC Multitrack container for sound effect rendering
WO2022059858A1 (en) * 2020-09-16 2022-03-24 Samsung Electronics Co., Ltd. Method and system to generate 3d audio from audio-visual multimedia content
KR102500694B1 (ko) * 2020-11-24 2023-02-16 네이버 주식회사 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 제작하는 컴퓨터 시스템 및 그의 방법
US11930348B2 (en) 2020-11-24 2024-03-12 Naver Corporation Computer system for realizing customized being-there in association with audio and method thereof
JP7536735B2 (ja) * 2020-11-24 2024-08-20 ネイバー コーポレーション ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法
WO2022179701A1 (en) * 2021-02-26 2022-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for rendering audio objects
AU2022258764B2 (en) * 2021-04-14 2025-04-03 Telefonaktiebolaget Lm Ericsson (Publ) Spatially-bounded audio elements with derived interior representation
WO2022245076A1 (ko) 2021-05-21 2022-11-24 삼성전자 주식회사 다채널 오디오 신호 처리 장치 및 방법
CN117356113A (zh) 2021-05-24 2024-01-05 三星电子株式会社 使用异构扬声器节点进行智能音频渲染的系统及其方法
US20220400352A1 (en) * 2021-06-11 2022-12-15 Sound Particles S.A. System and method for 3d sound placement
CN115472170A (zh) * 2021-06-11 2022-12-13 华为技术有限公司 一种三维音频信号的处理方法和装置
EP4322162A4 (en) 2021-07-16 2024-10-23 Samsung Electronics Co., Ltd. Electronic device for generating mouth shape, and operating method therefor
WO2023087031A2 (en) 2021-11-15 2023-05-19 Syng, Inc. Systems and methods for rendering spatial audio using spatialization shaders
KR20230089870A (ko) 2021-12-14 2023-06-21 주식회사 엘엑스세미콘 영상/음향 조절을 위한 디스플레이제어회로 및 이를 포함하는 표시장치
US12445799B2 (en) 2022-12-08 2025-10-14 Samsung Electronics Co., Ltd. Surround sound to immersive audio upmixing based on video scene analysis
US12445585B2 (en) * 2022-12-14 2025-10-14 Huizhou Vision New Technology Co., Ltd. Curved grid for acquiring spatial track coordinates of sound source objects of audio elements in an audio stream in video data
WO2025174980A1 (en) 2024-02-16 2025-08-21 Dolby Laboratories Licensing Corporation Incorporating jitter into spatial audio objects

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005024A (ja) 2004-06-15 2006-01-05 Sony Corp 基板処理装置および基板移動装置

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9307934D0 (en) * 1993-04-16 1993-06-02 Solid State Logic Ltd Mixing audio signals
GB2294854B (en) 1994-11-03 1999-06-30 Solid State Logic Ltd Audio signal processing
US6072878A (en) 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
GB2337676B (en) 1998-05-22 2003-02-26 Central Research Lab Ltd Method of modifying a filter for implementing a head-related transfer function
GB2342830B (en) 1998-10-15 2002-10-30 Central Research Lab Ltd A method of synthesising a three dimensional sound-field
US6442277B1 (en) 1998-12-22 2002-08-27 Texas Instruments Incorporated Method and apparatus for loudspeaker presentation for positional 3D sound
US6507658B1 (en) * 1999-01-27 2003-01-14 Kind Of Loud Technologies, Llc Surround sound panner
US7660424B2 (en) 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
JP4445705B2 (ja) 2001-03-27 2010-04-07 １．．．リミテッド 音場を作り出す方法および装置
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7113610B1 (en) * 2002-09-10 2006-09-26 Microsoft Corporation Virtual sound source positioning
US7558393B2 (en) * 2003-03-18 2009-07-07 Miller Iii Robert E System and method for compatible 2D/3D (full sphere with height) surround sound reproduction
JP3785154B2 (ja) * 2003-04-17 2006-06-14 パイオニア株式会社 情報記録装置、情報再生装置及び情報記録媒体
DE10321980B4 (de) 2003-05-15 2005-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
DE10344638A1 (de) * 2003-08-04 2005-03-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene
JP2005094271A (ja) 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> 仮想空間音響再生プログラムおよび仮想空間音響再生装置
SE0400997D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
US8363865B1 (en) 2004-05-24 2013-01-29 Heather Bottum Multiple channel sound system using multi-speaker arrays
JP2006050241A (ja) * 2004-08-04 2006-02-16 Matsushita Electric Ind Co Ltd 復号化装置
KR100608002B1 (ko) 2004-08-26 2006-08-02 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
JP2008512898A (ja) 2004-09-03 2008-04-24 パーカー ツハコ 録音音響による擬似三次元音響空間生成方法及び装置
US7636448B2 (en) * 2004-10-28 2009-12-22 Verax Technologies, Inc. System and method for generating sound events
US20070291035A1 (en) 2004-11-30 2007-12-20 Vesely Michael A Horizontal Perspective Representation
US7928311B2 (en) * 2004-12-01 2011-04-19 Creative Technology Ltd System and method for forming and rendering 3D MIDI messages
US7774707B2 (en) * 2004-12-01 2010-08-10 Creative Technology Ltd Method and apparatus for enabling a user to amend an audio file
JP3734823B1 (ja) * 2005-01-26 2006-01-11 任天堂株式会社 ゲームプログラムおよびゲーム装置
DE102005008343A1 (de) * 2005-02-23 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System
DE102005008366A1 (de) 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten
US8577483B2 (en) * 2005-08-30 2013-11-05 Lg Electronics, Inc. Method for decoding an audio signal
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
EP2369836B1 (en) * 2006-05-19 2014-04-23 Electronics and Telecommunications Research Institute Object-based 3-dimensional audio service system using preset audio scenes
CN101467467A (zh) * 2006-06-09 2009-06-24 皇家飞利浦电子股份有限公司 产生用于传输到多个音频再现单元的音频数据的设备和方法
JP4345784B2 (ja) * 2006-08-21 2009-10-14 ソニー株式会社 音響収音装置及び音響収音方法
CA2645910C (en) * 2006-09-29 2015-04-07 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
JP4257862B2 (ja) * 2006-10-06 2009-04-22 パナソニック株式会社 音声復号化装置
MY144273A (en) * 2006-10-16 2011-08-29 Fraunhofer Ges Forschung Apparatus and method for multi-chennel parameter transformation
CN101553866B (zh) 2006-12-07 2012-05-30 Lg电子株式会社 用于处理音频信号的方法和装置
US20080253577A1 (en) 2007-04-13 2008-10-16 Apple Inc. Multi-channel sound panner
US20080253592A1 (en) 2007-04-13 2008-10-16 Christopher Sanders User interface for multi-channel sound panner
WO2008135049A1 (en) 2007-05-07 2008-11-13 Aalborg Universitet Spatial sound reproduction system with loudspeakers
JP2008301200A (ja) 2007-05-31 2008-12-11 Nec Electronics Corp 音声処理装置
TW200921643A (en) * 2007-06-27 2009-05-16 Koninkl Philips Electronics Nv A method of merging at least two input object-oriented audio parameter streams into an output object-oriented audio parameter stream
JP4530007B2 (ja) 2007-08-02 2010-08-25 ヤマハ株式会社 音場制御装置
EP2094032A1 (en) 2008-02-19 2009-08-26 Deutsche Thomson OHG Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same
JP2009207780A (ja) * 2008-03-06 2009-09-17 Konami Digital Entertainment Co Ltd ゲームプログラム、ゲーム装置、およびゲーム制御方法
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
KR20110049863A (ko) * 2008-08-14 2011-05-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 신호 트랜스포맷팅
US20100098258A1 (en) * 2008-10-22 2010-04-22 Karl Ola Thorn System and method for generating multichannel audio with a portable electronic device
KR101542233B1 (ko) * 2008-11-04 2015-08-05 삼성전자 주식회사 화면음원 정위장치, 화면음원 정위를 위한 스피커 셋 정보 생성방법 및 정위된 화면음원 재생방법
ES2537073T3 (es) * 2008-11-18 2015-06-02 Panasonic Corporation Dispositivo de reproducción, método de reproducción y programa para reproducción estereoscópica
JP2010252220A (ja) 2009-04-20 2010-11-04 Nippon Hoso Kyokai <Nhk> ３次元音響パンニング装置およびそのプログラム
EP2249334A1 (en) 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
JP4918628B2 (ja) 2009-06-30 2012-04-18 新東ホールディングス株式会社 イオン発生装置及びイオン発生素子
US8396577B2 (en) 2009-08-14 2013-03-12 Dts Llc System for creating audio objects for streaming
JP2011066868A (ja) 2009-08-18 2011-03-31 Victor Co Of Japan Ltd オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置
EP2309781A3 (en) 2009-09-23 2013-12-18 Iosono GmbH Apparatus and method for calculating filter coefficients for a predefined loudspeaker arrangement
WO2011054876A1 (en) 2009-11-04 2011-05-12 Fraunhofer-Gesellschaft Zur Förderungder Angewandten Forschung E.V. Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement for an audio signal associated with a virtual source
KR20140008477A (ko) * 2010-03-23 2014-01-21 돌비 레버러토리즈 라이쎈싱 코오포레이션 음향 재생을 위한 방법
KR101953279B1 (ko) 2010-03-26 2019-02-28 돌비 인터네셔널 에이비 오디오 재생을 위한 오디오 사운드필드 표현을 디코딩하는 방법 및 장치
KR20130122516A (ko) 2010-04-26 2013-11-07 캠브리지 메카트로닉스 리미티드 청취자의 위치를 추적하는 확성기
WO2011152044A1 (ja) 2010-05-31 2011-12-08 パナソニック株式会社 音響再生装置
JP5826996B2 (ja) 2010-08-30 2015-12-02 日本放送協会 音響信号変換装置およびそのプログラム、ならびに、３次元音響パンニング装置およびそのプログラム
US9026450B2 (en) * 2011-03-09 2015-05-05 Dts Llc System for dynamically creating and rendering audio objects
EP4132011B1 (en) * 2011-07-01 2025-03-26 Dolby Laboratories Licensing Corporation Apparatus for rendering audio objects according to imposed speaker zone constraints, corresponding method and computer program product
RS1332U (sr) 2013-04-24 2013-08-30 Tomislav Stanojević Sistem potpunog zvučnog okruženja sa podnim zvučnicima

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005024A (ja) 2004-06-15 2006-01-05 Sony Corp 基板処理装置および基板移動装置

Also Published As

Publication number Publication date
BR112013033835B1 (pt) 2021-09-08
AU2018204167B2 (en) 2019-08-29
CN106060757A (zh) 2016-10-26
TW202416732A (zh) 2024-04-16
CA3134353A1 (en) 2013-01-10
JP7224411B2 (ja) 2023-02-17
TWI607654B (zh) 2017-12-01
AU2024264637B2 (en) 2025-10-23
US20140119581A1 (en) 2014-05-01
CA3025104A1 (en) 2013-01-10
JP6556278B2 (ja) 2019-08-07
EP4543049A2 (en) 2025-04-23
KR20150018645A (ko) 2015-02-23
TWI548290B (zh) 2016-09-01
IL298624B1 (en) 2023-11-01
CA3083753C (en) 2021-02-02
EP4543049A3 (en) 2025-06-11
CA3151342C (en) 2024-07-02
AU2023214301B2 (en) 2024-08-15
MX2013014273A (es) 2014-03-21
EP4132011B1 (en) 2025-03-26
EP4135348B1 (en) 2024-11-20
US20170086007A1 (en) 2017-03-23
JP2019193302A (ja) 2019-10-31
IL321961A (en) 2025-09-01
JP6655748B2 (ja) 2020-02-26
CN103650535A (zh) 2014-03-19
ES2909532T3 (es) 2022-05-06
US20210400421A1 (en) 2021-12-23
JP2023052933A (ja) 2023-04-12
JP6297656B2 (ja) 2018-03-20
AR086774A1 (es) 2014-01-22
CA3083753A1 (en) 2013-01-10
TWI701952B (zh) 2020-08-11
MX2020001488A (es) 2022-05-02
KR20190134854A (ko) 2019-12-04
CA3238161A1 (en) 2013-01-10
US9204236B2 (en) 2015-12-01
CA3151342A1 (en) 2013-01-10
US11641562B2 (en) 2023-05-02
AU2018204167A1 (en) 2018-06-28
EP2727381B1 (en) 2022-01-26
ES3020342T3 (en) 2025-05-22
KR102790093B1 (ko) 2025-04-03
IL290320B1 (en) 2023-01-01
TW201933887A (zh) 2019-08-16
JP2020065310A (ja) 2020-04-23
EP4132011A3 (en) 2023-03-01
KR20190026983A (ko) 2019-03-13
WO2013006330A3 (en) 2013-07-11
RU2018130360A (ru) 2020-02-21
EP3913931A1 (en) 2021-11-24
EP4132011A2 (en) 2023-02-08
KR102394141B1 (ko) 2022-05-04
TW201316791A (zh) 2013-04-16
KR101547467B1 (ko) 2015-08-26
US20200045495A9 (en) 2020-02-06
CA3025104C (en) 2020-07-07
CA3104225C (en) 2021-10-12
IL230047A (en) 2017-05-29
CN106060757B (zh) 2018-11-13
IL307218B1 (en) 2025-08-01
US20190158974A1 (en) 2019-05-23
AU2023214301A1 (en) 2023-08-31
US10244343B2 (en) 2019-03-26
TW201631992A (zh) 2016-09-01
IL251224A0 (en) 2017-05-29
JP7735499B2 (ja) 2025-09-08
JP2021193842A (ja) 2021-12-23
BR112013033835A2 (pt) 2017-02-21
EP3913931B1 (en) 2022-09-21
AU2019257459A1 (en) 2019-11-21
CA3104225A1 (en) 2013-01-10
IL251224A (en) 2017-11-30
RU2672130C2 (ru) 2018-11-12
US9549275B2 (en) 2017-01-17
AU2021200437A1 (en) 2021-02-25
MX2022005239A (es) 2022-06-29
JP6952813B2 (ja) 2021-10-27
RU2015109613A3 (ko) 2018-06-27
AU2022203984B2 (en) 2023-05-11
KR20180032690A (ko) 2018-03-30
RU2554523C1 (ru) 2015-06-27
TWI873802B (zh) 2025-02-21
IL258969A (en) 2018-06-28
US10609506B2 (en) 2020-03-31
HK1225550A1 (zh) 2017-09-08
CN103650535B (zh) 2016-07-06
IL254726A0 (en) 2017-11-30
JP2018088713A (ja) 2018-06-07
AU2022203984A1 (en) 2022-06-30
KR20250047841A (ko) 2025-04-04
IL298624B2 (en) 2024-03-01
US20200296535A1 (en) 2020-09-17
EP2727381A2 (en) 2014-05-07
JP2017041897A (ja) 2017-02-23
EP4135348A3 (en) 2023-04-05
US12047768B2 (en) 2024-07-23
CL2013003745A1 (es) 2014-11-21
IL290320B2 (en) 2023-05-01
TW201811071A (zh) 2018-03-16
JP2016007048A (ja) 2016-01-14
JP6023860B2 (ja) 2016-11-09
IL265721A (en) 2019-05-30
TW202106050A (zh) 2021-02-01
US20250024222A1 (en) 2025-01-16
HUE058229T2 (hu) 2022-07-28
IL290320A (en) 2022-04-01
KR101958227B1 (ko) 2019-03-14
KR20200108108A (ko) 2020-09-16
IL298624A (en) 2023-01-01
TWI785394B (zh) 2022-12-01
IL254726B (en) 2018-05-31
AU2024264637A1 (en) 2024-12-05
US9838826B2 (en) 2017-12-05
US11057731B2 (en) 2021-07-06
DK2727381T3 (da) 2022-04-04
ES2997234T3 (en) 2025-02-14
IL307218B2 (en) 2025-12-01
KR20230096147A (ko) 2023-06-29
ES2932665T3 (es) 2023-01-23
KR20220061275A (ko) 2022-05-12
IL265721B (en) 2022-03-01
JP2025172843A (ja) 2025-11-26
US20160037280A1 (en) 2016-02-04
CA3134353C (en) 2022-05-24
AU2012279349B2 (en) 2016-02-18
AU2019257459B2 (en) 2020-10-22
TWI666944B (zh) 2019-07-21
MX349029B (es) 2017-07-07
RU2018130360A3 (ko) 2021-10-20
KR20140017684A (ko) 2014-02-11
TW202310637A (zh) 2023-03-01
KR102548756B1 (ko) 2023-06-29
WO2013006330A2 (en) 2013-01-10
JP2024156923A (ja) 2024-11-06
RU2015109613A (ru) 2015-09-27
AU2021200437B2 (en) 2022-03-10
US20180077515A1 (en) 2018-03-15
IL307218A (en) 2023-11-01
KR101843834B1 (ko) 2018-03-30
KR102052539B1 (ko) 2019-12-05
MY181629A (en) 2020-12-30
TW202537300A (zh) 2025-09-16
MX337790B (es) 2016-03-18
JP2014520491A (ja) 2014-08-21
JP5798247B2 (ja) 2015-10-21
CA2837894A1 (en) 2013-01-10
CA2837894C (en) 2019-01-15
EP4135348A2 (en) 2023-02-15
AU2016203136A1 (en) 2016-06-02
MX392007B (es) 2025-03-11
PL2727381T3 (pl) 2022-05-02
US20230388738A1 (en) 2023-11-30
JP7536917B2 (ja) 2024-08-20
TWI816597B (zh) 2023-09-21
AU2016203136B2 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
US12047768B2 (en) System and tools for enhanced 3D audio authoring and rendering
AU2012279349A1 (en) System and tools for enhanced 3D audio authoring and rendering

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
A302 Request for accelerated examination
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20191128

Application number text: 1020197006780

Filing date: 20190307

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20191128

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200320

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200610

A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20200908

Application number text: 1020197006780

Filing date: 20190307

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200909

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200910

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230828

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240826

Start annual number: 5

End annual number: 5