KR102058619B1 - 예외 채널 신호의 렌더링 방법 - Google Patents

Abstract

본 발명은 객체 오디오 신호 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 오디오 신호처리 방법으로써, 일반 채널 신호와 예외 채널 신호가 포함된 비트열을 수신하는 단계; 상기 수신된 비트열로부터 예외 채널 신호와 일반 채널 신호를 복호화하는 단계; 상기 복호화된 예외 채널 신호와 상기 복호화된 일반 채널 신호를 이용하여 상관 정보를 생성하는 단계; 상기 상관 정보를 이용하여 동일한 다운믹스 이득값을 적용하는 제 1 다운믹스 방법과 시간에 따른 가변적 이득값을 적용하는 제 2 다운믹스 방법 중 적어도 하나를 통해 이득값을 생성하는 단계; 상기 이득값을 이용하여 상기 예외 채널 신호를 복수개의 채널 신호를 출력하는 단계를 포함하는 오디오 신호처리 방법이 제공될 수 있다.

Description

예외 채널 신호의 렌더링 방법 {Rendering for exception channel signal}

본 발명은 객체 오디오 신호 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 객체 오디오 신호의 부호화 및 복호화하거나 3차원 공간에 렌더링하기 위한 방법 및 장치에 관한 것이다.

3D 오디오란 기존의 서라운드 오디오에서 제공하는 수평면 상의 사운드 장면(2D)에 높이 방향으로 또 다른 축(dimension)을 제공함으로써, 말그대로 3차원 공간에서의 임장감있는 사운드를 제공하기 위한 일련의 신호처리, 전송, 부호화, 재생 기술 등을 통칭한다. 특히, 3D 오디오를 제공하기 위해서는 종래보다 많은 수의 스피커를 사용하거나 혹은 적은 수의 스피커를 사용하더라도 스피커가 존재하지 않는 가상의 위치에서 음상이 맺히도록 하는 렌더링 기술이 널리 요구된다.

3D 오디오는 향후 출시될 초고해상도 TV (UHDTV)에 대응되는 오디오 솔루션이 될 것으로 예상되며, 고품질 인포테인먼트 공간으로 진화하고 있는 차량에서의 사운드를 비롯하여 그밖에 극장 사운드, 개인용 3DTV, 테블릿, 스마트폰, 클라우드 게임 등 다양하게 응용될 것으로 예상된다.

3D 오디오는 우선 최대 22.2채널까지 종래보다 많은 채널의 신호를 전송하는 것이 필요한데, 이를 위해서는 이에 적합한 압축 전송 기술이 요구된다. 종래의 MP3, AAC, DTS, AC3 등의 고음질 부호화의 경우, 주로 5.1채널 미만의 채널만을 전송하는데 최적화되어 있었다.

또한 22.2채널 신호를 재생하기 위해서는 24개의 스피커 시스템을 설치한 청취공간에 대한 인프라가 필요한데, 시장에 단기간 확산이 용이하지 않으므로, 22.2채널 신호를 그보다 작은 수의 스피커를 가진 공간에서 효과적으로 재생하기 위한 기술, 반대로 기존 스테레오 혹은 5.1채널 음원을 그보다 많은 수의 스피커인 10.1채널, 22.2채널 환경에서 재생할 수 있도록 하는 기술, 나아가서, 규정된 스피커 위치와 규정된 청취실 환경이 아닌 곳에서도 원래의 음원이 제공하는 사운드 장면을 제공할 수 있도록 하는 기술, 그리고 헤드폰 청취환경에서도 3D 사운드를 즐길 수 있도록 하는 기술 등이 요구된다. 이와 같은 기술들을 본원에서는 통칭 렌더링(rendering)이라고 하고, 세부적으로는 각각 다운믹스, 업믹스, 유연한 렌더링(flexible rendering), 바이노럴 렌더링 (binaural rendering) 등으로 부른다.

한편, 이와 같은 사운드 장면을 효과적으로 전송하기 위한 대안으로 객체 기반의 신호 전송 방안이 필요하다. 음원에 따라서 채널 기반으로 전송하는 것보다 객체 기반으로 전송하는 것이 더 유리한 경우가 있을 뿐 아니라, 객체 기반으로 전송하는 경우, 사용자가 임의로 객체들의 재생 크기와 위치를 제어할 수 있는 등 인터렉티브한 음원 청취를 가능하게 한다. 이에 따라 객체 신호를 높은 전송률로 압축할 수 있는 효과적인 전송 방법이 필요하다.

또한, 상기 채널 기반의 신호와 객체 기반의 신호가 혼합된 형태의 음원도 존재할 수 있으며, 이를 통해 새로운 형태의 청취 경험을 제공할 수도 있다. 따라서, 채널 신호와 객체 신호를 함께 효과적으로 전송하고, 이를 효과적으로 렌더링하기 위한 기술도 필요하다.

마지막으로 채널이 갖는 특수성과 재생단에서의 스피커 환경에 따라 기존의 방식으로는 재생하기 어려운 예외 채널들이 발생할 수 있다. 이 경우 재생단에서의 스피커 환경을 기반으로 효과적으로 예외 채널을 재현하는 기술이 필요하다.

본 발명의 일 양상에 따르면, 오디오 신호처리 방법으로써, 일반 채널 신호와 예외 채널 신호가 포함된 비트열을 수신하는 단계; 상기 수신된 비트열로부터 예외 채널 신호와 일반 채널 신호를 복호화하는 단계; 상기 복호화된 예외 채널 신호와 상기 복호화된 일반 채널 신호를 이용하여 상관 정보를 생성하는 단계; 상기 상관 정보를 이용하여 동일한 다운믹스 이득값을 적용하는 제 1 다운믹스 방법과 시간에 따른 가변적 이득값을 적용하는 제 2 다운믹스 방법 중 적어도 하나를 통해 이득값을 생성하는 단계; 상기 이득값을 이용하여 상기 예외 채널 신호를 복수개의 채널 신호를 출력하는 단계를 포함하는 오디오 신호처리 방법이 제공될 수 있다.

본 발명에 의하면, 예외 위치 또는 예외 기능을 하는 채널이 부재할 경우 이를 음원의 특성에 따라서 효과적으로 재생할 수 있다. 이러한 예외 채널의 대표적인 예가 머리 바로 위에 존재하는 TcP 채널로 이 채널은 신의 음성과 같이 하늘에서 머리 바로 위로 음성이 들리는 듯한 효과 등을 주는 독특한 기능을 하는 채널이다. 이 채널의 경우 다른 경우와는 달리 특별한 효과를 주기 때문에 이 채널이 부재할 경우 효과적으로 다른 채널들을 이용하여 재생 할 수 있어야 한다. 본 발명은 이러한 예외 채널이 부재한 경우에도 효과적으로 이를 보상할 수 있는 효과를 가진다. 본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 동일한 시청 거리에서 영상 크기에 따른 시청 각도를 설명하기 위한 도면
도 2는 멀티 채널의 일 예로서 22.2ch의 스피커 배치 구성도
도 3은 예외 신호가 다운믹스되는 과정을 설명하기 위한 개념도
도 4은 다운 믹서 선택부의 순서도
도 5은 매트릭스 기반 다운믹서에서의 간략화된 방법을 설명하기 위한 개념도
도 6은 매트릭스 기반 다운믹서의 개념도
도 7는 경로 기반 다운믹서의 개념도
도 8는 가상 채널 생성기의 개념도

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다. 본 명세서에서 사용되는 용어와 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것이고, 도면에 도시된 형상은 필요에 따라 본 발명의 이해를 돕기 위하여 과장되어 표시된 것이므로, 본 발명이 본 명세서에서 사용되는 용어와 첨부된 도면에 의해 한정되는 것은 아니다. 본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략한다. 본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 아우르는 용어로서, 경우에 따라 의미는 달리 해석될 수 있는 바, 그러나 본 발명은 이에 한정되지 아니한다.

본 발명의 일 양상에 따르면, 오디오 신호처리 방법으로써, 일반 채널 신호와 예외 채널 신호가 포함된 비트열을 수신하는 단계; 상기 수신된 비트열로부터 예외 채널 신호와 일반 채널 신호를 복호화하는 단계; 상기 복호화된 예외 채널 신호와 상기 복호화된 일반 채널 신호를 이용하여 상관 정보를 생성하는 단계; 상기 상관 정보를 이용하여 동일한 다운믹스 이득값을 적용하는 제 1 다운믹스 방법과 시간에 따른 가변적 이득값을 적용하는 제 2 다운믹스 방법 중 적어도 하나를 통해 이득값을 생성하는 단계; 상기 이득값을 이용하여 상기 예외 채널 신호를 복수개의 채널 신호를 출력하는 단계를 포함하는 오디오 신호처리 방법이 제공될 수 있다.

또한, 상기 제 1 다운믹스 방법은 복수개의 채널에 동일한 다운믹스 이득값을 적용하는 것을 특징으로 하는 오디오 신호처리 방법이 포함될 수 있다.

또한, 상기 제 1 다운믹스 방법은 스피커의 위치 정보를 이용하여 이득값과 딜레이 정보를 보상하는 것을 특징으로 하는 오디오 신호 처리 방법이 포함될 수 있다.

또한, 상기 제 1 다운믹스 방법은 균등하게 나눠진 공간에 동일한 이득값이 분배 하는 것을 특징으로 하는 오디오 신호처리 방법이 포함될 수 있다.

또한, 상기 제 2 다운믹스 방법은 상기 상관 정보를 기준으로 음상의 이동 경로를 추정하여 다운믹스 이득값을 시간에 따라 가변적으로 조절하는 것을 특징으로 하는 오디오 신호처리 방법이 포함될 수 있다.

이하에서는 본 발명의 실시예에 따른 객체 오디오 신호의 처리 방법 및 장치에 관하여 설명한다.

도 1은 동일한 시청 거리상에서 영상 크기(예: UHDTV 및 HDTV)에 따른 시청 각도를 설명하기 위한 도면이다. 디스플레이의 제작 기술이 발전되고, 소비자의 요구에 따라서 영상크기가 대형화 되어가는 추세이다. 도 1에 나타난 바와 같이 HDTV(1920*1080픽셀 영상, 120)인 경우보다 UHDTV(7680*4320픽셀 영상,110)는 약 16배가 커진 영상이다. HDTV가 거실 벽면에 설치되고 시청자가 일정 시청거리를 두고 거실 쇼파에 앉은 경우 약 시청 각도가 30도일 수 있다. 그런데 동일 시청 거리에서 UHDTV가 설치된 경우 시청 각도는 약 100도에 이르게 된다. 이와 같이 고화질 고해상도의 대형 스크린이 설치된 경우, 이 대형 컨텐츠에 걸맞게 높은 현장감과 임장감을 갖는 사운드가 제공되는 것이 바람직할 수 있다. 시청자가 마치 현장에 있는 것과 거의 동일한 환경을 제공하기 위해서는, 1-2개의 서라운드 채널 스피커가 존재하는 것만으로는 부족할 수 있다. 따라서, 보다 많은 스피커 및 채널 수를 갖는 멀티채널 오디오 환경이 요구될 수 있다.

위에 설명한 바와 같이 홈 시어터 환경 이외에도 개인 3D TV(personal 3D TV), 스마트폰 TV, 22.2채널 오디오 프로그램, 자동차, 3D video, 원격 현장감 룸(telepresence room), 클라우드 기반 게임(cloud-based gaming) 등이 있을 수 있다.

도 2는 멀티 채널의 일 예로서 22.2ch의 스피커 배치를 나타낸 도면이다. 22.2ch는 음장감을 높이기 위한 멀티 채널 환경의 일 예일 수 있으며, 본 발명은 특정 채널 수 또는 특정 스피커 배치에 한정되지 아니한다. 도 2를 참조하면, 가장 높은 레이어(top layer, 210)에 총 9개 채널이 제공될 수 있다. 전면에 3개, 중간 위치에 3개, 서라운드 위치에 3개 총 9개의 스피커가 배치되어 있음을 알 수 있다. 중간 레이어(middle layer, 220)에는 전면에 5개, 중간 위치에 2개, 서라운드 위치에 총 3개의 스피커가 배치될 수 있다. 전면의 5개 스피커 중에 중앙 위치의 3개는 TV 스크린의 내에 포함될 수 있다. 바닥(bottom layer, 230)에는 전면에 총 3개의 채널 및 2개의 LFE 채널(240)이 설치될 수 있다.

이와 같이 최대 수십 개 채널에 이르는 멀티 채널 신호를 전송하고 재생하는 데 있어서, 높은 연산량이 필요할 수 있다. 또한 통신 환경 등을 고려할 때 높은 압축률이 요구될 수 있다. 뿐만 아니라, 일반 가정에서는 멀티채널(예: 22.2ch) 스피커 환경을 구비하는 경우는 많지 않고 2ch 또는 5.1ch 셋업을 갖는 청취자가 많기 때문에, 모든 유저에게 공통적으로 전송하는 신호가 멀티채널을 각각 인코딩해서 보내는 경우에는, 그 멀티채널을 2ch 및 5.1ch로 다시 변환하여 재생해야하는 경우 통신적인 비효율이 발생할 뿐만 아니라 22.2ch의 PCM 신호를 저장해야 하므로, 메모리 관리에 있어서의 비효율이 발생할 수 있다.

(유연한 렌더링 필요)

3D 오디오를 위해 필요한 기술 가운데 유연한 렌더링은 3D 오디오의 품질을 최상으로 끌어올리기 위해 해결해야할 중요한 과제 가운데 하나이다. 거실의 구조, 가구 배치에 따라 5.1 채널 스피커의 위치가 매우 비정형적인 것은 주지의 사실이다. 이와 같은 비정형적 위치에 스피커가 존재하더라도, 컨텐츠 제작자가 의도한 사운드 장면을 제공할 수 있도록 해야하는데, 이를 위해서는 사용자마다 제각각인 재생 환경에서의 스피커 환경을 알아야 하는 것과 함께, 규격에 따른 위치 대비 차이를 보정하기 위한 렌더링 기술이 필요하다. 즉, 전송된 비트열을 디코딩 방법에 따라 디코딩하는 것으로 코덱의 역할이 끝나는 것이 아니라, 이를 사용자의 재생 환경에 맞게 최적화 변형하는 과정에 대한 일련의 기술이 요구된다.

(플렉서블 렌더링)

신호의 크기를 기준으로 두 스피커 사이의 음원의 방향 정보를 결정하는 Amplitude Panning이나 3차원 공간상에서 3개의 스피커를 이용하여 음원의 방향을 결정하는데 널리 사용되는 VBAP (Vector-Based Amplitude Panning)을 이용하면 객체별로 전송된 객체 신호에 대해서는 상대적으로 편리하게 플렉서블 렌더링을 구현할 수 있는 것을 알 수 있다. 채널 대신 객체 신호를 전송하는 것의 장점 중 하나이다.

(Voice of God)

멀티채널 오디오 시스템에서 청취자 머리위의 스피커인 TpC(Top of center) 채널은 흔히 ‘신의 음성(Voice-of-God)’ 이라고 불린다. 이 채널이 신의 음성이라고 불리는 이유는 이 채널을 사용함으로써 얻을 수 있는 가장 극적인 상황이 신의 음성이 하늘에서 들리는 상황이기 때문이다. 이 밖에도 이 채널을 사용함으로써 얻을 수 있는 효과는 매우 다양하다. 머리 바로 위에서 물체가 떨어지는 상황이나, 머리 바로 위에서 폭죽놀이가 진행되는 상황, 매우 높은 빌딩의 옥상에서 한 사람이 소리치는 상황 등이 예가 된다. 혹은 비행기가 전방에서 시청자의 머리위를 지나 후면으로 사라지는 장면처럼 다양한 씬에서 매우 필수적인 채널이라고 할 수 있다. 즉, TpC채널을 사용함으로써 많은 극적인 상황들에서 기존의 오디오 시스템이 제공하지 못했던 현실감 있는 음장을 사용자에게 부여할 수 있다. TpC와 같은 예외 채널의 경우 해당 위치에 스피커가 존재하지 않은 경우 기존의 유연한 렌더링과 같은 방식으로 이를 보상하는 것은 효과적이지 못하며 큰 기능을 기대하기 어렵다. 따라서 이러한 예외 채널이 부재한 경우 적은 수의 출력 채널을 통하여 이를 효과적으로 재생하는 방법이 필요하다.

멀티채널 컨텐츠를 그보다 적은 수의 출력 채널을 통해 재생하는 경우 지금까지는 M-N 다운믹스 매트릭스 (M은 입력채널 수, N은 출력 채널 수)로 구현하는 것이 일반적이다. 즉, 5.1 채널 컨텐츠를 스테레오로 재생할 때, 주어진 수식에 의해 다운믹스를 수행하는 식으로 구현된다. 그런데, 이와 같은 다운믹스 구현 방법은 일반적으로 공간적으로 거리가 가까운 스피커들에 상대적인 다운믹스 게인을 적용하여 합성하는 방법을 취한다. 예를 들어 톱 레이어의 TpFc는 중간 레이어의 Fc(혹은 FRc, FLc)로 다운믹스되어 합성될 수 있다. 즉, 이 스피커들(Fc, FRc, FLc)을 이용하여 가상의 TpFc를 생성함으로써 부재 스피커(TpFc)의 위치에 해당하는 소리를 재생할 수 있다. 그러나, Tpc 스피커의 경우, 청취자를 기준으로 전후좌우의 방향성을 규정하기 모호하여 중간 레이어의 스피커들 중 이와 공간적으로 근접한 스피커 위치를 결정하기 어려운 문제점을 갖는다. 더불어 비정형적인 스피커 배열 환경에서 Tpc 스피커에 할당된 신호를 다운믹스 렌더링하는 경우, 유연한 렌더링 기술과 연관하여 다운믹스 매트릭스의 형태를 유연하게 변화시키는 것이 효과적인 경우도 있다.

이에 대한 해결 방안 중 하나로 TpC로 재생되는 음원이 정말로 “신의 목소리”에 해당하는 객체로써, TpC에서만 재생되는 객체이거나, TpC를 중심으로 재생되는 객체라면, 그에 맞게 다운믹스하는 것이 바람직하다. 그러나, 상위 레이어 전체에서 재생되는 객체의 일부이거나, TpFL의 위치에서 TpC 를 통과하여 TpBR를 지나는 것처럼 비행기가 하늘을 스쳐 지나가는 순간인 경우에는 또한 그에 특화된 다운믹스 방법을 적용하는 것이 바람직하다. 게다가 위 두 상황과는 다르게 스피커의 위치에 따라 소수의 제한된 숫자의 스피커들을 이용해야만 하는 경우, 다양한 각도에 음원을 위치시키는 렌더링 방법에 관한 고려가 필요하다. 사람이 음원의 높이를 인지하는 단서(elevation spectral cue)들이 존재하는데 한 예로써 음원의 높이에 따라 사람의 귓바퀴(pinna)의 외형적 특성에 영향으로 인해 이상의 고주파 대역에서와 나치와 피크의 형태가 될 수 있다. 따라서, 이러한 음원의 높이를 인지하는 단서를 인위적으로 삽입함으로써 TpC 채널의 사운드 장면을 효과적으로 재현할 수 있다.

(VOG 전체 블록도)

도 3은 예외 채널 신호가 다운믹스 되는 과정을 나타낸 개념도이다. 예외 채널 신호 신호는 전송된 비트열의 특정 값 또는 신호의 특징을 분석하여 다운믹스 될 수 있다. 예외 채널 신호의 실시 예로써 청취자의 머리 위쪽에 존재하는 TpC신호를 들 수 있다. 첫째로 머리 위쪽에 정지되어 있거나 방향성이 모호한 앰비언트(ambient)한 신호의 경우 다수의 채널에 동일한 다운믹스 게인을 적용하는 것이 타당하다. 이는 기존의 일반적인 매트릭스 기반 다운믹서(310)를 사용하여 TpC 신호를 다운믹스 할 수 있다. 둘째는 이동성을 가지는 사운드 장면에서의 TpC 신호의 경우 앞에서 언급한 매트릭스 기반 다운믹서(310)을 사용할 경우 컨텐츠 제공자가 의도한 동적인 사운드 장면이 보다 정적해진다. 이를 방지하기 위하여 채널 신호들을 분석하여 가변적인 이득 값을 가지는 다운믹스를 수행 할 수 있다. 이를 경로 기반 다운믹서(320)이라고 부른다. 마지막으로 마지막으로 근방의 스피커만으로 원하는 효과를 충분히 얻을 수 없는 경우 특정 N개의 스피커의 출력 신호에 사람이 높이를 지각하는 스펙트럴 단서들을 사용할 수 있다. 이를 가상 채널 생성기(330)이라고 부른다. 다운믹서 선택부(340)에서는 입력 비트열 정보를 이용하거나 입력 채널 신호들을 분석하여 어떤 다운믹스 방법을 사용할 지 결정된다. 이렇게 선택된 다운믹스 방법에 따라 L, M 또는 N개의 채널 신호로 출력신호가 결정되게 된다.

(다운믹스 결정부)

도 4는 다운믹서 선택부(340)의 순서도이다. 먼저 입력 비트열을 파싱하여 컨텐츠 제공자가 설정한 모드가 있는지를 체크한다. 설정된 모드가 있는 경우 해당 모드의 설정된 파라미터를 이용하여 다운믹스를 수행한다. 컨텐츠 제공자가 설정한 모드가 없는 경우 현재 사용자의 스피커 배치를 분석한다. 이는 스피커 배치가 매우 비정형인경우 앞에서 언급하였듯이 근방 채널의 이득값을 조절하는 것 만으로 다운믹스를 할 경우 컨텐츠 제공자가 의도한 사운드 장면을 충분히 재생할 수 없기 때문이다. 이를 극복하기 위해서는 사람이 높은 고도의 음상을 인지하는 여러가지 단서들을 이용하여만 한다.

스피커 배치를 분석하는 실시 예로써 도2의 상위 레이어의 스피커들의 위치 벡터들과 재생단에서의 상위 레이어 스피커 위치 벡터들의 거리합으로 분석할 수 있다. 도2의 상위 레이어의 i번째 스피커의 위치 벡터를 Vi, 재생단에서의 i번째 스피커의 위치 벡터를 Vi' 라고 하자. 또한 스피커의 위치적 중요도에 따라 가중치를 wi라고 하면 스피커 위치 에러 Espk 는 수학식 1으로 정의될 수 있다.

사용자의 스피커 배치가 매우 비 정형적인 경우 스피커 위치 에러 Espk는 큰 값을 갖게 된다. 따라서 스피커 위치 에러 Espk가 일정 임계값을 이상 또는 초과하는 경우 이는 가상 채널 생성기를 선택한다. 스피커 위치 에러가 일정 임계값보다 미만 또는 이하인 경우 매트릭스 기반 다운믹서 또는 경로 기반 다운믹서를 사용하게 된다. 다운믹스 하려는 음원이 채널 신호인 경우 채널신호의 추정된 음상 크기의 폭에 따라 다운믹스 방법이 선택 될 수 있다. 이는 뒤에서 언급할 사람의 정위 퍼짐(localization blur)이 정중면에 비하여 굉장히 크기 때문에, 음상의 폭(apparent source width)이 넓을 경우 정교한 음상 정위 방법이 불필요하기 때문이다. 여러 채널의 음상의 폭을 측정하는 실시 예로써 양 이 신호의 상호 상관도(interaural cross correlation)을 이용하여 측정방법이 한 예가 된다. 그러나 이는 매우 복잡한 연산을 필요로하므로 각 채널간의 상호상관도는 양 이 신호의 상호상관도와 비례하다고 가정하면 TpC 채널 신호와 각 채널간의 상호상관도의 총 합를 이용하여 상대적으로 적은 연산량으로 음상의 폭을 추정할 수 있다. TpC 채널 신호와 주변 채널 신호간의 상호 상관도의 총 합 C가 일정 임계값을 초과 또는 이상인 경우 음상의 폭이 기준보다 넓기 때문에 매트릭스 기반 다운믹서를 사용하고, 그렇지 않은 경우 음상의 폭이 기준보다 좁은 것이므로 보다 정교한 경로 기반 다운믹서를 이용한다.

(정적인 음원 다운믹서 / 매트릭스 기반 다운믹서)

여러 심리 음향적인 실험에 따르면 정중면(median plane)에서의 음상 정위는 수평면(horizontal plane)에서의 음상 정위와는 굉장히 다른 양상을 가진다. 이러한 음상 정위의 부정확도를 측정하는 수치로는 정위 퍼짐(localization blur)으로서 이는 특정 위치에서 음상의 위치가 구분이 가지 않는 범위를 각도로 나타낸 것이다. 앞에서 언급한 실험들에 따르면 음성신호의 경우 9도에서 17도에 해당하는 부정확도를 가진다. 그러나 수평면에서 음성신호의 경우 0.9도에서 1.5도를 갖는 것을 고려하면 정중면에서의 음상 정위는 매우 낮은 정확도를 가진다는 것을 알 수 있다. 높은 고도를 가지는 음상의 경우 사람이 인지할 수 있는 정확도가 낮기 때문에 정교한 정위 방법 보다는 매트릭스를 이용한 다운믹스가 효과적이다. 따라서 위치가 크게 변하지 않는 음상의 경우 대칭적으로 스피커가 분포 되어있는 Top채널들에 동등한 이득값을 분배함으로써 효과적으로 부재중인 TpC채널을 복수 개의 채널로 업믹스 할 수 있다.

재생단의 채널 환경이 도 2의 구성에서 TpC채널을 제외하고 Top 레이어는 동일하다고 가정하면 Top 레이어에 분배되는 채널 이득값은 동일한 값을 갖는다. 그러나 재생단에서 도2와 같이 정형적인 채널 환경을 갖는 것이 어려운 것은 주지의 사실이다. 비정형한 채널 환경에서 앞에서 언급한 모든 채널에 일정 이득값을 배분하는 것은 음상이 컨텐츠가 의도한 위치와 이루는 각도가 정위 퍼짐 수치보다 커질 수 있다. 이는 사용자로 하여금 잘못된 음상을 인지하게 한다. 이를 방지하기 위하여 비정형한 채널 환경의 경우 이를 보상해주는 과정이 필요하다.

Top 레이어에 위치하는 채널의 경우 청자의 위치에서는 평면파로 도달한다고 가정할 수 있기 때문에 일정한 이득값을 설정하는 기존의 다운믹스 방법은 주변 채널을 이용하여 TpC 채널에서 발생하는 평면파를 재현한다고 설명할 수 있다. Top 레이어를 포함하는 평면상에서 스피커들의 위치를 꼭지점으로 하는 다각형의 무게중심이 TpC채널의 위치와 같은 것과 같다. 따라서 비정형적인 채널 환경의 경우 각 채널의 이득값은 이득값이 가중치로 부여된 각 채널의 Top 레이어를 포함하는 평면 상에서의 2차원 위치벡터들의 무게중심백터가 TpC채널 위치의 위치벡터와 같다는 수식으로 얻어질 수 있다.

그러나 이러한 수식적인 접근은 많은 연산량을 필요로 하며, 이후에 설명될 간략화된 방법에 비하여 성능 차이가 크지 않다. 간략화된 방법은 다음과 같다. 먼저 TpC 채널을 중심으로 N개의 영역을 등각도로 나눈다. 등각도로 나눈 영역에는 동일한 이득값을 부여하고, 만일 영역 내에 2개 이상의 스피커가 위치할 경우 각 게인의 제곱의 합이 상기 언급된 이득값과 같아지도록 설정한다. 이것의 실시 예로써 도 5와 같이 탑 레이어를 포함하는 평면 상에 위치하는 스피커(510), TpC 채널 스피커(520), 탑 레이어를 포함하는 평면 밖에 위치하는 스피커(530)으로 구성되는 스피커 배치를 갖는 다고 가정하자. 4개의 영역을 TpC채널(520)을 중심으로 90도의 등각도로 나누었을 때 각 영역에는 크기가 같으면서 제곱의 합이 1이 되도록 하는 이득값을 부여한다. 이 경우 4개의 영역이므로 각 영역의 이득값은 0.5이다. 한 영역 상에 2개 이상의 스피커가 있는 경우 이 또한 제곱의 합이 영역의 이득값과 같아지도록 이득값을 설정한다. 따라서 오른쪽 하단 영역(540)에 존재하는 2개의 스피커 출력의 이득값은 0.3536이다. 마지막으로 탑 레이어를 포함하는 평면 밖에 위치하는 스피커(530)의 경우 먼저 탑 레이어를 포함하는 평면에 프로젝션 시켰을 때의 이득값을 먼저 구하고, 평면과 스피커의 거리 차이를 이득값과 딜레이를 이용하여 보상한다.

도 6는 매트릭스 기반 다운믹서(310)의 개념도이다. 먼저 파서(610)를 이용하여 입력 비트열을 컨텐츠 제공자가 제공한 모드 비트와 채널신호를 분리한다. 모드 비트가 설정 되어있는 경우 스피커 결정부(620)는 해당 스피커 그룹을 선택하고, 모드 비트가 설정되어 있지 않은 경우의 경우 현재 사용자가 사용하는 스피커 위치 정보를 이용하여 가장 최단 거리가 최소인 스피커 그룹을 선택한다. 게인 및 딜레이를 보상부(630)에서 설정된 스피커 그룹과 실제 사용자의 스피커 배치 사이의 거리가 다른 것을 보상하기 위하여 각 스피커의 게인과 딜레이를 보상한다. 마지막으로 다운믹스 매트릭스 생성부(640)에서 게인 및 딜레이 보상부(630)에서 출력되는 게인 및 딜레이를 적용하여 파서에서 출력되는 채널을 다른 채널들로 다운믹스한다.

(동적인 음원 다운믹서 / 경로 기반 다운믹서)

도 7는 동적인 음원 다운믹서(320)의 개념도이다. 먼저 파서(710)은 입력 비트열을 파싱하여 예외 채널 신호와 근방의 복수의 채널 신호를 경로 추정부(720)에 전달한다. 경로 추정부(720)에서는 복수의 채널 신호의 경우 채널간의 상관도를 추정하여 상관도가 높은 채널들의 변화를 경로로 추정한다. 스피커 선택부(730)는 경로 추정부(720)에서 추정한 경로를 이용하여 추정한 경로에서 일정 거리 이하의 스피커들을 선택한다. 이렇게 선택된 스피커들의 위치정보는 다운믹서(740)에 전해져 해당 스피커에 맞게 다운믹스 된다. 상기 다운믹스 방법의 한 예로써 벡터 기반 진폭 패닝 기법(Vector base amplitude panning, VBAP)가 한 예가 된다.

(가상 채널 생성기)

도 8은 가상 채널 생성기(330)의 개념도이다. 입력 비트열은 파서(810)을 통하여 예외 채널 신호로 파싱된다. 파라미터 추출부(820)에서는 전달된 예외 채널 신호 내장되어 있는 일반화 된 머리 전달 함수 혹은 제공된 개인화 된 머리 전달 함수를 이용하여 파라미터를 추출한다. 파라미터의 실시예로써 특정 스펙트럼의 나치나 피크의 주파수 및 크기 정보 또는 특정 주파수의 양이 레벨차, 양이 위상차가 될 수 있다. 가상 채널 기반 다운믹서(830)에서는 이렇게 전달 된 파라미터를 바탕으로 다운믹스를 수행한다. 이러한 다운믹스의 실시예로 머리 전달 함수를 필터링 하는 것 또는 전체 주파수에서 특정 대역으로 나누어 패닝을 수행하는 콤플렉스 패닝 등이 된다.

본 발명에 따른 오디오 신호 처리 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

210 : 상위 레이어
220 : 중간 레이어
230 : 바닥 레이어
240 : LFE 채널
310 : 매트릭스 기반 다운믹서
320 : 경로 기반 다운믹서
330 : 가상 채널 생성기
340 : 다운 믹서 선택부
510 : 탑 레이어를 포함하는 평면 상에 위치하는 스피커
520 : TpC 채널
530 : 탑 레이어를 포함하는 평면 밖에 위치하는 스피커
610 : 파서
620 : 스피커 결정부
630 : 게인 및 딜레이 보상부
640 : 다운믹스 매트릭스 생성부
710 : 파서
720 : 경로 추정부
730 : 스피커 선택부
740 : 다운믹서
810 : 파서
820 : 파라미터 추출부
830 : 가상 채널 기반 다운믹서

Claims (6)

1. 오디오 신호처리 방법으로써,
   일반 채널 신호와 예외 채널 신호가 포함된 비트열을 수신하는 단계;
   상기 수신된 비트열로부터 예외 채널 신호와 일반 채널 신호를 복호화하는 단계;
   상기 수신된 비트열로부터 복수의 스피커의 각각의 위치에 관한 제1 정보를 획득하는 단계;
   상기 복수의 스피커의 각각의 재생단에서의 위치에 관한 제2 정보를 획득하는 단계;
   상기 제1 정보와 상기 제2 정보에 기초하여 이득값을 유도하는 단계; 및
   상기 이득값을 이용하여 상기 예외 채널 신호를 출력하는 단계를 포함하고,
   상기 이득값을 유도하는 단계는,
   상기 제2 정보에 기초하여 상기 이득값과 딜레이를 보상하는 단계를 포함하는 오디오 신호 처리 방법.
2. 삭제
3. 제1항에 있어서,
   상기 제1 정보와 상기 제2 정보의 각각은,
   상기 복수의 스피커의 각각의 방위각 또는 고도에 관한 정보를 포함하는 오디오 신호처리 방법.
4. 제1항에 있어서,
   상기 이득값을 유도하는 단계는,
   상기 제1 정보에 따른 스피커의 위치와 상기 제2 정보에 따른 스피커의 위치의 차의 절대값의 합을 유도하는 단계를 포함하는 오디오 신호처리 방법.
5. 제1항에 있어서,
   상기 이득값을 유도하는 단계는,
   VBAP(Vector Based Amplitude Panning)를 이용하여 상기 재생단의 스피커에 대한 이득값을 계산하는 단계를 포함하는 오디오 신호처리 방법.
6. 제1항에 있어서,
   상기 예외 채널 신호는,
   VoG(Voice of God) 신호를 포함하는 오디오 신호처리 방법.
   

Images