[go: up one dir, main page]

KR101934999B1 - 잡음을 제거하는 장치 및 이를 수행하는 방법 - Google Patents

잡음을 제거하는 장치 및 이를 수행하는 방법 Download PDF

Info

Publication number
KR101934999B1
KR101934999B1 KR1020120054448A KR20120054448A KR101934999B1 KR 101934999 B1 KR101934999 B1 KR 101934999B1 KR 1020120054448 A KR1020120054448 A KR 1020120054448A KR 20120054448 A KR20120054448 A KR 20120054448A KR 101934999 B1 KR101934999 B1 KR 101934999B1
Authority
KR
South Korea
Prior art keywords
signal
channel
noise
environmental noise
psd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120054448A
Other languages
English (en)
Other versions
KR20130130547A (ko
Inventor
손준일
구윤서
김동욱
김종진
박영철
이흔철
Original Assignee
삼성전자주식회사
연세대학교 원주산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 연세대학교 원주산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020120054448A priority Critical patent/KR101934999B1/ko
Priority to US13/899,245 priority patent/US9369803B2/en
Priority to CN2013101901231A priority patent/CN103428609A/zh
Priority to EP13168723.8A priority patent/EP2667635B1/en
Publication of KR20130130547A publication Critical patent/KR20130130547A/ko
Application granted granted Critical
Publication of KR101934999B1 publication Critical patent/KR101934999B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Noise Elimination (AREA)

Abstract

2 채널 신호에서 잡음(noise)을 제거하는 방법 및 이를 수행하는 잡음 제거 장치에 따르면, 2 채널 신호를 구성하는 각 채널 신호를 수신하고, 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 각 채널 신호에서 타겟 신호(target signal)를 제거하여 각 채널 별 잡음 신호(noise signal)를 획득하고, 각 채널 신호로부터 환경 소음(diffuse noise)의 파워 스펙트럼 밀도(PSD, power spectral density)를 추정하고, 추정된 환경 소음의 PSD를 이용해 각 채널 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득하고, 추정된 환경 소음의 PSD를 이용해 각 채널 별 잡음 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호(interference signal)를 획득하고, 각 채널 별로 간섭 신호가 포함된 타겟 신호에서 간섭 신호를 제거한다.

Description

잡음을 제거하는 장치 및 이를 수행하는 방법 {Apparatus for removing noise and method for performing thereof}
2 채널의 음원 신호에서 잡음을 제거하는 장치 및 이를 수행하는 방법에 관한 것이다.
환경 소음과 간섭 잡음이 섞인 음원에서 잡음을 제거하는 방법으로는 Minimum statistics, minima controlled recursive algorithm(MCRA), Binaural multichannel Wiener filter(MWF), Voice Activity Detector(VAD)를 이용한 2 stage 잡음 제거 등의 방법이 존재한다. 음원의 방향성을 유지하면서, 환경 소음의 영향을 받지 않고, 하나 이상의 간섭 신호를 간편하고 효과적으로 제거할 수 있는 잡음 제거 방법이 요구된다.
환경 소음의 파워 스펙트럼 밀도(PSD)를 추정하고 추정된 환경 소음의 PSD에 기초하여 수신된 2 채널 신호에서 환경 소음과 간섭 신호를 각각 제거하는 잡음 제거 장치 및 이를 수행하는 방법을 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다. 2 채널 신호에서 환경 소음과 간섭 신호를 각각 제거하는 잡음 제거 장치가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 일 측면에 따른 2 채널 신호에서 잡음(noise)을 제거하는 잡음 제거 방법은 상기 2 채널 신호를 구성하는 각 채널 신호를 수신하는 단계; 상기 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 상기 각 채널 신호에서 타겟 신호(target signal)를 제거하여 각 채널 별 잡음 신호(noise signal)를 획득하는 단계; 상기 각 채널 신호로부터 환경 소음(diffuse noise)의 파워 스펙트럼 밀도(PSD, power spectral density)를 추정하는 단계; 상기 추정된 환경 소음의 PSD를 이용해 상기 각 채널 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득하는 단계; 상기 추정된 환경 소음의 PSD를 이용해 각 채널 별 상기 잡음 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호(interference signal)를 획득하는 단계; 및 각 채널 별로 상기 간섭 신호가 포함된 타겟 신호에서 상기 간섭 신호를 제거하는 단계;를 포함한다.
본 발명의 다른 측면에 따른 잡음 제거 장치는 상기 2 채널 신호를 구성하는 각 채널 신호를 수신하는 수신부; 각 채널 별 잡음 신호(noise signal)를 획득하기 위하여, 상기 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 상기 각 채널 신호에서 타겟 신호(target signal)를 제거하는 타겟 신호 제거부; 상기 각 채널 신호로부터 환경 소음(diffuse noise)의 파워 스펙트럼 밀도(PSD, power spectral density)를 추정하는 환경 소음 추정부; 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득하기 위하여 상기 추정된 환경 소음의 PSD를 이용해 상기 각 채널 신호에서 환경 소음을 제거하는 제 1 환경 소음 제거부; 각 채널 별 간섭 신호(interference signal)를 획득하기 위하여 상기 추정된 환경 소음의 PSD를 이용해 각 채널 별 상기 잡음 신호에서 환경 소음을 제거하는 제 2 환경 소음 제거부; 및 각 채널 별로 상기 간섭 신호가 포함된 타겟 신호에서 상기 간섭 신호를 제거하는 간섭 신호 제거부;를 포함한다.
본 발명의 다른 측면에 따른 음원 출력 장치는 2 채널 신호를 구성하는 각 채널 신호를 수신하는 수신부; 상기 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 상기 각 채널 신호에서 타겟 신호(target signal)를 제거하여 각 채널 별 잡음 신호(noise signal)를 획득하고, 상기 각 채널 신호로부터 환경 소음(diffuse noise)의 파워 스펙트럼 밀도(PSD, power spectral density)를 추정하고, 상기 추정된 환경 소음의 PSD를 이용해 상기 각 채널 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득하고, 상기 추정된 환경 소음의 PSD를 이용해 각 채널 별 상기 잡음 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호(interference signal)를 획득하고, 각 채널 별로 상기 간섭 신호가 포함된 타겟 신호에서 상기 간섭 신호를 제거하여 각 채널 별 타겟 신호를 획득하고, 상기 획득된 타겟 신호에 기초하여 상기 각 채널 신호에 적용되는 출력 이득을 산출하는 프로세서; 상기 각 채널 신호에 상기 출력 이득을 적용하는 이득 적용부; 및 상기 출력 이득이 적용된 2채널의 음원을 출력하는 음원 출력부;를 포함한다.
본 발명의 또 다른 측면에 따라 잡음 제거 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기에서 기재된 바에 따르면, 잡음 제거 장치는 각 채널 신호에서 환경 소음과 간섭 신호를 각각 추정하고, 이를 바탕으로 각 채널 신호에서 잡음 성분인 간섭 신호와 환경 소음을 각각 제거함으로써 잡음을 간편하고 효과적으로 제거할 수 있다.
또한, 잡음 제거 장치는 타겟 신호를 제거한 잡음 신호에서 추정된 환경 소음을 제거한 나머지 신호를 간섭 신호로 획득함으로써 2 개 이상의 간섭 신호가 존재하더라도 복잡한 연산 없이 모든 간섭 성분을 간단하고 효과적으로 제거할 수 있다.
동시에, 잡음 제거 장치는 각 채널 신호에 동일한 이득을 곱함으로써 각 채널 간의 ILD(Interaural Level Difference)와 ITD(Interaural Time Difference)와 같은 공간 지각 파라미터(spatial cues)의 손실 없이도 각 채널 신호의 방향성을 유지하면서 효과적으로 잡음을 제거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 잡음 제거 장치의 구성도이다.
도 2는 도 1에 도시된 환경 소음 추정부의 일 실시예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 음원 출력 장치를 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따라 잡음 제거 장치를 이용하여 잡음을 제거하는 방법을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따라 음원 출력 장치를 이용하여 잡음이 제거된 음원을 출력하는 방법을 나타낸 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 잡음 제거 장치의 구성도이다. 도 1 을 참조하면, 잡음 제거 장치(100)는 수신부(110), 환경 소음 추정부(120), 타겟 신호 제거부(130), 제 1 환경 소음 제거부(140), 제 2 환경 소음 제거부(150) 및 간섭 신호 제거부(160)로 구성된다.
도 1에 도시된 잡음 제거 장치(100)는 본 실시예에의 특징이 흐려지는 것을 방지하기 위하여 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
본 실시예에 따른 잡음 제거 장치(100)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 이에 따라, 본 실시예에 따른 잡음 제거 장치(100)는 음원 재생 장치, 음원 출력 장치, 보청기와 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
수신부(110)는 2 채널 신호를 구성하는 각 채널 신호를 수신한다. 이때, 채널 신호(channel signal)는 사용자 주변의 음원(sound)이 입력된 신호에 해당한다. 2 채널 신호는 음원이 2 개의 오디오 채널로 분리되어 있는 것으로, 각 채널 신호는 각 채널 신호가 입력되는 위치에 따라 각 채널 별로 조금씩 다르다.
본 발명의 일 실시예에 따르면, 2 채널 신호는 사용자의 좌측 귀 및 우측 귀의 위치에서 입력된 음원에 해당될 수 있다. 예를 들면, 2 채널 신호는 사용자의 좌측 귀 및 우측 귀 각각에 위치한 마이크로폰(microphone)을 통해서 입력된 음원에 해당될 수 있으나, 이에 한정되지 않는다. 이하에서는 설명의 편의상, 2 채널 신호는 사용자의 좌측 귀 및 우측 귀의 위치에서 입력된 음원이라 한다. 그리고, 좌측 귀의 위치에서 입력된 음원을 좌측 채널 신호라 하고, 우측 귀의 위치에서 입력된 음원을 우측 채널 신호라 한다.
채널 신호는 사용자가 들으려고 하는 소리에 해당하는 타겟 신호(target signal)와 그 이외의 소리인 잡음 신호(noise signal)로 구성된다. 잡음은 사용자의 청취를 방해하는 소리로, 잡음 신호는 방향성이 없는 잡음에 해당하는 환경 소음(diffuse signal)과 방향성을 갖는 잡음에 해당하는 간섭 신호(interference)로 구분될 수 있다.
예를 들어 설명하면, 사용자가 누군가와 대화하는 경우, 대화 상대의 음성이 타겟 신호가 되고, 이를 제외한 나머지 소리는 모두 잡음에 해당한다. 그리고, 대화 상대를 이외의 다른 사람의 음성은 방향성을 갖는 잡음으로 간섭 신호에 해당하며, 방향성이 없는 주변 소리는 환경 소음에 해당한다.
이에 따라, 수신부(110)는 타겟 신호와 간섭 신호 및 환경 소음으로 구성된 2 채널의 채널 신호를 수신하며, 각 채널 신호는 수학식 1과 같이 표현될 수 있다.
Figure 112012041045900-pat00001
수학식 1에서, XL은 좌측 귀의 위치에서 입력된 좌측 채널 신호를, XR은 우측 귀의 위치에서 입력된 우측 채널 신호를 나타낸다. 위에서 설명한 바와 같이, 좌측 채널 신호 XL은 타겟 신호 성분인 αLS, 간섭 신호 성분인 νLV 및 환경 소음 성분인 NL의 합으로 표현된다. 우측 채널 신호 XR에 대해서도 동일하게 표현된다.
이때, 방향성을 갖는 신호인 타겟 신호는 음원이 발생한 위치에서 음원이 입력되는 위치까지의 음원이 전달된 경로를 나타내는 acoustic path와 함께 표시된다. 즉, acoustic path는 음원의 방향을 나타내는 정보에 해당한다.
본 발명의 일 실시예에 따라, acoustic path는 머리 전달 함수(Head Related Transfer Function: HRTF)로 표현될 수 있으나, 이에 한정되지 않는다. 이하에서는 설명의 편의를 위하여, αL와 αR을 음원이 발생한 위치로부터 사용자의 좌측 귀, 우측 귀까지의 전달 경로를 나타내는 머리 전달 함수라 한다.
수학식 1에서와 같이, 좌측 채널 신호 XL에 포함된 타겟 신호는 타겟 신호의 음원 S와 음원이 발생한 위치에서 사용자의 좌측 귀까지의 전달 경로를 나타내는 머리 전달 함수 αL의 곱으로 표시될 수 있다.
또 다른 방향성을 갖는 신호인 간섭 신호도 타겟 신호와 동일하게 간섭 신호의 음원 V와 간섭 신호의 음원이 발생한 위치에서 간섭 신호의 음원이 입력되는 위치까지의 전달 경로인 νL 또는 νR의 곱으로 표시될 수 있다. 본 발명의 일 실시예에 따라, νL와 νR을 간섭 신호의 음원이 발생한 위치로부터 사용자의 좌측 귀, 우측 귀까지의 전달 경로를 나타내는 머리 전달 함수가 될 수 있다.
이에 반해, 환경 소음은 방향성이 없는 신호로, 수학식 1에서와 같이 방향 정보 없이 NL 또는 NR로만 표시될 수 있다.
따라서, 본 발명의 일 실시예에 따른 잡음 제거 장치(100)는 수신부(110)를 통해 수신된 타겟 신호, 간섭 신호 및 환경 소음으로 구성된 채널 신호에서 잡음에 해당하는 간섭 신호 및 환경 소음을 제거하여 출력한다.
환경 소음 추정부(120)는 각 채널 신호를 이용하여 환경 소음(diffuse noise)의 파워 스펙트럼 밀도(PSD, power spectral density)를 추정한다. 이때, 환경 소음은 주변 환경으로부터 오는 잡음을 나타내며, 배경 잡음(background noise) 또는 환경 잡음(ambient noise)라고도 한다. 환경 소음은 방향성이 없이 모든 방향에서 균등한 크기를 가지며, 랜덤(random)한 위상을 가진다. 예를 들면, 에어컨이나 모터 등에서 나는 기계음이나 실내에서의 버블 노이즈(babble noise) 또는 잔향 등이 환경 소음에 해당할 수 있다.
환경 소음 추정부(120)는 각 채널 신호에 포함된 환경 소음간의 상관도(coherence)를 추정하고, 채널 신호들에 대한 공분산 행렬(covariance matrix)의 최소 고유치(eigenvalue) 값을 추정하고, 추정된 상관도 및 최소 고유치 값을 이용하여 환경 소음의 PSD를 추정한다.
환경 소음 추정부(120)는 좌측 채널 신호 XL와 우측 채널 신호 XR의 공분산 행렬의 최소 고유치 값을 이용하여 환경 소음의 PSD를 추정할 수 있다. 이때, 환경 소음은 방향성 없이 모든 방향에서 균등한 크기를 갖는 잡음으로, 전체적으로 각 채널 신호에 포함된 환경 소음간의 상관도는 낮으나, 저주파 대역에서는 각 채널 신호에 포함된 환경 소음간에 높은 상관도를 가진다.
이에 따라, 환경 소음 추정부(120)는 각 채널의 환경 소음간의 상관도를 수학적으로 모델링하여, 저주파 대역에서의 각 채널의 환경 소음간의 높은 상관도를 보상할 필요가 있다. 따라서, 환경 소음 추정부(120)는 좌측 채널 신호 XL에 포함된 환경 소음 성분 NL과 우측 채널 신호 XR에 포함된 환경 소음 성분 NR의 상관도를 추정하여, 이를 환경소음의 PSD의 추정에 반영한다. 이에 따라, 추정된 환경 소음의 PSD는 ΓNN으로 표시된다. 이와 관련하여 구체적인 설명은 도 2를 참조한다.
타겟 신호 제거부(130)는 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 각 채널 신호에서 타겟 신호를 제거하고, 이에 따라 각 채널 별 잡음 신호를 획득한다. 이때, 가중치는 각 채널에 포함된 타겟 신호가 다른 채널에 포함된 타겟 신호와 동일하게 되도록 결정된 값이다. 이에 따라, 각 채널 신호에서 가중치를 곱한 다른 채널의 신호를 뺌으로써, 각 채널에 포함된 타겟 신호가 제거될 수 있다.
타겟 신호 제거부(130)가 각 채널 신호에 포함된 타겟 신호를 제거하는 것은 수학식 2와 같이 표현될 수 있다 .
Figure 112012041045900-pat00002
수학식 2에서, WR과 WL은 가중치를 나타내며, ZL과 ZR은 타겟 신호가 제거된 채널 신호, 즉 잡음 신호를 나타낸다. 수학식 2에서와 같이, 타겟 신호 제거부(130)는 좌측 채널 신호 XL에서 가중치 WR를 곱한 우측 채널 신호 XR를 뺌으로써 좌측 채널 신호 XL에 포함된 타겟 신호를 제거하고, 좌측 채널 신호에 포함된 잡음 신호인 ZL를 획득할 수 있다. 마찬가지로, 우측 채널의 잡음 신호 ZR은 우측 채널 신호 XR에서 가중치 WL를 곱한 좌측 채널 신호 XL를 뺌으로써 획득될 수 있다.
수학식 1을 참고하면, 좌측 채널 신호 XL는 타겟 신호 제거부(130)에 의해서 타겟 신호 성분인 αLS가 제거되고, 잡음 성분만 남게 된다. 즉, 좌측 채널 신호 XL에서 가중치 WR를 곱한 우측 채널 신호 XR를 빼고 남은 잡음 신호는 수학식 3과 같이 표현될 수 있다.
Figure 112012041045900-pat00003
수학식 3에서 HLV와 NL′은 좌측 채널 신호 XL로부터 가중치 WR를 곱한 우측 채널 신호 XR를 빼고 남은 신호에 해당한다. 즉, HLV와 NL′는 좌측 채널 신호 XL에서 타겟 신호가 제거되고 남은 신호인 가중치가 적용된 잡음 성분에 해당한다. HL은 간섭 신호의 음원 V에 곱해진 값으로, 채널 신호에 포함된 간섭 신호 성분인 νLV 및 νRV 에 가중치가 적용된 값을 나타낸다. NL′은 환경 소음의 성분인 NL 및 NR 에 가중치가 적용된 값을 나타낸다.
이때, 타겟 신호 제거부(130)의 가중치는 본 발명의 일 실시예에 따라 각 채널 신호에 포함된 타겟 신호의 방향 정보에 기초하여 획득될 수 있다. 예를 들면, 타겟 신호 제거부(130)는 타겟 신호의 방향 정보를 나타내는 머리 전달 함수 αL과 αR을 이용하여 각 채널 신호에 포함된 타겟 신호가 다른 채널 신호에 포함된 타겟 신호와 동일하게 되는 가중치를 결정할 수 있다.
수학식 1을 참조하면, 채널 신호 XL과 XR에 포함된 타겟 신호 성분은 각각 αLS과 αRS로 동일한 음원 S에 각각 방향을 나타내는 정보인 머리 전달 함수 αL과 αR이 곱해져 있다. 따라서, 우측 채널의 타겟 신호 성분이 좌측 채널 신호 XL에 포함된 타겟 신호 성분 αLS과 동일하게 되도록, 타겟 신호 제거부(130)는 αL과 αR을 이용하여 우측 채널에 포함된 타겟 신호 성분 αRS에 곱해지는 가중치를 결정한다.
아래 수학식 4는 αL과 αR의 타겟 신호의 방향 정보를 이용하여 결정된 타겟 신호 제거부(130)의 가중치를 나타낸다.
Figure 112012041045900-pat00004
수학식 4에서, WR은 우측 채널의 타겟 신호 성분이 좌측 채널 신호에 포함된 타겟 신호 성분과 동일하게 되도록 설계된 가중치를 나타낸다. 반대로, WL은 좌측 채널의 타겟 신호 성분이 우측 채널 신호에 포함된 타겟 신호 성분과 동일하게 되도록 설계된 가중치를 나타낸다. 이에 따라, 각 채널 신호 XL, XR에서 가중치 WR, WL를 곱한 다른 채널 신호를 뺌으로써 각 채널 신호에 포함된 타겟 신호 성분인 αLS, αRS이 제거된다.
이와 같은 타겟 신호의 방향 정보는 잡음 제거 장치(100)에 미리 주어지는 값으로, 방향성 마이크(directional microphone)를 이용하여 마이크에 도달하는 소리들의 시간차와 크기차를 검출함으로써 획득될 수 있다. 또는, 타겟 신호의 방향 정보는 타겟 신호가 항상 정면에서 발생한다는 가정 하에 결정되어 저장된 값일 수 있다. 다만, 타겟 신호의 방향 정보를 검출하는 알고리즘은 이에 한정되지 않으며, 음원의 발생 방향을 검출하는 다양한 알고리즘에 의해 획득될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식의 가진 자라면 알 수 있다.
제 1 환경 소음 제거부(140)는 추정된 환경 소음의 PSD를 이용해 각 채널 신호에서 환경 소음을 제거하여, 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득한다. 이에 따라,제 1 환경 소음 제거부(140)는 추정된 환경 소음의 PSD인 ΓNN을 이용하여 각 채널 신호 XL, XR에서 환경 소음이 제거된 신호인 각 채널 별 간섭 신호가 포함된 타겟 신호인 YL, YR을 획득한다.
이때, 제 1 환경 소음 제거부(140)는 채널 신호의 방향성을 유지하면서 환경 소음이 제거되도록 각 채널 신호에 동일한 제 1 환경 소음 제거 이득 Gb를 곱하여 각 채널 신호에서 환경 소음을 제거한다. 제 1 환경 소음 제거부(140)에 의해 획득되는 각 채널 별 간섭 신호가 포함된 타겟 신호인 YL, YR은 수학식 5와 같이 표현될 수 있다.
Figure 112012041045900-pat00005
이때, 각 채널 신호 XL, XR에 동일하게 곱해지는 제 1 환경 소음 제거 이득 Gb은 수학식 6에서와 같이 산출될 수 있다.
Figure 112012041045900-pat00006
수학식 6에서, Gb L와 Gb R는 각 채널 별 제 1 환경 소음 제거 이득을 나타낸다. 각 채널 신호에 동일하게 적용되는 제 1 환경 소음 제거 이득 Gb는 각 채널 별 제 1 환경 소음 제거 이득에 대한 기하 평균으로 획득될 수 있다. 이와 같이, 제 1 환경 소음 제거부(140)는 각 채널 별로 획득된 제 1 환경 환경 소음 이득의 기하 평균을 이용하여 각 채널 신호에서 환경 잡음을 제거함으로써 각 채널 신호의 방향성을 유지하면서 각 채널 신호에서 환경 소음을 제거할 수 있다.
각 채널 별 제 1 환경 소음 제거 이득은 각 채널 신호의 PSD와 추정된 환경 소음의 PSD에 기초하여 획득된다. 이에 따라, 각 채널 별 제 1 환경 소음 제거 이득 Gb L와 Gb R는 수학식 7과 같이 획득될 수 있다.
Figure 112012041045900-pat00007
수학식 7에서, ΓYY L, ΓYY R는 각 채널 별 간섭 신호가 포함된 타겟 신호의 PSD를 나타내고, ΓXX L, ΓXX R는 각 채널 신호의 PSD를 나타낸다. 이에 따라, 각 채널 별 제 1 환경 소음 제거 이득 Gb L와 Gb R는 각 채널 신호의 PSD와 각 채널 별 간섭 신호가 포함된 타겟 신호의 PSD의 PSD 비율에 해당한다.
본 발명의 일 실시예에 따라, 각 채널 신호의 PSD인 ΓXX L, ΓXX R는 수신된 각 채널 신호 XL, XR의 1차 recursive averaging을 통해서 획득될 수 있다. 다만, 이에 한정되지 않으며, 본 실시예와 관련된 기술분야에서 통상의 지식의 가진 자라면 그 외의 다양한 알고리즘을 이용하여 각 채널 신호의 PSD가 획득될 수 있음을 알 수 있다.
각 채널 별 간섭 신호가 포함된 타겟 신호의 PSD인 ΓYY L, ΓYY R는 각 채널 신호의 PSD인 ΓXX L, ΓXX R와 추정된 환경 소음 ΓNN으로부터 획득될 수 있다. 각 채널 신호의 PSD인 ΓXX L, ΓXX R를 식으로 표시하면 수학식 8과 같이 나타낼 수 있다.
Figure 112012041045900-pat00008
수학식 8에서, 각 채널 신호의 PSD는 각 채널 신호를 구성하는 성분인 타겟 신호 성분의 PSD, 간섭 신호 성분의 PSD 및 환경 소음의 PSD의 합으로 구성된다. 이에 따라, 각 채널 별 간섭 신호가 포함된 타겟 신호의 PSD는 각 채널 신호의 PSD에서 환경 소음의 PSD를 제거함으로써 획득될 수 있다. 즉, 각 채널 별 간섭 신호가 포함된 타겟 신호의 PSD를 획득하는 연산은 수학식 9와 같이 표시된다.
Figure 112012041045900-pat00009
수학식 9에서와 같이, 각 채널 별 간섭 신호가 포함된 타겟 신호의 PSD인 ΓYY L, ΓYY R는 각 채널 신호의 PSD인 ΓXX L, ΓXX R에서 추정된 환경 소음의 PSD인 ΓNN만큼을 뺀 값에 해당한다. 이에 따라, 제 1 환경 소음 제거부(140)는 각 채널 신호의 PSD와 각 채널 별 간섭 신호가 포함된 타겟 신호의 PSD를 각각 획득할 수 있다.
제 1 환경 소음 제거부(140)는 이상에서 설명한 바와 같이 각 채널 신호로부터 환경 소음을 제거하고, 각 채널 신호에서 환경 소음이 제거된 신호인 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득할 수 있다.
제 2 환경 소음 제거부(150)는 추정된 환경 소음의 PSD를 이용해 각 채널 별 잡음 신호에서 환경 소음을 제거하여, 각 채널 별 간섭 신호를 획득한다. 이에 따라, 제 2 환경 소음 제거부(150)는 추정된 환경 소음의 PSD인 ΓNN을 이용하여 각 채널 별 잡음 신호 ZL, ZR에서 환경 소음이 제거된 신호인 각 채널 별 간섭 신호인IL, IR을 획득한다.
이때, 제 2 환경 소음 제거부(150)는 각 채널 별 잡음 신호의 방향성을 유지하면서 환경 소음이 제거되도록 각 채널 별 잡음 신호에 동일한 제 2 환경 소음 제거 이득 GC를 곱하여 각 채널 별 잡음 신호에서 환경 소음을 제거한다. 제 2 환경 소음 제거부(150)에 의해 획득되는 각 채널 별 간섭 신호인 IL, IR은 수학식 10과 같이 표현될 수 있다.
Figure 112012041045900-pat00010
이때, 각 채널 별 잡음 신호 ZL, ZR에 동일하게 곱해지는 제 2 환경 소음 제거 이득 GC은 수학식 11에서와 같이 산출될 수 있다.
Figure 112012041045900-pat00011
수학식 11에서, GC L와 GC R는 각 채널 별 제 2 환경 소음 제거 이득을 나타낸다. 각 채널 별 잡음 신호에 동일하게 적용되는 제 2 환경 소음 제거 이득 GC는 각 채널 별 제 2 환경 소음 제거 이득에 대한 기하 평균으로 획득될 수 있다. 이와 같이, 제 2 환경 소음 제거부(150)는 각 채널 별로 획득된 제 2 환경 환경 소음 이득의 기하 평균을 이용하여 각 채널 별 잡음 신호에서 환경 잡음을 제거함으로써 각 채널 별 잡음 신호의 방향성을 유지하면서 각 채널 별 잡음 신호에서 환경 소음을 제거할 수 있다.
각 채널 별 제 2 환경 소음 제거 이득은 각 채널 별 잡음 신호의 PSD와 추정된 환경 소음의 PSD에 기초하여 획득된다. 이에 따라, 각 채널 별 제 2 환경 소음 제거 이득 GC L와 GC R는 수학식 12과 같이 획득될 수 있다.
Figure 112012041045900-pat00012
수학식 12에서, ΓII L, ΓII R는 각 채널 별 간섭 신호의 PSD를 나타내고, ΓZZ L, ΓZZ R는 각 채널 별 잡음 신호의 PSD를 나타낸다. 이에 따라, 각 채널 별 제 2 환경 소음 제거 이득 GC L와 GC R는 각 채널 별 잡음 신호의 PSD와 각 채널 별 간섭 신호의 PSD의 PSD 비율에 해당한다.
본 발명의 일 실시예에 따라, 각 채널 별 잡음 신호의 PSD인 ΓZZ L, ΓZZ R는 타겟 신호 제거부(130)에서 획득된 각 채널 별 잡음 신호 ZL, ZR의 1차 recursive averaging을 통해서 획득될 수 있다. 다만, 이에 한정되지 않으며, 본 실시예와 관련된 기술분야에서 통상의 지식의 가진 자라면 그 외의 다양한 알고리즘을 이용하여 각 채널 별 잡음 신호의 PSD가 획득될 수 있음을 알 수 있다.
각 채널 별 간섭 신호의 PSD인 ΓII L, ΓII R는 각 채널 별 잡음 신호의 PSD인 ΓZZ L, ΓZZ R와 추정된 환경 소음 ΓNN으로부터 획득될 수 있다. 각 채널 별 잡음 신호의 PSD인 ΓZZ L, ΓZZ R를 식으로 표시하면 수학식 13과 같이 나타낼 수 있다.
Figure 112012041045900-pat00013
수학식 13에서, 각 채널 별 잡음 신호의 PSD는 잡음에 해당하는 간섭 신호 성분의 PSD 및 환경 소음 성분의 PSD의 합으로 구성된다. 이에 따라, 제 1 환경 소음 제거부(140)와 유사하게, 제 2 환경 소음 제거부(150)는 각 채널 별 잡음 신호의 PSD에서 환경 소음 성분의 PSD를 제거함으로써 각 채널 별 간섭 신호의 PSD를 획득될 수 있다.
다만, 수학식 13에서 환경 소음 성분의 PSD에 해당하는
Figure 112012041045900-pat00014
,
Figure 112012041045900-pat00015
는 타겟 신호 제거부(130)에서 적용된 가중치가 반영된 값으로, 앞에서 추정된 환경 소음의 PSD인 ΓNN과 다르다. 또한, 수학식 13의 간섭 신호 성분의 PSD도 HL, HR과 같은 타겟 신호 제거부(130)의 가중치가 반영된 값을 포함하고 있다. 이에 따라, 제 2 환경 소음 제거부(150)는 추정된 환경 소음 PSD에 타겟 신호 제거부(130)의 가중치를 반영된 환경 소음 성분을 각 채널 별 잡음 신호의 PSD인 ΓZZ L, ΓZZ R로부터 제거하여야 한다. 따라서, 각 채널 별 간섭 신호의 PSD는 수학식 14와 같이 산출될 수 있다.
Figure 112012041045900-pat00016
수학식 14에서, 각 채널 별 간섭 신호의 PSD인 ΓII L, ΓII R는 각 채널 별 잡음 신호의 PSD인 ΓZZ L, ΓZZ R에서 추정된 환경 소음의 PSD인 ΓNN를 (1+|WR|2), (1+|WL|2)만큼 스케일하여 뺀 값에 해당한다. 이때, 추정된 환경 소음의 PSD가 스케일되는 이유는 타겟 신호 제거부(130)에서 각 채널 신호로부터 타겟 신호를 제거하는 과정에서 타겟 신호 제거부(130)의 가중치가 환경 소음에도 반영되었기 때문이다. 이에 따라, 제 2 환경 소음 제거부(150)는 각 채널 별 잡음 신호의 PSD와 각 채널 별 간섭 신호의 PSD를 각각 획득할 수 있다.
제 2 환경 소음 제거부(150)는 이상에서 설명한 바와 같이 각 채널 별 잡음 신호로부터 환경 소음을 제거하고, 각 채널 별 간섭 신호를 획득할 수 있다.
간섭 신호 제거부(160)는 각 채널 별로 간섭 신호가 포함된 타겟 신호에서 간섭 신호를 제거하여, 타겟 신호를 획득한다. 간섭 신호 제거부(160)는 제 1 환경 소음 제거부(140)에서 획득된 각 채널 별 간섭 신호가 포함된 타겟 신호 ΓYY L, ΓYY R와 제 2 환경 소음 제거부(150)에서 획득된 각 채널 별 간섭 신호 ΓII L, ΓII R를 입력으로 하여 각 채널 신호 ΓXX L, ΓXX R에서 잡음이 제거된 타겟 신호를 출력한다.
본 발명의 일 실시예에 따른 간섭 신호 제거부(160)는 적응 필터(adaptive filter)를 이용하여 각 채널 별로 간섭 신호가 포함된 타겟 신호에서 간섭 신호와 상관도가 높은 신호 성분을 적응적으로 제거함으로써 간섭 신호를 제거할 수 있다.
간섭 신호 제거부(160)는 환경 소음이 제거된 신호인 간섭 신호가 포함된 타겟 신호와 간섭 신호를 적응 필터의 입력으로 이용한다. 이에 따라, 본 실시예에 따른 잡음 제거 장치(100)는 상관도가 높은 신호 성분만을 제거하는 적응 필터가 각 채널간에 상관도가 낮은 환경 소음으로 인해 각 채널 신호에 포함된 간섭 신호를 효과적으로 제거하지 못하는 문제점을 해결할 수 있다.
본 발명의 일 실시예에 따라, 적응 필터는 Normalized Least Mean Square(NLMS) 알고리즘을 이용하여 구현될 수 있다. 다만, 이에 한정되지 않으며, 다양한 알고리즘을 이용하여 적응 필터가 구현될 수 있음을 본 실시예가 속한 기술 분야에서 통상의 지식을 가진 자라면 알 수 있다.
간섭 신호 제거부(160)에서 적응 필터를 이용하여 잡음이 제거된 타겟 신호에서 간섭 신호를 제거하는 과정은 수학식 15와 같이 나타낼 수 있다.
Figure 112012041045900-pat00017
수학식 15에서, Ei는 간섭 신호 제거부(160)에서 간섭 신호를 제거하고 획득한 타겟 신호를 나타내고, Yi는 간섭 신호가 포함된 타겟 신호를, Ii는 간섭 신호를 나타낸다. 이때, Ai l는 간섭 신호 제거부(160)에서 간섭 신호를 제거하기 위하여 적용되는 가중치를 나타낸다. 그리고, 가중치 Ai l에서 l은 프레임 인덱스를 나타낸다. 그리고, 간섭 신호 제거부(160)의 가중치 Ai l는 수학식 16과 같이 산출될 수 있다.
Figure 112012041045900-pat00018
수학식 16에서, 가중치 Ai l은 현재의 프레임의 가중치를 나타내고, Ai l+1는 다음 프레임의 가중치를 나타낸다. 또한, μ는 적응 필터의 스텝 사이즈를 나타낸다. 수학식 16에 따르면, 현재 프레임의 가중치 Ai l는 다음 프레임의 가중치 Ai l+1를 산출하는데 반영된다. 따라서, 간섭 신호 제거부(160)의 가중치는 이전 프레임의 가중치와 타겟 신호 및 간섭 신호에 기초하여 산출된다.
본 발명의 일 실시예에 따른 잡음 제거 장치(100)는 2 채널 신호로 구성된 각 채널 신호를 이용하여, 각 채널 신호에서 환경 소음과 간섭 신호를 각각 추정하고, 이를 바탕으로 채널 신호에서 잡음 성분인 간섭 신호와 환경 소음을 각각 제거함으로써 다수의 입력 신호를 이용하여 연산하는 Multichannel Wiener Filter(MWF)와 같이 많은 양의 연산을 수행하지 않고도 잡음을 간편하고 효과적으로 제거할 수 있다.
또한, 잡음 제거 장치(100)는 타겟 신호를 제거한 잡음 신호에서 추정된 환경 소음을 제거한 나머지 신호를 간섭 신호로 획득함으로써 2 개 이상의 간섭 신호가 존재하더라도 Voice Activity Detector(VAD)와 같은 복잡한 연산을 수행하지 않고도 모든 간섭 성분을 간단하고 효과적으로 제거할 수 있다.
동시에, 잡음 제거 장치(100)는 각 채널 신호에 동일한 이득을 곱함으로써 각 채널 간의 ILD(Interaural Level Difference)와 ITD(Interaural Time Difference)와 같은 공간 지각 파라미터(spatial cues)의 손실 없이도 각 채널 신호의 방향성을 유지하면서 효과적으로 잡음을 제거할 수 있다.
도 2는 도 1에 도시된 환경 소음 추정부의 일 실시예를 도시한 도면이다. 도 2를 참조하면, 환경 소음 추정부(120)는 상관도 추정부(210), 고유치 추정부(220)및 저주파 대역 보상부(230)로 구성된다.
도 2에 도시된 환경 소음 추정부(120)는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
도 1에서 환경 소음 추정부(120)와 관련하여 기재된 내용은 도 2에 도시된 환경 소음 추정부(120)에도 적용이 가능하므로, 이와 관련하여 중복된 설명은 생략한다.
환경 소음 추정부(120)는 도 1에서 설명한 바와 같이 각 채널 신호로부터 환경 소음의 파워 스펙트럼 밀도(PSD)를 추정한다. 환경 소음 추정부(120)는 각 채널 신호에 포함된 환경 소음간의 상관도를 추정하고, 채널 신호들에 대한 공분산 행렬의 최소 고유치 값을 추정하고, 추정된 상관도 및 최소 고유치 값을 이용하여 환경 소음의 PSD를 추정한다.
상관도 추정부(210)는 각 채널 신호에 포함된 환경 소음간의 상관도를 추정한다. 이때, 좌측 채널 신호 및 우측 채널 신호에 포함된 환경 소음들 간의 상관도는 수학식 17과 같이 표현될 수 있다.
Figure 112012041045900-pat00019
수학식 17에서, Ψ는 좌측 채널 신호 및 우측 채널 신호에 포함된 환경 소음간의 상관도, ΓNN는 환경 소음의 PSD, ΓL NN는 좌측 채널 신호에 포함된 환경 소음의 PSD, ΓR NN는 우측 채널 신호에 포함된 환경 소음의 PSD, ΓLR NN는 좌측 채널 신호에 포함된 환경 소음 및 우측 채널 신호에 포함된 환경 소음에 대한 PSD가 될 수 있다. 이때, ΓLR NN는 좌측 채널 신호에 포함된 환경 소음 및 우측 채널 신호에 포함된 환경 소음의 곱에 대한 평균이 될 수 있으나, 이에 한정되지 않는다.
이때, 좌측 채널 신호 및 우측 채널 신호에 포함된 환경 소음간의 상관도 Ψ는 좌측 채널 신호 및 우측 채널 신호 간의 코히어런스(coherence) 함수가 될 수 있다.
이에 따라, 환경 소음간의 상관도 Ψ는 환경 소음의 PSD인 ΓNN와 좌측 채널 신호에 포함된 환경 소음 및 우측 채널 신호에 포함된 환경 소음에 대한 PSD인 ΓLR NN의 비로 정의될 수 있다.
상기에서 설명한 바와 같이, 좌측 채널 신호 및 우측 채널 신호에 포함된 각각의 환경 소음은 고주파 대역에서보다 저주파 대역에서 더 높은 상관도를 가진다. 이에 따라, 좌측 채널 신호에 포함된 환경 소음 및 우측 채널 신호에 포함된 환경 소음에 대한 PSD인 ΓLR NN는 저주파 대역에서 고주파 대역으로 진행될수록 0(zero)에 가까운 값을 가질 수 있다.
따라서, 상관도 추정부(210)는 각 채널 신호에 포함된 환경 소음이 고주파 대역보다 저주파 대역에서 더 높은 가중치가 부여되도록 상관도를 추정한다.
예를 들면, 상관도 추정부(210)는 주파수 및 각 채널 신호가 입력되는 위치 사이의 거리에 따른 싱크(sinc) 함수를 이용하여 상관도를 추정할 수 있다. 이에 따라, 추정되는 환경 소음간의 상관도는 수학식 18과 같이 정의될 수 있다.
Figure 112012041045900-pat00020
수학식 18에서, Ψ는 상관도, f는 주파수, dLR은 각 채널 신호가 입력되는 위치 사이의 거리, c는 소리의 속도가 될 수 있다.
이처럼, 상관도 추정부(210)는 주파수 및 각 채널 신호가 입력되는 위치 사이의 거리에 따른 싱크 함수를 이용하여 환경 소음간의 상관도를 추정할 수 있다.
고유치 추정부(220)는 각 채널 신호를 이용하여 공분산 행렬(covariance matrix)의 고유치(eigenvalue)를 추정한다. 고유치 추정부(220)는 좌측 채널 신호 및 우측 채널 신호의 2 채널 신호에 대한 공분산 행렬을 수학식 19와 같이 추정할 수 있다.
Figure 112012041045900-pat00021
수학식 19에서 Rx는 공분산 행렬, aR은 음원이 발생한 위치로부터 사용자의 우측 귀까지의 전달 경로를 나타내는 오른쪽 머리전달함수(Head Related Transfer Function: HRTF), aL은 음원이 발생한 위치로부터 사용자의 좌측 귀까지의 전달 경로를 나타내는 왼쪽 머리전달함수(Head Related Transfer Function: HRTF), ΓSS는 타겟 신호의 PSD, ΓNN는 환경 소음의 파워 스펙트럼 밀도, Ψ는 환경 소음들 간의 상관도이다.
수학식 19에서 2 채널 신호에 대한 공분산 행렬 Rx는 ΨΓNN가 포함된 엘리먼트를 가진다. 즉, 본 실시예에 따른 고유치 추정부(220)는 2 채널 신호에 대한 상호상관 함수를 추정함에 있어서, 추가적으로 ΨΓNN를 더 고려한다. 이에 따라, 고유치 추정부(220)는 환경 소음들 간의 상관도가 고려된 공분산 행렬을 추정할 수 있다.
또한, 고유치 추정부(220)는 공분산 행렬의 고유치(eigenvalue)를 수학식 20과 같이 추정할 수 있다.
Figure 112012041045900-pat00022
수학식 20에서 λ1,2는 공분산 행렬의 고유치들, aR은 음원이 발생한 위치로부터 사용자의 우측 귀까지의 전달 경로를 나타내는 오른쪽 머리전달함수, aL은 음원이 발생한 위치로부터 사용자의 좌측 귀까지의 전달 경로를 나타내는 왼쪽 머리전달함수, ΓSS는 타겟 신호의 PSD, ΓNN는 환경 소음의 PSD, Ψ는 환경 소음간의 상관도이다.
공분산 행렬으로부터 고유치를 추정하는 방법은 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 알 수 있기에 상세한 설명은 생략한다.
고유치 추정부(220)는 수학식 21에서 추정된 공분산 행렬의 고유치들 λ1 또는 λ2 중 더 작은 값을 공분산 행렬의 최소 고유치로 추정한다.
저주파 대역 보상부(230)는 고유치 추정부(220)에서 추정된 고유치 및 상관도 추정부(120)에서 추정된 상관도를 이용하여 환경 소음에 대한 PSD를 추정한다. 이에 따라, 저주파 대역 보상부(230)는 환경 소음의 PSD에서 저주파 대역을 보상한다. 추정된 환경 소음의 PSD는 수학식 21과 같이 나타낼 수 있다.
Figure 112012041045900-pat00023
수학식 21에서 ΓNN는 환경 소음의 PSD, λ는 2 채널 신호에 대한 공분산 행렬의 고유치, Ψ는 환경 소음간의 상관도이다. 이와 같이, 저주파 대역 보상부(230)는 상관도 추정부(210)에서 추정된 상관도 및 고유치 추정부(22)에서 추정된 공분산 행렬의 고유치를 이용하여, 환경 소음에 대한 PSD의 저주파 대역을 보상한다.
이에 따라, 환경 소음 추정부(120)는 상관도 추정부(210)에서 추정된 상관도 및 고유치 추정부(22)에서 추정된 공분산 행렬의 최소 고유치를 이용하여 저주파 대역이 보상된 환경 소음의 PSD를 추정할 수 있다.
환경 소음 추정부(120)는 환경 소음간의 상관도를 고려하여 환경 소음에 대한 PSD를 추정하기에, 추정되는 환경 소음 PSD의 정확성이 향상될 수 있다.
도 3은 본 발명의 일 실시예에 따른 음원 출력 장치를 도시한 블록도이다. 도 3을 참조하면, 음원 출력 장치(300)는 수신부(310), 프로세서(320), 이득 적용부(330) 및 음원 출력부(340)로 구성되고, 프로세서(320)는 도 1에 도시된 잡음 제거 장치(100)를 포함한다. 도 1에서 잡음 제거 장치(100)와 관련하여 기재된 내용은 도 3에 도시된 프로세서(320)에도 적용이 가능하므로, 이와 관련하여 중복된 설명은 생략한다.
도 3에 도시된 음원 출력 장치(300)에는 본 실시예와 관련된 구성 요소들만이 도시되어 있다. 따라서, 도 3에 도시된 구성 요소들 이외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
음원 출력 장치(300)는 잡음이 제거된 2 채널의 음원을 출력한다. 본 발명의 일 실시예에 따른 음원 출력 장치(300)는 양이 보청기(binaural hearing aids), 헤드셋(head set), 이어폰(earphone), 휴대폰(mobile phone), 개인 정보 단말기(Personal Digital Assistant), MP3 플레이어(MPEG Audio layer-3 Player), CD 플레이어(Compact Disc player), 포터블 미디어 플레이어(Portable Media Player) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
수신부(310)는 2 채널 신호를 구성하는 각 채널 신호를 수신한다. 이때, 채널 신호는 사용자 주변의 음원(sound)이 입력된 신호에 해당한다. 이에 따라, 수신부(310)는 2 개의 오디오 채널로 분리된 음원을 수신한다.
본 발명의 일 실시예에 따른 수신부(310)는 주변의 음원을 수신하여 전기 신호로 변환하는 마이크로폰(microphone)이 될 수 있으나, 이에 한정되지 않고, 주변의 음원을 인지하여 수신하는 모든 장치를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 2 채널 신호는 사용자의 좌측 귀 및 우측 귀의 위치에서 입력된 음원에 해당될 수 있다. 이에 따라, 수신부(310)는 예를 들면,사용자의 좌측 귀 및 우측 귀 각각에 위치한 마이크로폰(microphone)을 통해서 2 채널 신호를 수신할 수 있다. 이하에서는 설명의 편의상, 2 채널 신호는 사용자의 좌측 귀 및 우측 귀의 위치에서 입력된 음원이라 한다. 그리고, 좌측 귀의 위치에서 입력된 음원을 좌측 채널 신호라 하고, 우측 귀의 위치에서 입력된 음원을 우측 채널 신호라 한다.
프로세서(320)는 도 1에 도시된 잡음 제거 장치(100)를 포함한다. 이에 따라, 프로세서(320)는 도 1에서 설명한 바와 같이 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 각 채널 신호에서 타겟 신호(target signal)를 제거하여 각 채널 별 잡음 신호(noise signal)를 획득하고, 각 채널 신호로부터 환경 소음(diffuse noise)의 파워 스펙트럼 밀도(PSD, power spectral density)를 추정하고, 추정된 환경 소음의 PSD를 이용해 상기 각 채널 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득하고, 추정된 환경 소음의 PSD를 이용해 각 채널 별 상기 잡음 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호(interference signal)를 획득하고, 각 채널 별로 간섭 신호가 포함된 타겟 신호에서 간섭 신호를 제거하여 각 채널 별 타겟 신호를 획득한다. 이와 관련된 상세한 설명은 도 1에 도시된 환경 소음 추정부(120), 타겟 신호 제거부(130), 제 1 환경 소음 제거부(140), 제 2 환경 소음 제거부(150), 간섭 신호 제거부(160)의 설명을 참조한다.
또한, 프로세서(320)는 획득된 타겟 신호에 기초하여 각 채널 신호에 적용되는 출력 이득을 산출한다. 이때, 프로세서(320)는 각 채널 신호로부터 환경 소음 및 간섭 신호를 포함한 잡음 신호가 제거된 신호인 타겟 신호를 이용하여 각 채널 별 출력 이득을 산출한다. 각 채널 별 출력 이득은 수학식 22와 같이 산출될 수 있다.
Figure 112012041045900-pat00024
수학실 22에서, GainL 및 GainR은 각 채널 별 출력 이득에 해당한다. 각 채널 별 출력 이득 GainL 및 GainR은 채널 신호 XL, XR에서 환경 소음 및 간섭 신호가 제거하여 추정된 타겟 신호인 EL, ER의 PSD와 수신된 채널 신호의 PSD인 ΓXX L, ΓXX R의 PSD 비율에 해당한다. 이에 따라, 프로세서(320)는 각 채널 별 추정된 타겟 신호의 PSD와 각 채널 신호의 PSD를 이용하여 각 채널 별 출력 이득인 GainL, GainR을 획득한다.
본 발명의 일 실시예에 따른 음원 출력 장치(300)는 각 채널 신호 XL, XR에는 동일한 출력 이득을 곱하여 각 채널 신호의 방향성을 유지할 수 있다. 이에 따라, 프로세서(320)는 각 채널 신호에 동일하게 적용되는 출력 이득을 산출한다. 곱해진다. 출력 이득는 각 채널 별 출력 이득에 기초하여 수학식 23과 같이 산출될 수 있다.
Figure 112012041045900-pat00025
수학식 23에서, G는 각 채널 신호에 동일하게 적용되는 출력 이득이고, GainL, GainR은 각 채널 별 출력 이득에 해당한다. 이에 따라, 프로세서(320)는 각 채널 별 출력 이득 GainL과 GainR의 기하 평균으로 각 채널 신호에 동일하게 적용되는 출력 이득 G를 획득할 수 있다.
이에 따라, 본 실시예에 따른 음원 출력 장치(300)는 각 채널 신호에 동일한 이득을 곱함으로써 공간 지각 파라미터의 손실을 최소화 할 수 있다.
이득 적용부(330)는 각 채널 신호에 프로세서(320)에서 산출된 출력 이득을 적용한다. 이때, 이득 적용부(330)는 각 채널 신호의 방향성을 유지하면서 잡음이 제거되도록 각 채널 신호에 동일한 출력 이득 G을 곱하여 각 채널 신호에서 환경 소음 및 간섭 신호를 포함한 잡음 성분을 제거한다. 이에 따라, 이득 적용부(330)는 각 채널 신호에 동일한 출력 이득을 적용함으로써, 잡음이 제거된 2 채널 신호를 출력할 수 있다. 이때, 이득 적용부(330)에 의해 획득되는 잡음이 제거된 2 채널 신호는 수학식 24와 같이 표현될 수 있다.
Figure 112012041045900-pat00026
수학식 24에서, SL, SR은 각 채널 신호에서 잡음이 제거된 2 채널 신호를 나타낸다. 즉, 이득 적용부(330)는 각 채널 신호 XL, XR에 출력 이득 G를 곱함으로써수신된 각 채널 신호로부터 잡음을 제거할 수 있다.
음원 출력부(340)는 이득 적용부(330)에 의해 출력 이득이 적용된 2채널의 음원을 출력한다. 이에 따라, 사용자는 잡음이 제거된 2 채널의 음원을 청취할 수 있다.
본 발명의 일 실시예에 따른 음원 출력부(340)는 스피커, 리시버 등으로 구현될 수 있다. 다만, 이에 한정되지 않으며, 2 채널의 음원을 출력할 수 있는 장치를 모두 포함할 수 있음을 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
본 발명의 일 실시예에 따른 음원 출력 장치(300)는 각 채널 신호에서 환경 소음과 간섭 신호를 각각 추정하여 제거함으로써, 다수의 입력 신호를 이용하여 연산하는 Multichannel Wiener Filter(MWF)와 같이 많은 양의 연산을 수행하지 않고도 잡음을 간편하고 효과적으로 제거할 수 있다.
또한, 음원 출력 장치(300)는 타겟 신호를 제거한 잡음 신호에서 추정된 환경 소음을 제거한 나머지 신호를 간섭 신호로 획득함으로써 2 개 이상의 간섭 신호가 존재하더라도 Voice Activity Detector(VAD)와 같은 복잡한 연산을 수행하지 않고도 모든 간섭 성분을 간단하고 효과적으로 제거할 수 있다.
동시에, 음원 출력 장치(300)는 각 채널 신호에 동일한 이득을 곱하여 잡음 제거함으로써 각 채널 간의 ILD(Interaural Level Difference)와 ITD(Interaural Time Difference)와 같은 공간 지각 파라미터(spatial cues)의 손실 없이 효과적으로 잡음을 제거할 수 있다.
도 4는 본 발명의 일 실시예에 따라 잡음 제거 장치를 이용하여 잡음을 제거하는 방법을 나타낸 흐름도이다. 도 4를 참조하면, 도 4에 기재된 방법은 도 1 내지 도 2에 도시된 잡음 제거 장치(100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 하기에 생략된 내용이라 하더라도 도 1 내지 도 2에 도시된 잡음 제거 장치(100)에 관하여 이상에서 기술된 내용은 도 4에 기재된 방법에도 적용됨을 알 수 있다.
410 단계에서 수신부(110)는 2 채널 신호를 구성하는 각 채널 신호를 수신한다. 이때, 채널 신호는 사용자 주변의 음원이 입력된 신호에 해당한다. 본 발명의 일 실시예에 따라, 2 채널 신호는 사용자의 좌측 귀 및 우측 귀의 위치에서 입력된 음원에 해당될 수 있다.
채널 신호는 사용자가 들으려고 하는 소리에 해당하는 타겟 신호(target signal)와 그 이외의 소리인 잡음 신호(noise signal)로 구성된다. 그리고, 잡음 신호는 방향성이 없는 잡음에 해당하는 환경 소음(diffuse signal)과 방향성을 갖는 잡음에 해당하는 간섭 신호(interference)로 구분될 수 있다.
420 단계에서 타겟 신호 제거부(130)는 410 단계에서 수신된 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 각 채널 신호에서 타겟 신호를 제거하여 각 채널 별 잡음 신호를 획득한다. 이때, 가중치는 각 채널 신호에 포함된 타겟 신호의 방향 정보에 기초하여 결정될 수 있다.
430 단계에서 환경 소음 추정부(120)는 채널 신호로부터 환경 소음의 파워 스펙트럼 밀도(PSD)를 추정한다. 구체적으로, 환경 소음 추정부(120)는 각 채널 신호에 포함된 환경 소음간의 상관도를 추정하고, 채널 신호들에 대한 공분산 행렬의 최소 고유치 값을 획득하고, 추정된 상관도 및 최소 고유치 값을 이용하여 환경 소음의 PSD를 추정할 수 있다.
440 단계에서 제 1 환경 소음 제거부(140)는 430 단계에서 추정된 환경 소음의 PSD를 이용해 각 채널 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득한다. 이때, 제 1 환경 소음 제거부(140)는 각 채널 신호의 방향성을 유지하면서 환경 소음이 제거되도록 각 채널 신호에 동일한 제 1 환경 소음 제거 이득을 곱하여 각 채널 신호로부터 환경 소음을 제거할 수 있다.
450 단계에서 제 2 환경 소음 제거부(150)는 430 단계에서 추정된 환경 소음의 PSD를 이용해 각 채널 별 잡음 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호를 획득한다. 이때, 제 2 환경 소음 제거부(150)는 각 채널 별 잡음 신호의 방향성을 유지하면서 환경 소음이 제거되도록 각 채널 별 잡음 신호에 동일한 제 2 환경 소음 제거 이득을 곱하여 각 채널 별 잡음 신호로부터 환경 소음을 제거할 수 있다.
460 단계에서 간섭 신호 제거부(160)는 각 채널 별로 440 단계에서 획득된 간섭 신호가 포함된 타겟 신호에서 450 단계에서 획득된 간섭 신호를 제거한다. 이때, 간섭 신호 제거부(160)는 각 채널 별로 간섭 신호가 포함된 타겟 신호에서 간섭 신호와 상관도가 높은 신호 성분을 적응적으로 제거하는 적응 필터를 이용하여 간섭 신호를 제거할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 잡음 제거 장치(100)는 수신된 각 채널 신호로부터 환경 소음과 간섭 신호를 각각 제거하여 잡음이 제거된 타겟 신호를 획득한다.
도 5는 본 발명의 일 실시예에 따라 음원 출력 장치를 이용하여 잡음이 제거된 음원을 출력하는 방법을 나타낸 흐름도이다. 도 5를 참조하면, 도 5에 기재된 방법은 도 1 내지 도 3에 도시된 잡음 제거 장치(100) 및 음원 출력 장치(300)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 하기에 생략된 내용이라 하더라도 도 1 내지 도 3에 도시된 잡음 제거 장치(100) 및 음원 출력 장치(300)에 관하여 이상에서 기술된 내용은 도 5에 기재된 방법에도 적용됨을 알 수 있다.
510 단계에서 수신부(310)는 2 채널 신호를 구성하는 각 채널 신호를 수신한다. 이때, 수신부(310)는 2 개의 오디오 채널로 분리된 음원을 수신함으로서 각 채널 신호를 수신한다. 본 발명의 일 실시예에 따라, 수신부(310)는 예를 들면,사용자의 좌측 귀 및 우측 귀 각각에 위치한 마이크로폰(microphone)을 통해서 2 채널 신호를 수신할 수 있다.
520 단계에서 프로세서(320)는 510 단계에서 수신된 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 각 채널 신호에서 타겟 신호를 제거하여 각 채널 별 잡음 신호를 획득한다.
530 단계에서 프로세서(320)는 채널 신호로부터 환경 소음의 파워 스펙트럼 밀도(PSD)를 추정한다.
540 단계에서 프로세서(320)는 530 단계에서 추정된 환경 소음의 PSD를 이용해 각 채널 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득한다.
550 단계에서 프로세서(320)는 530 단계에서 추정된 환경 소음의 PSD를 이용해 각 채널 별 잡음 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호를 획득한다.
560 단계에서 프로세서(320)는 각 채널 별로 540 단계에서 획득된 간섭 신호가 포함된 타겟 신호에서 550 단계에서 획득된 간섭 신호를 제거하여 각 채널 별 타겟 신호를 획득한다.
570 단계에서 프로세서(320)는 560 단계에서 획득된 타겟 신호에 기초하여 각 채널 신호에 적용되는 출력 이득를 산출한다.
580 단계에서 이득 적용부(330)는 각 채널 신호에 570 단계에서 산출된 출력 이득을 적용한다.
590 단계에서 음원 출력부(340)는 580 단계의 출력 이득이 적용된 2 채널의 음원을 출력한다.
이와 같이, 본 발명의 일 실시예에 따른 음원 출력 장치(300)는 각 채널 신호로부터 환경 소음과 간섭 신호가 제거된 2 채널의 음원을 출력한다. 이에 따라, 음원 출력 장치(300)는 수신된 2 채널 신호에서 공간 지각 파라미터의 손실을 최소화하여 채널 신호의 방향성을 유지된 음원을 출력할 수 있다. 또한, 음원 출력 장치(300)는 신호의 왜곡 없이 잡음이 깨끗하게 제거된 타겟 신호를 출력하여, 사용자의 음성 인지 능력과 음질을 향상 시킬 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 ... 잡음 제거 장치
110 ... 수신부
120 ... 타겟 신호 제거부
130 ... 환경 소음 추정부
140 ... 제 1 환경 소음 제거부
150 ... 제 2 환경 소음 제거부
160 ... 간섭 신호 제거부

Claims (20)

  1. 2 채널 신호에서 잡음(noise)을 제거하는 방법에 있어서,
    상기 2 채널 신호를 구성하는 각 채널 신호를 수신하는 단계;
    상기 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 상기 각 채널 신호에서 타겟 신호(target signal)를 제거하여 각 채널 별 잡음 신호(noise signal)를 획득하는 단계;
    상기 각 채널 신호로부터 환경 소음(diffuse noise)의 파워 스펙트럼 밀도(PSD, power spectral density)를 추정하는 단계;
    상기 추정된 환경 소음의 PSD를 이용해 상기 각 채널 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득하는 단계;
    상기 추정된 환경 소음의 PSD를 이용해 각 채널 신호의 방향성을 유지하면서 상기 환경 소음이 제거되도록 상기 각 채널 신호에 동일한 제 1 환경 소음 제거 이득을 곱하여 상기 각 채널 신호에서 상기 환경 소음을 제거하고, 각 채널 별 상기 잡음 신호의 방향성을 유지하면서 상기 환경 소음이 제거되도록 각 채널 별 상기 잡음 신호에 동일한 제 2 환경 소음 제거 이득을 곱하여 각 채널 별 상기 잡음 신호에서 상기 환경 소음을 제거하여 각 채널 별 간섭 신호(interference signal)를 획득하는 단계; 및
    각 채널 별로 상기 간섭 신호가 포함된 타겟 신호에서 상기 간섭 신호를 제거하는 단계;를 포함하고,
    상기 제 1 환경 소음 제거 이득은 상기 각 채널 신호의 PSD와 상기 추정된 환경 소음의 PSD에 기초하여 획득되고,
    상기 제 2 환경 소음 제거 이득은 상기 각 채널 별 상기 잡음 신호의 PSD, 상기 추정된 환경 소음의 PSD 및 각 채널 별 상기 타겟 신호의 방향 정보에 기초하여 획득되고,
    상기 각 채널 신호의 PSD는 각 채널 신호의 1차 recursive averaging을 통해서 획득되고,
    각 채널 별 상기 잡음 신호의 PSD는 각 채널 별 상기 잡음 신호의 1차 recursive averaging을 통해서 획득되는 것을 특징으로 하는 잡음 제거 방법.
  2. 제 1 항에 있어서,
    상기 가중치는 상기 각 채널 신호에 포함된 타겟 신호의 방향 정보에 기초하여 결정되는 것을 특징으로 하는 잡음 제거 방법.
  3. 제 1 항에 있어서, 상기 환경 소음의 PSD를 추정하는 단계는
    상기 각 채널 신호에 포함된 환경 소음간의 상관도(coherence)를 추정하는 단계;
    상기 2 채널 신호에 대한 공분산 행렬(covariance matrix)의 최소 고유치(eigenvalue) 값을 추정하는 단계; 및
    상기 추정된 상관도 및 상기 최소 고유치 값을 이용하여 상기 환경 소음의 PSD를 추정하는 단계;를 더 포함하는 것을 특징으로 하는 잡음 제거 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서, 상기 간섭 신호를 제거하는 단계는
    적응 필터를 이용하여 각 채널 별로 상기 간섭 신호가 포함된 타겟 신호에서 상기 간섭 신호와 상관도가 높은 신호 성분을 적응적으로 제거함으로써 상기 간섭 신호를 제거하는 것을 특징으로 하는 잡음 제거 방법.
  8. 제 7 항에 있어서,
    상기 적응 필터는 Normalized Least Mean Square(NLMS) 알고리즘을 이용하여 구현되는 것을 특징으로 하는 잡음 제거 방법.
  9. 제 1 항 내지 제 3항, 제 7항 및 제 8 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록 매체.
  10. 2 채널 신호에서 잡음(noise)을 제거하는 잡음 제거 장치에 있어서,
    상기 2 채널 신호를 구성하는 각 채널 신호를 수신하는 수신부;
    각 채널 별 잡음 신호(noise signal)를 획득하기 위하여, 상기 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 상기 각 채널 신호에서 타겟 신호(target signal)를 제거하는 타겟 신호 제거부;
    상기 각 채널 신호로부터 환경 소음(diffuse noise)의 파워 스펙트럼 밀도(PSD, power spectral density)를 추정하는 환경 소음 추정부;
    각 채널 별 간섭 신호가 포함된 타겟 신호를 획득하기 위하여 상기 추정된 환경 소음의 PSD를 이용해 상기 각 채널 신호에서 환경 소음을 제거하는 제 1 환경 소음 제거부;
    각 채널 별 간섭 신호(interference signal)를 획득하기 위하여 상기 추정된 환경 소음의 PSD를 이용해 각 채널 별 상기 잡음 신호에서 환경 소음을 제거하는 제 2 환경 소음 제거부; 및
    각 채널 별로 상기 간섭 신호가 포함된 타겟 신호에서 상기 간섭 신호를 제거하는 간섭 신호 제거부;를 포함하고,
    상기 제 1 환경 소음 제거부는 상기 각 채널 신호의 방향성을 유지하면서 상기 환경 소음이 제거되도록 상기 각 채널 신호에 동일한 제 1 환경 소음 제거 이득을 곱하여 상기 각 채널 신호에서 상기 환경 소음을 제거하고,
    상기 제 2 환경 소음 제거부는 상기 각 채널 별 상기 잡음 신호의 방향성을 유지하면서 상기 환경 소음이 제거되록 각 채널 별 상기 잡음 신호에 동일한 제 2 환경 소음 제거 이득을 곱하여 각 채널 별 상기 잡음 신호에서 상기 환경 소음을 제거하고,
    상기 제 1 환경 소음 제거 이득은 상기 각 채널 신호의 PSD와 상기 추정된 환경 소음의 PSD에 기초하여 획득되고,
    상기 제 2 환경 소음 제거 이득은 각 채널 별 상기 잡음 신호의 PSD, 상기 추정된 환경 소음의 PSD 및 각 채널 별 상기 타겟 신호의 방향 정보에 기초하여 획득되고,
    상기 각 채널 신호의 PSD는 각 채널 신호의 1차 recursive averaging을 통해서 획득되고,
    각 채널 별 상기 잡음 신호의 PSD는 각 채널 별 상기 잡음 신호의 1차 recursive averaging을 통해서 획득되는 것을 특징으로 하는 잡음 제거 장치.
  11. 제 10 항에 있어서,
    상기 가중치는 상기 각 채널 신호에 포함된 타겟 신호의 방향 정보에 기초하여 획득되는 것을 특징으로 하는 잡음 제거 장치.
  12. 제 10 항에 있어서,
    상기 환경 소음 추정부는 상기 각 채널 신호에 포함된 환경 소음간의 상관도(coherence)를 추정하고, 상기 2 채널 신호에 대한 공분산 행렬(covariance matrix)의 최소 고유치(eigenvalue) 값을 추정하고, 상기 추정된 상관도 및 상기 최소 고유치 값을 이용하여 상기 환경 소음의 PSD를 추정하는 것을 특징으로 하는 잡음 제거 장치.
  13. 삭제
  14. 삭제
  15. 제 10 항에 있어서,
    상기 간섭 신호 제거부는 적응 필터를 이용하여 각 채널 별로 상기 간섭 신호가 포함된 타겟 신호에서 상기 간섭 신호와 상관도가 높은 신호 성분을 적응적으로 제거함으로써 상기 간섭 신호를 제거하는 것을 특징으로 하는 잡음 제거 장치.
  16. 잡음(noise)이 제거된 2 채널의 음원을 출력하는 음원 출력 장치에 있어서,
    2 채널 신호를 구성하는 각 채널 신호를 수신하는 수신부;
    상기 각 채널 신호로부터 가중치를 곱한 다른 채널의 신호를 뺌으로써 상기 각 채널 신호에서 타겟 신호(target signal)를 제거하여 각 채널 별 잡음 신호(noise signal)를 획득하고, 상기 각 채널 신호로부터 환경 소음(diffuse noise)의 파워 스펙트럼 밀도(PSD, power spectral density)를 추정하고, 상기 추정된 환경 소음의 PSD를 이용해 상기 각 채널 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호가 포함된 타겟 신호를 획득하고, 상기 추정된 환경 소음의 PSD를 이용해 각 채널 별 상기 잡음 신호에서 환경 소음을 제거하여 각 채널 별 간섭 신호(interference signal)를 획득하고, 각 채널 별로 상기 간섭 신호가 포함된 타겟 신호에서 상기 간섭 신호를 제거하여 각 채널 별 타겟 신호를 획득하고, 상기 획득된 타겟 신호에 기초하여 상기 각 채널 신호에 적용되는 출력 이득을 산출하는 프로세서;
    상기 각 채널 신호에 상기 출력 이득을 적용하는 이득 적용부; 및
    상기 출력 이득이 적용된 2채널의 음원을 출력하는 음원 출력부;를 포함하되,
    상기 프로세서는,
    상기 각 채널 신호의 방향성을 유지하면서 상기 환경 소음이 제거되도록 상기 각 채널 신호에 동일한 제 1 환경 소음 제거 이득을 곱하여 상기 각 채널 신호에서 상기 환경 소음을 제거하고, 상기 각 채널 별 상기 잡음 신호의 방향성을 유지하면서 상기 환경 소음이 제거되록 각 채널 별 상기 잡음 신호에 동일한 제 2 환경 소음 제거 이득을 곱하여 각 채널 별 상기 잡음 신호에서 상기 환경 소음을 제거하고,
    상기 제 1 환경 소음 제거 이득은 상기 각 채널 신호의 PSD와 상기 추정된 환경 소음의 PSD에 기초하여 획득되고,
    상기 제 2 환경 소음 제거 이득은 각 채널 별 상기 잡음 신호의 PSD, 상기 추정된 환경 소음의 PSD 및 각 채널 별 상기 타겟 신호의 방향 정보에 기초하여 획득되고,
    상기 각 채널 신호의 PSD는 각 채널 신호의 1차 recursive averaging을 통해서 획득되고,
    각 채널 별 상기 잡음 신호의 PSD는 각 채널 별 상기 잡음 신호의 1차 recursive averaging을 통해서 획득되는 것을 특징으로 하는, 음원 출력 장치.
  17. 제 16 항에 있어서,
    상기 이득 적용부는 상기 각 채널 신호의 방향성을 유지하면서 잡음이 제거되도록 상기 각 채널 신호에 동일한 상기 출력 이득을 적용하는 것을 특징으로하는 음원 출력 장치.
  18. 제 16 항에 있어서,
    상기 가중치는 상기 각 채널 신호에 포함된 타겟 신호의 방향 정보에 기초하여 획득되는 것을 특징으로 하는 음원 출력 장치.
  19. 제 16 항에 있어서,
    상기 프로세서는 상기 각 채널 신호에 포함된 환경 소음간의 상관도(coherence)를 추정하고, 상기 2 채널 신호에 대한 공분산 행렬(covariance matrix)의 최소 고유치(eigenvalue) 값을 추정하고, 상기 추정된 상관도 및 상기 최소 고유치 값을 이용하여 상기 환경 소음의 PSD를 추정하는 것을 특징으로 하는 음원 출력 장치.
  20. 제 16 항에 있어서,
    상기 프로세서는 적응 필터를 이용하여 각 채널 별로 상기 간섭 신호가 포함된 타겟 신호에서 상기 간섭 신호와 상관도가 높은 신호 성분을 적응적으로 제거함으로써 상기 간섭 신호를 제거하는 것을 특징으로 하는 음원 출력 장치.
KR1020120054448A 2012-05-22 2012-05-22 잡음을 제거하는 장치 및 이를 수행하는 방법 Active KR101934999B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120054448A KR101934999B1 (ko) 2012-05-22 2012-05-22 잡음을 제거하는 장치 및 이를 수행하는 방법
US13/899,245 US9369803B2 (en) 2012-05-22 2013-05-21 Apparatus and method for removing noise
CN2013101901231A CN103428609A (zh) 2012-05-22 2013-05-21 用于去除噪声的设备和方法
EP13168723.8A EP2667635B1 (en) 2012-05-22 2013-05-22 Apparatus and method for removing noise

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120054448A KR101934999B1 (ko) 2012-05-22 2012-05-22 잡음을 제거하는 장치 및 이를 수행하는 방법

Publications (2)

Publication Number Publication Date
KR20130130547A KR20130130547A (ko) 2013-12-02
KR101934999B1 true KR101934999B1 (ko) 2019-01-03

Family

ID=48577496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120054448A Active KR101934999B1 (ko) 2012-05-22 2012-05-22 잡음을 제거하는 장치 및 이를 수행하는 방법

Country Status (4)

Country Link
US (1) US9369803B2 (ko)
EP (1) EP2667635B1 (ko)
KR (1) KR101934999B1 (ko)
CN (1) CN103428609A (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014205503A1 (de) * 2014-03-25 2015-10-01 Hamm Ag Verfahren zur Korrektur eines Messwerteverlaufs durch das Eliminieren periodisch auftretender Messartefakte, insbesondere bei einem Bodenverdichter
KR101580868B1 (ko) * 2014-04-02 2015-12-30 한국과학기술연구원 잡음 환경에서 음원 위치를 추정하는 장치 및 방법
WO2017063688A1 (en) * 2015-10-14 2017-04-20 Huawei Technologies Co., Ltd. Method and device for generating an elevated sound impression
CN105825854B (zh) * 2015-10-19 2019-12-03 维沃移动通信有限公司 一种语音信号处理方法、装置及移动终端
CN105513605B (zh) * 2015-12-01 2019-07-02 南京师范大学 手机麦克风的语音增强系统和语音增强方法
CN105261359B (zh) * 2015-12-01 2018-11-09 南京师范大学 手机麦克风的消噪系统和消噪方法
EP3335218B1 (en) * 2016-03-16 2019-06-05 Huawei Technologies Co., Ltd. An audio signal processing apparatus and method for processing an input audio signal
CN110739004B (zh) * 2019-10-25 2021-12-03 大连理工大学 一种用于wasn的分布式语音噪声消除系统
KR102346392B1 (ko) * 2020-07-23 2022-01-04 김대현 주파수발생기를 구비한 교육용 앰프
CN111933165A (zh) * 2020-07-30 2020-11-13 西南电子技术研究所（中国电子科技集团公司第十研究所） 突变噪声快速估计方法
GB2620965A (en) * 2022-07-28 2024-01-31 Nokia Technologies Oy Estimating noise levels

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110307249A1 (en) * 2010-06-09 2011-12-15 Siemens Medical Instruments Pte. Ltd. Method and acoustic signal processing system for interference and noise suppression in binaural microphone configurations

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9813973D0 (en) 1998-06-30 1998-08-26 Univ Stirling Interactive directional hearing aid
KR20050119758A (ko) 2004-06-17 2005-12-22 한양대학교 산학협력단 잡음 및 궤환 신호 제거 기능을 구비한 디지털 보청기 및신호 처리 방법
KR100716984B1 (ko) * 2004-10-26 2007-05-14 삼성전자주식회사 복수 채널 오디오 신호의 잡음 제거 방법 및 장치
GB0609248D0 (en) 2006-05-10 2006-06-21 Leuven K U Res & Dev Binaural noise reduction preserving interaural transfer functions
KR101444100B1 (ko) 2007-11-15 2014-09-26 삼성전자주식회사 혼합 사운드로부터 잡음을 제거하는 방법 및 장치
KR20110024969A (ko) 2009-09-03 2011-03-09 한국전자통신연구원 음성신호에서 통계적 모델을 이용한 잡음 제거 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110307249A1 (en) * 2010-06-09 2011-12-15 Siemens Medical Instruments Pte. Ltd. Method and acoustic signal processing system for interference and noise suppression in binaural microphone configurations

Also Published As

Publication number Publication date
EP2667635A2 (en) 2013-11-27
US9369803B2 (en) 2016-06-14
US20130315401A1 (en) 2013-11-28
EP2667635A3 (en) 2015-01-21
KR20130130547A (ko) 2013-12-02
CN103428609A (zh) 2013-12-04
EP2667635B1 (en) 2016-07-06

Similar Documents

Publication Publication Date Title
KR101934999B1 (ko) 잡음을 제거하는 장치 및 이를 수행하는 방법
KR102470962B1 (ko) 사운드 소스들을 향상시키기 위한 방법 및 장치
JP5762956B2 (ja) ヌル処理雑音除去を利用した雑音抑制を提供するシステム及び方法
EP3833041A1 (en) Earphone signal processing method and system, and earphone
RU2663343C2 (ru) Система, устройство и способ для совместимого воспроизведения акустической сцены на основе адаптивных функций
CN104424953B (zh) 语音信号处理方法与装置
US8693704B2 (en) Method and apparatus for canceling noise from mixed sound
KR101449433B1 (ko) 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
US8958572B1 (en) Adaptive noise cancellation for multi-microphone systems
US8761410B1 (en) Systems and methods for multi-channel dereverberation
KR20130116271A (ko) 다중 마이크에 의한 3차원 사운드 포착 및 재생
WO2013066544A1 (en) Processing audio signals
JP6083872B2 (ja) マイクロフォン装置から受信した信号において不要な音を減少させるシステムおよび方法
EP4032321A1 (en) Enhancement of audio from remote audio sources
EP3643083B1 (en) Spatial audio processing
KR101757461B1 (ko) 배경잡음의 스펙트럼 밀도를 추정하는 방법 및 이를 수행하는 프로세서
JP2002368658A (ja) 多チャネルエコー消去装置、方法、記録媒体及び音声通信システム
EP4404548A1 (en) Acoustic echo cancellation
US20250211905A1 (en) Audio system and method for hrtf estimation
JP5698110B2 (ja) マルチチャネルエコー消去方法、マルチチャネルエコー消去装置、およびプログラム
CN119155585A (zh) 语音活动检测方法和头戴式耳机

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R11 Change to the name of applicant or owner or transfer of ownership requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R11-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)

R13 Change to the name of applicant or owner recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R13-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R11 Change to the name of applicant or owner or transfer of ownership requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R11-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)

R13 Change to the name of applicant or owner recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R13-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)