KR20080080013A - 휴대 단말 장치 - Google Patents

Abstract

본 발명의 과제는 다채로운 파형 데이터를 이용하여 연주할 수 있도록 하는 것이다.

마이크(10)로부터 입력되어 A/D 변환기(11)에 의해 디지털 신호로 변환된 음성 신호는, 샘플러(21)에서 파형 데이터(음색 데이터)(22)로 된다. 상기 파형 데이터(22)는 음색 제어부(23)에 의해 음원부(12)에 음색 데이터로서 등록된다. 번호 키가 눌러지면, 그것이 번호 키 할당부(24)에서 검출되고, MIDI 제어부(25)는 그 번호 키에 할당되어 있는 음정 또는 음색으로 발음하는 것을 지시하는 MIDI 메시지를 음원부(12)에 출력한다. 이에 의해 음원부(12)는, 지정된 음정 또는 음색으로 발음을 행하여, 스피커(14)로부터 출력된다. 동일한 음색 데이터를 각 번호 키에 다른 음정을 할당하여 발음시키는 방법과, 각 번호 키에 다른 음색 데이터(파형 데이터)를 할당하여 발음시키는 방법 중 어느 것이라도 좋다.

마이크, 샘플러, 파형 데이터, 음색 제어부, 음원부

Description

휴대 단말 장치 {MOBILE TERMINAL APPARATUS}

본 발명은 휴대 전화나 PHS 등의 휴대 단말 장치에 관한 것이다.

종래, 연주 기능을 갖는 휴대 전화 장치가 제안되고 있다(특허 문헌 1).

이 휴대 전화 장치에 따르면, 숫자 키나「#」키,「*」키가 눌러져 있는 동안, 그 키에 할당된 소리의 높이 데이터를 포함하는 음원용 데이터를 음원에 보내, 그 동안만큼 지정된 음을 출력할 수 있다. 이에 의해, 휴대 전화 장치를 악기로서도 사용할 수 있게 된다.

또한, 내장 마이크로부터 입력된 음성을 샘플링하는 기능, 상기 샘플링된 음성 신호를 소재로 하여 음색 데이터를 작성하는 기능 및 장기간에 걸쳐 샘플링된 음성 신호로 이루어지는 롱스트림 데이터를 재생하는 기능 등을 갖는 휴대 통신 단말도 제안되고 있다(특허 문헌 2).

[특허 문헌 1] 일본 특허 출원 공개 제2001-356770호 공보

[특허 문헌 2] 일본 특허 출원 공개 제2002-341872호 공보

상기 특허 문헌 1에 기재되어 있는 휴대 전화 장치는 악기로서도 사용할 수 있는 것이지만, 사용할 수 있는 음색은 미리 정해져 있어, 제한된 음색으로의 연주밖에 할 수 없었다.

또한, 상기 특허 문헌 2에 기재되어 있는 휴대 통신 단말에 따르면, 샘플링한 음성을 소재로 하여 작성한 음색 데이터를 사용할 수 있지만, 악기로서 사용할 수 있는 것은 아니었다.

그래서 본 발명은, 예를 들어 사용자에 의해 작성된 다채로운 음색 데이터를 이용하여 연주하거나, 사용자에 의해 작성된 파형 데이터를 재생할 수 있는 휴대 단말 장치를 제공하는 것을 목적으로 하고 있다.

상기 목적을 달성하기 위해, 본 발명의 휴대 단말 장치는, 예를 들어 복수의 조작 키와, 파형 데이터가 등록되는 기억부를 갖고, 상기 기억부에 등록되어 있는 파형 데이터를 기초로 하여 악음(樂音) 신호를 생성하는 음원부와, 입력 음성 신호를 샘플링하여 파형 데이터를 작성하는 파형 데이터 작성 수단과, 상기 파형 데이터를 상기 기억부에 등록하는 등록 수단과, 상기 조작 키의 누름 및 뗌을 검출하는 키 조작 검출 수단과, 상기 키 조작 검출 수단에 의해 상기 조작 키의 누름이 검출되었을 때에, 상기 음원부에 대해 그 조작 키에 할당되어 있는 형태로의 악음 신호의 생성을 지시하는 메시지를 출력하는 제어 수단을 갖는 것이다.

그리고, 상기 복수의 조작 키 각각에 대해 음높이가 할당되어 있고, 상기 제어 수단은 상기 조작 키의 누름이 검출되었을 때에, 상기 음원부에 대해 그 조작 키에 할당되어 있는 음높이로의 악음 신호의 생성을 지시하는 메시지를 출력하도록 이루어져 있어도 좋다.

혹은, 상기 복수의 조작 키 각각에 대해 파형 데이터가 할당되어 있고, 상기 제어 수단은 상기 조작 키의 누름이 검출되었을 때에, 상기 음원부에 대해 그 조작 키에 할당되어 있는 파형 데이터를 지정하는 메시지와 악음 신호의 생성을 지시하는 메시지를 출력하도록 이루어져 있어도 좋다.

혹은, 다른 단말 장치와 음성 신호를 송수신하여 통화를 행하는 통화 수단을 더 갖고, 상기 입력 음성 신호는 상기 다른 단말 장치로부터 수신한 음성이라도 좋다.

혹은, 다른 단말 장치와 음성 신호를 송수신하여 통화를 행하는 통화 수단을 더 갖고, 상기 제어 수단은 상기 음원이 생성한 악음 신호를 상기 통화 수단을 통해 상기 다른 단말 장치로 송신해도 좋다.

혹은, 다른 단말 장치와의 통신 수단을 더 갖고, 상기 제어 수단은 상기 통신 수단을 통해 소정의 서버로부터 상기 파형 데이터를 다운로드하여, 상기 기억부에 등록해도 좋다.

혹은, 상기 제어 수단은 MIDI 형식의 익스클루시브 메시지에 의해 등록된 상기 파형 데이터의 재생을 지시해도 좋다.

이러한 본 발명의 휴대 단말 장치에 따르면, 사용자가 직접 입력한 음성 신호나 수신한 통화 신호 등으로 작성한 음색 데이터나 파형 데이터를 조작 키의 누름에 따라서 발음시킬 수 있어, 종래의 연주를 할 수 있는 휴대 단말 장치와 비교하여 음색에 대한 자유도가 현격하게 높아진다.

또한, 임의의 단어나 문장을 소리 내어 읽은 음성 등을 파형 데이터로서 기억시키고, 조작 키의 조작에 따라서 발음시킬 수 있으므로, 휴대 단말 장치의 활용 범위를 넓힐 수 있다.

도1은 본 발명의 예인, 휴대 단말 장치의 일 실시 형태의 시스템 구성도이다. 이 휴대 단말 장치는 휴대 전화기에 제한되는 것은 아니지만, 여기서는 휴대 전화기인 경우를 예로 들어 설명한다.

이 도면에 있어서, 부호 1은 이 장치 전체의 제어를 행하는 제어부(CPU : central processing unit), 부호 2는 통신용 프로그램 및 악음을 발생시키기 위한 프로그램 등의 각종 처리 프로그램이나 각종 정수 데이터 등이 저장되어 있는 ROM(read only memory), 부호 3은 워크 영역으로서 사용되는 동시에 각종 데이터를 기억하는 RAM(random access memory), 부호 4는 액정 표시 장치(LCD : liquid crystal display) 등으로 이루어지는 표시부, 부호 5는 번호 키나 통화 키 등의 각종 조작 키를 갖는 조작부, 부호 6은 변복조부 등으로 이루어지는 무선 통신부, 부호 7은 무선 통신부(6)에 접속되는 안테나, 부호 8은 음성 신호의 부호화 및 복호를 행하는 음성 처리부, 부호 9는 음성 처리부(8)에 접속되는 수화용 스피커, 부호 10은 음성 처리부(8)에 접속되는 송화용 마이크로폰, 부호 11은 마이크로폰(10)으로부터 입력된 음성 신호 등을 디지털 음성 신호로 변환하는 A/D 컨버터[본 예에서는, 음성 처리부(8) 내에 설치되어 있음]이다.

또한, 부호 12는 복수의 발음 채널을 갖는 음원부, 부호 13은 음원부(12)에 의해 생성된 악음 데이터를 아날로그의 악음 신호로 변환하는 D/A 컨버터, 부호 14는 상기 악음 신호를 재생하는 스피커이다. 상기 음원부(12)는 상기 제어부(1)의 연산에 의한 소프트웨어 방식이라도 좋고, 전용 하드웨어를 사용해도 좋다. 음원 방식은 지정하지 않지만, 파형 데이터를 등록하기 위한 기억부가 설치되어 있다.

또한, 부호 15는 부하가 높은 처리를 행하기 위한 DSP(Digital Signal Processor), 부호 16은 상기 각 구성 요소 사이에서 데이터를 전송하기 위한 버스(데이터 버스 및 어드레스 버스)이다. 상기 DSP(15)는 옵션으로, 예를 들어 메모리 용량을 효과적으로 사용하기 위해 녹음한 파형 데이터를 ADPCM(adaptive differential pulse code modulation) 등의 적절한 포맷으로 압축 신장하는 것 등의 부하가 높은 처리에 사용된다.

이러한 구성을 갖는 상기 휴대 단말 장치에 있어서는, 상기 마이크로폰(10)으로부터 입력된 음성 신호나 통화 상대 등으로부터 수신한 통화 신호를 상기 A/D 컨버터(11)에 의해 디지털 음성 신호로 변환하여, 상기 RAM(3) 등에 기억할 수 있다. 그리고, 상기 녹음한 디지털 음성 신호를 기초로 하여 음원부(12)에서 사용할 수 있는 파형 데이터 또는 음색 데이터를 작성하여, 상기 파형 데이터 또는 음색 데이터를 상기 음원부(12)의 기억부에 등록하고, 사용자에 의한 상기 조작부(5)의 조작 키의 누름 조작에 따라서, 그 조작 키에 할당된 음높이로 상기 작성한 음색의 악음 신호를 발음시키거나(멜로디 악기로서의 동작), 혹은 그 조작 키에 할당된 음색 데이터 또는 파형 데이터를 발음시킬 수 있다(드럼 음색의 악기 또는 음성 재생기로서의 동작). 또한, 음원부(12)에서 발음된 신호를 통화 상대에게 송신할 수도 있다.

도2는 상술한 동작을 실행할 수 있는 본 발명의 휴대 단말 장치의 기능 구성을 도시하는 도면이다. 이 도면에 있어서, 마이크로폰(10), A/D 컨버터(11), 음원부(12), D/A 컨버터(13) 및 스피커(14)는 상기 도1에 도시한 것과 동일한 것이다. 또한, 샘플러 모듈(이하「샘플러」라 함)(21), 음색 제어부(23), 번호 키 할당부(24) 및 MIDI(Musical Instrument Digital Interface) 제어부(25)는, 상기 제어부(1)에 의한 소프트웨어 처리에 의해 실현된다. 음원부(12)는, 전술한 바와 같이 소프트웨어 처리에 의한 것이라도 좋고, 전용 하드웨어를 사용해도 좋다.

도2에 있어서, 상기 마이크로폰(10) 또는 상기 무선 통신부(6)에서 수신되어 음성 처리부(8)에서 음성 신호 처리된 통화 신호(27)는, 상기 A/D 컨버터(11)에 의해 디지털 음성 신호로 변환되어, 샘플러 모듈(21)에 입력된다.

샘플러(21)는 입력된 디지털 음성 신호를 소재로 하여 상기 음원부(12)에서 사용할 수 있는 파형 데이터(또는 음색 데이터)(22)를 작성한다. 이때, 필요에 따라서, 압축 데이터 형식으로 인코드하기 위한 CODEC[coder/decoder, 상기 DSP(15)]를 탑재하여, 적절한 압축 데이터(ADPCM 등)로 변환해도 좋다.

샘플러(21)에서는 입력된 디지털 음성 신호에 대해, 필요에 따라서 트리밍 처리나 루프 재생을 위한 설정을 행한다. 트리밍이라 함은 녹음한 파형 데이터로부터 필요한 부분만을 취출하는 처리를 말하고, 루프 재생이라 함은 파형 데이터의 재생을 개시한 후 종료 포인트에 도달할 때까지 재생하고, 그 후 루프 포인트로 복귀하여, 다시 종료 포인트까지 재생하는 것을 반복하는 재생 방법을 말한다.

도3을 참조하여, 루프 포인트와 종료 포인트에 대해 설명한다.

도3에 있어서, 부호 30은 디지털 음성 신호(파형 샘플), 부호 31은 루프 포인트(LP), 부호 32는 종료 포인트(EP)이며, 본 예에서는 루프 포인트(31)의 위치가 300, 종료 포인트의 위치가 500으로 되어 있다. 이 파형 데이터를 재생할 때에, 0(개시 포인트)부터 500(종료 포인트)까지 재생하고, 다음에 300(루프 포인트)까지 복귀하고, 이후에는 300에서 500 사이를 반복하여 재생한다. 또한, 트리밍이라 함은, 500(종료 포인트)보다 이후의 파형 샘플은 재생 처리에 불필요하므로 삭제해 버리는 처리이다.

이와 같이, 입력된 디지털 음성 신호에 대해, 필요에 따라서 루프 포인트와 종료 포인트의 설정을 행하거나, 불필요한 부위를 삭제함으로써, 파형 데이터(22)가 작성된다. 또한, 음색 데이터를 작성하는 경우에는, 또한 원하는 인벨로프(envelop)를 부여하기 위한 인벨로프 파라미터를 결정한다.

작성된 파형 데이터(음색 데이터)(22)에는 파형 데이터 자체(상기 개시 포인트로부터 종료 포인트까지의 파형 샘플), 루프 포인트(LP) 및 종료 포인트(EP)의 정보, 인벨로프 파라미터 등이 포함되어 있다.

또한, 이와 같이 작성한 파형 데이터(22)를 라이브러리화하여, 상기 RAM(3) 등에 저장해 둔다.

음색 제어부(23)는 상기 음원부(12)에서 상술된 바와 같이 하여 작성된 파형 데이터(음색 데이터)(22)를 이용하여 악음을 생성할 수 있도록, 음원부(12)에 파형 데이터(음색 데이터)(22)를 등록하는 처리를 행하는 프로그램 모듈이다. 이 파형 데이터의 등록 처리의 상세에 대해서는 후술한다.

번호 키 할당부(24)는, 사용자가 이 휴대 전화를 이용하여 연주를 행할 수 있도록, 상기 조작부(5)의 12개의 조작 키(본 실시 형태에서는,「0」내지「9」,「#」및「*」의 번호 키)에 상기 음원부(12)에 의한 발음의 형태를 할당하는 것이다. 전술한 바와 같이, 본 발명의 휴대 단말 장치는, 멜로디 악기로서, 혹은 드럼 음색의 악기 또는 음성 데이터의 재생기로서 사용할 수 있는 것이며, 그 동작 형태에 따라서, 번호 키 할당부(24)는 상기 12개의 번호 키에, 멜로디 악기의 기본음인 12음(예를 들어,「도」내지「시」), 혹은 드럼 악기의 음색 또는 파형 데이터를 할당한다.

또한, 멜로디 악기로서 동작시킬지, 드럼 음색의 악기 또는 음성 재생기로서 동작시킬지의 설정 및 각 번호 키에 어떠한 음높이를 할당할지, 혹은 어떠한 파형 데이터를 할당할지의 설정은, 상기 표시부(4)와 조작부(5)를 이용하여 사용자가 임의로 설정할 수 있다.

MIDI 제어부(25)는 사용자 인터페이스에 할당된 멜로디 악기 혹은 드럼 음색의 악기 또는 음성 재생기의 번호 키 정보를, 대응하는 MIDI 메시지로 치환하는 기능을 갖고 있다. 휴대 전화의 번호 키가 눌러졌을 때에 노트 온을 발행하고, 떼어 졌을 때에 노트 오프를 발행한다. 또한, 모든 음색에 대해 노트 온을 식별할 필요가 있지만, 노트 오프의 식별은 음색에 의존한다.

음원부(12)는 상기 MIDI 제어부(25)로부터 출력되는 MIDI 메시지를 받아, 해당하는 음색의 악음을 생성한다. 또한, 파형 데이터 또는 음색 데이터를 저장하는 기억부를 내장하여, 상기 기억부에 저장되는 파형 데이터나 음색 데이터를 변경할 수 있다.

D/A 컨버터(13)는 음원부(12)로부터 출력된 디지털 데이터를 아날로그 신호로 변환하고, 상기 아날로그 신호는 스피커(14)에 의해 재생된다. 또한, 이 아날로그 신호를 무선 통신부의 송신측(28)에 공급하여, 통화 송신 신호로 해도 좋다.

도4는 상기 음원부(12)의 구성의 일예를 도시하는 도면이다.

음원부(12)는 MlDI 메시지를 받아, 해당하는 음색의 악음을 생성한다. MIDI 이벤트는 노트 온/노트 오프나 프로그램 체인지(음색 변경), 컨트롤 체인지(음량 변경 등), 피치 벤드(음정 변경) 등이 있고, 음원부(12)는 이들에 따라서 동작을 한다. 음원 출력은 증폭기에 의해 증폭되고, 스피커(14)에 의해 실음이 된다. 도4에 도시하는 바와 같이, 음원부(12)에는 디폴트 음색 데이터를 저장하는 ROM 영역(41), 상기 샘플러(21)에서 작성된 파형 데이터 또는 음색 데이터(22)를 저장하는 RAM 영역(42), 복수의 독립된 음색을 발음하기 위한 복수의 발음자(보이스)(43 내지 46) 및 각 발음자에 의해 발생된 악음을 혼합하는 가산기(47)가 설치되어 있다. 상기 발음자(43 내지 46)는, 음원 사양의 최대 동시 발음수로 나타내어지는 개수로 설치되어 있다.

MIDI의 프로그램 체인지 메시지에 의해 각각의 발음자(43 내지 46)에 악기 음색이 할당되고, MIDI의 노트 온/노트 오프 메시지에 따라서 각각의 발음자(43 내지 46)가 발음/소음되고, 컨트롤 체인지 메시지나 피치 벤드 메시지에 의해 각각의 발음자의 음량이나 음정을 조작할 수 있다. 이들 발음자(43 내지 46)가 MIDI 메시지에 의해 컨트롤되고, 각각의 발음자(43 내지 46)에서 발음된 악음이 가산기(47)에 의해 혼합됨으로써 최종적인 악음이 된다.

음원부(12)가 PCM 음원인 경우에는, 미리 준비된 샘플링 데이터(파형 데이터)를 바탕으로, 음색 데이터로서, 피치 EG(Envelope Generator)나 필터 EG나 앰플리튜드(amplitude) EG를 부가할 수 있어, 악곡에 맞는 다양한 음색으로 가공할 수 있다.

미리 GM(General MIDI) 규격으로서 정의된 음색 맵이 있고, 상기 ROM 영역(41) 중에는, 상기 음색 맵상의 음색을 재현하기 위한 음색 데이터나 샘플링 데이터가 저장되어 있다.

또한, 상기 RAM 영역(42) 중에는, 상기 음색 제어부(23)에 의해 상기 샘플러(21)에 의해 작성된 파형 데이터(음색 데이터)(22)가 저장된다.

도5는 본 발명에 있어서의 프로그램 체인지 메시지, 컨트롤 체인지 메시지 및 익스클루시브 메시지를 나타내는 도면이다.

(a) 프로그램 체인지 메시지에 의해 프로그램 번호(음색 번호)를 지정하고, (b) 컨트롤 체인지의 뱅크 셀렉트 메시지에 의해 뱅크 셀렉트 번호를 지정한다.

상기 음색 제어부(23)는, 음원부(12)에 파형 데이터(22)를 등록할 때에는 (c) 및 (d)에 나타내는 익스클루시브 메시지에 의해, 음색 데이터열과 파형 데이터열의 2가지를 음원부(12)로 송신한다.

(c)에 나타내는 바와 같이 음색 데이터열(列)에는, 음색과 관련짓기 위한 뱅크 셀렉트 번호와 프로그램 번호, 음색 파라미터를 구성하는 각종 EG(피치 EG, 필터 EG, 앰플리튜드 EG) 및 파형 데이터열을 관련짓기 위한 파형 데이터 ID가 포함되어 있다.

(d)에 나타내는 바와 같이, 파형 데이터열에는, 음색 데이터열과 관련시키기 위한 파형 데이터 ID와, 재생 피치(MIDI 키의 C3으로 재생하기 위한 피치)나 샘플링 주파수, 파형 데이터 형식의 정보 등을 갖는 파형 정보 및 실제 파형 데이터가 포함되어 있다.

상기 음색 제어부(23)로부터 (c) 및 (d)에 나타내는 익스클루시브 메시지를 음원부(12)에 송신함으로써, 음원부(12) 내의 RAM 영역(42) 내에, 상기 익스클루시브 메시지로 보내져 온 음색 데이터열과 파형 데이터열이 저장된다. 이에 의해, 음색 데이터 또는 파형 데이터가 음원부(12)에 등록된 것으로 된다.

파형 데이터(음색 데이터)를 지정하는 경우에는, 상기 MIDI 제어부(25)로부터, 연주하는 채널에 대해 사용하고자 하는 파형 데이터의 뱅크 셀렉트 번호를 지정하는 (b) 뱅크 셀렉트 메시지와, 그 파형 데이터의 프로그램 번호를 지정하는 (a) 프로그램 체인지 메시지를 음원부(12)에 대해 송신한다. 이에 의해, 그 채널에서 사용하는 파형 데이터(또는 음색 데이터)가 지정된다.

전술한 바와 같이, 본 발명의 휴대 단말 장치에 있어서는, 멜로디 악기로서 의 동작(제1 경우)과, 드럼 음색의 악기 또는 음성 재생기로서의 동작(제2 경우)의 2가지의 동작 형태가 있다.

이들 각 경우에 대해 구체적으로 설명한다.

도6은 상기 제1 경우의 예를 설명하기 위한 도면으로, 도6의 (a)는 사용자에 의해 작성된 파형 데이터(음색 데이터)를 멜로디 음색으로서 활용할 때의 상기 12개의 번호 키에의 음높이의 할당예를 나타내는 도면이고, 도6의 (b)는 휴대 단말의 번호 키와 상기 번호 키에 할당된 음높이의 관련을 도시하는 외관도이다.

이 경우에는, 각 번호 키를 누르고 있을 때에, 선택된 1종류의 파형 데이터(음색 데이터)가, 그 번호 키에 할당되어 있는 음높이로 발음되고, 도6에 나타내는 예에서는,「0」내지「9」,「*」및「#」의 12개의 번호 키에,「도」내지「시」까지의 12음이 할당되어 있다.

도7은 상기 제2 경우의 예를 나타내는 도면이다. 이 경우는, 파형 데이터(음색 데이터)를 드럼 음색, 퍼커션 음색, 사운드 이펙트 음색으로서 활용한다. 또한, 개개의 번호 키에 각각 다른 파형 데이터를 할당하는 경우에는, 휴대 단말 장치를 음성 재생기로서 활용할 수 있다.

도7의 (a)는 드럼 음색으로서 활용하는 경우의 번호 키에 대한 음색 데이터의 할당예를 나타내는 도면이다.

도7의 (a)의 경우에는, 각각의 번호 키가 개별 파형 데이터가 된다. 이 중에서,「Tom」등은, 동일 파형 데이터에서 음높이를 바꾸는 것만으로 좋다.

또한, 도7의 (b)는 음성 재생기로서 활용하는 경우의 번호 키에 대한 파형 데이터의 할당예를 나타내는 도면이다.

도7의 (b)에 나타내는 바와 같이, 각각의 번호 키에 개별 파형 데이터가 할당되어 있어, 각 번호 키를 누르면 그 키에 대응하는 음성이 재생되게 된다. 예를 들어, 번호 키「5」가 눌러지면「안녕하세요」라고 발음되고, 번호 키「8」이 눌러지면「그렇지」라고 발음된다. 이와 같이, 휴대 단말 장치를 눌러진 키에 따라서 다른 음성을 발음하는 음성 재생기로서도 사용할 수 있다.

다음에, 이와 같이 구성된 휴대 단말 장치의 동작에 대해, 도8의 흐름도를 참조하여 설명한다. 여기서는, 상기 제1 경우(멜로디 악기로서의 동작)에 의해 연주를 행하는 경우에 대해 설명한다.

(1) 사용자가, 어떠한 파형 데이터(음색 데이터)를 사용하여 연주하고자 하는지의 선택 지시(61)를 내리면, 시스템측은 상기 음원부(12)에 파형 데이터(음색 데이터)의 등록을 행한다(S1). 즉, 상기 음색 제어부(23)에 의해, 선택된 파형 데이터에 대응하는 상기 도5의 (c) 및 (d)의 익스클루시브 메시지를 음원부(12)에 출력하고, 상기 음원부(12)의 RAM 영역(42)에 파형 데이터(음색 데이터)를 저장한다.

또한, 그 파형 데이터로 발음하기 위해, MIDI 제어부(25)는 음원부(12)에 대해 연주하기 위한 채널을 지정하여(통상은, 채널 1), 사용자가 연주하고자 하는 파형 데이터(음색 데이터)의 뱅크 셀렉트 번호와 프로그램 번호를 포함하는 (b) 뱅크 셀렉트 메시지와 (a) 프로그램 체인지 메시지를 출력한다.

(2) 사용자가, 번호 키를 누르거나 뗌으로써(62), 연주를 개시한다. 즉, 번호 키 할당부(24)는, 어떠한 번호 키가 눌러졌는지 떼어졌는지를 항상 스캔한 다(S2).

(3) 눌러진 키가 있으면(S3이 "예"), 상기 MlDI 제어부(25)가, 그 키에 할당된 음높이에 대응하는 노트 번호를 포함하는 노트 온 메시지를 발행한다(S4).

(4) 떼어진 키가 있으면(S5가 "예"), 상기 MIDI 제어부(25)가, 그 키에 할당된 노트 번호를 포함하는 노트 오프 메시지를 발행한다(S6).

(5) (2) 내지 (4)를 연주가 종료될 때까지 반복한다(S7).

이와 같이 하여, 사용자가 작성한 음색 데이터(파형 데이터)를 이용한 연주를 행할 수 있다.

도9는, 상술한 제1 경우(멜로디 악기로서의 동작)와 제2 경우(드럼 음색의 악기 또는 음성 재생기로서의 동작) 각각의 경우에 있어서의 동작에 대해 더 설명하기 위한 도면이다.

도9의 (a)는 상기 제1 경우에 대해 나타내는 도면이다.

상기 도8에 관하여 설명한 바와 같이, 이 경우에는 사용자의 파형 데이터 선택 조작(61)에 의해, 선택된 음색 데이터(파형 데이터)가 익스클루시브 메시지에 의해 음원부(12)에 등록된다. 그리고, 연주하기 위한 채널에 대해 등록한 파형 데이터의 뱅크 셀렉트 번호와 프로그램 번호를 지정하는 뱅크 셀렉트 메시지와 프로그램 체인지 메시지가 음원부(12)에 출력된다.

그 후, 번호 키가 눌러질 때마다, 그 번호 키에 대응한 노트 번호를 갖는 노트 온 메시지가 출력되고, 떼어지면 그에 대응한 노트 오프 메시지가 출력된다.

도9의 (b)는 상기 제2 경우에 대해 나타내는 도면이다. 전술한 바와 같이, 이 경우에는 번호 키를 누름으로써, 그 번호 키에 할당된 파형 데이터(음색 데이터)가 발음된다.

여기서, 상기 음색 제어부(23)에 의해, 음원부(12)에 도9의 (c)에 나타내는 바와 같이 각 파형 데이터(음색 데이터)가 등록되어 있는 것으로 한다.

이 제2 경우에는, 번호 키가 눌러지면(62), 그 번호 키에 할당되어 있는 파형 데이터(음색 데이터)에 대응하는 뱅크 셀렉트 번호를 지정하는 뱅크 셀렉트 메시지와, 그 파형 데이터의 프로그램 번호를 지정하는 프로그램 체인지 메시지와, 발음을 지시하는 노트 온 메시지가 발행된다. 상기 뱅크 셀렉트 메시지와 상기 프로그램 체인지 메시지에 의해 발음에 사용되는 파형 데이터(음색 데이터)가 정해지고, 노트 온 메시지로부터 발음이 지시된다. 이에 의해, 눌러진 번호 키에 대응하는 파형 데이터(음색 데이터)가 발음된다. 또한, 번호 키의 뗌이 검출되었을 때에는, 대응하는 노트 오프 메시지만이 발행된다.

또한, 상기에 있어서는, 파형 데이터를 마이크로폰 등으로부터 입력된 음성 신호로부터 작성하고 있었지만, 휴대 단말 장치가 갖는 통신 기능을 이용하여 소정의 서버로부터 취득하도록 해도 좋다.

또한, 상기에 있어서는, 송화용 마이크로폰(10)을, 파형 데이터를 작성할 때의 음성 신호의 입력용으로 이용하고 있었지만, 전용 마이크로폰을 별도 설치해도 좋다.

또한, 통화 중에, 상대로부터의 음성 신호(디지털 데이터 또는 아날로그 신호)를 파형 데이터로 변환하도록 해도 좋다. 이와 같이 함으로써, 통화 상대의 소 리나 음성을 샘플링 소재로 하여 연주에 이용할 수 있다.

또한, 파형 데이터를 등록하는 RAM 영역(42)은 반드시 음원부(12)에 있을 필요는 없고, RAM(3)의 소정 영역을 이용하도록 해도 좋다.

또한, 상술한 바와 같이 하여 작성한 파형 데이터를 휴대 단말 장치가 갖는 통신 기능을 이용하여 다른 단말 장치로 송신하도록 할 수도 있다. 다른 전화 단말 장치와 통화 상태에 있을 때에, 미리 파형 데이터가 등록되어 있는 번호 키를 누름으로써, 그 파형 데이터의 음성 신호를 송신하는 것에 의해, 대화를 할 수 없는 상황이라도 상대에게 음성으로 의지를 전하는 것이 가능해진다.

또한, 상기 제1 경우의 동작(멜로디 악기로서의 동작)과 상기 제2 경우의 동작(드럼 음색의 악기 또는 음성 재생기로서의 동작)을 동시에 행하도록 해도 좋다. 즉, 예를 들어 조작 키「1」내지「7」에 의해 멜로디 악기로서의 발음이 이루어지고, 조작 키의「8」내지「9」,「*」,「0」,「#」에 의해 음성 재생기로서의 발음이 이루어지도록 해도 좋다. 이와 같이 함으로써, 더욱 다양한 연주 표현이 가능해진다.

또한, 상기 도7의 (b)와 같이 각각의 번호 키에 개별의 파형 데이터가 할당되는 경우에는, 예를 들어 자동차 등의 엔진음, 시냇물의 흐름 등의 자연음, 동물이나 새의 울음소리 등의 다양한 소리를 이용해도 좋다. 또한, 상기의 휴대 단말 장치에서는, MIDI 이외의 데이터 형식을 이용해도 좋다.

또한, 상기 휴대 단말 장치에 있어서, 악음을 입력, 등록, 연주하는 등의 경우에, 다양한 연주 기호 등을 입력 가능하게 해도 좋다. 예를 들어, 포르테는「1 」과「2」키를 동시에 누른다, 메조 피아노는「2」와「3」키를 동시에 누른다 등과 같이 미리 설정해도 좋다.

또한, 악음의 입력이나 재생에 동기하여, 액정 표시 장치(4) 상에 화상이나 동화상을 표시해도 좋다. 또한, 악음에 맞추어 액정 표시 장치(4)에 캐릭터를 표시시키고, 동작시켜도 좋다. 예를 들어, 상기 도7의 (b)와 같이「안녕하세요」라고 하는 발음시에는, 화면상의 캐릭터가 인사를 하는 것과 같은 동작을 해도 좋다. 또한, 이러한 화상이나 동화상, 캐릭터 등을 악음과 함께 다른 휴대 단말로 송신 가능하게 해도 좋다.

또한, 악음의 입수원으로서는, 네트워크로부터의 다운로드나 마이크로폰을 이용한 녹음, 사용자의 수동 입력 등에 한정되지 않고, CD, MD, DVD, USB 메모리나 휴대 전화 등에 기록, 저장된 것을 I/F 경유로 입수하는 것과, 가정 내(퍼스널 컴퓨터나 DVD 등)에 축적된 것을 인터넷 경유로 입수하는 것도 가능하다. 또한, 텔레비전이나 라디오 등의 방송파를 수신하여 입수해도 좋다.

도1은 본 발명의 휴대 단말 장치의 일 실시 형태의 시스템 구성도.

도2는 본 발명의 휴대 단말 장치의 일 실시 형태의 기능 구성을 도시하는 도면.

도3은 루프 포인트와 종료 포인트에 대해 설명하기 위한 도면.

도4는 음원부의 구성예를 도시하는 도면.

도5는 프로그램 체인지 메시지, 컨트롤 체인지 메시지 및 익스클루시브 메시지를 나타내는 도면.

도6은 파형 데이터를 멜로디 음색으로서 활용할 때의 번호 키에의 음높이의 할당예를 도시하는 도면.

도7은 파형 데이터를 드럼 음색으로서 활용하는 경우 및 음성 재생에 활용하는 경우의 번호 키에의 파형 데이터의 할당예를 도시하는 도면.

도8은 본 발명의 휴대 단말 장치의 동작을 설명하기 위한 흐름도.

도9는 파형 데이터의 선택에 대해 설명하기 위한 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 제어부(CPU)

2 : ROM

3 : RAM

4 : 표시부

5 : 조작부

6 : 무선 통신부

7 : 안테나

8 : 음성 처리부

9 : 수화용 스피커

10 : 마이크로폰

11 : A/D 컨버터

12 : 음원부

13 : D/A 컨버터

14 : 스피커

15 : DSP

16 : 버스

21 : 샘플러 모듈

22 : 파형 데이터

23 : 음색 제어부

24 : 번호 키 할당부

25 : MlDI 제어부

41 : ROM 영역

42 : RAM 영역

43 내지 46 : 발음자(보이스)

47 : 가산기

51 : 피치 EG

52 : 필터 EG

53 : 앰플리튜드 EG

Claims (7)

1. 복수의 조작 키와,

   파형 데이터가 등록되는 기억부를 갖고, 상기 기억부에 등록되어 있는 파형 데이터를 기초로 하여 악음(樂音) 신호를 생성하는 음원부와,

   입력 음성 신호를 샘플링하여 파형 데이터를 작성하는 파형 데이터 작성 수단과,

   상기 파형 데이터를 상기 기억부에 등록하는 등록 수단과,

   상기 조작 키의 누름 및 뗌을 검출하는 키 조작 검출 수단과,

   상기 키 조작 검출 수단에 의해 상기 조작 키의 누름이 검출되었을 때에, 상기 음원부에 대해 그 조작 키에 할당되어 있는 형태로의 악음 신호의 생성을 지시하는 메시지를 출력하는 제어 수단을 갖는 것을 특징으로 하는 휴대 단말 장치.
2. 제1항에 있어서, 상기 복수의 조작 키 각각에 대해 음높이가 할당되어 있고,

   상기 제어 수단은 상기 조작 키의 누름이 검출되었을 때에, 상기 음원부에 대해 그 조작 키에 할당되어 있는 음높이로의 악음 신호의 생성을 지시하는 메시지를 출력하는 것인 것을 특징으로 하는 휴대 단말 장치.
3. 제1항에 있어서, 상기 복수의 조작 키 각각에 대해 파형 데이터가 할당되어 있고,

   상기 제어 수단은, 상기 조작 키의 누름이 검출되었을 때에, 상기 음원부에 대해, 그 조작 키에 할당되어 있는 파형 데이터를 지정하는 메시지와 악음 신호의 생성을 지시하는 메시지를 출력하는 것인 것을 특징으로 하는 휴대 단말 장치.
4. 제1항에 있어서, 다른 단말 장치와 음성 신호를 송수신하여 통화를 행하는 통화 수단을 더 갖고,

   상기 입력 음성 신호는, 상기 다른 단말 장치로부터 수신한 음성인 것을 특징으로 하는 휴대 단말 장치.
5. 제1항에 있어서, 다른 단말 장치와 음성 신호를 송수신하여 통화를 행하는 통화 수단을 더 갖고,

   상기 제어 수단은, 상기 음원이 생성한 악음 신호를 상기 통화 수단을 통해 상기 다른 단말 장치로 송신하는 것을 특징으로 하는 휴대 단말 장치.
6. 제1항에 있어서, 다른 단말 장치와의 통신 수단을 더 갖고,

   상기 제어 수단은, 상기 통신 수단을 통해 소정의 서버로부터 상기 파형 데이터를 다운로드하여, 상기 기억부에 등록하는 것을 특징으로 하는 휴대 단말 장치.
7. 제1항에 있어서, 상기 제어 수단은 MIDI 형식의 익스클루시브 메시지로서 등 록된 상기 파형 데이터의 재생을 지시하는 것을 특징으로 하는 휴대 단말 장치.

Images