JP2003131659A - 楽音発生装置および楽音発生方法 - Google Patents

Abstract

(57)【要約】 【課題】 画面表示される画像内容に応じた楽曲を再生
することができる楽音発生装置および楽音発生方法を実
現する。 【解決手段】 画面に表示する画像データの輝度、色度
あるいは動的変化量に応じて再生する曲を選択したり、
楽音パラメータを設定し、設定された楽音パラメータに
基づいて指定曲あるいは選択した曲の演奏データを再生
するようにしたので、画面に表示される画像の表示属性
に応じた楽曲を再生することが可能になっており、した
がって画面表示される画像にマッチした楽曲を演奏する
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、携帯電話などの通
信端末に用いて好適な楽音発生装置および楽音発生方法
に関する。

【０００２】

【従来の技術】周知のように、携帯電話などの通信端末
では、着信メロディを発生する楽音発生装置が搭載され
る。この種の楽音発生装置は、例えば波形メモリ読み出
し方式として知られ、自己に内蔵するＰＣＭ波形データ
を演奏データに従ってポリフォニック発音して様々な着
信メロディを発生する着信メロディ発生機能を具現する
ように構成されている。

【０００３】

【発明が解決しようとする課題】近年の携帯電話などの
通信端末では、上述した着信メロディ発生機能以外に、
受信した画像メールや着信待ち受け画像などを画面表示
する画像表示機能をも具備する場合が多い。ところで、
通信端末に搭載される楽音発生装置は、画像表示機能と
は連動していない為、例えば受信した画像メールを画面
表示する際に、その画像にマッチした楽曲を演奏するな
ど、画面表示される画像内容に応じた楽曲を再生するこ
とができない、という問題がある。そこで本発明は、こ
のような事情に鑑みてなされたもので、画面表示される
画像内容に応じた楽曲を再生することができる楽音発生
装置および楽音発生方法を提供することを目的としてい
る。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の発明では、複数の曲の演奏データ
を記憶する演奏データ記憶手段と、画面に表示される画
像の表示属性を検出する検出手段と、この検出手段によ
り検出された表示属性に応じて、楽音形成態様を指定す
る楽音パラメータを発生するパラメータ発生手段と、前
記演奏データ記憶手段に記憶される複数の曲の演奏デー
タの内から前記検出手段により検出された表示属性に対
応する曲の演奏データを選択する曲選択手段と、この曲
選択手段により選択された曲の演奏データを、前記パラ
メータ発生手段が発生する楽音パラメータに従った態様
で再生して楽音を形成する楽音形成手段とを具備するこ
とを特徴とする。

【０００５】請求項２に記載の発明では、画面に表示さ
れる画像の表示属性を検出する検出過程と、この検出過
程にて検出された表示属性に応じて、楽音形成態様を指
定する楽音パラメータを発生するパラメータ発生過程
と、予め演奏データ記憶手段に記憶される複数の曲の演
奏データの内から前記検出過程で検出された表示属性に
対応する曲の演奏データを選択する曲選択過程と、この
曲選択過程にて選択された曲の演奏データを、前記パラ
メータ発生過程で発生させた楽音パラメータに従った態
様で再生して楽音を形成する楽音形成過程とを具備する
ことを特徴とする。

【０００６】請求項３に記載の発明では、複数の曲の演
奏データを記憶する演奏データ記憶手段と、画面に表示
される画像の輝度および色度を検出する検出手段と、こ
の検出手段により検出された輝度および色度に応じて、
楽音形成態様を指定する楽音パラメータを発生するパラ
メータ発生手段と、前記演奏データ記憶手段に記憶され
る複数の曲の演奏データの内から前記検出手段により検
出された輝度および色度に対応する曲の演奏データを選
択する曲選択手段と、この曲選択手段により選択された
曲の演奏データを、前記パラメータ発生手段が発生する
楽音パラメータに従った態様で再生して楽音を形成する
楽音形成手段とを具備することを特徴とする。

【０００７】請求項４に記載の発明では、画面に表示さ
れる画像の輝度および色度を検出する検出過程と、この
検出過程にて検出された輝度および色度に応じて、楽音
形成態様を指定する楽音パラメータを発生するパラメー
タ発生過程と、予め演奏データ記憶手段に記憶される複
数の曲の演奏データの内から前記検出過程で検出された
輝度および色度に対応する曲の演奏データを選択する曲
選択過程と、この曲選択過程にて選択された曲の演奏デ
ータを、前記パラメータ発生過程で発生させた楽音パラ
メータに従った態様で再生して楽音を形成する楽音形成
過程とを具備することを特徴とする。

【０００８】請求項５に記載の発明では、複数の曲の演
奏データを記憶する演奏データ記憶手段と、画面に表示
される動画像の動的変化および輝度を検出する検出手段
と、この検出手段により検出された動的変化および輝度
に応じて、楽音形成態様を指定する楽音パラメータを発
生するパラメータ発生手段と、前記演奏データ記憶手段
に記憶される複数の曲の演奏データの内から前記検出手
段により検出された動的変化および輝度に対応する曲の
演奏データを選択する曲選択手段と、この曲選択手段に
より選択された曲の演奏データを、前記パラメータ発生
手段が発生する楽音パラメータに従った態様で再生して
楽音を形成する楽音形成手段とを具備することを特徴と
する。

【０００９】請求項６に記載の発明では、画面に表示さ
れる動画像の動的変化および輝度を検出する検出過程
と、この検出過程にて検出された動的変化および輝度に
応じて、楽音形成態様を指定する楽音パラメータを発生
するパラメータ発生過程と、予め演奏データ記憶手段に
記憶される複数の曲の演奏データの内から前記検出過程
で検出された動的変化および輝度に対応する曲の演奏デ
ータを選択する曲選択過程と、この曲選択過程にて選択
された曲の演奏データを、前記パラメータ発生過程で発
生させた楽音パラメータに従った態様で再生して楽音を
形成する楽音形成過程とを具備することを特徴とする。

【００１０】本発明では、画面に表示される画像の表示
属性を検出すると、この表示属性に対応する曲の演奏デ
ータを複数の曲の演奏データの内から選択すると共に、
検出された表示属性に応じて、楽音形成態様を指定する
楽音パラメータを発生し、発生した楽音パラメータに従
った態様で選択された曲の演奏データを再生して楽音を
形成するので、画面表示される画像内容に応じた楽曲を
再生することが可能になる。つまり、画面表示される画
像にマッチした楽曲を演奏し得る。

【００１１】

【発明の実施の形態】以下、本発明の実施の一形態によ
る楽音発生装置を搭載した携帯電話を実施例とし、これ
について図面を参照して説明する。 （１）第１実施例 構成 図１は、本発明による第１実施例の全体構成を示すブロ
ック図である。この図において、１は送受信ユニット１
ａおよび通信制御ユニット１ｂから構成される通信部で
ある。通信部１の送受信ユニット１ａは、アンテナＡＮ
Ｔを介して入力される受信信号を、ＰＬＬシンセサイザ
から出力される所定周波数の局部発振信号と混合してＩ
Ｆ信号に周波数変換し、それを復調したデータ列を通信
制御ユニット１ｂへ供給する。また、送受信ユニット１
ａは、通信制御ユニット１ｂから供給される送信データ
に位相変調を施してから局部発振信号を混合して送信信
号に周波数変換した後、電力増幅してアンテナＡＮＴか
ら輻射する。

【００１２】通信部１の通信制御ユニット１ｂは、送受
信ユニット１ａが供給する受信データから所定のタイミ
ングで１スロット分のデータを取り出し、このデータの
中からユニークワード（同期信号）を抽出してフレーム
同期信号を生成し、かつ、制御データ部および音声デー
タ部のスクランブル等を解除した後、制御データをＣＰ
Ｕ６に送出し、音声データを音声処理部２に送出する。
また、通信制御ユニット１ｂは、音声処理部２から供給
される音声データに制御データ等を付加するとともに、
スクランブル等を付与した後にユニークワード等を付加
して、１スロット分の送信データを作成し、所定タイミ
ングでフレーム内の所定スロットに挿入して送受信ユニ
ット１ａに送出する。

【００１３】音声処理部２は、スピーチコーディックお
よびＰＣＭコーディックから構成される。スピーチコー
ディックは、デジタルデータの圧縮／伸張処理を行うも
のであり、受信側および送信側とで構成されている。受
信側は、上述した通信制御ユニット１ｂから供給される
ＡＤＰＣＭ音声信号をＰＣＭ音声信号に復号化（伸長）
して出力する。一方、送信側は、ＰＣＭコーディックか
ら供給されるＰＣＭ音声信号をＡＤＰＣＭ音声信号に符
号化（圧縮）して通信制御ユニット１ｂへ送出する。Ｐ
ＣＭコーディックは、アナログ／デジタル変換処理を行
うものであり、上記スピーチコーディックから供給され
るＰＣＭ音声信号もしくは後述する音源１０から供給さ
れる楽音データをアナログ信号にＤ／Ａ変換してスピー
カ３から発音させる。また、ＰＣＭコーディックは、マ
イク４から入力されたアナログ音声信号をＰＣＭ信号に
Ａ／Ｄ変換してスピーチコーディックに供給する。

【００１４】５は、発信先の電話番号や文字列などを入
力する入力キースイッチ、オンフック／オフフックスイ
ッチ、音声出力を変えるボリュームスイッチ等を備える
キー入力部５であり、各スイッチ操作に応じたスイッチ
イベントを発生する。各スイッチ操作に応じて生成され
るスイッチイベントは、後述するＣＰＵ６のキー走査に
応じて取込まれる。ＣＰＵ６は、上記キー走査に応じて
取込んだ操作信号に基づき、対応した制御プログラムを
実行して装置各部の動作を制御するものであり、本発明
の要旨に係わる処理動作については追って述べる。

【００１５】７はＣＰＵ６において実行される各種制御
プログラムの他、各種データを記憶するＲＯＭである。
このＲＯＭ７に格納される各種データとは、例えば待ち
受け画像として表示部９に画面表示される各種画像デー
タ、表示部９に画面表示される画像データに対応して再
生される楽曲の演奏データおよびデータテーブル等を指
す。

【００１６】ＲＯＭ７に格納される演奏データは、曲の
旋律を形成する各音の音高および発音タイミングを表す
メロディデータや、このメロディデータの伴奏音となる
リズムパターンデータ等から構成される。また、ＲＯＭ
７に格納されるデータテーブルの内には、パラメータ設
定テーブルＰＳＴ１が設けられている。パラメータ設定
テーブルＰＳＴ１は、表示部９に画面表示される画像の
輝度ランクに応じて、再生する楽曲の音色、リズムパタ
ーン、テンポ、音量およびエフェクト種をそれぞれ指定
する楽音パラメータを読み出すテーブルであり、これに
基づき後述するように、画面表示される画像内容に応じ
た楽曲を再生し得るようにしている。

【００１７】８はワークエリアおよびデータエリアを備
えるＲＡＭである。ＲＡＭ８のワークエリアには、各種
レジスタ・フラグデータが一時記憶され、データエリア
には例えば受信メールや住所録等が格納される。表示部
９はＬＣＤパネル等から構成され、ＣＰＵ６から供給さ
れる各種データを画面表示する。１０は周知の波形メモ
リ読み出し方式で構成される音源である。音源１０で
は、同時発音可能な複数の発音チャンネルを備え、これ
ら各発音トラックにそれぞれアサインされる各演奏デー
タを、再生テンポに同期してＲＯＭ６から順次読み出
し、読み出した演奏データをＣＰＵ６から供給される楽
音パラメータに対応して楽音合成される楽音データとし
て出力する。この楽音データは、前述した音声処理部２
のＰＣＭコーディックにてＤ／Ａ変換されてスピーカ３
から楽音として再生される。

【００１８】動作 次に、図２〜図３を参照して第１実施例の動作について
説明する。電源がオンされて携帯電話がアイドル状態に
ある場合に、キー入力部５の操作によって画像表示機能
が起動されると、ＣＰＵ６は図２に示す楽音発生処理ル
ーチンを実行し、ステップＳＡ１に処理を進める。ステ
ップＳＡ１では、画面表示する画像データと再生する曲
の演奏データとを指定する。ここで、表示指定される画
像データとは、例えばＲＯＭ７に格納され、待ち受け画
面を形成する画像データや、ＲＡＭ８のデータエリアに
保存される受信メールに添付される画像データを指す。

【００１９】次に、ステップＳＡ２では、指定した画像
データを構成するドット毎の色情報を輝度と色度とに分
け、各ドット単位の輝度を平均化して画像輝度ランクＫ
ＩＤＯを判定する。この画像輝度ランクＫＩＤＯとは、
例えば「０（最も暗い」、「１（暗い）」、「２（普
通）」、「３（明るい）」および「４（最も明るい）」
の５段階を表す。画像輝度ランクＫＩＤＯが判定される
と、ＣＰＵ６はＲＯＭ７に格納されるパラメータ設定テ
ーブルＰＳＴ１に基づき、画像輝度ランクＫＩＤＯに応
じて、再生する楽曲の「音色」、「リズムパターン」、
「テンポ」、「音量」および「エフェクト種」をそれぞ
れ指定する楽音パラメータを設定する。

【００２０】すなわち、ステップＳＡ３では、画像輝度
ランクＫＩＤＯに応じてパラメータ設定テーブルＰＳＴ
１から音色番号を読み出してレジスタＴＩＭＢＲＥにス
トアする。次いで、ステップＳＡ４では、画像輝度ラン
クＫＩＤＯに応じてパラメータ設定テーブルＰＳＴ１か
らリズムパターン番号を読み出してレジスタＲＨＹＴＨ
Ｍにストアする。続いて、ステップＳＡ５では、画像輝
度ランクＫＩＤＯに応じてパラメータ設定テーブルＰＳ
Ｔ１からテンポ値を読み出してレジスタＴＥＭＰＯにス
トアする。ステップＳＡ６では、画像輝度ランクＫＩＤ
Ｏに応じてパラメータ設定テーブルＰＳＴ１から音量値
（ベロシティ）を読み出してレジスタＶＥＬにストアす
る。ステップＳＡ７では、画像輝度ランクＫＩＤＯに応
じてパラメータ設定テーブルＰＳＴ１からエフェクト種
としてリバーブを指定する値を読み出してレジスタＲＥ
ＢＥＲＢにストアする。

【００２１】こうして、パラメータ設定テーブルＰＳＴ
１を参照して画像輝度ランクＫＩＤＯに対応した楽音パ
ラメータが設定されると、ＣＰＵ６は図３に示すステッ
プＳＡ８に処理を進め、楽音パラメータの全てが適正に
設定されたか否かを判断する。適正に設定されなかった
場合には、判断結果が「ＮＯ」となり、何も処理せずに
本ルーチンを完了させて図示されていないメインルーチ
ンに処理を戻すが、適正に設定されたならば、判断結果
は「ＹＥＳ」となり、次のステップＳＡ９に処理を進め
る。ステップＳＡ９では、上述のステップＳＡ１にて再
生指定された演奏データを、ステップＳＡ３〜ＳＡ７を
経て設定された楽音パラメータに対応した楽音として発
生するよう音源１０に指示する。これにより、表示部９
に画面表示される画像輝度に応じた楽曲が再生される。

【００２２】次に、ステップＳＡ１０では、表示指定さ
れる画像データに輝度変化があるか否かを判断し、輝度
変化があると、判断結果が「ＹＥＳ」となり、前述のス
テップＳＡ２に処理を戻して再び画像輝度ランクを判定
し直し、これに応じて変更される楽音パラメータに対応
する楽音を発生させる。一方、輝度変化がなければ、判
断結果は「ＮＯ」となり、ステップＳＡ１１に進み、次
に表示指定される画像データの有無を判断する。次に表
示指定される画像データが有れば、判断結果は「ＹＥ
Ｓ」となり、その画像データに応じて楽曲を再生すべく
ステップＳＡ２に処理を戻す。これに対し、次に表示指
定される画像データが無い場合には、ステップＳＡ１２
に進み、現在再生されている楽曲の演奏データが曲終端
に達するまで再生し続け、演奏データが曲終端に達した
ら音源１０に消音を指示して本ルーチンを完了させる。

【００２３】（２）第２実施例 上述した第１実施例では、画面表示する画像データの画
像輝度ランクＫＩＤＯを判定し、その判定された輝度ラ
ンクに応じて、パラメータ設定テーブルＰＳＴ１から対
応する楽音パラメータを読み出し、この楽音パラメータ
に基づいて指定曲の演奏データを再生することで画面表
示される画像内容に応じた楽曲が再生されるようにし
た。これに対し、第２実施例では、輝度ランクのみなら
ず、色度ランクをも加味して再生する曲を選択すると共
に、選択した曲を再生する際に用いる楽音パラメータを
輝度ランクと色度ランクとに応じて設定することを特徴
とする。

【００２４】この為、第２実施例では、ＲＯＭ７に曲選
択テーブルＫＳＴ１およびパラメータ設定テーブルＰＳ
Ｔ２を設けておく。曲選択テーブルＫＳＴ１とは、例え
ば輝度が明るく色度が淡い場合にはメロウな曲を、輝度
が明るく色度が濃い場合にはロック調の曲など予め輝度
／色度にマッチした曲をアサインしておき、輝度ランク
および色度ランクを読み出しアドレスとして、対応する
曲の演奏データを読み出すテーブルである。また、パラ
メータ設定テーブルＰＳＴ２とは、予め輝度／色度に対
応させた音色、リズムパターン、テンポ、音量およびエ
フェクト種を、判定した輝度ランクおよび色度ランクに
応じて読み出すテーブルである。

【００２５】以下、こうした曲選択テーブルＫＳＴ１お
よびパラメータ設定テーブルＰＳＴ２を用いる第２実施
例の動作について図４および図５を参照して説明する。
まず画像データが添付されたメールを受信すると、ＣＰ
Ｕ６は図４の第２実施例による楽音発生処理ルーチンを
実行し、ステップＳＢ１に処理を進める。ステップＳＢ
１では、受信メールに添付される画像データをＲＡＭ８
のデータエリアにストアする。そして、ステップＳＢ２
に進み、ＲＡＭ８のデータエリアにストアした画像デー
タを構成するドット毎の色情報を輝度と色度とに分け、
各ドット単位の輝度を平均化して輝度ランクＫＩＤＯを
判定し、続くステップＳＢ３では、各ドット単位の色度
を平均化して色度ランクＳＩＫＩＤＯを判定する。

【００２６】輝度ランクＫＩＤＯおよび色度ランクＳＩ
ＫＩＤＯが判定されると、ＣＰＵ６はステップＳＢ４に
処理を進め、ＲＯＭ７に格納される曲選択テーブルＫＳ
Ｔを参照して輝度ランクＫＩＤＯおよび色度ランクＳＩ
ＫＩＤＯに対応する曲番号を選択する。次いで、ステッ
プＳＢ５〜ＳＢ９では、ＲＯＭ７に格納されるパラメー
タ設定テーブルＰＳＴ２に基づき、画像輝度ランクＫＩ
ＤＯおよび色度ランクＳＩＫＩＤＯに対応する「音
色」、「リズムパターン」、「テンポ」、「音量」およ
び「エフェクト種」をそれぞれ指定する楽音パラメータ
を設定する。

【００２７】こうして、画像輝度ランクＫＩＤＯおよび
色度ランクＳＩＫＩＤＯに対応する楽音パラメータが設
定されると、ＣＰＵ６はステップＳＢ１０に処理を進
め、楽音パラメータの全てが適正に設定されたか否かを
判断する。適正に設定されなかった場合には、判断結果
が「ＮＯ」となり、何も処理せずに本ルーチンを完了さ
せて図示されていないメインルーチンに処理を戻すが、
適正に設定されたならば、判断結果は「ＹＥＳ」とな
り、次のステップＳＢ１１に処理を進める。ステップＳ
Ｂ１１では、上述のステップＳＢ４にて選択された曲の
演奏データを、ステップＳＢ５〜ＳＢ９を経て設定され
た楽音パラメータに対応した楽音として発生するよう音
源１０に指示する。これにより、表示部９に画面表示さ
れる画像の輝度および色度に応じた楽曲が再生される。

【００２８】次に、ステップＳＢ１２では、画像データ
に輝度および色度変化があるか否かを判断し、輝度／色
度のいずれかに変化があると、判断結果は「ＹＥＳ」と
なり、前述のステップＳＢ２に処理を戻して再び輝度ラ
ンク／色度ランクを判定し直し、これに応じて変更され
る曲を、判定し直された輝度ランク／色度ランクに対応
する楽音パラメータに従って再生する。一方、輝度／色
度のいずれにも変化がなければ、判断結果は「ＮＯ」と
なり、ステップＳＢ１３に進み、次に表示する画像デー
タの有無を判断する。次に表示する画像データが有れ
ば、判断結果は「ＹＥＳ」となり、その画像データに応
じた楽曲を再生すべくステップＳＢ２に処理を戻す。こ
れに対し、次に表示する画像データが無い場合には、ス
テップＳＢ１４に進み、現在再生されている楽曲の演奏
データが曲終端に達するまで再生し続け、演奏データが
曲終端に達したら音源１０に消音を指示して本ルーチン
を完了させる。

【００２９】（３）第３実施例 上述した第２実施例では、静止画像データの輝度と色度
とに応じて再生する曲を選択すると共に、その選択した
曲を再生する際に用いる楽音パラメータを輝度と色度と
に応じて設定することで画像の輝度および色度に対応し
た楽曲が再生されるようにした。これに対し、第３実施
例では、動画像データの動的変化と輝度とに応じて再生
する曲を選択すると共に、その選択した曲を再生する際
に用いる楽音パラメータを動的変化と輝度とに応じて設
定することで画像の動的変化および輝度に対応した楽曲
を再生することを特徴とする。

【００３０】この為、第３実施例では、ＲＯＭ７に曲選
択テーブルＫＳＴ２およびパラメータ設定テーブルＰＳ
Ｔ３を設けておく。曲選択テーブルＫＳＴ２とは、例え
ば動的変化量が多く色度が濃い場合にはハードロック調
の曲を、動的変化量が少なく色度が淡い場合にはバラー
ド調の曲など予め動的変化／輝度にマッチした曲をアサ
インしておき、動的変化量および輝度ランクを読み出し
アドレスとして、対応する曲の演奏データを読み出すテ
ーブルである。また、パラメータ設定テーブルＰＳＴ２
とは、予め動的変化量／輝度に対応させた音色、リズム
パターン、テンポ、音量およびエフェクト種を、判定し
た動的変化量および画像輝度ランクに応じて読み出すテ
ーブルである。なお、ここで言う動画像の動的変化量と
は、画像中で変位するドット領域が単位時間当りに移動
する量を指す。

【００３１】以下、こうした曲選択テーブルＫＳＴ２お
よびパラメータ設定テーブルＰＳＴ３を用いる第３実施
例の動作について図６および図７を参照して説明する。
まず動画像データが添付されたメールを受信すると、Ｃ
ＰＵ６は図６に示す第３実施例による楽音発生処理ルー
チンを実行し、ステップＳＣ１に処理を進める。ステッ
プＳＣ１では、受信メールに添付される動画像データを
ＲＡＭ８のデータエリアにストアする。そして、ステッ
プＳＣ２に進み、ＲＡＭ８のデータエリアにストアした
動画像データを構成する各ドット毎の輝度を平均化して
輝度ランクＫＩＤＯを判定し、続くステップＳＣ３で
は、画像中で変位するドット領域を抽出し、それが単位
時間当りに移動する量を動的変化量ＭＯＶＥとして検出
する。

【００３２】輝度ランクＫＩＤＯおよび動的変化量ＭＯ
ＶＥが判定されると、ＣＰＵ６はステップＳＣ４に処理
を進め、ＲＯＭ７に格納される曲選択テーブルＫＳＴ２
を参照して輝度ランクＫＩＤＯおよび動的変化量ＭＯＶ
Ｅに対応する曲番号を選択する。次いで、ステップＳＣ
５〜ＳＣ９では、ＲＯＭ７に格納されるパラメータ設定
テーブルＰＳＴ３に基づき、輝度ランクＫＩＤＯおよび
動的変化量ＭＯＶＥに対応する「音色」、「リズムパタ
ーン」、「テンポ」、「音量」および「エフェクト種」
をそれぞれ指定する楽音パラメータを設定する。

【００３３】こうして、輝度ランクＫＩＤＯおよび動的
変化量ＭＯＶＥに対応する楽音パラメータが設定される
と、ＣＰＵ６はステップＳＣ１０に処理を進め、楽音パ
ラメータの全てが適正に設定されたか否かを判断する。
適正に設定されなかった場合には、判断結果が「ＮＯ」
となり、何も処理せずに本ルーチンを完了させて図示さ
れていないメインルーチンに処理を戻すが、適正に設定
されたならば、判断結果は「ＹＥＳ」となり、次のステ
ップＳＣ１１に処理を進める。ステップＳＣ１１では、
上述のステップＳＣ４にて選択された曲の演奏データ
を、ステップＳＣ５〜ＳＣ９を経て設定された楽音パラ
メータに対応した楽音として発生するよう音源１０に指
示する。これにより、表示部９に画面表示される動画像
の動的変化量および輝度に応じた楽曲が再生される。

【００３４】次に、ステップＳＣ１２では、動画像デー
タに動的変化および輝度変化があるか否かを判断し、そ
れらのいずれかに変化があると、判断結果は「ＹＥＳ」
となり、前述のステップＳＣ２に処理を戻して再び動的
変化量／輝度ランクを判定し直し、これに応じて変更さ
れる曲を、判定し直された動的変化量／輝度ランクに対
応する楽音パラメータに従って再生する。一方、変化が
なければ、判断結果は「ＮＯ」となり、ステップＳＣ１
３に進み、次に表示する動画像データの有無を判断す
る。次に表示する動画像データが有れば、判断結果は
「ＹＥＳ」となり、その動画像データに応じた楽曲を再
生すべくステップＳＣ２に処理を戻す。これに対し、次
に表示する動画像データが無い場合には、判断結果が
「ＮＯ」となり、ステップＳＣ１４に進み、現在再生さ
れている楽曲の演奏データが曲終端に達するまで再生し
続け、演奏データが曲終端に達したら音源１０に消音を
指示して本ルーチンを完了させる。

【００３５】以上説明したように、本発明によれば、画
面に表示する画像データの輝度、色度あるいは動的変化
量に応じて再生する曲を選択したり、楽音パラメータを
設定し、設定された楽音パラメータに基づいて指定曲あ
るいは選択した曲の演奏データを再生するようにしたの
で、画面に表示される画像の表示属性に応じた楽曲を再
生することが可能になっており、したがって画面表示さ
れる画像にマッチした楽曲を演奏することができる。な
お、上述した第１〜第３実施例では、画像データの輝
度、色度あるいは動的変化量を抽出するようにしたが、
これに限らず、例えば色合いを表す色相や色の鮮やかさ
を表す飽和度（純度）を抽出して楽音発生態様を制御す
るようにしても良い。

【００３６】

【発明の効果】請求項１，２に記載の発明によれば、画
面に表示される画像の表示属性を検出すると、この表示
属性に対応する曲の演奏データを複数の曲の演奏データ
の内から選択すると共に、検出された表示属性に応じ
て、楽音形成態様を指定する楽音パラメータを発生し、
発生した楽音パラメータに従った態様で選択された曲の
演奏データを再生して楽音を形成するので、画面表示さ
れる画像内容に応じた楽曲を再生することができる。請
求項３，４に記載の発明によれば、画面に表示される画
像の輝度および色度を検出すると、この輝度および色度
に対応する曲の演奏データを複数の曲の演奏データの内
から選択すると共に、検出された輝度および色度に応じ
て、楽音形成態様を指定する楽音パラメータを発生し、
発生した楽音パラメータに従った態様で選択された曲の
演奏データを再生して楽音を形成するので、画面表示さ
れる画像の輝度および色度に応じた楽曲を再生すること
ができる。請求項５，６に記載の発明によれば、画面に
表示される動画像の動的変化および輝度を検出すると、
この動的変化および輝度に対応する曲の演奏データを複
数の曲の演奏データの内から選択すると共に、検出され
た動的変化および輝度に応じて、楽音形成態様を指定す
る楽音パラメータを発生し、発生した楽音パラメータに
従った態様で選択された曲の演奏データを再生して楽音
を形成するので、画面表示される動画像の動的変化およ
び輝度に応じた楽曲を再生することができる。

【図面の簡単な説明】

【図１】本発明による第１実施例の構成を示すブロック
図である。

【図２】第１実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。

【図３】第１実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。

【図４】第２実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。

【図５】第２実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。

【図６】第３実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。

【図７】第３実施例による楽音発生処理ルーチンの動作
を説明するためのフローチャートである。

【符号の説明】

１ 通信部 １ａ 送受信ユニット １ｂ 通信制御ユニット ２ 音声処理部 ３ スピーカ ４ マイク ５ キー入力部 ６ ＣＰＵ ７ ＲＯＭ ８ ＲＡＭ ９ 表示部 １０ 音源

Claims (6)

【特許請求の範囲】
1. 【請求項１】 複数の曲の演奏データを記憶する演奏デ
   ータ記憶手段と、 画面に表示される画像の表示属性を検出する検出手段
   と、 この検出手段により検出された表示属性に応じて、楽音
   形成態様を指定する楽音パラメータを発生するパラメー
   タ発生手段と、 前記演奏データ記憶手段に記憶される複数の曲の演奏デ
   ータの内から前記検出手段により検出された表示属性に
   対応する曲の演奏データを選択する曲選択手段と、 この曲選択手段により選択された曲の演奏データを、前
   記パラメータ発生手段が発生する楽音パラメータに従っ
   た態様で再生して楽音を形成する楽音形成手段とを具備
   することを特徴とする楽音発生装置。
2. 【請求項２】 画面に表示される画像の表示属性を検出
   する検出過程と、 この検出過程にて検出された表示属性に応じて、楽音形
   成態様を指定する楽音パラメータを発生するパラメータ
   発生過程と、 予め演奏データ記憶手段に記憶される複数の曲の演奏デ
   ータの内から前記検出過程で検出された表示属性に対応
   する曲の演奏データを選択する曲選択過程と、 この曲選択過程にて選択された曲の演奏データを、前記
   パラメータ発生過程で発生させた楽音パラメータに従っ
   た態様で再生して楽音を形成する楽音形成過程とを具備
   することを特徴とする楽音発生方法。
3. 【請求項３】 複数の曲の演奏データを記憶する演奏デ
   ータ記憶手段と、 画面に表示される画像の輝度および色度を検出する検出
   手段と、 この検出手段により検出された輝度および色度に応じ
   て、楽音形成態様を指定する楽音パラメータを発生する
   パラメータ発生手段と、 前記演奏データ記憶手段に記憶される複数の曲の演奏デ
   ータの内から前記検出手段により検出された輝度および
   色度に対応する曲の演奏データを選択する曲選択手段
   と、 この曲選択手段により選択された曲の演奏データを、前
   記パラメータ発生手段が発生する楽音パラメータに従っ
   た態様で再生して楽音を形成する楽音形成手段とを具備
   することを特徴とする楽音発生装置。
4. 【請求項４】 画面に表示される画像の輝度および色度
   を検出する検出過程と、 この検出過程にて検出された輝度および色度に応じて、
   楽音形成態様を指定する楽音パラメータを発生するパラ
   メータ発生過程と、 予め演奏データ記憶手段に記憶される複数の曲の演奏デ
   ータの内から前記検出過程で検出された輝度および色度
   に対応する曲の演奏データを選択する曲選択過程と、 この曲選択過程にて選択された曲の演奏データを、前記
   パラメータ発生過程で発生させた楽音パラメータに従っ
   た態様で再生して楽音を形成する楽音形成過程とを具備
   することを特徴とする楽音発生方法。
5. 【請求項５】 複数の曲の演奏データを記憶する演奏デ
   ータ記憶手段と、 画面に表示される動画像の動的変化および輝度を検出す
   る検出手段と、 この検出手段により検出された動的変化および輝度に応
   じて、楽音形成態様を指定する楽音パラメータを発生す
   るパラメータ発生手段と、 前記演奏データ記憶手段に記憶される複数の曲の演奏デ
   ータの内から前記検出手段により検出された動的変化お
   よび輝度に対応する曲の演奏データを選択する曲選択手
   段と、 この曲選択手段により選択された曲の演奏データを、前
   記パラメータ発生手段が発生する楽音パラメータに従っ
   た態様で再生して楽音を形成する楽音形成手段とを具備
   することを特徴とする楽音発生装置。
6. 【請求項６】 画面に表示される動画像の動的変化およ
   び輝度を検出する検出過程と、 この検出過程にて検出された動的変化および輝度に応じ
   て、楽音形成態様を指定する楽音パラメータを発生する
   パラメータ発生過程と、 予め演奏データ記憶手段に記憶される複数の曲の演奏デ
   ータの内から前記検出過程で検出された動的変化および
   輝度に対応する曲の演奏データを選択する曲選択過程
   と、 この曲選択過程にて選択された曲の演奏データを、前記
   パラメータ発生過程で発生させた楽音パラメータに従っ
   た態様で再生して楽音を形成する楽音形成過程とを具備
   することを特徴とする楽音発生方法。