JP2006178268A - 楽音制御装置および楽音制御プログラム - Google Patents

Abstract

【課題】 音楽に慣れ親しみ易く新たな楽しみを創出する楽音制御装置を実現する。
【解決手段】 ＣＰＵ４は、カメラ７およびＡ／Ｄ変換器８からなる撮像入力部が撮像した画像データの色相に応じて変化する制御パラメータｐａｒａｍ１〜３を発生させる。制御パラメータｐａｒａｍ１に応じて発音させる和音データｐｉｔを選択し、選択した和音データｐｉｔを、一定値以上の制御パラメータｐａｒａｍ１が発生した時に発音させる。和音発音中は制御パラメータｐａｒａｍ２に従った音高制御と制御パラメータｐａｒａｍ３に従った音像制御とを行う。一定値以上の制御パラメータｐａｒａｍ２が発生した時に発音中の和音を消音させる。これにより、音楽に慣れ親しみ易くするような新たな楽しみを創出することが可能になる。
【選択図】 図１

Description

本発明は、例えばパーソナルコンピュータを用いたＤＴＭ装置や電子楽器などに用いて好適な楽音制御装置および楽音制御プログラムに関する。

マウス等のポインティングデバイスを用いて発生する楽音を制御する技術が知られている。例えば特許文献１には、ポインティングデバイスの操作で生じる二次元の位置情報に応じて、発生させる楽音の特性（音高、音量、音色および効果）を変化させ、従来の演奏操作子の操作よりも音の特性を変化させるための操作性を向上させて演奏表現の幅を広げる技術が開示されている。

特開２００１−１９５０６９号公報

ところで、上記特許文献１に開示の技術は、音楽的素養をある程度備えたユーザを前提としており、そうしたユーザならば、ポインティング操作に対応する楽音の変化を予測できるから演奏表現の幅が広がるようになる。しかしながら、例えば幼児向けの音楽教習玩具のように、音楽に慣れ親しむことを目的とした場合には不向きになるという問題がある。
そこで本発明は、上述した事情に鑑みてなされたもので、音楽に慣れ親しみ易くするような新たな楽しみを創出することができる楽音制御装置および楽音制御プログラムを提供することを目的としている。

上記目的を達成するため、請求項１に記載の発明では、撮像した画像の色相に応じて変化する制御パラメータを発生する制御パラメータ発生手段と、前記制御パラメータ発生手段により生成される制御パラメータに対応して選択される種類の楽音を、当該制御パラメータの変化に応じて発音又は消音する楽音発生手段と、前記楽音発生手段が発音する楽音の発音形態を、前記制御パラメータ発生手段により生成される制御パラメータに応じて制御する発音形態制御手段とを具備することを特徴とする。

請求項２に記載の発明では、撮像した画像の色相に応じて変化する、少なくとも一つの制御パラメータを発生する制御パラメータ発生手段と、前記制御パラメータ発生手段により生成される制御パラメータの値に対応して選択される和音および分散和音の少なくとも一方の楽音を、前記制御パラメータ発生手段により生成される少なくとも一つの制御パラメータの値に応じて発音又は消音する楽音発生手段と、前記楽音発生手段が発音する楽音の音高および音像を、前記制御パラメータ発生手段により生成される少なくとも一つの制御パラメータに応じて各々制御する音高音像制御手段とを具備することを特徴とする。

請求項３に記載の発明では、撮像した画像の色相に応じて変化する制御パラメータを発生する制御パラメータ発生処理と、前記制御パラメータ発生処理により生成される制御パラメータに対応して選択される種類の楽音を、当該制御パラメータの変化に応じて発音又は消音する楽音発生処理と、前記楽音発生処理が発音する楽音の発音形態を、前記制御パラメータ発生処理にて生成される制御パラメータに応じて制御する発音形態制御処理とをコンピュータで実行させることを特徴とする。

請求項４に記載の発明では、撮像した画像の色相に応じて変化する、少なくとも一つの制御パラメータを発生する制御パラメータ発生処理と、前記制御パラメータ発生処理により生成される制御パラメータの値に対応して選択される和音および分散和音の少なくとも一方の楽音を、前記制御パラメータ発生処理にて生成される少なくとも一つの制御パラメータの値に応じて発音又は消音する楽音発生処理と、前記楽音発生処理が発音する楽音の音高および音像を、前記制御パラメータ発生処理にて生成される少なくとも一つの制御パラメータに応じて各々制御する音高音像制御処理とをコンピュータで実行させることを特徴とする。

請求項１、３に記載の発明では、撮像した画像の色相に応じて変化する制御パラメータを発生すると、その制御パラメータに対応して選択される種類の楽音を、当該制御パラメータの変化に応じて発音又は消音させる一方、発音した楽音の発音形態を制御パラメータに応じて制御するので、音楽に慣れ親しみ易くするような新たな楽しみを創出することができる。

請求項２、４に記載の発明では、撮像した画像の色相に応じて変化する、少なくとも一つの制御パラメータを発生すると、生成される制御パラメータの値に対応して選択される和音および分散和音の少なくとも一方の楽音を、少なくとも一つの制御パラメータの値に応じて発音又は消音させる一方、発音する楽音の音高および音像を、少なくとも一つの制御パラメータに応じて各々制御するので、音楽に慣れ親しみ易くするような新たな楽しみを創出することができる。

以下、本発明の実施の形態について図面を参照して説明する。
Ａ．構成
（１）全体構成
図１は、本発明の実施形態による楽音制御装置の全体構成を示すブロック図である。この図において、鍵盤１は、押離鍵操作（演奏操作）に応じたキーオン／キーオフ信号および鍵番号（キーナンバ）、ベロシティ等からなる演奏情報を発生する。スイッチ部２は、発生する楽音の音色を設定する音色スイッチ、伴奏パターンを選択するパターン選択スイッチの他、オンオフ操作に応じて和音の発音・消音を指示するＡボタンや、伴奏音の発音・消音を指示するＢボタンを備え、操作されるスイッチ（ボタン）種に対応したスイッチイベントを発生する。

表示部３は、ＬＣＤパネル等から構成され、後述するＣＰＵ４から供給される表示制御信号に応じて楽器各部の設定状態や動作モード等を表示したり、後述のカメラ７およびＡ／Ｄ変換器８からなる撮像入力部が入力する画像（あるいは映像）を画面表示する。
ＣＰＵ４は楽器モード又は撮像入力モードで動作する。楽器モードで動作する場合、ＣＰＵ４はスイッチ部２により生成されるスイッチイベントに基づき楽器各部の動作状態を設定したり、演奏情報に応じた楽音パラメータ（例えば、発音指示コマンドや消音指示コマンド等）を生成して楽音生成部９に送出する。一方、ＣＰＵ４が画像入力モードで動作する場合、ＣＰＵ４はスイッチ部２に設けられるＡボタンやＢボタンのオンオフ操作に応じて和音又は伴奏音の発音・消音を楽音生成部９に送出したり、後述のカメラ７およびＡ／Ｄ変換器８からなる撮像入力部が入力する画像データに応じて発音態様を変化させる制御パラメータ（例えば、音像を変化させるパンコントロール値あるいは音量を変化させるベンドコントロール値等）を生成して楽音生成部９に送出する。なお、本発明の要旨に関わるＣＰＵ４の撮像入力モード下での処理動作については追って詳述する。

ＲＯＭ５は、プログラムエリアとデータエリアとを備える。ＲＯＭ５のプログラムエリアには、上記ＣＰＵ４にロードされる各種制御プログラムが記憶される。ここで言う各種制御プログラムとは、後述するメインルーチン、変数生成処理、スイッチ処理、和音発音処理、伴奏音発音処理および伴奏進行処理を含む。また、ＲＯＭ５のデータエリアには、和音データおよび伴奏パターンデータが格納されており、これらデータ構成については後述する。
ＲＡＭ６は、各種レジスタ・フラグデータを格納するワークエリアと、カメラ７およびＡ／Ｄ変換器８からなる撮像入力部が入力する画像データを格納する画像データエリアと、画像バッファとを備える。ワークエリアおよび画像データエリアに格納される主要データの構成については後述する。

カメラ７およびＡ／Ｄ変換器８からなる撮像入力部は、ＣＰＵ４の制御の下に、ＣＣＤ等から構成されるカメラ７が撮像する被写体の画像信号を、Ａ／Ｄ変換器８により所定周期毎に画像データに変換してＲＡＭ６の画像バッファに格納する。楽音生成部９は、周知の波形データ読み出し方式で構成され、例えば撮像入力モード下では、ＣＰＵ４からの和音（又は伴奏音）の発音（又は消音）の指示に従い、ＲＯＭ５に記憶される和音データ（又は伴奏パターンデータ）に基づき和音（又は伴奏音）を再生すると共に、再生した和音（又は伴奏音）の発音態様をＣＰＵ４から供給される制御パラメータに応じて変化させて得た楽音データを出力する。Ｄ／Ａ変換器１０は、楽音生成部９から出力される楽音データをアナログ信号形式の楽音信号に変換して出力する。サウンドシステム１１は、Ｄ／Ａ変換器１０から供給される楽音信号にノイズ除去等のフィルタリングを施した後、信号増幅してスピーカ（不図示）から放音する。

（２）データ構成
次に、図２〜図３を参照してＲＯＭ５のデータエリアに格納される和音データおよび伴奏パターンデータの構成、ＲＡＭ６のワークエリアに設けられる主要なレジスタ・フラグデータの構成およびＲＡＭ６の画像データエリアに格納される画像データの構成について説明する。

図２（Ａ）は、ＲＯＭ５のデータエリアに格納される和音データの構造を示す図である。ＲＯＭ５のデータエリアには、複数（ＭＡＸＰＩＴ数分）の和音データｐｉｔ［０］〜［ＭＡＸＰＩＴ−１］が格納される。１つの和音データｐｉｔ［ｎ］は、複数の和音構成音［０］〜［ＷＮ−１］（ＷＮは和音構成音数）から構成される。和音データｐｉｔ［ｎ］［ｍ］で指定される和音構成音の音高は、ＭＩＤＩノートナンバで表現される。

図２（Ｂ）は、ＲＯＭ５のデータエリアに格納される伴奏パターンデータの構造を示す図である。伴奏パターンデータは、複数種の伴奏パターンａｐａｔ［０］〜［ＭＡＸＰＡＴ−１］から構成される。１つの伴奏パターンａｐａｔは、ヘッダおよび複数の音符データａｎｏｔｅを備える。ヘッダは、パターン中に含まれる音符数ｍａｘｎｏｔｅ、４分音符長のｔｉｃｋ数（テンポクロック数）で表される分解能ｒｅｓ、１小節中の４分音符の個数で表される拍ｂｅａｔおよび小節数で表されるパターン長ｌｅｎから構成される。音符データａｎｏｔｅ［０］〜［ｍａｘｎｏｔｅ−１］は、それぞれｔｉｃｋ数で表現される発音開始時間ｔｉｍｅおよび発音すべき音高および音量を表すノートオンイベントｃｏｍを有する。

図３（Ａ）は、ＲＡＭ６のワークエリアに設けられる主要なレジスタ・フラグデータの構成を示す図である。この図において、フラグｈｍｎｙは、和音の発音又は消音を指示するフラグであり、「１」の場合に発音を指示し、「２」の場合に消音を指示する。なお、イニシャライズ時点では、フラグｈｍｎｙに初期値「０」がセットされる。フラグｄｒｕｍは、伴奏音の発音又は消音を指示するフラグであり、「１」の場合に発音を指示し、「２」の場合に消音を指示する。なお、イニシャライズ時点では、フラグｄｒｕｍに初期値「０」がセットされる。制御パラメータｐａｒａｍ１〜ｐａｒａｍ３は、カメラ７およびＡ／Ｄ変換器８からなる撮像入力部が入力する画像データに応じて生成され、発音態様を変化させるパラメータとして用いられる。これら制御パラメータｐａｒａｍ１〜ｐａｒａｍ３が意図するところについては追って述べる。

レジスタｐｉｔｎには、選択された和音データｐｉｔの番号が一時記憶される。非発音時には、レジスタｐｉｔｎに「−１」がストアされる。レジスタｗａｉｔには、待ち時間が一時記憶される。レジスタｐｉｔｉには、選択された和音データｐｉｔにおいて発音中の和音構成音を示すインデックス値が一時記憶される。レジスタｐａｔｎには、選択された伴奏パターンａｐａｔの番号が一時記憶される。非発音時には、レジスタｐａｔｎに「−１」がストアされる。レジスタｎｏｔｅｉには、選択された伴奏パターンａｐａｔにおいて発音中の音符データａｎｏｔｅを示すインデックス値が一時記憶される。レジスタｂａｓｅｔｉｍｅには、伴奏発音を開始した時の現在時刻（ｍｓｅｃ単位）が一時記憶される。レジスタｔｉｃｋｍｅａｓｐｒｅｖには、後述の伴奏進行処理におけるパターン先頭からのｔｉｃｋ数が一時記憶される。レジスタｃｌｒｉには、後述の画像データにおいて平均値を格納するレジスタを示すインデックス値が一時記憶される。

図３（Ｂ）は、ＲＡＭ６の画像データエリアに格納される画像データの構成を示す図である。ＲＡＭ６の画像データエリアには、カメラ７およびＡ／Ｄ変換器８からなる撮像入力部により撮像された画像データに対応したレジスタｇｒｆ［０］〜［ＭＡＸＣＬＲ−１］が設けられている。インデックス値ｃｌｒｉで指定される任意のレジスタｇｒｆ［ｃｌｒｉ］は、撮像された画像データ中の赤色成分Ｒの平均値が格納されるレジスタｇｒｆ［ｃｌｒｉ］［０］と、緑色成分Ｇの平均値が格納されるレジスタｇｒｆ［ｃｌｒｉ］［１］と、青色成分Ｂの平均値が格納されるレジスタｇｒｆ［ｃｌｒｉ］［２］とを備える。

Ｂ．動作
次に、図４〜図９を参照して実施形態の動作について説明する。以下では、最初にメインルーチンの動作を説明した後、メインルーチンからコールされる変数生成処理、スイッチ処理、和音発音処理、伴奏音発音処理および伴奏進行処理の各動作を述べる。

（１）メインルーチンの動作
上記構成による楽音制御装置のパワーオンに応じて、ＣＰＵ４は図４に示すメインルーチンを実行してステップＳＡ１に処理を進め、ＲＡＭ６のワークエリアに格納される各種レジスタやフラグ類をイニシャライズする初期処理を実行する。そして、ステップＳＡ２に進み、カメラ７およびＡ／Ｄ変換器８からなる撮像入力部が撮像した画像データに基づいて発音態様を変化させる制御パラメータｐａｒａｍ１〜３を発生すると共に、発生した制御パラメータｐａｒａｍ１，２に応じて和音の発音／消音を指示するフラグｈｍｎｙを発生する変数生成処理を実行する。続いて、ステップＳＡ３では、Ａボタンのオンオフ操作に応じて和音の発音／消音を指示するフラグｈｍｎｙを設定したり、Ｂボタンのオンオフ操作に応じて伴奏音の発音／消音を指示するフラグｄｒｕｍを設定するスイッチ処理を実行する。

次いで、ステップＳＡ４では和音発音処理を実行する。和音発音処理では、後述するように、撮像した画像データ内容に基づき生成される制御パラメータｐａｒａｍ１に応じて、発音させる和音データｐｉｔ［ｐｉｔｎ］を選択し、選択した和音データｐｉｔ［ｐｉｔｎ］を、Ａボタンのオン操作あるいは赤色成分が多い画像を撮像した場合に発音させ、発音中には撮像した画像データ内容に基づき生成される制御パラメータｐａｒａｍ２、ｐａｒａｍ３に従って音量および音像を制御し、そして、Ａボタンのオフ操作もしくは緑色成分が多い画像を撮像した場合に発音中の和音を消音させる。

そして、ステップＳＡ５に進み、Ｂボタンのオンオフ操作に応じて伴奏音の発音又は消音を指示する伴奏音発音処理を実行する。次に、ステップＳＡ６では、例えば、鍵盤１が発生する演奏情報に応じた楽音パラメータ（例えば、発音指示コマンドや消音指示コマンド等）を生成して楽音生成部９に送出する等の、その他の処理を実行した後、上述のステップＳＡ２に処理を戻す。以後、ＣＰＵ４は装置電源がパワーオフされる迄、上述したステップＳＡ２〜ＳＡ６の動作を繰り返す。

（２）変数生成処理の動作
次に、図５を参照して変数生成処理の動作を説明する。上述したステップＳＡ２（図４参照）を介して本処理が実行されると、ＣＰＵ４は図５に示すステップＳＢ１に進む。ステップＳＢ１では、カメラ７およびＡ／Ｄ変換器８からなる撮像入力部が撮像した複数フレーム分の画像データを、一旦ＲＡＭ６の画像バッファ（不図示）に転送し、この画像バッファ中の複数フレーム分の画像データから赤色成分Ｒ、緑色成分Ｇおよび青色成分Ｂの各平均値、つまり色相を抽出する。そして、ＲＡＭ６の画像データエリアのインデックス値ｃｌｒｉで指定されたレジスタｇｒｆ［ｃｌｒｉ］［０］〜［ｃｌｒｉ］［２］に、抽出した赤色成分Ｒ、緑色成分Ｇおよび青色成分Ｂの各平均値をストアする。その後、インデックス値ｃｌｒｉを更新する。

次いで、ステップＳＢ２では、レジスタｇｒｆ［］［０］に格納した赤色成分Ｒの平均値を制御パラメータｐａｒａｍ１に、レジスタｇｒｆ［］［１］に格納した緑色成分Ｇの平均値を制御パラメータｐａｒａｍ２に、レジスタｇｒｆ［］［２］に格納した青色成分Ｂの平均値を制御パラメータｐａｒａｍ３にそれぞれ設定する。
次に、ステップＳＢ３では、制御パラメータｐａｒａｍ１が予め設定される閾値ＴＨＲ１より大きいか否かを判断する。閾値ＴＨＲ１より大きければ、判断結果は「ＹＥＳ」になり、ステップＳＢ４に進み、フラグｈｍｎｙに「１」をセットして和音の発音を指示する状態に設定した後、ステップＳＢ５に進む。したがって、撮像入力した画像の赤色成分Ｒが多い場合に自動的に和音発音が指示されることになる。

一方、制御パラメータｐａｒａｍ１が閾値ＴＨＲ１より小さいと、上記ステップＳＢ３の判断結果は「ＮＯ」になり、ステップＳＢ５に進む。ステップＳＢ５では、制御パラメータｐａｒａｍ２が予め設定される閾値ＴＨＲ２より大きいか否かを判断する。閾値ＴＨＲ２より大きければ、判断結果は「ＹＥＳ」になり、ステップＳＢ６に進み、フラグｈｍｎｙに「２」をセットして和音の消音を指示する状態に設定した後、本処理を完了させる。したがって、撮像入力した画像の緑色成分Ｇが多い場合に自動的に和音消音が指示されることになる。これに対し、制御パラメータｐａｒａｍ２が閾値ＴＨＲ２より小さいと、上記ステップＳＢ５の判断結果は「ＮＯ」になり、本処理を完了させる。

このように、変数生成処理では、カメラ７およびＡ／Ｄ変換器８からなる撮像入力部が撮像した画像データに基づいて発音態様を変化させる制御パラメータｐａｒａｍ１〜３を発生すると共に、発生した制御パラメータｐａｒａｍ１，２に応じて和音の発音／消音を指示するフラグｈｍｎｙを発生するようになっている。

（３）スイッチ処理の動作
次に、図６を参照してスイッチ処理の動作を説明する。上述したステップＳＡ３（図４参照）を介して本処理が実行されると、ＣＰＵ４は図６に示すステップＳＣ１に進む。ステップＳＣ１〜ＳＣ８では、操作されるスイッチ種に応じた処理を実行する。以下では、Ａボタンがオン操作された場合、Ａボタンがオフ操作された場合、Ｂボタンがオン操作された場合およびＢボタンがオフ操作された場合に分けて動作説明を進める。

＜Ａボタンがオン操作された場合＞
Ａボタンがオン操作されると、ステップＳＣ１の判断結果が「ＹＥＳ」になり、ステップＳＣ２に進み、フラグｈｍｎｙに「１」をセットして和音の発音を指示する。

＜Ａボタンがオフ操作された場合＞
Ａボタンがオフ操作されると、ステップＳＣ３の判断結果が「ＹＥＳ」になり、ステップＳＣ４に進み、フラグｈｍｎｙに「２」をセットして和音の消音を指示する。

＜Ｂボタンがオン操作された場合＞
Ｂボタンがオン操作されると、ステップＳＣ５の判断結果が「ＹＥＳ」になり、ステップＳＣ６に進み、フラグｄｒｕｍに「１」をセットして伴奏音の発音を指示する。

＜Ｂボタンがオフ操作された場合＞
Ｂボタンがオフ操作されると、ステップＳＣ７の判断結果が「ＹＥＳ」になり、ステップＳＣ８に進み、フラグｄｒｕｍに「２」をセットして伴奏音の消音を指示する。この後、ステップＳＣ９に進み、例えば音色スイッチの操作に応じて発生楽音の音色を設定する等の、その他のスイッチ処理を実行した後、本処理を完了させる。
このように、スイッチ処理では、Ａボタンのオンオフ操作に応じて和音の発音／消音を指示するフラグｈｍｎｙを設定したり、Ｂボタンのオンオフ操作に応じて伴奏音の発音／消音を指示するフラグｄｒｕｍを設定するようになっている。

（４）和音発音処理の動作
次に、図７を参照して和音発音処理の動作を説明する。上述したステップＳＡ４（図４参照）を介して本処理が実行されると、ＣＰＵ４は図７に示すステップＳＤ１に進む。ステップＳＤ１以降では、未発音状態で発音が指示されたかどうか（ステップＳＤ１）、発音中に消音が指示されたかどうか（ステップＳＤ５）、発音中であるかどうか（ステップＳＤ１０）を状態判定する。以下では、これら状態判定に対応させて、未発音状態で発音が指示された場合、発音中に消音が指示された場合および発音中の場合に分けて各場合の動作を説明する。

＜未発音状態で発音が指示された場合＞
ステップＳＤ１では、フラグｈｍｎｙが「１」であって、レジスタｐｉｔｎの値が「−１」、すなわち未発音状態で発音が指示されているか否かを判断する。ここで、例えば未発音状態の時に、Ａボタンのオン操作に応じてフラグｈｍｎｙが「１」に設定されたり、あるいは赤色成分が多い画像を撮像して得られる制御パラメータｐａｒａｍ１に基づきフラグｈｍｎｙが「１」に設定されたとする。 そうすると、上記ステップＳＤ１の判断結果が「ＹＥＳ」となり、ステップＳＤ２に進む。ステップＳＤ２では、制御パラメータｐａｒａｍ１の値を和音データｐｉｔの数ＭＡＸＰＩＴで除した時の剰余値を和音番号としてレジスタｐｉｔｎ（和音番号ｐｉｔｎと称す）にストアすると共に、この和音番号ｐｉｔｎで指定される和音データｐｉｔ［ｐｉｔｎ］の和音構成音をサーチするポインタｎをゼロリセットする。

次いで、ステップＳＤ３では、ポインタｎが和音データｐｉｔ［ｐｉｔｎ］の構成音数ＷＮより小さいか否かを判断する。つまり、和音データｐｉｔ［ｐｉｔｎ］の和音構成音を全て発音させたかどうかを判断する。全て発音させていなければ、判断結果は「ＹＥＳ」になり、ステップＳＤ４に進む。ステップＳＤ４では、ポインタｎが指定する和音データｐｉｔ［ｐｉｔｎ］［ｎ］（和音構成音の音高）をＲＯＭ５のデータエリア（図２参照）から読み出してレジスタｐにストアすると共に、レジスタｃｈにポインタｎをストアし、さらにレジスタｖに音量値「１１０」をセットする。

そして、レジスタｐにストアされた音高の楽音を、レジスタｃｈで指定される発音チャンネルからレジスタｖの音量値で発音させるよう楽音生成部９に指示する。この後、ポインタｎをインクリメントして歩進させて上記ステップＳＤ３に処理を戻す。
以後、ステップＳＤ３〜ＳＤ４を繰り返し、和音番号ｐｉｔｎで指定される和音データｐｉｔ［ｐｉｔｎ］の構成音数ＷＮを超えるまでポインタｎを歩進させながら、当該和音データｐｉｔ［ｐｉｔｎ］中の和音構成音を全て発音させる。そして、全て発音させると、ステップＳＤ３の判断結果が「ＮＯ」になり、一旦本処理を完了させる。

＜発音中に消音が指示された場合＞
この場合、上記ステップＳＤ１の判断結果が「ＮＯ」になり、ステップＳＤ５に進み、フラグｈｍｎｙが「２」であって、レジスタｐｉｔｎの値が「−１」でない状態、つまり発音中に消音が指示されているか否かを判断する。ここで、例えば発音中に、Ａボタンのオフ操作に応じてフラグｈｍｎｙが「２」に設定されたり、あるいは緑色の色相が多い画像を撮像して得られる制御パラメータｐａｒａｍ２に基づきフラグｈｍｎｙが「２」に設定されたとする。そうすると、上記ステップＳＤ５の判断結果が「ＹＥＳ」となり、ステップＳＤ６に進む。

ステップＳＤ６では、ポインタｎをゼロリセットし、続くステップＳＤ７では、ポインタｎが和音データｐｉｔ［ｐｉｔｎ］の構成音数ＷＮより小さいか否かを判断する。つまり、和音データｐｉｔ［ｐｉｔｎ］の和音構成音を全て消音させたかどうかを判断する。全て消音させていなければ、判断結果は「ＹＥＳ」になり、ステップＳＤ８に進む。ステップＳＤ８では、発音状態にある和音データｐｉｔ［ｐｉｔｎ］中でポインタｎが指定する和音データｐｉｔ［ｐｉｔｎ］［ｎ］（和音構成音の音高）をレジスタｐにストアすると共に、レジスタｃｈにポインタｎをストアし、そして、レジスタｐにストアされた音高の楽音を、レジスタｃｈで指定される発音チャンネルから消音させるよう楽音生成部９に指示する。この後、ポインタｎをインクリメントして歩進させて上記ステップＳＤ７に処理を戻す。

以後、ステップＳＤ７〜ＳＤ８を繰り返し、和音番号ｐｉｔｎで指定される和音データｐｉｔ［ｐｉｔｎ］の構成音数ＷＮを超えるまでポインタｎを歩進させながら、当該和音データｐｉｔ［ｐｉｔｎ］中の和音構成音を全て消音させる。そして、全て消音させると、ステップＳＤ７の判断結果が「ＮＯ」になり、ステップＳＤ９に進み、和音番号ｐｉｔｎに消音状態を表す値「−１」をストアして、一旦本処理を完了させる。

＜発音中の場合＞
この場合、上記ステップＳＤ１、ＳＤ５の各判断結果が「ＮＯ」になり、ステップＳＤ１０に進み、レジスタｐｉｔｎの値が「−１」でない状態、つまり発音中であるか否かを判断する。発音中であると、判断結果が「ＹＥＳ」になり、ステップＳＤ１１に進み、ポインタｎをゼロリセットする。続いて、ステップＳＤ１２では、ポインタｎが和音データｐｉｔ［ｐｉｔｎ］の構成音数ＷＮより小さいか否かを判断する。ポインタｎが構成音数ＷＮを超えていなければ、判断結果は「ＹＥＳ」になり、ステップＳＤ１３に進む。

ステップＳＤ１３では、制御パタメータｐａｒａｍ２に応じて音量制御するベンドコントロールと、制御パラメータｐａｒａｍ３に応じて音像制御するパンコントロールとを楽音生成部９に指示する。具体的には、制御パタメータｐａｒａｍ２に対応したピッチベンドチェンジメッセージと、制御パタメータｐａｒａｍ３に対応したパンコントロールチェンジメッセージとを生成して楽音生成部９に供給する。この後、ポインタｎをインクリメントして歩進させて上記ステップＳＤ１２に処理を戻す。

以後、ステップＳＤ１２〜ＳＤ１３を繰り返し、構成音数ＷＮを超えるまでポインタｎを歩進させながら、制御パタメータｐａｒａｍ２および制御パタメータｐａｒａｍ３に応じて、発音中の構成音の音量および音像を制御する。そして、発音中の全ての和音構成音について音量および音像を制御し終えると、ステップＳＤ１２の判断結果が「ＮＯ」になり、一旦本処理を完了させる。

このように、和音発音処理では、撮像した画像データ内容に基づき生成される制御パラメータｐａｒａｍ１に応じて発音する和音データｐｉｔ［ｐｉｔｎ］を選択し、選択した和音データｐｉｔ［ｐｉｔｎ］を、Ａボタンのオン操作もしくは赤色成分が多い画像を撮像した場合に発音させ、発音中には撮像した画像データ内容に基づき生成される制御パラメータｐａｒａｍ２、ｐａｒａｍ３に従って音量および音像を制御し、そして、Ａボタンのオフ操作もしくは緑色成分が多い画像を撮像した場合に発音中の和音を消音させる。

（５）伴奏発音処理の動作
次に、図８を参照して伴奏発音処理の動作を説明する。上述したステップＳＡ５（図４参照）を介して本処理が実行されると、ＣＰＵ４は図８に示すステップＳＥ１に処理を進め、フラグｄｒｕｍが「１」であって、かつレジスタｐａｔｎの値が「−１」、すなわち未発音状態で伴奏音の発音が指示されているか否かを判断する。未発音状態で伴奏音の発音が指示されていなければ、判断結果は「ＮＯ」になり、後述するステップＳＥ３に処理を進める。
一方、例えば未発音状態の時に、Ｂボタンのオン操作に応じてフラグｄｒｕｍが「１」に設定されると、ここでの判断結果が「ＹＥＳ」になり、ステップＳＥ２に進む。

ステップＳＥ２では、制御パラメータｐａｒａｍ３の値を伴奏パターンａｐａｔの数ＭＡＸＰＡＴで除した時の剰余値を伴奏パターン番号としてレジスタｐａｔｎ（伴奏パターン番号ｐａｔｎと称す）にストアすると共に、この伴奏パターン番号ｐａｔｎで指定される伴奏パターンａｐａｔ［ｐａｔｎ］を構成する音符データａｎｏｔｅ［０］〜［ｍａｘｎｏｔｅ−１］を指定するインデックス値を保持するレジスタｎｏｔｅｉ（インデックスｎｏｔｅｉと称す）をゼロリセットする。さらに、ｍｓｅｃ単位で表される現在時刻を伴奏開始時刻としてレジスタｂａｓｅｔｉｍｅにストアすると共に、レジスタｔｉｃｋｍｅａｓｐｒｅｖをゼロリセットして本処理を完了させる。

ステップＳＥ３では、フラグｄｒｕｍが「２」であって、かつレジスタｐａｔｎの値が「−１」でないか否か、つまり発音中に伴奏音の消音が指示されたかどうかを判断する。発音中に伴奏音の消音が指示されていなければ、判断結果は「ＮＯ」になり、本処理を完了させる。
一方、例えば伴奏音の発音中に、Ｂボタンのオフ操作に応じてフラグｄｒｕｍが「２」に設定されると、ここでの判断結果が「ＹＥＳ」になり、ステップＳＥ４に進み、伴奏パターン番号ｐａｔｎに「−１」をセットして未発音状態（伴奏進行停止状態）に設定して本処理を終える。

（６）伴奏進行処理の動作
次に、図９を参照して伴奏進行処理の動作を説明する。伴奏進行処理は、タイマ割込みにて所定周期毎に実行される。実行タイミングになると、ＣＰＵ４は図９に図示するステップＳＦ１に処理を進め、伴奏パターン番号ｐａｔｎが「−１」でないか、つまり伴奏進行しているかどうかを判断する。伴奏パターン番号ｐａｔｎに「−１」がセットされ、未発音状態（伴奏進行停止状態）であれば、判断結果は「ＮＯ」になり、何も行わずに本処理を完了させる。これに対し、伴奏進行していれば、上記ステップＳＦ１の判断結果が「ＹＥＳ」になり、ステップＳＦ２に進む。

ステップＳＦ２では、次式（１）に各値を代入して現在時刻を、レジスタｂａｓｅｔｉｍｅに格納される伴奏開始時刻からの経過時間ｔｉｃｋに換算する。
ｔｉｃｋ＝（現在時刻−ｂａｓｅｔｉｍｅ）×ａｐａｔ［ｐａｔｎ］．ｒｅｓ×ｔｅｍｐｏ／（６０×１０００） …（１）
なお、上記（１）式において、ａｐａｔ［ｐａｔｎ］．ｒｅｓとは、前述した伴奏発音処理のステップＳＥ２（図８参照）において、制御パラメータｐａｒａｍ３の値に応じて選択された伴奏パターンａｐａｔ［ｐａｔｎ］中の分解能ｒｅｓを表し、ｔｅｍｐｏは再生テンポ（１分間中の４分音符数）を表す。

また、ステップＳＦ２では、次式（２）に各値を代入して経過時間ｔｉｃｋを伴奏パターンａｐａｔ［ｐａｔｎ］中の位置ｔｉｃｋｍｅａｓに換算する。
ｔｉｃｋｍｅａｓ＝（ｔｉｃｋ／（ａｐａｔ［ｐａｔｎ］．ｒｅｓ×ａｐａｔ［ｐａｔｎ］．ｂｅａｔ×ａｐａｔ［ｐａｔｎ］．ｌｅｎ））の剰余 …（２） なお、上記（２）式において、ａｐａｔ［ｐａｔｎ］．ｒｅｓは、選択された伴奏パターンａｐａｔ［ｐａｔｎ］中の分解能ｒｅｓを表す。ａｐａｔ［ｐａｔｎ］．ｂｅａｔは、選択された伴奏パターンａｐａｔ［ｐａｔｎ］中の拍ｂｅａｔを表す。ａｐａｔ［ｐａｔｎ］．ｌｅｎは、選択された伴奏パターンａｐａｔ［ｐａｔｎ］中のパターン長ｌｅｎを表す。

次に、ステップＳＦ３では、経過時間ｔｉｃｋから換算した現在の位置ｔｉｃｋｍｅａｓが、前回算出した前位置ｔｉｃｋｍｅａｓｐｒｅｖより小さいか否かを判断する。現在の位置ｔｉｃｋｍｅａｓが前位置ｔｉｃｋｍｅａｓｐｒｅｖを超えていなければ、判断結果は「ＹＥＳ」になり、ステップＳＦ４に進む。ステップＳＦ４では、選択された伴奏パターンａｐａｔ［ｐａｔｎ］を構成する音符データａｎｏｔｅ［０］〜［ｍａｘｎｏｔｅ−１］を指定するインデックスｎｏｔｅｉをゼロリセットしてステップＳＦ５に進む。

一方、現在の位置ｔｉｃｋｍｅａｓが前位置ｔｉｃｋｍｅａｓｐｒｅｖを超えていると、上記ステップＳＦ３の判断結果が「ＮＯ」になり、ステップＳＦ５に進む。ステップＳＦ５では、インデックスｎｏｔｅｉが、選択された伴奏パターンａｐａｔ［ｐａｔｎ］中に含まれる音符数ｍａｘｎｏｔｅより小さいか否か、すなわちパターン中の全ての音符データを再生し終えたかどうかを判断する。パターン中の全ての音符データを再生し終えているならば、判断結果は「ＮＯ」になり、ステップＳＦ９に進み、現在の位置ｔｉｃｋｍｅａｓを、前位置ｔｉｃｋｍｅａｓｐｒｅｖに更新して本処理を終える。

これに対し、パターン中の全ての音符データを再生し終えていない場合には、上記ステップＳＦ５の判断結果が「ＹＥＳ」となり、ステップＳＦ６に進む。
ステップＳＦ６では、インデックスｎｏｔｅｉで指定される音符データａｐａｔ［ｐａｔｎ］．ａｎｏｔｅ［ｎｏｔｅｉ］を、レジスタｎｏｔｅにストアする。これにより、レジスタｎｏｔｅには、当該音符データａｎｏｔｅ［ｎｏｔｅｉ］の発音開始時間ｔｉｍｅおよび発音すべき音高および音量を表すノートオンイベントｃｏｍが格納される。

そして、ステップＳＦ７では、現在の位置ｔｉｃｋｍｅａｓが、レジスタｎｏｔｅ中の発音時間ｔｉｍｅ以上であるか、つまり発音タイミングであるかどうかを判断する。現在の位置ｔｉｃｋｍｅａｓが発音時間ｔｉｍｅより小さい場合には、発音タイミングに達していないとして、判断結果が「ＮＯ」となり、ステップＳＦ９に進み、現在の位置ｔｉｃｋｍｅａｓを、前位置ｔｉｃｋｍｅａｓｐｒｅｖに更新して本処理を終える。

一方、現在の位置ｔｉｃｋｍｅａｓが、レジスタｎｏｔｅ中の発音時間ｔｉｍｅ以上の発音タイミング下にあると、上記ステップＳＦ７の判断結果が「ＹＥＳ」になり、ステップＳＦ８に進み、レジスタｎｏｔｅに格納されるノートオンイベントｃｏｍを楽音生成部９に送出して伴奏音の発音を指示した後、インデックスｎｏｔｅｉを歩進させて上述のステップＳＦ５に処理を戻す。以後、上述したステップＳＦ５〜ＳＦ８を繰り返し実行することによって、指定された伴奏パターンを構成する各音が順次再生される。

以上のように、本実施形態では、カメラ７およびＡ／Ｄ変換器８からなる撮像入力部が撮像した画像データの色相に応じて変化する制御パラメータｐａｒａｍ１〜３を発生させる。そして、制御パラメータｐａｒａｍ１に応じて発音させる和音データｐｉｔを選択し、選択した和音データｐｉｔを、一定値以上の制御パラメータｐａｒａｍ１が発生した時に発音させ、和音発音中には制御パラメータｐａｒａｍ２に従った音量制御と制御パラメータｐａｒａｍ３に従った音像制御とを行い、一定値以上の制御パラメータｐａｒａｍ２が発生した時に発音中の和音を消音させる。
このように、撮像した画像データの色相に応じて変化する制御パラメータｐａｒａｍ１〜３に従って和音演奏することができるため、音楽に慣れ親しみ易くするような新たな楽しみを創出することが可能になる。

（７）変形例（アルペジェータ処理）の動作
次に、図１０を参照して変形例について説明する。図１０は、前述した和音発音処理（図７参照）に替えて実行されるアルペジェータ処理の動作を示すフローチャートである。アルペジェータ処理は、タイマ割込みにて所定周期毎に実行される。実行タイミングになると、ＣＰＵ４は図１０に図示するステップＳＧ１に処理を進める。
ステップＳＧ１以降では、和音の発音が指示されたかどうか（ステップＳＧ１およびＳＧ２）、発音中に消音が指示されたかどうか（ステップＳＧ６）の状態判別を行う。したがって、以下では、和音の発音が指示された場合と発音中に消音が指示された場合とに分けて動作説明を進める。

＜和音の発音が指示された場合＞
この場合、フラグｈｍｎｙが「１」となるので、ステップＳＧ１の判断結果が「ＹＥＳ」になり、ステップＳＧ２に進む。ステップＳＧ２では、レジスタｐｉｔｎの値（和音番号）が「−１」、すなわち未発音状態であるか否かを判断する。
未発音状態で和音発音が指示されると、上記ステップＳＧ２の判断結果は「ＹＥＳ」となり、最初の１音の発音を開始させる処理を行うため、後述のステップＳＧ５に進む。

一方、既に発音中であると、上記ステップＳＧ２の判断結果は「ＮＯ」となり、ステップＳＧ３に進む。ステップＳＧ３では、待ち時間を計時するカウンタｗａｉｔを経過時間分減算し、続くステップＳＧ４では、経過時間分減算したカウンタｗａｉｔの待ち時間が「０」より大きいか否か、すなわち次の１音の発音タイミングであるかどうかを判断する。経過時間分減算したカウンタｗａｉｔの待ち時間が「０」より大きく、発音タイミングに達していない時には、上記ステップＳＧ４の判断結果が「ＹＥＳ」になり、何も行わずに本処理を完了させる。

これに対し、経過時間分減算したカウンタｗａｉｔの待ち時間が「０」より小さくなり、発音タイミングになると、上記ステップＳＧ４の判断結果は「ＮＯ」となり、ステップＳＧ４−１に進む。ステップＳＧ４−１では、発音中の和音データｐｉｔ［ｐｉｔｎ］において、レジスタｐｉｔｉに格納されるインデックス値で指定される和音データｐｉｔ［ｐｉｔｎ］［ｐｉｔｉ］（構成音の音高）をレジスタｐにストアすると共に、レジスタｃｈに「１」をストアし、そして、レジスタｐにストアされた音高の楽音を、レジスタｃｈで指定される発音チャンネルから消音させるよう楽音生成部９に指示する。これにより発音中の和音構成音が消音される。その後、次の１音の発音を開始させる処理を行うため、ステップＳＧ５に進む。

ステップＳＧ５では、次の処理を行う。先ず、０〜１２７の範囲で生成した乱数に応じてパン制御を行い、続いて、０〜（ＷＮ−１）の範囲、つまり現在選択されている和音データｐｉｔ［ｐｉｔｎ］の構成音数ＷＮの範囲で生成した乱数をインデックス値としてレジスタｐｉｔｉにストアする。次に、制御パラメータｐａｒａｍ１を和音データ数ＭＡＸＰＩＴで除算した剰余値を和音番号としてレジスタｐｉｔｎにストアする。
次いで、レジスタｐｉｔｎにストアされた新たな和音番号で指定される和音データｐｉｔ［ｐｉｔｎ］において、レジスタｐｉｔｉに格納されるインデックス値で指定される構成音の音高ｐｉｔ［ｐｉｔｎ］［ｐｉｔｉ］を、ＲＯＭ５のデータエリア（図２参照）から読み出してレジスタｐにストアすると共に、レジスタｃｈに「１」をストアし、さらにレジスタｖに音量値「１１０」をセットする。
そして、レジスタｐにストアされた音高の楽音を、レジスタｃｈで指定される発音チャンネルからレジスタｖの音量値で発音させるよう楽音生成部９に指示した後、制御パラメータｐａｒａｍ２に応じた待ち時間をカウンタｗａｉｔにセットして本処理を終える。

＜発音中に消音が指示された場合＞
この場合、フラグｈｍｎｙが「２」となり、かつレジスタｐｉｔｎの値（和音番号）が「−１」ではない状態なので、ステップＳＧ６の判断結果が「ＹＥＳ」になり、ステップＳＧ７に進み、発音中の和音データｐｉｔ［ｐｉｔｎ］において、レジスタｐｉｔｉに格納されるインデックス値で指定される和音データｐｉｔ［ｐｉｔｎ］［ｐｉｔｉ］（構成音の音高）をレジスタｐにストアすると共に、レジスタｃｈに「１」をストアし、そして、レジスタｐにストアされた音高の楽音を、レジスタｃｈで指定される発音チャンネルから消音させるよう楽音生成部９に指示した後、レジスタｐｉｔｎに「−１」をストアして本処理を終える。これにより発音中の和音構成音が消音されるとともに、発音状態が未発音状態に設定される。

以上説明したように、変形例では、撮像した画像データの色相に応じて変化する制御パラメータｐａｒａｍ１，２に従ってアルペジオ演奏することができるため、音楽に慣れ親しみ易くするような新たな楽しみを創出することが可能になる。

なお、上述した実施形態では、撮像した画像データの色相に応じて変化する制御パラメータｐａｒａｍ１〜３に従って和音演奏する一例について言及したが、これに限らず、例えば人の顔を撮像した画像データに、周知の顔画像認識処理を施して顔認識させ、認識した顔の「眉」、「目」、「鼻」および「口」などの配置関係に応じて発生する楽音の発音形態を変化させ、これにより音楽に慣れ親しみ易く新たな楽しみを創出する態様とすることも可能である。

本発明による実施形態の全体構成を示すブロック図である。 ＲＯＭ５に記憶される和音データの構造および伴奏パターンデータの構造を示す図である。 ＲＡＭ６のワークエリアに設けられる主要なレジスタ・フラグデータの構成およびＲＡＭ６の画像データエリアに格納される画像データの構成を示す図である。 メインルーチンの動作を示すフローチャートである。 変数生成処理の動作を示すフローチャートである。 スイッチ処理の動作を示すフローチャートである。 和音発音処理の動作を示すフローチャートである。 伴奏音処理の動作を示すフローチャートである。 伴奏進行処理の動作を示すフローチャートである。 変形例によるアルペジェータ処理の動作を示すフローチャートである。

符号の説明

１ 鍵盤
２ スイッチ部
３ 表示部
４ ＣＰＵ
５ ＲＯＭ
６ ＲＡＭ
７ カメラ
８ Ａ／Ｄ変換器
９ 楽音生成部
１０ Ｄ／Ａ変換器
１１ サウンドシステム

Claims (4)

1. 撮像した画像の色相に応じて変化する制御パラメータを発生する制御パラメータ発生手段と、
   前記制御パラメータ発生手段により生成される制御パラメータに対応して選択される種類の楽音を、当該制御パラメータの変化に応じて発音又は消音する楽音発生手段と、
   前記楽音発生手段が発音する楽音の発音形態を、前記制御パラメータ発生手段により生成される制御パラメータに応じて制御する発音形態制御手段と
   を具備することを特徴とする楽音制御装置。
2. 撮像した画像の色相に応じて変化する、少なくとも一つの制御パラメータを発生する制御パラメータ発生手段と、
   前記制御パラメータ発生手段により生成される制御パラメータの値に対応して選択される和音および分散和音の少なくとも一方の楽音を、前記制御パラメータ発生手段により生成される少なくとも一つの制御パラメータの値に応じて発音又は消音する楽音発生手段と、
   前記楽音発生手段が発音する楽音の音高および音像を、前記制御パラメータ発生手段により生成される少なくとも一つの制御パラメータに応じて各々制御する音高音像制御手段と
   を具備することを特徴とする楽音制御装置。
3. 撮像した画像の色相に応じて変化する制御パラメータを発生する制御パラメータ発生処理と、
   前記制御パラメータ発生処理により生成される制御パラメータに対応して選択される種類の楽音を、当該制御パラメータの変化に応じて発音又は消音する楽音発生処理と、
   前記楽音発生処理が発音する楽音の発音形態を、前記制御パラメータ発生処理にて生成される制御パラメータに応じて制御する発音形態制御処理と
   をコンピュータで実行させることを特徴とする楽音制御プログラム。
4. 撮像した画像の色相に応じて変化する、少なくとも一つの制御パラメータを発生する制御パラメータ発生処理と、
   前記制御パラメータ発生処理により生成される制御パラメータの値に対応して選択される和音および分散和音の少なくとも一方の楽音を、前記制御パラメータ発生処理にて生成される少なくとも一つの制御パラメータの値に応じて発音又は消音する楽音発生処理と、
   前記楽音発生処理が発音する楽音の音高および音像を、前記制御パラメータ発生処理にて生成される少なくとも一つの制御パラメータに応じて各々制御する音高音像制御処理と
   をコンピュータで実行させることを特徴とする楽音制御プログラム。

Images