JP3870490B2

JP3870490B2 - Music performance information transmission system

Info

Publication number: JP3870490B2
Application number: JP17488997A
Authority: JP
Inventors: 茂樹藤井
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1997-06-30
Filing date: 1997-06-30
Publication date: 2007-01-17
Anticipated expiration: 2017-06-30
Also published as: US5977468A; JPH1124661A

Description

【０００１】
【発明の属する技術分野】
この発明は、通信衛星やインターネット等を介してＭＩＤＩ（Musical Instrument Digital Interface）プロトコルに基づく音楽演奏情報を伝送する音楽演奏情報伝送方式に関する。
【０００２】
【従来の技術】
近年、インターネットや衛星通信（ＣＳ）ディジタル放送において、ＭＩＤＩメッセージからなる音楽演奏情報をリアルタイムに伝送するための各種の試みがなされている。インターネットやＣＳディジタル放送では、伝送エラーを考慮したプロトコルが要求されるが、ＭＩＤＩは、リアルタイム性を重視して設計されており、伝送エラーレートの高い環境では多くの問題を引き起こす。特に問題となるのは、ノートオフ情報の欠落による音の鳴りっぱなしという問題である。現状できる対策としては、データの欠落が検出された段階で全ての音を消音し、新たなノートオン情報の受信により発音を再開するということが考えられる。しかしこの場合、しばしば伝送エラーが発生する環境では音楽の完全中断が頻繁に発生することになり、サービスの低下を招く。
【０００３】
また、音楽演奏情報の伝送を行う放送サービスの場合、曲の途中から音楽演奏情報の再生が可能であることが望ましいが、ＭＩＤＩでは、音色設定情報や音源制御情報が曲の先頭で伝送されるため、それらの情報が送られた後から受信・再生を開始する場合には、意図した音と異なる音が再生されることがある。ＭＩＤＩの場合、音色情報以外にもボリュームやサスティンペダルのようなコントロールチェンジ情報等も過去の状態が音楽再現に影響を与えるため、途中再生については何らかの考慮が必要である。
【０００４】
更に、ＭＩＤＩの場合、その物理的な伝送レートは３１．２５kbpsであるが、音楽演奏情報そのものの実質的なデータレートはそれよりもかなり低い場合が多い。伝送帯域が制限されている環境では、データレートの低減も重要なポイントであり、インターネットのように伝送帯域がリアルタイムに変動する環境にも柔軟に耐え得ることが必要である。
【０００５】
【発明が解決しようとする課題】
このように、従来の音楽演奏情報伝送方式では、▲１▼伝送エラーレートの高い環境でも音楽演奏の再生に大きな影響を与えないこと、▲２▼曲の途中からの受信でも音楽演奏の再生に支障を来さないこと、▲３▼予め定められた伝送ビットレートやその変動に対しても、それをクリア可能なレートで伝送が行われること−を全て満足することができないという問題があった。
【０００６】
この発明は、このような点に鑑みなされたもので、伝送エラーレートの高い環境や曲の途中からの受信でも音楽演奏の再生に支障を来すことが無く、しかも伝送ビットレートやサービスの内容に応じた適切な伝送制御が可能な音楽演奏情報伝送方式を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明の音楽演奏情報伝送方式は、ＭＩＤＩプロトコルに基づく音楽演奏情報パケットと、この音楽演奏情報パケットの再生開始時のＭＩＤＩの各チャネルの音楽演奏状態を示す状態情報パケットとを一対のパケットとして生成し、前記音楽演奏情報パケットと前記状態情報パケットとを多重化して送信する送信部と、
この送信部から送信されたパケットを受信すると共に、前記音楽演奏情報パケットによって内部状態を更新しながら、受信された前記状態情報パケットの内容と前記内部状態とを比較して、両者が異なる場合に前記内部状態を前記状態情報パケットの内容に書き換え、且つ前記内部状態に基づいて前記音楽演奏情報を再生する受信部とを有し、前記音楽演奏情報パケットは、ノートオン／ノートオフ状態を示す情報を含み、前記受信部は、前記内部状態がノートオフである場合は状態情報のノート状態がノートオンであっても前記内部状態をノートオフの状態に維持することを特徴とする。
【０００９】
更に、この発明の音楽演奏情報受信装置は、ＭＩＤＩプロトコルに基づく音楽演奏情報パケットと、そのパケットの再生開始時のＭＩＤＩの各チャネルの音楽演奏状態を示す状態情報パケットとを多重化して送信されたパケットを受信して前記音楽演奏情報パケットと前記状態情報パケットとを分離するパケット受信分離手段と、このパケット受信分離手段で分離された音楽演奏情報パケットによって内部状態を更新しながら、前記パケット受信分離手段で分離された状態情報パケットの内容と前記内部状態とを比較して、両者が異なる場合に前記内部状態を前記状態情報パケットの内容に書き換え、且つ前記内部状態に基づいて前記音楽演奏情報を再生する再生手段とを備え、前記音楽演奏情報パケットは、ノートオン／ノートオフ状態を示す情報を含み、前記再生手段は、前記内部状態がノートオフである場合は状態情報のノート状態がノートオンであっても前記内部状態をノートオフの状態に維持することを特徴とする。
【００１０】
この発明によれば、送信側では音楽演奏情報パケットに状態情報パケットを適宜付加して送信し、受信側では音楽演奏情報パケットによって内部状態を更新しつつ、受信された状態情報パケットの内容によって上記内部状態を修正するようにしている。このため、曲の途中から音楽演奏情報を受信した場合には、当初の受信側の内部状態が受信された状態情報パケットの内容に書き替えられることにより、直ちに音楽演奏情報の正しい再生が可能になる。また、受信パケットの欠落があった場合には、受信側の内部状態が本来の状態とは異なる状態となることがあるが、状態情報パケットを受信した時点で内部状態は正しい状態に修正され、その間は前の状態を維持しているので、音楽の完全中断の状態が発生することが無く、伝送エラーレートの高い環境においても聴感上大きな影響を及ぼさない。
【００１１】
更に、この発明によれば、状態情報パケットは、音楽演奏情報パケットに適宜付加されて伝送されるので、伝送帯域やサービスの内容に応じた頻度で状態情報パケットを伝送することにより、伝送ビットレートやサービスの内容に応じた適切な伝送制御が可能になる。
【００１２】
なお、音楽演奏情報パケットが、ノートオン情報及びノートオフ情報のペアから生成されたノートオン情報及びその音長情報からなるＭＩＤＩイベントを含むものであると、ノートオフ情報が単独で欠落することがなくなるので、音の鳴りっぱなしという問題を解決することができる。
【００１３】
【発明の実施の形態】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。
図１は、この発明の一実施例に係る音楽演奏情報伝送システムのブロック図である。
送信部１に供給されるＭＩＤＩデータからなる音楽演奏情報は、音楽演奏情報エンコーダ１１に入力され、ここで時間的に隣接するイベント間の時間差情報とイベント情報とに変換される。これらの情報は、次段の音楽演奏情報パケットエンコーダ１２に入力され、一定間隔毎にパケット化される。この音楽演奏情報パケットの構成例を図２（ａ）に示す。即ち、音楽演奏情報パケットは、同期バイト、パケットＩＤ等からなるパケットヘッダ、パケットの長さを示すパケットデータ長、基準クロック発生部１３からの基準クロックを参照して記録される各パケット毎のパケット再生開始時刻、この再生開始時刻を基準とした隣接イベント間の時間差情報ΔＴ及び各ＭＩＤＩイベントの組、並びにエラー訂正コード（ＣＲＣ）から構成される。この音楽演奏情報パケットは、伝送パケット多重化部１４に送られ、後述する他情報と多重化されて受信部２に伝送される。
【００１４】
一方、音楽演奏情報は、状態情報エンコーダ１５にも与えられる。状態情報エンコーダ１５は、音楽演奏情報から現在のＭＩＤＩの各チャネルの音色情報、ノートオン／オフ状態、ボリューム状態等の状態情報を生成し、これを逐次更新する。生成された状態情報は、状態情報パケットエンコーダ１６に与えられる。状態情報パケットエンコーダ１６は、音楽演奏情報パケットエンコーダ１２で生成された各パケットの再生開始時刻における状態情報をパケット化する。この状態情報パケットの構成例を図２（ｂ）に示す。即ち、状態情報パケットは、同期バイト、パケットＩＤ等からなるパケットヘッダ、パケットの長さを示すパケットデータ長、パケット再生開始時刻、各チャネルの音色番号、ノートオン／オフ状態、その他の状態情報及びエラー訂正コード（ＣＲＣ）等から構成される。
【００１５】
この状態情報パケットは、各音楽演奏情報パケット毎に生成されるが、生成された状態情報パケットを実際に送出するか否かは、状態情報パケット送出制御部１７において平均データレートやデフォルト送出タイミング等を勘案して判断される。パケット送出制御部１７での制御は、基本的には受信側のデータがアンダーフロー、オーバーフローしないように送信部１でシミュレートしながら送出することが肝要である。その他、要求されるサービス形態、品質、伝送レート等に応じて状態情報パケットの送出を制御することも考えられる。例えば、途中再生を素早く実行させることが要求されるシステムにおいては、その送出頻度を通常よりも上げる必要がある。また、伝送レートの上限が設定されているシステムでは、そのレート以上に状態情報パケット等の付加情報を挿入することはできない。同様に、平均伝送レートが一定になるように求められるシステムでも、実際のレートを監視しつつ送出制御する必要がある。
【００１６】
そのほか、送信部１では、映像信号、オーディオ信号に基づく映像音声情報を映像音声情報エンコーダ１８で圧縮符号化し、映像音声情報パケットエンコーダ１９でこれをパケット化して伝送パケット多重化部１４に供給する。伝送パケット多重化部１４では、これらの音楽演奏情報パケット、状態情報パケット、映像音声情報パケットを多重化して送信する。
【００１７】
一方、受信部２では、送信部１から伝送された多重化パケット情報を伝送パケット分離部２１で、音楽演奏情報パケット、状態情報パケット、映像音声情報パケットの３つのパケットに分離する。音楽演奏情報パケットは、音楽演奏情報パケットデコーダ２２に与えられる。パケットデコーダ２２は、パケット再生開始時刻及び隣接イベント間の時間差情報ΔＴに基づいて、各ＭＩＤＩイベントからなるシーケンス情報を生成する。その際、基準クロック発生部２３からは、ＭＩＤＩシーケンス情報の時間基準を与える基準クロックが与えられる。このＭＩＤＩシーケンス情報は、音楽演奏情報デコーダ２４に与えられ、オーディオ信号に再生される。
【００１８】
伝送パケット分離部２１で分離された状態情報パケットは、状態情報パケットデコーダ２５に供給される。状態情報パケットデコーダ２５は、状態情報パケットからパケット再生開始時刻のデータに基づいて各チャネルの状態情報を時系列に並べ、状態情報デコーダ２６に供給する。状態情報デコーダ２６は、入力された各チャネルの状態情報の時系列から各パケット再生開始時点の状態情報を音楽演奏情報と時間的な同期をとって音楽演奏情報デコーダ２４に供給する。音楽演奏情報デコーダ２４では、音楽演奏情報によって逐次更新される内部状態と状態情報デコーダ２６から各パケット単位で与えられる状態情報とを比較して、その内容が異なる場合には、デコーダ２６から与えられた状態情報によって内部状態を書き替える。
【００１９】
更に、伝送パケット分離部２１で分離された映像音声情報パケットは、映像音声情報パケットデコーダ２７及び映像音声情報デコーダ２８で順次デコードされて映像音声再生信号として出力される。
【００２０】
このように構成されたシステムによれば、音楽演奏情報パケットと状態情報パケットとが一対のパケットデータとして伝送されるので、曲の途中から音楽演奏情報を受信した場合には、状態情報パケットを参照してその時点における各チャネルの音楽演奏情報が正しく再生される。
【００２１】
伝送エラーレートの高い伝送路で受信パケットに欠落が生じた場合には、次の３つの態様が考えられる。
【００２２】
【表１】

【００２３】
▲１▼の場合には、欠落した音楽演奏情報パケットの次のパケットに対応する状態情報パケットで音楽演奏情報デコーダ２４の内部状態を強制書き換えすることにより、第ｎ＋２パケットからの再生は支障無く続行される。
▲２▼の場合には、受信した音楽演奏情報パケットによって音楽演奏情報デコーダ２４の内部状態を更新すれば良いので、再生に影響は全く与えない。
▲３▼の場合には、次の音楽演奏情報パケット又は状態情報パケットを受信するまで、現在の状態を維持すれば良い。この場合、１又は数パケット分は、同一の内部状態が続くことになるが、この期間は通常は短いため、音が中断される場合に比べて聴覚上違和感が少ない。
【００２４】
いずれの場合においても、音楽演奏情報パケットの受信によって音楽演奏情報デコーダ２４の内部状態を更新しつつ、この内部状態と受信された状態情報の内容とを比較して、両者が異なる場合に、デコーダ２４の内部状態を状態情報の内容に置き換えるという操作をデコーダ２４の内部で行えばよい。
【００２５】
次に、伝送エラー発生時の内部状態の強制書き換え処理の流れ及び各処理内容について、より具体的に説明する。
＜処理１＞プログラムチェンジ情報のリカバリー
プログラムチェンジ情報は、各ＭＩＤＩチャネル毎に設定される音色情報である。通常、曲の先頭で使用する各チャネル毎に音色設定を行うが、曲の途中で音色を変更することも可能であり、この情報が欠落すると意図した音色とは異なった音色で演奏されることとなる。デコーダ内部状態と状態情報パケットの状態が異なる場合には、即時状態情報パケットに示された音色になるようプログラムチェンジイベントを発行して、互いの内部状態が一致するように処理する。強制更新された音色とは異なる音色で、既に発音されたノートがある場合には、これを消音しても良い。
【００２６】
＜処理２＞ノート状態のリカバリー
まず、状態情報パケットを受信した際、各ＭＩＤＩチャネル毎に０から１２７までのノート番号の内部状態と状態情報パケットに示された状態とを比較する。このとき以下の４つの組み合わせが存在する。
【００２７】
【表２】

【００２８】
▲１▼、▲４▼の場合は、互いの状態が一致するので、特に処理は必要としない。
▲２▼の場合は、現状態情報パケットを受信する以前の音楽演奏情報パケットで欠落があったものと判断される。このときの処理としては、次の２つが考えられる。
１）対応するノート番号のノートオンイベントを強制的に生成し、デコーダ内部状態と状態情報パケットの状態を一致させる方法。この方法の場合、発音タイミングの遅れとして知覚され、聴感上逆効果となるケースも考えられる。
２）状態情報パケットの情報を無視して、特に処理は行わない方法。この方法の場合、そのノートは発音中ではないので、強制発音しなくても聴感上はあまり違和感はないものと判断される。但し、そのノート音が音楽的に重要である場合には、不自然に感じられるかもしれない。処理的には前者に比べ簡便である。
▲３▼の場合、そのノート番号のノートオフイベントを含んだ音楽演奏情報パケットが欠落したものと判断される。この場合は、そのノート番号に対する発音を強制的に停止し、デコーダ内部状態と状態情報パレットの状態を一致させることが聴感上有効である。
【００２９】
＜処理３＞コントロールチェンジ情報のリカバリー
コントロールチェンジ情報は各ＭＩＤＩチャネル毎に設定されるボリュームやサスティンペダルに代表される演奏制御情報である。一般的にコントロールチェンジ情報の欠落は、前者２つの情報に比較すると聴感上与える影響は小さいと判断されるが、即時強制変更する方が良い。処理的には状態情報パケットに示された状態と一致するようコントロールチェンジイベントを生成することで対応する。
【００３０】
なお、図２に示した音楽演奏情報パケットは、ノートオン、ノートオフ等のイベントが発生した時点でＭＩＤＩメッセージを送出するようにしているため、ノートオンイベントの発生後、ノートオフイベントが受信側で欠落すると、次の状態情報パケットが受信されるまで音が鳴りっぱなしになる。これを防止するため、既に記録されているシーケンス情報をリアルタイムで送信するシステムの場合、予め、例えば図３に示すように、ノートオンメッセージとノートオフメッセージとのペアを見つけておき、これをノートオン情報（ノートナンバ）と音長という形式のデータに変換して同一パケット内で送信するようにすれば、少なくともノートオフ情報が単独で欠落することはないので、音が鳴りっぱなしになるという問題も回避される。
【００３１】
【発明の効果】
以上述べたように、この発明によれば、送信側では音楽演奏情報パケットに状態情報パケットを適宜付加して送信し、受信側では音楽演奏情報パケットによって内部状態を更新しつつ、受信された状態情報パケットの内容によって内部状態を修正するようにしているため、曲の途中から音楽演奏情報を受信した場合には、当初の受信側の内部状態が受信された状態情報パケットの内容に書き替えられることにより、直ちに音楽演奏情報の正しい再生が可能になり、受信パケットの欠落があった場合には、状態情報パケットを受信した時点で内部状態は正しい状態に修正され、その間は前の状態を維持しているので、音楽の完全中断の状態が発生することが無く、伝送エラーレートの高い環境においても聴感上大きな影響を及ぼさない。
【００３２】
更に、この発明によれば、状態情報パケットは、音楽演奏情報パケットに適宜付加されて伝送されるので、伝送帯域やサービスの内容に応じた頻度で状態情報パケットを伝送することにより、伝送ビットレートやサービスの内容に応じた適切な伝送制御が可能になる。
【図面の簡単な説明】
【図１】この発明の一実施例に係る音楽演奏情報伝送システムのブロック図である。
【図２】同システムにおける音楽演奏情報パケット及び状態情報パケットの例を示す図である。
【図３】同音楽演奏情報パケットにおけるＭＩＤＩイベントの構成例を示す図である。
【符号の説明】
１…送信部、２…受信部、１１…音楽演奏情報エンコーダ、１２…音楽演奏情報パケットエンコーダ、１３，２３…基準クロック発生部、１４…伝送パケット多重化部、１５…状態情報エンコーダ、１６…状態情報パケットエンコーダ、１７…状態情報パケット送出制御部、１８…映像音声情報エンコーダ、１９…映像音声情報パケットエンコーダ、２１…伝送パケット分離部、２２…音楽演奏情報パケットデコーダ、２４…音楽演奏情報デコーダ、２５…状態情報パケットデコーダ、２６…状態情報デコーダ、２７…映像音声情報パケットデコーダ、２８…映像音声情報デコーダ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a music performance information transmission system for transmitting music performance information based on a MIDI (Musical Instrument Digital Interface) protocol via a communication satellite, the Internet, or the like.
[0002]
[Prior art]
In recent years, various attempts have been made to transmit music performance information including MIDI messages in real time in the Internet and satellite communication (CS) digital broadcasting. In the Internet and CS digital broadcasting, a protocol considering transmission errors is required. However, MIDI is designed with emphasis on real-time characteristics, and causes many problems in an environment with a high transmission error rate. Of particular concern is the problem that the sound continues due to missing note-off information. A possible countermeasure at present is to mute all sounds when data loss is detected, and resume sound generation by receiving new note-on information. However, in this case, in an environment where transmission errors often occur, complete interruption of music frequently occurs, resulting in service degradation.
[0003]
In the case of a broadcasting service that transmits music performance information, it is desirable that the music performance information can be reproduced from the middle of the song. However, in MIDI, tone setting information and sound source control information are transmitted at the beginning of the song. Therefore, when reception / reproduction is started after such information is sent, a sound different from the intended sound may be reproduced. In the case of MIDI, in addition to timbre information, control change information such as volume and sustain pedal affects the music reproduction, so some consideration must be given to midway reproduction.
[0004]
Further, in the case of MIDI, the physical transmission rate is 31.25 kbps, but the actual data rate of the music performance information itself is often much lower than that. In an environment where the transmission band is limited, reduction of the data rate is also an important point, and it is necessary to be able to flexibly withstand an environment where the transmission band fluctuates in real time like the Internet.
[0005]
[Problems to be solved by the invention]
As described above, in the conventional music performance information transmission method, (1) the music performance is not greatly affected even in an environment where the transmission error rate is high, and (2) the music performance is reproduced even when received from the middle of the song. There was a problem that it would not be possible to satisfy all of the following: (3) that transmission is performed at a rate that can clear the transmission bit rate and its fluctuations that are not disturbed, and that the transmission bit rate can be cleared. .
[0006]
The present invention has been made in view of these points, and does not hinder the reproduction of music performance even in an environment with a high transmission error rate or reception from the middle of a song. It is an object of the present invention to provide a music performance information transmission method capable of appropriate transmission control according to the music.
[0007]
[Means for Solving the Problems]
The music performance information transmission system of the present invention generates a music performance information packet based on the MIDI protocol and a status information packet indicating a music performance state of each MIDI channel at the start of reproduction of the music performance information packet as a pair of packets. A transmitting unit that multiplexes and transmits the music performance information packet and the status information packet;
When the packet transmitted from the transmission unit is received and the internal state is updated by the music performance information packet, the content of the received state information packet is compared with the internal state, and both are different A reception unit that rewrites the internal state with the content of the state information packet and reproduces the music performance information based on the internal state , wherein the music performance information packet is information indicating a note-on / note-off state. The reception unit maintains the internal state in the note-off state even when the note state of the state information is note-on when the internal state is note-off .
[0009]
Furthermore, the music performance information receiving apparatus of the present invention transmits a music performance information packet based on the MIDI protocol and a status information packet indicating the music performance state of each MIDI channel at the start of reproduction of the packet. Packet reception separation means for receiving the packet and separating the music performance information packet and the state information packet, and the packet reception separation while updating the internal state with the music performance information packet separated by the packet reception separation means The contents of the state information packet separated by the means are compared with the internal state, and if they are different, the internal state is rewritten with the content of the state information packet, and the music performance information is changed based on the internal state. and reproducing means for reproducing said music performance information packet, the note-on / note-off state Includes to information, said reproducing means, the internal state is characterized in that even a notebook state note on the state information when a note-off to maintain the internal state of the state of the note-off.
[0010]
According to the present invention, the transmission side appropriately adds a status information packet to the music performance information packet and transmits it, and the reception side updates the internal status with the music performance information packet, while the above-mentioned information is received according to the content of the received status information packet. The internal state is corrected. For this reason, when music performance information is received from the middle of a song, the original internal state of the receiving side is rewritten with the contents of the received status information packet, so that music performance information can be reproduced correctly immediately. Become. In addition, if there is a missing received packet, the internal state of the receiving side may be different from the original state, but when the state information packet is received, the internal state is corrected to the correct state, In the meantime, the previous state is maintained, so that the state of complete interruption of music does not occur, and the audibility is not greatly affected even in an environment with a high transmission error rate.
[0011]
Furthermore, according to the present invention, the status information packet is appropriately added to the music performance information packet and transmitted, so that the transmission bit rate is transmitted by transmitting the status information packet at a frequency according to the transmission band and service contents. And appropriate transmission control according to the contents of the service.
[0012]
Note that if the music performance information packet includes a MIDI event made up of note-on information and note length information generated from a pair of note-on information and note-off information, note-off information will not be lost alone. , Can solve the problem of sound.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram of a music performance information transmission system according to an embodiment of the present invention.
Music performance information consisting of MIDI data supplied to the transmission unit 1 is input to the music performance information encoder 11 where it is converted into time difference information and event information between temporally adjacent events. These pieces of information are input to the music performance information packet encoder 12 at the next stage and packetized at regular intervals. A configuration example of this music performance information packet is shown in FIG. That is, the music performance information packet includes a packet header composed of a synchronization byte, a packet ID, etc., a packet data length indicating the packet length, and a packet for each packet recorded with reference to the reference clock from the reference clock generator 13 It consists of a playback start time, time difference information ΔT between adjacent events based on this playback start time, a set of MIDI events, and an error correction code (CRC). The music performance information packet is sent to the transmission packet multiplexing unit 14, multiplexed with other information to be described later, and transmitted to the receiving unit 2.
[0014]
On the other hand, the music performance information is also given to the status information encoder 15. The status information encoder 15 generates status information such as tone color information, note on / off status, and volume status of each channel of the current MIDI from the music performance information, and updates this sequentially. The generated state information is given to the state information packet encoder 16. The status information packet encoder 16 packetizes the status information at the playback start time of each packet generated by the music performance information packet encoder 12. A configuration example of this status information packet is shown in FIG. That is, the status information packet includes a packet header including a synchronization byte, a packet ID, etc., a packet data length indicating the packet length, a packet reproduction start time, a tone number of each channel, a note on / off status, other status information, It consists of an error correction code (CRC).
[0015]
The status information packet is generated for each music performance information packet. Whether the generated status information packet is actually transmitted or not is determined by the status information packet transmission control unit 17 by an average data rate, a default transmission timing, or the like. Judgment is taken into consideration. The control in the packet transmission control unit 17 basically requires transmission while simulating in the transmission unit 1 so that the data on the receiving side does not underflow or overflow. In addition, it is conceivable to control the transmission of the status information packet according to the required service form, quality, transmission rate, and the like. For example, in a system that is required to perform intermediate playback quickly, it is necessary to increase the sending frequency more than usual. Further, in a system in which an upper limit of the transmission rate is set, additional information such as a status information packet cannot be inserted beyond that rate. Similarly, even in a system where the average transmission rate is required to be constant, it is necessary to perform transmission control while monitoring the actual rate.
[0016]
In addition, in the transmission unit 1, the video / audio information based on the video signal and the audio signal is compression-coded by the video / audio information encoder 18, packetized by the video / audio information packet encoder 19, and supplied to the transmission packet multiplexing unit 14. The transmission packet multiplexing unit 14 multiplexes and transmits these music performance information packets, status information packets, and video / audio information packets.
[0017]
On the other hand, in the receiving unit 2, the multiplexed packet information transmitted from the transmitting unit 1 is separated into three packets of a music performance information packet, a status information packet, and a video / audio information packet by a transmission packet separation unit 21. The music performance information packet is given to the music performance information packet decoder 22. The packet decoder 22 generates sequence information including each MIDI event based on the packet reproduction start time and the time difference information ΔT between adjacent events. At this time, the reference clock generator 23 supplies a reference clock that provides a time reference for MIDI sequence information. This MIDI sequence information is given to the music performance information decoder 24 and reproduced as an audio signal.
[0018]
The state information packet separated by the transmission packet separation unit 21 is supplied to the state information packet decoder 25. The state information packet decoder 25 arranges the state information of each channel in time series based on the packet reproduction start time data from the state information packet, and supplies it to the state information decoder 26. The status information decoder 26 supplies the status information at the time of starting each packet reproduction to the music performance information decoder 24 in time synchronization with the music performance information from the time series of the status information of each input channel. In the music performance information decoder 24, the internal state sequentially updated by the music performance information is compared with the state information given in units of packets from the state information decoder 26, and if the contents are different, the contents are given from the decoder 26. The internal state is rewritten according to the state information.
[0019]
Further, the video / audio information packet separated by the transmission packet separation unit 21 is sequentially decoded by the video / audio information packet decoder 27 and the video / audio information decoder 28 and output as a video / audio reproduction signal.
[0020]
According to the system configured as described above, the music performance information packet and the status information packet are transmitted as a pair of packet data. Therefore, when the music performance information is received from the middle of the song, the status information packet is referred to. Thus, the music performance information of each channel at that time is correctly reproduced.
[0021]
When a received packet is lost on a transmission path with a high transmission error rate, the following three modes can be considered.
[0022]
[Table 1]

[0023]
In the case of {circle around (1)}, reproduction from the (n + 2) th packet is continued without any trouble by forcibly rewriting the internal state of the music performance information decoder 24 with the status information packet corresponding to the packet after the missing music performance information packet. Is done.
In the case of {circle around (2)}, the internal state of the music performance information decoder 24 has only to be updated with the received music performance information packet, so that the reproduction is not affected at all.
In the case of (3), the current state may be maintained until the next music performance information packet or state information packet is received. In this case, the same internal state continues for one or several packets, but since this period is usually short, there is less sense of incongruity in hearing than when the sound is interrupted.
[0024]
In any case, the internal state of the music performance information decoder 24 is updated by receiving the music performance information packet, and the internal state is compared with the content of the received state information. The operation of replacing the internal state of 24 with the content of the state information may be performed inside the decoder 24.
[0025]
Next, the flow of the forced rewriting process of the internal state when a transmission error occurs and the contents of each process will be described more specifically.
<Process 1> Recovery of Program Change Information Program change information is timbre information set for each MIDI channel. Normally, the timbre is set for each channel used at the beginning of the song, but it is also possible to change the timbre in the middle of the song, and if this information is missing, it will be played with a tone different from the intended tone It becomes. When the internal state of the decoder and the state information packet are different, a program change event is issued so that the tone shown in the immediate state information packet is obtained, and processing is performed so that the internal states match each other. If there is a note that is already sounded with a tone different from the forcibly updated tone, it may be muted.
[0026]
<Process 2> Recovery of Note State First, when a state information packet is received, the internal state of the note number from 0 to 127 is compared with the state indicated in the state information packet for each MIDI channel. At this time, the following four combinations exist.
[0027]
[Table 2]

[0028]
In the case of (1) and (4), since the state of each other matches, no particular processing is required.
In the case of {circle around (2)}, it is determined that there is a loss in the music performance information packet before receiving the current state information packet. The following two processes are conceivable as processing at this time.
1) A method for forcibly generating a note-on event of a corresponding note number and making the decoder internal state coincide with the state of the state information packet. In the case of this method, it may be perceived as a delay in sound generation timing, which may be counterproductive to hearing.
2) A method that ignores the information in the status information packet and does not perform any particular processing. In the case of this method, since the note is not being pronounced, it is determined that there is no sense of incongruity in terms of audibility even without forced pronunciation. However, if the note sound is musically important, it may feel unnatural. The processing is simpler than the former.
In the case of (3), it is determined that the music performance information packet including the note-off event of that note number is missing. In this case, it is effective for hearing to forcibly stop the sound generation for the note number so that the internal state of the decoder matches the state of the state information palette.
[0029]
<Process 3> Recovery of Control Change Information Control change information is performance control information represented by a volume and a sustain pedal set for each MIDI channel. In general, it is judged that the lack of control change information has a small influence on the audibility compared to the former two pieces of information, but it is better to forcibly change immediately. In terms of processing, the control change event is generated so as to coincide with the state indicated in the state information packet.
[0030]
The music performance information packet shown in FIG. 2 sends a MIDI message when an event such as note-on or note-off occurs, so that the note-off event is received by the receiving side after the note-on event occurs. If it is missing, the sound will continue to sound until the next status information packet is received. In order to prevent this, in the case of a system that transmits already recorded sequence information in real time, a pair of a note-on message and a note-off message is found in advance, for example, as shown in FIG. If it is converted to on-information (note number) and data in the form of sound length and transmitted within the same packet, at least note-off information will not be lost alone, so the sound will continue to sound. Problems are also avoided.
[0031]
【The invention's effect】
As described above, according to the present invention, on the transmitting side, the status information packet is appropriately added to the music performance information packet and transmitted, and on the receiving side, the internal status is updated with the music performance information packet and the received status is received. Since the internal state is corrected according to the content of the information packet, when music performance information is received from the middle of the song, the internal state of the original receiving side is rewritten to the content of the received state information packet. As a result, the music performance information can be played back immediately, and if the received packet is missing, the internal state is corrected to the correct state when the state information packet is received, and the previous state is maintained during that time. Therefore, there is no occurrence of a complete interruption of music, and the audibility is not greatly affected even in an environment with a high transmission error rate.
[0032]
Furthermore, according to the present invention, the status information packet is appropriately added to the music performance information packet and transmitted, so that the transmission bit rate is transmitted by transmitting the status information packet at a frequency according to the transmission band and service contents. And appropriate transmission control according to the contents of the service.
[Brief description of the drawings]
FIG. 1 is a block diagram of a music performance information transmission system according to an embodiment of the present invention.
FIG. 2 is a diagram showing an example of a music performance information packet and a status information packet in the same system.
FIG. 3 is a diagram showing a configuration example of a MIDI event in the music performance information packet.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Transmission part, 2 ... Reception part, 11 ... Music performance information encoder, 12 ... Music performance information packet encoder, 13, 23 ... Reference clock generation part, 14 ... Transmission packet multiplexing part, 15 ... Status information encoder, 16 ... State information packet encoder, 17 ... Status information packet transmission control unit, 18 ... Video / audio information encoder, 19 ... Video / audio information packet encoder, 21 ... Transmission packet separation unit, 22 ... Music performance information packet decoder, 24 ... Music performance information decoder , 25 ... state information packet decoder, 26 ... state information decoder, 27 ... video / audio information packet decoder, 28 ... video / audio information decoder.

Claims

A music performance information packet based on the MIDI protocol and a status information packet indicating a music performance state of each MIDI channel at the start of reproduction of the music performance information packet are generated as a pair of packets, and the music performance information packet and the state are generated. A transmitter for multiplexing and transmitting information packets;
When the packet transmitted from the transmission unit is received and the internal state is updated by the music performance information packet, the content of the received state information packet is compared with the internal state, and both are different A reception unit that rewrites the internal state with the content of the state information packet and reproduces the music performance information based on the internal state ;
The music performance information packet includes information indicating a note on / note off state,
When the internal state is note-off, the receiving unit maintains the internal state in a note-off state even if the note state of the state information is note-on .

A music performance information packet based on a MIDI protocol and a status information packet indicating a music performance state of each MIDI channel at the time of reproduction start of the packet are multiplexed to be transmitted, and the music performance information packet and the packet A packet reception separating means for separating the status information packet;
When the internal state is updated by the music performance information packet separated by the packet reception separation means, the contents of the state information packet separated by the packet reception separation means are compared with the internal state, and both are different Replaying means for rewriting the internal state with the content of the state information packet and reproducing the music performance information based on the internal state ;
The music performance information packet includes information indicating a note on / note off state,
When the internal state is note-off, the reproducing means maintains the internal state in a note-off state even if the note state of the state information is note-on .