JP2023039767A - 表示装置、表示方法、表示システム - Google Patents

Abstract

【課題】表示装置が表示している外部映像を動画として録画する表示装置を提供すること。【解決手段】本発明は、外部から入力される外部映像を表示できる表示装置であって、手書きデータの入力を受け付ける手書きデータ入力部と、前記外部映像と前記手書きデータを表示する表示制御部と、前記手書きデータに基づいて、前記外部映像を動画として録画する録画データ生成部と、を有することを特徴とする。【選択図】図１

Description

本発明は、表示装置、表示方法、及び、表示システムに関する。

タッチパネル式のディスプレイにユーザーが専用の電子ペンや指などで描画した手書きデータを表示する電子黒板などの表示装置が知られている。従来のホワイトボードと異なり手書きデータを電子データで保存したり、ＰＣ（Personal Computer）等の外部装置と接続して外部装置が表示する映像を表示装置が表示したりすることができる。

表示装置が外部装置の映像を静止画として保存する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、外部装置を表示装置に接続した状態で簡単にタッチパネル機能を使用することができる表示システムが開示されている。

しかしながら、従来の技術では、表示装置が表示している外部映像を動画として録画することが困難であるという問題があった。例えば、外部装置が動画を表示装置に送信している場合、ユーザーが表示装置に動画を保存させるには、静止画を１枚１枚保存する操作を連続して行う必要がある。また、このような操作を行ったとしてもフレーム落ちが発生し、保存した複数の静止画が動画のように見えないことが多い。

本発明は、上記課題に鑑み、表示装置が表示している外部映像を動画として録画する表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、外部から入力される外部映像を表示できる表示装置であって、手書きデータの入力を受け付ける手書きデータ入力部と、前記外部映像と前記手書きデータを表示する表示制御部と、前記手書きデータに基づいて、前記外部映像を動画として録画する録画データ生成部と、を有することを特徴とする。

表示装置が表示している外部映像を動画として録画する表示装置を提供することができる。

表示装置が動画を保存する場合の操作方法を説明する図である。 通信システムの全体構成図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置が表示する各画像レイヤの構成図の一例である。 外部映像の表示例を説明する図である。 表示装置が有する機能をブロックに分けて説明する機能ブロック図の一例である。 指示生成部が使用する変換情報記憶部に記憶されている変換情報を模式的に示す図である。 入力層から出力層までＬ層が全結合されたニューラルネットワークの一例を示す図である。 通信システムの全体的な動作を示すシーケンス図の一例である。 表示装置が録画開始の指示を生成して録画を開始し、録画終了の指示を生成して録画を終了する処理を説明するフローチャート図の一例である。 表示システムの構成例を示す図である。 図１１の表示システムにおける、表示装置と情報処理装置の機能ブロック図の一例を示す図である。 情報処理装置を有する通信システムの全体的な動作を示すシーケンス図の一例である。

以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う表示方法について実施例を挙げながら説明する。

＜本実施形態の動画の保存方法を概略＞
図１を参照して、ＰＣ等の外部装置から表示装置が動画を保存する処理の概略を説明する。図１は、本実施形態の表示装置２が動画を保存する場合の操作方法を説明する図である。

図１（ａ）に示すように、ＰＣ等の外部装置が表示している外部映像が動画である場合、表示装置２は動画を表示することができる。図１ではサッカーの試合が動画で表示されている。

図１（ｂ）に示すように、ユーザーは動画に手書きすることができる。図１（ｂ）では、ユーザーが注目選手を丸で囲む手書きデータ１０１を入力している。表示装置２は、この丸で囲む手書きデータ１０１を録画開始の手書きデータとして検出する。したがって、表示装置２は動画の録画を開始する。

図１（ｃ）では、注目選手が動き、ユーザーが注目選手の動きを矢印と四角で囲む手書きデータ１０２で示している。表示装置２は、この四角で囲む手書きデータ１０２を録画終了の手書きデータとして検出する。したがって、表示装置２は動画の録画を終了する。

従来であれば、ＰＣで動画を再生し、表示装置２が動画を表示した状態で、ユーザーが手書きで、選手の動きやボールの動きをトレースした軌跡を保存したい場合、静止画を１枚１枚、連続的に保存する必要があり、操作が煩雑であった。また、フレーム落ちが発生し、動画のように連続したフレームを表示装置２が取得できなかった。

これに対し、本実施形態では、手書きにデータをコマンド入力として扱い、録画開始・終了処理が可能になるので、録画開始・終了処理と、選手の動きやボールの動きをトレースした軌跡の保存とを、同じ手書きデータで実現することができる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。

ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。

手書きデータが文字認識して変換されたテキストデータとは、コンピュータで扱われる１つ以上の文字である。テキストデータの実態は文字コードである。文字には、数字、アルファベット、及び、記号等が含まれる。

テキストデータには、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等も含まれてよい。

外部装置から送信され表示装置２が表示する外部映像を保存することを、「取り込む」や「キャプチャ」という場合がある。外部装置は、表示装置２以外の装置であればく、例えば、ＰＣ、脱着可能なメモリ、ネットワーク上のサーバー等である。

動画とは、写真などの静止画に対して、動いて見える連続的な画像である。人が見て自然だと思える動きに見える動画は２４ｆｐｓ（flame per second）であるが、本実施形態では、２４ｆｐｓ以下でもよく、おおむね動画に見える数ｆｐｓ以上であればよい。

＜システム構成例＞
図２は、本実施形態の通信システムの全体構成図である。なお、図２では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置２や電子ペン等を利用されてもよい。

図２に示されているように、通信システム１は、複数の表示装置２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ８を有する。また、表示装置２ａ，２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の表示装置２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。

また、表示装置２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザーの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

また、表示装置２ａには、ＵＳＢメモリ５ａが接続可能であり、表示装置２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、表示装置２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、表示装置２ａには、DisplayPort（登録商標）、DVI(Digital Visual Interface)、HDMI(High－Definition Multimedia Interface。登録商標)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、表示装置２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。同じく、表示装置２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、表示装置２ａと通信してもよい。

一方、表示装置２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた表示装置２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザーの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

これにより、一の拠点で表示装置２ａのディスプレイ３ａ上に描画された画像は、他の拠点で表示装置２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で表示装置２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で表示装置２ａのディスプレイ３ａ上に表示される。このように、通信システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

なお、以下では、複数の表示装置２のうち任意の表示装置２を示す場合には「表示装置２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザーの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、表示装置２の一例として、電子黒板を説明するが、これに限るものではなく、表示装置２の他の例として、表示装置２は、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、外部装置の一例として、ノートＰＣ６を説明するが、これに限るものではなく、外部装置の他の例として、外部装置は、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、記録媒体は、ＳＤカード等の各種記録メディアであってもよい。

＜表示装置のハードウェア構成＞
続いて、図３を用いて、本実施形態の表示装置２のハードウェア構成を説明する。なお、図３は、表示装置２のハードウェア構成図である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ/Ｆ２０５、及び、外部機器接続Ｉ/Ｆ(Interface)２０６を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

ＳＳＤ２０４は、ＯＳや表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。したがって、表示装置２は、普段は汎用的な情報処理装置として利用されるが、ユーザーがアプリケーションプログラムを実行すると、表示装置２の専用機と同様、ユーザーが手書きすることができる。

ネットワークＩ/Ｆ２０５は、通信ネットワーク９との通信を制御する。外部機器接続Ｉ/Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ５、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。

また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。

これらのうち、キャプチャデバイス２１１は、外付けのノートＰＣ６のディスプレイに対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ３等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ３上に電子ペン４やユーザーの手Ｈ等が接触したことを検知する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ３の表示の明暗や色合い等を調整するためのスイッチ群である。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

＜レイヤの構成＞
図４は、表示装置２が表示する各画像レイヤの構成図である。図４に示すように、表示装置２は、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び、背景画像（Ｄ）を重畳して１つの画像を表示する。

ＵＩ画像（Ａ）は、ＵＩ（ユーザインターフェース）画像であり、ユーザーが操作するメニューボタン等を表示する。

ストローク画像（Ｂ）は、ユーザーが手書きした１つ以上のストロークデータ（手書きデータ）が表示される画像である。

出力画像（Ｃ）は、外部装置（ノートＰＣ６等）が入力した画像（静止画、動画）である。外部装置にはサーバーやＵＳＢメモリ５等が含まれ、Ｗｅｂページや記憶媒体の動画も出力画像（Ｃ）に含まれる。

背景画像（Ｄ）は、予め保持されている無地、グリッド表示等、手書きの際に背景となる画像である。なお、保存された静止画など、予め保持されている画像は背景画像となりうる。

表示装置２は、選択的に４つのレイヤのいずれかを表示することもできる。例えば、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、又は背景画像（Ｄ）のうち、１つ以上の任意の画像を表示させることができる。

＜外部映像の表示例＞
図５は、外部映像の表示例を説明する図である。図５（ａ）に示すように、出力画像（Ｃ）に表示される外部映像１１０を表示装置２はディスプレイ３の一部に小さく表示することも、図５（ｂ）に示すように、ディスプレイ３の全面に表示することも可能である。また、図５（ａ）のようにディスプレイ３の一部に小さく表示される外部映像１１０は、ユーザーが位置を任意に変更できるとよい。

また、ユーザーは外部映像１１０を含む、ディスプレイ３上の任意の位置にストロークを手書きできる。図５（ａ）（ｂ）では、いずれも外部映像１１０に重なる位置に丸く囲む手書きデータ１０１がある。図５（ａ）では外部映像１１０がない領域に「ＡＢＣ」という手書きデータ１２０がある。

ユーザーが外部映像を保存する操作を行った場合、従来は、ディスプレイ３の全体が１ページの静止画として保存されていた。本実施形態では、ユーザーが動画を保存する場合であって、図５（ａ）のようにディスプレイ３の一部に外部映像１１０が表示される場合、ディスプレイ３の全体を保存するか、外部映像１１０のみを保存するかをユーザーが選択できるとよい。これにより、サイズが大きくなる傾向がある動画ファイルもサイズを低減できる。

ディスプレイ３の全体を保存するか、外部映像１１０のみを保存するかは、予めユーザーがＵＩ画像（Ａ）で設定しておくことができる。あるいは、ユーザーが、手書きデータで所定の記号を手書きしたり、音声入力したりして、設定してもよい。

＜機能について＞
図６は、表示装置２が有する機能をブロックに分けて説明する機能ブロック図の一例である。図６に示すように、表示装置２は、外部映像入力部８１、通信映像入力部８２、外部映像受信部８３、重畳画像生成部８４、手書きデータ入力部８５、音声入力部８６、筆記データ受信部８７、録画データ生成部８８、表示制御部８９、指示生成部９０、及び、記憶部９１を有している。表示装置２が有するこれらの機能は、例えば、図３に示したＣＰＵ２０１がＳＳＤ２０４からＲＡＭ２０３に展開されたプログラムを実行することで実現される機能又は手段である。

外部映像入力部８１は、ＣＰＵ２０１によるプログラムの実行とキャプチャデバイス２１１等により実現され、ノートＰＣ６が継続的に送信する外部映像の入力を受け付ける。入力される外部映像は、主にノートＰＣ６が自機のディスプレイに表示している画面の映像であるが、ノートＰＣ６が保存しているコンテンツを表示装置２に送信してもよい。

通信映像入力部８２は、ＣＰＵ２０１によるプログラムの実行とネットワークＩ/Ｆ２０５等により実現され、無線ＬＡＮ、有線ＬＡＮ又はMiracast（登録商標）等の通信経由で送信された外部映像の入力を受け付ける。

外部映像入力部８１と通信映像入力部８２は外部映像を外部映像受信部８３に入力する。外部映像受信部８３は、外部映像入力部８１が入力する外部映像、及び、通信映像入力部８２が入力する外部映像の少なくとも一方を重畳画像生成部８４に入力する。

手書きデータ入力部８５は、ＣＰＵ２０１によるプログラムの実行と接触センサ２１４等により実現され、入力手段が入力した座標点列の入力を受け付ける。手書きデータ入力部８５は座標点列を筆記データ受信部８７に入力する。

筆記データ受信部８７は、手書きデータ入力部８５から入力された座標点列を基にストロークデータを作成する。筆記データ受信部８７は、座標点列を補間し、設定された太さや色のストロークデータを作成する。筆記データ受信部８７はストロークデータを重畳画像生成部８４及び指示生成部９０に入力する。

音声入力部８６は、ＣＰＵ２０１によるプログラムの実行とマイク２４０等により実現され、音声データの入力を受け付ける。音声入力部８６は、マイク２４０から入力された音声をＰＣＭ（pulse code modulation）符号化することで、音声データに変換する。音声データはＷＡＶＥファイルでもＭＰ３ファイルでもよい。音声入力部８６は、音声データを重畳画像生成部８４と指示生成部９０に入力する。

重畳画像生成部８４は、外部映像受信部８３から入力された外部映像に、筆記データ受信部８７から入力された手書きデータを重畳して（合成して）、ディスプレイ３への出力データを作成し、録画データ生成部８８と表示制御部８９に入力する。また、重畳画像生成部８４は、外部映像に手書きデータが重畳された画像と音声データを同期させる。これにより、録画データ生成部８８は、手書きデータの解説を音声と共に保存できる。

録画データ生成部８８は録画データを動画ファイルに変換して、記憶部９１に保存する。表示制御部８９は、出力データをディスプレイ３に表示する。

指示生成部９０は、手書きデータ又は音声データと図７に示す変換情報に基づいて、録画開始、又は、録画終了の指示を生成する。指示生成部９０は録画開始、又は、録画終了の指示を録画データ生成部８８に入力する。録画データ生成部８８は、指示をコマンドとして受け取り、録画を開始したり終了したりする。

図７は、指示生成部９０が使用する変換情報記憶部９３に記憶されている変換情報を模式的に示す。変換情報とは、手書きデータ又はテキストデータを録画開始、又は、録画終了の指示に変換する情報である。変換情報には、手書きデータを直接、指示に変換するものと、手書きデータ又は音声データから変換されたテキストデータを、指示に変換するものとがある。

図７（ａ）は手書きデータを直接、指示に変換する変換情報の一例である。図７（ａ）では、丸く囲む手書きデータに録画開始の指示が対応付けられ、四角く囲む手書きデータに録画終了の指示が対応付けられている。図７（ａ）では説明をわかりやすくするため手書きデータの形状を示しているが、実際には手書きデータは座標点列である。

このような変換情報は、例えば、後述する機械学習により生成される。また、図７（ａ）の変換情報は一例であり、どのような形状の手書きデータを録画開始又は終了の指示と対応付けるかは、任意である。一例として、ユーザーが手書きしやすい手書きデータであって、誤って録画を開始したり終了したりしないような形状の手書きデータが採用される。丸や四角く囲む以外に、三角形や矢印などの形状、数字や１文字以上のアルファベットなどでもよい。

図７（ｂ）は、手書きデータ又は音声データから変換されたテキストデータを指示に変換する変換情報の一例である。図７（ｂ）では、文字認識により変換された「ロクガ」というテキストデータに録画開始の指示が対応付けられ、同じく「ヤメ」というテキストデータに録画終了の指示が対応付けられている。したがって、ユーザーは「ロクガ」と手書きすれば録画を開始でき、「ヤメ」と手書きすれば録画を終了できる。

また、図７（ｂ）では、音声認識により変換された「ろくがかいし」というテキストデータに録画開始の指示が対応付けられ、同じく「ろくがしゅうりょう」というテキストデータに録画終了の指示が対応付けられている。したがって、ユーザーは「ろくがかいし」と発話すれば録画を開始でき、「ろくがしゅうりょう」と発話すれば録画を終了できる。

なお、図７では、文字認識により変換されたテキストデータと音声認識により変換されたテキストデータとが分かれているが、両者を区別しなくてもよい。

＜ストロークデータ又は音声データの指示への変換＞
ストロークデータや音声データが特定の意図を表すことを表示装置２が検出する方法として、機械学習を利用したり、パターンマッチングを利用したりする方法がある。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。パターンマッチングとは、予め特定したいパターンを用意しておき、データを検索する場合に、特定のパターンが出現するかどうか、またどこに出現するかを特定する手法のことである。

図８は、入力層３１から出力層３３までＬ層が全結合されたニューラルネットワーク１１である。階層が深いニューラルネットワークをＤＮＮ（Deep Neural Network）という。入力層３１と出力層３３の間の層を中間層３２という。階層数やノード３５の数等はあくまで一例である。

入力層３１には、ストロークデータ（座標点列）が入力される。ストロークデータは連続的に入力されるので、一定数の座標点列が繰り返し入力される。一方、出力層３３のノード数は、分類したいカテゴリの数である。例えば文字への分類であれば、英語ではアルファベットの２６がノード数となる。文字単位でなく、単語単位の認識も可能であり、この場合は単語の数となる。日本語の場合は、ひらがな、カタカナ、及び漢字の数が出力層３３のノードの数となる。

ニューラルネットワーク１１では、第ｌ層（ｌ(エル)：２～Ｌ）の１つのノード３５に第ｌ－１層の全てのノード３５が接続され、第ｌ－１層のノード３５の出力ｚと結合の重みｗの積が第ｌ層のノードに入力される。

第ｌ層の各ノードには活性化関数が配置されており、第ｌ層のノード３５では活性化関数で入力を０～１の間の値に変換して第ｌ+1層のノード３５に出力する。この処理が入力層３１から出力層３３まで繰り返えされる。活性化関数としては、ReLU、tanh、シグモイドなどが知られている。なお、入力層３１のノードは特徴ベクトルを第２層に伝えるだけでよく活性化されない。

本実施例では、出力層３３のノードの出力を文字、単語、録画開始、録画終了等に分類するので、機械学習では分類問題を扱う。したがって、出力層３３のノードの活性化関数はソフトマックス関数でよい。出力層の各ノードの出力と教師信号（正しい分類のノードが１で残りはゼロのワンホットベクトル）との誤差は、クロスエントロピーにより求められ、結合の重みｗとバイアスｂは、出力層３３の出力が教師信号に近づくように更新（学習）される。

なお、ストロークデータや音声データのような連続データの分類には、再帰型ニューラルネットワーク（Recurrent Neural Network：以下、RNN）を適用するとよい。ＲＮＮは、ニューラルネットワークを拡張して時系列データを扱えるようにしたものである。

また、機械学習の手法には、パーセプトロン、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがあり、本実施形態で説明する手法には限られない。

＜動作手順＞
図９は、通信システム１の全体的な動作を示すシーケンス図の一例である。

S1：表示装置２に接続されたノートＰＣ６は外部映像を表示装置２に送信する。

S2：表示装置２の外部映像入力部８１は外部映像の入力を受け付け、外部映像受信部８３に入力する。外部映像受信部８３は重畳画像生成部８４に外部映像を入力する。外部映像は、表示制御部８９によりディスプレイ３に表示される。

S3：ユーザーが手書きした場合、手書きデータ入力部８５が手書きデータの入力を受け付ける。手書きデータ入力部８５は筆記データ受信部８７に手書きデータを入力する。筆記データ受信部８７は重畳画像生成部８４と指示生成部９０に手書きデータを入力する。

S4：重畳画像生成部８４は、外部映像に手書きデータを重ねて表示制御部８９に入力する。表示制御部８９は外部映像に手書きデータが重畳された画像をディスプレイ３に表示する。外部映像のフレームは次々に更新されるが、重畳画像生成部８４は新しい外部映像のフレームにそれまでの全ての手書きデータを重畳する処理を繰り返す。

図１０は、表示装置２が録画開始の指示を生成して録画を開始し、録画終了の指示を生成して録画を終了する処理を説明するフローチャート図の一例である。

指示生成部９０は、手書きデータ及び音声データを監視し、変換情報に登録されている録画開始の手書きデータ又はテキストデータ（手書きデータ及び音声データから変換）が入力されたか否かを判断する（Ｓ１１）。なお、指示生成部９０は、手書きデータが外部映像と重畳しているかどうかを判断して、重畳している場合にのみ、変換情報に登録されている録画開始の手書きデータが入力されたか否かを判断してもよい。こうすることで、外部映像以外への手書きデータで表示装置２が録画開始又は終了することを抑制できる。

ステップＳ１１の判断がＹｅｓの場合、指示生成部９０は手書きデータ又はテキストデータに対応付けられている録画開始の指示を生成し、録画データ生成部８８に入力する（Ｓ１２）。

次に、指示生成部９０は、手書きデータ及び音声データを監視し、変換情報に登録されている録画終了の手書きデータ又はテキストデータ（手書きデータ及び音声データから変換）が入力されたか否かを判断する（Ｓ１３）。

ステップＳ１３の判断がＹｅｓの場合、指示生成部９０は手書きデータ又はテキストデータに対応付けられている録画終了の指示を生成し、録画データ生成部８８に入力する（Ｓ１４）。

一方、録画データ生成部８８は、録画開始又は録画終了のどちらの指示が入力されたのか判断する（Ｓ２１）。

録画データ生成部８８は、録画開始の指示が入力された場合、外部映像に手書きデータが重畳された重畳画像の録画を開始する（Ｓ２２）。外部映像に音声が含まれる場合は、音声も録画される。更に、マイク２４０が集音した音声も、重畳画像と共に録画される。こうすることで、表示装置２は、外部映像に対するユーザーの解説を外部映像及び手書きデータと共に保存できる。

録画データ生成部８８は、録画終了の指示が入力されるまで、外部映像に手書きデータが重畳された重畳画像の録画を継続する（Ｓ２３）。

録画開始と終了の手書きデータ又はテキストデータ（手書きデータ及び音声データから変換）が同じでもよい。この場合、指示生成部９０は、録画開始と終了の手書きデータ又はテキストデータに基づいて録画状態の切り替えの指示を生成する。録画データ生成部８８は、録画していない場合には録画を開始し、録画中であれば録画を終了する。こうすることで、録画開始と終了の手書きデータ（又はテキストデータ）が同じになる。

なお、録画データ生成部８８は、録画開始の指示が入力されなくても、外部映像に手書きデータが重畳された重畳画像の録画を常時、継続しておいてもよい。こうすることで、録画開始の指示を数秒前に遡って録画することが可能になる。録画データ生成部８８は、外部映像に手書きデータが重畳された画像の重畳録画を常時、継続しておき、例えば５秒経過すると、古い重畳画像を上書きする。こうすれば、常に、５秒前から重畳画像が残っているので、録画開始の指示の５秒前から録画を開始できる。

また、録画終了についても、録画データ生成部８８は、録画終了の指示から一定時間の経過後に、録画を終了してもよい。また、録画データ生成部８８は、録画終了の指示がなくても、録画開始から一定時間の経過後に、録画を終了してもよい。一定時間は、ユーザーが設定しておいてもよいし、過去の録画時間の平均や最大値などでもよい。こうすることで、録画したままになることを抑制できる。

＜変形例＞
以上の本実施形態では、表示装置２単体で録画開始及び録画終了の指示を生成しているが、録画開始及び録画終了の指示をネットワーク上の情報処理装置が行ってもよい。このような情報処理装置をサーバー装置という。

図１１は、表示システム１００の構成例を示す。図１１の表示システム１００では、表示装置２と情報処理装置３００とが通信ネットワーク９を介して通信可能に接続されている。情報処理装置３００は一台以上のコンピュータであり、クラウドコンピューティングに対応していてもよい。また、情報処理装置３００はオンプレミスに存在しても、インターネット上に存在してもよい。図１１のような構成によれば、表示装置２は手書きデータと音声データを情報処理装置３００に送信し、情報処理装置３００から録画開始及び録画終了の指示を受信できる。

図１２は、図１１の表示システム１００における、表示装置２と情報処理装置３００の機能ブロック図を示す。なお、図１２の説明では主に図６との相違を説明する。図１２の表示装置２は、通信部７４を有している。通信部７４は、手書きデータと音声データをリアルタイムに情報処理装置３００に送信し、情報処理装置３００から録画開始又は録画終了の指示を受信する。

情報処理装置３００は通信部７５と指示生成部９０を有している。この通信部７５は、手書きデータと音声データを表示装置２から受信し、表示装置２に録画開始又は録画終了の指示を送信する。指示生成部９０の機能は、図６と同様でよい。

このような構成によれば、録画開始及び録画終了の指示をネットワーク上の情報処理装置３００が行うことができる。変換情報を情報処理装置３００に集約できるので、保守が容易になる。
図１３は、情報処理装置３００を有する通信システムの全体的な動作を示すシーケンス図の一例である。図１３の説明では主に図９との相違を説明する。ステップS1～S4の処理は図９と同様でよい。
S5：表示装置２の通信部７４は、手書きデータを情報処理装置３００に送信する。
S6：情報処理装置３００の通信部７５は手書きデータを受信し、指示生成部９０が録画開始又は録画終了の指示を作成する。この処理は図１０の左側のフローチャートと同じでよい。
S7：情報処理装置３００の通信部７５は録画開始又は録画終了の指示を表示装置２に送信する。
S8：表示装置２の通信部７４は録画開始又は録画終了の指示を受信し、指示に従って、録画開始又は終了する。この処理は図１０の右側のフローチャートと同じでよい。

＜主な効果＞
以上説明したように、本実施形態の表示装置２は、手書きにデータをコマンド入力として扱い、録画開始・終了処理が可能になるので、録画開始・終了処理と、外部映像に対する手書きデータの保存とを、同じ手書きデータで実現することができる。また、手書きデータ又は音声データが認識されたテキストデータをコマンド入力として、録画の開始と終了が可能になる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

本実施形態では、詳細を省略したが、動画はＭＯＶ、ＡＶＩ、ＷＭＶ、ＭＰＥＧ等の動画フォーマットで保存される。動画には録画の開始時刻が対応付けられることが好ましい。動画を構成する各フレームの時刻は、fps（flames Per seconds）により計算できる。また、テキストデータは文字コードとして、手書きデータは座標点データとして、時刻情報と共に表示装置２に保存される。テキストデータや手書きデータの少なくとも書き始めの開始時刻が保存されることが好ましい。したがって、表示装置２は、保存した動画を再生する際、手書きされた際と同じタイミングでテキストデータや手書きデータを表示できる。表示装置２が、動画に重畳して手書きされた手書きデータやテキストデータを動画として保存してもよい。

また、表示装置２は、手書きデータ、テキストデータ及び動画を各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置２からダウンロードして再使用することができる。再使用する表示装置２はどの表示装置２でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置２で再現して会議などを継続することができる。

例えば、本実施形態では表示装置２の一例として電子黒板を説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、表示装置２がプロジェクターの場合、表示装置２はペン先の座標を超音波により検出してもよい。この場合、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は発光をカメラで撮像して方向を特定する。表示装置２は方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。この場合、プロジェクターには外部映像が入力されており、外部映像にストロークデータが重畳されている。

また、図６などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバーが行ってもよい。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１ 通信システム
２ 表示装置
３ ディスプレイ
６ ノートＰＣ

特開2015－191169号公報

Claims (11)

1. 外部から入力される外部映像を表示できる表示装置であって、
   手書きデータの入力を受け付ける手書きデータ入力部と、
   前記外部映像と前記手書きデータを表示する表示制御部と、
   前記手書きデータに基づいて、前記外部映像を動画として録画する録画データ生成部と、
   を有することを特徴とする表示装置。
2. 前記手書きデータに基づいて、前記録画データ生成部に対する録画開始及び録画終了の指示を生成する指示生成部を有し、
   前記録画データ生成部は、前記録画開始の指示に応じて前記外部映像の録画を開始し、前記録画終了の指示に応じて前記外部映像の録画を終了することを特徴とする請求項１に記載の表示装置。
3. 前記外部映像に前記手書きデータを重畳する重畳画像を生成する重畳画像生成部を有し、
   前記指示生成部は、前記外部映像に重畳している前記手書きデータに基づいて、前記録画データ生成部に対する前記外部映像の録画開始又は録画終了の指示を生成することを特徴とする請求項２に記載の表示装置。
4. 前記重畳画像生成部は、時間と共に変化する前記外部映像のフレームに、前記手書きデータを重畳することを繰り返し、
   前記指示生成部は、前記外部映像に重畳している前記手書きデータのみを前記外部映像の録画開始又は録画終了の指示を生成することを特徴とする請求項３に記載の表示装置。
5. 前記手書きデータの座標点列と録画開始又は録画終了の指示が対応付けられている変換情報に基づいて、前記指示生成部は、前記手書きデータを録画開始又は録画終了の指示に変換することを特徴とする請求項３に記載の表示装置。
6. テキストデータと録画開始又は録画終了の指示が対応付けられている変換情報に基づいて、
   前記指示生成部は、前記手書きデータから文字認識により生成されたテキストデータを録画開始又は録画終了の指示に変換することを特徴とする請求項３に記載の表示装置。
7. ユーザーの音声データの入力を受け付ける音声入力部を有し、
   前記指示生成部は、前記音声データから音声認識により生成されたテキストデータを録画開始又は録画終了の指示に変換することを特徴とする請求項６に記載の表示装置。
8. 前記録画データ生成部は、前記重畳画像を録画すると共に前記音声データを保存することを特徴とする請求項７に記載の表示装置。
9. 前記録画データ生成部は、録画開始の指示が生成される数秒前に遡って前記重畳画像を録画することを特徴とする請求項３～８のいずれか１項に記載の表示装置。
10. 表示装置が外部から入力される外部映像を表示する表示方法であって、
    手書きデータの入力を受け付けるステップと、
    前記外部映像と前記手書きデータを表示するステップと、
    前記手書きデータに基づいて、前記外部映像を動画として録画するステップと、
    を有することを特徴とする表示方法。
11. 外部から入力される外部映像を表示できる表示システムであって、
    手書きデータの入力を受け付ける手書きデータ入力部と、
    前記外部映像と前記手書きデータを表示する表示制御部と、
    前記手書きデータに基づいて、前記外部映像を動画として録画する録画データ生成部と、
    を有することを特徴とする表示システム。

Images