JP6017545B2 - 視線によるデバイスの挙動の変更 - Google Patents

Description

本発明は、電子デバイスの挙動を制御するための方法に関するものであり、より詳細には、１人以上のユーザの視線に基づいてデバイスの挙動を制御するための方法およびシステムに関するものである。

電子デバイスは、日常生活にますます浸透してきている。デバイスには各種機能のセットあるいは特徴集合、いわゆるフィーチャセット(feature set:FS)が増え続けており、ユーザのために幅広い種類の機能およびオプションを提供する。オプションの数が増えるにつれ、ユーザが電子デバイスによって提供されたオプションの全てを選択し、その全てを通してナビゲートしようとする際に、その使いやすさがますます重要になっている。時には、オプションのいくつかは、デバイスの現在の環境上変化するものに起因して利用可能でさえなく、しかも、ユーザは、更に、メニューオプションの複雑なツリーを提示される可能性がある。

例えば、全地球測位システム（ＧＰＳ）デバイスにおけるオプションは、ユーザが、音声ナビゲーション支援（車の運転者のための言葉による指示）または運転者の近くに位置している表示部内に示される地図上の方向から選択することを可能にする。しかしながら、夜間にカーブのある道路上を運転しているユーザは、そのユーザは前方の道路に注意を集中しなければならないので、地図を追うことは困難である可能性がある。

視線検出の科学研究の進歩は、デバイスが、１人以上のユーザが一定の対象を現在見ているかどうかを判断することを可能にする。電子デバイスのユーザビリティおよび設定可能性を改善するために、より良いユーザインターフェースは、人間と機械との間の相互作用を改善させる直観的で使い易いインターフェースを生成するために、デバイスの状態のみならずユーザの状況を考慮に入れる必要がある。
以下の発明の実施形態は、このような状況の下になされたものである。

本発明の実施形態は、ユーザの視線方向に基づいて電子デバイスの挙動を制御するための方法およびシステムを提供する。本発明は、コンピュータ可読媒体上のプロセス、器具、システム、デバイスまたは方法などの、多数の手法において実施され得ることを理解されたい。本発明のいくつかの発明的実施形態は以下に記載される。

一実施形態では、方法は、動作の第１のモードにおいて電子デバイスを動作させるための動作と、電子デバイスとインターフェースをとるユーザの視線を追跡するための動作とを含む。電子デバイスは、視線が所定の対象の方へ向いている限り、動作の第１のモードに維持される。別の動作では、システムは、視線が所定の対象の方へ向いていないことを検出する。電子デバイスは、視線が所定の対象の方へ向いていないことを検出した後に、動作の第１のモードとは異なる動作の第２のモードにおいて動作される。

別の実施形態では、電子デバイスは視線検出モジュールおよびプロセッサを含む。視線検出モジュールは、電子デバイスとインターフェースをとるユーザの視線が所定の対象の方へ向いているかどうかを判断する。プロセッサは、電子デバイスについての動作の異なるモードをサポートし、動作のモードは、動作の第１のモードおよび第２のモードを含む。ユーザの視線が所定の対象の方へ向いている間、プロセッサは動作の第１のモードにおいて動作し、プロセッサは、視線検出モジュールが、ユーザの視線が所定の対象の方へ向いていないことを検出した後に、動作の第２のモードにおいて動作する。

更に別の実施形態では、非一時的コンピュータ可読記憶媒体内に組み込まれたコンピュータプログラムは、電子デバイスの挙動を制御するために、１つ以上のプロセッサによって実行されるときに、プログラム命令を含む。媒体に含まれるものは、動作の第１のモードにおいて電子デバイスを動作させるためのプログラム命令と、電子デバイスとインターフェースをとるユーザの視線を追跡するためのプログラム命令とである。更に、媒体はまた、視線が所定の対象の方へ向いている限り、動作の第１のモードに電子デバイスを維持するためのプログラム命令と、視線が所定の対象の方へ向いていないことを検出するためのプログラム命令とを含む。追加的なプログラム命令は、視線が所定の対象の方へ向いていないことを検出した後に、動作の第１のモードとは異なる動作の第２のモードにおける電子デバイスの動作を可能にする。

発明の他の態様は、例として発明の原理を例示する添付の図面と併用される、以下の発明を実施するための形態から明らかになるであろう。

本発明は、添付の図面と併用される以下の記載を参照にして、最も良く理解されるであろう。

一実施形態に係るユーザの視線に基づいて動作のモードを変えるナビゲーションシステムを例示する説明図である。 一実施形態に係るユーザの視線に基づいて動作のモードを変えるナビゲーションシステムを例示する説明図である。 一実施形態に係るユーザの視線に基づいて動作のモードを変えるナビゲーションシステムを例示する説明図である。 一実施形態に係る視線検出を用いる衝突回避システムを例示する説明図である。 一実施形態に係る視線検出を用いる衝突回避システムを例示する説明図である。 複数の視線検出部を備える視線検出システムの実施形態を例示する説明図である。 一実施形態に係るユーザが表示部から目をそらしているときに起動されるビデオレコーダを示す。 一実施形態に係るユーザが表示部から目をそらしているときに起動されるビデオレコーダを示す。 一実施形態に係る子供の視線によって挙動を変える玩具を描写する。 一実施形態に係る子供の視線によって挙動を変える玩具を描写する。 電話中のユーザの視線によって挙動を変える移動電話の実施形態を例示する説明図である。 電話中のユーザの視線によって挙動を変える移動電話の実施形態を例示する説明図である。 一実施形態に係るユーザの視線によって変わるピクチャー・イン・ピクチャー表示部の挙動を例示する説明図である。 一実施形態に係るユーザの視線によって変わるピクチャー・イン・ピクチャー表示部の挙動を例示する説明図である。 一実施形態に係る腕時計がユーザの視線を検出するときに、より明るく光る腕時計を描写する。 一実施形態に係るユーザの視線に基づいて表示部の範囲の可視性を増大するデバイスを例示する説明図である。 一実施形態に係るユーザの視線に基づくスクリーンセーバの動作を例示する説明図である。 一実施形態に係るユーザの視線に基づくスクリーンセーバの動作を例示する説明図である。 一実施形態に係るいくつかのユーザの視線の方向に応答するシステムを例示する説明図である。 一実施形態に係るいくつかのユーザの視線の方向に応答するシステムを例示する説明図である。 一実施形態に係る視線検出システムのアーキテクチャを描写する。 視線対象が電子デバイスの外側に位置する視線検出システムの別の実施形態を描写する。 発明の一実施形態に係る電子デバイスの挙動を制御するためのおよびアラームを生成するためのアルゴリズムのフローを示す。 発明の一実施形態に係る電子デバイスの挙動を制御するためのおよびアラームを生成するための代替アルゴリズムのフローを示す。 発明の実施形態についての異なる状態図を例示する説明図である。 発明の実施形態についての異なる状態図を例示する説明図である。 発明の実施形態についての異なる状態図を例示する説明図である。 発明の一実施形態に係る電子デバイスの挙動を制御するためのプロセスフローチャートである。 発明の実施形態を実施するためのコンピュータシステムの簡易概略図である。

以下の実施形態は、ユーザ視線情報を利用する電子デバイスの挙動を制御するための方法、コンピュータプログラム、および器具を記載する。しかしながら、本発明は、これらの特定の詳細のうちのいくつかまたは全てを使わずに実施されることが可能であることは、当業者にとって明らかであろう。他の例では、周知のプロセス動作は、不必要に本発明を不明瞭にしないために詳細に記載されていない。

図１Ａから図１Ｃまでは、一実施形態に係るユーザの視線に基づいて動作のモードを変えるナビゲーションシステムを例示する。ユーザの視線は、ユーザの注目または意思の良い指標である。入力として視線情報を用いることは、コンピュータシステムがユーザのタスクについてのコンテキスト情報を得ることを可能にし、次いで、そのコンテキスト情報は、より直観的で知的であるインターフェースを設計するために活用され得る。正確さの増加および視線追跡システムの費用の低減に伴って、視線追跡は、広範囲の用途に使用され得る。

眼球の追跡、または視線追跡は、（「ユーザが見ている」）視線の点、または頭部に対する眼球の動きを測定するプロセスである。アイトラッカーは、眼球位置および眼球の動きを測定するためのデバイスである。眼球の動きおよび視線方向を測定するための多くの方法がある。いくつかの方法は、ビデオ画像を使用し、そのビデオ画像から眼球位置は抽出され、他の方法は、探りコイルを使用するか、あるいは電気眼球図に基づく。別の方法では、赤外光が、赤外線カメラまたは検出器を備えるデバイス、あるいは赤外線カメラまたは検出器と通信するデバイスによって放出される。赤外光は、ユーザの網膜から赤外線カメラまたは検出器の後方に反射される。後方に反射された赤外光の量は、エミッタに向けた人間の視線に基づいている。デバイス上のユーザの視線は、カメラまたは検出器上で受け取られる赤外光が、ある期間に一定閾値に一旦達すると、判断される。視線についてのわずかな喪失は、眼のまばたきと考えられ、無視される。

視線検出を用いて、デバイス、例えば、携帯型娯楽デバイス、車載ナビゲーションシステム、子供の玩具、ＴＶなどは、どのくらいの注目がユーザから集められるかに基づいて、それの挙動を変えることができる。いくつかの実施形態では、デバイスは、ユーザがデバイスを見ているかどうかだけを知る必要があるが、デバイスはユーザの視線の精密な方向を知る必要はない。他の実施形態では、ユーザの視線の精密な方向は、デバイスの挙動を制御するために考慮される。発明の実施形態は、消費者向け電子デバイスが視線検出をうまく利用し、その電子デバイスによって集められた注目に基づいて機能性を調整することを可能にする。視線検出を利用することによって、デバイスは、ユーザにより直観的な相互作用をもたらし得、改良された体験を提供し得る。

図１Ａに示される実施形態では、視線検出システムは、運転者１０２が表示部１０８を見ているかどうかを判断するために使用され、その表示部はカーナビゲーションシステムを含む。視線検出システムは、運転者１０２の眼球１０４の映像を捕えるカメラ１０６を含む。カメラ１０６および表示部１０８を含む視線検出システムは、運転者１０２の視線が表示部の方へ向いているかどうかを判断する。システムは、視線に従って挙動を変える。すなわち、視線が表示部の方へ向いているとき、カーナビゲーションシステムは、運転者が目的地に到着することを支援するために地図を表示し、視線が表示部の方へ向いていないとき、カーナビゲーションシステムは、可聴式に方向をユーザに提供する。

図１Ｂは、ユーザが表示部を見ているときに地図１２０を示すこと含む動作のモードを例示する。図１Ｂの例は、運転者によって行われる次の方向転換の地図内の車の位置、指標、矢印を示す。表示部上の追加情報は、次の交差点までの距離、目的地までの距離、道の名前などを含み得る。

図１Ｃは、運転者が地図を見ていないとき、例えば運転者が前方の道路を見ているときの、動作のモードを例示する。スピーカ１３２は、言葉による合図、例えば「５０メートルで左折してください」、「次の交差点で右折してください」、「次の１０マイルの間、ハイウェイ１７を運転してください」などを運転者に送る。表示部１３０は、薄暗くされ得るかまたはオフにされ得、あるいは言葉による合図を視覚による合図として示し得る。視覚による合図は、要求されない（表示部上の視覚による合図は、車内の他の人間に利用可能であり得る）。別の実施形態では、地図は表示部上に常に表示され、言葉による合図は、ユーザの視線が表示部上に無いときにだけ提供される。

挙動の変化は種々のデバイスおよびシナリオに利用され得る。例えば、テレビは、視線が消えてなくなるときに、表示中の番組を一時停止することができる（テレビシステムはデジタルビデオレコーダに接続される）。ユーザの視線に基づいて挙動を変えるデバイスの他の例は、図２Ａ〜図１１Ｂを参照にして以下に与えられる。

図２Ａおよび図２Ｂは、一実施形態に係る視線検出を用いる衝突回避システムを例示する。ユーザインターフェースは、ユーザがデバイスにまたは状況に注意を払っているかどうかに従って、様式を変える。例えば、図２Ａに例示されたシナリオでは、車２０４が車２０２の前で突然減速するときに潜在的なアラーム状況が生じ、その車２０２は車近接検出器によって検出される。（視線検出器、例えば図１Ａに示されるものなどによって、検出されるように）ユーザ２０６が前方を見ている場合には、ユーザが前方の車を既に見ているので、アラームは生成されない。しかしながら、図２Ｂに示されるように、ユーザ２０６が前方を見ていない場合には、車近接検出器はアラームを生成することになり、そのアラームは可聴、可視、またはその両方のものであり得る。別の実施形態では、危険の閾値は、衝突が差し迫っているときを判断するために定義され、衝突が差し迫っている場合、ユーザ２０６が前方を見ているか否かにかかわらずアラームが生成される。閾値条件は、１つ以上の要因、例えば、車間距離、車の速度、車の相対速度、ユーザについての平均反応時間、ユーザがアラームを受け取ることを望む時を示す設定パラメータなどに基づいて計算される。

別の実施形態では、警報条件は、ユーザが車線を変更しているときやユーザが車線変更の目的車線に近づいてくる車を見ていないときに生成される。アラームは、ユーザが、他の車を見ることができる鏡を見ている場合に、あるいはユーザが第２の車の方向に前部の向きを変えた場合に、回避される。２つ以上の視線検出器が、ユーザが鏡を見ているか、あるいは車の側方を見ているかどうかを検出するために必要である可能性がある。

図３は、複数の視線検出部を備える視線検出システムの実施形態を例示する。図３の車は、いくつかの視線検出部３０２ａ〜３０２ｆを含む。各視線検出部は、ユーザがその視線検出部について対応する対象を見ているかどうかを検出する。全ての視線検出部からの情報は、グリッド３０４を定義するために組み合わされる。ユーザが見ているおおよその点または範囲のグリッド座標値は、視線検出部３０２ａ〜３０２ｆからの情報に基づいて計算される。

更に、異なる対象範囲Ａ１〜Ａ６（３０６ａ〜３０６ｆ）は、アラームが生成されるときを判断するために定義される。１つ以上の特定の対象範囲が、状況に従って利用される。例えば、ユーザが右側の車線に変更しており、車が右側の車線にいる場合、衝突検出システムは、ユーザが対象範囲Ａ４ ３０６ｅを見ていない場合にアラームを生成することになり、ユーザが対象範囲Ａ４ ３０６ｅを見ている場合にアラームを生成しないことになる。図２Ａおよび図２Ｂに例示されたものと同じシナリオでは、アラームは、前方の車との潜在的な衝突があるときに、ユーザが対象Ａ３ ３０６ｄを見ている場合に生成されることになる。図２Ａの単一視線検出器は、ユーザが前方を見ていたことを検出した可能性があるが、ユーザは、道路標識、次の車線上の車、広告用の幕（ｂａｎｎｅｒ）、歩行者などを見ていた可能性があるので、単一視線検出器は、ユーザが側方（Ａ３）を見ていたことを検出していなかった可能性がある。それ故に、複数の視線検出器を有することによって追加される追加的解像度は、危険な状況を判断する能力を向上させる。その上、どこにユーザがそれらの視野を向けているかという更に良い理解があるので、解像度の増加は、生成されるアラームの数を制限し得る。

図４Ａおよび図４Ｂは、一実施形態に係るユーザが表示部から目をそらしているときに起動されるビデオレコーダを示す。図４Ａに示されるように、ユーザ４０２は、表示部４０４上のテレビ番組を観ている。視線検出システムは、ユーザが表示部を見ているまたは表示部から目をそらしているときを検出するためにユーザにねらいを定めたカメラ４０６を使用する。視線検出システムが、ユーザ４０２が表示部４０４を見ていることを判断すると、デジタルビデオレコーダ（ＤＶＲ）４０８はテレビ番組を記録しない。しかしながら、図４Ｂに示されるように、ユーザ４０２が表示部４０２から目をそらしているとき、視線検出システムはアクションを起こす。

一実施形態では、ＤＶＲ４０８は、ユーザが後で番組を観ることができるように番組を記録し始める（オンにされた光４１０は、ＤＶＲが記録していることを示す）。別の実施形態では、ＤＶＲは番組を記録し、ユーザがそれらの視線を表示部４０４の方へ戻すまで番組は一時停止される。ユーザが目をそらす場合にだけ記録する能力は、ＤＶＲの記録容量が制限される場合に有用である。

同じ原理は、例えば、ユーザが目をそらす場合にビデオゲームを一時停止すること、ストリーミングしているインターネット映像を一時停止すること、映画を表示しているＤＶＲを一時停止すること、コンピュータゲームまたはいくつかの他のソフトウェアアプリケーションを一時停止することなど、表示部を用いる他の用途において使用される。

更に別の実施形態では、テレビセットは、視線がテレビ上に検出されない場合には音量を下げ、視線が検出される場合には音量を上げる。別の実施形態では、視線検出は記録の質を判断する。例えば、ユーザが表示部を見ている場合、ユーザは番組を再度観ないであろうことが推定されるので質の低い記録がなされる。しかしながら、ユーザが目をそらす場合、システムは、ユーザが将来、ユーザが見逃した番組の一部を観るであろうことを推定するので、記録は高解像度モードに切り換わる。

部屋内に数名の視聴者がいる場合、一実施形態は、番組を記録し始めることまたは一時停止することなどのアクションを起こす前にユーザのいずれかが表示部を見ているかどうかを判断する。別の実施形態では、試験用途またはウェブベースのクラスルームは、ユーザが注意を払っているときを判断するために視線検出を使用する。ユーザが注意を払っていない場合、標識（ｆｌａｇ）が教師に表示され得、あるいはソフトウェアアプリケーションは、注意を払っているという評価をユーザに与えないことになる。

図５Ａおよび図５Ｂは、一実施形態に係る子供の視線によって挙動を変える玩具を描写する。図５Ａは、視線検出システムを含む玩具５０４で遊んでいる子供５０２を示す。玩具５０４が子供の視線が玩具上に定められることを検出すると、玩具５０４は、音を出すこと、言葉によるメッセージを生成すること、動き回ること、光を放つことなどによって子供５０２と相互作用する。

図５Ｂに例示されるように、子供５０２が玩具５０４を見ていない場合、玩具５０４は、子供が玩具で遊ぶことを誘ってみることによって、最終的には、所定期間後、停止させることによって、応答する。例えば、玩具は、言葉によるメッセージ（「私と遊んで」）を出すか、あるいはいくらかの光を放つ、サイレンを鳴らす、子供の近くに移動することなどをし得る。それ故に、子供の視線に従って玩具の挙動は変わる。

図６Ａおよび図６Ｂは、電話上のユーザの視線によって挙動を変える移動電話の実施形態を例示する。図６Ａに示されるように、移動電話６０４は、音声メールを得るための少なくとも２つの挙動モード、視覚によるモードおよび可聴モードを含む。移動電話６０４は、ユーザを向くカメラ含む視線検出システムを有し、音声メールアプリケーションの挙動はユーザ６０２の視線に従って変わる。ユーザ６０２が移動電話６０４を見ているとき（図６Ａ）、移動電話は、視覚による音声メールインターフェースを用いて動作し、そのインターフェースは、音声メールのリスト、コマンドボタン（プレイ、巻き戻し、リプレイ、保存、次など）、受信されるデータ音声メールなどのうちの１つ以上を含む。

ユーザ６０２が移動電話６０４から目をそらしているとき、音声メールアプリケーションは、図６Ｂに示されるように、可聴音声メールモードに切り換わる。可聴音声メールモードは、ユーザ６０２に異なるオプションを案内するようにユーザ６０２に催促を提供する。ユーザは、その返事として所望のオプションを選択するために移動電話６０４に音声命令を与える。一実施形態では、ユーザは、他の種類の入力、例えば、ボタンを押すこと、タッチスクリーンをタッチすることなどを与え得る。例えば、ユーザ６０２は、オプションに対応する数を言うための選択のリストを与えられる可能性があり、ユーザは、対応する数を言うことによってオプションの１つを選択する。

別の実施形態では、ユーザの視線は電子デバイスの電力消費モードを変える。例えば、ユーザがデバイスから目をそらしているとき、デバイスは、入力デバイス、例えばボタン、タッチパネル、カメラなどに供給される電力の量を減らすために省電力モードに入る可能性がある。

図７Ａおよび図７Ｂは、一実施形態に係るユーザの視線によって変化するピクチャー・イン・ピクチャー（ＰＩＰ）表示部の挙動を例示する。表示部７０２は、ユーザが表示部７０２を見ているかどうかを検出することができるだけではなくて、ユーザが表示部７０２の特定部分を見ているかどうかを検出することもできる視線検出システムを含む。図７Ａは、表示部のメイン部分における第１のビデオ７０４ａ、および表示部内の差し込み画における第２のビデオ７０４ｂを提示する表示部７０２を示し、その差し込み画はピクチャー・イン・ピクチャーウィンドウとして知られる。

視線検出システムが、閾値を超える時間の間、ユーザがピクチャー・イン・ピクチャーウィンドウ内のビデオ７０４ｂを見ていることを判断すると、視線検出システムは、第１のビデオおよび第２のビデオの表示を切り換える。図７Ｂに示されるように、第１のビデオ７０４ａはピクチャー・イン・ピクチャーウィンドウ内に表示され、第２のビデオ７０４ｂは表示部７０２のメイン範囲内に表示される。

図７Ａおよび図７Ｂは、ユーザ入力を必要とせずに、および動作モードが変わっていることのユーザへの通知（例えば、アラーム）を生成せずに、どのように表示部の動作モードが変わるかを例示する。視線システムは、視線方向の変化以外に、ユーザからのアクションまたは入力を必要とせずに、電子デバイスの動作モードの変化をトリガする。それ故に、動作モードの変化はユーザのアクションから独立している。別の例では、コンピュータプログラムは、ウェブページ上に表示されたいくつかの宣伝の１つに、ある期間（例えば、２秒）の間、ユーザの視線がとどまっているかどうかを検出する。ユーザの視線がその宣伝にとどまっている場合には、コンピュータプログラムは、その宣伝に関連するアクション、例えば、ユーザに追加情報を提供するために関連ウェブページを開くこと、アニメーションを走らせること、宣伝のサイズを増やすことなどを実行する。

一実施形態では、動作のモードが変えられていることを示す通知がユーザにもたらされるが、ユーザからの許可は、動作のモードを変えるために必要とされない。例えば、ビデオが切り換えられていること（例えば、「プログラムをピクチャー・イン・ピクチャープログラムと切り換えること」）を示す簡潔なメッセージが表示部上に示される。しかしながら、ユーザは、テレビにプログラムを切り換えることを命令するために有効な入力を（勿論、視線の変化以外に）まだ生成していない。

更に別の実施形態では、視線検出はユーザ入力と組み合わされる。視線検出システムが、ユーザの視線が変わったことを一旦判断すると、ユーザは、電子デバイスが動作モードを変えることになるかを判断するために入力を促される。例えば、視線検出システムが、ユーザの視線がピクチャー・イン・ピクチャー表示部上にあることを検出すると、テレビは、ユーザにプログラムを切り換える許可を求める（例えば、「ＰＩＰと切り換えたいですか？切り換えるには１を押し、キャンセルするには２を押してください」）。ウェブページ宣伝に関連して上記された例では、追加情報を自動的に与える代わりに、コンピュータプログラムは、ユーザが、宣伝された製品またはサービスについての追加情報を望むかどうかをユーザに尋ねる。ユーザが提案を受け入れる場合には、追加情報が提供される。

図８は、一実施形態に係る腕時計がユーザの視線を検出するときに、より明るく光る腕時計を描写する。腕時計８０２は視線検出システムを有し、視線検出システムが、ユーザが腕時計を見ていることを検出する場合には、腕時計は腕時計の可視性を向上させる。例えば、腕時計は、腕時計を明るくする光をつけ、あるいは、表示部をより明るくさせるために表示部への電力量を増加させ、白熱機構をオンし、表示部をオンにすることが可能である。

腕時計は、ユーザが腕時計を見ているときにだけ可視性が増大されるので電力を節約する。図８における実施形態は、例示的なものであり、限定することを意図しない。同じ原理は、他のデバイス、例えば、テレビセット、テレビ遠隔コントローラ、ゲームコンソール、ゲームコントローラ、キーボード、アラームコントロールパネル、電子書籍リーダー、車の計器盤内の器具などに使用され得る。デバイスは、電力モード消費を変えることができ、例えば、視線がデバイス上に検出される場合にはテレビまたは電話をスタンバイモードから起動する。

別の実施形態では、電力消費はまた、視線検出の状態と組み合わされる他のパラメータも考慮する。例えば、車の計器盤上の器具は、システムがそれが日光であることを検出し、計器盤が自然光によって十分に照らされる場合、ユーザが器具を見ているときに、放出される光を増加させない可能性がある。

図９は、一実施形態に係るユーザの視線に基づいて表示部の範囲の可視性を増大するデバイスを例示する。大型の表示部は、分割された範囲に分けられ、各範囲は異なるビデオを表示している。図９の例では、表示部は４つの範囲９０２ａ〜９０２ｄに分割される。視線検出システムがユーザがその範囲のうちの１つ、例えば範囲９０２ａを見ていることを判断すると、システムは、観られているビデオの特質を変える。他の実施形態では、表示されるビデオがある観られていない範囲もまた、特質を変えることができる。例えば、システムは、ユーザが範囲９０２ａを見ていることを検出すると、システムは、解像度を向上させること（例えば、ビデオ圧縮を減らすこと）によって、より大きいリソース帯域幅を範囲９０２ａに与えることによって、あるいは観られた範囲にリソースを加えることによって、範囲９０２ａ内に表示されたビデオの質を上げる。より多くの中央処理装置（ＣＰＵ）リソースが、ビデオのレンダリングを改善するために範囲９０２ａのビデオに加えられ得、あるいはより大きな電力が範囲９０２ａの表示素子（例えば、ＬＥＤ）に与えられる。残りの範囲は、より低い解像度であるものの十分に良い解像度で表示され得、そのため、ユーザは、別の範囲に焦点を変えることができ、表示されるものを見ることができる。

例えば、観られている範囲は１つの解像度で表示され、観られていない範囲は異なる解像度で表示される。一実施形態では、システムは、例えば、第２のユーザが、第１のユーザによって観られる範囲とは異なる範囲を観ているときなどに、２人以上のユーザを追跡し得る。この場合には、第２のユーザによって観られる領域はまた、より高い解像度で表示される。別の実施形態では、視線検出システムは、ユーザが、複数範囲のうちの１つ、例えば範囲９０２ａなどを見ていることを判断すると、システムは、ユーザによって注視されている範囲において再生しているビデオと関連付けられた音声を再生する。従って、注視されていない範囲（９０２ｂ、９０２ｄ、および９０２ｃ）からの音声はミュートされることになる。ユーザが視線を別の範囲（例えば、範囲９０２ｂ）に変える場合には、前の範囲（例えば、９０２ａ）からの音声はミュートされることになり、新たな範囲（例えば、９０２ｂ）と関連付けられた音声が再生されることになる。

更に別の実施形態では、どの範囲が視線で選択されているかを示す視覚による合図が、ユーザに提供される。例えば、アイコンは、選択された範囲上に表示され得、選択された範囲は、既定のパターンまたは色を有する境界で囲われ、光（例えば、およびＬＥＤ）は、選択された範囲の隣の表示部の囲み内などでオンにされる。

図１０Ａおよび図１０Ｂは、一実施形態に係るユーザの視線に基づくスクリーンセーバーの動作を例示する。スクリーンセーバーは、コンピュータが使用中ではないときにスクリーンを隠すか、動いている画像でスクリーンを埋める、コンピュータモニタ上の焼き付きを防ぐように最初に設計された、ある種のコンピュータプログラムである。スクリーンセーバーは、入力デバイス、例えばキーボードやマウスなどの非活動期間後に典型的には始められる。スクリーンセーバーは、マウスが動かされたことかキーが押されたこと示すオペレーティングシステムからのメッセージを受信した後に、終了する。

ユーザ１５２が表示部１５６上のドキュメントを読む間に、ユーザは、同じページを読むために長時間かける可能性がある。ユーザがスクリーンセーバー非活動時間のトリガを超える場合、スクリーンセーバー１５８は、（図１０Ｂに示されるように）実行し始めることになり、ユーザは読み続けることができない。しかしながら、コンピュータに組み込まれた視線検出１５４システムは、スクリーンセーバーの挙動を向上させる。

コンピュータ内の視線検出システムは、ユーザの視線が表示部上にある間にコンピュータシステムがスクリーンセーバーを始めることを阻止する。ユーザの視線が表示部上に無い場合、コンピュータは、コンピュータ上の視線が検出されないとすぐにスクリーンセーバーを始める。別の実施形態では、一瞬の視線は、表示部上で検出されず、コンピュータは非活動タイマーを始め、タイマーが切れるとスクリーンセーバーが始められる。スクリーンセーバーが実行されている間にユーザがそれらの視線を表示部に戻す場合には、スクリーンセーバーが終了される。スクリーンセーバーが実行されていない場合、非活動タイマーはリセットされる。

スクリーンセーバーを制御するための視線検出はまた、表示部を含む他のデバイス、例えば書籍リーダー、タブレット、移動電話、ビデオゲームプレイヤーなどにも利用され得る。

図１１Ａおよび図１１Ｂは、一実施形態に係るいくらかのユーザの視線の方向に応答するシステムを例示する。図１１Ａおよび図１１Ｂの実施形態は、２人以上の視聴者からの視線を追跡する視線検出システムを含む。バー内の複数の視聴者１６２は、異なるビデオまたはプログラム１６４ａ〜１６４ｅを表示しているスクリーンを観ており、ここで、ビデオおよびプログラムのそれぞれは、異なるスクリーンに表示されるように切り換えられ得る。プログラム１６４ｃを示し他のスクリーンよりも大きな中央スクリーンがあり、システムは、最も人気のあるプログラムを中央スクリーン上に表示することを目指す。最も人気のあるプログラムを判断するために、視線検出システムは、どのプログラムを視聴者１６２が観ているかを判断する。最も多くの視聴者を有するプログラムは、最も人気のあるものと判断される。

図１１Ａの実施形態では、プログラム１６４ｂを観ている３人の視聴者がいて、他のプログラムの全ては３人よりも少ない視聴者を有するので、プログラム１６４ｂが視聴者に最も人気がある。スクリーン１６４ｂ上のプログラムが最も人気があるので、システムは、図１１Ｂに示されるように、プログラム１６４ｂが中央スクリーン上に表示されるように、プログラム１６４ｃおよび１６４ｂを切り換える。例えば、いくつかのスポーツイベントがバーで観られている。ある瞬間、小さなスクリーンに示されたゲームの１つにおいてゴールが決まり、常客の多くにそれらの注意をゴールが決まったゲームに移させる。視線検出システムは、ゴールが決まったこのプログラムが、最も人気のあるプログラムであることを検出し、次いで、システムは、その人気のあるプログラムを中央スクリーンに切り換える。

一実施形態では、一定時間にいずれの視聴者によっても観られていないスクリーンは、他のスクリーンと切り換えることによってではなくて、番組供給を変えることによって、例えばテレビチャネルを変えることなどによって、表示されたビデオまたはプログラムを変える。

別の実施形態では、視聴者が観ているプログラム上に集められたデータは、個人の大きなグループ用にデータを取得するために、他の位置からのデータと組み合わされる。組み合わされたデータは、いくつかの目的のために、例えば、大きなグループの視聴パターンを評価するため、コマーシャルの人気を判断するため、プログラムの視聴率を計算するためなどに使用される。この集計されたデータはまた、例えば、リアルタイムでプログラムの人気をリスト化すること、最も人気のあるプログラムをリスト化すること、企業が、人気のあるプログラムにおける宣伝により多く支払うように宣伝料を調整することなどによって、マーケティング目的のために使用され得る。

一実施形態では、システムは、所与の時間に最も人気のあるプログラムを表示する動的チャネル、あるいはユーザによって設定されたチャネルのリストから最も人気のあるプログラムを表示する動的チャネルを生成する。例えば、ユーザは、２つの異なるスポーツイベントを選択している可能性があり、表示されたプログラムは、スポーツイベントの動的に計算された人気に従って変動することになる。人気は、興奮させるイベント、例えば、得点、ペナルティなどが、スポーツイベントにおいて発生する場合に変化する。

番組内の部分の人気を判断するために、別の実施形態では、視線に基づく視聴者のビデオ選択に関して集められたデータが使用される。それ故に、将来の視聴者は、番組のどの部分がより高い視聴率を獲得したかを示す視聴率情報にアクセスすることができ、ここで、各部分は、個々の視聴率を与えられ、番組内の他の部分の視聴率とは独立している。コンテンツ視聴率のストリームが生成され、それによって、番組は、固有の番組視聴率によって評価されるだけではなく、むしろ番組は、視線投票に基づいて各部分（例えば、時、分、秒、一区切り、イニング、ハーフ、クォーター、セット、ゲームなど）で評価される。

別の実施形態では、電子デバイスは、表示部上に検出される視線が無いときにＣＰＵリソースをグラフィカルユーザインターフェース（ＧＵＩ）タスクの処理から離して他のタスクに向け直す。視線が表示部に戻ると、ＧＵＩ処理は、ＧＵＩがユーザに応答することを確実にするために追加的ＣＰＵリソースを受け取る。更に別の実施形態では、アラーム時計が持続的な期間に視線を検出するときに、アラーム時計はオフにされるか、あるいはスヌーズするよう設定される。

図１２は、一実施形態に係る視線検出システムのアーキテクチャを描写する。デバイス２５４は、少なくとも視線エンジン２６２、アクションエンジン２６８、およびアラームエンジン２７６を含む視線検出システムを含む。視線検出システムは、どの瞬間においても、ユーザ２５２が視線対象２５６にそれらの視線２８６を置いているかどうかを判断する。視線対象は、デバイスの全部、またはデバイスの一部、例えばビデオ表示部などであり得る。図１３を参照にして以下に記載される別の実施形態では、視線対象はデバイス上に位置していない。

視線エンジン２６２は視線検出モジュール２６４および視線履歴データベース２６６を含む。視線検出モジュール２６４は、ユーザ２５２の視線が視線対象２５６上にあるかどうかを判断する。一実施形態では、視線検出モジュール２６４は、ユーザ２５２の眼球を解析する視線検出ソフトウェアと共に、ユーザ２５２に向いているカメラを含む。しかしながら、他の視線検出システムもまた可能である。当業者は、図１２の実施形態は例示的なものであり、限定するものであることを意図していないことを理解するであろう。一実施形態では、視線状態（オンまたはオフ）の履歴はデータベース２６６内に保持される。視線履歴は、視線の履歴、例えば、図１０Ａおよび図１０Ｂを参照にして上記されたスクリーンセーバー用途などを考慮に入れる実施形態において使用され得る。

アクションエンジン２６８は、アクションプロセッサ２７２、履歴データベース２７０、およびルールエンジン２７４を含む。アクションプロセッサ２７２は、視線情報に関連する入力を受け取り、ユーザの視線の状態に応答してどのアクションを取るかを判断する。アクションプロセッサ２７２への入力は、視線検出２６４からの視線状態、デバイス状態２６０、ユーザインターフェース２５８などを含む。アクションプロセッサ２７２はまた、アラームを生成するようアラームエンジン２７６に命令するために、あるいはデバイスによって実行されるいくつかの他のアクションを始動するために、アラームエンジン２７６とインターフェースをとる。履歴データベース２７０は、アクションプロセッサ２７２によって取られる異なるアクションの履歴、例えばアラームイベントのログなどを含む。

アクションプロセッサ２７２は、生じられたアクションを判断するために論理ルールを使用する。ルールは、ルールエンジンデータベース２７４内に格納され、デバイスの内側および外側で、ユーザまたは他のプログラムによって設定可能である。一実施形態では、サーバ２８４は、アクションエンジン２６８を設定するためにネットワーク２８２経由でデバイス２５４とインターフェースをとる。例えば、１つのルールは、「ユーザの車が前方の車との衝突から１秒未満離れ、ユーザの視線がその車の正面の方へ向いていないときに２秒の大音量ビープ音を生成する」ことであってもよい。別のルールは、「ナビゲーションシステムにおいて、ユーザが表示部を見ていないときに言葉による指示を使用し、ユーザが表示部を見ているときに地図ナビゲーションを使用する」ことであってもよい。

アラームエンジン２７６はアラームプロセッサ２７８およびアラームインターフェース２８０を含む。アラームプロセッサは、アクションプロセッサ２７２から命令を受け取り、命令をデバイスにおける特定アクションに変換し、その特定アクションは、アラームインターフェース２８０経由で通信される。デバイス２５４のデバイス状態２６０は、デバイスの状態と関連付けられたパラメータの値、より詳細には、視線検出に関連するパラメータの値およびそれと関連付けられたアクションの値を含む。アラームインターフェース２８０は、デバイス状態２６０を変える（例えば、表示部を薄暗くする）ことができ得、デバイス状態パラメータはまた、アクションプロセッサ２７２にも利用可能である。ユーザインターフェース２５８は、デバイス２５４内の異なる要素、例えば表示部、キーボード、マウス、車用器具、カメラ、スピーカなどに１つ以上のインターフェースを提供する。

図１３は、視線対象が電子デバイスの外側に位置する視線検出システムの別の実施形態を描写する。視線対象３５２は、ユーザとインターフェースをとるデバイスの一部ではない。一実施形態では、車衝突検出システムは、ユーザが衝突検出システムを見ているかどうかをチェックせず、むしろ、ユーザが危険なまでに前方の車に近づいている場合にユーザが前方の車を見ているかどうかをチェックする。それ故に、視線対象は、視線検出システム内、あるいは視線検出システムを保持するデバイス内に無い。

一般的に言えば、第１の環境上パラメータ（例えば、前方の車、利用可能な帯域幅）の状態が追跡され、対応を必要とする状況（例えば、水が吹きこぼれること、車が前方で壊れること）が発生するかどうかを調べるために解析がなされ、ユーザの視線またはユーザの状態に基づいて判断がなされる。

更に別の実施形態では、視線エンジンは、デバイスの外側に位置しており、そのデバイスとインターフェースをとる。視線対象は、視線エンジンとデバイスとの両方の外側にある。３つの構成要素（視線エンジン、視線対象、およびデバイス）は、視線を検出するために互いにインターフェースをとり、ユーザの視線に反応するデバイスを有する。

図１２および図１３に例示される実施形態は例示的なものであることを留意されたい。他の実施形態は、異なるモジュールを利用してもよく、あるいはいくつかのモジュールは存在しなくてもよい。従って、本明細書に例示された実施形態は、排他的または限定的なものと解釈されるべきではなく、むしろ、例示的または説明的なものと解釈されるべきである。

図１４Ａは、発明の一実施形態に係る電子デバイスの挙動を制御するためのおよびアラームを生成するためのアルゴリズムのフローを示す。動作１４０２では、視線チェックが開始され、動作１４０４では、状態パラメータの値が判断される。状態パラメータは、デバイスの状態、またはデバイスに関連する環境におけるいくつかの条件の状態を定義する。動作１４０４の後、方法は、状態変数の値に基づいてアクション可能条件の存在についてチェックするために動作１４０６に進む。動作１４０８では、チェックの結果は、アクション可能条件があるときに方法が動作１４１０に進むかどうか、あるいは、アクション可能条件が無い場合に方法が動作１４２０に進むかどうかを決定する。動作１４２０では、方法は、必要に応じて、ある期間待機する。一実施形態では、待機期間はゼロであるのに対し、別の実施形態では、方法は、動作１４０４に戻る前および上記のように繰り返す前に、例えば１００ミリ秒、１秒、１分などのある期間、待機する。

動作１４１０では、視線状態がチェックされ、動作１４１２では、方法動作は、アクションを起こすことが必要とされるかどうかを状態変数の値および視線状態に基づいて判断する。例えば、視線状態が「前方を見ていない運転者」であり、および状態変数が前方の車との衝突が２秒以内に生じることになることを示す場合には、ユーザに警告するための判断がなされる。

動作１４１４では、チェックが、アクションが必要とされるかどうかを判断するためになされ、アクションが必要とされる場合、方法は、アラームが起動される動作１４１６に進行する。アクションが必要とされない場合、方法は、動作１４２０に戻り進む。動作１４１６の後、方法は、アラーム条件がクリアされるまで待機するために動作１４１８に進む。例えば、アラーム条件は、運転者が前方を見ていることを検出されるとき、あるいは潜在的な衝突条件がクリアされるときに、クリアされ得る。

図１４Ｂは、発明の一実施形態に係る電子デバイスの挙動を制御するためのおよびアラームを生成するための代替アルゴリズムのフローを示す。図１４Ｂの実施形態では、視線は連続的にチェックされず、視線は、アクション可能条件が検出されるときにだけチェックされる。

それ故に、動作１４０４における動作では、状態パラメータの値が判断され、方法は、状態変数の値に基づいてアクション可能条件の存在についてチェックするために動作１４０６に進む。動作１４０８では、チェックの結果は、アクション可能条件があるときに方法が動作１４０２に進むかどうか、あるいは、アクション可能条件が無い場合に方法が動作１４２０に進むかどうかを決定する。動作１４２０では、方法は、必要に応じて、ある期間待機する。一実施形態では、待機間はゼロである一方で、別の実施形態では、方法は、動作１４０４に戻る前および上記のように繰り返す前に、例えば１００ミリ秒、１秒、１分などのある期間、待機する。

動作１４０２では、視線チェックが始められ、方法は、視線状態がチェックされる動作１４１０に進む。動作１４１２では、方法動作は、アクションを起こすことが必要とされるかどうかを状態変数の値および視線状態に基づいて判断する。

動作１４１４では、チェックが、アクションが必要とされるかどうかを判断するためになされ、アクションが必要とされる場合、方法は、アラームが起動される動作１４１６に進行する。アクションが必要とされない場合、方法は、動作１４２０に戻り進む。動作１４１６の後、方法は、アラーム条件がクリアされるまで待機するために動作１４１８に進む。例えば、アラーム条件は、運転者が前方を見ていることが検出されるとき、あるいは潜在的な衝突条件がクリアされるときに、クリアされ得る。

図１５Ａ〜図１５Ｃは、発明の実施形態についての異なる状態図を例示する。図１５Ａは、ユーザの視線の状態に基づいて挙動を変える視線検出アプリケーションの状態図を示す。状態５５２では、ユーザの視線は計器盤の表示部から外れる。車の計器盤上の表示部は薄暗くされ、ナビゲーションシステムは、どこで曲がるかの指示を、いわゆるターンバイターン方式で音声や言葉でユーザに与える。

状態５５４では、ユーザの視線は表示部上にある。従って、計器盤の表示部は、高輝度で、オンにされ、運転方向が、計器盤の表示部内の地図上に提供される。本明細書において、「視線がオン」とは、ユーザの視線が視線検出システムの対象に定められた状態のことを言い、「視線がオフ」とは、ユーザの視線が視線検出システムの対象に定められていない状態のことを言う。

状態５５２と状態５５４との間の推移は、視線状態の変化によってトリガされる。状態機械が状態５５２にあり、視線状態がオンに変わると、状態機械は状態５５２から状態５５４に推移し、状態機械が状態５５４にあり、視線状態がオフに変わると、状態機械は状態５５４から状態５５２に推移する。

図１５Ｂは、視線検出を用いるインタラクティブな玩具のための状態機械を表わす。状態機械は、３つの状態、すなわち、玩具がオンである状態５５６、玩具がオフである状態５６０、および玩具が言葉による合図をユーザに提供し、それらの注意を集める状態５５８を含む（インタラクティブな玩具について上記した例を参照のこと）。

状態５５６における間、視線状態がオフに切り換わる場合、状態機械は状態５５８に推移する。状態５５８における間に視線状態が「オン」に再び変わる場合には、状態機械は状態５５６に戻る。しかしながら、状態５５８における間、子供の視線が閾値期間に検出されない場合、状態機械は、玩具がオフにされる状態５６０に推移する。最終的には、玩具がオンにされるときに遷移は状態５６０から状態５５６に行われることになる。

図１５Ａから図１５Ｃに例示された実施形態は例示的なものであることを留意されたい。状態図は、少なくとも１つの機能が視線検出状態に基づく種々の機能を実行するためにより多くの状態を含み得る状態図の簡易形態である。他の実施形態は、デバイスの状態を判断するために、あるいは状態推移を判断するために、視線を他のパラメータと組み合わせ得る。従って、本明細書に例示された実施形態は、排他的または限定的なものと解釈されるべきではなく、むしろ、例示的または説明的なものと解釈されるべきである。

図１５Ｃは、視線検出を使用する衝突検出用途の状態図を表わす。状態５７８では、運転者は運転しており、アラーム条件は存在しない。状態５８０および５７２はアラーム状態、すなわち、イベントが、運転者に提示される、起こり得る警報条件をシステムに評価させる状態である。状態５８２および５７４は、警報がユーザに提示される状態であり、状態５７６は、システムが運転者が左折していることを検出する状態である。前に記したように、状態図は簡易図である。状態機械の別の実施形態は、他の状態、例えば右折すること、バックすることなどを含む可能性がある。

状態５７８における間、起こり得る衝突が検出される場合、状態機械は状態５８０に推移する。起こり得る衝突は、車が前方の車に近づいているときに検出されるが、運転者が衝突に反応し回避するのに十分な時間がまだある。しかしながら、状態５７８における間、衝突が差し迫っている場合、状態機械は、ユーザが警報を出される状態５８２に推移する。運転者が道路標識などを見て気を散らしている可能性があるので、運転者が前方を見ている場合でさえも、運転者に警報する重要性があるので、推移は、視線の状態とは独立してなされる。

状態５８０からの２つの起こり得る推移がある。すなわち、視線状態が「オフ」状態である場合に機械が状態５８２に推移し、システムは、運転者が状況に気付き、警報が必要とされないことを推定するので、視線状態が「オン」状態である場合に機械が状態５７８に推移する。このように、システムは、ユーザが衝突が回避され得る状況に既にあるときには、余分な警報を生成することを回避する。

状態５８２から、状態機械は、起こり得る前方衝突状態の終了が検出されるときに再び状態５７８に推移する。この条件は、前方の車からの距離が増えたとき、あるいは衝突が検出されたときに起こり、不必要に警報を作る。

図１５Ｃの左側に関して、状態機械は、左折を行う間の衝突検出に関連する状態を含む。それ故に、システムは、車が左にハンドルを切っていることを検出するときに、状態推移は状態５７８から状態５７６に行われる。左折は、運転者が別の道へ左折を行っているので、あるいは運転者が左の車線に車線変更をしているので、起こり得る。状態５７６における間、システムは、車が前方にハンドルを切っていることを検出する場合には、状態機械は再び運転状態５７８に推移する。状態５７６における間、状態機械はまた、状態５７２または状態５７４に推移し得る。推移は、起こり得る衝突が左側で検出されるときに状態５７２に行われる。このことは、例えば、左の車線上に車があるとき、あるいは衝突を引き起こすことになる反対側の方向に移動する交通があるときである可能性がある。推移は、システムが左側の衝突が差し迫っていることを検出するときに状態５７６から状態５７４に行われる。

状態５７２から、状態機械は、システムが運転者が左の車両上にそれらの視線を置くことを検出するときに状態５７６に推移し、車両が運転者の死角上に検出されるときまたは運転者の視線が左を向いていないときに状態５７４に推移する。状態５７４から、状態機械は、左における衝突の可能性の終了が判断されると状態５７６に推移する。

図１６は、発明の一実施形態に係る電子デバイスの挙動を制御するためのプロセスフローチャートである。動作１６０２では、電子デバイスは動作の第１のモードにおいて動作される。更に、動作１６０４では、電子デバイスとインターフェースをとるユーザの視線が追跡される。動作１６０４から、方法は、ユーザの視線が所定の対象の方へ向いている限り電子デバイスが動作の第１のモードを維持する動作１６０６に進む。

動作１６０８では、チェックが、ユーザの視線が所定の対象の方へ向いているかを判断するためになされる。視線が所定の対象の方へ向いている場合、方法は動作１６０６に戻り進み、視線が所定の対象の方へ向いていない場合には、方法は動作１６１０に進む。電子デバイスは、動作１６１０では、動作の第１のモードとは異なる動作の第２のモードにおいて動作される。それ故に、ユーザの視線が所定の対象から離れて動くときに、電子デバイスは、動作の異なるモードに変わる。

図１７は、発明の実施形態を実施するための例示的なコンピュータシステムの簡易概略図である。本明細書に記載された方法は、デジタル処理システム、例えば、従来の、汎用コンピュータシステムなどを用いて実行される可能性があることを理解されたい。１つの機能だけを実行するために設計されるかプログラムされる特別用途のコンピュータが、代替案において使用される可能性がある。コンピュータシステムは、バス１７１０を通してランダムアクセスメモリ（ＲＡＭ）１７２８、読み出し専用メモリ（ＲＯＭ）１７１２、および大容量ストレージデバイス１７１４に結合される中央処理装置（ＣＰＵ）１７０４を含む。視線コンピュータプログラム１７０８は、ランダムアクセスメモリ（ＲＡＭ）１７２８内にあるが、また、大容量ストレージ１７１４またはＲＯＭ１７１２内にもあり得る。

大容量ストレージデバイス１７１４は、ローカルまたはリモートであり得る、フロッピーディスクドライブまたは固定されたディスクドライブなどの永続的なデータストレージデバイスを表わす。ネットワークインターフェース１７３０は、ネットワーク１７３２経由の接続を提供し、他のデバイスとの通信を可能にする。ＣＰＵ１７０４は、汎用プロセッサ、特別用途のプロセッサ、または特別にプログラムされた論理デバイスに具現化される可能性があることを理解されたい。入出力（Ｉ／Ｏ）インターフェースは、様々な周辺装置との通信を提供し、バス１７１０を通してＣＰＵ１７０４、ＲＡＭ１７２８、ＲＯＭ１７１２、および大容量ストレージデバイス１７１４と接続する。サンプル周辺装置は、表示部１７１８、キーボード１７２２、カーソル制御１７２４、取り外し可能な媒体デバイス１７３４、カメラ１７４０、視線検出器１７４２などを含む。

表示部１７１８は、本明細書に記載されたユーザインターフェースを表示するように構成される。キーボード１７２２、カーソル制御１７２４、取り外し可能な媒体デバイス１７３４、および他の周辺装置は、ＣＰＵ１７０４への命令選択における情報を通信するためにＩ／Ｏインターフェース１７２０に結合される。外部デバイスへのデータおよび外部デバイスからのデータは、Ｉ／Ｏインターフェース１７２０を通して通信される可能性があることを理解されたい。発明はまた、タスクが有線ベースのまたは無線ネットワークを通してリンクされる遠隔処理デバイスによって実行される、分散型コンピューティング環境において実施され得る。

本発明の実施形態は、手持ち式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な消費者向け電子機器、ミニコンピュータ、汎用コンピュータおよび同様のものを含む種々のコンピュータシステム構成を用いて実施される可能性がある。発明はまた、タスクがネットワークを通してリンクされる遠隔処理デバイスによって実行される、分散型コンピューティング環境において実施され得る。

上記実施形態を念頭に置いて、発明は、コンピュータシステム内に格納されたデータを含む種々のコンピュータで実現される動作を使用することができることを理解されたい。これらの動作は、物理量の物理的操作を必要とするものである。発明の一部を形成する本明細書に記載された動作のいずれかは、有用な機械動作である。発明はまた、これらの動作を実行するためのデバイスまたは器具に関するものである。器具は、特別用途のコンピュータなどの必要とされた目的のために特別に構成され得る。特別用途のコンピュータとして定義されるとき、コンピュータはまた、特別用途の一部ではない他の処理、プログラム実行またはルーチンを実行することができる一方で、さらに、特別目的のために動作可能である。代わりに、動作は、コンピュータメモリ、キャッシュ内に格納された、あるいはネットワーク上で取得された１つ以上のコンピュータプログラムによって選択的に起動されるか構成される汎用コンピュータによって処理されてもよい。データがネットワーク上で取得されると、データは、ネットワーク上の他のコンピュータ、例えば、コンピューティングリソースのクラウドによって処理され得る。

本発明の１つ以上の実施形態はまた、コンピュータ可読媒体上のコンピュータ可読コードとして製作され得る。コンピュータ可読媒体は、データを格納し得る任意のデータストレージデバイスであり、そのデータは、その後、コンピュータシステムによって読み取られ得る。コンピュータ可読媒体の例は、ハードドライブ、ネットワークアタッチストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ‐ＲＯＭ、ＣＤ‐Ｒ、ＣＤ‐ＲＷ、磁気テープならびに他の光学式および非光学式データストレージデバイスを含む。コンピュータ可読媒体は、ネットワーク結合したコンピュータシステム上に分散されたコンピュータ可読有形物媒体を含むことができ、そのため、コンピュータ可読コードは分散型様式で格納され実行される。

方法の動作は特定の順番で記載されたが、他のハウスキーピング動作が動作の間に実行される可能性があるか、あるいは、動作は、それらの動作がわずかに異なる時間に起こるように調整される可能性があるか、または、オーバーレイ動作の処理が所望の手法で実行される限り、処理と関連付けられた種々の間隔で処理動作の発生を可能にするシステムに分散される可能性があることを理解されたい。

理解を明瞭とするために本発明をある程度詳細に記載したが、一定の変更および修正が添付された特許請求の範囲内で行われ得ることは明らかであろう。従って、本実施形態は、例示的なものであって限定的なものではないとみなされており、発明は、本明細書に与えられた詳細に限定されるものではなくて、添付された特許請求の範囲およびその均等物内で修正される可能性がある。

Claims (11)

1. 電子デバイスの挙動を制御するための方法であって、
   前記電子デバイスをピクチャー・イン・ピクチャー表示部を提供するよう動作させ、前記ピクチャー・イン・ピクチャー表示部は、前記表示部の第１領域に第１ビデオを表示し、かつ、前記表示部の第２領域に第２ビデオを表示することと、
   前記電子デバイスとインターフェースをとるユーザの視線を追跡し、かつ、前記第１ビデオおよび第２ビデオのうち、前記ユーザの前記視線が置かれていない一方のビデオに提供されるコンピューティングリソースよりも、前記ユーザの前記視線が置かれている他方のビデオに表示された前記ビデオを処理するためにより多くのコンピューティングリソースを提供し、
   前記視線が前記第１領域の方へ向けられている限り、前記電子デバイスを前記ピクチャー・イン・ピクチャー表示部を提供するよう維持することと、
   前記視線が閾値を超える時間にわたって前記第２領域の方へ向けられていることを検出することと、
   前記検出に応答して、前記ピクチャー・イン・ピクチャー表示部内の前記第１ビデオ及び第２ビデオを切り替えて、前記第２ビデオを前記第１領域に、前記第１ビデオを前記第２領域に表示することと、を含む、方法。
2. 前記視線が前記表示部から離れているときは、動作モードを変更し、前記動作モードの変更には、前記第１ビデオを一時停止すること、前記第１ビデオを記録すること、前記第１ビデオの音量を上げるまたは下げること、および前記電子デバイスをオフにすることのうちの１つ以上を含む、請求項１に記載の方法。
3. 前記ユーザの前記視線を追跡することは、
   前記ユーザの前記視線の方向を周期的にチェックすることを更に含む、請求項１に記載の方法。
4. 前記視線を検出することは、
   前記視線が、前記視線の前記方向をチェックする複数の連続期間にわたり前記第２領域に向けられているときに、前記視線が前記第２領域に向けられていると判断することを更に含む、請求項３に記載の方法。
5. 前記視線が所定の時間にわたって前記表示部から離れていることを検出した後に前記電子デバイスを動作させることを更に含む、請求項１に記載の方法。
6. 前記視線が所定の時間にわたって前記表示部から離れていることを検出した後に前記電子デバイスを一時中断することを更に含む、請求項５に記載の方法。
7. 電子デバイスであって、
   前記電子デバイスとインターフェースをとるユーザの視線が所定の対象の方へ向けられているかどうかを判断する視線検出モジュールと、
   動作の第１のモードおよび動作の第２のモードを含む動作の異なるモードを有するプロセッサと、を備え、
   前記プロセッサは、前記ユーザの前記視線が前記所定の対象の方へ向けられている間に前記動作の第１のモードにおいて動作し、前記プロセッサは、前記視線検出モジュールが、前記ユーザの前記視線が前記所定の対象の方へ向けられていないことを検出した後に前記動作の第２のモードにおいて動作し、
   各表示範囲が複数のビデオのうちの１つを示す複数の表示範囲に分割された表示部を有し、
   前記視線検出モジュールは、前記複数の表示範囲を観ているユーザの全ての前記視線を判断し、どの前記表示範囲が少数の前記ユーザの前記視線が置かれているかを判断し、
   前記プロセッサは、前記少数の前記ユーザの前記視線が置かれている前記表示範囲のビデオ供給を変更し、前記ビデオ供給と関連付けられた音声が再生される、電子デバイス。
8. 前記ユーザの前記視線を追跡することは、複数の視線検出部を動作させることを含む、請求項１に記載の方法。
9. 電子デバイスであって、
   表示部を備えるとともに前記表示部の第１領域に第１ビデオを表示されたピクチャー・イン・ピクチャー表示部を表示し、かつ、前記ピクチャー・イン・ピクチャー表示部の前記表示部の第２領域に第２ビデオを表示するピクチャー・イン・ピクチャー表示部と、
   複数の視線検出モジュールからの情報が、ディスプレイとインターフェースをとるユーザの視線の方向を判断するために組み合わされる、当該複数の視線検出モジュールと、
   前記視線の前記方向が前記第１領域又は第２領域のいずれかに向けられているかどうかを検出するプロセッサと、を有し、前記プロセッサは、前記第１ビデオおよび第２ビデオのうち、前記ユーザの前記視線が置かれていない一方のビデオに提供されるコンピューティングリソースよりも、前記ユーザの前記視線が置かれている他方のビデオを処理するためにより多くのコンピューティングリソースを提供し、かつ、前記プロセッサは、前記視線が前記第２領域に所定時間にわたって向けられていることを前記プロセッサが検出したときに前記ピクチャー・イン・ピクチャー表示部内の前記第１ビデオと前記第２ビデオとを切り替え、前記切り換えの後に、前記第１ビデオは前記表示部の第２領域に表示され、前記第２ビデオは前記表示部の前記第１領域に表示される、電子デバイス。
10. 前記切り替えでは、更に、
    前記視線が前記表示部の第２領域に向いていると検出されたときに前記第１ビデオと前記第２ビデオの切り換えを承認するよう前記ユーザを促し、かつ、
    前記促されたユーザからの応答に基づいて切り換えを行う、請求項１に記載の方法。
11. 前記切り換えのための前記ユーザからの許可は必要とされない、請求項１に記載の方法。

Images