JP5716345B2 - Correction value calculation apparatus, correction value calculation method, and correction value calculation program - Google Patents
Correction value calculation apparatus, correction value calculation method, and correction value calculation program Download PDFInfo
- Publication number
- JP5716345B2 JP5716345B2 JP2010226904A JP2010226904A JP5716345B2 JP 5716345 B2 JP5716345 B2 JP 5716345B2 JP 2010226904 A JP2010226904 A JP 2010226904A JP 2010226904 A JP2010226904 A JP 2010226904A JP 5716345 B2 JP5716345 B2 JP 5716345B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- subject
- sight
- correction value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
Description
本発明は、補正値を算出する補正値算出装置、補正値算出方法および補正値算出プログラムに関する。 The present invention relates to a correction value calculation device, a correction value calculation method, and a correction value calculation program for calculating a correction value.
人の視線を検出する技術として、近赤外線を対象者の眼球に照射して、角膜表面における反射像の位置から得られる角膜曲率中心と瞳孔中心から視線を検出するものがある。しかし、角膜表面における反射像を利用して検出される視線（以下、「仮の視線」という）と、実際の視線との間には、対象者に固有の誤差が生じる。 As a technique for detecting a person's line of sight, there is a technique of irradiating a subject's eyeball with near infrared rays and detecting the line of sight from the center of corneal curvature obtained from the position of a reflected image on the corneal surface and the center of the pupil. However, an error peculiar to the subject is generated between a line of sight detected using a reflection image on the corneal surface (hereinafter referred to as “temporary line of sight”) and an actual line of sight.
対象者に固有の誤差の発生要因としては、例えば、角膜表面における光の屈折率、眼球形状、眼球中心に対する中心窩のズレなどの個人差がある。そのため、実際の視線と仮の視線との誤差を補正するために、キャリブレーションと呼ばれる仮の視線を補正するための処理が行われる。キャリブレーションでは、対象者に固有の補正値を用いて仮の視線を補正する。 Factors causing the error inherent to the subject include individual differences such as the refractive index of light on the cornea surface, the eyeball shape, and the deviation of the fovea from the center of the eyeball. Therefore, in order to correct an error between the actual visual line and the temporary visual line, a process for correcting the temporary visual line called calibration is performed. In the calibration, a temporary line of sight is corrected using a correction value unique to the subject.
従来、対象者に固有の補正値は、視線検出前の段階に対象者の協力の下で行われる事前手続において求める。事前手続では、画面上に表示される複数のマーカを順に注視するように対象者に指示する。そして、事前手続では、対象者が指示されたマーカを注視した際の仮の視線と、対象者の眼球からマーカに向かう視線との誤差から補正値を算出する。 Conventionally, the correction value unique to the subject is obtained in a pre-procedure performed under the cooperation of the subject before the eye-gaze detection. In the pre-procedure, the subject is instructed to watch the plurality of markers displayed on the screen in order. In the pre-procedure, a correction value is calculated from an error between a temporary line of sight when the subject gazes at the instructed marker and a line of sight from the eyeball of the subject toward the marker.
一方で、事前手続は、対象者の協力の下に行われるため、対象者に負担がかかるとともに、対象者の視線の検出を開始するまでに時間がかかってしまう。そこで、従来において、事前手続を行うことなく、対象者の視線を検出するための技術が各種開示されている。 On the other hand, since the pre-procedure is performed in cooperation with the target person, it takes a burden on the target person and it takes time to start detecting the line of sight of the target person. Therefore, conventionally, various techniques for detecting the line of sight of the subject without performing a preliminary procedure have been disclosed.
しかしながら、上述した従来技術によれば、画面に表示される任意の画像を見ている対象者の視線検出中に、対象者の個人差にともなう誤差を補正するための補正値を求めることが難しいという問題がある。 However, according to the above-described prior art, it is difficult to obtain a correction value for correcting an error due to individual differences of the target person while detecting the line of sight of the target person who is viewing an arbitrary image displayed on the screen. There is a problem.
本発明は、上述した従来技術による問題点を解消するため、対象者の個人差にともなう視線の誤差を正確に補正するための補正値を求めることができる補正値算出装置、補正値算出方法および補正値算出プログラムを提供することを目的とする。 In order to solve the above-described problems caused by the prior art, the present invention provides a correction value calculating apparatus, a correction value calculating method, and a correction value calculating method capable of obtaining a correction value for accurately correcting an eye-gaze error due to individual differences among subjects. An object is to provide a correction value calculation program.
上述した課題を解決し、目的を達成するため、開示の補正値算出装置、補正値算出方法および補正値算出プログラムは、被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得し、前記表示画像を区切って分割された区画群の中から、取得された前記被写体の視線位置を含む区画を検索し、検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出し、算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定し、前記区画ごとに、取得された前記被写体の視線位置と、決定された前記区画内の注視点の座標位置とを関連付け、前記区画ごとの関連付け結果のうち複数の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出する。 In order to solve the above-described problems and achieve the object, a disclosed correction value calculation device, correction value calculation method, and correction value calculation program are displayed on a screen of a display device based on a photographed image of a subject's eye. The line-of-sight position of the subject is acquired, and a section including the acquired line-of-sight position of the subject is searched from a group of sections divided by dividing the display image, and pixels included in the searched section Based on the pixel value, a feature amount obtained by extracting features for each region in the partition is calculated, and based on the calculated feature amount for each region, any one of the plurality of regions in the partition is The gazing point that the subject is gazing at is determined, and for each section, the acquired gaze position of the subject is associated with the determined coordinate position of the gazing point within the section, and the association result for each section Multiple wards Based on the association result, and calculates a unique compensation value to said subject.
本補正値算出装置、補正値算出方法および補正値算出プログラムによれば、対象者の個人差にともなう視線の誤差を正確に補正するための補正値を求めることができるという効果を奏する。 According to the present correction value calculation device, correction value calculation method, and correction value calculation program, there is an effect that a correction value for accurately correcting a line-of-sight error due to individual differences among subjects can be obtained.
以下に添付図面を参照して、本発明にかかる補正値算出装置、補正値算出方法および補正値算出プログラムの好適な実施の形態を詳細に説明する。 Exemplary embodiments of a correction value calculation apparatus, a correction value calculation method, and a correction value calculation program according to the present invention will be described below in detail with reference to the accompanying drawings.
（実施の形態１）
まず、実施の形態１にかかる補正値算出装置１０１が適用されるシステム１００の一実施例について説明する。図１は、実施の形態１にかかる補正値算出装置が適用されるシステムの一実施例を示す説明図である。
(Embodiment 1)
First, an example of the
図１において、システム１００は、補正値算出装置１０１と、視線検出装置１０２と、表示装置１０３と、撮影装置１０４と、を含む。システム１００において、補正値算出装置１０１と、視線検出装置１０２と、表示装置１０３と、撮影装置１０４とは、有線または無線のネットワーク１１０を介して通信可能に接続されている。
In FIG. 1, a
システム１００は、例えば、商業施設、空港、駅などに設置されるデジタルサイネージ（電子看板）を利用した広告システムや、ｅラーニング（ｅｌｅｃｔｒｏｎｉｃ ｌｅａｒｎｉｎｇ）を利用した学習システムなどに適用される。
The
補正値算出装置１０１は、表示装置１０３が有する画面１０５に対向している被写体１２０に固有の補正値を算出する。ここで、被写体１２０とは、撮影装置１０４の撮影対象となる人である。例えば、被写体１２０は、画面１０５を見ながら作業をしているユーザでもよく、また、表示装置１０３の前を通りかかって画面１０５を見ている通行人でもよい。
The correction
また、被写体１２０に固有の補正値とは、キャリブレーションに用いるパラメータの値である。キャリブレーションとは、被写体１２０の眼球１２１の角膜表面における光の屈折率、眼球形状、眼球中心に対する中心窩のズレなどの個人差にともなう視線の誤差を補正するための処理である。
The correction value unique to the subject 120 is a parameter value used for calibration. Calibration is a process for correcting gaze errors due to individual differences such as the refractive index of light on the cornea surface of the
視線検出装置１０２は、表示装置１０３が有する画面１０５に対向している被写体１２０の視線位置を検出する。また、視線検出装置１０２は、補正値算出装置１０１によって算出された被写体１２０に固有の補正値を用いて、被写体１２０の視線位置を補正する。ここで、被写体１２０の視線位置とは、被写体１２０の視線と画面１０５の表示画像ＳＰとが交差する表示画像ＳＰ上の点の座標位置である。
The line-of-
被写体１２０の視線は、例えば、被写体１２０の眼球１２１の角膜曲率中心１２２から瞳孔１２３の瞳孔中心１２４に向かうベクトル（以下、「第１の視線ベクトルＶ１」と表記する）によって定義される。ここで、第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置には、被写体の個人差にともなう誤差が含まれている可能性がある。そこで、以下の説明では、第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の視線位置を「仮の視線位置ＶＰ」と表記する。
The line of sight of the subject 120 is defined by, for example, a vector (hereinafter referred to as “first line-of-sight vector V1”) from the
具体的には、例えば、視線検出装置１０２が、撮影装置１０４によって撮影された被写体１２０の眼の撮影画像に基づいて、被写体１２０の第１の視線ベクトルＶ１を算出する。ここで、被写体１２０の眼とは、被写体１２０の眼球１２１の表面であり、例えば、まぶたの動きに連動して露出する黒眼と白眼を含む眼球１２１の表面である。そして、視線検出装置１０２が、算出された被写体１２０の第１の視線ベクトルＶ１と、画面１０５と被写体１２０の眼球１２１との距離に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する。なお、画面１０５と被写体１２０の眼球１２１との距離は、例えば、予め設定されている。
Specifically, for example, the line-of-
表示装置１０３は、画面１０５に表示画像ＳＰを表示する。画面１０５に表示される表示画像ＳＰは、例えば、任意の時間間隔で連続的に切り替わる。表示画像ＳＰは、例えば、デジタルサイネージの広告画像でもよく、また、ｅラーニングのための教材画像でもよい。撮影装置１０４は、画面１０５に対向している被写体１２０の眼を撮影する。撮影装置１０４は、画面１０５に対向している被写体１２０の眼を撮影可能な所定の位置に設置されている。
The
実施の形態１では、表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量に基づいて、被写体１２０が注視している注視点Ｇを決定する。そして、実施の形態１では、被写体１２０の実際の視線が注視点Ｇに向いていると仮定して、被写体１２０の眼の撮影画像から得られる仮の視線位置ＶＰを注視点Ｇに略一致させるための被写体１２０に固有の補正値を算出する。 In the first embodiment, the gazing point G at which the subject 120 is gazing is determined based on the feature amount obtained by extracting the feature for each region on the display image SP. In the first embodiment, it is assumed that the actual line of sight of the subject 120 faces the gazing point G, and the temporary sight line position VP obtained from the captured image of the eye of the subject 120 is made to substantially coincide with the gazing point G. Therefore, a correction value specific to the subject 120 is calculated.
また、実施の形態１では、被写体１２０に固有の補正値を正確に求めるために、表示画像ＳＰ上の仮の視線位置ＶＰと注視点Ｇとのペアを複数求めて、被写体１２０に固有の補正値を統計的に求める。ところが、被写体１２０が注視している注視点Ｇは、表示画像ＳＰ上の特定の領域に偏る場合がある。この場合、被写体１２０に固有の補正値を複数のペアから統計的に求めても、注視点Ｇの位置的な偏りにより、正確な補正値を算出することができない場合がある。 Further, in the first embodiment, in order to accurately obtain a correction value unique to the subject 120, a plurality of pairs of the temporary gaze position VP and the gazing point G on the display image SP are obtained, and correction unique to the subject 120 is obtained. Find the value statistically. However, the gazing point G at which the subject 120 is gazing may be biased toward a specific area on the display image SP. In this case, even if a correction value unique to the subject 120 is statistically obtained from a plurality of pairs, an accurate correction value may not be calculated due to the positional deviation of the gazing point G.
そこで、実施の形態１では、画面１０５の表示画像ＳＰを区切って分割された区画ごとに仮の視線位置ＶＰと注視点Ｇとのペアを求め、複数の区画のペアに基づいて、被写体１２０に固有の補正値を算出する。これにより、被写体１２０に固有の補正値の算出元となるペアが特定の区画に偏ることを防ぎ（すなわち、注視点Ｇの位置的な偏りを防ぎ）、被写体１２０に固有の補正値を正確に求める。以下、図２を用いて、被写体１２０に固有の補正値を算出する補正値算出装置１０１の処理手順（１）〜（７）について説明する。
Therefore, in the first embodiment, a pair of the temporary gaze position VP and the gazing point G is obtained for each section divided by dividing the display image SP of the
図２は、実施の形態１にかかる補正値算出装置の補正値算出処理の一実施例を示す説明図である。（１）補正値算出装置１０１は、撮影装置１０４によって撮影された被写体１２０の眼の撮影画像に基づく被写体１２０の仮の視線位置ＶＰを視線検出装置１０２から取得する。具体的には、例えば、補正値算出装置１０１が、被写体１２０の仮の視線位置ＶＰ１を視線検出装置１０２から取得する。
FIG. 2 is an explanatory diagram of an example of the correction value calculation process of the correction value calculation apparatus according to the first embodiment. (1) The correction
（２）補正値算出装置１０１は、画面１０５の表示画像ＳＰを区切って分割された区画群の中から、取得された被写体１２０の仮の視線位置ＶＰを含む区画を検索する。ここで、区画とは、表示画像ＳＰを任意の大きさに区切って分割された所定範囲の領域である。具体的には、例えば、補正値算出装置１０１が、区画Ｄ１〜Ｄ４の中から、仮の視線位置ＶＰ１を含む区画Ｄ１を検索する。
(2) The correction
（３）補正値算出装置１０１は、検索された区画に含まれる画素の画素値に基づいて、区画内の領域ごとの特徴を抽出した特徴量を算出する。ここで、領域とは、例えば、表示画像ＳＰを画素単位で区切って分割した画像領域である。画素値とは、例えば、画素の赤色、緑色、青色ごとの輝度である。
(3) The correction
また、特徴量とは、人間の視覚的な注意を引きつける強さを表す指標値である。すなわち、特徴量が大きい領域ほど、人間の視覚的な注意を引きつける強さが大きい領域となる。具体的には、例えば、補正値算出装置１０１が、表示画像ＳＰに含まれる画素の画素値に基づいて、領域ごとの特徴を強調する処理を行うことにより、領域ごとの特徴量を算出する。
The feature amount is an index value representing the strength that attracts human visual attention. That is, the region having a larger feature amount is a region having a greater strength for attracting human visual attention. Specifically, for example, the correction
（４）補正値算出装置１０１は、算出された区画内の領域ごとの特徴量に基づいて、区画内の複数の領域のいずれかの領域を、被写体１２０が注視している注視点Ｇに決定する。ここで、特徴量が大きい領域ほど、人間の視覚的な注意を引きつける強さが大きくなるため、人間の視線が向きやすい領域として扱うことができる。
(4) The correction
そこで、補正値算出装置１０１が、複数の領域のうち他の領域に比べて特徴量が大きい領域を、被写体１２０が注視している注視点Ｇに決定する。具体的には、例えば、補正値算出装置１０１が、区画Ｄ１内の領域ごとの特徴量に基づいて、区画Ｄ１内の領域Ａ１を、被写体１２０が注視している注視点Ｇ１に決定する。
Therefore, the correction
（５）補正値算出装置１０１は、取得された仮の視線位置ＶＰと、決定された注視点Ｇの座標位置とを関連付ける。具体的には、例えば、補正値算出装置１０１が、取得された仮の視線位置ＶＰ１と、決定された注視点Ｇ１の座標位置とをペアＰ１として関連付ける。
(5) The correction
（６）補正値算出装置１０１は、上記（１）〜（５）を繰り返した結果、関連付けられた区画ごとの関連付け結果のうち、複数の区画の関連付け結果に基づいて、被写体１２０に固有の補正値を算出する。ここで、被写体１２０の実際の視線は、眼球１２１から注視点Ｇに向かうベクトル（以下、「第２の視線ベクトルＶ２」と表記する）であると推定することができる。そこで、補正値算出装置１０１が、被写体１２０の実際の視線が注視点Ｇに向いていると仮定して、第１の視線ベクトルＶ１を第２の視線ベクトルＶ２に略一致させるための補正値を算出する。
(6) As a result of repeating the above (1) to (5), the correction
具体的には、例えば、補正値算出装置１０１が、区画Ｄ１〜Ｄ４ごとのペアＰ１〜Ｐ４のうち、少なくとも２以上の区画のペアに基づいて、被写体１２０に固有の補正値を算出する。ペアＰ２は、区画Ｄ２内の仮の視線位置ＶＰ２と注視点Ｇ２の座標位置との関連付け結果である。ペアＰ３は、区画Ｄ３内の仮の視線位置ＶＰ３と注視点Ｇ３の座標位置との関連付け結果である。ペアＰ４は、区画Ｄ４内の仮の視線位置ＶＰ４と注視点Ｇ４の座標位置との関連付け結果である。
Specifically, for example, the correction
（７）補正値算出装置１０１は、算出された被写体１２０に固有の補正値を視線検出装置１０２に出力する。この結果、視線検出装置１０２において、被写体１２０に固有の補正値を用いて、被写体１２０の眼の撮影画像に基づく仮の視線位置ＶＰ（第１の視線ベクトルＶ１）を補正して、被写体１２０の個人差にともなう誤差を補正した視線を検出することができる。
(7) The correction
以上説明したように、実施の形態１にかかる補正値算出装置１０１によれば、画面１０５の表示画像ＳＰを区切って分割された区画Ｄ１〜Ｄ４ごとに、仮の視線位置ＶＰと注視点Ｇとを関連付けることができる。これにより、表示画像ＳＰ上の複数の区画の仮の視線位置ＶＰと注視点Ｇとのペア（例えば、ペアＰ１〜Ｐ４）を求めることができる。
As described above, according to the correction
また、補正値算出装置１０１によれば、区画ごとのペアのうち、少なくとも２以上の区画のペアに基づいて、被写体１２０に固有の補正値を算出することができる。これにより、被写体１２０に固有の補正値の算出元となるペアが特定の区画に偏ることを防ぎ、被写体１２０に固有の補正値を正確に求めることができる。
Further, according to the correction
これらのことから、実施の形態１にかかる補正値算出装置１０１によれば、視線検出前の段階に被写体１２０の協力の下で行われる事前手続を行うことなく、被写体１２０に固有の補正値を正確に求めることができる。また、補正値算出装置１０１によれば、被写体１２０に固有の補正値を求めるために、特定の画像を予め用意する必要がなく、さらに、特定の画像を被写体１２０に対して呈示する必要がない。
Therefore, according to the correction
（実施の形態２）
つぎに、実施の形態２にかかる視線検出装置３００について説明する。実施の形態２では、実施の形態１で説明した補正値算出装置１０１を視線検出装置３００に適用した場合について説明する。なお、実施の形態１で説明した箇所と同一箇所については、同一符号を付して説明を省略する。
(Embodiment 2)
Next, the line-of-
（視線検出装置３００のハードウェア構成）
まず、実施の形態２にかかる視線検出装置３００のハードウェア構成について説明する。図３は、実施の形態２にかかる視線検出装置のハードウェア構成の一例を示すブロック図である。図３において、視線検出装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、ＲＯＭ（Ｒｅａｄ‐Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３と、磁気ディスクドライブ３０４と、磁気ディスク３０５と、光ディスクドライブ３０６と、光ディスク３０７と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０８と、キーボード３０９と、マウス３１０と、ディスプレイ３１１と、カメラ３１２と、を備えている。また、各構成部はバス３２０によってそれぞれ接続されている。
(Hardware configuration of line-of-sight detection device 300)
First, the hardware configuration of the visual
ここで、ＣＰＵ３０１は、視線検出装置３００の全体の制御を司る。ＲＯＭ３０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。磁気ディスクドライブ３０４は、ＣＰＵ３０１の制御にしたがって磁気ディスク３０５に対するデータのリード／ライトを制御する。磁気ディスク３０５は、磁気ディスクドライブ３０４の制御で書き込まれたデータを記憶する。
Here, the
光ディスクドライブ３０６は、ＣＰＵ３０１の制御にしたがって光ディスク３０７に対するデータのリード／ライトを制御する。光ディスク３０７は、光ディスクドライブ３０６の制御で書き込まれたデータを記憶したり、光ディスク３０７に記憶されたデータをコンピュータに読み取らせたりする。
The
Ｉ／Ｆ３０８は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク３１４に接続され、ネットワーク３１４を介して他の装置に接続される。そして、Ｉ／Ｆ３０８は、ネットワーク３１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ３０８には、例えばモデムやＬＡＮアダプタなどを採用することができる。
The I /
キーボード３０９は、文字、数字、各種指示などの入力のためのキーを備え、データの入力を行う。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス３１０は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などを行う。
The
ディスプレイ３１１は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ３１１は、例えば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。カメラ３１２は、ディスプレイ３１１に対向している被写体の眼を撮影するためのデジタルカメラである。カメラ３１２は、例えば、被写体の眼を撮影するための専用カメラであってもよく、また、監視カメラやウェブカメラなどであってもよい。
The
（ディスプレイ３１１の外観）
つぎに、視線検出装置３００のディスプレイ３１１の外観について説明する。図４は、ディスプレイの外観の一例を示す説明図である。図４において、ディスプレイ３１１には、カメラ３１２と赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）４０１が設置されている。
(Appearance of display 311)
Next, the appearance of the
カメラ３１２は、ディスプレイ３１１に対向している被写体の眼４０２を撮影可能な位置に設置されている。赤外線ＬＥＤ４０１は、近赤外線を照射する点光源である。赤外線ＬＥＤ４０１は、例えば、カメラ３１２の光軸から外れた位置から、被写体の眼４０２に近赤外線を照射可能な状態で設置されている。
The
（各種座標系５１０，５２０，５３０）
ここで、被写体の視線検出に使用する各種座標系５１０，５２０，５３０について説明する。図５は、視線検出に使用する座標系の一例を示す説明図である。図５において、画像座標系５１０は、例えば、カメラ３１２によって撮影された被写体の眼の撮影画像（以下、「眼球画像ＥＰ」という）の所定の基準点を原点ＯPとするＸP軸とＹP軸からなる直交座標系である。
(Various coordinate
Here, various coordinate
カメラ座標系５２０は、例えば、カメラ原点ＯCをカメラ３１２の光学中心とするＸC軸とＹC軸とＺC軸とからなる直交座標系である。世界座標系５３０は、例えば、ディスプレイ３１１上の所定の基準点を原点ＯWとするＸW軸とＹW軸とＺW軸とからなる直交座標系である。
The camera coordinate
（視線検出装置３００の機能的構成）
つぎに、実施の形態２にかかる視線検出装置３００の機能的構成について説明する。図６は、視線検出装置の機能的構成を示すブロック図である。図６において、視線検出装置３００は、取得部６０１と、視線算出部６０２と、分割部６０３と、検索部６０４と、特徴量算出部６０５と、注視点決定部６０６と、関連付け部６０７と、登録／更新部６０８と、補正値算出部６０９と、補正部６１０と、出力部６１１と、判断部６１２と、誤差算出部６１３と、区画決定部６１４と、を含む。
(Functional configuration of the line-of-sight detection device 300)
Next, a functional configuration of the visual
各機能部（取得部６０１〜区画決定部６１４）は、例えば、図３に示したＲＯＭ３０２、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、Ｉ／Ｆ３０８により、その機能を実現する。なお、各機能部（取得部６０１〜区画決定部６１４）の処理結果は、特に指定する場合を除いて、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶される。
Each functional unit (
まず、取得部６０１は、例えば、連続的に表示が切り替わるディスプレイ３１１の表示画像ＳＰを取得する。具体的には、例えば、取得部６０１が、ディスプレイ３１１に表示された画面イメージを画像データとしてキャプチャすることにより表示画像ＳＰを取得する。
First, the
表示画像ＳＰは、動画像でも任意の時間間隔で表示が切り替わる静止画像でもよい。また、取得部６０１による表示画像ＳＰの取得タイミングは、任意に設定可能である。例えば、取得部６０１は、ディスプレイ３１１の表示が切り替わるごとに表示画像ＳＰを取得してもよい。また、取得部６０１は、一定の時間間隔で表示画像ＳＰを取得してもよい。
The display image SP may be a moving image or a still image whose display is switched at an arbitrary time interval. The acquisition timing of the display image SP by the
取得部６０１は、ディスプレイ３１１に対向している被写体の眼（眼球）の眼球画像ＥＰをカメラ３１２から取得する。ここで、被写体とは、カメラ３１２によって撮影される対象者である。例えば、被写体は、ディスプレイ３１１を見ながら作業をしているユーザでもよく、また、ディスプレイ３１１の前を通りかかってディスプレイ３１１を見ている通行人でもよい。
The
また、被写体の眼（眼球）とは、被写体の眼球表面であり、例えば、まぶたの動きに連動して露出する黒眼と白眼を含む部分である。なお、以下の説明では、被写体として「人」を例に挙げて説明するが、被写体は眼球を有するゴリラや猿などの「人に準ずる動物」でもよい。 The subject's eye (eyeball) is the surface of the subject's eyeball, and is, for example, a part including black eyes and white eyes that are exposed in conjunction with eyelid movement. In the following description, “person” is taken as an example of the subject, but the subject may be an “animal similar to a person” such as a gorilla or monkey having an eyeball.
また、取得部６０１による眼球画像ＥＰの取得タイミングは、任意に設定可能である。例えば、取得部６０１は、一定の時間間隔で眼球画像ＥＰを取得してもよい。また、取得部６０１は、表示画像ＳＰの取得タイミングと同期を取って、眼球画像ＥＰを取得してもよい。また、眼球画像ＥＰに写る被写体の眼球は、片眼でも両眼でもよい。
Moreover, the acquisition timing of the eyeball image EP by the
取得された眼球画像ＥＰは、例えば、取得された眼球画像ＥＰの撮影時にディスプレイ３１１に表示中の表示画像ＳＰと関連付けてＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶される。なお、眼球画像ＥＰには、例えば、眼球画像ＥＰの撮影時刻が付加されている。ここで、カメラ３１２によって撮影された眼球画像ＥＰの具体例について説明する。
The acquired eyeball image EP is stored in a storage device such as the
図７は、眼球画像の具体例を示す説明図である。図７において、眼球画像ＥＰは、カメラ３１２によって人の眼球７００を撮影した画像である。なお、図面では眼球画像ＥＰの一部を抜粋して表示している。ここでは、図４に示した赤外線ＬＥＤ４０１により、眼球７００に向けて近赤外線を照射して撮影している。このため、眼球画像ＥＰにおいて、瞳孔７０１が虹彩７０２と比較して暗くなり、角膜表面にプルキニエ像７０３が現れている。プルキニエ像７０３とは、眼球７００に近赤外線を照射した際に現れる角膜表面における反射像である。
FIG. 7 is an explanatory diagram illustrating a specific example of an eyeball image. In FIG. 7, an eyeball image EP is an image obtained by photographing a
図６の説明に戻り、視線算出部６０２は、取得された眼球画像ＥＰに基づいて、被写体の眼球からディスプレイ３１１に向かう第１の視線ベクトルＶ１を算出する。具体的には、例えば、視線算出部６０２が、人の眼球に近赤外線を照射したときの角膜表面における反射像（例えば、図７に示したプルキニエ像７０３）を利用して、第１の視線ベクトルＶ１を算出する。
Returning to the description of FIG. 6, the line-of-
ただし、世界座標系５３０におけるディスプレイ３１１と被写体の眼球とのＺW軸方向の距離は、予め設定されている。具体的には、例えば、ディスプレイ３１１を、商業施設、空港、駅などに設置されるデジタルサイネージとして使用する場合、ディスプレイ３１１と被写体の眼球とのＺW軸方向の距離は１００〜１３０［ｃｍ］程度に設定される。また、ディスプレイ３１１を、パーソナル・コンピュータの画面として使用する場合、ディスプレイ３１１と被写体の眼球とのＺW軸方向の距離は３０〜５０［ｃｍ］程度に設定される。
However, the distance in the Z W axis direction between the
また、世界座標系５３０におけるカメラ３１２の設置位置は、既知の値である。このため、カメラ３１２によって撮影された被写体の眼球画像ＥＰから第１の視線ベクトルＶ１を算出することができる。なお、第１の視線ベクトルＶ１を算出する具体的な処理内容は、図１５および図１６を用いて後述する。
Further, the installation position of the
ここで、第１の視線ベクトルＶ１は、例えば、下記式（１）を用いて、極座標系におけるベクトルによって表現される。ただし、Ｖ１は、第１の視線ベクトルである。また、ｒ１は動径であり、世界座標系５３０の原点ＯWから眼球までの距離である。また、θ１は偏角であり、第１の視線ベクトルＶ１と世界座標系５３０の基準軸（例えば、ＺW軸）とのなす角である。また、φ１は偏角であり、第１の視線ベクトルＶ１と世界座標系５３０の基準軸（例えば、ＸW軸）とのなす角である。
Here, the first line-of-sight vector V1 is expressed by a vector in the polar coordinate system using, for example, the following formula (1). However, V1 is a 1st gaze vector. Further, r1 is the radius is the distance from the origin O W of the world coordinate
また、視線算出部６０２は、算出された第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する。ここで、仮の視線位置ＶＰは、被写体の眼球からディスプレイ３１１に向かう第１の視線ベクトルＶ１と、ディスプレイ３１１の表示画像ＳＰとが交差する表示画像ＳＰ上の点の座標位置である。
The line-of-
具体的には、例えば、視線算出部６０２が、第１の視線ベクトルＶ１の方向に伸びる直線と表示画像ＳＰとが交わる点の座標位置を、表示画像ＳＰ上の仮の視線位置ＶＰとして算出する。以下の説明では、仮の視線位置ＶＰの座標位置を「（ＸW，ＹW）＝（ｖｘ，ｖｙ）」と表記する。なお、仮の視線位置ＶＰを算出する具体的な処理内容については、図１７を用いて後述する。
Specifically, for example, the line-of-
分割部６０３は、ディスプレイ３１１の画面に表示された表示画像ＳＰを区切って区画群に分割する。ここで、区画とは、ディスプレイ３１１の画面を区切って分割された所定範囲の領域（例えば、円、三角形、矩形など）である。具体的には、例えば、分割部６０３が、ディスプレイ３１１の画面の縦横をそれぞれＭ等分することにより、画面を区画群に分割することにしてもよい。
The
以下の説明では、表示画像ＳＰを区切って分割された区画群を「区画Ｄ１〜Ｄｍ」と表記し、区画Ｄ１〜Ｄｍのうち任意の区画を「区画Ｄｉ」と表記する（ｉ＝１，２，…，ｍ）。また、区画Ｄｉを、世界座標系５３０のＸW座標の範囲と、世界座標系５３０のＹW座標の範囲によって指定される矩形領域とする。
In the following description, a group of sections divided by dividing the display image SP is referred to as “partitions D1 to Dm”, and an arbitrary section among the sections D1 to Dm is referred to as “partition Di” (i = 1, 2). , ..., m). Further, the section Di is a rectangular area specified by the X W coordinate range of the world coordinate
検索部６０４は、表示画像ＳＰを区切って分割された区画Ｄ１〜Ｄｍの中から、仮の視線位置ＶＰを含む区画Ｄｉを検索する。具体的には、例えば、検索部６０４が、区画Ｄｉを指定するＸW座標の範囲内に仮の視線位置ＶＰのＸW座標「ｖｘ」を含み、かつ、区画Ｄｉを指定するＹW座標の範囲内に仮の視線位置ＶＰのＹW座標「ｖｙ」を含む区画Ｄｉを検索する。
The
特徴量算出部６０５は、検索された区画Ｄｉに含まれる画素の画素値に基づいて、区画Ｄｉ内の領域ごとの特徴を抽出した特徴量を算出する。ここで、領域とは、区画Ｄｉを任意の大きさで区切って分割した画像領域である。例えば、領域は、区画Ｄｉを画素単位で区切って分割したものでもよく、また、区画Ｄｉをａ画素×ｂ画素の単位で分割したものでもよい（ａ，ｂ：自然数）。画素の画素値とは、例えば、画素の色（赤、緑、青）ごとの輝度である。輝度とは、各領域の色ごとの明るさの度合いを表す値である。
The feature
特徴量とは、人の視覚的な注意を引きつける強さを表す指標値である。すなわち、区画Ｄｉ内の複数の領域のうち特徴量が大きい領域ほど、人の視覚的な注意を引きつける強さが大きい領域となる。ただし、各領域の特徴量は、複数の領域の特徴を相対評価して算出してもよく、また、各領域の特徴を絶対評価して算出してもよい。 The feature amount is an index value that represents the strength of attracting a person's visual attention. In other words, the region having the larger feature amount among the plurality of regions in the section Di is a region having a greater strength for attracting human visual attention. However, the feature amount of each region may be calculated by relatively evaluating the features of a plurality of regions, or may be calculated by absolute evaluation of the features of each region.
具体的には、例えば、特徴量算出部６０５が、表示画像ＳＰの中から、検索された区画Ｄｉの画像を抽出する。そして、特徴量算出部６０５が、抽出された区画Ｄｉの画像上の領域ごとの特徴を抽出した特徴量を算出する。なお、特徴量算出部６０５の具体的な処理内容は、図１８〜図２９を用いて後述する。
Specifically, for example, the feature
また、特徴量算出部６０５が、表示画像ＳＰに含まれる画素の画素値に基づいて、表示画像ＳＰ上の領域ごとの特徴を抽出した特徴量を算出する。そして、特徴量算出部６０５が、表示画像ＳＰ上の領域ごとの特徴量の中から、区画Ｄｉの領域ごとの特徴量を抽出することにしてもよい。
Further, the feature
以下の説明では、領域の一例として、区画Ｄｉ内の各画素を例に挙げて説明する。また、区画Ｄｉ内の複数の画素を「画素ｐ１〜ｐｎ」と表記し、画素ｐ１〜ｐｎのうち任意の画素を「画素ｐｊ」と表記する（ｊ＝１，２，…，ｎ）。また、各画素ｐ１〜ｐｎの特徴量を「特徴量Ｃ１〜Ｃｎ」と表記する。 In the following description, each pixel in the section Di will be described as an example of the region. In addition, a plurality of pixels in the section Di are denoted as “pixels p1 to pn”, and an arbitrary pixel among the pixels p1 to pn is denoted as “pixel pj” (j = 1, 2,..., N). Further, the feature amounts of the pixels p1 to pn are referred to as “feature amounts C1 to Cn”.
算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎは、例えば、図８に示す特徴量テーブル８００に記憶される。特徴量テーブル８００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。ここで、特徴量テーブル８００の記憶内容について説明する。
The calculated feature amounts C1 to Cn for the pixels p1 to pn are stored in, for example, the feature amount table 800 illustrated in FIG. The feature amount table 800 is realized by a storage device such as the
図８は、特徴量テーブルの記憶内容の一例を示す説明図である。図８において、特徴量テーブル８００は、画素ＩＤ、座標位置および特徴量のフィールドを有し、画素ｐ１〜ｐｎごとの特徴量データ８００−１〜８００−ｎをレコードとして記憶している。 FIG. 8 is an explanatory diagram of an example of the contents stored in the feature amount table. In FIG. 8, the feature quantity table 800 has fields of pixel ID, coordinate position, and feature quantity, and stores feature quantity data 800-1 to 800-n for each of the pixels p1 to pn as records.
画素ＩＤとは、区画Ｄｉ内の画素ｐｊの識別子である。座標位置は、世界座標系５３０における画素ｐｊのＸW座標およびＹW座標である。ただし、世界座標系５３０における画素ｐｊのＺW座標は「０」とする。特徴量とは、画素ｐｊの人の視覚的な注意を引きつける強さを表す指標値である。
The pixel ID is an identifier of the pixel pj in the section Di. The coordinate position is the X W coordinate and Y W coordinate of the pixel pj in the world coordinate
図６の説明に戻り、注視点決定部６０６は、算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎに基づいて、区画Ｄｉ内の画素ｐ１〜ｐｎのいずれかの画素ｐｊを、被写体が注視している注視点Ｇに決定する。ここで、区画Ｄｉ内の画素ｐ１〜ｐｎのうち特徴量が大きい画素ｐｊは、人の視線が向きやすい領域であり、人が注視している可能性が高い領域である。
Returning to the description of FIG. 6, the gaze
そこで、注視点決定部６０６が、例えば、特徴量テーブル８００を参照して、画素ｐ１〜ｐｎのうち、特徴量が最大となる画素ｐｊを注視点Ｇに決定することにしてもよい。例えば、特徴量テーブル８００内の特徴量Ｃ１〜Ｃｎのうち特徴量Ｃ１が最大であるとする。この場合、決定部が、画素ｐ１〜ｐｎのうち、特徴量が最大となる画素ｐ１の座標位置「（ＸW，ＹW）＝（ｘ１，ｙ１）」を注視点Ｇに決定する。
Accordingly, the gazing
これにより、区画Ｄｉ内の画素ｐ１〜ｐｎのうち、人の視覚的な注意を引きつける強さが最も大きく、人の視線が最も向きやすい画素ｐｊ（例えば、画素ｐ１）を注視点Ｇに決定することができる。以下の説明では、世界座標系５３０における注視点ＧのＸW座標を「ｇｘ」とし、ＹW座標を「ｇｙ」とする。ただし、世界座標系５３０における注視点ＧのＺW座標は「０」とする。なお、注視点Ｇを決定する他の決定手法については、図１３を用いて後述する。
As a result, among the pixels p1 to pn in the section Di, the pixel pj (for example, the pixel p1) that has the greatest strength for attracting human visual attention and that is most likely to face the human eye is determined as the gazing point G. be able to. In the following description, the X W coordinate of the gazing point G in the world coordinate
また、視線算出部６０２は、被写体の眼球から、決定された注視点Ｇに向かう第２の視線ベクトルＶ２を算出する。具体的には、例えば、視線算出部６０２が、世界座標系５３０における眼球の角膜曲率中心の座標位置と注視点Ｇの座標位置とに基づいて、第２の視線ベクトルＶ２を算出する。なお、第２の視線ベクトルＶ２を算出する具体的な処理内容は、図１７を用いて後述する。
Also, the line-of-
ここで、第２の視線ベクトルＶ２は、例えば、下記式（２）を用いて、極座標系におけるベクトルによって表現される。Ｖ２は、第２の視線ベクトルである。また、ｒ２は動径であり、世界座標系５３０の原点ＯWから眼球までの距離である。また、θ２は偏角であり、第２の視線ベクトルＶ２と世界座標系５３０の基準軸（例えば、ＺW軸）とのなす角である。また、φ２は偏角であり、第２の視線ベクトルＶ２と世界座標系５３０の基準軸（例えば、ＸW軸）とのなす角である。
Here, the second line-of-sight vector V2 is expressed by a vector in the polar coordinate system using, for example, the following equation (2). V2 is a second line-of-sight vector. Further, r2 is the radius vector is the distance from the origin O W of the world coordinate
関連付け部６０７は、算出された区画Ｄｉ内の仮の視線位置ＶＰと、決定された区画Ｄｉ内の注視点Ｇの座標位置とを関連付ける。具体的には、例えば、関連付け部６０７が、区画Ｄｉごとに、仮の視線位置ＶＰの算出元である第１の視線ベクトルＶ１と、被写体の眼球から注視点Ｇに向かう第２の視線ベクトルＶ２とを関連付けることにしてもよい。
The associating
以下の説明では、関連付け部６０７が、区画Ｄｉごとに、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付ける場合を例に挙げて説明する。
In the following description, the case where the associating
登録／更新部６０８は、関連付けられた区画Ｄｉのベクトルペアを図９に示すベクトルペアテーブル９００に登録する。ベクトルペアテーブル９００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。ここで、ベクトルペアテーブル９００の記憶内容について説明する。
The registration /
図９は、ベクトルペアテーブルの記憶内容の一例を示す説明図である。図９において、ベクトルペアテーブル９００は、ペアＩＤ、区画ＩＤ、θ１、φ１、θ２およびφ２のフィールドを有し、ベクトルペアＰ１〜Ｐ３ごとの偏角データ（例えば、偏角データ９００−１〜９００−３）をレコードとして記憶している。 FIG. 9 is an explanatory diagram of an example of the contents stored in the vector pair table. In FIG. 9, the vector pair table 900 has fields of pair ID, section ID, θ1, φ1, θ2, and φ2, and includes deflection angle data (for example, deflection angle data 900-1 to 900-2) for each of the vector pairs P1 to P3. -3) is stored as a record.
ここで、ペアＩＤとは、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２のベクトルペアの識別子である。区画ＩＤは、仮の視線位置ＶＰおよび注視点Ｇを含む区画Ｄｉの識別子である。θ１およびφ１は、第１の視線ベクトルＶ１の偏角である。θ２およびφ２は、第２の視線ベクトルＶ２の偏角である。なお、各偏角の単位は［度］である。 Here, the pair ID is an identifier of a vector pair of the first line-of-sight vector V1 and the second line-of-sight vector V2. The section ID is an identifier of the section Di including the temporary line-of-sight position VP and the gazing point G. θ1 and φ1 are declination angles of the first line-of-sight vector V1. θ2 and φ2 are the deflection angles of the second line-of-sight vector V2. The unit of each declination is [degree].
図６の説明に戻り、補正値算出部６０９は、関連付けられた区画Ｄｉごとの関連付け結果のうち、複数の区画の関連付け結果に基づいて、被写体に固有の補正値を算出する。ここで、補正値は、被写体の個人差にともなう視線位置の誤差を補正するためのキャリブレーションに用いるパラメータの値である。補正値は、具体的には、例えば、下記式（３）に示す行列Ｗ（以下、「キャリブレーション行列Ｗ」という）に含まれるパラメータω1〜ω4の値である。
Returning to the description of FIG. 6, the correction
具体的には、例えば、補正値算出部６０９が、下記式（４）を用いて、被写体に固有のパラメータω1〜ω4の値を算出することができる。ただし、Ｖ１は第１の視線ベクトル、Ｖ２は第２の視線ベクトル、Ｗはキャリブレーション行列である。
Specifically, for example, the correction
より具体的には、例えば、補正値算出部６０９が、関連付けられた区画Ｄｉごとの関連付け結果のうち、所定の区画数Ｎ以上の区画の関連付け結果に基づいて、被写体に固有の補正値を算出する。ここで、所定の区画数Ｎは、２以上ｎ以下の任意の値である。例えば、画面内の全区画数ｎを「ｎ＝１６」とすると、所定の区画数Ｎは、例えば、「Ｎ＝１０」、「Ｎ＝１３」、「Ｎ＝１６」などに設定される。
More specifically, for example, the correction
区画数Ｎの値として、例えば、画面内の全区画数ｎの値を設定することにより、補正値の算出元となる注視点Ｇの座標位置を、画面上に均一に分散させることができる。区画数Ｎは、例えば、ＲＯＭ３０２、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶されている。なお、補正値算出部６０９の具体的な処理内容については後述する。
As the value of the number of sections N, for example, by setting the value of the total number of sections n in the screen, the coordinate position of the gazing point G from which the correction value is calculated can be uniformly distributed on the screen. The number of partitions N is stored in a storage device such as the
また、算出された補正値は、例えば、図１０に示すパラメータテーブル１０００に記憶される。パラメータテーブル１０００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。
Further, the calculated correction value is stored in, for example, the parameter table 1000 shown in FIG. The parameter table 1000 is realized by a storage device such as the
図１０は、パラメータテーブルの記憶内容の一例を示す説明図である。図１０において、パラメータテーブル１０００は、キャリブレーション行列Ｗに含まれるパラメータω1〜ω4の値を保持している。 FIG. 10 is an explanatory diagram of an example of the contents stored in the parameter table. In FIG. 10, the parameter table 1000 holds the values of parameters ω 1 to ω 4 included in the calibration matrix W.
図６の説明に戻り、補正部６１０は、被写体に固有の補正値を用いて、表示画像ＳＰ上の仮の視線位置ＶＰを補正する。具体的には、例えば、補正部６１０が、下記式（５）を用いて、仮の視線位置ＶＰの算出元である第１の視線ベクトルＶ１を補正する。ただし、Ｖ１’は補正後の第１の視線ベクトル、Ｖ１は第１の視線ベクトル、Ｗはキャリブレーション行列である。
Returning to the description of FIG. 6, the
より具体的には、例えば、補正部６１０が、パラメータテーブル１０００を参照して、各パラメータω1〜ω4の値を上記式（５）に代入する。さらに、補正部６１０が、第１の視線ベクトルＶ１の動径ｒ１および偏角θ１、φ１を上記式（５）に代入することにより、補正後の第１の視線ベクトルＶ１’を算出することができる。
More specifically, for example, the
また、補正部６１０は、補正された補正後の第１の視線ベクトルＶ１’に基づいて、表示画像ＳＰ上の視線位置を算出する。具体的には、例えば、補正部６１０が、補正後の第１の視線ベクトルＶ１’の方向に伸びる直線と表示画像ＳＰとが交わる点の座標位置を、表示画像ＳＰ上の視線位置として算出する。ここで、補正後の第１の視線ベクトルＶ１’に基づく表示画像ＳＰ上の視線位置は、被写体の個人差にともなう誤差が補正された被写体の視線位置（以下、「被写体の視線位置ＲＰ」という）である。
Further, the correcting
出力部６１１は、表示画像ＳＰ上の被写体の視線位置ＲＰを出力する。具体的には、例えば、出力部６１１が、表示画像ＳＰと、表示画像ＳＰ上の被写体の視線位置ＲＰとを関連付けて示す視線検出結果を出力する。ここで、視線検出結果の具体例について説明する。
The
図１１は、視線検出結果の具体例を示す説明図である。図１１において、視線検出結果Ｒは、画像ＩＤ、時刻および座標位置を有している。画像ＩＤは、表示画像ＳＰの識別子である。時刻は、眼球画像ＥＰの撮影時刻であり、視線検出時刻を表している。座標位置は、世界座標系５３０における被写体の視線位置ＲＰのＸW座標およびＹW座標である。
FIG. 11 is an explanatory diagram illustrating a specific example of the line-of-sight detection result. In FIG. 11, the line-of-sight detection result R has an image ID, a time, and a coordinate position. The image ID is an identifier of the display image SP. The time is the photographing time of the eyeball image EP and represents the eye gaze detection time. The coordinate positions are the X W coordinate and the Y W coordinate of the visual line position RP of the subject in the world coordinate
視線検出結果Ｒによれば、時刻ｔｊに表示画像ＳＰｊを見ている被写体の表示画像ＳＰｊ上での視線位置ＲＰ（ｘｊ，ｙｊ）を認識することができる。具体的には、例えば、視線検出結果Ｒは、例えば、表示装置１０３に対する入力インターフェースとして利用することができる。
According to the line-of-sight detection result R, it is possible to recognize the line-of-sight position RP (xj, yj) on the display image SPj of the subject who is viewing the display image SPj at time tj. Specifically, for example, the line-of-sight detection result R can be used as an input interface for the
なお、出力部６１１の出力形式としては、例えば、ディスプレイ３１１への表示、Ｉ／Ｆ３０８による外部装置への送信がある。また、他の出力形式として、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶することにしてもよい。
The output format of the
また、出力部６１１は、算出された被写体に固有の補正値を出力することにしてもよい。具体的には、例えば、出力部６１１が、パラメータテーブル１０００内のパラメータω1〜ω4の値を出力することにしてもよい。これにより、以降において、被写体に固有のパラメータω1〜ω4の値を用いて、キャリブレーションを行うことができる。
The
判断部６１２は、表示画像ＳＰ上の仮の視線位置ＶＰが停留点か否かを判断する。ここで、停留点とは、被写体の視線位置が停留している点である。ここでは、仮の視線位置ＶＰが所定時間Ｔ以上、所定領域Ｑ内に留まっている場合に、仮の視線位置ＶＰが停留点であると定義する。
The
具体的には、例えば、まず、判断部６１２が、表示画像ＳＰにおいて、仮の視線位置ＶＰ（ここでは、「仮の視線位置ＶＰ［１］」という）を中心とする所定領域Ｑを設定する。所定領域Ｑは、例えば、仮の視線位置ＶＰ［１］を中心とする半径ｑ（例えば、ｑ＝３０［ピクセル］）の円である。
Specifically, for example, first, the
つぎに、視線算出部６０２が、例えば、仮の視線位置ＶＰ［１］の算出元となる眼球画像ＥＰの撮影時刻から一定時間ｔ0経過した後、新たな仮の視線位置ＶＰ［２］を算出する。そして、判断部６１２が、新たな仮の視線位置ＶＰ［２］が所定領域Ｑ内に存在するか否かを判断する。ここで、新たな仮の視線位置ＶＰ［２］が所定領域Ｑ内に存在しない場合、判断部６１２が、表示画像ＳＰ上の仮の視線位置ＶＰが停留点ではないと判断する。
Next, the line-of-
一方、新たな仮の視線位置ＶＰ［２］が所定領域Ｑ内に存在する場合、判断部６１２が、仮の視線位置ＶＰ［１］を算出した時点から所定時間Ｔ経過したか否かを判断する。ここで、所定時間Ｔ経過した場合、判断部６１２が、表示画像ＳＰ上の仮の視線位置ＶＰ［１］が停留点であると判断する。
On the other hand, when the new temporary line-of-sight position VP [2] exists in the predetermined region Q, the
一方、所定時間Ｔ経過していない場合、視線算出部６０２が、仮の視線位置ＶＰ［２］の算出元となる眼球画像ＥＰの撮影時刻から一定時間ｔ0経過した後、新たな仮の視線位置ＶＰ［３］を算出して、上記同様の処理を繰り返す。これにより、表示画像ＳＰ上の仮の視線位置ＶＰが停留点か否かを判断することができる。
On the other hand, when the predetermined time T has not elapsed, the line-of-
なお、所定領域Ｑの半径ｑ、一定時間ｔ0および所定時間Ｔは、例えば、予め設定されてＲＯＭ３０２、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶されている。
Note that the radius q, the predetermined time t 0, and the predetermined time T of the predetermined area Q are set in advance and stored in a storage device such as the
また、関連付け部６０７は、表示画像ＳＰ上の仮の視線位置ＶＰが停留点であると判断された場合に、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付けることにしてもよい。これにより、被写体が意識的に見た視線位置をもとに、被写体に固有の補正値を算出することができる。換言すれば、被写体の視線移動中の通過点を、補正値の算出元から排除することができる。この結果、被写体の視線の誤差を補正する際の補正精度を向上させることができる。
The
また、関連付け部６０７は、登録／更新部６０８によって登録された区画Ｄｉのベクトルペアの数が所定数Ａ未満の場合、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付けることにしてもよい。具体的には、例えば、まず、関連付け部６０７が、ベクトルペアテーブル９００内の区画ＩＤフィールドに「Ｄｉ」が設定されているレコード数を計数することにより、区画Ｄｉのベクトルペアの数を計数する。
The associating
そして、区画Ｄｉのベクトルペアの数が所定数Ａ未満の場合、関連付け部６０７が、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付ける。一方、区画Ｄｉのベクトルペアの数が所定数Ａ以上の場合、関連付け部６０７は、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との関連付けを行わない。これにより、区画Ｄｉごとのベクトルペアの数を平準化して、被写体に固有の補正値の算出元となるベクトルペアが特定の区画Ｄｉに偏ることを防ぐことができる。
When the number of vector pairs in the section Di is less than the predetermined number A, the associating
なお、特徴量算出部６０５は、区画Ｄｉのベクトルペアの数が所定数Ａ以上の場合、区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出しないことにしてもよい。これにより、画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎの算出処理にかかる負荷を軽減することができる。
Note that the feature
また、注視点決定部６０６は、区画Ｄｉのベクトルペアの数が所定数Ａ以上の場合、区画Ｄｉ内の注視点Ｇを決定しないことにしてもよい。これにより、区画Ｄｉ内の注視点Ｇの決定処理にかかる負荷を軽減することができる。
The gazing
また、登録／更新部６０８は、関連付けられた区画Ｄｉのベクトルペアに基づいて、ベクトルペアテーブル９００に登録済みの区画Ｄｉのベクトルペアを更新することにしてもよい。具体的には、例えば、登録／更新部６０８が、未登録のベクトルペアと登録済みのベクトルペアとの間で、それぞれ注視点Ｇに決定された画素ｐｊの特徴量Ｃｊを比較する。
Further, the registration /
この結果、未登録のベクトルペアの特徴量Ｃｊが大きい場合、ベクトルペアテーブル９００に登録済みのベクトルペアを未登録のベクトルペアに更新する。これにより、注視点Ｇに決定された画素ｐｊの特徴量Ｃｊが大きくなるように区間Ｄｉのベクトルペアを更新することができ、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。 As a result, when the feature amount Cj of the unregistered vector pair is large, the vector pair registered in the vector pair table 900 is updated to an unregistered vector pair. As a result, the vector pair in the section Di can be updated so that the feature amount Cj of the pixel pj determined as the gazing point G becomes large, and a more appropriate vector pair as a correction value calculation source is stored in the vector pair table 900. You can register.
なお、上述した説明では、世界座標系５３０におけるディスプレイ３１１と被写体の眼球とのＺW軸方向の距離を、予め設定することにしたが、これに限らない。例えば、既存技術を利用して、ディスプレイ３１１に対向している被写体にレーザ光を照射し、レーザ光が反射して戻ってくるまでの時間から、ディスプレイ３１１と被写体の眼球との距離を測定することにしてもよい。
Incidentally, in the above description, the distance Z W-axis direction between the eye of the
（注視点Ｇの決定手法）
つぎに、表示画像ＳＰ上の仮の視線位置ＶＰを含む区画Ｄｉ内の注視点Ｇを決定する他の決定手法について説明する。以下に説明する決定手法では、人や地物などのオブジェクトを表す領域は、他の領域に比べて人間の視覚的な注意を引きつける強さが大きくなることを想定する。
(Method for determining gaze point G)
Next, another determination method for determining the gazing point G in the section Di including the temporary line-of-sight position VP on the display image SP will be described. In the determination method described below, it is assumed that an area representing an object such as a person or a feature has a greater strength to attract human visual attention than other areas.
そこで、まず、注視点決定部６０６は、区画Ｄｉ上のオブジェクトを閉領域として抽出することにより、被写体の視線が向いている領域を絞り込む。具体的には、例えば、注視点決定部６０６が、区画Ｄｉにラベリング処理を施すことにより、区画Ｄｉの中から複数の閉領域を抽出する。ラベリング処理とは、２値化処理された画像において、連結している画素に同じラベル（番号）を属性として付加することで、閉領域を抽出する処理である。
Therefore, first, the gazing
以下の説明では、表示画像ＳＰ上の仮の視線位置ＶＰを含む区画Ｄｉ内の閉領域を「閉領域Ｈ１〜ＨＫ」と表記し、閉領域Ｈ１〜ＨＫのうち任意の閉領域を「閉領域Ｈｋ」と表記する（ｋ＝１，２，…，Ｋ）。また、閉領域Ｈｋに含まれる画素群を「画素ｐ［１］〜ｐ［Ｖ］」と表記し、画素ｐ［１］〜ｐ［Ｖ］のうち任意の画素を「画素ｐ［ｖ］」と表記する。ただし、画素ｐ［ｖ］は、区画Ｄｉ内のいずれかの画素ｐｊに対応している。さらに、各画素ｐ［１］〜ｐ［Ｖ］の特徴量を「特徴量Ｃ［１］〜Ｃ［Ｖ］」と表記する。ここで、区画Ｄｉ内の閉領域Ｈｋの具体例について説明する。 In the following description, the closed region in the section Di including the temporary line-of-sight position VP on the display image SP is referred to as “closed region H1 to HK”, and any closed region among the closed regions H1 to HK is referred to as “closed region”. Hk ”(k = 1, 2,..., K). In addition, a pixel group included in the closed region Hk is expressed as “pixels p [1] to p [V]”, and an arbitrary pixel among the pixels p [1] to p [V] is referred to as “pixel p [v]”. Is written. However, the pixel p [v] corresponds to one of the pixels pj in the section Di. Further, the feature amounts of the pixels p [1] to p [V] are expressed as “feature amounts C [1] to C [V]”. Here, a specific example of the closed region Hk in the section Di will be described.
図１２は、区画内の閉領域の具体例を示す説明図である。図１２において、画像１２１０は、表示画像ＳＰ上の仮の視線位置ＶＰを含む区画Ｄｉ内の各画素を「黒」または「白」によって表現する２値化画像である。具体的には、例えば、注視点決定部６０６が、区画Ｄｉの画像に対して２値化処理を施すことにより画像１２１０を作成する。２値化処理の具体的な処理内容は図１８を用いて後述する。
FIG. 12 is an explanatory diagram illustrating a specific example of a closed region in a section. In FIG. 12, an
また、画像１２２０は、画像１２１０の縦方向、横方向に連続している画素に同じラベルが付加された画像である。具体的には、例えば、注視点決定部６０６が、画像１２１０の左上から右方向に走査して、縦方向、横方向に連続している画素に同じラベルを付加することにより画像１２２０を作成する。
The
このあと、注視点決定部６０６が、画像１２２０の中から、同じラベル（ただし、「０」を除く）が付加された画素の集合を閉領域Ｈｋとして抽出する。ここでは、画像１２２０の中から、閉領域Ｈ１〜Ｈ３が抽出される。これにより、区画Ｄｉ内のオブジェクトを閉領域Ｈ１〜Ｈ３として抽出することができる。
Thereafter, the gazing
以下、図１２に示す複数の閉領域Ｈ１〜Ｈ３の中から、注視点Ｇを含む閉領域を決定する決定手法１〜４について説明する。
Hereinafter,
＜決定手法１＞
まず、各閉領域Ｈｋに含まれる画素ｐ［ｖ］ごとの特徴量Ｃ［ｖ］に基づいて、注視点Ｇを含む閉領域を決定する場合について説明する。ここでは、閉領域Ｈｋに含まれる画素ｐ［ｖ］の特徴量Ｃ［ｖ］の最大値が大きくなればなるほど、人間の視覚的な注意を引きつける強さが大きくなることを想定する。
<
First, a case will be described in which a closed region including the gazing point G is determined based on the feature amount C [v] for each pixel p [v] included in each closed region Hk. Here, it is assumed that the greater the maximum value of the feature value C [v] of the pixel p [v] included in the closed region Hk, the greater the strength of attracting human visual attention.
注視点決定部６０６は、図８に示した特徴量テーブル８００を参照して、区画Ｄｉ内の閉領域Ｈｋごとに、閉領域Ｈｋに含まれる画素ｐ［１］〜ｐ［Ｖ］の特徴量Ｃ［１］〜Ｃ［Ｖ］うち、最大の特徴量（以下、「極大値Ｃmax（ｋ）」と表記する）を特定する。
The gaze
特定された閉領域Ｈｋごとの極大値Ｃmax（ｋ）は、例えば、図１３に示す閉領域データテーブル１３００に記憶される。閉領域データテーブル１３００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。ここで、閉領域データテーブル１３００の記憶内容について説明する。
The maximum value C max (k) for each identified closed region Hk is stored in, for example, the closed region data table 1300 shown in FIG. The closed area data table 1300 is realized by a storage device such as the
図１３は、閉領域データテーブルの記憶内容の一例を示す説明図である。図１３において、閉領域データテーブル１３００は、閉領域ＩＤ、極大値、面積、集中度および評価値のフィールドを有し、閉領域Ｈｋごとの閉領域データをレコードとして記憶する。 FIG. 13 is an explanatory diagram showing an example of the contents stored in the closed region data table. In FIG. 13, a closed region data table 1300 has fields of closed region ID, maximum value, area, concentration degree, and evaluation value, and stores closed region data for each closed region Hk as a record.
閉領域ＩＤは、閉領域Ｈｋの識別子である。極大値は、閉領域Ｈｋの極大値Ｃmax（ｋ）である。面積は、閉領域Ｈｋの面積Ｓｋである。集中度は、閉領域Ｈｋの集中度Ｆｋである。評価値は、閉領域Ｈｋの評価値Ｅｋである。なお、集中度Ｆｋおよび評価値Ｅｋについての詳細な説明は後述する。 The closed area ID is an identifier of the closed area Hk. The maximum value is the maximum value C max (k) of the closed region Hk. The area is the area Sk of the closed region Hk. The concentration degree is the concentration degree Fk of the closed region Hk. The evaluation value is the evaluation value Ek of the closed region Hk. A detailed description of the concentration degree Fk and the evaluation value Ek will be described later.
図１３の（１３−１）において、閉領域Ｈ１の閉領域ＩＤ『Ｈ１』が閉領域ＩＤフィールドに設定され、閉領域Ｈ１の極大値『２００』が極大値フィールドに設定されて、閉領域データ１３００−１がレコードとして閉領域データテーブル１３００に記憶されている。同（１３−１）において、閉領域Ｈ２の閉領域ＩＤ『Ｈ２』が閉領域ＩＤフィールドに設定され、閉領域Ｈ２の極大値『２５０』が極大値フィールドに設定されて、閉領域データ１３００−２がレコードとして閉領域データテーブル１３００に記憶されている。同（１３−１）において、閉領域Ｈ３の閉領域ＩＤ『Ｈ３』が閉領域ＩＤフィールドに設定され、閉領域Ｈ３の極大値『１００』が極大値フィールドに設定されて、閉領域データ１３００−３がレコードとして閉領域データテーブル１３００に記憶されている。 In (13-1) of FIG. 13, the closed region ID “H1” of the closed region H1 is set in the closed region ID field, and the maximum value “200” of the closed region H1 is set in the maximum value field. 1300-1 is stored in the closed area data table 1300 as a record. In (13-1), the closed region ID “H2” of the closed region H2 is set in the closed region ID field, the maximum value “250” of the closed region H2 is set in the maximum value field, and the closed region data 1300− 2 is stored in the closed area data table 1300 as a record. In (13-1), the closed region ID “H3” of the closed region H3 is set in the closed region ID field, the maximum value “100” of the closed region H3 is set in the maximum value field, and the closed region data 1300− 3 is stored in the closed area data table 1300 as a record.
注視点決定部６０６は、閉領域Ｈ１〜ＨＫの中から、極大値Ｃmax（ｋ）が最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定する。具体的には、例えば、注視点決定部６０６が、閉領域データテーブル１３００を参照して、極大値が最大の閉領域Ｈ２を、注視点Ｇを含む閉領域に決定する。
The gazing
ここで、閉領域Ｈ１〜ＨＫの中に、極大値Ｃmax（ｋ）が最大の閉領域Ｈｋが複数存在する場合がある。この場合、例えば、注視点決定部６０６が、極大値Ｃmax（ｋ）が最大の各閉領域Ｈｋの重心と仮の視線位置ＶＰとの距離を算出して、仮の視線位置ＶＰとの距離が最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することにしてもよい。
Here, there may be a plurality of closed regions Hk having the maximum local maximum C max (k) in the closed regions H1 to HK. In this case, for example, the gazing
また、注視点決定部６０６は、決定された閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のいずれかの画素ｐ［ｖ］を、被写体が注視している注視点Ｇに決定する。具体的には、例えば、注視点決定部６０６が、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のうち、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を注視点Ｇに決定する。
In addition, the gaze
この際、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素が複数存在する場合、例えば、注視点決定部６０６が、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の任意の画素ｐ［ｖ］を注視点Ｇに決定することにしてもよい。また、注視点決定部６０６は、決定された閉領域Ｈｋの重心の位置を注視点Ｇに決定することにしてもよい。
At this time, when there are a plurality of pixels having the maximum value C max (k) of the feature quantity C [v], for example, the gazing
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、極大値Ｃmax（ｋ）が最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。 Thereby, the closed region Hk having the maximum local maximum C max (k) can be determined as the closed region including the gazing point G from the closed regions H1 to HK representing the objects in the section Di.
また、上記登録／更新部６０８は、注視点Ｇを含む閉領域に決定された閉領域Ｈｋの極大値Ｃmax（ｋ）に基づいて、ベクトルペアテーブル９００に登録済みの区画Ｄｉのベクトルペアを更新することにしてもよい。具体的には、例えば、登録／更新部６０８が、未登録のベクトルペアと登録済みのベクトルペアとの間で、それぞれ注視点Ｇを含む閉領域に決定された閉領域Ｈｋの極大値Ｃmax（ｋ）を比較する。
Further, the registration /
この結果、未登録のベクトルペアの極大値Ｃmax（ｋ）が大きい場合、ベクトルペアテーブル９００に登録済みのベクトルペアを未登録のベクトルペアに更新する。これにより、注視点Ｇを含む閉領域Ｈｋの極大値Ｃmax（ｋ）が大きくなるように区間Ｄｉのベクトルペアを更新することができ、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。 As a result, when the maximum value C max (k) of the unregistered vector pair is large, the vector pair registered in the vector pair table 900 is updated to an unregistered vector pair. As a result, the vector pair in the section Di can be updated so that the maximum value C max (k) of the closed region Hk including the gazing point G is increased, and a more appropriate vector pair can be selected as the correction value calculation source. It can be registered in the table 900.
なお、区画Ｄｉから抽出された閉領域Ｈｋが一つの場合は、注視点決定部６０６は、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のうち、特徴量Ｃ［ｖ］が最大の画素ｐ［ｖ］を注視点Ｇに決定することにしてもよい。
Note that when there is one closed region Hk extracted from the section Di, the gaze
＜決定手法２＞
つぎに、閉領域Ｈｋごとの面積Ｓｋに基づいて、注視点Ｇを含む閉領域を決定する場合について説明する。ここでは、閉領域Ｈｋの面積Ｓｋが大きくなればなるほど、人間の視覚的な注意を引きつける強さが大きくなることを想定する。
<
Next, a case where the closed region including the gazing point G is determined based on the area Sk for each closed region Hk will be described. Here, it is assumed that the greater the area Sk of the closed region Hk, the greater the strength that attracts human visual attention.
注視点決定部６０６は、区画Ｄｉ内の閉領域Ｈｋごとに、閉領域Ｈｋの面積Ｓｋを算出する。具体的には、例えば、注視点決定部６０６が、閉領域Ｈｋに含まれる画素ｐ［１］〜ｐ［Ｓ］の画素数を計数することにより、閉領域Ｈｋの面積Ｓｋを算出する。特定された閉領域Ｈｋごとの面積Ｓｋは、例えば、図１３に示した閉領域データテーブル１３００に記憶される。
The gaze
図１３の（１３−２）において、閉領域Ｈ１の面積『２６』が面積フィールドに設定されて、閉領域データ１３００−１が更新されている。同（１３−２）において、閉領域Ｈ２の面積『１３』が面積フィールドに設定されて、閉領域データ１３００−２が更新記憶されている。同（１３−２）において、閉領域Ｈ３の面積『３』が面積フィールドに設定されて、閉領域データ１３００−３が更新されている。 In (13-2) of FIG. 13, the area “26” of the closed region H1 is set in the area field, and the closed region data 1300-1 is updated. In (13-2), the area “13” of the closed region H2 is set in the area field, and the closed region data 1300-2 is updated and stored. In (13-2), the area “3” of the closed region H3 is set in the area field, and the closed region data 1300-3 is updated.
注視点決定部６０６は、閉領域Ｈ１〜ＨＫの中から、面積Ｓｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定する。具体的には、例えば、注視点決定部６０６が、閉領域データテーブル１３００を参照して、面積が最大の閉領域Ｈ１を、注視点Ｇを含む閉領域に決定する。
The gazing
ここで、閉領域Ｈ１〜ＨＫの中に、面積Ｓｋが最大の閉領域Ｈｋが複数存在する場合がある。この場合、例えば、注視点決定部６０６が、面積Ｓｋが最大の各閉領域Ｈｋの重心と仮の視線位置ＶＰとの距離を算出して、仮の視線位置ＶＰとの距離が最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することにしてもよい。
Here, there may be a plurality of closed regions Hk having the largest area Sk in the closed regions H1 to HK. In this case, for example, the gazing
また、注視点決定部６０６は、決定された閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のいずれかの画素ｐ［ｖ］を、被写体が注視している注視点Ｇに決定する。具体的には、例えば、注視点決定部６０６が、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のうち、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を注視点Ｇに決定する。
In addition, the gaze
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、面積Ｓｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。 Thereby, the closed area Hk having the largest area Sk can be determined as the closed area including the gazing point G from the closed areas H1 to HK representing the objects in the section Di.
また、上記登録／更新部６０８は、注視点Ｇを含む閉領域に決定された閉領域Ｈｋの面積Ｓｋに基づいて、ベクトルペアテーブル９００に登録済みの区画Ｄｉのベクトルペアを更新することにしてもよい。具体的には、例えば、登録／更新部６０８が、未登録のベクトルペアと登録済みのベクトルペアとの間で、それぞれ注視点Ｇを含む閉領域に決定された閉領域Ｈｋの面積Ｓｋを比較する。
Further, the registration /
この結果、未登録のベクトルペアの面積Ｓｋが大きい場合、ベクトルペアテーブル９００に登録済みのベクトルペアを未登録のベクトルペアに更新する。これにより、注視点Ｇを含む閉領域Ｈｋの面積Ｓｋが大きくなるように区間Ｄｉのベクトルペアを更新することができ、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。 As a result, when the area Sk of the unregistered vector pair is large, the vector pair registered in the vector pair table 900 is updated to an unregistered vector pair. Thereby, the vector pair of the section Di can be updated so that the area Sk of the closed region Hk including the gazing point G becomes large, and a more appropriate vector pair is registered in the vector pair table 900 as a correction value calculation source. be able to.
＜決定手法３＞
つぎに、閉領域Ｈｋごとの集中度Ｆｋに基づいて、注視点Ｇを含む閉領域を決定する場合について説明する。ここで、集中度Ｆｋとは、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］の特徴量Ｃ［１］〜Ｃ［Ｖ］の濃度を表す指標である。ここでは、閉領域Ｈｋの集中度Ｆｋが小さくなればなるほど、人間の視覚的な注意を引きつける強さが大きくなることを想定する。
<
Next, a case where the closed region including the gazing point G is determined based on the concentration degree Fk for each closed region Hk will be described. Here, the concentration degree Fk is an index representing the density of the feature amounts C [1] to C [V] of the pixels p [1] to p [V] in the closed region Hk. Here, it is assumed that the strength of attracting human visual attention increases as the concentration degree Fk of the closed region Hk decreases.
注視点決定部６０６は、区画Ｄｉ内の閉領域Ｈｋごとに、閉領域Ｈｋの集中度Ｆｋを算出する。具体的には、例えば、注視点決定部６０６が、下記式（６）を用いて、閉領域Ｈｋの集中度Ｆｋを算出することができる。ただし、Ｆｋは、閉領域Ｈｋの集中度である。Ｃ［ｖ］は、閉領域Ｈｋに含まれる画素ｐ［ｖ］の特徴量である。Ｓｋは、閉領域Ｈｋの面積である。
The gaze
なお、閉領域Ｈｋに含まれる画素ｐ［ｖ］の特徴量Ｃ［ｖ］は、例えば、特徴量テーブル８００から特定される。閉領域Ｈｋの面積Ｓｋは、例えば、図１３に示した閉領域データテーブル１３００から特定される。また、特定された閉領域Ｈｋごとの集中度Ｆｋは、例えば、閉領域データテーブル１３００に記憶される。 Note that the feature amount C [v] of the pixel p [v] included in the closed region Hk is specified from the feature amount table 800, for example. For example, the area Sk of the closed region Hk is specified from the closed region data table 1300 illustrated in FIG. Further, the degree of concentration Fk for each identified closed region Hk is stored in, for example, the closed region data table 1300.
図１３の（１３−３）において、閉領域Ｈ１の集中度『９５』が集中度フィールドに設定されて、閉領域データ１３００−１が更新されている。同（１３−３）において、閉領域Ｈ２の集中度『５０』が集中度フィールドに設定されて、閉領域データ１３００−２が更新されている。同（１３−３）において、閉領域Ｈ３の集中度『１００』が集中度フィールドに設定されて、閉領域データ１３００−３が更新されている。 In (13-3) of FIG. 13, the concentration level “95” of the closed region H1 is set in the concentration level field, and the closed region data 1300-1 is updated. In (13-3), the concentration degree “50” of the closed region H2 is set in the concentration field, and the closed region data 1300-2 is updated. In (13-3), the concentration degree “100” of the closed region H3 is set in the concentration field, and the closed region data 1300-3 is updated.
注視点決定部６０６は、閉領域Ｈ１〜ＨＫの中から、集中度Ｆｋが最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定する。具体的には、例えば、注視点決定部６０６が、閉領域データテーブル１３００を参照して、閉領域Ｈ１〜Ｈ３の中から、集中度Ｆｋが最小の閉領域Ｈ２を、注視点Ｇを含む閉領域に決定する。
The gazing
ここで、閉領域Ｈ１〜ＨＫの中に、集中度Ｆｋが最小の閉領域Ｈｋが複数存在する場合がある。この場合、例えば、注視点決定部６０６が、集中度Ｆｋが最小の各閉領域Ｈｋの重心と仮の視線位置ＶＰとの距離を算出して、仮の視線位置ＶＰとの距離が最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することにしてもよい。
Here, there may be a plurality of closed regions Hk having the minimum degree of concentration Fk in the closed regions H1 to HK. In this case, for example, the gaze
また、注視点決定部６０６は、決定された閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のいずれかの画素ｐ［ｖ］を、被写体が注視している注視点Ｇに決定する。具体的には、例えば、注視点決定部６０６が、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のうち、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を注視点Ｇに決定する。
In addition, the gaze
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、集中度Ｆｋが最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。 As a result, the closed region Hk with the lowest degree of concentration Fk can be determined as the closed region including the gazing point G from the closed regions H1 to HK representing the objects in the section Di.
また、上記登録／更新部６０８は、注視点Ｇを含む閉領域に決定された閉領域Ｈｋの集中度Ｆｋに基づいて、ベクトルペアテーブル９００に登録済みの区画Ｄｉのベクトルペアを更新することにしてもよい。具体的には、例えば、登録／更新部６０８が、未登録のベクトルペアと登録済みのベクトルペアとの間で、それぞれ注視点Ｇを含む閉領域に決定された閉領域Ｈｋの集中度Ｆｋを比較する。
In addition, the registration /
この結果、未登録のベクトルペアの集中度Ｆｋが小さい場合、ベクトルペアテーブル９００に登録済みのベクトルペアを未登録のベクトルペアに更新する。これにより、注視点Ｇを含む閉領域Ｈｋの集中度Ｆｋが小さくなるように区間Ｄｉのベクトルペアを更新することができ、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。 As a result, when the concentration degree Fk of the unregistered vector pair is small, the vector pair registered in the vector pair table 900 is updated to an unregistered vector pair. Thereby, the vector pair of the section Di can be updated so that the concentration degree Fk of the closed region Hk including the gazing point G can be reduced, and a more appropriate vector pair is registered in the vector pair table 900 as a correction value calculation source. can do.
＜決定手法４＞
つぎに、閉領域Ｈｋごとの評価値Ｅｋに基づいて、注視点Ｇを含む閉領域を決定する場合について説明する。ここで、評価値Ｅｋとは、閉領域Ｈｋが注視点Ｇを含む可能性を評価するための指標である。ここでは、閉領域Ｈｋの評価値Ｅｋが大きくなればなるほど、人間の視覚的な注意を引きつける強さが大きくなることを想定する。
<Determination method 4>
Next, the case where the closed region including the gazing point G is determined based on the evaluation value Ek for each closed region Hk will be described. Here, the evaluation value Ek is an index for evaluating the possibility that the closed region Hk includes the gazing point G. Here, it is assumed that the stronger the evaluation value Ek of the closed region Hk is, the greater the strength of attracting human visual attention is.
注視点決定部６０６は、区画Ｄｉ内の閉領域Ｈｋごとに、閉領域Ｈｋの評価値Ｅｋを算出する。具体的には、例えば、注視点決定部６０６が、下記式（７）を用いて、閉領域Ｈｋの評価値Ｅｋを算出することができる。ただし、Ｅｋは、閉領域Ｈｋの評価値である。Ｃmax（ｋ）は、閉領域Ｈｋの極大値である。Ｓｋは、閉領域Ｈｋの面積である。Ｆｋは、閉領域Ｈｋの集中度である。
The gaze
Ｅｋ＝（Ｃmax（ｋ）×Ｓｋ）／Ｆｋ ・・・（７） Ek = (C max (k) × Sk) / Fk (7)
上記式（７）によれば、閉領域Ｈｋに含まれる画素ｐ［１］〜ｐ［Ｖ］の特徴量Ｃ［１］〜Ｃ［Ｖ］の総和が大きくなり、閉領域Ｈｋの面積Ｓｋが大きくなり、閉領域Ｈｋの集中度Ｆｋが小さくなれば、閉領域Ｈｋの評価値Ｅｋは大きくなる。 According to the above equation (7), the sum of the feature values C [1] to C [V] of the pixels p [1] to p [V] included in the closed region Hk is increased, and the area Sk of the closed region Hk is increased. If the degree of concentration Fk of the closed region Hk increases and the degree of concentration Fk of the closed region Hk decreases, the evaluation value Ek of the closed region Hk increases.
なお、閉領域Ｈｋに含まれる画素ｐ［１］〜ｐ［Ｖ］の特徴量Ｃ［１］〜Ｃ［Ｖ］は、例えば、特徴量テーブル８００から特定される。閉領域Ｈｋの面積Ｓｋおよび集中度Ｆｋは、例えば、図１３に示した閉領域データテーブル１３００から特定される。また、特定された閉領域Ｈｋごとの評価値Ｅｋは、例えば、閉領域データテーブル１３００に記憶される。 Note that the feature amounts C [1] to C [V] of the pixels p [1] to p [V] included in the closed region Hk are specified from the feature amount table 800, for example. For example, the area Sk and the concentration degree Fk of the closed region Hk are specified from the closed region data table 1300 illustrated in FIG. In addition, the evaluation value Ek for each identified closed region Hk is stored in, for example, the closed region data table 1300.
図１３の（１３−４）において、閉領域Ｈ１の評価値『５５』が評価値フィールドに設定されて、閉領域データ１３００−１が更新されている。同（１３−４）において、閉領域Ｈ２の評価値『６５』が評価値フィールドに設定されて、閉領域データ１３００−２が更新されている。同（１３−４）において、閉領域Ｈ３の評価値『３』が評価値フィールドに設定されて、閉領域データ１３００−３が更新されている。 In (13-4) of FIG. 13, the evaluation value “55” of the closed region H1 is set in the evaluation value field, and the closed region data 1300-1 is updated. In (13-4), the evaluation value “65” of the closed region H2 is set in the evaluation value field, and the closed region data 1300-2 is updated. In (13-4), the evaluation value “3” of the closed region H3 is set in the evaluation value field, and the closed region data 1300-3 is updated.
注視点決定部６０６は、閉領域Ｈ１〜ＨＫの中から、評価値Ｅｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定する。この際、ノイズ（局所的に一部の領域の特徴量が大きくなるなどの不具合）による影響を排除するために、面積Ｓｋが所定値Ｓ0未満の閉領域Ｈｋは決定対象から除外することにしてもよい。
The gaze
例えば、所定値Ｓ0の一例として「Ｓ0＝１０」とする。この場合、例えば、注視点決定部６０６が、閉領域データテーブル１３００を参照して、面積Ｓｋが所定値Ｓ0以上の閉領域Ｈ１，Ｈ２のうち、評価値Ｅｋが最大の閉領域Ｈ２を、注視点Ｇを含む閉領域に決定する。
For example, “S 0 = 10” is set as an example of the predetermined value S 0 . In this case, for example, the fixation
ここで、閉領域Ｈ１〜ＨＫの中に、評価値Ｅｋが最大の閉領域Ｈｋが複数存在する場合がある。この場合、例えば、注視点決定部６０６が、評価値Ｅｋが最大の各閉領域Ｈｋの重心と仮の視線位置ＶＰとの距離を算出して、仮の視線位置ＶＰとの距離が最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することにしてもよい。
Here, there may be a plurality of closed regions Hk having the maximum evaluation value Ek in the closed regions H1 to HK. In this case, for example, the gaze
また、注視点決定部６０６は、決定された閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のいずれかの画素ｐ［ｖ］を、被写体が注視している注視点Ｇに決定する。具体的には、例えば、注視点決定部６０６が、閉領域Ｈｋ内の画素ｐ［１］〜ｐ［Ｖ］のうち、特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を注視点Ｇに決定する。
In addition, the gaze
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、評価値Ｅｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。また、面積Ｓｋが所定値Ｓ0未満の閉領域Ｈｋは決定対象から除外することにより、ノイズによる影響を排除することができる。 Thereby, the closed region Hk having the maximum evaluation value Ek can be determined as the closed region including the gazing point G from the closed regions H1 to HK representing the objects in the section Di. Further, the influence of noise can be eliminated by excluding the closed region Hk having an area Sk less than the predetermined value S 0 from the determination target.
また、上記登録／更新部６０８は、注視点Ｇを含む閉領域に決定された閉領域Ｈｋの評価値Ｅｋに基づいて、ベクトルペアテーブル９００に登録済みの区画Ｄｉのベクトルペアを更新することにしてもよい。具体的には、例えば、登録／更新部６０８が、未登録のベクトルペアと登録済みのベクトルペアとの間で、それぞれ注視点Ｇを含む閉領域に決定された閉領域Ｈｋの評価値Ｅｋを比較する。
Further, the registration /
この結果、未登録のベクトルペアの評価値Ｅｋが大きい場合、ベクトルペアテーブル９００に登録済みのベクトルペアを未登録のベクトルペアに更新する。これにより、注視点Ｇを含む閉領域Ｈｋの評価値Ｅｋが大きくなるように区間Ｄｉのベクトルペアを更新することができ、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。 As a result, when the evaluation value Ek of the unregistered vector pair is large, the vector pair registered in the vector pair table 900 is updated to an unregistered vector pair. As a result, the vector pair of the section Di can be updated so that the evaluation value Ek of the closed region Hk including the gazing point G becomes large, and a more appropriate vector pair is registered in the vector pair table 900 as a correction value calculation source. can do.
また、上述した決定手法１〜４において、注視点Ｇに決定された画素ｐ［ｖ］の座標位置が区画Ｄｉの境界付近の場合は、上記関連付け部６０７は、区画Ｄｉ内の仮の視線位置ＶＰと、区画Ｄｉ内の注視点Ｇの座標位置とを関連付けないことにしてもよい。すなわち、関連付け部６０７が、区画Ｄｉの第１の視線ベクトルＶ１と第２の視線ベクトルＶ２との関連付けを行わない。これにより、複数の区画が隣接する境界付近に、各区画Ｄｉの注視点Ｇが偏ってしまうことを防ぐことができる。なお、区画Ｄｉの境界付近とは、例えば、区画Ｄｉの境界に接する画素であってもよく、また、境界から数画素（例えば、３画素）程度の範囲でもよい。
Further, in the
（区間Ｄｉの大きさの決定手法）
つぎに、分割部６０３によって表示画像ＳＰを分割する際の区画Ｄｉの大きさを決定する決定手法について説明する。ここでは、区画Ｄｉ内の仮の視線位置ＶＰと、区画Ｄｉ内の注視点Ｇの座標位置との誤差を統計的に処理して、区画Ｄｉの適切な大きさを決定する。
(Method for determining the size of the interval Di)
Next, a determination method for determining the size of the section Di when the display unit SP is divided by the dividing
誤差算出部６１３は、関連付けられた区画Ｄｉ内の仮の視線位置ＶＰと、区画Ｄｉ内の注視点Ｇの座標位置との誤差εを算出する。具体的には、例えば、誤差算出部６１３が、下記式（８）を用いて、仮の視線位置ＶＰと、注視点Ｇの座標位置との誤差εを算出することができる。
The
ただし、εは仮の視線位置ＶＰと注視点Ｇの座標位置との距離である。ｖｘは仮の視線位置ＶＰのＸW座標であり、ｖｙは仮の視線位置ＶＰのＹW座標である。ｇｘは注視点ＧのＸW座標であり、ｇｙは注視点ＧのＹW座標である。 Here, ε is the distance between the temporary gaze position VP and the coordinate position of the gazing point G. vx is a X W coordinates of the temporary viewpoint position VP, vy is the Y W coordinates of the temporary viewpoint position VP. gx is the X W coordinate of the gazing point G, and gy is the Y W coordinate of the gazing point G.
ε＝｛（ｖｘ−ｇｘ）2＋（ｖｙ−ｇｙ）2｝1/2 ・・・（８） ε = {(vx−gx) 2 + (vy−gy) 2 } 1/2 (8)
算出された誤差εは、例えば、図１４に示す誤差テーブル１４００に記憶される。誤差テーブル１４００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。ここで、誤差テーブル１４００の記憶内容について説明する。
For example, the calculated error ε is stored in an error table 1400 shown in FIG. The error table 1400 is realized by a storage device such as the
図１４は、誤差テーブルの記憶内容の一例を示す説明図である。図１４において、誤差テーブル１４００は、標本ＩＤおよび誤差のフィールドを有し、各フィールドに情報を設定することで誤差データ（例えば、誤差データ１４００−１〜１４００−３）をレコードとして記憶している。 FIG. 14 is an explanatory diagram of an example of the contents stored in the error table. In FIG. 14, an error table 1400 has sample ID and error fields, and error data (for example, error data 1400-1 to 1400-3) is stored as a record by setting information in each field. .
標本ＩＤは、誤差データの識別子である。誤差は、区画Ｄｉ内の仮の視線位置ＶＰと、区画Ｄｉ内の注視点Ｇの座標位置との誤差εである。上記誤差算出部６１３によって誤差εが算出されると、その都度、標本ＩＤがインクリメントされて新たな誤差データが誤差テーブル１４００に記憶される。
The sample ID is an error data identifier. The error is an error ε between the temporary line-of-sight position VP in the section Di and the coordinate position of the gazing point G in the section Di. Each time the error ε is calculated by the
区画決定部６１４は、算出された誤差εに基づいて、表示画像ＳＰを区切って分割する区画Ｄｉの大きさを決定する。具体的には、例えば、区画決定部６１４が、誤差テーブル１４００を参照して、仮の視線位置ＶＰと注視点Ｇの座標位置との誤差に関する誤差分布を作成する。
Based on the calculated error ε, the
ここで、誤差分布とは、例えば、ｘ軸とｙ軸とからなる２次元座標系において、誤差がｘ以下となる確率ｙを表す確率密度分布である。なお、統計的な処理の精度を向上させるため、誤差テーブル１４００内の標本数が所定数Ｍ（例えば、Ｍ＝１００）以上となった場合に、誤差分布を作成することにしてもよい。 Here, the error distribution is, for example, a probability density distribution representing the probability y that the error is less than or equal to x in a two-dimensional coordinate system including the x-axis and the y-axis. In order to improve the accuracy of statistical processing, an error distribution may be created when the number of samples in the error table 1400 exceeds a predetermined number M (for example, M = 100).
そして、区画決定部６１４が、作成された誤差分布の値に基づいて、表示画像ＳＰを区切って分割する区画Ｄｉの大きさを決定する。誤差分布の値とは、例えば、誤差分布の平均μ、分散σ2、標準偏差σなどである。ここで、誤差分布において、平均μからのずれが±３σ以下の範囲に誤差が含まれる確率は約９９［％］である。
Then, the
そこで、区画決定部６１４が、例えば、表示画像ＳＰを区切って分割する区画Ｄｉの大きさを、１辺の長さが「６σ」の正方形に決定することにしてもよい。この場合、分割部６０３は、決定された区画Ｄｉの大きさにしたがって、ディスプレイ３１１の画面を、１辺の長さが「６σ」の正方形に区切って区画Ｄ１〜Ｄｍに分割する。
Therefore, for example, the
これにより、区画Ｄｉの大きさをできるだけ小さくしつつ、区画Ｄｉ内でベクトルペアを高確率に作ることができる適切な大きさで表示画像ＳＰを分割することができ、補正値の算出元となるベクトルペアをより多く求めることができる。 As a result, the display image SP can be divided into an appropriate size that can make a vector pair within the division Di with a high probability while reducing the size of the division Di as much as possible. More vector pairs can be obtained.
（補正値算出部６０９の具体的な処理内容）
ここで、被写体に固有の補正値を算出する補正値算出部６０９の具体的な処理内容について説明する。ここでは、まず、補正値算出部６０９が、２組のベクトルペアを用いて、パラメータω1〜ω4の値を求める場合について説明する。まず、補正値算出部６０９が、上記式（４）を展開することにより、下記式（９）および（１０）の連立方程式を求める。
(Specific processing contents of the correction value calculation unit 609)
Here, a specific processing content of the correction
θ２＝ω1θ１＋ω2 ・・・（９）
φ２＝ω3φ１＋ω4 ・・・（１０）
θ2 = ω 1 θ1 + ω 2 (9)
φ2 = ω 3 φ1 + ω 4 (10)
このあと、補正値算出部６０９が、例えば、図９に示したベクトルペアテーブル９００を参照して、偏角データ９００−１，９００−２を上記式（９）および（１０）に代入して、４つの連立方程式を求める。ただし、各偏角θ１、φ１、θ２およびφ２の値は、単位を［度］から［ラジアン］に変換して、上記式（９）および（１０）に代入する。
Thereafter, the correction
そして、補正値算出部６０９が、４つの連立方程式を解くことで、パラメータω1〜ω4の値を求めることができる。偏角データ９００−１，９００−２の例では、各パラメータω1〜ω4の値は『ω1＝１．１８，ω2＝０．０８７，ω3＝９，ω4＝−２．９８』となる。
Then, the correction
つぎに、補正値算出部６０９が、３組以上のベクトルペアを用いて、パラメータω1〜ω4の値を求める場合について説明する。ここでは、最小二乗法を用いて、パラメータω1〜ω4の値を求める場合について説明する。
Next, a case where the correction
まず、補正値算出部６０９が、ベクトルペアがＮ組のときのパラメータω1，ω2についての下記式（１１）の誤差関数を、パラメータω1，ω2それぞれについて偏微分して、下記式（１２）および（１３）の連立方程式を求める。ただし、Ｅ（ω1，ω2）は、ベクトルペアＰｊがＮ組のときのパラメータω1，ω2についての誤差関数である。θ１jは、ベクトルペアＰｊの第１の視線ベクトルＶ１の偏角θ１である。θ２jは、ベクトルペアＰｊの第２の視線ベクトルＶ２の偏角θ２である。
First, the correction
同様に、補正値算出部６０９が、ベクトルペアＰｊがＮ組のときのパラメータω3，ω4についての下記式（１４）の誤差関数を、パラメータω3，ω4それぞれについて偏微分して、下記式（１５）および（１６）の連立方程式を求める。ただし、Ｅ（ω3，ω4）は、ベクトルペアＰｊがＮ組のときのパラメータω3，ω4についての誤差関数である。φ１jは、ベクトルペアＰｊの第１の視線ベクトルＶ１の偏角φ１である。φ２jは、ベクトルペアＰｊの第２の視線ベクトルＶ２の偏角φ２である。
Similarly, the correction
このあと、補正値算出部６０９が、例えば、ベクトルペアテーブル９００を参照して、偏角データ９００−１〜９００−３の偏角θ１，θ２を上記式（１２）および（１３）に代入することにより、下記式（１７）を求める。ただし、偏角θ１，θ２の値は、単位を［度］から［ラジアン］に変換して、上記式（１２）および（１３）に代入する。
Thereafter, the correction
また、補正値算出部６０９が、ベクトルペアテーブル９００を参照して、偏角データ９００−１〜９００−３の偏角φ１，φ２を上記式（１５）および（１６）に代入することにより、下記式（１８）を求める。ただし、偏角φ１，φ２の値は、単位を［度］から［ラジアン］に変換して、上記式（１５）および（１６）に代入する。
Further, the correction
そして、補正値算出部６０９が、上記式（１７）および（１８）を解くことにより、パラメータω1〜ω4の値を求めることができる。偏角データ９００−１〜９００−３の例では、各パラメータω1〜ω4の値は『ω1＝０．９５，ω2＝０．１４，ω3＝１．１７，ω4＝−０．１２』となる。
Then, the correction
このように、複数のベクトルペアを用いて統計的にパラメータω1〜ω4の値を算出することにより、被写体に固有のパラメータω1〜ω4の値を精度よく求めることができる。 As described above, by statistically calculating the values of the parameters ω 1 to ω 4 using a plurality of vector pairs, the values of the parameters ω 1 to ω 4 unique to the subject can be obtained with high accuracy.
（視線算出部６０２の具体的な処理内容）
つぎに、第１の視線ベクトルＶ１を算出する視線算出部６０２の具体的な処理内容について説明する。図１５および図１６は、第１の視線ベクトルＶ１を算出する具体的な処理内容の概要を示す説明図である。ここでは、図７に示した眼球７００に近赤外線を照射したときの角膜表面におけるプルキニエ像７０３を利用して、第１の視線ベクトルＶ１を算出する場合について説明する。
(Specific processing contents of the line-of-sight calculation unit 602)
Next, specific processing contents of the line-of-
（ｉ）視線算出部６０２は、画像座標系５１０における眼球画像ＥＰ上の瞳孔７０１の瞳孔中心１５０１の位置ベクトルＰ’Pおよびプルキニエ像７０３の位置ベクトルｕPを算出する。そして、視線算出部６０２は、瞳孔中心１５０１の位置ベクトルＰ’Pおよびプルキニエ像７０３の位置ベクトルｕPをカメラ座標系５２０に座標変換する。
(I) The line-of-
ここで、世界座標系５３０におけるプルキニエ像７０３および瞳孔中心１５０１のＺW座標は、ディスプレイ３１１と被写体の眼球７００との距離として予め設定されている。このため、カメラ座標系５２０における瞳孔中心１５０１の位置ベクトルＰ’Cは、世界座標系５３０における瞳孔中心１５０１のＺW座標と画像座標系５１０における瞳孔中心１５０１の位置ベクトルＰ’Pから求めることができる。また、カメラ座標系５２０におけるプルキニエ像７０３の位置ベクトルｕCは、世界座標系５３０におけるプルキニエ像７０３のＺW座標と画像座標系５１０におけるプルキニエ像７０３の位置ベクトルｕPから求めることができる。
Here, the Z W coordinates of the
なお、瞳孔中心１５０１は、例えば、眼球画像ＥＰに写っている眼球表面のうち、周囲に比べて暗い楕円領域（瞳孔７０１）の中心位置である。また、プルキニエ像７０３は、例えば、眼球画像ＥＰに写っている眼球表面のうち、瞳孔７０１の近傍に位置する輝点である。
Note that the
（ｉｉ）視線算出部６０２は、プルキニエ像７０３の位置ベクトルｕCから、角膜１５０２の角膜曲率中心１５０３の位置ベクトルｃCを算出する。具体的には、例えば、視線算出部６０２が、下記式（１９）を用いて、角膜曲率中心１５０３の位置ベクトルｃCを算出することができる。
(Ii) The line-of-
ただし、ｃCは、カメラ座標系５２０における角膜曲率中心１５０３の位置ベクトルである。Ｃは、角膜曲率半径を表す定数である。‖ｕC‖は、位置ベクトルｕCのノルムである。なお、図１５中、符号１５０４は「房水」である。
Here, c C is a position vector of the
一例として、Ｃ＝７．６［ｍｍ］、プルキニエ像７０３の位置ベクトルｕC（ＸC，ＹC，ＺC）＝（３５．４２，６１．０４，６００）とする。この場合、上記式（１９）から、角膜曲率中心１５０３の位置ベクトルｃCは、『ｃC（ＸC，ＹC，ＺC）＝（３５．４２，６１．０４，６０７．６）』となる。なお、各座標値の単位は［ｍｍ］である。
As an example, C = 7.6 [mm], and the position vector u C (X C , Y C , Z C ) = (35.42, 61.04, 600) of the
（ｉｉｉ）視線算出部６０２は、眼球画像ＥＰ上での瞳孔中心１５０１の位置ベクトルＰ’Cから、角膜表面での瞳孔中心１５０１の位置ベクトルＰCを算出する。具体的には、例えば、視線算出部６０２が、下記式（２０）を用いて、角膜表面での瞳孔中心１５０１の位置ベクトルＰCを算出することができる。
(Iii) line-of-
ただし、ＰCは、角膜表面での瞳孔中心１５０１の位置ベクトルである。Ｐ’Cは、眼球画像ＥＰ上での瞳孔中心１５０１の位置ベクトルである。Ｃは、角膜曲率半径を表す定数である。‖Ｐ’C‖は、位置ベクトルＰ’Cのノルムである。また、Ｍは下記式（２１）となる。ただし、‖Ｐ’C−ｕC‖は、位置ベクトル（Ｐ’C−ｕC）のノルムである。
Where P C is the position vector of the
一例として、Ｃ＝７．６［ｍｍ］、眼球画像ＥＰ上での瞳孔中心１５０１の位置ベクトルＰ’C（ＸC，ＹC，ＺC）＝（３５．１４，５９．２２，６００）とする。この場合、上記式（２０）および（２１）から、角膜表面での瞳孔中心１５０１の位置ベクトルＰCは、『ＰC（ＸC，ＹC，ＺC）＝（３５．１５，５９．４４，６０７．６）』となる。
As an example, C = 7.6 [mm], the position vector P ′ C (X C , Y C , Z C ) = (35.14, 59.22, 600) of the
ただし、角膜１５０２に照射した光は、角膜表面で屈折する。したがって、観察された瞳孔７０１も実際の位置からは屈折して見えることになるため、位置ベクトルＰCの補正が必要となる。そこで、視線算出部６０２が、角膜表面での瞳孔中心１５０１の位置ベクトルＰCを補正する。
However, the light irradiated to the
（ｉｖ）視線算出部６０２は、角膜表面での瞳孔中心１５０１に入射した光の屈折ベクトルｔCと、角膜曲率中心１５０３から瞳孔中心１５０１までの距離Ｌとに基づいて、角膜表面での瞳孔中心１５０１の位置ベクトルＰCを補正する。具体的には、例えば、視線算出部６０２が、下記式（２２）を用いて、補正後の瞳孔中心１５０１の位置ベクトルｐCを求めることができる。
(Iv) The line-of-
ただし、ｐCは、補正後の瞳孔中心１５０１の位置ベクトルである。Ｌは、角膜曲率中心１５０３から瞳孔中心１５０１までの距離を表す定数である。Ｃは、角膜曲率半径を表す定数である。ＰCは、角膜表面での瞳孔中心１５０１の位置ベクトルである。また、ｔCは下記式（２３）となる。ただし、ｎ1は空気の屈折率、ｎ2は房水１５０４の屈折率である。ｒCは、眼球画像ＥＰ上での瞳孔中心１５０１の位置ベクトルＰ’Cの単位ベクトルである。（ｒC，ｎ）は、ｒCとｎとの内積を表す。また、ｎは下記式（２４）となる。
Here, p C is the position vector of the
一例として、Ｃ＝７．６［ｍｍ］、Ｌ＝４．５［ｍｍ］、屈折ベクトルｔC（ＸC，ＹC，ＺC）＝（０．０５７，０．１３，１）とし、単位ベクトルｎ（ＸC，ＹC，ＺC）＝（−０．０３６，−０．２１，−１）とする。この場合、上記式（２２）〜（２４）から、補正後の瞳孔中心１５０１の位置ベクトルｐCは、『ｐC（ＸC，ＹC，ＺC）＝（３５．３，５９．８３，６０３．０７）』となる。
As an example, C = 7.6 [mm], L = 4.5 [mm], refraction vector t C (X C , Y C , Z C ) = (0.057, 0.13, 1), unit Assume that the vector n (X C , Y C , Z C ) = (− 0.036, −0.21, −1). In this case, from the above equations (22) to (24), the corrected position vector p C of the
（ｖ）視線算出部６０２は、補正後の瞳孔中心１５０１の位置ベクトルｐCおよび角膜曲率中心１５０３の位置ベクトルｃCを、カメラ座標系５２０から世界座標系５３０に座標変換する。そして、視線算出部６０２は、世界座標系５３０における補正後の瞳孔中心１５０１の位置ベクトルｐWと、角膜曲率中心１５０３の位置ベクトルｃWとに基づいて、第１の視線ベクトルＶ１Wを算出する。
(V) The line-of-
具体的には、例えば、視線算出部６０２が、下記式（２５）を用いて、第１の視線ベクトルＶ１Wを求めることができる。ただし、Ｖ１Wは、世界座標系５３０における第１の視線ベクトルＶ１である。
Specifically, for example, the line-of-
Ｖ１W＝ｐW−ｃW ・・・（２５） V1 W = p W -c W ··· (25)
一例として、瞳孔中心１５０１の位置ベクトルｐW（ＸW，ＹW，ＺW）＝（３５．３，５９．８３，６０３．０７）とし、角膜曲率中心１５０３の位置ベクトルｃW（ＸW，ＹW，ＺW）＝（３５．４２，６１．０４，６０７．６）とする。この場合、上記式（２５）から、第１の視線ベクトルＶ１Wは、『Ｖ１W（ＸW，ＹW，ＺW）＝（−０．１２，−１．２１，−４．５３）』となる。
As an example, the position vector p W (X W , Y W , Z W ) = (35.3, 59.83, 603.07) of the
また、視線算出部６０２が、世界座標系５３０における第１の視線ベクトルＶ１Wを極座標変換することにより、上記式（１）に含まれる動径ｒ１、偏角θ１およびφ１を求めることができる。一例として、第１の視線ベクトルＶ１W（ＸW，ＹW，ＺW）＝（１，１，−７）とすると、極座標系における第１の視線ベクトルＶ１は『ｒ１＝１．７４，θ１＝１６８．５８，φ１＝４５』となる。
Further, the line-of-
なお、上述した説明では、人の左眼または右眼のいずれか一方の眼球に着目して、第１の視線ベクトルＶ１Wを求めることにしたが、これに限らない。例えば、視線算出部６０２が、左眼および右眼の眼球画像ＥＰから左眼および右眼の第１の視線ベクトルＶ１Wを求めて、左眼および右眼の第１の視線ベクトルＶ１Wの平均値をとることにしてもよい。
In the above description, the first line-of-sight vector V1 W is obtained by paying attention to either the left eye or the right eye of the person. However, the present invention is not limited to this. For example, the line-of-
（視線算出部６０２の具体的な処理内容）
第１の視線ベクトルＶ１に基づく表示画像ＳＰ上の仮の視線位置ＶＰを算出する視線算出部６０２の具体的な処理内容について説明する。
(Specific processing contents of the line-of-sight calculation unit 602)
A specific processing content of the line-of-
図１７は、視線ベクトルと視線位置との関係を表す説明図である。図１７において、点Ｏは、世界座標系５３０における角膜曲率中心１５０３（図１５参照）の位置ベクトルｃWの先端の点である。点Ａは、世界座標系５３０における第１の視線ベクトルＶ１Wの先端の点である。点Ａ’は、第１の視線ベクトルＶ１Wの方向に伸びる直線と表示画像ＳＰとが交わる点、すなわち、仮の視線位置ＶＰである。
FIG. 17 is an explanatory diagram illustrating the relationship between the line-of-sight vector and the line-of-sight position. In FIG. 17, a point O is a point at the tip of the position vector c W of the corneal curvature center 1503 (see FIG. 15) in the world coordinate
ここで、三角形ＯＡＢと三角形ＯＡ’Ｂ’は相似関係にある。このため、角膜曲率中心１５０３の位置ベクトルｃWのＺW座標と第１の視線ベクトルＶ１WのＺW座標との比率を利用して、仮の視線位置ＶＰを求めることができる。具体的には、例えば、視線算出部６０２が、下記式（２６）および（２７）を用いて、仮の視線位置ＶＰを求めることができる。
Here, the triangle OAB and the triangle OA′B ′ are in a similar relationship. Therefore, the provisional gaze position VP can be obtained by using the ratio between the Z W coordinate of the position vector c W of the
ただし、ｖｘ，ｖｙは、仮の視線位置ＶＰのＸW座標およびＹW座標である。また、仮の視線位置ＶＰのＺW座標は「０」である。ｘV1，ｙV1は、第１の視線ベクトルＶ１WのＸW座標およびＹW座標である。Ｇは、角膜曲率中心１５０３の位置ベクトルｃWのＺW座標の絶対値である。ｇは、第１の視線ベクトルＶ１WのＺW座標の絶対値である。
However, vx and vy are the X W coordinate and Y W coordinate of the temporary line-of-sight position VP. Further, the Z W coordinate of the temporary line-of-sight position VP is “0”. x V1 and y V1 are the X W coordinate and the Y W coordinate of the first line-of-sight vector V1 W , respectively. G is the absolute value of the Z W coordinate of the position vector c W of the
ｖｘ＝（Ｇ／ｇ）×ｘV1 ・・・（２６）
ｖｙ＝（Ｇ／ｇ）×ｙV1 ・・・（２７）
vx = (G / g) × x V1 (26)
vy = (G / g) × y V1 (27)
一例として、世界座標系５３０における第１の視線ベクトルＶ１WをＶ１W（ＸW，ＹW，ＺW）＝（１．１５，１．１５，−７．００）とし、角膜曲率中心１５０３の位置ベクトルｃWをｃW（ＸW，ＹW，ＺW）＝（３０，３０，６０７）とする。この場合、上記Ｇは「Ｇ＝６０７」となり、上記ｇは「ｇ＝７」となる。
As an example, the first line-of-sight vector V1 W in the world coordinate
したがって、仮の視線位置ＶＰのＸW座標は、上記式（２６）から「ｖｘ＝９９．７２＝（６０７／７）×１．１５」となる。また、仮の視線位置ＶＰのＹW座標は、上記式（２７）から「ｖｙ＝９９．７２＝（６０７／７）×１．１５」となる。 Therefore, X W coordinates of the temporary viewpoint position VP is "vx = 99.72 = (607/7) × 1.15 " from the equation (26). Further, the Y W coordinate of the temporary line-of-sight position VP is “vy = 99.72 = (607/7) × 1.15” from the above equation (27).
つぎに、図１７を用いて、被写体の眼球から注視点Ｇに向かう第２の視線ベクトルＶ２を算出する視線算出部６０２の具体的な処理内容について説明する。図１７において、点Ｃは、世界座標系５３０における第２の視線ベクトルＶ２Wの先端の点である。点Ｃ’は、第２の視線ベクトルＶ２Wの方向に伸びる直線と表示画像ＳＰとが交わる点、すなわち、注視点Ｇである。
Next, the specific processing contents of the line-of-
ここで、三角形ＯＣＢと三角形ＯＣ’Ｂ’は相似関係にある。このため、角膜曲率中心１５０３の位置ベクトルｃWのＺW座標と第１の視線ベクトルＶ１WのＺW座標との比率を利用して、第２の視線ベクトルＶ２Wを求めることができる。具体的には、例えば、視線算出部６０２が、下記式（２８）〜（３０）を用いて、第２の視線ベクトルＶ２Wを求めることができる。
Here, the triangle OCB and the triangle OC′B ′ are in a similar relationship. Therefore, the second line-of-sight vector V2 W can be obtained using the ratio between the Z W coordinate of the position vector c W of the
ただし、ｗｘ，ｗｙは、注視点ＧのＸW座標およびＹW座標である。また、注視点ＧのＺW座標は「０」である。ｘV2，ｙV2，ｚV2は、第２の視線ベクトルＶ２WのＸW座標、ＹW座標およびＺW座標である。ｚV1は、第１の視線ベクトルＶ１WのＺW座標である。Ｇは、角膜曲率中心１５０３の位置ベクトルｃWのＺW座標の絶対値である。ｇは、第１の視線ベクトルＶ１WのＺW座標の絶対値である。
Here, wx and wy are the X W coordinate and Y W coordinate of the gazing point G. Further, the Z W coordinate of the gazing point G is “0”. x V2 , y V2 , and z V2 are the X W coordinate, Y W coordinate, and Z W coordinate of the second line-of-sight vector V2 W. z V1 is the Z W coordinate of the first line-of-sight vector V1 W. G is the absolute value of the Z W coordinate of the position vector c W of the
ｘV2＝（ｇ／Ｇ）×ｗｘ ・・・（２８）
ｙV2＝（ｇ／Ｇ）×ｗｙ ・・・（２９）
ｚV2＝ｚV1 ・・・（３０）
x V2 = (g / G) × wx (28)
y V2 = (g / G) × wy (29)
z V2 = z V1 (30)
一例として、世界座標系５３０における注視点Ｇを「Ｇ（ＸW，ＹW，ＺW）＝（１００，１００，０）」とし、角膜曲率中心１５０３の位置ベクトルｃWを「ｃW（ＸW，ＹW，ＺW）＝（３０，３０，６０７）」とする。第１の視線ベクトルＶ１WのＺW座標を「ＺW＝−７」とする。この場合、上記Ｇは「Ｇ＝６０７」となり、上記ｇは「ｇ＝７」となる。
As an example, the gazing point G in the world coordinate
したがって、第２の視線ベクトルＶ２WのＸW座標は、上記式（２８）から「ｘV2＝１．１５」となる。また、第２の視線ベクトルＶ２WのＹW座標は、上記式（２９）から「ｙV2＝１．１５」となる。また、第２の視線ベクトルＶ２WのＺW座標は、上記式（３０）から「ｚV2＝−７」となる。 Therefore, the X W coordinate of the second line-of-sight vector V2 W is “x V2 = 1.15” from the above equation (28). Further, the Y W coordinate of the second line-of-sight vector V2 W is “y V2 = 1.15” from the above equation (29). Further, the Z W coordinate of the second line-of-sight vector V2 W is “z V2 = −7” from the above equation (30).
そして、視線算出部６０２が、第２の視線ベクトルＶ２Wを極座標変換することにより、第２の視線ベクトルＶ２を求めることができる。一例として、第２の視線ベクトルＶ２Wを「Ｖ２W（ＸW，ＹW，ＺW）＝（１．１５，１．１５，−７）」とすると、第２の視線ベクトルＶ２は「ｒ２＝７．１８，θ２＝１６６．９２，φ２＝４５」となる。
The
（特徴量算出部６０５の具体的な処理内容）
つぎに、表示画像ＳＰ内の領域ごとの特徴量（上述した区画Ｄｉ内の画素ｐ１〜〜ｐｎごとの特徴量Ｃ１〜Ｃｎに相当する）を算出する特徴量算出部６０５の具体的な処理内容について説明する。以下、表示画像ＳＰ内の複数の領域を「領域Ａ１〜Ａｎ」とし、領域Ａ１〜Ａｎごとの特徴量を「特徴量Ｃ１〜Ｃｎ」と表記する。ここでは、まず、表示画像ＳＰに対して２値化処理を施すことにより、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する場合について説明する。
(Specific processing contents of the feature amount calculation unit 605)
Next, specific processing contents of the feature
＜２値化処理＞
図１８は、２値化処理の概要を示す説明図である。図１８において、表示画像輝度テーブル１８１０は、領域ＩＤ、座標位置および輝度のフィールドを有し、領域Ａ１〜Ａｎごとの輝度情報１８１０−１〜１８１０−ｎを記憶している。
<Binarization processing>
FIG. 18 is an explanatory diagram showing an outline of binarization processing. In FIG. 18, a display image luminance table 1810 has fields of region ID, coordinate position, and luminance, and stores luminance information 1810-1 to 1810-n for each of the regions A1 to An.
領域ＩＤは、各領域Ａ１〜Ａｎの識別子である。座標位置は、世界座標系５３０における各領域Ａ１〜Ａｎの中心点のＸW座標およびＹW座標である。輝度は、各領域Ａ１〜Ａｎの赤（Ｒ）、緑（Ｇ）、青（Ｂ）ごとの輝度である。ここでは、各色の輝度が「０〜２５５」の２５６階調で表現されている。
The area ID is an identifier of each of the areas A1 to An. The coordinate position is the X W coordinate and the Y W coordinate of the center point of each of the areas A1 to An in the world coordinate
まず、特徴量算出部６０５は、表示画像ＳＰをグレースケール画像ＬＰに変換する。ここで、グレースケール画像ＬＰとは、画像を灰色の濃淡（白から黒までの明暗）だけで表現したものである。具体的には、例えば、特徴量算出部６０５が、表示画像ＳＰの各領域Ａ１〜Ａｎの色ごとの輝度に基づいて、グレースケール画像ＬＰにおける各領域Ａ１〜Ａｎの灰色の輝度を算出する。
First, the feature
より具体的には、例えば、特徴量算出部６０５が、下記式（３１）を用いて、グレースケール画像ＬＰにおける領域Ａ１〜Ａｎごとの灰色の輝度を算出することができる。ただし、Ｌ（ｉ）は、グレースケール画像ＬＰにおける領域Ａｉの灰色の輝度である。Ｒ（ｉ）は、表示画像ＳＰにおける領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、表示画像ＳＰにおける領域Ａｉの緑色の輝度である。Ｂ（ｉ）は、表示画像ＳＰにおける領域Ａｉの青色の輝度である。
More specifically, for example, the feature
Ｌ（ｉ）＝｛Ｒ（ｉ）＋Ｇ（ｉ）＋Ｂ（ｉ）｝／３ ・・・（３１） L (i) = {R (i) + G (i) + B (i)} / 3 (31)
すなわち、特徴量算出部６０５は、表示画像輝度テーブル１８１０を参照して、領域Ａｉの輝度Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）を上記式（３１）に代入することにより、領域Ａｉの輝度Ｌ（ｉ）を算出することができる。例えば、領域Ａ４の輝度Ｌ（４）は、『Ｌ（４）＝２００』となる。
That is, the feature
なお、算出された領域Ａ１〜Ａｎごとの灰色の輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、グレースケール画像輝度テーブル１８２０に記憶される。グレースケール画像輝度テーブル１８２０は、領域ＩＤ、座標位置および輝度のフィールドを有し、領域Ａ１〜Ａｎごとの輝度情報１８２０−１〜１８２０−ｎを記憶している。ここで、輝度は、各領域Ａ１〜Ａｎの灰色（Ｌ）の輝度である。 Note that the calculated gray luminances L (1) to L (n) for each of the regions A1 to An are stored in the grayscale image luminance table 1820, for example. The grayscale image luminance table 1820 has fields of region ID, coordinate position, and luminance, and stores luminance information 1820-1 to 1820-n for each of the regions A1 to An. Here, the luminance is the gray (L) luminance of each of the areas A1 to An.
つぎに、特徴量算出部６０５は、変換後のグレースケール画像ＬＰに対して、２値化処理を実行する。ここで、２値化処理とは、濃淡のある画像を白と黒の２階調に変換する処理である。具体的には、例えば、特徴量算出部６０５は、各領域Ａ１〜Ａｎの灰色の輝度が、所定の閾値Ｌ以上となる場合は「白」、閾値Ｌ未満となる場合は「黒」に置き換える。なお、閾値Ｌは、任意に設定されて、ＲＯＭ３０２、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置に記憶されている。
Next, the feature
より具体的には、例えば、特徴量算出部６０５は、グレースケール画像輝度テーブル１８２０を参照して、領域Ａｉの灰色の輝度Ｌ（ｉ）が、閾値Ｌ以上となる場合は、輝度Ｌ（ｉ）を「２５５」に置き換える。一方、特徴量算出部６０５は、領域Ａｉの灰色の輝度Ｌ（ｉ）が、閾値Ｌ未満となる場合は、輝度Ｌ（ｉ）を「０」に置き換える。
More specifically, for example, the feature
ここで、上記閾値Ｌを『Ｌ＝２００』とする。この場合、例えば、領域Ａ１の輝度Ｌ（１）は、閾値Ｌ未満のため「０」に置き換えられる。また、領域Ａ４の輝度Ｌ（４）は、閾値Ｌ以上のため「２５５」に置き換えられる。 Here, the threshold value L is “L = 200”. In this case, for example, the luminance L (1) of the area A1 is replaced with “0” because it is less than the threshold value L. Also, the luminance L (4) of the area A4 is replaced with “255” because it is equal to or greater than the threshold value L.
なお、２値化された領域Ａ１〜Ａｎごとの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、図８に示した特徴量テーブル８００の領域Ａ１〜Ａｎごとの「特徴量」フィールドに記憶される。すなわち、各領域Ａ１〜Ａｎの２値化後の輝度Ｌ（１）〜Ｌ（ｎ）を、人の視覚的な注意を引きつける強さを表す特徴量Ｃ１〜Ｃｎとする。 Note that the luminances L (1) to L (n) for each of the binarized areas A1 to An are stored in, for example, the “feature amount” field for each of the areas A1 to An of the feature amount table 800 illustrated in FIG. Is done. That is, the luminance L (1) to L (n) after binarization of each of the areas A1 to An is set as feature amounts C1 to Cn representing the strength that attracts human visual attention.
このように、各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を２値化して表すことにより、領域Ａ１〜Ａｎの中から輝度・色・形が周囲と異なる領域Ａｉを特定することができる。ここで、輝度・色・形が周囲と異なる領域の一例について説明する。 In this way, by binarizing and representing the luminance L (1) to L (n) of each of the regions A1 to An, the region Ai having a luminance, color, and shape different from the surroundings is specified from the regions A1 to An. be able to. Here, an example of a region where brightness, color, and shape are different from the surroundings will be described.
図１９は、輝度・色・形が周囲と異なる領域の一例を示す説明図である。なお、図面では、表示画像ＳＰの一部を抜粋して表示している。図１９において、表示画像ＳＰａでは、領域Ａａが周囲と比べて明るくなっている。表示画像ＳＰｂでは、領域Ａｂが周囲と比べて色が異なっている。表示画像ＳＰｃでは、領域Ａｃのみに文字が表示されている（形が周囲と異なる）。 FIG. 19 is an explanatory diagram illustrating an example of a region where brightness, color, and shape are different from the surrounding. In the drawing, a part of the display image SP is extracted and displayed. In FIG. 19, in the display image SPa, the area Aa is brighter than the surrounding area. In the display image SPb, the color of the area Ab is different from the surrounding area. In the display image SPc, characters are displayed only in the area Ac (the shape is different from the surroundings).
表示画像ＳＰにおいて、輝度・色・形が周囲と異なる領域Ａｉは、他の領域に比べて人の視線が向きやすい領域といえる。このため、各領域Ａ１〜Ａｎの輝度を２値化して表すことにより、領域Ａａ，Ａｂ，Ａｃのような輝度・色・形が周囲と異なる領域Ａｉを注視点Ｇに決定することができる。 In the display image SP, an area Ai whose brightness, color, and shape are different from the surrounding area can be said to be an area in which a person's line of sight is easier to face than other areas. Therefore, by binarizing and expressing the brightness of each of the areas A1 to An, the area Ai having different brightness, color, and shape, such as the areas Aa, Ab, and Ac, can be determined as the gazing point G.
なお、視線検出装置３００は、領域Ａａ，Ａｂ，Ａｃのような輝度・色・形が周囲と異なる領域Ａｉを含む表示画像ＳＰを、視線検出中の任意のタイミングでディスプレイ３１１に表示することにしてもよい。これにより、表示画像ＳＰの中から注視点Ｇを精度よく決定して、被写体に固有の補正値（パラメータω1〜ω4の値）を高精度に算出することができる。
Note that the line-of-
＜顕著度マップ作成処理＞
つぎに、表示画像ＳＰに関する顕著度マップを作成することにより、領域Ａ１〜Ａｎごとの特徴量Ｃ１〜Ｃｎを算出する場合について説明する。ここで、顕著度マップとは、表示画像ＳＰ上の領域Ａ１〜Ａｎごとの人の視覚的な注意を引きつける強さを顕著度として表すマップである。
<Saliency map creation process>
Next, a case where the feature amounts C1 to Cn for the regions A1 to An are calculated by creating a saliency map related to the display image SP will be described. Here, the saliency map is a map that represents, as the saliency, the strength that attracts the visual attention of a person for each of the areas A1 to An on the display image SP.
具体的には、特徴量算出部６０５が、表示画像ＳＰを輝度成分、色成分、方向成分に分離して、各成分に関する顕著度マップＭ１〜Ｍ３を作成する。そして、特徴量算出部６０５が、顕著度マップＭ１〜Ｍ３の線形和をとることにより、表示画像ＳＰの顕著度マップＭを作成する。
Specifically, the feature
以下、図２０〜図２８を用いて、顕著度マップ作成処理の具体的な処理内容について説明する。ここでは、まず、図２０および図２１を用いて、輝度成分に関する表示画像ＳＰの顕著度マップＭ１を作成する場合について説明する。 Hereinafter, specific processing contents of the saliency map creation processing will be described with reference to FIGS. Here, first, the case where the saliency map M1 of the display image SP related to the luminance component is created will be described using FIG. 20 and FIG.
図２０および図２１は、輝度成分に関する顕著度マップ作成処理の概要を示す説明図である。図２０において、（ｉ）特徴量算出部６０５は、表示画像ＳＰをグレースケール画像ＬＰに変換する。ここで、表示画像輝度テーブル２０１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの色（ＲＧＢ）ごとの輝度を記憶するテーブルである。
20 and 21 are explanatory diagrams showing an overview of the saliency map creation process regarding the luminance component. In FIG. 20, (i) the feature
具体的には、例えば、特徴量算出部６０５が、表示画像輝度テーブル２０１０を参照して、表示画像ＳＰ上の領域Ａｉの輝度Ｒ（ｉ）、Ｇ（ｉ）、Ｂ（ｉ）を上記式（３１）に代入する。これにより、グレースケール画像ＬＰ上の領域Ａｉの灰色（Ｌ）の輝度Ｌ（ｉ）を算出することができる。
Specifically, for example, the feature
グレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、グレースケール画像輝度テーブル２０２０に記憶される。グレースケール画像輝度テーブル２０２０は、グレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。 The luminances L (1) to L (n) of the regions A1 to An on the grayscale image LP are stored in the grayscale image luminance table 2020, for example. The gray scale image brightness table 2020 is a table that stores the brightness L (1) to L (n) of each of the areas A1 to An on the gray scale image LP.
図２０において、（ｉｉ）特徴量算出部６０５は、グレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰを作成する。ここで、ガウシアンフィルタとは、画像を滑らかにして輪郭のボケを少なくすることを目的とした平滑化フィルタである。ダウンサンプリングとは、サンプリング周波数を下げて再サンプリングすることである。
In FIG. 20, (ii) the feature
ダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ダウンサンプリング画像輝度テーブル２０３０に記憶される。ダウンサンプリング画像輝度テーブル２０３０は、ダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。 The luminances L (1) to L (n) of the regions A1 to An on the downsampled image DP are stored in the downsampled image luminance table 2030, for example. The downsampling image luminance table 2030 is a table that stores the luminances L (1) to L (n) of the regions A1 to An on the downsampling image DP.
図２０において、（ｉｉｉ）特徴量算出部６０５は、ダウンサンプリング画像ＤＰにアップサンプリング（バイリニア補間）を実施して、ピラミッド画像ＰＰを作成する。ここで、アップサンプリングとは、サンプリング周波数を上げて再サンプリングすることである。ピラミッド画像ＰＰとは、解像度の異なる画像の集合である。
In FIG. 20, (iii) the feature
ピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ピラミッド画像輝度テーブル２０４０に記憶される。ピラミッド画像輝度テーブル２０４０は、ピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。ただし、ピラミッド画像輝度テーブル２０４０は、ピラミッド画像ＰＰの低解像度画像の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶している。 The luminances L (1) to L (n) of the areas A1 to An on the pyramid image PP are stored in, for example, the pyramid image luminance table 2040. The pyramid image luminance table 2040 is a table that stores the luminances L (1) to L (n) of the regions A1 to An on the pyramid image PP. However, the pyramid image luminance table 2040 stores the luminances L (1) to L (n) of the regions A1 to An of the low resolution image of the pyramid image PP.
図２１において、（ｉｖ）特徴量算出部６０５は、ピラミッド画像ＰＰに関する中心周辺差分処理を実施して、輝度成分に関する顕著度マップＭ１を作成する。ここで、中心周辺差分処理とは、ピラミッド画像ＰＰの高解像度画像と低解像度画像との差分を取ることである。ここでは、ピラミッド画像ＰＰの高解像度画像の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）として、グレースケール画像輝度テーブル２０２０内の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を用いる。
In FIG. 21, (iv) the feature
具体的には、特徴量算出部６０５が、ピラミッド画像輝度テーブル２０４０内の領域Ａｉの輝度Ｌ（ｉ）と、グレースケール画像輝度テーブル２０２０内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度成分に関する顕著度を算出する。例えば、領域Ａ２の輝度成分に関する顕著度は、『４７＝｜３３−８０｜』となる。
Specifically, the feature
表示画像ＳＰ上の各領域Ａ１〜Ａｎの輝度成分に関する顕著度は、例えば、輝度顕著度テーブル２１００に記憶される。輝度顕著度テーブル２１００は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの輝度成分に関する顕著度を記憶するテーブルである。これにより、輝度成分に関する表示画像ＳＰの顕著度マップＭ１を作成することができる。 The saliency related to the luminance components of the areas A1 to An on the display image SP is stored in, for example, the luminance saliency table 2100. The brightness saliency table 2100 is a table that stores saliency related to the brightness components of the areas A1 to An on the display image SP. Thereby, the saliency map M1 of the display image SP regarding the luminance component can be created.
なお、上述した各種テーブル２０１０，２０２０，２０３０，２０４０，２１００は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。
The various tables 2010, 2020, 2030, 2040, and 2100 described above are realized by storage devices such as the
つぎに、図２２〜図２４を用いて、色成分に関する表示画像ＳＰの顕著度マップＭ２を作成する場合について説明する。図２２〜図２４は、色成分に関する顕著度マップ作成処理の概要を示す説明図である。 Next, a case where the saliency map M2 of the display image SP related to the color component is created will be described with reference to FIGS. 22 to 24 are explanatory diagrams illustrating an outline of the saliency map creation processing regarding the color components.
図２２および図２３において、（ｉ）特徴量算出部６０５は、表示画像輝度テーブル２０１０（図２０参照）を参照して、表示画像ＳＰをＲ成分、Ｇ成分、Ｂ成分およびＹ（黄）成分に分離する。ここで、表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）は、例えば、特徴量算出部６０５が、下記式（３２）を用いて求めることができる。ただし、Ｙ（ｉ）は、領域Ａｉの黄色の輝度である。Ｒ（ｉ）は、領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、領域Ａｉの緑色の輝度である。Ｂ（ｉ）は、領域Ａｉの青色の輝度である。なお、Ｙ（ｉ）が負の値の場合は「Ｙ（ｉ）＝０」とする。
22 and FIG. 23, (i) the feature
分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色の輝度Ｒ（１）〜Ｒ（ｎ）は、例えば、Ｒ成分輝度テーブル２２１０に記憶される。Ｒ成分輝度テーブル２２１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色の輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。 The red luminances R (1) to R (n) of the regions A1 to An on the separated display image SP are stored in the R component luminance table 2210, for example. The R component luminance table 2210 is a table that stores red luminances R (1) to R (n) of the respective regions A1 to An on the display image SP.
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの緑色の輝度Ｇ（１）〜Ｇ（ｎ）は、例えば、Ｇ成分輝度テーブル２２２０に記憶される。Ｇ成分輝度テーブル２２２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの緑色の輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。 Further, the green luminances G (1) to G (n) of the regions A1 to An on the separated display image SP are stored in the G component luminance table 2220, for example. The G component luminance table 2220 is a table that stores the green luminances G (1) to G (n) of the areas A1 to An on the display image SP.
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色の輝度Ｂ（１）〜Ｂ（ｎ）は、例えば、Ｂ成分輝度テーブル２３１０に記憶される。Ｂ成分輝度テーブル２３１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色の輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。 Further, the blue luminances B (1) to B (n) of the regions A1 to An on the separated display image SP are stored in, for example, the B component luminance table 2310. The B component luminance table 2310 is a table for storing the blue luminances B (1) to B (n) of the respective regions A1 to An on the display image SP.
また、分離された表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）は、例えば、Ｙ成分輝度テーブル２３２０に記憶される。Ｙ成分輝度テーブル２３２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの黄色の輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。 Further, the yellow luminances Y (1) to Y (n) of the areas A1 to An on the separated display image SP are stored in, for example, the Y component luminance table 2320. The Y component luminance table 2320 is a table that stores the yellow luminances Y (1) to Y (n) of the areas A1 to An on the display image SP.
図２２において、（ｉｉ）特徴量算出部６０５は、Ｒ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＲ成分のダウンサンプリング画像ＤＰを作成する。
In FIG. 22, (ii) the feature
Ｒ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）は、例えば、Ｒ成分ダウンサンプリング画像輝度テーブル２２１１に記憶される。Ｒ成分ダウンサンプリング画像輝度テーブル２２１１は、Ｒ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。 The luminances R (1) to R (n) of the regions A1 to An on the R component down-sampled image DP are stored in the R component down-sampled image luminance table 2211, for example. The R component down-sampled image luminance table 2211 is a table that stores the luminances R (1) to R (n) of the regions A1 to An on the R-component down-sampled image DP.
図２２において、（ｉｉｉ）特徴量算出部６０５は、Ｒ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｒ成分のピラミッド画像ＰＰを作成する。Ｒ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）は、例えば、Ｒ成分ピラミッド画像輝度テーブル２２１２に記憶される。Ｒ成分ピラミッド画像輝度テーブル２２１２は、Ｒ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｒ（１）〜Ｒ（ｎ）を記憶するテーブルである。
In FIG. 22, (iii) a feature
図２２において、（ｉｉ）特徴量算出部６０５は、Ｇ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＧ成分のダウンサンプリング画像ＤＰを作成する。Ｇ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）は、例えば、Ｇ成分ダウンサンプリング画像輝度テーブル２２２１に記憶される。Ｇ成分ダウンサンプリング画像輝度テーブル２２２１は、Ｇ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
In FIG. 22, (ii) a feature
図２２において、（ｉｉｉ）特徴量算出部６０５は、Ｇ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｇ成分のピラミッド画像ＰＰを作成する。Ｇ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）は、例えば、Ｇ成分ピラミッド画像輝度テーブル２２２２に記憶される。Ｇ成分ピラミッド画像輝度テーブル２２２２は、Ｇ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｇ（１）〜Ｇ（ｎ）を記憶するテーブルである。
In FIG. 22, (iii) a feature
図２３において、（ｉｉ）特徴量算出部６０５は、Ｂ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＢ成分のダウンサンプリング画像ＤＰを作成する。Ｂ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）は、例えば、Ｂ成分ダウンサンプリング画像輝度テーブル２３１１に記憶される。Ｂ成分ダウンサンプリング画像輝度テーブル２３１１は、Ｂ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
In FIG. 23, (ii) the feature
図２３において、（ｉｉｉ）特徴量算出部６０５は、Ｂ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｂ成分のピラミッド画像ＰＰを作成する。Ｂ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）は、例えば、Ｂ成分ピラミッド画像輝度テーブル２３１２に記憶される。Ｂ成分ピラミッド画像輝度テーブル２３１２は、Ｂ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｂ（１）〜Ｂ（ｎ）を記憶するテーブルである。
In FIG. 23, (iii) a feature
図２３において、（ｉｉ）特徴量算出部６０５は、Ｙ成分に分離した表示画像ＳＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してＹ成分のダウンサンプリング画像ＤＰを作成する。Ｙ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）は、例えば、Ｙ成分ダウンサンプリング画像輝度テーブル２３２１に記憶される。Ｙ成分ダウンサンプリング画像輝度テーブル２３２１は、Ｙ成分のダウンサンプリング画像ＤＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
In FIG. 23, (ii) the feature
図２３において、（ｉｉｉ）特徴量算出部６０５は、Ｙ成分のダウンサンプリング画像ＤＰにアップサンプリングを実施して、Ｙ成分のピラミッド画像ＰＰを作成する。Ｙ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）は、例えば、Ｙ成分ピラミッド画像輝度テーブル２３２２に記憶される。Ｙ成分ピラミッド画像輝度テーブル２３２２は、Ｙ成分のピラミッド画像ＰＰ上の各領域Ａ１〜Ａｎの輝度Ｙ（１）〜Ｙ（ｎ）を記憶するテーブルである。
In FIG. 23, (iii) the feature
図２４において、（ｉｖ）特徴量算出部６０５は、Ｒ成分の表示画像ＳＰとＧ成分の表示画像ＳＰに関する中心周辺差分処理を実施する。具体的には、例えば、特徴量算出部６０５が、下記式（３３）を用いて、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色（ＲＧ）の輝度ＲＧ（１）〜ＲＧ（ｎ）を算出する。ただし、ＲＧ（ｉ）は、表示画像ＳＰ上の領域Ａｉの赤色および緑色の輝度である。Ｒ（ｉ）は、表示画像ＳＰ上の領域Ａｉの赤色の輝度である。Ｇ（ｉ）は、表示画像ＳＰ上の領域Ａｉの緑色の輝度である。ＲP（ｉ）は、Ｒ成分のピラミッド画像ＰＰ上の領域Ａｉの赤色の輝度である。ＧP（ｉ）は、Ｇ成分のピラミッド画像ＰＰ上の領域Ａｉの緑色の輝度である。
In FIG. 24, (iv) a feature
ＲＧ（ｉ）＝｜｛Ｒ（ｉ）−Ｇ（ｉ）｝−｛ＧP（ｉ）−ＲP（ｉ）｝｜
・・・（３３）
RG (i) = | {R (i) -G (i)} - {G P (i) -R P (i)} |
... (33)
なお、輝度Ｒ（ｉ）は、Ｒ成分輝度テーブル２２１０に記憶されている。輝度Ｇ（ｉ）は、Ｇ成分輝度テーブル２２２０に記憶されている。輝度ＲP（ｉ）は、Ｒ成分ピラミッド画像輝度テーブル２２１２に記憶されている。輝度ＧP（ｉ）は、Ｇ成分ピラミッド画像輝度テーブル２２２２に記憶されている。また、算出された表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色の輝度ＲＧ（１）〜ＲＧ（ｎ）は、例えば、ＲＧ成分輝度テーブル２４１０に記憶される。ＲＧ成分輝度テーブル２４１０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの赤色および緑色の輝度ＲＧ（１）〜ＲＧ（ｎ）を記憶するテーブルである。 Note that the luminance R (i) is stored in the R component luminance table 2210. The luminance G (i) is stored in the G component luminance table 2220. The luminance R P (i) is stored in the R component pyramid image luminance table 2212. The luminance G P (i) is stored in the G component pyramid image luminance table 2222. Further, the calculated red and green luminances RG (1) to RG (n) of the regions A1 to An on the display image SP are stored in, for example, the RG component luminance table 2410. The RG component luminance table 2410 is a table that stores red and green luminances RG (1) to RG (n) of the respective regions A1 to An on the display image SP.
図２４において、（ｉｖ）特徴量算出部６０５は、Ｂ成分の表示画像ＳＰとＹ成分の表示画像ＳＰに関する中心周辺差分処理を実施する。具体的には、例えば、特徴量算出部６０５が、下記式（３４）を用いて、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色（ＢＹ）の輝度ＢＹ（１）〜ＢＹ（ｎ）を算出する。ただし、ＢＹ（ｉ）は、表示画像ＳＰ上の領域Ａｉの青色および黄色の輝度である。Ｂ（ｉ）は、表示画像ＳＰ上の領域Ａｉの青色の輝度である。Ｙ（ｉ）は、表示画像ＳＰ上の領域Ａｉの黄色の輝度である。ＢP（ｉ）は、Ｂ成分のピラミッド画像ＰＰ上の領域Ａｉの青の輝度である。ＹP（ｉ）は、Ｙ成分のピラミッド画像ＰＰ上の領域Ａｉの黄色の輝度である。
In FIG. 24, (iv) a feature
ＢＹ（ｉ）＝｛Ｂ（ｉ）−Ｙ（ｉ）｝−｛ＹP（ｉ）−ＢP（ｉ）｝・・・（３４） BY (i) = {B (i) −Y (i)} − {Y P (i) −B P (i)} (34)
なお、輝度Ｂ（ｉ）は、Ｂ成分輝度テーブル２３１０に記憶されている。輝度Ｙ（ｉ）は、Ｙ成分輝度テーブル２３２０に記憶されている。輝度ＢP（ｉ）は、Ｂ成分ピラミッド画像輝度テーブル２３１２に記憶されている。輝度ＹP（ｉ）は、Ｙ成分ピラミッド画像輝度テーブル２３２２に記憶されている。また、算出された表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色の輝度ＢＹ（１）〜ＢＹ（ｎ）は、例えば、ＢＹ成分輝度テーブル２４２０に記憶される。ＢＹ成分輝度テーブル２４２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの青色および黄色の輝度ＢＹ（１）〜ＢＹ（ｎ）を記憶するテーブルである。 The luminance B (i) is stored in the B component luminance table 2310. The luminance Y (i) is stored in the Y component luminance table 2320. The luminance B P (i) is stored in the B component pyramid image luminance table 2312. The luminance Y P (i) is stored in the Y component pyramid image luminance table 2322. Further, the calculated blue and yellow luminances BY (1) to BY (n) of the respective regions A1 to An on the display image SP are stored in the BY component luminance table 2420, for example. The BY component luminance table 2420 is a table for storing the blue and yellow luminances BY (1) to BY (n) of the regions A1 to An on the display image SP.
図２４において、（ｖ）特徴量算出部６０５は、領域Ａ１〜Ａｎの輝度ＲＧ（１）〜ＲＧ（ｎ）と、領域Ａ１〜Ａｎの輝度ＢＹ（１）〜ＢＹ（ｎ）との線形和をとることにより、色成分に関する顕著度マップＭ２を作成する。具体的には、特徴量算出部６０５が、ＲＧ成分輝度テーブル２４１０内の領域Ａｉの輝度ＲＧ（ｉ）と、ＢＹ成分輝度テーブル２４２０内の領域Ａｉの輝度ＢＹ（ｉ）とを足し合わせて、領域Ａｉの色成分に関する顕著度を算出する。例えば、領域Ａ２の色成分に関する顕著度は、『３４０＝２０＋３２０』となる。
In FIG. 24, (v) the feature
表示画像ＳＰ上の各領域Ａ１〜Ａｎの色成分に関する顕著度は、例えば、色顕著度テーブル２４３０に記憶される。色顕著度テーブル２４３０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの色成分に関する顕著度を記憶するテーブルである。これにより、色成分に関する表示画像ＳＰの顕著度マップＭ２を作成することができる。 The saliency related to the color components of the areas A1 to An on the display image SP is stored in, for example, the color saliency table 2430. The color saliency table 2430 is a table that stores saliency related to the color components of the areas A1 to An on the display image SP. Thereby, the saliency map M2 of the display image SP regarding the color component can be created.
なお、上述した各種テーブル２２１０〜２２１２，２２２０〜２２２２，２３１０〜２３１２，２３２０〜２３２２，２４１０，２４２０，２４３０は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。
Note that the various tables 2210 to 2212, 2220 to 2222, 2310 to 2312, 2320 to 2322, 2410, 2420, and 2430 are realized by storage devices such as the
つぎに、図２５〜図２７を用いて、方向成分に関する表示画像ＳＰの顕著度マップＭ３を作成する場合について説明する。なお、以下に示す各角度（０度、４５度、９０度、１３５度）は、ガボール関数の縞模様の方向である。図２５〜図２７は、方向成分に関する顕著度マップ作成処理の概要を示す説明図である。 Next, the case of creating the saliency map M3 of the display image SP related to the direction component will be described with reference to FIGS. In addition, each angle (0 degree, 45 degree, 90 degree, 135 degree) shown below is a direction of the striped pattern of a Gabor function. FIG. 25 to FIG. 27 are explanatory diagrams showing an outline of the saliency map creation process regarding the direction component.
図２５において、（ｉ）特徴量算出部６０５は、グレースケール画像輝度テーブル２０２０を参照して、グレースケール画像ＬＰに対して０度のガボールフィルタによりフィルタリングする。ガボールフィルタとは、画像の局所的な濃淡情報を取り出すものである。０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、０度ガボールフィルタ輝度テーブル２５１０に記憶される。０度ガボールフィルタ輝度テーブル２５１０は、０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
In FIG. 25, (i) the feature
図２５において、（ｉ）特徴量算出部６０５は、グレースケール画像輝度テーブル２０２０を参照して、グレースケール画像ＬＰに対して４５度のガボールフィルタによりフィルタリングする。４５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、４５度ガボールフィルタ輝度テーブル２５２０に記憶される。４５度ガボールフィルタ輝度テーブル２５２０は、４５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
In FIG. 25, (i) the feature
図２６において、（ｉ）特徴量算出部６０５は、グレースケール画像輝度テーブル２０２０を参照して、グレースケール画像ＬＰに対して９０度のガボールフィルタによりフィルタリングする。９０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、９０度ガボールフィルタ輝度テーブル２６１０に記憶される。９０度ガボールフィルタ輝度テーブル２６１０は、９０度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
In FIG. 26, (i) the feature
図２６において、（ｉ）特徴量算出部６０５は、グレースケール画像輝度テーブル２０２０を参照して、グレースケール画像ＬＰに対して１３５度のガボールフィルタによりフィルタリングする。１３５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、１３５度ガボールフィルタ輝度テーブル２６２０に記憶される。１３５度ガボールフィルタ輝度テーブル２６２０は、１３５度のガボールフィルタを通したグレースケール画像ＬＰ上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）を記憶するテーブルである。
In FIG. 26, (i) the feature
図２５において、（ｉｉ）特徴量算出部６０５は、０度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（０度）を作成する。ダウンサンプリング画像ＤＰ（０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ダウンサンプリング画像輝度テーブル２５１１に記憶される。
In FIG. 25, (ii) the feature
図２５において、（ｉｉ）特徴量算出部６０５は、４５度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（４５度）を作成する。ダウンサンプリング画像ＤＰ（４５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ダウンサンプリング画像輝度テーブル２５２１に記憶される。
In FIG. 25, (ii) the feature
図２６において、（ｉｉ）特徴量算出部６０５は、９０度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（９０度）を作成する。ダウンサンプリング画像ＤＰ（９０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ダウンサンプリング画像輝度テーブル２６１１に記憶される。
In FIG. 26, (ii) the feature
図２６において、（ｉｉ）特徴量算出部６０５は、１３５度のガボールフィルタを通したグレースケール画像ＬＰにガウシアンフィルタをかけて平滑化したあと、ダウンサンプリングを実施してダウンサンプリング画像ＤＰ（１３５度）を作成する。ダウンサンプリング画像ＤＰ（１３５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ダウンサンプリング画像輝度テーブル２６２１に記憶される。
In FIG. 26, (ii) the feature
図２５において、（ｉｉｉ）特徴量算出部６０５は、ダウンサンプリング画像ＤＰ（０度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（０度）を作成する。ピラミッド画像ＰＰ（０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ピラミッド画像輝度テーブル２５１２に記憶される。
In FIG. 25, (iii) the feature
図２５において、（ｉｉｉ）特徴量算出部６０５は、ダウンサンプリング画像ＤＰ（４５度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（４５度）を作成する。ピラミッド画像ＰＰ（４５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ピラミッド画像輝度テーブル２５２２に記憶される。
In FIG. 25, (iii) the feature
図２６において、（ｉｉｉ）特徴量算出部６０５は、ダウンサンプリング画像ＤＰ（９０度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（９０度）を作成する。ピラミッド画像ＰＰ（９０度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ピラミッド画像輝度テーブル２６１２に記憶される。
In FIG. 26, (iii) the feature
図２６において、（ｉｉｉ）特徴量算出部６０５は、ダウンサンプリング画像ＤＰ（１３５度）にアップサンプリングを実施して、ピラミッド画像ＰＰ（１３５度）を作成する。ピラミッド画像ＰＰ（１３５度）上の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、ピラミッド画像輝度テーブル２６２２に記憶される。
In FIG. 26, (iii) a feature
図２７において、（ｉｖ）特徴量算出部６０５は、ピラミッド画像ＰＰ（０度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部６０５が、０度ガボールフィルタ輝度テーブル２５１０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２５１２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（０度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、０度差分輝度テーブル２７１１に記憶される。
In FIG. 27, (iv) a feature
図２７において、（ｉｖ）特徴量算出部６０５は、ピラミッド画像ＰＰ（４５度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部６０５が、４５度ガボールフィルタ輝度テーブル２５２０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２５２２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（４５度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、４５度差分輝度テーブル２７１２に記憶される。
In FIG. 27, (iv) a feature
図２７において、（ｉｖ）特徴量算出部６０５は、ピラミッド画像ＰＰ（９０度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部６０５が、９０度ガボールフィルタ輝度テーブル２６１０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２６１２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（９０度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、９０度差分輝度テーブル２７１３に記憶される。
In FIG. 27, (iv) a feature
図２７において、（ｉｖ）特徴量算出部６０５は、ピラミッド画像ＰＰ（１３５度）に関する中心周辺差分処理を実施する。具体的には、特徴量算出部６０５が、１３５度ガボールフィルタ輝度テーブル２６２０内の領域Ａｉの輝度Ｌ（ｉ）とピラミッド画像輝度テーブル２６２２内の領域Ａｉの輝度Ｌ（ｉ）との差分を求めることにより、領域Ａｉの輝度Ｌ（ｉ）を算出する。ピラミッド画像ＰＰ（１３５度）に関する中心周辺差分処理後の各領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）は、例えば、１３５度差分輝度テーブル２７１４に記憶される。
In FIG. 27, (iv) a feature
図２７において、（ｖ）特徴量算出部６０５は、０度、４５度、９０度、１３５度のガボールフィルタに通したグレースケール画像ＬＰに基づく領域Ａ１〜Ａｎの輝度Ｌ（１）〜Ｌ（ｎ）の線形和をとることにより、方向成分に関する顕著度マップＭ３を作成する。具体的には、特徴量算出部６０５が、差分輝度テーブル２７１１〜２７１４内の領域Ａｉの輝度Ｌ（ｉ）を足し合わせて、領域Ａｉの方向成分に関する顕著度を算出する。例えば、領域Ａ３の方向成分に関する顕著度は、『１７０＝０＋０＋０＋１７０』となる。
In FIG. 27, (v) the feature
表示画像ＳＰ上の各領域Ａ１〜Ａｎの方向成分に関する顕著度は、例えば、方向顕著度テーブル２７２０に記憶される。方向顕著度テーブル２７２０は、表示画像ＳＰ上の各領域Ａ１〜Ａｎの方向成分に関する顕著度を記憶するテーブルである。これにより、方向成分に関する表示画像ＳＰの顕著度マップＭ３を作成することができる。 The saliency related to the direction component of each of the areas A1 to An on the display image SP is stored in, for example, the direction saliency table 2720. The direction saliency table 2720 is a table that stores saliency related to the direction components of the areas A1 to An on the display image SP. Thereby, the saliency map M3 of the display image SP regarding the direction component can be created.
なお、上述した各種テーブル２５１０〜２５１２，２５２０〜２５２２，２６１０〜２６１２，２６２０〜２６２２，２７１１〜２７１４，２７２０は、例えば、ＲＡＭ３０３、磁気ディスク３０５、光ディスク３０７などの記憶装置により実現される。
The various tables 2510 to 2512, 2520 to 2522, 2610 to 2612, 2620 to 2622, 2711 to 2714, and 2720 described above are realized by a storage device such as the
つぎに、図２８を用いて、輝度成分、色成分および方向成分に関する表示画像ＳＰの顕著度マップＭ１〜Ｍ３の線形和をとることにより、表示画像ＳＰの顕著度マップＭを作成する場合について説明する。 Next, the case where the saliency map M of the display image SP is created by taking the linear sum of the saliency maps M1 to M3 of the display image SP regarding the luminance component, the color component, and the direction component will be described with reference to FIG. To do.
図２８は、表示画像の顕著度マップ作成処理の概要を示す説明図である。図２８において、（ｉ）特徴量算出部６０５は、輝度顕著度テーブル２１００（図２１参照）の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、例えば、領域Ａ２の顕著度が「４７」から「１２０」に変換されている。
FIG. 28 is an explanatory diagram showing an overview of a display image saliency map creation process. In FIG. 28, (i) the feature
図２８において、（ｉ）特徴量算出部６０５は、色顕著度テーブル２４３０の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、例えば、領域Ａ３の顕著度が「７８０」から「２５５」に変換されている。
In FIG. 28, (i) the feature
図２８において、（ｉ）特徴量算出部６０５は、方向顕著度テーブル２７２０の領域Ａ１〜Ａｎごとの顕著度を、最小値が「０」かつ最大値が「２５５」となるように正規化する。ここでは、例えば、領域Ａ２の顕著度が「１７０」から「２５５」に変換されている。
In FIG. 28, (i) the feature
図２８において、（ｉｉ）特徴量算出部６０５は、輝度、色、方向顕著度テーブル２１００，２４３０，２７２０の領域Ａ１〜Ａｎごとの顕著度の線形合成を行うことにより、領域Ａ１〜Ａｎごとの顕著度を算出する。これにより、表示画像ＳＰに関する顕著度マップＭを作成することができる。
In FIG. 28, (ii) the feature
具体的には、特徴量算出部６０５が、輝度、色、方向顕著度テーブル２１００，２４３０，２７２０の領域Ａ１〜Ａｎごとの顕著度の線形和をとる。そして、特徴量算出部６０５が、線形和をとった領域Ａ１〜Ａｎごとの顕著度を最小値が「０」かつ最大値が「２５５」となるように正規化する。算出された領域Ａ１〜Ａｎごとの顕著度は、例えば、図８に示した特徴量テーブル８００内の領域Ａ１〜Ａｎごとの「特徴量」フィールドに記憶される。すなわち、ここでは、各領域Ａ１〜Ａｎの顕著度を、人の視覚的な注意を引きつける強さを表す特徴量Ｃ１〜Ｃｎとしている。
Specifically, the feature
ここで、領域Ａ１〜Ａｎのうち領域Ａ１〜Ａ４に着目する。この場合、例えば、上記注視点決定部６０６は、特徴量テーブル８００を参照して、領域Ａ１〜Ａ４のうち、特徴量が最大の領域Ａ３を注視点Ｇに決定する。ここで、表示画像ＳＰに関する顕著度マップＭの具体例について説明する。
Here, attention is paid to the regions A1 to A4 among the regions A1 to An. In this case, for example, the gaze
図２９は、顕著度マップの具体例を示す説明図である。図２９において、表示画像２９０１は、ディスプレイ３１１に表示された表示画像ＳＰである。また、顕著度マップ２９０２は、表示画像２９０１の顕著度マップＭである。顕著度マップ２９０２では、輝度や色などの特徴が周囲に比べて顕著な部分を強調して表している。
FIG. 29 is an explanatory diagram of a specific example of the saliency map. In FIG. 29, a
具体的には、顕著度マップ２９０２において、白い部分は黒い部分に比べて人の視覚的な注意を引きつける強さが大きいことを表している。顕著度マップ２９０２によれば、表示画像２９０１の中から人が注視しやすい注視点Ｇを高精度に決定することができる。
Specifically, in the
（視線検出装置３００の補正値算出処理手順）
つぎに、視線検出装置３００の補正値算出処理手順について説明する。ここでは、ベクトルペアテーブル９００に登録する区画Ｄｉのベクトルペアの数が「１」の場合を例に挙げて説明する（すなわち、上記所定数Ａ＝１）。
(Correction value calculation processing procedure of the line-of-sight detection device 300)
Next, the correction value calculation processing procedure of the visual
図３０は、視線検出装置の補正値算出処理手順の一例を示すフローチャート（その１）である。図３０のフローチャートにおいて、まず、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得したか否かを判断する（ステップＳ３００１）。表示画像ＳＰは、眼球画像ＥＰの撮影時にディスプレイ３１１に表示中のものである。
FIG. 30 is a flowchart (part 1) illustrating an example of a correction value calculation processing procedure of the visual line detection device. In the flowchart of FIG. 30, first, the
ここで、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得するのを待つ（ステップＳ３００１：Ｎｏ）。そして、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得した場合（ステップＳ３００１：Ｙｅｓ）、視線算出部６０２により、取得された眼球画像ＥＰに基づいて、第１の視線ベクトルＶ１を算出する（ステップＳ３００２）。第１の視線ベクトルＶ１は、被写体の眼球からディスプレイ３１１に向かうベクトルである。
Here, the
つぎに、視線算出部６０２により、算出された第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する（ステップＳ３００３）。そして、分割部６０３により、ディスプレイ３１１の画面に表示された表示画像ＳＰを区切って区画Ｄ１〜Ｄｍに分割する（ステップＳ３００４）。
Next, the visual
このあと、検索部６０４により、分割された区画Ｄ１〜Ｄｍの中から、仮の視線位置ＶＰを含む区画Ｄｉを検索する（ステップＳ３００５）。そして、特徴量算出部６０５により、区画Ｄｉのベクトルペアがベクトルペアテーブル９００に登録済みか否かを判断する（ステップＳ３００６）。
Thereafter, the
ここで、区画Ｄｉのベクトルペアが登録済みの場合（ステップＳ３００６：Ｙｅｓ）、ステップＳ３００１に戻る。一方、区画Ｄｉのベクトルペアが未登録の場合（ステップＳ３００６：Ｎｏ）、注視点決定部６０６により、区画Ｄｉ内の被写体が注視している注視点Ｇを決定する注視点決定処理を実行する（ステップＳ３００７）。
If the vector pair of the section Di has been registered (step S3006: Yes), the process returns to step S3001. On the other hand, when the vector pair of the section Di is not registered (step S3006: No), the gazing
このあと、視線算出部６０２により、被写体の眼球から、決定された注視点Ｇに向かう第２の視線ベクトルＶ２を算出する（ステップＳ３００８）。つぎに、関連付け部６０７により、ステップＳ３００２において算出された第１の視線ベクトルＶ１と、ステップＳ３００８において算出された第２の視線ベクトルＶ２とを区画Ｄｉのベクトルペアとして関連付ける（ステップＳ３００９）。
Thereafter, the line-of-
そして、更新部により、区画Ｄｉのベクトルペアをベクトルペアテーブル９００に登録する（ステップＳ３０１０）。つぎに、補正値算出部６０９により、ベクトルペアテーブル９００に登録されているベクトルペアの数ｃが所定の区画数Ｎ以上となったか否かを判断する（ステップＳ３０１１）。ここで、区画数Ｎ未満の場合（ステップＳ３０１１：Ｎｏ）、ステップＳ３００１に戻る。
Then, the update unit registers the vector pair of the section Di in the vector pair table 900 (step S3010). Next, the correction
一方、区画数Ｎ以上の場合（ステップＳ３０１１：Ｙｅｓ）、補正値算出部６０９により、ベクトルペアテーブル９００を参照して、キャリブレーション行列Ｗに含まれるパラメータω1〜ω4の値を算出する（ステップＳ３０１２）。そして、補正値算出部６０９により、算出されたパラメータω1〜ω4の値をパラメータテーブル１０００に登録して（ステップＳ３０１３）、本フローチャートによる一連の処理を終了する。
On the other hand, when the number of sections is N or more (step S3011: Yes), the correction
これにより、区画Ｄ１〜Ｄｍのうち、Ｎ個の区画のベクトルペアに基づいて、被写体に固有の補正値を算出することができる。この結果、被写体に固有の補正値の算出元となるベクトルペアが特定の区画Ｄｉに偏ることを防ぐことができ、被写体に固有の補正値を正確に求めることができる。 Thereby, a correction value specific to the subject can be calculated based on the vector pairs of N sections among the sections D1 to Dm. As a result, it is possible to prevent the vector pair that is the calculation source of the correction value specific to the subject from being biased to the specific section Di, and to accurately obtain the correction value specific to the subject.
なお、上記区画決定部６１４によって区画Ｄｉの大きさが決定されている場合は、ステップＳ３００４において、決定された区画Ｄｉの大きさにしたがって、ディスプレイ３１１の画面を区画Ｄ１〜Ｄｍに分割することにしてもよい。
When the size of the section Di is determined by the
＜注視点決定処理の具体的な処理手順＞
つぎに、図３０に示したステップＳ３００７の注視点決定処理の具体的な処理手順について説明する。まず、区画Ｄｉ内の閉領域Ｈｋごとの極大値Ｃmax（ｋ）を用いて、区画Ｄｉ内の注視点Ｇを含む閉領域を決定する場合について説明する。
<Specific processing procedure for gazing point determination processing>
Next, a specific processing procedure of the gazing point determination process in step S3007 shown in FIG. 30 will be described. First, the case where the closed region including the gazing point G in the partition Di is determined using the maximum value C max (k) for each closed region Hk in the partition Di will be described.
図３１は、注視点決定処理の具体的な処理手順の一例を示すフローチャート（その１）である。図３１のフローチャートにおいて、まず、特徴量算出部６０５により、図３０に示したステップＳ３００５において検索された区画Ｄｉ内の画素ｐ１〜ｐｎの画素値に基づいて、区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出する（ステップＳ３１０１）。算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎは、特徴量テーブル８００に記憶される。
FIG. 31 is a flowchart (part 1) illustrating an example of a specific processing procedure of the gazing point determination processing. In the flowchart of FIG. 31, first, for each of the pixels p1 to pn in the section Di, based on the pixel values of the pixels p1 to pn in the section Di searched by the feature
つぎに、注視点決定部６０６により、区画Ｄｉにラベリング処理を施すことにより、区画Ｄｉの中から閉領域Ｈｋを抽出する（ステップＳ３１０２）。このあと、注視点決定部６０６により、複数の閉領域Ｈｋが抽出されたか否かを判断し（ステップＳ３１０３）、複数の閉領域Ｈｋが抽出されなかった場合（ステップＳ３１０３：Ｎｏ）、ステップＳ３１０９に移行する。
Next, the gazing
一方、複数の閉領域Ｈｋが抽出された場合（ステップＳ３１０３：Ｙｅｓ）、注視点決定部６０６により、閉領域Ｈｋのｋを「ｋ＝１」とする（ステップＳ３１０４）。そして、注視点決定部６０６により、特徴量テーブル８００を参照して、閉領域Ｈｋの極大値Ｃmax（ｋ）を特定する（ステップＳ３１０５）。特定された閉領域Ｈｋの極大値Ｃmax（ｋ）は、閉領域データテーブル１３００に記憶される。
On the other hand, when a plurality of closed regions Hk are extracted (step S3103: Yes), the gaze
このあと、注視点決定部６０６により、閉領域Ｈｋのｋをインクリメントして（ステップＳ３１０６）、「ｋ＞Ｋ」となったか否かを判断する（ステップＳ３１０７）。ここで、「ｋ≦Ｋ」の場合（ステップＳ３１０７：Ｎｏ）、ステップＳ３１０５に戻る。
Thereafter, the gaze
一方、「ｋ＞Ｋ」の場合（ステップＳ３１０７：Ｙｅｓ）、注視点決定部６０６により、閉領域データテーブル１３００を参照して、閉領域Ｈ１〜ＨＫの中から極大値Ｃmax（ｋ）が最大の閉領域Ｈｋを特定する（ステップＳ３１０８）。
On the other hand, in the case of “k> K” (step S3107: Yes), the gaze
つぎに、注視点決定部６０６により、特定された閉領域Ｈｋ内の特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を特定する（ステップＳ３１０９）。そして、注視点決定部６０６により、特定された画素ｐ［ｖ］を注視点Ｇに決定して（ステップＳ３１１０）、図３０に示したステップＳ３００８に移行する。
Next, the gaze
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、極大値Ｃmax（ｋ）が最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。 Thereby, the closed region Hk having the maximum local maximum C max (k) can be determined as the closed region including the gazing point G from the closed regions H1 to HK representing the objects in the section Di.
つぎに、区画Ｄｉ内の閉領域Ｈｋごとの面積Ｓｋを用いて、区画Ｄｉ内の注視点Ｇを含む閉領域を決定する場合について説明する。 Next, a case where the closed region including the gazing point G in the partition Di is determined using the area Sk for each closed region Hk in the partition Di will be described.
図３２は、注視点決定処理の具体的な処理手順の一例を示すフローチャート（その２）である。図３２のフローチャートにおいて、まず、特徴量算出部６０５により、図３０に示したステップＳ３００５において検索された区画Ｄｉ内の画素ｐ１〜ｐｎの画素値に基づいて、区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出する（ステップＳ３２０１）。算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎは、特徴量テーブル８００に記憶される。 FIG. 32 is a flowchart (part 2) illustrating an example of a specific processing procedure of the gazing point determination processing. In the flowchart of FIG. 32, first, for each pixel p1 to pn in the section Di, based on the pixel values of the pixels p1 to pn in the section Di searched in step S3005 shown in FIG. Feature amounts C1 to Cn are calculated (step S3201). The calculated feature amounts C1 to Cn for the pixels p1 to pn are stored in the feature amount table 800.
つぎに、注視点決定部６０６により、区画Ｄｉにラベリング処理を施すことにより、区画Ｄｉの中から閉領域Ｈｋを抽出する（ステップＳ３２０２）。このあと、注視点決定部６０６により、複数の閉領域Ｈｋが抽出されたか否かを判断し（ステップＳ３２０３）、複数の閉領域Ｈｋが抽出されなかった場合（ステップＳ３２０３：Ｎｏ）、ステップＳ３２０９に移行する。
Next, the gazing
一方、複数の閉領域Ｈｋが抽出された場合（ステップＳ３２０３：Ｙｅｓ）、注視点決定部６０６により、閉領域Ｈｋのｋを「ｋ＝１」とする（ステップＳ３２０４）。そして、注視点決定部６０６により、閉領域Ｈｋの面積Ｓｋを算出する（ステップＳ３２０５）。算出された閉領域Ｈｋの面積Ｓｋは、閉領域データテーブル１３００に記憶される。
On the other hand, when a plurality of closed regions Hk are extracted (step S3203: YES), the gaze
このあと、注視点決定部６０６により、閉領域Ｈｋのｋをインクリメントして（ステップＳ３２０６）、「ｋ＞Ｋ」となったか否かを判断する（ステップＳ３２０７）。ここで、「ｋ≦Ｋ」の場合（ステップＳ３２０７：Ｎｏ）、ステップＳ３２０５に戻る。
Thereafter, the gaze
一方、「ｋ＞Ｋ」の場合（ステップＳ３２０７：Ｙｅｓ）、注視点決定部６０６により、閉領域データテーブル１３００を参照して、閉領域Ｈ１〜ＨＫの中から面積Ｓｋが最大の閉領域Ｈｋを特定する（ステップＳ３２０８）。
On the other hand, in the case of “k> K” (step S3207: Yes), the gaze
つぎに、注視点決定部６０６により、特定された閉領域Ｈｋ内の特徴量Ｃ［ｖ］が最大の画素ｐ［ｖ］を特定する（ステップＳ３２０９）。そして、注視点決定部６０６により、特定された画素ｐ［ｖ］を注視点Ｇに決定して（ステップＳ３２１０）、図３０に示したステップＳ３００８に移行する。
Next, the gaze
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、面積Ｓｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。 Thereby, the closed area Hk having the largest area Sk can be determined as the closed area including the gazing point G from the closed areas H1 to HK representing the objects in the section Di.
つぎに、区画Ｄｉ内の閉領域Ｈｋごとの集中度Ｆｋを用いて、区画Ｄｉ内の注視点Ｇを含む閉領域を決定する場合について説明する。 Next, a case where the closed region including the gazing point G in the partition Di is determined using the concentration degree Fk for each closed region Hk in the partition Di will be described.
図３３は、注視点決定処理の具体的な処理手順の一例を示すフローチャート（その３）である。図３３のフローチャートにおいて、まず、特徴量算出部６０５により、図３０に示したステップＳ３００５において検索された区画Ｄｉ内の画素ｐ１〜ｐｎの画素値に基づいて、区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出する（ステップＳ３３０１）。算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎは、特徴量テーブル８００に記憶される。
FIG. 33 is a flowchart (part 3) illustrating an example of a specific processing procedure of the gazing point determination processing. In the flowchart of FIG. 33, first, the feature
つぎに、注視点決定部６０６により、区画Ｄｉにラベリング処理を施すことにより、区画Ｄｉの中から閉領域Ｈｋを抽出する（ステップＳ３３０２）。このあと、注視点決定部６０６により、複数の閉領域Ｈｋが抽出されたか否かを判断し（ステップＳ３３０３）、複数の閉領域Ｈｋが抽出されなかった場合（ステップＳ３３０３：Ｎｏ）、ステップＳ３３１０に移行する。
Next, the gazing
一方、複数の閉領域Ｈｋが抽出された場合（ステップＳ３３０３：Ｙｅｓ）、注視点決定部６０６により、閉領域Ｈｋのｋを「ｋ＝１」とする（ステップＳ３３０４）。そして、注視点決定部６０６により、閉領域Ｈｋの面積Ｓｋを算出する（ステップＳ３３０５）。算出された閉領域Ｈｋの面積Ｓｋは、閉領域データテーブル１３００に記憶される。
On the other hand, when a plurality of closed regions Hk are extracted (step S3303: YES), the gaze
つぎに、注視点決定部６０６により、閉領域Ｈｋの集中度Ｆｋを算出する（ステップＳ３３０６）。算出された閉領域Ｈｋの集中度Ｆｋは、閉領域データテーブル１３００に記憶される。このあと、注視点決定部６０６により、閉領域Ｈｋのｋをインクリメントして（ステップＳ３３０７）、「ｋ＞Ｋ」となったか否かを判断する（ステップＳ３３０８）。
Next, the focus
ここで、「ｋ≦Ｋ」の場合（ステップＳ３３０８：Ｎｏ）、ステップＳ３３０５に戻る。一方、「ｋ＞Ｋ」の場合（ステップＳ３３０８：Ｙｅｓ）、注視点決定部６０６により、閉領域データテーブル１３００を参照して、閉領域Ｈ１〜ＨＫの中から集中度Ｆｋが最小の閉領域Ｈｋを特定する（ステップＳ３３０９）。
Here, if “k ≦ K” (step S3308: No), the process returns to step S3305. On the other hand, in the case of “k> K” (step S3308: Yes), the gazing
つぎに、注視点決定部６０６により、特定された閉領域Ｈｋ内の特徴量Ｃ［ｖ］が最大の画素ｐ［ｖ］を特定する（ステップＳ３３１０）。そして、注視点決定部６０６により、特定された画素ｐ［ｖ］を注視点Ｇに決定して（ステップＳ３３１１）、図３０に示したステップＳ３００８に移行する。
Next, the gaze
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、集中度Ｆｋが最小の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。 As a result, the closed region Hk with the lowest degree of concentration Fk can be determined as the closed region including the gazing point G from the closed regions H1 to HK representing the objects in the section Di.
つぎに、区画Ｄｉ内の閉領域Ｈｋごとの評価値Ｅｋを用いて、区画Ｄｉ内の注視点Ｇを含む閉領域を決定する場合について説明する。 Next, a case where the closed region including the gazing point G in the partition Di is determined using the evaluation value Ek for each closed region Hk in the partition Di will be described.
図３４は、注視点決定処理の具体的な処理手順の一例を示すフローチャート（その４）である。図３４のフローチャートにおいて、まず、特徴量算出部６０５により、図３０に示したステップＳ３００５において検索された区画Ｄｉ内の画素ｐ１〜ｐｎの画素値に基づいて、区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出する（ステップＳ３４０１）。算出された画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎは、特徴量テーブル８００に記憶される。 FIG. 34 is a flowchart (No. 4) illustrating an example of a specific processing procedure of the gazing point determination processing. In the flowchart of FIG. 34, first, for each pixel p1 to pn in the section Di, based on the pixel values of the pixels p1 to pn in the section Di searched in step S3005 shown in FIG. Feature amounts C1 to Cn are calculated (step S3401). The calculated feature amounts C1 to Cn for the pixels p1 to pn are stored in the feature amount table 800.
つぎに、注視点決定部６０６により、区画Ｄｉにラベリング処理を施すことにより、区画Ｄｉの中から閉領域Ｈｋを抽出する（ステップＳ３４０２）。このあと、注視点決定部６０６により、複数の閉領域Ｈｋが抽出されたか否かを判断し（ステップＳ３４０３）、複数の閉領域Ｈｋが抽出されなかった場合（ステップＳ３４０３：Ｎｏ）、ステップＳ３４１２に移行する。
Next, the gazing
一方、複数の閉領域Ｈｋが抽出された場合（ステップＳ３４０３：Ｙｅｓ）、注視点決定部６０６により、閉領域Ｈｋのｋを「ｋ＝１」とする（ステップＳ３４０４）。そして、注視点決定部６０６により、特徴量テーブル８００を参照して、閉領域Ｈｋの極大値Ｃmax（ｋ）を特定する（ステップＳ３４０５）。特定された閉領域Ｈｋの極大値Ｃmax（ｋ）は、閉領域データテーブル１３００に記憶される。
On the other hand, when a plurality of closed regions Hk are extracted (step S3403: YES), the gaze
このあと、注視点決定部６０６により、閉領域Ｈｋの面積Ｓｋを算出する（ステップＳ３４０６）。算出された閉領域Ｈｋの面積Ｓｋは、閉領域データテーブル１３００に記憶される。つぎに、注視点決定部６０６により、閉領域Ｈｋの集中度Ｆｋを算出する（ステップＳ３４０７）。算出された閉領域Ｈｋの集中度Ｆｋは、閉領域データテーブル１３００に記憶される。
Thereafter, the gaze
そして、注視点決定部６０６により、閉領域Ｈｋの評価値Ｅｋを算出する（ステップＳ３４０８）。算出された閉領域Ｈｋの評価値Ｅｋは、閉領域データテーブル１３００に記憶される。このあと、注視点決定部６０６により、閉領域Ｈｋのｋをインクリメントして（ステップＳ３４０９）、「ｋ＞Ｋ」となったか否かを判断する（ステップＳ３４１０）。
Then, the gaze
ここで、「ｋ≦Ｋ」の場合（ステップＳ３４１０：Ｎｏ）、ステップＳ３４０５に戻る。一方、「ｋ＞Ｋ」の場合（ステップＳ３４１０：Ｙｅｓ）、注視点決定部６０６により、閉領域データテーブル１３００を参照して、閉領域Ｈ１〜ＨＫの中から評価値Ｅｋが最大の閉領域Ｈｋを特定する（ステップＳ３４１１）。
If “k ≦ K” is satisfied (step S3410: NO), the process returns to step S3405. On the other hand, when “k> K” (step S3410: Yes), the gazing
つぎに、注視点決定部６０６により、特定された閉領域Ｈｋ内の特徴量Ｃ［ｖ］が極大値Ｃmax（ｋ）の画素ｐ［ｖ］を特定する（ステップＳ３４１２）。そして、注視点決定部６０６により、特定された画素ｐ［ｖ］を注視点Ｇに決定して（ステップＳ３４１３）、図３０に示したステップＳ３００８に移行する。
Next, the gaze
これにより、区画Ｄｉ内のオブジェクトを表す閉領域Ｈ１〜ＨＫの中から、評価値Ｅｋが最大の閉領域Ｈｋを、注視点Ｇを含む閉領域に決定することができる。 Thereby, the closed region Hk having the maximum evaluation value Ek can be determined as the closed region including the gazing point G from the closed regions H1 to HK representing the objects in the section Di.
（視線検出装置３００の補正値算出処理手順の他の一例）
つぎに、視線検出装置３００の補正値算出処理手順の他の一例について説明する。ここでは、表示画像ＳＰ上の仮の視線位置ＶＰが停留点であると判断された場合に、関連付け部６０７が、第１の視線ベクトルＶ１と第２の視線ベクトルＶ２とをベクトルペアとして関連付ける場合を例に挙げて説明する。
(Another example of correction value calculation processing procedure of the line-of-sight detection device 300)
Next, another example of the correction value calculation processing procedure of the visual
図３５および図３６は、視線検出装置の補正値算出処理手順の他の一例を示すフローチャート（その２）である。図３５のフローチャートにおいて、まず、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得したか否かを判断する（ステップＳ３５０１）。表示画像ＳＰは、眼球画像ＥＰの撮影時にディスプレイ３１１に表示中のものである。
FIG. 35 and FIG. 36 are flowcharts (part 2) showing another example of the correction value calculation processing procedure of the visual line detection device. In the flowchart of FIG. 35, first, the
ここで、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得するのを待つ（ステップＳ３５０１：Ｎｏ）。そして、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得した場合（ステップＳ３５０１：Ｙｅｓ）、視線算出部６０２により、取得された眼球画像ＥＰに基づいて、第１の視線ベクトルＶ１を算出する（ステップＳ３５０２）。
Here, the
つぎに、視線算出部６０２により、算出された第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する（ステップＳ３５０３）。そして、判断部６１２により、ステップＳ３５０１において取得された表示画像ＳＰにおいて、算出された仮の視線位置ＶＰを中心とする所定領域Ｑを設定する（ステップＳ３５０４）。
Next, the visual
このあと、判断部６１２により、ステップＳ３５０１において取得された眼球画像ＥＰの撮影時刻からの経過時間ｔを「ｔ＝０」として（ステップＳ３５０５）、一定時間ｔ0経過したか否かを判断する（ステップＳ３５０６）。ここで、一定時間ｔ0経過するのを待って（ステップＳ３５０６：Ｎｏ）、一定時間ｔ0経過した場合（ステップＳ３５０６：Ｙｅｓ）、取得部６０１により、眼球画像ＥＰを取得する（ステップＳ３５０７）。
Thereafter, the
このあと、視線算出部６０２により、取得された眼球画像ＥＰに基づいて、第１の視線ベクトルＶ１を算出する（ステップＳ３５０８）。つぎに、視線算出部６０２により、算出された第１の視線ベクトルＶ１に基づいて、表示画像ＳＰ上の仮の視線位置ＶＰを算出する（ステップＳ３５０９）。
Thereafter, the line-of-
そして、判断部６１２により、ステップＳ３５０１において取得された表示画像ＳＰにおいて、ステップＳ３５０９において算出された仮の視線位置ＶＰが所定領域Ｑ内に存在するか否かを判断する（ステップＳ３５１０）。ここで、所定領域Ｑ内に存在しない場合（ステップＳ３５１０：Ｎｏ）、ステップＳ３５０１に戻る。
Then, the
一方、所定領域Ｑ内に存在する場合（ステップＳ３５１０：Ｙｅｓ）、判断部６１２により、経過時間ｔを「ｔ＝ｔ＋ｔ0」として（ステップＳ３５１１）、経過時間ｔが所定時間Ｔより大きくなったか否かを判断する（ステップＳ３５１２）。ここで、経過時間ｔが所定時間Ｔ以内の場合（ステップＳ３５１２：Ｎｏ）、ステップＳ３５０６に戻る。
On the other hand, if it exists in the predetermined region Q (step S3510: Yes), the determining
一方、経過時間ｔが所定時間Ｔより大きい場合（ステップＳ３５１２：Ｙｅｓ）、判断部６１２により、ステップＳ３５０３において算出された仮の視線位置ＶＰが停留点であると判断して（ステップＳ３５１３）、図３６に示すステップＳ３６０１に移行する。
On the other hand, when the elapsed time t is greater than the predetermined time T (step S3512: Yes), the
図３６のフローチャートにおいて、まず、分割部６０３により、ディスプレイ３１１の画面に表示された表示画像ＳＰを区切って区画Ｄ１〜Ｄｍに分割する（ステップＳ３６０１）。このあと、検索部６０４により、分割された区画Ｄ１〜Ｄｍの中から、仮の視線位置ＶＰを含む区画Ｄｉを検索する（ステップＳ３６０２）。
In the flowchart of FIG. 36, first, the dividing
そして、特徴量算出部６０５により、区画Ｄｉのベクトルペアがベクトルペアテーブル９００に登録済みか否かを判断する（ステップＳ３６０３）。ここで、区画Ｄｉのベクトルペアが登録済みの場合（ステップＳ３６０３：Ｙｅｓ）、図３５に示すステップＳ３５０１に戻る。
Then, the feature
一方、区画Ｄｉのベクトルペアが未登録の場合（ステップＳ３６０３：Ｎｏ）、注視点決定部６０６により、区画Ｄｉ内の被写体が注視している注視点Ｇを決定する注視点決定処理を実行する（ステップＳ３６０４）。なお、ステップＳ３６０４の注視点決定処理は、図３０に示したステップＳ３００７の注視点決定処理と同様のため詳細な説明を省略する。
On the other hand, when the vector pair of the section Di is not registered (step S3603: No), the gazing
このあと、視線算出部６０２により、被写体の眼球から、決定された注視点Ｇに向かう第２の視線ベクトルＶ２を算出する（ステップＳ３６０５）。つぎに、関連付け部６０７により、図３５に示したステップＳ３５０２において算出された第１の視線ベクトルＶ１と、ステップＳ３６０５において算出された第２の視線ベクトルＶ２とを区画Ｄｉのベクトルペアとして関連付ける（ステップＳ３６０６）。
Thereafter, the line-of-
そして、更新部により、区画Ｄｉのベクトルペアをベクトルペアテーブル９００に登録する（ステップＳ３６０７）。つぎに、補正値算出部６０９により、ベクトルペアテーブル９００に登録されているベクトルペアの数ｃが所定の区画数Ｎ以上となったか否かを判断する（ステップＳ３６０８）。ここで、区画数Ｎ未満の場合（ステップＳ３６０８：Ｎｏ）、図３５に示したステップＳ３５０１に戻る。
Then, the update unit registers the vector pair of the section Di in the vector pair table 900 (step S3607). Next, the correction
一方、区画数Ｎ以上の場合（ステップＳ３６０８：Ｙｅｓ）、補正値算出部６０９により、ベクトルペアテーブル９００を参照して、キャリブレーション行列Ｗに含まれるパラメータω1〜ω4の値を算出する（ステップＳ３６０９）。そして、補正値算出部６０９により、算出されたパラメータω1〜ω4の値をパラメータテーブル１０００に登録して（ステップＳ３６１０）、本フローチャートによる一連の処理を終了する。
On the other hand, when the number of sections is N or more (step S3608: Yes), the correction
これにより、被写体が意識的に見た視線位置をもとに、被写体に固有の補正値を算出することができる。換言すれば、被写体の視線移動中の通過点を、補正値の算出元から排除することができる。この結果、被写体の視線の誤差を補正する際の補正精度を向上させることができる。なお、ステップＳ３５１３において、仮の視線位置ＶＰが停留点であると判断される前に、表示画像ＳＰが切り替わった場合は、本フローチャートによる一連の処理を最初からやり直すことにしてもよい。 Accordingly, a correction value unique to the subject can be calculated based on the line-of-sight position that the subject has consciously viewed. In other words, a passing point during the movement of the line of sight of the subject can be excluded from the correction value calculation source. As a result, it is possible to improve the correction accuracy when correcting the line-of-sight error of the subject. In step S3513, when the display image SP is switched before it is determined that the temporary line-of-sight position VP is the stop point, the series of processes according to this flowchart may be performed again from the beginning.
（視線検出装置３００の視線検出処理手順）
つぎに、視線検出装置３００の視線検出処理手順について説明する。
(Gaze Detection Processing Procedure of Gaze Detection Device 300)
Next, the gaze detection processing procedure of the
図３７は、視線検出装置の視線検出処理手順の一例を示すフローチャートである。図３７のフローチャートにおいて、まず、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得したか否かを判断する（ステップＳ３７０１）。表示画像ＳＰは、眼球画像ＥＰの撮影時にディスプレイ３１１に表示中のものである。
FIG. 37 is a flowchart illustrating an example of a gaze detection processing procedure of the gaze detection apparatus. In the flowchart of FIG. 37, first, the
ここで、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得するのを待つ（ステップＳ３７０１：Ｎｏ）。そして、取得部６０１により、表示画像ＳＰおよび眼球画像ＥＰを取得した場合（ステップＳ３７０１：Ｙｅｓ）、視線算出部６０２により、取得された眼球画像ＥＰに基づいて、第１の視線ベクトルＶ１を算出する（ステップＳ３７０２）。
Here, the
つぎに、補正部６１０により、パラメータテーブル１０００内のパラメータω1〜ω4の値を用いて、算出された第１の視線ベクトルＶ１を補正する（ステップＳ３７０３）。このあと、補正部６１０により、補正された補正後の第１の視線ベクトルＶ１’に基づいて、表示画像ＳＰ上の被写体の視線位置ＲＰを算出する（ステップＳ３７０４）。
Next, the
そして、出力部６１１により、ステップＳ３７０１において取得された表示画像ＳＰと、ステップＳ３７０４において算出された表示画像ＳＰ上の被写体の視線位置ＲＰとを関連付けて示す視線検出結果Ｒを出力して（ステップＳ３７０５）、本フローチャートによる一連の処理を終了する。
Then, the
これにより、被写体の個人差にともなう誤差を補正した視線位置ＲＰを精度よく検出することができる。 Thereby, it is possible to accurately detect the line-of-sight position RP in which the error due to the individual difference of the subject is corrected.
以上説明したように、実施の形態２にかかる視線検出装置３００によれば、ディスプレイ３１１の表示画像ＳＰを区切って分割された区画Ｄ１〜Ｄｍのうち、仮の視線位置ＶＰを含む区画Ｄｉ内の画素ｐ１〜ｐｎごとの特徴量Ｃ１〜Ｃｎを算出することができる。これにより、眼球画像ＥＰの撮影時にディスプレイ３１１に表示中の表示画像ＳＰ上の仮の視線位置ＶＰを含む区画Ｄｉの中から、被写体の注視点Ｇを決定することができる。
As described above, according to the line-of-
また、視線検出装置３００によれば、区画Ｄｉごとに、眼球画像ＥＰに基づく第１の視線ベクトルＶ１と、被写体の眼球から注視点Ｇに向かう第２の視線ベクトルＶ２とをベクトルペアとして関連付けることができる。これにより、ディスプレイ３１１の画面上の区画Ｄ１〜Ｄｍのうち、複数の区画のベクトルペアを求めることができる。
Further, according to the line-of-
また、視線検出装置３００によれば、区画Ｄ１〜Ｄｍのうち少なくとも２以上の区画のベクトルペアに基づいて、被写体に固有の補正値（パラメータω1〜ω4の値）を算出することができる。これにより、被写体に固有の補正値の算出元となるベクトルペアが特定の区画Ｄｉに偏ることを防ぐことができる。また、複数のベクトルペアを用いて被写体に固有の補正値を統計的に求めることができる。
Further, according to the line-of-
また、視線検出装置３００によれば、被写体に固有の補正値を用いて、第１の視線ベクトルＶ１（仮の視線位置ＶＰ）を補正（キャリブレーション）することにより、被写体の個人差にともなう誤差を補正した視線位置ＲＰを精度よく検出することができる。
In addition, according to the line-of-
また、視線検出装置３００によれば、ベクトルペアテーブル９００に登録される区画Ｄｉのベクトルペアの最大登録数（上記所定数Ａ）を設定することにより、区画Ｄｉのベクトルペアが所定数Ａより多く登録されることを防ぐことができる。これにより、区画Ｄｉごとのベクトルペアの数を平準化して、被写体に固有の補正値の算出元となるベクトルペアが特定の区画Ｄｉに偏ることを防ぐことができる。
Further, according to the line-of-
また、視線検出装置３００によれば、ベクトルペアテーブル９００に未登録の区画Ｄｉのベクトルペアと登録済みの区画Ｄｉのベクトルペアとを比較して、補正値の算出元としてより適切なベクトルペアをベクトルペアテーブル９００に登録することができる。
Further, according to the line-of-
また、視線検出装置３００によれば、表示画像ＳＰ上の仮の視線位置ＶＰが停留点であると判断された場合に、区画Ｄｉのベクトルペアをベクトルペアテーブル９００に登録することができる。これにより、被写体が意識的に見た視線位置をもとに、被写体に固有の補正値を算出することができる。換言すれば、被写体の視線移動中の通過点を、補正値の算出元から排除することができる。この結果、被写体の視線の誤差を補正する際の補正精度を向上させることができる。
Further, according to the line-of-
また、視線検出装置３００によれば、被写体の仮の視線位置ＶＰと注視点Ｇの座標位置との誤差を統計的に処理して、ディスプレイ３１１の表示画像ＳＰを区切って分割する区画Ｄｉの大きさを決定することができる。これにより、区画Ｄｉの大きさをできるだけ小さくしつつ、区画Ｄｉ内でベクトルペアを高確率に作ることができる適切な大きさで表示画像ＳＰを分割することができ、補正値の算出元となるベクトルペアをより多く求めることができる。
In addition, according to the line-of-
また、視線検出装置３００によれば、区画Ｄｉの中から複数の閉領域Ｈｋを抽出し、閉領域Ｈｋごとの面積Ｓｋに基づいて、注視点Ｇを含む閉領域を決定することができる。これにより、面積Ｓｋが大きく、他の閉領域に比べて人間の視覚的な注意を引きつける強さが大きくなる閉領域Ｈｋの中から注視点Ｇを決定することができる。
Further, according to the line-of-
また、視線検出装置３００によれば、区画Ｄｉの中から複数の閉領域Ｈｋを抽出し、閉領域Ｈｋごとの極大値Ｃmax（ｋ）に基づいて、注視点Ｇを含む閉領域を決定することができる。これにより、極大値Ｃmax（ｋ）が大きく、他の閉領域に比べて人間の視覚的な注意を引きつける強さが大きくなる閉領域Ｈｋの中から注視点Ｇを決定することができる。
Further, according to the line-of-
これらのことから、実施の形態２にかかる視線検出装置３００によれば、被写体に固有の補正値を精度よく求めて、キャリブレーションでの補正精度を向上させることができる。この結果、視線検出装置３００によれば、対象者の視線検出中に、対象者に意識させることなく適切なキャリブレーションを行うことが可能となり、対象者の個人差にともなう誤差を補正した視線を検出することができる。
For these reasons, according to the line-of-
また、視線検出装置３００を、例えば、デジタルサイネージを利用した広告システムに適用することにより、対象者が見ている広告の内容を正確に特定することができる。この結果、対象者が見ている内容に関連する詳細情報をさらに表示するなどして、より効果的な宣伝広告を行うことができる。
Further, by applying the line-of-
また、視線検出装置３００を、例えば、ｅラーニングを利用した学習システムに適用することにより、対象者が読み飛ばした部分を顕著に表示するなどして、リアルタイムに対象者の学習をサポートすることができる。
In addition, by applying the
また、視線検出装置３００を、例えば、パーソナル・コンピュータに適用することにより、ユーザが見たウェブサイト上のバナー広告などを特定することができる。これにより、ユーザに意識させることなく、ウェブサイト上のバナー広告などの閲覧回数を調査することが可能となる。
Further, by applying the line-of-
また、視線検出装置３００を、例えば、飛行機のフライトシミュレータに適用することにより、熟練パイロットや訓練生の視線を正確に検出することができる。これにより、例えば、パイロット養成において、熟練パイロットの視線と訓練生の視線とを比較して、訓練生に的確なアドバイスを行うことができる。
Further, by applying the line-of-
なお、本実施の形態で説明した視線算出方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本視線算出プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本視線算出プログラムは、インターネット等のネットワークを介して配布してもよい。 The line-of-sight calculation method described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. The line-of-sight calculation program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer. Further, the line-of-sight calculation program may be distributed through a network such as the Internet.
上述した実施の形態に関し、さらに以下の付記を開示する。 The following additional notes are disclosed with respect to the embodiment described above.
（付記１）被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得する取得部と、
前記表示画像を区切って分割された区画群の中から、前記取得部によって取得された前記被写体の視線位置を含む区画を検索する検索部と、
前記検索部によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定部と、
前記区画ごとに、前記取得部によって取得された前記被写体の視線位置と、前記決定部によって決定された注視点の座標位置とを関連付ける関連付け部と、
前記関連付け部によって関連付けられた前記区画ごとの関連付け結果のうち、複数の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出する補正値算出部と、
を備えることを特徴とする補正値算出装置。
(Additional remark 1) The acquisition part which acquires the eyes | visual_axis position of the said subject on the display image displayed on the screen of a display apparatus based on the picked-up image of the eyes of a subject,
A search unit for searching for a section including the line-of-sight position of the subject acquired by the acquisition unit from among a group of sections divided by dividing the display image;
A feature amount calculation unit that calculates a feature amount obtained by extracting features for each region in the section based on a pixel value of a pixel included in the section searched by the search unit;
A determination unit that determines, based on the feature amount for each region calculated by the feature amount calculation unit, any one of the plurality of regions in the section as a gazing point at which the subject is gazing;
An associating unit that associates the line-of-sight position of the subject acquired by the acquiring unit with the coordinate position of the gazing point determined by the determining unit for each of the sections;
A correction value calculation unit that calculates a correction value specific to the subject based on an association result of a plurality of sections among the association results associated with the sections associated by the association unit;
A correction value calculation device comprising:
（付記２）前記補正値算出部によって算出された前記被写体に固有の補正値に基づいて、前記被写体の視線位置を補正する補正部を備えることを特徴とする付記１に記載の補正値算出装置。
(Supplementary note 2) The correction value calculation device according to
（付記３）前記補正値算出部は、前記関連付け部によって関連付けられた前記区画ごとの関連付け結果のうち、所定の区画数以上の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出することを特徴とする付記１または２に記載の補正値算出装置。
(Additional remark 3) The said correction value calculation part calculates the correction value peculiar to the said subject based on the correlation result of the division more than the predetermined | prescribed number of divisions among the correlation results for every said block linked | related by the said correlation part. The correction value calculation apparatus according to
（付記４）前記関連付け部によって関連付けられた前記区画ごとの関連付け結果を記憶部に登録する登録部を備え、
前記関連付け部は、前記区画ごとに、前記登録部によって登録された当該区画の関連付け結果が所定数未満の場合、前記取得部によって取得された前記被写体の視線位置と、前記決定部によって決定された注視点の座標位置とを関連付けることを特徴とする付記１〜３のいずれか一つに記載の補正値算出装置。
(Supplementary Note 4) A registration unit that registers an association result for each section associated by the association unit in a storage unit,
The association unit is determined by the determination unit and the line-of-sight position of the subject acquired by the acquisition unit when the association result of the division registered by the registration unit is less than a predetermined number for each of the sections. The correction value calculation apparatus according to any one of
（付記５）前記関連付け部によって関連付けられた前記区画の関連付け結果に基づいて、前記記憶部に登録されている当該区画の関連付け結果を更新する更新部を備えることを特徴とする付記４に記載の補正値算出装置。 (Additional remark 5) The update part which updates the association result of the said division registered into the said memory | storage part based on the correlation result of the said division linked | related by the said correlation part is provided, The additional note 4 characterized by the above-mentioned. Correction value calculation device.
（付記６）前記取得部によって取得された時系列の前記被写体の第１の視線位置および前記被写体の第２の視線位置に基づいて、前記被写体の第１の視線位置が停留点か否かを判断する判断部を備え、
前記関連付け部は、前記判断部によって前記被写体の第１の視線位置が停留点と判断された場合、前記被写体の第１の視線位置と、当該被写体の第１の視線位置を含む区画内の注視点の座標位置とを関連付けることを特徴とする付記１〜５のいずれか一つに記載の補正値算出装置。
(Appendix 6) Whether or not the first line-of-sight position of the subject is a stop point is determined based on the first line-of-sight position of the subject and the second line-of-sight position of the subject acquired by the acquisition unit. A judgment unit for judging,
When the determination unit determines that the first line-of-sight position of the subject is a stop point, the associating unit includes a note in a section including the first line-of-sight position of the subject and the first line-of-sight position of the subject. 6. The correction value calculation apparatus according to any one of
（付記７）前記取得部によって取得された前記被写体の視線位置と、前記決定部によって決定された注視点の座標位置との誤差を算出する誤差算出部と、
前記誤差算出部によって算出された算出結果に基づいて、前記表示画像を区切って分割する区画の大きさを決定する区画決定部と、
前記区画決定部によって決定された区画の大きさにしたがって、前記表示画像を区切って区画群に分割する分割部と、を備え、
前記検索部は、前記分割部によって分割された区画群の中から、前記被写体の視線位置を含む区画を検索することを特徴とする付記１〜６のいずれか一つに記載の補正値算出装置。
(Supplementary Note 7) An error calculation unit that calculates an error between the line-of-sight position of the subject acquired by the acquisition unit and the coordinate position of the gazing point determined by the determination unit;
Based on the calculation result calculated by the error calculation unit, a partition determination unit that determines the size of a partition to divide and divide the display image;
A division unit that divides the display image into division groups according to the division size determined by the division determination unit;
The correction value calculation apparatus according to any one of
（付記８）前記検索部によって検索された区画の中から複数の閉領域を抽出する抽出部を備え、
前記決定部は、前記抽出部によって抽出された閉領域ごとの面積に基づいて、前記複数の閉領域のいずれかの閉領域を、前記被写体が注視している注視点に決定することを特徴とする付記１〜７のいずれか一つに記載の補正値算出装置。
(Supplementary Note 8) An extraction unit that extracts a plurality of closed regions from the sections searched by the search unit,
The determining unit determines any one of the plurality of closed regions as a gazing point at which the subject is gazing based on the area of each closed region extracted by the extracting unit. The correction value calculation apparatus according to any one of
（付記９）前記決定部は、前記各閉領域に含まれる領域ごとの特徴量に基づいて、前記複数の閉領域のいずれかの閉領域を、前記被写体が注視している注視点に決定することを特徴とする付記８に記載の補正値算出装置。 (Supplementary Note 9) The determination unit determines any one of the plurality of closed regions as a gazing point at which the subject is gazing based on a feature amount of each region included in each closed region. The correction value calculation apparatus according to Supplementary Note 8, wherein
（付記１０）被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得する取得工程と、
前記表示画像を区切って分割された区画群の中から、前記取得工程によって取得された前記被写体の視線位置を含む区画を検索する検索工程と、
前記検索工程によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された前記被写体の視線位置と、前記決定工程によって決定された前記区画内の注視点の座標位置とを関連付ける関連付け工程と、
前記取得工程、前記検索工程、前記特徴量算出工程、前記決定工程および前記関連付け工程が繰り返し実行された結果、前記区画ごとの関連付け結果のうち複数の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
をコンピュータが実行することを特徴とする補正値算出方法。
(Additional remark 10) The acquisition process which acquires the gaze position of the said subject on the display image displayed on the screen of a display apparatus based on the picked-up image of the eye of a subject,
A search step for searching for a section including the line-of-sight position of the subject acquired by the acquisition step from among the group of sections divided by dividing the display image;
A feature amount calculating step of calculating a feature amount by extracting a feature for each region in the section based on a pixel value of a pixel included in the section searched by the search step;
A determination step of determining any one of the plurality of regions in the section as a gazing point at which the subject is gazing based on the feature amount for each region calculated by the feature amount calculation step;
An associating step of associating the line-of-sight position of the subject acquired by the acquiring step with the coordinate position of the gazing point in the section determined by the determining step;
As a result of repeatedly executing the acquisition step, the search step, the feature amount calculation step, the determination step, and the association step, it is specific to the subject based on an association result of a plurality of sections among the association results for each section. A correction value calculating step for calculating a correction value of
A correction value calculation method characterized in that the computer executes the above.
（付記１１）被写体の眼の撮影画像に基づく、表示装置の画面に表示された表示画像上の前記被写体の視線位置を取得する取得工程と、
前記表示画像を区切って分割された区画群の中から、前記取得工程によって取得された前記被写体の視線位置を含む区画を検索する検索工程と、
前記検索工程によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された前記被写体の視線位置と、前記決定工程によって決定された注視点の座標位置とを関連付ける関連付け工程と、
前記取得工程、前記検索工程、前記特徴量算出工程、前記決定工程および前記関連付け工程が繰り返し実行された結果、前記区画ごとの関連付け結果のうち複数の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出する補正値算出工程と、
をコンピュータに実行させることを特徴とする補正値算出プログラム。
(Additional remark 11) The acquisition process which acquires the gaze position of the said subject on the display image displayed on the screen of a display apparatus based on the picked-up image of the eye of a subject,
A search step for searching for a section including the line-of-sight position of the subject acquired by the acquisition step from among the group of sections divided by dividing the display image;
A feature amount calculating step of calculating a feature amount by extracting a feature for each region in the section based on a pixel value of a pixel included in the section searched by the search step;
A determination step of determining any one of the plurality of regions in the section as a gazing point at which the subject is gazing based on the feature amount for each region calculated by the feature amount calculation step;
An associating step of associating the line-of-sight position of the subject acquired by the acquiring step with the coordinate position of the gazing point determined by the determining step;
As a result of repeatedly executing the acquisition step, the search step, the feature amount calculation step, the determination step, and the association step, it is specific to the subject based on an association result of a plurality of sections among the association results for each section. A correction value calculating step for calculating a correction value of
A correction value calculation program for causing a computer to execute.
１００ システム
１０１ 補正値算出装置
１０２，３００ 視線検出装置
１０３ 表示装置
１０４ 撮影装置
６０１ 取得部
６０２ 視線算出部
６０３ 分割部
６０４ 検索部
６０５ 特徴量算出部
６０６ 注視点決定部
６０７ 関連付け部
６０８ 登録／更新部
６０９ 補正値算出部
６１０ 補正部
６１１ 出力部
６１２ 判断部
６１３ 誤差算出部
６１４ 区画決定部
８００ 特徴量テーブル
９００ ベクトルペアテーブル
１０００ パラメータテーブル
DESCRIPTION OF
Claims (7)
前記表示画像を区切って分割された区画群の中から、前記取得部によって取得された前記被写体の視線位置を含む区画を検索する検索部と、
前記検索部によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出部と、
前記特徴量算出部によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定部と、
前記区画ごとに、前記取得部によって取得された前記被写体の視線位置と、前記決定部によって決定された注視点の座標位置とを関連付ける関連付け部と、
前記関連付け部によって関連付けられた前記区画ごとの関連付け結果のうち、複数の区画の関連付け結果に基づいて、前記被写体の視線位置の補正に用いる前記被写体に固有の補正値を算出する補正値算出部と、
を備えることを特徴とする補正値算出装置。 An acquisition unit that acquires a line-of-sight position of the subject on a display image displayed on a screen of a display device based on a captured image of the eye of the subject;
A search unit for searching for a section including the line-of-sight position of the subject acquired by the acquisition unit from among a group of sections divided by dividing the display image;
A feature amount calculation unit that calculates a feature amount obtained by extracting features for each region in the section based on a pixel value of a pixel included in the section searched by the search unit;
A determination unit that determines, based on the feature amount for each region calculated by the feature amount calculation unit, any one of the plurality of regions in the section as a gazing point at which the subject is gazing;
An associating unit that associates the line-of-sight position of the subject acquired by the acquiring unit with the coordinate position of the gazing point determined by the determining unit for each of the sections;
A correction value calculation unit that calculates a correction value specific to the subject used for correcting the line-of-sight position of the subject based on the result of association of a plurality of sections among the association results associated with the sections associated by the association unit; ,
A correction value calculation device comprising:
前記関連付け部によって関連付けられた前記区画ごとの関連付け結果のうち、所定の区画数以上の区画の関連付け結果に基づいて、前記被写体に固有の補正値を算出することを特徴とする請求項１または２に記載の補正値算出装置。 The correction value calculation unit
3. The correction value unique to the subject is calculated based on an association result of sections equal to or greater than a predetermined number of sections among the association results associated with the sections associated by the association unit. The correction value calculation apparatus described in 1.
前記関連付け部は、
前記区画ごとに、前記登録部によって登録された当該区画の関連付け結果が所定数未満の場合、前記取得部によって取得された前記被写体の視線位置と、前記決定部によって決定された注視点の座標位置とを関連付けることを特徴とする請求項１〜３のいずれか一つに記載の補正値算出装置。 A registration unit that registers an association result for each of the sections associated by the association unit in a storage unit;
The association unit includes
For each section, when the association result of the section registered by the registration unit is less than a predetermined number, the gaze position of the subject acquired by the acquisition unit and the coordinate position of the gazing point determined by the determination unit The correction value calculation device according to claim 1, wherein the correction value calculation device is associated with each other.
前記表示画像を区切って分割された区画群の中から、前記取得工程によって取得された前記被写体の視線位置を含む区画を検索する検索工程と、
前記検索工程によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された前記被写体の視線位置と、前記決定工程によって決定された前記区画内の注視点の座標位置とを関連付ける関連付け工程と、
前記取得工程、前記検索工程、前記特徴量算出工程、前記決定工程および前記関連付け工程が繰り返し実行された結果、前記区画ごとの関連付け結果のうち複数の区画の関連付け結果に基づいて、前記被写体の視線位置の補正に用いる前記被写体に固有の補正値を算出する補正値算出工程と、
をコンピュータが実行することを特徴とする補正値算出方法。 An acquisition step of acquiring a line-of-sight position of the subject on a display image displayed on the screen of the display device based on a captured image of the eye of the subject;
A search step for searching for a section including the line-of-sight position of the subject acquired by the acquisition step from among the group of sections divided by dividing the display image;
A feature amount calculating step of calculating a feature amount by extracting a feature for each region in the section based on a pixel value of a pixel included in the section searched by the search step;
A determination step of determining any one of the plurality of regions in the section as a gazing point at which the subject is gazing based on the feature amount for each region calculated by the feature amount calculation step;
An associating step of associating the line-of-sight position of the subject acquired by the acquiring step with the coordinate position of the gazing point in the section determined by the determining step;
As a result of the execution of the acquisition step, the search step, the feature amount calculation step, the determination step, and the association step repeatedly, the line of sight of the subject based on the association result of a plurality of sections among the association results for each section A correction value calculating step for calculating a correction value specific to the subject used for position correction ;
A correction value calculation method characterized in that the computer executes the above.
前記表示画像を区切って分割された区画群の中から、前記取得工程によって取得された前記被写体の視線位置を含む区画を検索する検索工程と、
前記検索工程によって検索された区画に含まれる画素の画素値に基づいて、前記区画内の領域ごとの特徴を抽出した特徴量を算出する特徴量算出工程と、
前記特徴量算出工程によって算出された領域ごとの特徴量に基づいて、前記区画内の複数の領域のいずれかの領域を、前記被写体が注視している注視点に決定する決定工程と、
前記取得工程によって取得された前記被写体の視線位置と、前記決定工程によって決定された注視点の座標位置とを関連付ける関連付け工程と、
前記取得工程、前記検索工程、前記特徴量算出工程、前記決定工程および前記関連付け工程が繰り返し実行された結果、前記区画ごとの関連付け結果のうち複数の区画の関連付け結果に基づいて、前記被写体の視線位置の補正に用いる前記被写体に固有の補正値を算出する補正値算出工程と、
をコンピュータに実行させることを特徴とする補正値算出プログラム。 An acquisition step of acquiring a line-of-sight position of the subject on a display image displayed on the screen of the display device based on a captured image of the eye of the subject;
A search step for searching for a section including the line-of-sight position of the subject acquired by the acquisition step from among the group of sections divided by dividing the display image;
A feature amount calculating step of calculating a feature amount by extracting a feature for each region in the section based on a pixel value of a pixel included in the section searched by the search step;
A determination step of determining any one of the plurality of regions in the section as a gazing point at which the subject is gazing based on the feature amount for each region calculated by the feature amount calculation step;
An associating step of associating the line-of-sight position of the subject acquired by the acquiring step with the coordinate position of the gazing point determined by the determining step;
As a result of the execution of the acquisition step, the search step, the feature amount calculation step, the determination step, and the association step repeatedly, the line of sight of the subject based on the association result of a plurality of sections among the association results for each section A correction value calculating step for calculating a correction value specific to the subject used for position correction ;
A correction value calculation program for causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010226904A JP5716345B2 (en) | 2010-10-06 | 2010-10-06 | Correction value calculation apparatus, correction value calculation method, and correction value calculation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010226904A JP5716345B2 (en) | 2010-10-06 | 2010-10-06 | Correction value calculation apparatus, correction value calculation method, and correction value calculation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012080910A JP2012080910A (en) | 2012-04-26 |
| JP5716345B2 true JP5716345B2 (en) | 2015-05-13 |
Family
ID=46240442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010226904A Expired - Fee Related JP5716345B2 (en) | 2010-10-06 | 2010-10-06 | Correction value calculation apparatus, correction value calculation method, and correction value calculation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5716345B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5971061B2 (en) * | 2012-07-24 | 2016-08-17 | 株式会社Ｊｖｃケンウッド | Gaze point detection device, gaze point detection method, diagnosis support device, operation method and program for diagnosis support device |
| JP5949404B2 (en) * | 2012-09-28 | 2016-07-06 | 株式会社Ｊｖｃケンウッド | Diagnosis support apparatus and diagnosis support method |
| WO2014051010A1 (en) | 2012-09-28 | 2014-04-03 | 株式会社Ｊｖｃケンウッド | Diagnosis assistance device and diagnosis assistance method |
| KR102105330B1 (en) * | 2013-08-21 | 2020-04-28 | 주식회사 케이티 | Method and apparatus of determining user’s attention |
| JP2015046111A (en) * | 2013-08-29 | 2015-03-12 | 株式会社Ｊｖｃケンウッド | Viewpoint detection device and viewpoint detection method |
| JP6237504B2 (en) * | 2014-07-08 | 2017-11-29 | 株式会社デンソー | Line-of-sight input device |
| JP2017097759A (en) * | 2015-11-27 | 2017-06-01 | 株式会社デンソー | Gaze direction detection device and gaze direction detection system |
| WO2017179280A1 (en) * | 2016-04-13 | 2017-10-19 | パナソニックＩｐマネジメント株式会社 | Eye tracking device and eye tracking method |
| JP7168953B2 (en) * | 2018-06-12 | 2022-11-10 | 国立大学法人神戸大学 | Gaze measurement device for automatic calibration, Gaze measurement method and Gaze measurement program |
| WO2020095556A1 (en) * | 2018-11-09 | 2020-05-14 | ソニー株式会社 | Virtual image display device and virtual image display method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002301030A (en) * | 2001-04-09 | 2002-10-15 | Canon Inc | Equipment with gaze detection function |
| JP4537901B2 (en) * | 2005-07-14 | 2010-09-08 | 日本放送協会 | Gaze measurement device, gaze measurement program, and gaze calibration data generation program |
| JP4649319B2 (en) * | 2005-11-21 | 2011-03-09 | 日本電信電話株式会社 | Gaze detection device, gaze detection method, and gaze detection program |
| JP4915413B2 (en) * | 2008-12-03 | 2012-04-11 | オムロン株式会社 | Detection apparatus and method, and program |
| JP5560858B2 (en) * | 2010-04-02 | 2014-07-30 | 富士通株式会社 | Correction value calculation apparatus, correction value calculation method, and correction value calculation program |
-
2010
- 2010-10-06 JP JP2010226904A patent/JP5716345B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012080910A (en) | 2012-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5716345B2 (en) | Correction value calculation apparatus, correction value calculation method, and correction value calculation program | |
| JP5560858B2 (en) | Correction value calculation apparatus, correction value calculation method, and correction value calculation program | |
| US20250131583A1 (en) | Line-of-sight direction tracking method and apparatus | |
| US10957045B2 (en) | Segmenting ultrasound images | |
| US20180104106A1 (en) | A system and method for displaying a video image | |
| Fuhl et al. | Non-intrusive practitioner pupil detection for unmodified microscope oculars | |
| US9955862B2 (en) | System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display | |
| US8103061B2 (en) | Method and apparatus for identifying facial regions | |
| KR20200063173A (en) | Digital therapeutic corrective glasses | |
| CN109697719A (en) | A kind of image quality measure method, apparatus and computer readable storage medium | |
| US20210158513A1 (en) | Information processing device, information processing method, and computer program | |
| CN119847330B (en) | A smart control method and system for AR devices | |
| CN115039130A (en) | Method, device and program for estimating apparent distance | |
| CN109634407B (en) | A control method based on synchronous acquisition and fusion of multi-mode human-machine sensing information | |
| Karaaslan et al. | A new method based on deep learning and image processing for detection of strabismus with the Hirschberg test | |
| WO2019082202A1 (en) | A fundus image quality assessment system | |
| JP2019215688A (en) | Visual line measuring device, visual line measurement method and visual line measurement program for performing automatic calibration | |
| CN110472546B (en) | A non-contact eye movement feature extraction device and method for infants and young children | |
| CN117137427B (en) | Vision detection method and device based on VR and intelligent glasses | |
| Raabe et al. | Saccade amplitude statistics are explained by cortical magnification | |
| JP6481432B2 (en) | Fundus image processing device | |
| CN117727087A (en) | Viewpoint calibration method, device and cognitive inference system based on virtual reality | |
| JP4530173B2 (en) | Method and system for detecting the position of a facial part | |
| KR20180109275A (en) | Calibration device for gaze direction tracking results and method thereof | |
| Milton et al. | Demonstrating correction of low levels of astigmatism with realistic scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140320 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150302 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5716345 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |