JP6175745B2

JP6175745B2 - Determination apparatus, determination method, and determination program

Info

Publication number: JP6175745B2
Application number: JP2012163753A
Authority: JP
Inventors: 学中尾
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-07-24
Filing date: 2012-07-24
Publication date: 2017-08-09
Anticipated expiration: 2032-07-24
Also published as: JP2014025711A

Description

本発明は、決定装置、決定方法、および決定プログラムに関する。 The present invention relates to a determination device, a determination method, and a determination program.

ロボットの自律移動に関する技術の一つに、ロボットに自己位置の特定のために使用するランドマークになる物体の位置を特定させる技術がある。ロボットは、具体的には、例えば、視差を生じさせて被写体の３次元位置を特定するために使用されるステレオカメラを有する。 One of the technologies related to the autonomous movement of a robot is a technology for causing a robot to specify the position of an object that becomes a landmark used for specifying its own position. Specifically, the robot has, for example, a stereo camera that is used to generate a parallax and specify a three-dimensional position of a subject.

ロボットは、ステレオカメラの各カメラにより撮像した２つの画像の各々から、ランドマークのパターンを有する画像領域を検出する。ランドマークのパターンとは、ランドマークの写像に表れる所定の模様をいう。次に、ロボットは、検出した画像領域を同一のランドマークに関する画像領域として組み合わせて、組み合わせた画像領域の視差と、自装置の移動量や方向変化量などを示すオドメトリと、を用いて、ランドマークの位置を特定する。そして、ロボットは、特定したランドマークの位置と、ランドマークの実際の位置を示す地図データと、を参照して、自己位置を特定する。 The robot detects an image area having a landmark pattern from each of two images captured by each camera of the stereo camera. The landmark pattern refers to a predetermined pattern appearing on the landmark map. Next, the robot combines the detected image areas as image areas related to the same landmark, and uses the parallax of the combined image areas and the odometry indicating the movement amount and the direction change amount of the own device. Specify the position of the mark. Then, the robot specifies its own position with reference to the position of the specified landmark and map data indicating the actual position of the landmark.

特開２００４−２９８９７７号公報JP 2004-298777 A 特開２０１０−３３４４７号公報JP 2010-33447 A

しかしながら、ステレオカメラの各カメラにより撮像した２つの画像の少なくともいずれかに、パターンが同一である複数の画像領域が含まれている場合がある。この場合、上述した従来技術では、ロボットは、一方の画像内のどの画像領域と他方の画像内のどの画像領域とを同一のランドマークに関する画像領域として組み合わせるべきかを判断できない。 However, there are cases where a plurality of image areas having the same pattern are included in at least one of two images captured by each camera of the stereo camera. In this case, in the above-described conventional technology, the robot cannot determine which image area in one image and which image area in the other image should be combined as an image area related to the same landmark.

そのため、ロボットは、異なるランドマークに関する画像領域同士を誤って同一のランドマークに関する画像領域として組み合わせてしまい、ランドマークの位置を誤った位置に特定することがある。結果として、ロボットは、誤って特定されたランドマークの位置と、地図データが示す実際のランドマークの位置と、を対応付けて、自己位置を誤って特定してしまい、目的地に到達できなかったり、障害物に衝突したりしてしまう。 Therefore, the robot may mistakenly combine image areas related to different landmarks as image areas related to the same landmark, and specify the position of the landmark as an incorrect position. As a result, the robot cannot correctly reach the destination because the location of the landmark specified in error is associated with the actual location of the landmark indicated by the map data. Or collide with obstacles.

また、各々の画像領域のパターンが同一であるため、画像領域のパターンを参照しても、ロボットは、いずれの画像領域が、位置特定の対象になるランドマークに関する画像領域であるかを特定することができない。そのため、ロボットは、一方の画像内の画像領域と他方の画像内の画像領域とを全通り組み合わせても、各々の組み合わせに応じた複数のランドマークの位置の中から、正しい画像領域の組み合わせに応じた位置を特定することができない。また、複数のランドマークの位置同士を比較しても、ロボットは、どの位置が画像領域の正しい組み合わせに応じた位置であるか判断することができない。 Also, since the pattern of each image area is the same, even if the pattern of the image area is referred to, the robot identifies which image area is the image area related to the landmark whose position is to be specified. I can't. For this reason, even if the robot combines all the image areas in one image and the image area in the other image, the robot selects the correct combination of image areas from among a plurality of landmark positions corresponding to each combination. The corresponding position cannot be specified. Further, even if the positions of a plurality of landmarks are compared, the robot cannot determine which position corresponds to the correct combination of image areas.

そのため、ロボットは、地図データが示す実際のランドマークの位置を特定できない。結果として、ロボットは、自己位置を誤って特定してしまい、目的地に到達できなかったり、障害物に衝突したりしてしまう。 Therefore, the robot cannot specify the actual landmark position indicated by the map data. As a result, the robot erroneously specifies its own position, and cannot reach the destination or collide with an obstacle.

本発明は、ランドマークの位置特定の精度向上を図ることを目的とする。 It is an object of the present invention to improve the accuracy of landmark position specification.

本発明の一側面によれば、第１の撮像部に撮像された第１の被写体の画像と、第１の撮像部と撮像領域が重複する第２の撮像部に撮像された第２の被写体の画像と、の組み合わせを、同一被写体の画像の組み合わせとした場合における同一被写体の第１の時点での位置および第２の時点での位置を取得し、第１の時点から第２の時点までの自装置の位置の変化量を検出し、取得された同一被写体の位置の第１の時点から第２の時点までの変化量を算出し、算出された変化量と、検出された変化量と、の差分が許容範囲内であるか否かを判断し、許容範囲内であると判断された場合に、第１および第２の被写体の画像の組み合わせを、同一被写体の画像の組み合わせに決定する決定装置、決定方法、および決定プログラムが提案される。 According to one aspect of the present invention, the first subject image captured by the first imaging unit and the second subject imaged by the second imaging unit where the first imaging unit and the imaging region overlap When the combination of the image and the image of the same subject is a combination of images of the same subject, the position at the first time point and the position at the second time point of the same subject are acquired, and from the first time point to the second time point Detecting the amount of change in the position of the device itself, calculating the amount of change from the first time point to the second time point of the acquired position of the same subject, and calculating the calculated change amount and the detected change amount Is determined to be within the allowable range, and when it is determined to be within the allowable range, the combination of the images of the first and second subjects is determined to be the combination of the images of the same subject. A determination device, a determination method, and a determination program are proposed.

本発明の一側面によれば、ランドマークの位置特定の精度向上を図ることができるという効果を奏する。 According to one aspect of the present invention, it is possible to improve the accuracy of landmark position specification.

図１は、ロボットによる同一のランドマークに関する画像領域の組み合わせの決定の流れを示す説明図である。FIG. 1 is an explanatory diagram showing the flow of determining the combination of image areas related to the same landmark by the robot. 図２は、コンピュータのハードウェア構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a hardware configuration example of a computer. 図３は、ランドマーク候補リストの記憶内容を示す説明図である。FIG. 3 is an explanatory diagram showing the stored contents of the landmark candidate list. 図４は、ロボット１００の機能的構成例を示すブロック図である。FIG. 4 is a block diagram illustrating a functional configuration example of the robot 100. 図５は、実施例１にかかるロボット１００による位置特定の具体例を示す説明図（その１）である。FIG. 5 is an explanatory diagram (part 1) of a specific example of position specification by the robot 100 according to the first embodiment. 図６は、実施例１にかかるロボット１００による位置特定の具体例を示す説明図（その２）である。FIG. 6 is an explanatory diagram (part 2) of a specific example of position specification by the robot 100 according to the first embodiment. 図７は、実施例１にかかるロボット１００による位置特定の具体例を示す説明図（その３）である。FIG. 7 is an explanatory diagram (part 3) of a specific example of position specification by the robot 100 according to the first embodiment. 図８は、実施例１にかかるロボット１００による位置特定の具体例を示す説明図（その４）である。FIG. 8 is an explanatory diagram (part 4) of a specific example of position specification by the robot 100 according to the first embodiment. 図９は、ロボット１００による位置特定処理の詳細な処理手順を示すフローチャートである。FIG. 9 is a flowchart showing a detailed processing procedure of the position specifying process by the robot 100. 図１０は、尤度テーブルの記憶内容を示す説明図である。FIG. 10 is an explanatory diagram showing the stored contents of the likelihood table.

以下に添付図面を参照して、この発明にかかる決定装置、決定方法、および決定プログラムの実施の形態を詳細に説明する。以降では、決定装置として、自律移動型のロボットを例に挙げるが、これに限らない。例えば、決定装置としては、携帯端末、スマートフォン、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ）、ノードＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）などを採用してもよい。 Exemplary embodiments of a determination device, a determination method, and a determination program according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, an autonomous mobile robot is taken as an example of the determination device, but the determination device is not limited thereto. For example, as the determination device, a mobile terminal, a smartphone, a PDA (Personal Digital Assistant), a node PC (Personal Computer), or the like may be employed.

（ロボットによる同一のランドマークに関する画像領域の組み合わせの決定の流れ）
まず、図１を用いて、ロボットによる同一のランドマークに関する画像領域の組み合わせの決定の流れについて説明する。 (Flow of determining the combination of image areas for the same landmark by the robot)
First, the flow of determining the combination of image areas related to the same landmark by the robot will be described with reference to FIG.

図１は、ロボットによる同一のランドマークに関する画像領域の組み合わせの決定の流れを示す説明図である。図１において、ロボット１００は、自律移動型のコンピュータであって、両眼視差によって被写体の３次元位置を特定するために使用されるステレオカメラを有する。 FIG. 1 is an explanatory diagram showing the flow of determining the combination of image areas related to the same landmark by the robot. In FIG. 1, a robot 100 is an autonomously moving computer, and includes a stereo camera that is used to specify a three-dimensional position of a subject by binocular parallax.

ステレオカメラには、左右に並べられた２台のカメラが含まれる。以降では、２台のカメラのうち、ロボット１００の進行方向の左側に配置されたカメラを、「左目カメラＬ」と称す。また、ロボット１００の進行方向の右側に配置されたカメラを、「右目カメラＲ」と称す。 A stereo camera includes two cameras arranged side by side. Hereinafter, of the two cameras, the camera arranged on the left side in the traveling direction of the robot 100 is referred to as “left-eye camera L”. Further, the camera arranged on the right side of the traveling direction of the robot 100 is referred to as “right-eye camera R”.

次に、ロボット１００は、右目カメラＲに撮像された画像内に存在するランドマークのパターンを有する領域を検出し、左目カメラＬに撮像された画像内に存在するランドマークのパターンを有する領域を検出する。ランドマークのパターンとは、ランドマークの写像に表れる所定の模様をいう。以降では、右目カメラＲにより撮像された画像を「右目画像ＲＶ」と称し、時点「ｔ」に撮像された右目画像ＲＶであれば「右目画像ＲＶ（ｔ）」と称す。また、左目カメラＬにより撮像される画像を「左目画像ＬＶ」と称し、時点「ｔ」に撮像された左目画像ＬＶであれば「左目画像ＬＶ（ｔ）」と称す。 Next, the robot 100 detects a region having a landmark pattern present in the image captured by the right-eye camera R, and detects a region having a landmark pattern present in the image captured by the left-eye camera L. To detect. The landmark pattern refers to a predetermined pattern appearing on the landmark map. Hereinafter, an image captured by the right-eye camera R is referred to as “right-eye image RV”, and a right-eye image RV captured at time “t” is referred to as “right-eye image RV (t)”. An image captured by the left-eye camera L is referred to as a “left-eye image LV”, and a left-eye image LV captured at a time “t” is referred to as a “left-eye image LV (t)”.

また、ランドマークのパターンを有する領域を、「ランドマーク候補領域」と称す。右目画像ＲＶ（ｔ）内にあるランドマーク候補領域であれば「ランドマーク候補領域Ｒｘ（ｔ）」と称す。左目画像ＬＶ（ｔ）内にあるランドマーク候補領域であれば「ランドマーク候補領域Ｌｘ（ｔ）」と称す。ここで、ｘは正の整数である。 An area having a landmark pattern is referred to as a “landmark candidate area”. A landmark candidate region in the right-eye image RV (t) is referred to as “landmark candidate region Rx (t)”. A landmark candidate region in the left-eye image LV (t) is referred to as “landmark candidate region Lx (t)”. Here, x is a positive integer.

そして、ロボット１００は、右目画像ＲＶ（ｔ）内のランドマーク候補領域Ｒｘ（ｔ）と左目画像ＬＶ（ｔ）内のランドマーク候補領域Ｌｘ（ｔ）との組み合わせの各々が、同一のランドマークに関するランドマーク候補領域の組み合わせか否かを決定する。これにより、ロボット１００は、決定以降は、ランドマークの位置の特定に際し、同一のランドマークに関するランドマーク候補領域の組み合わせを用いるとともに、異なるランドマークに関するランドマーク候補領域の組み合わせを用いない。従って、ロボット１００は、ランドマークの位置を誤って特定することを抑制し、ランドマークの位置の特定精度を向上させることができる。 Then, the robot 100 determines that each combination of the landmark candidate area Rx (t) in the right eye image RV (t) and the landmark candidate area Lx (t) in the left eye image LV (t) is the same landmark. It is determined whether or not it is a combination of landmark candidate areas. Thus, after the determination, the robot 100 uses the combination of landmark candidate areas related to the same landmark and does not use the combination of landmark candidate areas related to different landmarks when specifying the position of the landmark. Therefore, the robot 100 can suppress erroneously specifying the position of the landmark and improve the accuracy of specifying the position of the landmark.

図１の例では、（１）ロボット１００は、或る時点「ｔ１」において、右目カメラＲにより右目画像ＲＶ（ｔ１）を撮像する。右目カメラＲの撮像領域にランドマークＭ１、Ｍ２が含まれるため、右目画像ＲＶ（ｔ１）にはランドマーク候補領域が含まれる。そして、ロボット１００は、右目画像ＲＶ（ｔ１）内から、ランドマーク候補領域Ｒ１（ｔ１）とランドマーク候補領域Ｒ２（ｔ１）とを検出する。 In the example of FIG. 1, (1) the robot 100 captures the right-eye image RV (t1) with the right-eye camera R at a certain time “t1”. Since landmarks M1 and M2 are included in the imaging region of the right-eye camera R, the landmark candidate region is included in the right-eye image RV (t1). Then, the robot 100 detects the landmark candidate region R1 (t1) and the landmark candidate region R2 (t1) from the right eye image RV (t1).

また、ロボット１００は、或る時点「ｔ１」において、左目カメラＬにより左目画像ＬＶ（ｔ１）を撮像する。左目カメラＬの撮像領域にランドマークＭ１、Ｍ２が含まれるため、左目画像ＬＶ（ｔ１）にはランドマーク候補領域が含まれる。そして、ロボット１００は、左目画像ＬＶ（ｔ１）内から、ランドマーク候補領域Ｌ１（ｔ１）とランドマーク候補領域Ｌ２（ｔ１）とを検出する。 Further, the robot 100 captures the left-eye image LV (t1) with the left-eye camera L at a certain time “t1”. Since landmarks M1 and M2 are included in the imaging region of the left eye camera L, the left eye image LV (t1) includes a landmark candidate region. Then, the robot 100 detects the landmark candidate area L1 (t1) and the landmark candidate area L2 (t1) from the left eye image LV (t1).

ここで、ランドマークＭ１、Ｍ２は、同一の特徴を有するランドマークであるとする。そのため、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）とランドマーク候補領域Ｒ２（ｔ１）とが、どちらのランドマークの写像であるか判断することができない。ロボット１００は、同様に、ランドマーク候補領域Ｌ１（ｔ１）とランドマーク候補領域Ｌ２（ｔ１）とが、どちらのランドマークの写像であるか判断することができない。 Here, it is assumed that the landmarks M1 and M2 are landmarks having the same characteristics. Therefore, the robot 100 cannot determine which landmark is the landmark candidate region R1 (t1) and the landmark candidate region R2 (t1). Similarly, the robot 100 cannot determine which landmark is the landmark candidate region L1 (t1) and the landmark candidate region L2 (t1).

次に、ロボット１００は、右目画像ＲＶ（ｔ１）内のランドマーク候補領域Ｒ１（ｔ１）、Ｒ２（ｔ１）の各々と、左目画像ＬＶ（ｔ１）内のランドマーク候補領域Ｌ１（ｔ１）、Ｌ２（ｔ１）の各々と、を組み合わせる。 Next, the robot 100 recognizes each of the landmark candidate areas R1 (t1) and R2 (t1) in the right eye image RV (t1) and the landmark candidate areas L1 (t1) and L2 in the left eye image LV (t1). Are combined with each of (t1).

そして、ロボット１００は、各々の組み合わせを同一のランドマークのランドマーク候補領域の組み合わせとした場合における当該ランドマークの時点「ｔ１」での位置を特定する。ここで、ランドマークの位置は、例えば、自装置の位置を原点とする相対座標系における座標値であるとする。 Then, the robot 100 specifies the position of the landmark at the time “t1” when each combination is a combination of landmark candidate areas of the same landmark. Here, it is assumed that the position of the landmark is, for example, a coordinate value in a relative coordinate system with the position of the own device as the origin.

（２）次に、ロボット１００は、時点「ｔ１」から一定時間経過後の時点「ｔ２」において、時点「ｔ１」から時点「ｔ２」までの間における自装置の移動距離を検出する。図１の例では、ロボット１００は、時点「ｔ１」から時点「ｔ２」までの間における自装置の移動距離として、正面方向への移動距離「２ｍ」を検出する。 (2) Next, the robot 100 detects the movement distance of the own device between the time “t1” and the time “t2” at the time “t2” after a lapse of a fixed time from the time “t1”. In the example of FIG. 1, the robot 100 detects the movement distance “2 m” in the front direction as the movement distance of the own device between the time “t1” and the time “t2”.

また、ロボット１００は、時点「ｔ２」において、右目カメラＲにより右目画像ＲＶ（ｔ２）を撮像する。そして、ロボット１００は、右目画像ＲＶ（ｔ２）内から、ランドマーク候補領域Ｒ１（ｔ１）に対応するランドマーク候補領域Ｒ１（ｔ２）と、ランドマーク候補領域Ｒ２（ｔ１）に対応するランドマーク候補領域Ｒ２（ｔ２）と、を検出する。 Further, the robot 100 captures the right-eye image RV (t2) with the right-eye camera R at the time “t2”. The robot 100 then selects a landmark candidate area R1 (t2) corresponding to the landmark candidate area R1 (t1) and a landmark candidate corresponding to the landmark candidate area R2 (t1) from the right-eye image RV (t2). A region R2 (t2) is detected.

ここで、時点「ｔ１」でのランドマーク候補領域と、時点「ｔ２」でのランドマーク候補領域と、が対応するとは、各々のランドマーク候補領域が同一のランドマークの写像であることをいう。ロボット１００は、具体的には、例えば、右目画像ＲＶ（ｔ１）と、右目画像ＲＶ（ｔ２）と、の相関演算を実行し、ランドマーク候補領域Ｒ１（ｔ１）に対応するランドマーク候補領域Ｒ１（ｔ２）を検出する。 Here, the fact that the landmark candidate area at time “t1” corresponds to the landmark candidate area at time “t2” means that each landmark candidate area is a mapping of the same landmark. . Specifically, the robot 100 performs, for example, a correlation operation between the right eye image RV (t1) and the right eye image RV (t2), and the landmark candidate area R1 corresponding to the landmark candidate area R1 (t1). (T2) is detected.

また、ロボット１００は、同様に、時点「ｔ２」において、左目カメラＬにより左目画像ＬＶ（ｔ２）を撮像する。そして、ロボット１００は、左目画像ＬＶ（ｔ２）内から、ランドマーク候補領域Ｌ１（ｔ１）に対応するランドマーク候補領域Ｌ１（ｔ２）と、ランドマーク候補領域Ｌ２（ｔ１）に対応するランドマーク候補領域Ｌ２（ｔ２）と、を検出する。 Similarly, the robot 100 captures the left-eye image LV (t2) with the left-eye camera L at the time “t2”. The robot 100 then selects a landmark candidate area L1 (t2) corresponding to the landmark candidate area L1 (t1) and a landmark candidate corresponding to the landmark candidate area L2 (t1) from the left eye image LV (t2). A region L2 (t2) is detected.

ここで、ロボット１００は、時点「ｔ１」におけるランドマーク候補領域の組み合わせに対応するように、時点「ｔ２」におけるランドマーク候補領域を組み合わせる。次に、ロボット１００は、各々の組み合わせを同一のランドマークのランドマーク候補領域の組み合わせとした場合における当該ランドマークの時点「ｔ２」での位置を特定する。 Here, the robot 100 combines the landmark candidate areas at the time “t2” so as to correspond to the combination of landmark candidate areas at the time “t1”. Next, the robot 100 specifies the position of the landmark at the time “t2” when each combination is a combination of landmark candidate areas of the same landmark.

（３）次に、ロボット１００は、各々のランドマーク候補領域の組み合わせが、同一のランドマークに関するランドマーク候補領域の組み合わせか否かを決定する。図１の例では、まず、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）とランドマーク候補領域Ｌ２（ｔ１）との組み合わせが、同一のランドマークに関するランドマーク候補領域の組み合わせか否かを決定する。 (3) Next, the robot 100 determines whether or not each combination of landmark candidate areas is a combination of landmark candidate areas related to the same landmark. In the example of FIG. 1, first, the robot 100 determines whether or not the combination of the landmark candidate area R1 (t1) and the landmark candidate area L2 (t1) is a combination of landmark candidate areas related to the same landmark. To do.

ロボット１００は、具体的には、例えば、ランドマーク候補領域Ｒ１（ｔ１）とランドマーク候補領域Ｌ２（ｔ１）とを組み合わせた場合のランドマークの位置について、時点「ｔ１」から時点「ｔ２」までの間の変化量を算出する。当該変化量は、より具体的には、例えば、ランドマーク候補領域Ｒ１（ｔ１）、Ｌ２（ｔ１）を組み合わせた場合の位置から、当該組み合わせに対応するランドマーク候補領域Ｒ１（ｔ２）、Ｌ２（ｔ２）を組み合わせた場合の位置までの変化量である。図１の例では、ロボット１００は、時点「ｔ１」から時点「ｔ２」までの間におけるランドマークの位置の変化量「１．５ｍ」を算出する。 Specifically, the robot 100, for example, from the time point “t1” to the time point “t2” regarding the position of the landmark when the landmark candidate region R1 (t1) and the landmark candidate region L2 (t1) are combined. The amount of change between is calculated. More specifically, the amount of change is, for example, from the position when the landmark candidate areas R1 (t1) and L2 (t1) are combined, to the landmark candidate areas R1 (t2) and L2 ( The amount of change up to the position when t2) is combined. In the example of FIG. 1, the robot 100 calculates a landmark position change amount “1.5 m” from the time “t1” to the time “t2”.

（４）そして、ロボット１００は、（２）において測定した自装置の移動距離「２ｍ」と、（３）において算出したランドマークの位置の変化量「１．５ｍ」と、が一致するか否かを判断する。ここで、一致しないため、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）とランドマーク候補領域Ｌ２（ｔ１）との組み合わせが、同一のランドマークに関するランドマーク候補領域の組み合わせではないと決定する。 (4) Then, the robot 100 determines whether or not the movement distance “2 m” of the own device measured in (2) matches the landmark position change amount “1.5 m” calculated in (3). Determine whether. Here, since they do not match, the robot 100 determines that the combination of the landmark candidate area R1 (t1) and the landmark candidate area L2 (t1) is not a combination of landmark candidate areas related to the same landmark.

（５）また、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）とランドマーク候補領域Ｌ１（ｔ１）との組み合わせが、同一のランドマークに関するランドマーク候補領域の組み合わせか否かを決定する。 (5) Further, the robot 100 determines whether or not the combination of the landmark candidate area R1 (t1) and the landmark candidate area L1 (t1) is a combination of landmark candidate areas related to the same landmark.

ロボット１００は、具体的には、例えば、ランドマーク候補領域Ｒ１（ｔ１）とランドマーク候補領域Ｌ１（ｔ１）とを組み合わせた場合のランドマークの位置について、時点「ｔ１」から時点「ｔ２」までの間の変化量を算出する。図１の例では、ロボット１００は、時点「ｔ１」から時点「ｔ２」までの間におけるランドマークの位置の変化量「２ｍ」を算出する。 Specifically, the robot 100, for example, from the time point “t1” to the time point “t2” with respect to the position of the landmark when the landmark candidate region R1 (t1) and the landmark candidate region L1 (t1) are combined. The amount of change between is calculated. In the example of FIG. 1, the robot 100 calculates the change amount “2 m” of the landmark position between the time “t1” and the time “t2”.

（６）そして、ロボット１００は、（２）において測定した自装置の移動距離「２ｍ」と、（５）において算出したランドマークの位置の変化量「２ｍ」と、が一致するか否かを判断する。ここで、一致するため、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）とランドマーク候補領域Ｌ１（ｔ１）とが、同一のランドマークに関するランドマーク候補領域の組み合わせであると決定する。 (6) Then, the robot 100 determines whether or not the movement distance “2 m” of the own device measured in (2) matches the landmark position change amount “2 m” calculated in (5). to decide. Here, in order to match, the robot 100 determines that the landmark candidate region R1 (t1) and the landmark candidate region L1 (t1) are a combination of landmark candidate regions related to the same landmark.

また、ロボット１００は、同様にして、ランドマーク候補領域Ｒ２（ｔ１）と、ランドマーク候補領域Ｌ１（ｔ１）、Ｌ２（ｔ１）との各々と、の組み合わせが、同一のランドマークに関するランドマーク候補領域の組み合わせか否かを決定する。 Similarly, the robot 100 is a landmark candidate related to the same landmark in which the combination of the landmark candidate region R2 (t1) and each of the landmark candidate regions L1 (t1) and L2 (t1) is the same. Decide whether it is a combination of regions.

このように、ロボット１００は、右目画像ＲＶ内のランドマーク候補領域と左目画像ＬＶ内のランドマーク候補領域との組み合わせの各々が、同一のランドマークに関するランドマーク候補領域の組み合わせか否かを決定する。 As described above, the robot 100 determines whether or not each combination of the landmark candidate area in the right eye image RV and the landmark candidate area in the left eye image LV is a combination of landmark candidate areas related to the same landmark. To do.

これにより、ロボット１００は、決定以降は、ランドマークの位置の特定に際し、同一のランドマークに関するランドマーク候補領域の組み合わせを用いるとともに、異なるランドマークに関するランドマーク候補領域の組み合わせを用いない。従って、ロボット１００は、ランドマークの位置を誤って特定することを抑制し、ランドマークの位置の特定精度を向上させることができる。 Thus, after the determination, the robot 100 uses the combination of landmark candidate areas related to the same landmark and does not use the combination of landmark candidate areas related to different landmarks when specifying the position of the landmark. Therefore, the robot 100 can suppress erroneously specifying the position of the landmark and improve the accuracy of specifying the position of the landmark.

より具体的には、例えば、ステレオカメラの撮像領域内に同一の特徴を有する複数のランドマークが存在し、ランドマーク候補領域Ｒ１（ｔ１）、Ｒ２（ｔ１）が検出され、ランドマーク候補領域Ｌ１（ｔ１）、Ｌ２（ｔ１）が検出される場合がある。この場合、従来技術にかかるロボットでは、ランドマーク候補領域Ｒ１（ｔ１）と、ランドマーク候補領域Ｌ１（ｔ１）、Ｌ２（ｔ１）のいずれかと、を同一のランドマークに関するランドマーク候補領域として組み合わせるべきか判断することができない。 More specifically, for example, there are a plurality of landmarks having the same characteristics in the imaging region of the stereo camera, the landmark candidate regions R1 (t1) and R2 (t1) are detected, and the landmark candidate region L1 (T1) and L2 (t1) may be detected. In this case, in the robot according to the related art, the landmark candidate area R1 (t1) and any one of the landmark candidate areas L1 (t1) and L2 (t1) should be combined as the landmark candidate areas related to the same landmark. I can't judge.

一方、この場合であっても、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）と、ランドマーク候補領域Ｌ１（ｔ１）と、の組み合わせが同一のランドマークに関するランドマーク候補領域の組み合わせと判断することができる。そのため、ロボット１００は、当該組み合わせをランドマークの位置の特定に用いて、ランドマークの位置の特定精度を向上させることができる。 On the other hand, even in this case, the robot 100 determines that the combination of the landmark candidate area R1 (t1) and the landmark candidate area L1 (t1) is a combination of landmark candidate areas related to the same landmark. be able to. Therefore, the robot 100 can improve the accuracy of specifying the landmark position by using the combination for specifying the landmark position.

さらに、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）と、ランドマーク候補領域Ｌ２（ｔ１）と、の組み合わせが、異なるランドマークに関するランドマーク候補領域の組み合わせであると判断することができる。そのため、ロボット１００は、当該組み合わせをランドマークの位置の特定に用いないようにして、ランドマークの位置の特定精度を向上させることができる。 Furthermore, the robot 100 can determine that the combination of the landmark candidate area R1 (t1) and the landmark candidate area L2 (t1) is a combination of landmark candidate areas related to different landmarks. Therefore, the robot 100 can improve the accuracy of specifying the position of the landmark by not using the combination for specifying the position of the landmark.

また、例えば、ステレオカメラの撮像領域内に障害物（例えば、人間や動物など）があって、ランドマークを写すことが妨害され、ランドマーク候補領域Ｒ１（ｔ１）およびランドマーク候補領域Ｌ２（ｔ１）を検出できない場合がある。この場合、従来技術にかかるロボットでは、検出可能なランドマーク候補領域Ｒ２（ｔ１）とランドマーク候補領域Ｌ１（ｔ１）とを組み合わせて、ランドマークの位置を特定することになるため、ランドマークの位置を誤って特定してしまう。 Further, for example, an obstacle (for example, a human or an animal) is present in the imaging area of the stereo camera, and the landmarks are prevented from being captured, and the landmark candidate area R1 (t1) and the landmark candidate area L2 (t1) ) May not be detected. In this case, since the robot according to the conventional technique combines the detectable landmark candidate region R2 (t1) and the landmark candidate region L1 (t1) to specify the position of the landmark, The position is specified by mistake.

一方、この場合であっても、ロボット１００は、検出可能なランドマーク候補領域Ｒ２（ｔ１）とランドマーク候補領域Ｌ１（ｔ１）との組み合わせが、異なるランドマークに関するランドマーク候補領域の組み合わせであると判断することができる。そのため、ロボット１００は、当該組み合わせをランドマークの位置の特定に用いないようにして、ランドマークの位置の特定精度を向上させることができる。 On the other hand, even in this case, the robot 100 is a combination of landmark candidate areas related to different landmarks in which the combination of the detectable landmark candidate area R2 (t1) and the landmark candidate area L1 (t1) It can be judged. Therefore, the robot 100 can improve the accuracy of specifying the position of the landmark by not using the combination for specifying the position of the landmark.

また、例えば、ステレオカメラの撮像領域内に、ランドマークに類似する特徴を有するがランドマークではない物体があって、検出すべきでないランドマーク候補領域Ｒ３（ｔ１）が検出される場合がある。この場合、従来技術にかかるロボットでは、検出すべきでないランドマーク候補領域Ｒ３（ｔ１）とランドマーク候補領域Ｌ１（ｔ１）とを同一のランドマークに関する候補領域として組み合わせてしまい、ランドマークの位置を誤って特定してしまうことがある。 Further, for example, there may be an object that has a feature similar to a landmark but is not a landmark in the imaging region of the stereo camera, and a landmark candidate region R3 (t1) that should not be detected may be detected. In this case, the robot according to the related art combines the landmark candidate area R3 (t1) and the landmark candidate area L1 (t1) that should not be detected as candidate areas related to the same landmark, and the position of the landmark is changed. It may be specified by mistake.

一方、この場合であっても、ロボット１００は、検出すべきでないランドマーク候補領域Ｒ３（ｔ１）とランドマーク候補領域Ｌ１（ｔ１）との組み合わせが、異なるランドマークに関するランドマーク候補領域の組み合わせであると判断することができる。そのため、ロボット１００は、当該組み合わせをランドマークの位置の特定に用いないようにして、ランドマークの位置の特定精度を向上させることができる。 On the other hand, even in this case, the robot 100 is a combination of landmark candidate areas relating to different landmarks in which the combination of the landmark candidate area R3 (t1) and the landmark candidate area L1 (t1) that should not be detected is different. It can be judged that there is. Therefore, the robot 100 can improve the accuracy of specifying the position of the landmark by not using the combination for specifying the position of the landmark.

結果として、ロボット１００は、予め保持しておいた地図データが示す実際のランドマークの位置と、正しく特定されたランドマークの位置と、を対応付けることができ、自己位置の特定精度を向上させることができる。そして、ロボット１００は、特定された自己位置を参照して、目的地に到着したり、障害物を回避したりすることができる。 As a result, the robot 100 can associate the position of the actual landmark indicated by the map data stored in advance with the position of the landmark that has been correctly specified, thereby improving the accuracy of specifying the self position. Can do. Then, the robot 100 can arrive at the destination or avoid an obstacle with reference to the identified self-position.

また、このように、ロボット１００は、同一のパターンを有するランドマーク候補領域の組み合わせが複数あっても、各々の組み合わせが同一のランドマークに関するランドマーク候補領域の組み合わせか否かを判断することができる。従って、ロボット１００の利用者は、固有の特徴を有する物体のみではなく、互いに同一の特徴を有する複数の物体であっても、ランドマークとして採用することができる。 Further, as described above, even when there are a plurality of combinations of landmark candidate areas having the same pattern, the robot 100 can determine whether each combination is a combination of landmark candidate areas related to the same landmark. it can. Therefore, the user of the robot 100 can adopt not only an object having a unique feature but also a plurality of objects having the same feature as landmarks.

ここでは、ランドマークの位置を、自装置の位置を原点とする相対座標系における座標値により表したが、これに限らない。例えば、ランドマークの位置は、自装置の位置からランドマークまでのベクトルにより表されてもよいし、当該ベクトルの大きさにより表されてもよい。また、ランドマークの位置は、自装置の位置を原点とする相対座標系における座標値のうち、進行方向の成分のみにより表してもよい。 Here, the position of the landmark is represented by the coordinate value in the relative coordinate system with the position of the device as the origin, but the present invention is not limited to this. For example, the position of the landmark may be represented by a vector from the position of the device itself to the landmark, or may be represented by the magnitude of the vector. Further, the position of the landmark may be represented by only the component in the traveling direction among the coordinate values in the relative coordinate system with the position of the own device as the origin.

（コンピュータのハードウェア構成例）
次に、図２を用いて、図１に示したロボット１００として使用されるコンピュータのハードウェア構成例について説明する。 (Computer hardware configuration example)
Next, a hardware configuration example of a computer used as the robot 100 shown in FIG. 1 will be described with reference to FIG.

図２は、コンピュータのハードウェア構成例を示すブロック図である。図２において、コンピュータ２００は、プロセッサ２０１、記憶装置２０２、入力装置２０３、出力装置２０４、センサ２０５、および駆動装置２０６が、バス２１０に接続されて構成されている。 FIG. 2 is a block diagram illustrating a hardware configuration example of a computer. In FIG. 2, a computer 200 includes a processor 201, a storage device 202, an input device 203, an output device 204, a sensor 205, and a drive device 206 connected to a bus 210.

プロセッサ２０１は、コンピュータ２００の全体の制御を司る。また、プロセッサ２０１は、記憶装置２０２に記憶されている各種プログラム（ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や本実施の形態の決定プログラム）を実行することで、記憶装置２０２内のデータを読み出したり、実行結果となるデータを記憶装置２０２に書き込んだりする。 The processor 201 governs overall control of the computer 200. Further, the processor 201 executes various programs (OS (Operating System) and determination program of the present embodiment) stored in the storage device 202 to read data in the storage device 202 and Or the like is written to the storage device 202.

記憶装置２０２は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、フラッシュメモリ、磁気ディスクドライブなどで構成され、プロセッサ２０１のワークエリアになったり、各種プログラム（ＯＳや本実施の形態の決定プログラム）や各種データ（各プログラムの実行により得られたデータを含む）を記憶したりする。 The storage device 202 includes a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, a magnetic disk drive, and the like. The storage device 202 serves as a work area for the processor 201 and various programs (OS and determination of this embodiment). Program) and various data (including data obtained by executing each program).

入力装置２０３は、スイッチ、入力キー、タッチパネル、マイクなどユーザの操作により、各種データの入力を行うインターフェースである。また、入力装置２０３は、Ｉ／Ｏポート、アンテナなど外部装置との通信により、各種データの入力を行うインターフェースであってもよい。出力装置２０４は、プロセッサ２０１の指示により、データを出力するインターフェースである。出力装置２０４には、ディスプレイ、スピーカが挙げられる。また、出力装置２０４は、Ｉ／Ｏポート、アンテナなど外部装置との通信により、各種データの出力を行うインターフェースであってもよい。 The input device 203 is an interface for inputting various data by a user operation such as a switch, an input key, a touch panel, and a microphone. The input device 203 may be an interface for inputting various data through communication with an external device such as an I / O port or an antenna. The output device 204 is an interface that outputs data according to an instruction from the processor 201. Examples of the output device 204 include a display and a speaker. The output device 204 may be an interface that outputs various data through communication with an external device such as an I / O port or an antenna.

センサ２０５は、各種センサを含む。各種センサとしては、例えば、光学的な映像を電気信号に変換し、記憶装置２０２に保持するセンサがある。かかるセンサには、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ―ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの光学的な映像を電気信号に変換する光電変換素子を有するステレオカメラを採用できる。 The sensor 205 includes various sensors. As the various sensors, for example, there is a sensor that converts an optical image into an electric signal and holds it in the storage device 202. As such a sensor, for example, a stereo camera having a photoelectric conversion element that converts an optical image into an electric signal, such as a CCD (Charge Coupled Device), a CMOS (Complementary Metal-Oxide Semiconductor) sensor, or the like can be used.

また、各種センサとしては、例えば、コンピュータ２００の姿勢情報を検出して、記憶装置２０２に保持するセンサがある。かかるセンサには、例えば、ジャイロセンサを採用できる。また、各種センサとしては、例えば、コンピュータ２００の移動距離を検出して、記憶装置２０２に保持するセンサがある。かかるセンサには、駆動装置２０６の駆動状況を検出するエンコーダを採用できる。また、かかるセンサには、例えば、加速度センサを採用できる。 Examples of the various sensors include sensors that detect posture information of the computer 200 and hold it in the storage device 202. For example, a gyro sensor can be adopted as such a sensor. Examples of the various sensors include sensors that detect the moving distance of the computer 200 and hold it in the storage device 202. As such a sensor, an encoder that detects a driving state of the driving device 206 can be employed. Further, for example, an acceleration sensor can be adopted as such a sensor.

駆動装置２０６は、プロセッサ２０１の制御によりコンピュータ２００を駆動させる。駆動装置２０６としては、例えば、モータ、エンジン等を用いることができる。駆動装置２０６は、例えば、モータにより車輪を回転させることによりコンピュータ２００を移動させる。 The driving device 206 drives the computer 200 under the control of the processor 201. As the drive device 206, for example, a motor, an engine, or the like can be used. The drive device 206 moves the computer 200 by rotating wheels with a motor, for example.

コンピュータ２００が、携帯端末、スマートフォン、ＰＤＡ、ノードＰＣなど可搬な機器に使用される場合、コンピュータ２００の移動距離を検出して記憶装置２０２に保持するセンサとして、歩数カウンタを採用してもよい。また、コンピュータ２００が、携帯端末、スマートフォン、ＰＤＡ、ノードＰＣなど可搬な機器に使用される場合、駆動装置２０６はなくてもよい。 When the computer 200 is used in a portable device such as a mobile terminal, a smartphone, a PDA, or a node PC, a step counter may be employed as a sensor that detects the movement distance of the computer 200 and holds it in the storage device 202. . Further, when the computer 200 is used for a portable device such as a mobile terminal, a smartphone, a PDA, or a node PC, the drive device 206 may not be provided.

（ランドマーク候補リストの記憶内容）
次に、図３を用いて、ランドマーク候補リストの記憶内容について説明する。ランドマーク候補リストは、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、を同一のランドマークに関する領域として組み合わせた場合の当該ランドマークの位置情報を記憶するテーブルである。ランドマーク候補リストは、例えば、図２に示した記憶装置２０２により実現される。 (Contents of landmark candidate list)
Next, the stored contents of the landmark candidate list will be described with reference to FIG. The landmark candidate list is a table that stores positional information of landmarks when a landmark candidate area in the right-eye image RV and a landmark candidate area in the left-eye image LV are combined as areas related to the same landmark. It is. The landmark candidate list is realized by, for example, the storage device 202 illustrated in FIG.

図３は、ランドマーク候補リストの記憶内容を示す説明図である。図３に示すように、ランドマーク候補リスト３００は、ランドマーク項目と、候補領域項目と、登録時点の３次元位置情報項目と、現時点の３次元位置情報項目と、を有し、ランドマーク候補領域の組み合わせごとにレコードを構成する。 FIG. 3 is an explanatory diagram showing the stored contents of the landmark candidate list. As illustrated in FIG. 3, the landmark candidate list 300 includes landmark items, candidate area items, a three-dimensional position information item at the time of registration, and a current three-dimensional position information item. Configure a record for each combination of areas.

ランドマーク項目には、右目画像ＲＶ内のランドマーク候補領域の識別子が記憶される。具体的には、例えば、ランドマーク候補領域Ｒ１（ｔ１）の識別子として、「Ｒ１」を使用する。識別子「Ｒ１」は、ランドマーク候補領域Ｒ１（ｔ１）に対応するランドマーク候補領域Ｒ１（ｔ２）の識別子としても使用する。 In the landmark item, an identifier of a landmark candidate area in the right-eye image RV is stored. Specifically, for example, “R1” is used as the identifier of the landmark candidate region R1 (t1). The identifier “R1” is also used as an identifier of the landmark candidate region R1 (t2) corresponding to the landmark candidate region R1 (t1).

候補領域項目には、ランドマーク項目が示す右目画像ＲＶ内のランドマーク候補領域と組み合わせられる左目画像ＬＶ内のランドマーク候補領域の識別子が記憶される。具体的には、例えば、ランドマーク候補領域Ｌ１（ｔ１）の識別子として、「Ｌ１」を使用する。識別子「Ｌ１」は、ランドマーク候補領域Ｌ１（ｔ１）に対応するランドマーク候補領域Ｌ１（ｔ２）の識別子としても使用する。 In the candidate area item, an identifier of a landmark candidate area in the left eye image LV that is combined with the landmark candidate area in the right eye image RV indicated by the landmark item is stored. Specifically, for example, “L1” is used as the identifier of the landmark candidate region L1 (t1). The identifier “L1” is also used as an identifier of the landmark candidate region L1 (t2) corresponding to the landmark candidate region L1 (t1).

登録時点の３次元位置情報項目には、ランドマーク項目と候補領域項目とが示すランドマーク候補領域の組み合わせを、同一のランドマークに関するランドマーク候補領域の組み合わせとした場合の登録時点「ｔ１」でのランドマークの位置情報が記憶される。 The three-dimensional position information item at the registration time is the registration time “t1” when the combination of landmark candidate areas indicated by the landmark item and the candidate area item is a combination of landmark candidate areas related to the same landmark. The landmark position information is stored.

位置情報とは、例えば、自装置の位置を原点とした場合の３次元相対座標系における座標値である。座標系のｘ軸は、例えば、ロボット１００の側面方向である。座標系のｙ軸は、例えば、ｘ軸に垂直なロボット１００の正面方向である。座標系のｚ軸は、例えば、ｘ軸とｙ軸とに垂直なロボット１００の倒立方向である。また、位置情報とは、ロボット１００からランドマークまでのベクトルであってもよいし、当該ベクトルの大きさであってもよい。 The position information is, for example, a coordinate value in a three-dimensional relative coordinate system when the position of the own device is the origin. The x axis of the coordinate system is, for example, the side surface direction of the robot 100. The y axis of the coordinate system is, for example, the front direction of the robot 100 perpendicular to the x axis. The z axis of the coordinate system is, for example, an inverted direction of the robot 100 that is perpendicular to the x axis and the y axis. Further, the position information may be a vector from the robot 100 to the landmark, or the magnitude of the vector.

現時点の３次元位置情報項目には、ランドマーク項目と候補領域項目とが示すランドマーク候補領域の組み合わせを、同一のランドマークに関するランドマーク候補領域の組み合わせとした場合の現時点「ｔ２」でのランドマークの位置情報が記憶される。現時点「ｔ２」は、登録時点「ｔ１」以降の時点である。 The current three-dimensional position information item includes a land at the current “t2” when a combination of landmark candidate areas indicated by the landmark item and the candidate area item is a combination of landmark candidate areas related to the same landmark. The mark position information is stored. The current time “t2” is a time after the registration time “t1”.

ここでは、ランドマーク項目には、右目画像ＲＶ内のランドマーク候補領域の識別子を記憶したが、これに限らない。例えば、ランドマーク項目には、左目画像ＬＶ内のランドマーク候補領域の識別子を記憶してもよい。この場合、候補領域項目には、ランドマーク項目が示す左目画像ＬＶ内のランドマーク候補領域と組み合わせられる右目画像ＲＶ内のランドマーク候補領域の識別子が記憶される。 Here, although the identifier of the landmark candidate area in the right eye image RV is stored in the landmark item, the present invention is not limited to this. For example, the landmark item may store an identifier of a landmark candidate area in the left-eye image LV. In this case, the candidate area item stores an identifier of the landmark candidate area in the right eye image RV that is combined with the landmark candidate area in the left eye image LV indicated by the landmark item.

（ロボット１００の機能的構成例）
次に、ロボット１００の機能的構成例について説明する。図４は、ロボット１００の機能的構成例を示すブロック図である。ロボット１００は、第１の撮像部４０１と、第２の撮像部４０２と、特定部４０３と、取得部４０４と、検出部４０５と、算出部４０６と、判断部４０７と、決定部４０８と、を含む構成である。 (Functional configuration example of the robot 100)
Next, a functional configuration example of the robot 100 will be described. FIG. 4 is a block diagram illustrating a functional configuration example of the robot 100. The robot 100 includes a first imaging unit 401, a second imaging unit 402, a specifying unit 403, an acquisition unit 404, a detection unit 405, a calculation unit 406, a determination unit 407, a determination unit 408, It is the structure containing.

ここで、ロボット１００は、第１の撮像部４０１と、第２の撮像部４０２と、特定部４０３と、取得部４０４と、検出部４０５と、算出部４０６と、判断部４０７と、決定部４０８とにより、同一のランドマークに関するランドマーク候補領域の組み合わせを決定する。ロボット１００は、具体的には、例えば、ランドマークの位置の第１の時点から第２の時点までの変化量を用いて、同一のランドマークに関するランドマーク候補領域の組み合わせを決定する。第１の時点とは、例えば、上述した時点「ｔ１」である。第２の時点とは、例えば、上述した時点「ｔ２」である。 Here, the robot 100 includes a first imaging unit 401, a second imaging unit 402, a specifying unit 403, an acquiring unit 404, a detecting unit 405, a calculating unit 406, a determining unit 407, and a determining unit. 408 determines the combination of landmark candidate areas for the same landmark. Specifically, the robot 100 determines a combination of landmark candidate areas related to the same landmark using, for example, the amount of change in the position of the landmark from the first time point to the second time point. The first time point is, for example, the time point “t1” described above. The second time point is, for example, the time point “t2” described above.

また、ロボット１００は、ランドマークの第１の時点から第２の時点までの移動量を用いて、同一のランドマークに関するランドマーク候補領域の組み合わせを決定してもよい。また、ロボット１００は、ランドマークの第１の時点から第２の時点までの移動量と、ランドマークの位置の誤差範囲を用いて、同一のランドマークに関するランドマーク候補領域の組み合わせを決定してもよい。 Further, the robot 100 may determine a combination of landmark candidate areas related to the same landmark using the movement amount of the landmark from the first time point to the second time point. Further, the robot 100 determines a combination of landmark candidate areas related to the same landmark by using the movement amount of the landmark from the first time point to the second time point and the error range of the landmark position. Also good.

＜機能例１＞
まず、ランドマークの位置の第１の時点から第２の時点までの変化量を用いて、複数のランドマーク候補領域の組み合わせの中から、同一のランドマークに関するランドマーク候補領域の組み合わせを決定する場合の機能例１について説明する。 <Function example 1>
First, a combination of landmark candidate areas related to the same landmark is determined from among a plurality of combinations of landmark candidate areas, using the amount of change in the position of the landmark from the first time point to the second time point. A function example 1 will be described.

第１の撮像部４０１は、ステレオカメラの一方のカメラにより画像を撮像する。ステレオカメラとは、撮像領域が重複する２台のカメラである。一方のカメラとは、例えば、上述した右目カメラＲである。第１の撮像部４０１は、具体的には、例えば、右目カメラＲにより右目画像ＲＶを撮像する。 The first imaging unit 401 captures an image with one of the stereo cameras. Stereo cameras are two cameras with overlapping imaging areas. One camera is, for example, the right-eye camera R described above. Specifically, the first imaging unit 401 captures the right eye image RV with the right eye camera R, for example.

これにより、特定部４０３は、第１の撮像部４０１によって撮像された右目画像ＲＶを参照して、ランドマークの位置を特定することができる。撮像された画像は、例えば、図２に示した記憶装置２０２に記憶される。第１の撮像部４０１は、具体的には、例えば、図２に示した記憶装置２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより、またはセンサ２０５により、その機能を実現する。 Thereby, the specifying unit 403 can specify the position of the landmark with reference to the right eye image RV imaged by the first imaging unit 401. The captured image is stored in, for example, the storage device 202 illustrated in FIG. Specifically, the first imaging unit 401 realizes its function, for example, by causing the processor 201 to execute a program stored in the storage device 202 illustrated in FIG.

第２の撮像部４０２は、ステレオカメラの他方のカメラにより画像を撮像する。他方のカメラとは、例えば、一方のカメラを右目カメラＲとした場合、上述した左目カメラＬである。第２の撮像部４０２は、具体的には、例えば、左目カメラＬにより左目画像ＬＶを撮像する。 The second imaging unit 402 captures an image with the other camera of the stereo camera. The other camera is, for example, the left-eye camera L described above when one camera is the right-eye camera R. Specifically, the second imaging unit 402 captures the left eye image LV with the left eye camera L, for example.

これにより、特定部４０３は、第２の撮像部４０２によって撮像された左目画像ＬＶを参照して、ランドマークの位置を特定することができる。撮像された画像は、例えば、図２に示した記憶装置２０２に記憶される。第２の撮像部４０２は、具体的には、例えば、図２に示した記憶装置２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより、またはセンサ２０５により、その機能を実現する。 Thereby, the specifying unit 403 can specify the position of the landmark with reference to the left eye image LV imaged by the second imaging unit 402. The captured image is stored in, for example, the storage device 202 illustrated in FIG. Specifically, the second imaging unit 402 realizes its function, for example, by causing the processor 201 to execute a program stored in the storage device 202 illustrated in FIG.

特定部４０３は、右目画像ＲＶ内のランドマーク候補領域を検出する。また、特定部４０３は、左目画像ＬＶ内のランドマーク候補領域を検出する。次に、特定部４０３は、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、を同一のランドマークのランドマーク候補領域として組み合わせて、当該ランドマークの位置を特定する。 The specifying unit 403 detects a landmark candidate area in the right eye image RV. Further, the specifying unit 403 detects landmark candidate regions in the left eye image LV. Next, the specifying unit 403 combines the landmark candidate area in the right eye image RV and the landmark candidate area in the left eye image LV as a landmark candidate area of the same landmark, and determines the position of the landmark. Identify.

特定部４０３は、具体的には、例えば、時点「ｔ１」における右目画像ＲＶ（ｔ１）から、ＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）やＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）などの特徴点を検出するアルゴリズムを用いて、ランドマーク候補領域Ｒ１（ｔ１）、Ｒ２（ｔ１）を検出する。また、特定部４０３は、時点「ｔ１」における左目画像ＬＶ（ｔ１）から、ランドマーク候補領域Ｌ１（ｔ１）、Ｌ２（ｔ１）を検出する。 Specifically, for example, the specifying unit 403 detects an algorithm such as SIFT (Scale-Invariant Feature Transform) or SURF (Speeded Up Robust Features) from the right-eye image RV (t1) at the time “t1”. The landmark candidate regions R1 (t1) and R2 (t1) are detected. Further, the specifying unit 403 detects landmark candidate regions L1 (t1) and L2 (t1) from the left-eye image LV (t1) at the time “t1”.

次に、特定部４０３は、ＳＩＦＴやＳＵＲＦを用いて、ランドマーク候補領域Ｒ１（ｔ１）、Ｒ２（ｔ１）、Ｌ１（ｔ１）、Ｌ２（ｔ１）の特徴量を算出する。そして、特定部４０３は、時点「ｔ１」でのランドマーク候補領域Ｌ１（ｔ１）、Ｌ２（ｔ１）の各々と、時点「ｔ１」でのランドマーク候補領域Ｒ１（ｔ１）、Ｒ２（ｔ１）の各々と、を組み合わせる。次に、特定部４０３は、各々の組み合わせについて、特徴量の類似度を算出し、類似度が閾値以上になるランドマーク候補領域の組み合わせを特定する。 Next, the specifying unit 403 calculates feature amounts of the landmark candidate regions R1 (t1), R2 (t1), L1 (t1), and L2 (t1) using SIFT and SURF. The specifying unit 403 then includes the landmark candidate areas L1 (t1) and L2 (t1) at time “t1” and the landmark candidate areas R1 (t1) and R2 (t1) at time “t1”. Combine with each other. Next, the specifying unit 403 calculates the similarity of the feature amount for each combination, and specifies a combination of landmark candidate areas whose similarity is equal to or greater than a threshold value.

次に、特定部４０３は、各々の組み合わせを同一のランドマークに関するランドマーク候補領域の組み合わせとした場合の当該組み合わせに対応する視差を特定する。そして、特定部４０３は、ステレオカメラの基線長と、焦点距離と、特定した視差と、を用いて、三角測量により、当該ランドマークの時点「ｔ１」での位置「ｐ（ｔ１）＝（ｘ（ｔ１）、ｙ（ｔ１）、ｚ（ｔ１））」を特定する。また、特定部４０３は、時点「ｔ２」においても、各々の組み合わせを、同一のランドマークに関するランドマーク候補領域の組み合わせとした場合の当該ランドマークの時点「ｔ２」での位置「ｐ（ｔ２）＝（ｘ（ｔ２）、ｙ（ｔ２）、ｚ（ｔ２））」を特定する。 Next, the specifying unit 403 specifies the parallax corresponding to the combination when each combination is a combination of landmark candidate areas related to the same landmark. Then, the specifying unit 403 performs triangulation using the base line length of the stereo camera, the focal length, and the specified parallax, and the position “p (t1) = (x) of the landmark at the time“ t1 ”. (T1), y (t1), z (t1)) ". Also, at the time “t2”, the specifying unit 403 also sets the position “p (t2) at the time“ t2 ”of the landmark when each combination is a combination of landmark candidate areas related to the same landmark. = (X (t2), y (t2), z (t2)) ".

特定部４０３は、より具体的には、例えば、ランドマーク候補領域Ｒ１（ｔ１）、Ｌ１（ｔ１）の組み合わせに応じたランドマークの位置「ｐ_R1 ^L1（ｔ１）＝（ｘ_R1 ^L1（ｔ１）、ｙ_R1 ^L1（ｔ１）、ｚ_R1 ^L1（ｔ１））」を特定する。また、特定部４０３は、ランドマーク候補領域Ｒ１（ｔ１）、Ｌ１（ｔ１）の組み合わせに対応するランドマーク候補領域Ｒ１（ｔ２）、Ｌ１（ｔ２）の組み合わせに応じたランドマークの位置「ｐ_R1 ^L1（ｔ２）＝（ｘ_R1 ^L1（ｔ２）、ｙ_R1 ^L1（ｔ２）、ｚ_R1 ^L1（ｔ２））」を特定する。 More specifically, the specifying unit 403, for example, the landmark position “p _R1 ^L1 (t1) = (x _R1 ^L1 (t1)) corresponding to the combination of the landmark candidate regions R1 (t1) and ^L1 (t1). , Y _R1 ^L1 (t1), z _R1 ^L1 (t1)) ”. The specifying unit 403 also determines the landmark position “p _R1 according to the combination of the landmark candidate areas R1 (t2) and L1 (t2) corresponding to the combination of the landmark candidate areas R1 (t1) and L1 (t1). ^L1 (t2) = (x _R1 ^L1 (t2), y _R1 ^L1 (t2), z _R1 ^L1 (t2)) ”.

特定部４０３は、例えば、組み合わせたランドマーク候補領域の識別子と、時点「ｔ１」での位置「ｐ（ｔ１）」と、時点「ｔ２」での位置「ｐ（ｔ２）」と、を対応付けたレコードを生成して、ランドマーク候補リスト３００に記憶する。 For example, the identifying unit 403 associates the identifier of the combined landmark candidate area with the position “p (t1)” at the time “t1” and the position “p (t2)” at the time “t2”. Records are generated and stored in the landmark candidate list 300.

例えば、ランドマークの識別子としては、各々対応するランドマーク候補領域Ｒ１（ｔ１）とランドマーク候補領域Ｒ１（ｔ２）とに共通の識別子として「Ｒ１」を使用する。同様に、各々対応するランドマーク候補領域Ｌ１（ｔ１）とランドマーク候補領域Ｌ１（ｔ２）とに共通の識別子として「Ｌ１」を使用する。時点「ｔ１」での位置「ｐ（ｔ１）」は、例えば、ランドマーク候補リスト３００の登録時点の３次元位置情報項目に記憶される。また、時点「ｔ２」での位置「ｐ（ｔ２）」は、例えば、ランドマーク候補リスト３００の現時点の３次元位置情報項目に記憶される。 For example, as a landmark identifier, “R1” is used as a common identifier for each corresponding landmark candidate region R1 (t1) and landmark candidate region R1 (t2). Similarly, “L1” is used as a common identifier for the corresponding landmark candidate area L1 (t1) and landmark candidate area L1 (t2). The position “p (t1)” at the time “t1” is stored in, for example, the three-dimensional position information item at the time of registration in the landmark candidate list 300. Further, the position “p (t2)” at the time “t2” is stored in the current three-dimensional position information item of the landmark candidate list 300, for example.

これにより、取得部４０４は、特定部４０３によって特定されたランドマークの位置を取得することができる。特定部４０３は、例えば、図２に示した記憶装置２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより、その機能を実現する。 Thereby, the acquisition unit 404 can acquire the position of the landmark specified by the specifying unit 403. For example, the specifying unit 403 realizes its function by causing the processor 201 to execute a program stored in the storage device 202 illustrated in FIG. 2.

取得部４０４は、第１の被写体の画像に第２の撮像部４０２に撮像された被写体群の各々の画像を組み合わせた複数の組み合わせの各々の組み合わせを、同一被写体の画像の組み合わせとした場合における同一被写体の第１の時点での位置を取得する。また、取得部４０４は、各々の組み合わせを、同一被写体の画像の組み合わせとした場合における同一被写体の第２の時点での位置を取得する。 The acquisition unit 404 uses a combination of images of the same subject as a combination of a plurality of combinations obtained by combining each image of the subject group captured by the second imaging unit 402 with the image of the first subject. The position at the first time point of the same subject is acquired. The acquisition unit 404 acquires the position of the same subject at the second time point when each combination is a combination of images of the same subject.

ここで、被写体とは、画像内にランドマークのパターンを有する画像領域として投射される物体であり、例えば、上述したランドマークである。被写体の画像とは、ランドマークのパターンを有する画像領域であり、例えば、上述したランドマーク候補領域である。 Here, the subject is an object projected as an image area having a landmark pattern in the image, for example, the above-described landmark. The subject image is an image region having a landmark pattern, for example, the landmark candidate region described above.

取得部４０４は、具体的には、例えば、ランドマーク候補リスト３００において、ランドマーク候補領域Ｒ１（ｔ１）の識別子「Ｒ１」と、ランドマーク候補領域Ｌ１（ｔ１）の識別子「Ｌ１」と、の組み合わせが対応付けられたレコードを取得する。次に、取得部４０４は、取得したレコードの登録時点の３次元位置情報項目から時点「ｔ１」での位置「ｐ（ｔ１）」を取得し、現時点の３次元位置情報項目から時点「ｔ２」での位置「ｐ（ｔ２）」を取得する。 Specifically, for example, in the landmark candidate list 300, the acquisition unit 404 includes an identifier “R1” of the landmark candidate region R1 (t1) and an identifier “L1” of the landmark candidate region L1 (t1). Get the record with which the combination is associated. Next, the acquisition unit 404 acquires the position “p (t1)” at the time “t1” from the 3D position information item at the registration time of the acquired record, and the time “t2” from the current 3D position information item. The position “p (t2)” at is acquired.

これにより、決定部４０８は、取得部４０４によって取得されたランドマークの位置情報を参照することができる。取得されたデータは、例えば、図２に示した記憶装置２０２に記憶される。取得部４０４は、具体的には、例えば、図２に示した記憶装置２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより、その機能を実現する。 Accordingly, the determination unit 408 can refer to the landmark position information acquired by the acquisition unit 404. The acquired data is stored, for example, in the storage device 202 shown in FIG. Specifically, the acquiring unit 404 realizes its function by causing the processor 201 to execute a program stored in the storage device 202 illustrated in FIG. 2, for example.

検出部４０５は、第１の時点から第２の時点までの自装置の位置の変化量を検出する。検出部４０５は、具体的には、例えば、自装置のオドメトリとして、駆動装置のシャフトの回転を光エンコーダにより測定することにより、自装置の位置の変化量ｄｘ₀、ｄｙ₀を検出する。 The detection unit 405 detects the amount of change in the position of the own device from the first time point to the second time point. Specifically, the detection unit 405 detects the amount of change dx ₀ and dy ₀ of the position of the own device by measuring the rotation of the shaft of the drive device with an optical encoder, for example, as odometry of the own device.

これにより、決定部４０８は、検出部４０５によって検出されたオドメトリを参照することができる。検出されたデータは、例えば、図２に示した記憶装置２０２に記憶される。検出部４０５は、具体的には、例えば、図２に示した記憶装置２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより、またはセンサ２０５により、その機能を実現する。 Accordingly, the determination unit 408 can refer to the odometry detected by the detection unit 405. The detected data is stored, for example, in the storage device 202 shown in FIG. Specifically, the detection unit 405 realizes its function by causing the processor 201 to execute a program stored in the storage device 202 illustrated in FIG.

算出部４０６は、各々の組み合わせについて、同一被写体の位置の第１の時点から第２の時点までの変化量を算出する。算出部４０６は、具体的には、例えば、位置の変化量ｄｐを、下記式（１）により算出する。算出部４０６は、より具体的には、例えば、ランドマーク候補領域Ｒ１（ｔ１）、Ｌ１（ｔ１）の組み合わせに応じたランドマークの位置「ｐ_R1 ^L1（ｔ１）＝（ｘ_R1 ^L1（ｔ１）、ｙ_R1 ^L1（ｔ１）、ｚ_R1 ^L1（ｔ１））」を、下記式（１）に代入する。 The calculation unit 406 calculates, for each combination, the amount of change from the first time point to the second time point of the same subject position. Specifically, for example, the calculation unit 406 calculates the position change amount dp by the following equation (1). More specifically, the calculation unit 406, for example, the landmark position “p _R1 ^L1 (t1) = (x _R1 ^L1 (t1)) corresponding to the combination of the landmark candidate regions R1 (t1) and ^L1 (t1). , Y _R1 ^L1 (t1), z _R1 ^L1 (t1)) ”is substituted into the following equation (1).

また、算出部４０６は、ランドマーク候補領域Ｒ１（ｔ１）、Ｌ１（ｔ１）の組み合わせに対応するランドマーク候補領域Ｒ１（ｔ２）、Ｌ１（ｔ２）の組み合わせに応じたランドマークの位置「ｐ_R1 ^L1（ｔ２）＝（ｘ_R1 ^L1（ｔ２）、ｙ_R1 ^L1（ｔ２）、ｚ_R1 ^L1（ｔ２））」を下記式（１）に代入する。そして、算出部４０６は、位置の変化量ｄｐを算出する。 Further, the calculation unit 406 calculates the landmark position “p _R1 corresponding to the combination of the landmark candidate areas R1 (t2) and L1 (t2) corresponding to the combination of the landmark candidate areas R1 (t1) and L1 (t1). ^L1 (t2) = (x _R1 ^L1 (t2), y _R1 ^L1 (t2), z _R1 ^L1 (t2)) ”is substituted into the following equation (1). Then, the calculation unit 406 calculates a position change amount dp.

ｄｐ＝（ｘ_R1 ^L1（ｔ２）−ｘ_R1 ^L1（ｔ１）、ｙ_R1 ^L1（ｔ２）−ｙ_R1 ^L1（ｔ１）、
ｚ_R1 ^L1（ｔ２）−ｚ_R1 ^L1（ｔ１））・・・（１） dp = (x _R1 ^L1 (t2) −x _R1 ^L1 (t1), y _R1 ^L1 (t2) −y _R1 ^L1 (t1),
z _R1 ^L1 (t2) −z _R1 ^L1 (t1)) (1)

算出された変化量ｄｐは、例えば、図２に示した記憶装置２０２に記憶される。算出部４０６は、具体的には、例えば、図２に示した記憶装置２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより、その機能を実現する。 The calculated change amount dp is stored in, for example, the storage device 202 illustrated in FIG. Specifically, for example, the calculation unit 406 realizes its function by causing the processor 201 to execute a program stored in the storage device 202 illustrated in FIG. 2.

判断部４０７は、各々の組み合わせについて、算出部４０６によって算出された変化量と、検出部４０５によって検出された変化量と、の差分が許容範囲内であるか否かを判断する。判断部４０７は、具体的には、例えば、ｘ座標軸に関する差分「ｄｘ₀＋ｘ_R1 ^L1（ｔ２）−ｘ_R1 ^L1（ｔ１）」が許容範囲内であるか否かを判断する。 The determination unit 407 determines, for each combination, whether or not the difference between the change amount calculated by the calculation unit 406 and the change amount detected by the detection unit 405 is within an allowable range. Specifically, for example, the determination unit 407 determines whether or not the difference “dx ₀ + x _R1 ^L1 (t2) −x _R1 ^L1 (t1)” regarding the x coordinate axis is within an allowable range.

また、判断部４０７は、ｙ座標軸に関する差分「ｄｙ₀＋ｙ_R1 ^L1（ｔ２）−ｙ_R1 ^L1（ｔ１）」が許容範囲内であるか否かを判断する。また、判断部４０７は、ｚ座標軸に関する差分「ｚ_R1 ^L1（ｔ２）−ｚ_R1 ^L1（ｔ１）」が許容範囲内であるか否かを判断する。許容範囲とは、例えば、差分が「０」であることをいう。 Further, the determination unit 407 determines whether or not the difference “dy ₀ + y _R1 ^L1 (t2) −y _R1 ^L1 (t1)” regarding the y coordinate axis is within the allowable range. In addition, the determination unit 407 determines whether or not the difference “z _R1 ^L1 (t2) −z _R1 ^L1 (t1)” regarding the z coordinate axis is within an allowable range. The allowable range means that the difference is “0”, for example.

これにより、決定部４０８は、判断結果を参照して、同一のランドマークの画像の組み合わせを決定することができる。判断結果は、例えば、図２に示した記憶装置２０２に記憶される。判断部４０７は、具体的には、例えば、図２に示した記憶装置２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより、その機能を実現する。 Thereby, the determination part 408 can determine the combination of the image of the same landmark with reference to a determination result. The determination result is stored in, for example, the storage device 202 illustrated in FIG. Specifically, for example, the determination unit 407 realizes its function by causing the processor 201 to execute a program stored in the storage device 202 illustrated in FIG. 2.

決定部４０８は、複数の組み合わせの中で、判断部４０７によって差分が許容範囲内であると判断され、かつ、差分が最小になる組み合わせを、同一被写体の画像の組み合わせに決定する。決定部４０８は、具体的には、例えば、判断部４０７によってｘ軸、ｙ軸、およびｚ軸に関する差分が許容範囲内であると判断され、かつ、ｘ軸、ｙ軸、およびｚ軸に関する差分の和が最小になるランドマーク候補領域の組み合わせを特定する。次に、決定部４０８は、特定した組み合わせを、同一のランドマークのランドマーク候補領域に決定する。 The determining unit 408 determines, among the plurality of combinations, a combination in which the difference is determined to be within the allowable range by the determining unit 407 and which minimizes the difference, as a combination of images of the same subject. Specifically, for example, the determination unit 408 determines that the difference regarding the x-axis, the y-axis, and the z-axis is within the allowable range by the determination unit 407, and the difference regarding the x-axis, the y-axis, and the z-axis. A combination of landmark candidate areas that minimizes the sum of the two is specified. Next, the determination unit 408 determines the identified combination as a landmark candidate area of the same landmark.

これにより、ロボット１００は、同一のランドマークに関するランドマーク候補領域の組み合わせを用いて、自装置の位置を特定することができる。決定されたデータは、例えば、図２に示した記憶装置２０２に記憶される。決定部４０８は、具体的には、例えば、図２に示した記憶装置２０２に記憶されたプログラムをプロセッサ２０１に実行させることにより、その機能を実現する。 As a result, the robot 100 can specify the position of its own device using a combination of landmark candidate areas related to the same landmark. The determined data is stored, for example, in the storage device 202 shown in FIG. Specifically, for example, the determination unit 408 realizes its function by causing the processor 201 to execute a program stored in the storage device 202 illustrated in FIG. 2.

ここでは、ロボット１００は、複数の組み合わせの中から、同一のランドマークに関するランドマーク候補領域の組み合わせを一つ決定したが、これに限らない。ロボット１００は、例えば、ランドマーク候補領域の組み合わせの一つ一つに対して、同一のランドマークに関するランドマーク候補領域の組み合わせか否かを判断してもよい。 Here, the robot 100 determines one combination of landmark candidate areas related to the same landmark from among a plurality of combinations, but the present invention is not limited to this. For example, the robot 100 may determine whether or not each combination of landmark candidate areas is a combination of landmark candidate areas related to the same landmark.

以降では、ロボット１００が、ランドマーク候補領域Ｒ１とランドマーク候補領域Ｌ１との組み合わせに対して、同一のランドマークに関するランドマーク候補領域の組み合わせか否かを判断する場合を例に挙げる。 Hereinafter, a case where the robot 100 determines whether or not the combination of the landmark candidate area R1 and the landmark candidate area L1 is a combination of landmark candidate areas related to the same landmark will be described as an example.

この場合、取得部４０４は、第１の撮像部４０１に撮像された第１の被写体の画像と、第２の撮像部４０２に撮像された第２の被写体の画像と、の組み合わせを、同一被写体の画像の組み合わせとした場合における同一被写体の第１の時点での位置を取得する。また、取得部４０４は、当該組み合わせを、同一被写体の画像の組み合わせとした場合における同一被写体の第２の時点での位置を取得する。 In this case, the acquisition unit 404 uses a combination of the first subject image captured by the first imaging unit 401 and the second subject image captured by the second imaging unit 402 as the same subject. The position at the first time point of the same subject in the case of the combination of images is acquired. The acquisition unit 404 acquires the position of the same subject at the second time point when the combination is a combination of images of the same subject.

この場合、算出部４０６は、取得部４０４によって取得された同一被写体の位置の第１の時点から第２の時点までの変化量を算出する。算出部４０６は、具体的には、例えば、位置の変化量ｄｐを、上記式（１）により算出する。 In this case, the calculation unit 406 calculates the amount of change from the first time point to the second time point of the same subject position acquired by the acquisition unit 404. Specifically, the calculation unit 406 calculates, for example, the position change amount dp by the above equation (1).

この場合、判断部４０７は、算出部４０６によって算出された変化量と、検出部４０５によって検出された変化量と、の差分が許容範囲内であるか否かを判断する。判断部４０７は、具体的には、例えば、ｘ座標軸に関する差分ｄｘ₀＋ｘ_R1 ^L1（ｔ２）−ｘ_R1 ^L1（ｔ１）が許容範囲内であるか否かを判断する。また、判断部４０７は、ｙ座標軸に関する差分ｄｙ₀＋ｙ_R1 ^L1（ｔ２）−ｙ_R1 ^L1（ｔ１）が許容範囲内であるか否かを判断する。また、判断部４０７は、ｚ座標軸に関する差分ｚ_R1 ^L1（ｔ２）−ｚ_R1 ^L1（ｔ１）が許容範囲内であるか否かを判断する。 In this case, the determination unit 407 determines whether or not the difference between the change amount calculated by the calculation unit 406 and the change amount detected by the detection unit 405 is within an allowable range. Specifically, the determination unit 407 determines, for example, whether or not the difference dx ₀ + x _R1 ^L1 (t2) −x _R1 ^L1 (t1) regarding the x coordinate axis is within an allowable range. In addition, the determination unit 407 determines whether or not the difference dy ₀ + y _R1 ^L1 (t2) −y _R1 ^L1 (t1) regarding the y coordinate axis is within an allowable range. In addition, the determination unit 407 determines whether or not the difference z _R1 ^L1 (t2) −z _R1 ^L1 (t1) regarding the z coordinate axis is within an allowable range.

この場合、決定部４０８は、判断部４０７によって差分が許容範囲内であると判断された場合に、第１および第２の被写体の画像の組み合わせを、同一被写体の画像の組み合わせに決定する。決定部４０８は、具体的には、例えば、判断部４０７によってｘ軸、ｙ軸、およびｚ軸に関する差分が許容範囲内であると判断された場合、ランドマーク候補領域Ｒ１とランドマーク候補領域Ｌ１とを同一のランドマークのランドマーク候補領域に決定する。 In this case, when the determination unit 407 determines that the difference is within the allowable range, the determination unit 408 determines the combination of the first and second subject images as a combination of the same subject images. Specifically, for example, when the determination unit 407 determines that the difference regarding the x axis, the y axis, and the z axis is within the allowable range, the determination unit 408 determines the landmark candidate region R1 and the landmark candidate region L1. Are determined as landmark candidate areas of the same landmark.

これにより、ロボット１００は、複数のランドマーク候補領域の組み合わせの中から、同一のランドマークに関するランドマーク候補領域を決定することができる。そのため、ロボット１００は、決定以降は、ランドマークの位置の特定に際し、同一のランドマークに関するランドマーク候補領域の組み合わせを用いるとともに、異なるランドマークに関するランドマーク候補領域の組み合わせを用いない。 Thereby, the robot 100 can determine landmark candidate areas related to the same landmark from among a plurality of landmark candidate area combinations. Therefore, after the determination, the robot 100 uses the combination of landmark candidate areas related to the same landmark and does not use the combination of landmark candidate areas related to different landmarks when specifying the position of the landmark.

従って、ロボット１００は、ランドマークの位置を誤って特定することを抑制し、ランドマークの位置の特定精度を向上させることができる。結果として、ロボット１００は、予め保持しておいた地図データが示す実際のランドマークの位置と、正しく特定されたランドマークの位置と、を対応付けることができ、自己位置の特定精度を向上させることができる。そして、ロボット１００は、特定された自己位置を参照して、目的地に到着したり、障害物を回避したりすることができる。 Therefore, the robot 100 can suppress erroneously specifying the position of the landmark and improve the accuracy of specifying the position of the landmark. As a result, the robot 100 can associate the position of the actual landmark indicated by the map data stored in advance with the position of the landmark that has been correctly specified, thereby improving the accuracy of specifying the self position. Can do. Then, the robot 100 can arrive at the destination or avoid an obstacle with reference to the identified self-position.

＜機能例２＞
次に、ランドマークの第１の時点から第２の時点までの移動量を用いて、複数のランドマーク候補領域の組み合わせの中から、同一のランドマークに関するランドマーク候補領域の組み合わせを決定する機能例２について説明する。 <Function example 2>
Next, a function for determining a combination of landmark candidate areas related to the same landmark from among a plurality of landmark candidate area combinations using a movement amount of the landmark from the first time point to the second time point. Example 2 will be described.

ここで、機能例２における第１の撮像部４０１と第２の撮像部４０２と特定部４０３と取得部４０４と検出部４０５との機能は、各々、機能例１における機能と同様のため、ここでは説明を省略する。 Here, the functions of the first imaging unit 401, the second imaging unit 402, the specifying unit 403, the acquiring unit 404, and the detecting unit 405 in the function example 2 are the same as the functions in the function example 1, respectively. Then, explanation is omitted.

算出部４０６は、各々の組み合わせについて、第１の時点での位置および第２の時点での位置と、自装置の位置の変化量と、を用いて、第１の時点から第２の時点までの同一被写体の移動量を算出する。 For each combination, the calculation unit 406 uses the position at the first time point, the position at the second time point, and the amount of change in the position of the own device, from the first time point to the second time point. The amount of movement of the same subject is calculated.

算出部４０６は、具体的には、例えば、移動ベクトルｄｐ_R1 ^L1を、下記式（２）により算出する。 Specifically, for example, the calculation unit 406 calculates the movement vector dp _R1 ^L1 by the following equation (2).

ｄｐ_R1 ^L1＝（ｄｘ₀＋ｘ_R1 ^L1（ｔ２）−ｘ_R1 ^L1（ｔ１）、ｄｙ₀＋ｙ_R1 ^L1（ｔ２）−ｙ_R1 ^L1（ｔ１）、ｚ_R1 ^L1（ｔ２）−ｚ_R1 ^L1（ｔ１））・・・（２） dp _R1 ^L1 = (dx ₀ + x _R1 ^L1 (t2) −x _R1 ^L1 (t1), dy ₀ + y _R1 ^L1 (t2) −y _R1 ^L1 (t1), z _R1 ^L1 (t2) −z _R1 ^L1 (t1) ) ... (2)

次に、算出部４０６は、移動ベクトルｄｐ_R1 ^L1の大きさを、移動量として算出する。 Next, the calculation unit 406 calculates the magnitude of the movement vector dp _R1 ^L1 as the movement amount.

判断部４０７は、各々の組み合わせについて、算出部４０６によって算出された移動量が閾値以下であるか否かを判断する。ここで、閾値は、例えば、「０」である。 The determination unit 407 determines, for each combination, whether or not the movement amount calculated by the calculation unit 406 is less than or equal to a threshold value. Here, the threshold value is “0”, for example.

決定部４０８は、複数の組み合わせの中で、判断部４０７によって移動量が閾値以下であると判断され、かつ、移動量が最小になる組み合わせを、同一被写体の画像の組み合わせに決定する。 The determination unit 408 determines, among the plurality of combinations, a combination that determines that the movement amount is equal to or less than the threshold by the determination unit 407 and that minimizes the movement amount, as a combination of images of the same subject.

また、検出部４０５は、機能例２では、第１の時点から第２の時点までの第１の撮像部４０１の撮像方向の変化量、および第２の撮像部４０２の撮像方向の変化量を検出してもよい。検出部４０５は、具体的には、例えば、自装置のオドメトリとして、ジャイロセンサにより自装置の回転角度を測定して、ステレオカメラの撮像方向の変化量ｄθ₀を検出する。 Further, in the second function example, the detection unit 405 calculates the amount of change in the imaging direction of the first imaging unit 401 and the amount of change in the imaging direction of the second imaging unit 402 from the first time point to the second time point. It may be detected. Specifically, the detection unit 405 detects the amount of change dθ ₀ in the imaging direction of the stereo camera by measuring the rotation angle of the own device using a gyro sensor, for example, as odometry of the own device.

この場合、算出部４０６は、同一被写体の第１および第２の時点での位置と、自装置の位置の変化量と、第１および第２の撮像部４０１，４０２の撮像方向の変化量と、を用いて、第１の時点から第２の時点までの同一被写体の移動量を算出してもよい。そして、算出部４０６は、各々の組み合わせについて、第１の時点から第２の時点までの同一被写体の移動量を算出する。 In this case, the calculation unit 406 calculates the position of the same subject at the first and second time points, the amount of change in the position of the own device, and the amount of change in the imaging direction of the first and second imaging units 401 and 402. , The amount of movement of the same subject from the first time point to the second time point may be calculated. Then, the calculation unit 406 calculates the movement amount of the same subject from the first time point to the second time point for each combination.

算出部４０６は、具体的には、例えば、移動ベクトルｄｐ_R1 ^L1を、下記式（３）により算出する。 Specifically, the calculation unit 406 calculates, for example, the movement vector dp _R1 ^L1 by the following equation (3).

ｄｐ_R1 ^L1＝（ｄｘ₀＋ｘ_R1 ^L1（ｔ２）ｃｏｓ（ｄθ₀）−ｙ_R1 ^L1（ｔ２）ｓｉｎ（ｄθ₀）−ｘ_R1 ^L1（ｔ１）、ｄｙ₀＋ｘ_R1 ^L1（ｔ２）ｓｉｎ（ｄθ₀）＋ｙ_R1 ^L1（ｔ２）ｃｏｓ（ｄθ₀）−ｙ_R1 ^L1（ｔ１）、ｚ_R1 ^L1（ｔ２）−ｚ_R1 ^L1（ｔ１））・・・（３） dp _R1 ^L1 = (dx ₀ + x _R1 ^L1 (t2) cos (dθ ₀ ) −y _R1 ^L1 (t2) sin (dθ ₀ ) −x _R1 ^L1 (t1), dy ₀ + x _R1 ^L1 (t2) sin (dθ ₀ ) + Y _R1 ^L1 (t2) cos (dθ ₀ ) −y _R1 ^L1 (t1), z _R1 ^L1 (t2) −z _R1 ^L1 (t1)) (3)

次に、算出部４０６は、移動ベクトルｄｐ_R1 ^L1の大きさを、移動量として算出する。この場合、判断部４０７は、各々の組み合わせについて、算出部４０６によって算出された移動量が閾値以下であるか否かを判断する。閾値は、例えば、「０」である。 Next, the calculation unit 406 calculates the magnitude of the movement vector dp _R1 ^L1 as the movement amount. In this case, the determination unit 407 determines, for each combination, whether or not the movement amount calculated by the calculation unit 406 is equal to or less than a threshold value. The threshold is “0”, for example.

この場合、決定部４０８は、複数の組み合わせの中で、判断部４０７によって閾値以下であると判断され、かつ、移動量が最小になる組み合わせを、同一被写体の画像の組み合わせに決定する。 In this case, the determination unit 408 determines, as a combination of images of the same subject, a combination that is determined to be equal to or less than the threshold by the determination unit 407 and that has a minimum movement amount among a plurality of combinations.

この場合、算出部４０６は、第１の時点での位置および第２の時点での位置と、自装置の位置の変化量と、を用いて、第１の時点から第２の時点までの同一被写体の移動量を算出する。算出部４０６は、具体的には、例えば、移動ベクトルｄｐ_R1 ^L1を、上記式（２）により算出する。次に、算出部４０６は、移動ベクトルｄｐ_R1 ^L1の大きさを、移動量として算出する。この場合、判断部４０７は、算出部４０６によって算出された移動量が閾値以下であるか否かを判断する。ここで、閾値は、例えば、「０」である。 In this case, the calculation unit 406 uses the position at the first time point, the position at the second time point, and the amount of change in the position of the own device to perform the same operation from the first time point to the second time point. The amount of movement of the subject is calculated. Specifically, the calculation unit 406 calculates, for example, the movement vector dp _R1 ^L1 by the above equation (2). Next, the calculation unit 406 calculates the magnitude of the movement vector dp _R1 ^L1 as the movement amount. In this case, the determination unit 407 determines whether or not the movement amount calculated by the calculation unit 406 is less than or equal to a threshold value. Here, the threshold value is “0”, for example.

この場合、決定部４０８は、具体的には、例えば、判断部４０７によって移動量が閾値以下であると判断された場合、ランドマーク候補領域Ｒ１とランドマーク候補領域Ｌ１とを同一のランドマークのランドマーク候補領域に決定する。 In this case, for example, when the determination unit 407 determines that the movement amount is equal to or less than the threshold, the determination unit 408 sets the landmark candidate region R1 and the landmark candidate region L1 to the same landmark. The landmark candidate area is determined.

また、検出部４０５は、機能例２では、第１の時点から第２の時点までの第１の撮像部４０１の撮像方向の変化量、および第２の撮像部４０２の撮像方向の変化量を検出してもよい。検出部４０５は、具体的には、例えば、自装置のオドメトリとして、ジャイロセンサにより自装置の回転角度を測定して、自装置の回転に伴うステレオカメラの撮像方向の変化量ｄθ₀を検出する。 Further, in the second function example, the detection unit 405 calculates the amount of change in the imaging direction of the first imaging unit 401 and the amount of change in the imaging direction of the second imaging unit 402 from the first time point to the second time point. It may be detected. Specifically, for example, as a odometry of the own device, the detection unit 405 measures the rotation angle of the own device using a gyro sensor, and detects a change amount dθ ₀ in the imaging direction of the stereo camera accompanying the rotation of the own device. .

この場合、算出部４０６は、同一被写体の第１および第２の時点での位置と、自装置の位置の変化量と、第１および第２の撮像部４０１，４０２の撮像方向の変化量と、を用いて、第１の時点から第２の時点までの同一被写体の移動量を算出してもよい。 In this case, the calculation unit 406 calculates the position of the same subject at the first and second time points, the amount of change in the position of the own device, and the amount of change in the imaging direction of the first and second imaging units 401 and 402. , The amount of movement of the same subject from the first time point to the second time point may be calculated.

算出部４０６は、具体的には、例えば、移動ベクトルｄｐ_R1 ^L1を、上記式（３）により算出する。次に、算出部４０６は、移動ベクトルｄｐ_R1 ^L1の大きさを、移動量として算出する。この場合、判断部４０７は、算出部４０６によって算出された移動量が閾値以下であるか否かを判断する。ここで、閾値は、例えば、「０」である。 Specifically, the calculation unit 406 calculates, for example, the movement vector dp _R1 ^L1 by the above equation (3). Next, the calculation unit 406 calculates the magnitude of the movement vector dp _R1 ^L1 as the movement amount. In this case, the determination unit 407 determines whether or not the movement amount calculated by the calculation unit 406 is less than or equal to a threshold value. Here, the threshold value is “0”, for example.

＜機能例３＞
次に、ランドマークの移動量と、ランドマークの位置の誤差範囲と、を用いて、複数のランドマーク候補領域の組み合わせの中から、同一のランドマークに関するランドマーク候補領域の組み合わせを決定する機能例３について説明する。 <Function example 3>
Next, a function for determining a combination of landmark candidate areas related to the same landmark from among a plurality of combinations of landmark candidate areas by using the amount of movement of the landmark and an error range of the landmark position. Example 3 will be described.

ここで、機能例３における第１の撮像部４０１と第２の撮像部４０２と特定部４０３と取得部４０４と検出部４０５と算出部４０６との機能は、各々、機能例１および機能例２における機能と同様のため、ここでは説明を省略する。 Here, the functions of the first imaging unit 401, the second imaging unit 402, the specifying unit 403, the acquiring unit 404, the detecting unit 405, and the calculating unit 406 in the functional example 3 are the functional example 1 and the functional example 2, respectively. Since this is the same as the function in FIG.

算出部４０６は、機能例３では、各々の組み合わせについて、第１および第２の撮像部４０１，４０２に固有の誤差定数を用いて、第１の時点での位置に関する第１の誤差範囲および第２の時点での位置に関する第２の誤差範囲を算出する。そして、算出部４０６は、算出された第１および第２の誤差範囲を用いて、移動量の尤度を算出する。 In the function example 3, the calculation unit 406 uses, for each combination, an error constant specific to the first and second imaging units 401 and 402, and the first error range and the first error position regarding the position at the first time point. A second error range related to the position at time 2 is calculated. Then, the calculation unit 406 calculates the likelihood of the movement amount using the calculated first and second error ranges.

ここで、誤差定数とは、ステレオカメラに固有の定数であって、ランドマークの位置に関する誤差範囲Ｅを算出するための関数における係数である。誤差範囲Ｅは、下記式（４）の関数により算出される。 Here, the error constant is a constant unique to the stereo camera, and is a coefficient in a function for calculating an error range E regarding the position of the landmark. The error range E is calculated by the function of the following formula (4).

Ｅ＝（δ／ｂｆ）ｚ＾２・・・（４） E = (δ / bf) z ^ 2 (4)

誤差定数は、例えば、上記式（４）における「δ／ｂｆ」である。ここで、δは、画素ピッチである。ｂは、ステレオカメラの右目カメラＲと左目カメラＬとの距離である。ｆは、ステレオカメラの焦点距離である。ｚは、ステレオカメラからランドマークまでの奥行きの距離である。 The error constant is, for example, “δ / bf” in the above equation (4). Here, δ is a pixel pitch. b is the distance between the right-eye camera R and the left-eye camera L of the stereo camera. f is the focal length of the stereo camera. z is the distance of the depth from the stereo camera to the landmark.

算出部４０６は、具体的には、例えば、時点「ｔ１」でのランドマークの位置に関する誤差範囲Ｅ₁を算出する。誤差範囲Ｅ₁は、上記式（４）により算出される。また、算出部４０６は、時点「ｔ２」でのランドマークの位置に関する誤差範囲Ｅ₂を算出する。誤差範囲Ｅ₂は、上記式（４）により算出される。 Specifically, the calculation unit 406 calculates, for example, an error range E ₁ related to the landmark position at the time “t1”. The error range E ₁ is calculated by the above equation (4). Further, the calculation unit 406 calculates an error range E ₂ regarding the landmark position at the time “t2”. The error range E ₂ is calculated by the above equation (4).

そして、算出部４０６は、誤差範囲の和Ｅ₃を算出する。誤差範囲の和Ｅ₃は、下記式（５）により算出される。 Then, the calculation unit 406 calculates a sum E _{3 of} error ranges. The error range sum E ₃ is calculated by the following equation (5).

Ｅ₃＝Ｅ₂＋Ｅ₁・・・（５） E ₃ = E ₂ + E ₁ (5)

次に、算出部４０６は、誤差範囲の和を用いて、ランドマークの移動量Ｖの尤度Ｐを算出する。尤度Ｐは、下記式（６）により算出される。 Next, the calculation unit 406 calculates the likelihood P of the landmark movement amount V using the sum of the error ranges. The likelihood P is calculated by the following equation (6).

Ｐ＝（１／√２πＥ₃＾２）ｅｘｐ（−Ｖ＾２／２Ｅ₃＾２）・・・（６） P = (1 / √2πE ₃ ^ 2) exp (−V ^ 2 / 2E ₃ ^ 2) (6)

判断部４０７は、各々の組み合わせについて、算出部４０６によって算出された尤度が閾値以上であるか否かを判断する。ここで、閾値は、例えば、「０」である。 The determining unit 407 determines, for each combination, whether the likelihood calculated by the calculating unit 406 is equal to or greater than a threshold value. Here, the threshold value is “0”, for example.

決定部４０８は、具体的には、例えば、判断部４０７によって尤度が閾値以上であると判断され、かつ、尤度が最大になるランドマーク候補領域の組み合わせを、同一のランドマークのランドマーク候補領域に決定する。 Specifically, the determination unit 408 determines, for example, a combination of landmark candidate regions in which the likelihood is determined to be greater than or equal to the threshold by the determination unit 407 and the likelihood is the maximum as landmarks of the same landmark. A candidate area is determined.

以降では、ロボット１００は、ランドマーク候補領域Ｒ１とランドマーク候補領域Ｌ１との組み合わせに対して、同一のランドマークに関するランドマーク候補領域の組み合わせか否かを判断する場合を例に挙げる。 Hereinafter, a case where the robot 100 determines whether or not the combination of the landmark candidate area R1 and the landmark candidate area L1 is a combination of landmark candidate areas related to the same landmark will be described as an example.

この場合、算出部４０６は、第１および第２の撮像部４０１，４０２に固有の誤差定数を用いて、第１の時点での位置に関する第１の誤差範囲および第２の時点での位置に関する第２の誤差範囲を算出する。次に、算出部４０６は、算出された第１および第２の誤差範囲を用いて、移動量の尤度を算出する。 In this case, the calculation unit 406 uses the error constant inherent to the first and second imaging units 401 and 402 to relate to the first error range related to the position at the first time point and the position at the second time point. A second error range is calculated. Next, the calculation unit 406 calculates the likelihood of the movement amount using the calculated first and second error ranges.

算出部４０６は、具体的には、例えば、時点「ｔ１」でのランドマークの位置に関する誤差範囲Ｅ₁および時点「ｔ２」でのランドマークの位置に関する誤差範囲Ｅ₂を算出し、誤差範囲の和Ｅ₃を算出し、尤度Ｐを算出する。誤差範囲Ｅ₁、Ｅ₂は上記式（４）により、誤差範囲の和Ｅ₃は上記式（５）により、尤度Ｐは上記式（６）により、各々、算出される。 Specifically, for example, the calculation unit 406 calculates an error range E ₁ related to the landmark position at the time “t1” and an error range E ₂ related to the landmark position at the time “t2”. The sum E ₃ is calculated, and the likelihood P is calculated. The error ranges E ₁ and E ₂ are calculated from the above equation (4), the error range sum E ₃ is calculated from the above equation (5), and the likelihood P is calculated from the above equation (6).

この場合、判断部４０７は、算出部４０６によって算出された尤度が閾値以上であるか否かを判断する。ここで、閾値は、例えば、「０」である。 In this case, the determination unit 407 determines whether the likelihood calculated by the calculation unit 406 is greater than or equal to a threshold value. Here, the threshold value is “0”, for example.

この場合、決定部４０８は、具体的には、例えば、判断部４０７によって移動量が閾値以上であると判断された場合、ランドマーク候補領域Ｒ１とランドマーク候補領域Ｌ１とを同一のランドマークのランドマーク候補領域に決定する。 In this case, for example, when the determination unit 407 determines that the movement amount is equal to or greater than the threshold, the determination unit 408 sets the landmark candidate region R1 and the landmark candidate region L1 to the same landmark. The landmark candidate area is determined.

これにより、ロボット１００は、ランドマークの位置の誤差範囲を参照して、複数のランドマーク候補領域の組み合わせの中から、同一のランドマークに関するランドマーク候補領域を決定することができる。そのため、ロボット１００は、ランドマークの位置の誤差が影響して、偶然、移動量が閾値以下になった組み合わせがあったり、移動量が閾値より大きくなった組み合わせがあったりする場合であっても、同一のランドマークに関するランドマーク候補領域を決定することができる。 Thereby, the robot 100 can determine the landmark candidate area related to the same landmark from the combination of the plurality of landmark candidate areas with reference to the error range of the landmark position. Therefore, even if there is a combination in which the movement amount is less than or equal to the threshold or a combination in which the movement amount is greater than the threshold, the robot 100 may be affected by an error in the landmark position. Landmark candidate areas related to the same landmark can be determined.

そして、ロボット１００は、決定以降は、同一のランドマークに関するランドマーク候補領域の組み合わせを参照して、ランドマークの位置を特定することができ、ランドマークの位置の特定精度を向上させることができる。従って、ロボット１００は、特定したランドマークの位置と、予め保持しておいた地図データと、を参照して、自装置の位置を特定することができ、自装置の位置の特定精度を向上させることができる。結果として、ロボット１００は、目的地に到着することができたり、障害物を回避したりすることができる。 Then, after the determination, the robot 100 can identify the position of the landmark by referring to the combination of landmark candidate areas relating to the same landmark, and can improve the accuracy of identifying the position of the landmark. . Therefore, the robot 100 can specify the position of the own device with reference to the position of the specified landmark and the map data stored in advance, and improve the accuracy of specifying the position of the own device. be able to. As a result, the robot 100 can arrive at the destination or can avoid an obstacle.

（実施例１）
次に、実施例１について説明する。実施例１では、ランドマークの移動量を用いて同一のランドマークに関するランドマーク候補領域の組み合わせを決定する。また、実施例１は、上述した機能例２にかかる実施例である。 Example 1
Next, Example 1 will be described. In the first embodiment, a combination of landmark candidate areas related to the same landmark is determined using the movement amount of the landmark. In addition, the first embodiment is an embodiment according to the functional example 2 described above.

（実施例１にかかるロボット１００による位置特定）
次に、図５〜図８を用いて、実施例１にかかるロボット１００による位置特定の具体例について説明する。 (Positioning by the robot 100 according to the first embodiment)
Next, a specific example of position specification by the robot 100 according to the first embodiment will be described with reference to FIGS.

図５〜図８は、実施例１にかかるロボット１００による位置特定の具体例を示す説明図である。図５において、（１１）ロボット１００は、時点「ｔ１」において、右目カメラＲにより時点「ｔ１」での右目画像ＲＶ（ｔ１）を撮像する。（１２）また、ロボット１００は、時点「ｔ１」において、左目カメラＬにより時点「ｔ１」での左目画像ＬＶ（ｔ１）を撮像する。 FIGS. 5-8 is explanatory drawing which shows the specific example of the position specification by the robot 100 concerning Example 1. FIGS. 5, (11) the robot 100 captures the right eye image RV (t1) at the time “t1” by the right eye camera R at the time “t1”. (12) Further, the robot 100 captures the left eye image LV (t1) at the time “t1” by the left eye camera L at the time “t1”.

（１３）また、ロボット１００は、時点「ｔ１」において、自装置のｘ軸方向への移動距離「ｘ₀（ｔ１）」、自装置のｙ軸方向への移動距離「ｙ₀（ｔ１）」、撮像方向の回転角度「θ₀（ｔ１）」を取得する。以降、ｘ軸方向への移動距離「ｘ₀（ｔ１）」、ｙ軸方向への移動距離「ｙ₀（ｔ１）」、撮像方向の回転角度「θ₀（ｔ１）」を、まとめて、オドメトリ（ｘ₀（ｔ１）、ｙ₀（ｔ１）、θ₀（ｔ１））と称す。次に、ロボット１００は、図６の処理に移行する。 (13) Further, at the time “t1”, the robot 100 moves the movement distance “x ₀ (t1)” of the own apparatus in the x-axis direction and the movement distance “y ₀ (t1)” of the own apparatus in the y-axis direction. The rotation angle “θ ₀ (t1)” in the imaging direction is acquired. Thereafter, the movement distance “x ₀ (t1)” in the x-axis direction, the movement distance “y ₀ (t1)” in the y-axis direction, and the rotation angle “θ ₀ (t1)” in the imaging direction are collectively collected by odometry. (X ₀ (t1), y ₀ (t1), θ ₀ (t1)). Next, the robot 100 proceeds to the process of FIG.

図６において、（１４）ロボット１００は、時点「ｔ１」における右目画像ＲＶ（ｔ１）から、ランドマーク候補領域を検出する。ロボット１００は、具体的には、例えば、ＳＩＦＴやＳＵＲＦなどの特徴点を検出するアルゴリズムを使用して、ランドマークのパターンを有する領域を検出する。図６の例では、ロボット１００は、時点「ｔ１」における右目画像ＲＶ（ｔ１）から、ランドマーク候補領域Ｒ１（ｔ１）〜Ｒ４（ｔ１）を検出する。 6, (14) the robot 100 detects a landmark candidate region from the right eye image RV (t1) at the time “t1”. Specifically, the robot 100 detects an area having a landmark pattern, for example, using an algorithm for detecting a feature point such as SIFT or SURF. In the example of FIG. 6, the robot 100 detects landmark candidate regions R1 (t1) to R4 (t1) from the right-eye image RV (t1) at the time “t1”.

（１５）また、ロボット１００は、（１４）と同様にして、時点「ｔ１」における左目画像ＬＶ（ｔ１）から、ランドマーク候補領域を検出する。図６の例では、ロボット１００は、時点「ｔ１」における左目画像ＬＶ（ｔ１）から、ランドマーク候補領域Ｌ１（ｔ１）〜Ｌ３（ｔ１）を検出する。 (15) Also, the robot 100 detects a landmark candidate region from the left-eye image LV (t1) at the time “t1” in the same manner as (14). In the example of FIG. 6, the robot 100 detects landmark candidate regions L1 (t1) to L3 (t1) from the left-eye image LV (t1) at the time “t1”.

（１６）次に、ロボット１００は、時点「ｔ１」でのランドマーク候補領域Ｒ１（ｔ１）〜Ｒ４（ｔ１）の各々に、時点「ｔ１」でのランドマーク候補領域Ｌ１（ｔ１）〜Ｌ３（ｔ１）の中で、類似度が閾値以上になるランドマーク候補領域を組み合わせる。そして、ロボット１００は、各々の組み合わせを同一のランドマークに関するランドマーク候補領域の組み合わせとした場合の当該ランドマークの時点「ｔ１」での位置を特定する。 (16) Next, the robot 100 adds landmark candidate regions L1 (t1) to L3 () at the time “t1” to the landmark candidate regions R1 (t1) to R4 (t1) at the time “t1”. In t1), the landmark candidate areas whose similarity is equal to or greater than the threshold are combined. Then, the robot 100 specifies the position of the landmark at the time “t1” when each combination is a combination of landmark candidate areas related to the same landmark.

図６の例では、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）と、ランドマーク候補領域Ｌ１（ｔ１）と、を組み合わせた場合のランドマークの時点「ｔ１」での位置として、ロボット１００の位置を原点とした３次元相対座標系における座標値「ｐ_R1 ^L1（ｔ１）＝（ｘ_R1 ^L1（ｔ１）、ｙ_R1 ^L1（ｔ１）、ｚ_R1 ^L1（ｔ１））」を特定する。 In the example of FIG. 6, the robot 100 uses the position of the landmark 100 at the time “t1” when the landmark candidate area R1 (t1) and the landmark candidate area L1 (t1) are combined. A coordinate value “p _R1 ^L1 (t1) = (x _R1 ^L1 (t1), y _R1 ^L1 (t1), z _R1 ^L1 (t1))” in the three-dimensional relative coordinate system with the position as the origin is specified.

ロボット１００は、より具体的には、例えば、右目画像ＲＶ（ｔ１）内から検出したランドマーク候補領域Ｒ１（ｔ１）と、左目画像ＬＶ（ｔ１）内から検出したランドマーク候補領域Ｌ１（ｔ１）と、の視差を特定する。そして、ロボット１００は、ステレオカメラの基線長と、特定した視差と、を用いて、三角測量によりランドマークの相対座標値を特定する。 More specifically, for example, the robot 100 detects a landmark candidate region R1 (t1) detected from the right eye image RV (t1) and a landmark candidate region L1 (t1) detected from the left eye image LV (t1). The parallax is specified. Then, the robot 100 specifies the relative coordinate value of the landmark by triangulation using the baseline length of the stereo camera and the specified parallax.

次に、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）の識別子「Ｒ１」と、ランドマーク候補領域Ｌ１（ｔ１）の識別子「Ｌ１」と、時点「ｔ１」での相対座標値「ｐ_R1 ^L1（ｔ１）」と、を対応付けたレコードを生成する。そして、ロボット１００は、生成したレコードをランドマーク候補リスト３００に追加する。 Next, the robot 100 identifies the identifier “R1” of the landmark candidate region R1 (t1), the identifier “L1” of the landmark candidate region L1 (t1), and the relative coordinate value “p _R1 ^L1 ” at the time “t1”. (T1) ”is associated with the record. Then, the robot 100 adds the generated record to the landmark candidate list 300.

また、ロボット１００は、同様にして、残余の組み合わせについても、ランドマークの時点「ｔ１」での位置を特定する。そして、ロボット１００は、組み合わせたランドマーク候補領域の識別子と、相対座標値と、を対応付けたレコードを生成して、ランドマーク候補リスト３００に追加する。次に、ロボット１００は、図７の処理に移行する。 Similarly, the robot 100 specifies the position of the landmark at the time “t1” for the remaining combinations. Then, the robot 100 generates a record in which the identifier of the combined landmark candidate area and the relative coordinate value are associated with each other, and adds the record to the landmark candidate list 300. Next, the robot 100 proceeds to the process of FIG.

図７において、（１７）ロボット１００は、時点「ｔ１」以降の時点「ｔ２」において、右目カメラＲにより時点「ｔ２」での右目画像ＲＶ（ｔ２）を撮像する。（１８）また、ロボット１００は、時点「ｔ２」において、左目カメラＬにより時点「ｔ２」での左目画像ＬＶ（ｔ２）を撮像する。 7, (17) the robot 100 captures the right eye image RV (t2) at the time “t2” by the right eye camera R at the time “t2” after the time “t1”. (18) In addition, the robot 100 captures the left eye image LV (t2) at the time “t2” by the left eye camera L at the time “t2”.

（１９）また、ロボット１００は、時点「ｔ２」において、自装置のｘ軸方向への移動距離「ｘ₀（ｔ２）」、自装置のｙ軸方向への移動距離「ｙ₀（ｔ２）」、撮像方向の回転角度「θ₀（ｔ２）」を取得する。以降、ｘ軸方向への移動距離「ｘ₀（ｔ２）」、ｙ軸方向への移動距離「ｙ₀（ｔ２）」、回転角度「θ₀（ｔ２）」を、まとめて、オドメトリ（ｘ₀（ｔ２）、ｙ₀（ｔ２）、θ₀（ｔ２））と称す。次に、ロボット１００は、図８の処理に移行する。 (19) Further, at the time “t2”, the robot 100 moves the movement distance “x ₀ (t2)” of the own apparatus in the x-axis direction and the movement distance “y ₀ (t2)” of the own apparatus in the y-axis direction. Then, the rotation angle “θ ₀ (t2)” in the imaging direction is acquired. Thereafter, the movement distance “x ₀ (t2)” in the x-axis direction, the movement distance “y ₀ (t2)” in the y-axis direction, and the rotation angle “θ ₀ (t2)” are collectively expressed as odometry (x ₀ (T2), y ₀ (t2), θ ₀ (t2)). Next, the robot 100 proceeds to the process of FIG.

図８において、（２０）ロボット１００は、時点「ｔ１」における右目画像ＲＶ（ｔ１）と時点「ｔ２」における右目画像ＲＶ（ｔ２）内の相関演算を行う。これにより、ロボット１００は、時点「ｔ２」における右目画像ＲＶ（ｔ２）から、時点「ｔ１」におけるランドマーク候補領域Ｒ１（ｔ１）〜Ｒ４（ｔ１）に各々対応する時点「ｔ２」におけるランドマーク候補領域Ｒ１（ｔ２）〜Ｒ４（ｔ２）を検出する。 In FIG. 8, (20) the robot 100 performs a correlation calculation between the right eye image RV (t1) at the time “t1” and the right eye image RV (t2) at the time “t2”. As a result, the robot 100 determines the landmark candidates at the time “t2” corresponding to the landmark candidate regions R1 (t1) to R4 (t1) at the time “t1” from the right-eye image RV (t2) at the time “t2”. Regions R1 (t2) to R4 (t2) are detected.

（２１）また、ロボット１００は、（２０）と同様にして、時点「ｔ２」における左目画像ＬＶ（ｔ２）から、ランドマーク候補領域Ｌ１（ｔ１）〜Ｌ３（ｔ１）に各々対応するランドマーク候補領域Ｌ１（ｔ２）〜Ｌ３（ｔ２）を検出する。 (21) The robot 100 also performs landmark candidates corresponding to the landmark candidate regions L1 (t1) to L3 (t1) from the left-eye image LV (t2) at the time “t2” in the same manner as (20). Regions L1 (t2) to L3 (t2) are detected.

（２２）次に、ロボット１００は、（１６）における組み合わせに対応させて、時点「ｔ２」でのランドマーク候補領域Ｒ１（ｔ２）〜Ｒ４（ｔ２）の各々に、時点「ｔ２」でのランドマーク候補領域Ｌ１（ｔ２）〜Ｌ３（ｔ２）の各々を組み合わせる。そして、ロボット１００は、各々の組み合わせを同一のランドマークに関するランドマーク候補領域の組み合わせとした場合の当該ランドマークの時点「ｔ２」での位置を特定する。 (22) Next, the robot 100 corresponds to the combination in (16), and each of the landmark candidate regions R1 (t2) to R4 (t2) at time “t2” has a land at time “t2”. Each of the mark candidate regions L1 (t2) to L3 (t2) is combined. Then, the robot 100 specifies the position of the landmark at time “t2” when each combination is a combination of landmark candidate areas related to the same landmark.

図８の例では、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ２）と、ランドマーク候補領域Ｌ１（ｔ２）と、を組み合わせた場合のランドマークの時点「ｔ２」での位置として、ロボット１００の位置を原点とした３次元相対座標系における座標値「ｐ_R1 ^L1（ｔ２）＝（ｘ_R1 ^L1（ｔ２）、ｙ_R1 ^L1（ｔ２）、ｚ_R1 ^L1（ｔ２））」を特定する。 In the example of FIG. 8, the robot 100 uses the position of the robot 100 as the position at the time point “t2” of the landmark when the landmark candidate region R1 (t2) and the landmark candidate region L1 (t2) are combined. A coordinate value “p _R1 ^L1 (t2) = (x _R1 ^L1 (t2), y _R1 ^L1 (t2), z _R1 ^L1 (t2))” in the three-dimensional relative coordinate system with the position as the origin is specified.

次に、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）の識別子「Ｒ１」と、ランドマーク候補領域Ｌ１（ｔ１）の識別子「Ｌ１」と、を対応付けたレコードの現時点の３次元位置情報項目に、相対座標値「ｐ_R1 ^L1（ｔ２）」を対応付ける。 Next, the robot 100 records the current three-dimensional position information item of the record in which the identifier “R1” of the landmark candidate region R1 (t1) and the identifier “L1” of the landmark candidate region L1 (t1) are associated with each other. Is associated with the relative coordinate value “p _R1 ^L1 (t2)”.

また、ロボット１００は、同様にして、残余の組み合わせについても、ランドマークの時点「ｔ２」での位置を特定する。そして、ロボット１００は、残余の組み合わせのランドマーク候補領域の識別子を対応付けたレコードの現時点の３次元位置情報項目に、相対座標値を対応付ける。 Similarly, the robot 100 specifies the position of the landmark at the time “t2” for the remaining combinations. Then, the robot 100 associates the relative coordinate value with the current three-dimensional position information item of the record in which the identifiers of the remaining candidate landmark regions are associated.

次に、ロボット１００は、時点「ｔ１」から時点「ｔ２」の間におけるオドメトリの変化量（ｄｘ₀、ｄｙ₀、ｄθ₀）を算出する。オドメトリの変化量（ｄｘ₀、ｄｙ₀、ｄθ₀）は、下記式（７）により算出される。 Next, the robot 100 calculates an odometry change amount (dx ₀ , dy ₀ , dθ ₀ ) between the time point “t1” and the time point “t2”. The amount of change in odometry (dx ₀ , dy ₀ , dθ ₀ ) is calculated by the following equation (7).

（ｄｘ₀、ｄｙ₀、ｄθ₀）＝（ｘ₀（ｔ１）、ｙ₀（ｔ１）、θ₀（ｔ１））−（ｘ₀（ｔ２）、ｙ₀（ｔ２）、θ₀（ｔ２））・・・（７） (Dx ₀ , dy ₀ , dθ ₀ ) = (x ₀ (t1), y ₀ (t1), θ ₀ (t1)) − (x ₀ (t2), y ₀ (t2), θ ₀ (t2)) ... (7)

そして、ロボット１００は、オドメトリの変化量（ｄｘ₀、ｄｙ₀、ｄθ₀）を用いて、ランドマーク候補領域Ｒ１（ｔ１）と、ランドマーク候補領域Ｌ１（ｔ１）と、を組み合わせた場合のランドマークの移動ベクトルｄｐ_R1 ^L1＝（ｄｘ_R1 ^L1、ｄｙ_R1 ^L1、ｄｚ_R1 ^L1）を算出する。移動ベクトルｄｐ_R1 ^L1は、上記式（３）により算出される。 Then, the robot 100 uses the odometry change amount (dx ₀ , dy ₀ , dθ ₀ ) to combine the landmark candidate region R1 (t1) with the landmark candidate region L1 (t1). The mark movement vector dp _R1 ^L1 = (dx _R1 ^L1 , dy _R1 ^L1 , dz _R1 ^L1 ) is calculated. The movement vector dp _R1 ^L1 is calculated by the above equation (3).

次に、ロボット１００は、ランドマークの移動量として、移動ベクトルの大きさを算出する。また、ロボット１００は、同様にして、残余の組み合わせについても、ランドマークの移動量を算出する。次に、ロボット１００は、算出した移動量のうち、最も小さい移動量と、２番目に小さい移動量と、を特定する。 Next, the robot 100 calculates the magnitude of the movement vector as the movement amount of the landmark. Similarly, the robot 100 calculates the movement amount of the landmark for the remaining combinations. Next, the robot 100 specifies the smallest movement amount and the second smallest movement amount among the calculated movement amounts.

そして、ロボット１００は、最も小さい移動量が閾値以下であるか否かを判断する。ロボット１００は、閾値より大きい場合は、各々の組み合わせは同一のランドマークに関するランドマーク候補領域の組み合わせでないと判断する。 Then, the robot 100 determines whether or not the smallest movement amount is equal to or less than a threshold value. If the robot 100 is larger than the threshold value, the robot 100 determines that each combination is not a combination of landmark candidate areas related to the same landmark.

また、ロボット１００は、閾値以下である場合は、最も小さい移動量と、２番目に小さい移動量と、の差分を算出し、差分が閾値以上であれば最も小さい移動量となった組み合わせを、同一のランドマークに関するランドマーク候補領域の組み合わせに決定する。 If the robot 100 is equal to or smaller than the threshold, the robot 100 calculates the difference between the smallest moving amount and the second smallest moving amount. If the difference is equal to or larger than the threshold, the combination having the smallest moving amount is calculated. A combination of landmark candidate areas relating to the same landmark is determined.

また、ロボット１００は、差分が閾値より小さい場合は、図５〜図８と同様にして、時点「ｔ２」以降の時点において、ランドマークの移動量をさらに特定して、同一のランドマークに関するランドマーク候補領域の組み合わせを決定する。以降、ロボット１００は、決定したランドマーク候補領域の組み合わせから特定されるランドマークの相対座標値と、地図データと、を参照して、自己位置を特定することができる。 If the difference is smaller than the threshold value, the robot 100 further specifies the movement amount of the landmark at the time after the time “t2” in the same manner as in FIGS. A combination of mark candidate areas is determined. Thereafter, the robot 100 can identify its own position with reference to the relative coordinate value of the landmark identified from the determined combination of landmark candidate areas and the map data.

（実施例１にかかるロボット１００による位置特定処理の処理手順）
次に、図９を用いて、実施例１にかかるロボット１００による位置特定処理の詳細な処理手順について説明する。 (Processing procedure of position specifying process by the robot 100 according to the first embodiment)
Next, a detailed processing procedure of the position specifying process by the robot 100 according to the first embodiment will be described with reference to FIG.

図９は、ロボット１００による位置特定処理の詳細な処理手順を示すフローチャートである。図９において、ロボット１００は、右目カメラＲから右目画像ＲＶを取得し、左目カメラＬから左目画像ＬＶを取得する（ステップＳ９０１）。次に、ロボット１００は、右目画像ＲＶ内のランドマーク候補領域を検出し、左目画像ＬＶ内のランドマーク候補領域を検出する（ステップＳ９０２）。 FIG. 9 is a flowchart showing a detailed processing procedure of the position specifying process by the robot 100. In FIG. 9, the robot 100 acquires the right eye image RV from the right eye camera R and acquires the left eye image LV from the left eye camera L (step S901). Next, the robot 100 detects a landmark candidate area in the right eye image RV and detects a landmark candidate area in the left eye image LV (step S902).

そして、ロボット１００は、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、の組み合わせごとに、ランドマークの位置情報を特定する（ステップＳ９０３）。ここで、特定されたランドマークの位置情報は、ランドマーク候補リスト３００の登録時点の３次元位置情報項目に記憶される。 Then, the robot 100 specifies landmark position information for each combination of the landmark candidate area in the right eye image RV and the landmark candidate area in the left eye image LV (step S903). Here, the position information of the specified landmark is stored in the three-dimensional position information item at the time of registration in the landmark candidate list 300.

次に、ロボット１００は、右目カメラＲから右目画像ＲＶを取得し、左目カメラＬから左目画像ＬＶを取得する（ステップＳ９０４）。そして、ロボット１００は、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、の組み合わせごとに、ランドマークの位置情報を特定する（ステップＳ９０５）。ここで、特定されたランドマークの位置情報は、ランドマーク候補リスト３００の現時点の３次元位置情報項目に記憶される。 Next, the robot 100 acquires the right eye image RV from the right eye camera R, and acquires the left eye image LV from the left eye camera L (step S904). Then, the robot 100 specifies landmark position information for each combination of the landmark candidate area in the right-eye image RV and the landmark candidate area in the left-eye image LV (step S905). Here, the position information of the specified landmark is stored in the current three-dimensional position information item of the landmark candidate list 300.

次に、ロボット１００は、ランドマーク候補リスト３００のランドマーク候補領域の組み合わせごとに、ランドマークの移動量を算出する（ステップＳ９０６）。そして、ロボット１００は、自装置の移動量を検出する（ステップＳ９０７）。 Next, the robot 100 calculates the movement amount of the landmark for each combination of landmark candidate areas in the landmark candidate list 300 (step S906). Then, the robot 100 detects the movement amount of its own device (step S907).

次に、ロボット１００は、ランドマークの移動量と、自装置の移動量と、を参照して、同一のランドマークに関するランドマーク候補領域の組み合わせを決定する（ステップＳ９０８）。そして、ロボット１００は、決定されたランドマーク候補領域の組み合わせと、地図データと、を参照して自装置の位置を特定する（ステップＳ９０９）。 Next, the robot 100 refers to the amount of movement of the landmark and the amount of movement of its own device, and determines a combination of landmark candidate areas related to the same landmark (step S908). Then, the robot 100 specifies the position of the own device with reference to the determined combination of landmark candidate areas and the map data (step S909).

次に、ロボット１００は、ステップＳ９０４の処理に戻る。これにより、ロボット１００は、同一のランドマークに関するランドマーク候補領域の組み合わせを特定することができる。そのため、ロボット１００は、同一のランドマークに関するランドマーク候補領域の組み合わせを参照して、ランドマークの位置を特定することができ、ランドマークの位置の特定精度を向上させることができる。 Next, the robot 100 returns to the process of step S904. Thereby, the robot 100 can specify a combination of landmark candidate areas related to the same landmark. Therefore, the robot 100 can specify the position of the landmark by referring to the combination of landmark candidate areas related to the same landmark, and can improve the accuracy of specifying the position of the landmark.

従って、ロボット１００は、特定したランドマークの位置と、予め保持しておいた地図データと、を参照して、自装置の位置を特定することができ、自装置の位置の特定精度を向上させることができる。結果として、ロボット１００は、目的地に到着することができたり、障害物を回避したりすることができる。 Therefore, the robot 100 can specify the position of the own device with reference to the position of the specified landmark and the map data stored in advance, and improve the accuracy of specifying the position of the own device. be able to. As a result, the robot 100 can arrive at the destination or can avoid an obstacle.

（実施例２）
次に、実施例２について説明する。実施例１では、ランドマークの移動量の多寡により同一のランドマークに関するランドマーク候補領域の組み合わせを決定した。これに対し、実施例２では、ランドマークの位置の誤差範囲から算出したランドマークの移動量の尤度により、同一のランドマークに関するランドマーク候補領域の組み合わせを決定する。また、実施例２は、上述した機能例３にかかる実施例である。 (Example 2)
Next, Example 2 will be described. In the first embodiment, the combination of landmark candidate areas related to the same landmark is determined based on the amount of movement of the landmark. On the other hand, in the second embodiment, the combination of landmark candidate areas related to the same landmark is determined based on the likelihood of the movement amount of the landmark calculated from the error range of the landmark position. The second embodiment is an embodiment according to the above-described function example 3.

（尤度テーブルの記憶内容）
次に、図１０を用いて、尤度テーブルの記憶内容について説明する。尤度テーブルは、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、を対応付けた情報を記憶するテーブルである。尤度テーブルは、例えば、図２に示した記憶装置２０２により実現される。 (Memory contents of likelihood table)
Next, the stored contents of the likelihood table will be described with reference to FIG. The likelihood table is a table that stores information in which landmark candidate regions in the right eye image RV are associated with landmark candidate regions in the left eye image LV. The likelihood table is realized, for example, by the storage device 202 illustrated in FIG.

図１０は、尤度テーブルの記憶内容を示す説明図である。図１０に示すように、尤度テーブル１０００は、ランドマーク項目と、候補領域項目と、誤差範囲項目と、ランドマークの移動量項目と、尤度項目と、を有し、ランドマーク候補ごとにレコードを構成する。 FIG. 10 is an explanatory diagram showing the stored contents of the likelihood table. As shown in FIG. 10, the likelihood table 1000 includes a landmark item, a candidate area item, an error range item, a landmark movement amount item, and a likelihood item. Configure the record.

ランドマーク項目には、右目画像ＲＶ内のランドマーク候補領域の識別子が記憶される。候補領域項目には、ランドマーク項目が示すランドマーク候補領域と組み合わせられる左目画像ＬＶ内のランドマーク候補領域の識別子が記憶される。 In the landmark item, an identifier of a landmark candidate area in the right-eye image RV is stored. In the candidate area item, an identifier of a landmark candidate area in the left-eye image LV combined with the landmark candidate area indicated by the landmark item is stored.

誤差範囲項目には、ランドマーク候補リスト３００の登録時点の３次元位置情報項目および現時点の３次元位置情報項目の誤差範囲が記憶される。ランドマークの移動量項目には、時点「ｔ１」から時点「ｔ１＋１」までにおけるランドマークの移動量が記憶される。尤度項目には、ランドマークの移動量の尤度が記憶される。 The error range item stores the 3D position information item at the time of registration in the landmark candidate list 300 and the error range of the current 3D position information item. In the landmark movement amount item, the movement amount of the landmark from time “t1” to time “t1 + 1” is stored. In the likelihood item, the likelihood of the amount of movement of the landmark is stored.

（実施例２にかかるロボット１００による位置特定）
次に、実施例２にかかるロボット１００による位置特定の具体例について説明する。ロボット１００は、図５〜図８と同様にして、ランドマーク候補領域Ｒ１（ｔ１）〜Ｒ４（ｔ１）の各々と、ランドマーク候補領域Ｌ１（ｔ１）〜Ｌ３（ｔ１）の各々と、の組み合わせについて、ランドマークの移動量を算出する。 (Positioning by the robot 100 according to the second embodiment)
Next, a specific example of position specification by the robot 100 according to the second embodiment will be described. The robot 100 is a combination of each of the landmark candidate areas R1 (t1) to R4 (t1) and each of the landmark candidate areas L1 (t1) to L3 (t1) in the same manner as in FIGS. The amount of movement of the landmark is calculated.

次に、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）〜Ｒ４（ｔ１）の各々とランドマーク候補領域Ｌ１（ｔ１）〜Ｌ３（ｔ１）の各々とを対応付けたレコードのランドマークの移動量項目に、算出した移動量を対応付ける。 Next, the robot 100 moves the landmarks in the record in which each of the landmark candidate areas R1 (t1) to R4 (t1) is associated with each of the landmark candidate areas L1 (t1) to L3 (t1). The calculated movement amount is associated with the item.

また、ロボット１００は、ランドマーク候補リスト３００の登録時点の３次元位置情報項目の誤差範囲Ｅ₁を算出する。計測精度Ｅ₁は、上記式（４）により算出される。 Further, the robot 100 calculates the error range E ₁ of the three-dimensional position information item at the time of registration in the landmark candidate list 300. The measurement accuracy E ₁ is calculated by the above equation (4).

次に、ロボット１００は、ランドマーク候補リスト３００の現時点の３次元位置情報項目の誤差範囲Ｅ₂を算出する。誤差範囲Ｅ₂は、上記式（４）により算出される。そして、ロボット１００は、誤差範囲の和Ｅ₃を算出する。誤差範囲の和Ｅ₃は、上記式（５）により算出される。次に、ロボット１００は、ランドマーク候補領域Ｒ１（ｔ１）〜Ｒ４（ｔ１）の各々とランドマーク候補領域Ｌ１（ｔ１）〜Ｌ３（ｔ１）の各々とを対応付けたレコードの誤差範囲項目に、算出した誤差範囲の和Ｅ₃を対応付ける。 Next, the robot 100 calculates the error range E ₂ of the current three-dimensional position information item in the landmark candidate list 300. The error range E ₂ is calculated by the above equation (4). Then, the robot 100 calculates a sum E _{3 of} error ranges. The sum E _{3 of} error ranges is calculated by the above equation (5). Next, the robot 100 sets the error range items of the records in which each of the landmark candidate areas R1 (t1) to R4 (t1) and each of the landmark candidate areas L1 (t1) to L3 (t1) are associated with each other. The calculated error range sum E ₃ is associated.

そして、ロボット１００は、ランドマークの移動量項目に記憶されたランドマークの移動量、および誤差範囲項目に記憶された誤差範囲の和を参照して、尤度Ｐを算出する。尤度Ｐは、上記式（６）により算出される。次に、ロボット１００は、算出した尤度のうち、最も大きい尤度と、２番目に大きい尤度と、を特定する。 Then, the robot 100 calculates the likelihood P with reference to the sum of the landmark movement amount stored in the landmark movement amount item and the error range stored in the error range item. The likelihood P is calculated by the above equation (6). Next, the robot 100 specifies the largest likelihood and the second largest likelihood among the calculated likelihoods.

そして、ロボット１００は、最も大きい尤度が閾値以上であるか否かを判断する。ロボット１００は、閾値より小さい場合は、各々の組み合わせは同一のランドマークに関するランドマーク候補領域の組み合わせでないと判断する。 Then, the robot 100 determines whether or not the maximum likelihood is equal to or greater than a threshold value. If the robot 100 is smaller than the threshold value, the robot 100 determines that each combination is not a combination of landmark candidate areas related to the same landmark.

また、ロボット１００は、閾値以上である場合は、最も大きい尤度と、２番目に大きい尤度と、の差分を算出し、差分が閾値以上であれば最も大きい尤度となった組み合わせを、同一のランドマークに関するランドマーク候補領域の組み合わせに決定する。 If the robot 100 is equal to or greater than the threshold, the robot 100 calculates the difference between the largest likelihood and the second largest likelihood. If the difference is equal to or greater than the threshold, A combination of landmark candidate areas relating to the same landmark is determined.

また、ロボット１００は、差分が閾値より大きい場合は、図５〜図８と同様にして、時点「ｔ２」以降の時点において、ランドマークの移動量の尤度をさらに算出して、同一のランドマークに関するランドマーク候補領域の組み合わせを決定する。 If the difference is larger than the threshold, the robot 100 further calculates the likelihood of the landmark movement amount at the time point after the time point “t2” in the same manner as in FIGS. A combination of landmark candidate areas for the mark is determined.

（実施例２にかかるロボット１００による位置特定処理の処理手順）
次に、実施例２にかかるロボット１００による位置特定処理の詳細な処理手順について説明する。 (Processing procedure of position specifying process by the robot 100 according to the second embodiment)
Next, a detailed processing procedure of the position specifying process by the robot 100 according to the second embodiment will be described.

実施例２にかかるロボット１００による位置特定処理の詳細な処理手順は、ステップＳ９０８を除き、図９を用いて説明した実施例１にかかるロボット１００による位置特定処理の詳細な処理手順と同様のため、ここでは、ステップＳ９０８について説明する。 The detailed processing procedure of the position specifying process by the robot 100 according to the second embodiment is the same as the detailed processing procedure of the position specifying process by the robot 100 according to the first embodiment described with reference to FIG. 9 except for step S908. Here, step S908 will be described.

実施例２では、ロボット１００は、ステップＳ９０８において、ランドマークの位置の誤差範囲を算出する。次に、ロボット１００は、ランドマークの位置の誤差範囲を用いて、ランドマークの移動量の尤度を算出する。そして、ロボット１００は、算出した尤度を参照して、同一のランドマークに関するランドマーク候補領域の組み合わせを決定する。 In the second embodiment, the robot 100 calculates an error range of the landmark position in step S908. Next, the robot 100 calculates the likelihood of the movement amount of the landmark using the error range of the landmark position. Then, the robot 100 determines a combination of landmark candidate areas related to the same landmark with reference to the calculated likelihood.

以上説明したように、決定装置は、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、を組み合わせた場合のランドマークの位置の変化量と、自装置の移動量と、の差分が許容範囲内であるか否かを判断する。そして、決定装置は、差分が許容範囲内であれば、当該ランドマーク候補領域の組み合わせを、同一のランドマークに関するランドマーク候補領域に決定する。 As described above, the determination apparatus determines the amount of change in the landmark position when the landmark candidate area in the right eye image RV and the landmark candidate area in the left eye image LV are combined, and the movement of the apparatus itself. It is determined whether or not the difference between the amount is within an allowable range. If the difference is within the allowable range, the determining apparatus determines the combination of the landmark candidate areas as a landmark candidate area related to the same landmark.

これにより、決定装置は、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、が同一のランドマークに関するランドマーク候補領域か否かを判断することができる。そのため、決定装置は、決定以降は、ランドマークの位置の特定に際し、同一のランドマークに関するランドマーク候補領域の組み合わせを用いるとともに、異なるランドマークに関するランドマーク候補領域の組み合わせを用いない。従って、決定装置は、ランドマークの位置を誤って特定することを抑制し、ランドマークの位置の特定精度を向上させることができる。 Thereby, the determination apparatus can determine whether the landmark candidate region in the right eye image RV and the landmark candidate region in the left eye image LV are landmark candidate regions related to the same landmark. For this reason, after the determination, the determination apparatus uses a combination of landmark candidate areas regarding the same landmark and does not use a combination of landmark candidate areas regarding different landmarks when specifying the position of the landmark. Therefore, the determination apparatus can suppress erroneously specifying the position of the landmark and improve the accuracy of specifying the position of the landmark.

一方、この場合であっても、決定装置は、ランドマーク候補領域Ｒ１（ｔ１）と、ランドマーク候補領域Ｌ１（ｔ１）と、の組み合わせが同一のランドマークに関するランドマーク候補領域の組み合わせと判断することができる。そのため、決定装置は、当該組み合わせをランドマークの位置の特定に用いて、ランドマークの位置の特定精度を向上させることができる。 On the other hand, even in this case, the determination apparatus determines that the combination of the landmark candidate area R1 (t1) and the landmark candidate area L1 (t1) is a combination of landmark candidate areas regarding the same landmark. be able to. Therefore, the determination apparatus can use the combination for specifying the position of the landmark and improve the accuracy of specifying the position of the landmark.

さらに、決定装置は、ランドマーク候補領域Ｒ１（ｔ１）と、ランドマーク候補領域Ｌ２（ｔ１）と、の組み合わせが、異なるランドマークに関するランドマーク候補領域の組み合わせであると判断することができる。そのため、決定装置は、当該組み合わせをランドマークの位置の特定に用いないようにして、ランドマークの位置の特定精度を向上させることができる。 Furthermore, the determination apparatus can determine that the combination of the landmark candidate area R1 (t1) and the landmark candidate area L2 (t1) is a combination of landmark candidate areas related to different landmarks. Therefore, the determination apparatus can improve the accuracy of specifying the position of the landmark by not using the combination for specifying the position of the landmark.

一方、この場合であっても、決定装置は、検出可能なランドマーク候補領域Ｒ２（ｔ１）とランドマーク候補領域Ｌ１（ｔ１）との組み合わせが、異なるランドマークに関するランドマーク候補領域の組み合わせであると判断することができる。そのため、決定装置は、当該組み合わせをランドマークの位置の特定に用いないようにして、ランドマークの位置の特定精度を向上させることができる。 On the other hand, even in this case, the determination apparatus has a combination of the landmark candidate areas R2 (t1) and the landmark candidate areas L1 (t1) that can be detected is a combination of landmark candidate areas related to different landmarks. It can be judged. Therefore, the determination apparatus can improve the accuracy of specifying the position of the landmark by not using the combination for specifying the position of the landmark.

一方、この場合であっても、決定装置は、検出すべきでないランドマーク候補領域Ｒ３（ｔ１）とランドマーク候補領域Ｌ１（ｔ１）との組み合わせが、異なるランドマークに関するランドマーク候補領域の組み合わせであると判断することができる。そのため、決定装置は、当該組み合わせをランドマークの位置の特定に用いないようにして、ランドマークの位置の特定精度を向上させることができる。 On the other hand, even in this case, the determination apparatus is a combination of landmark candidate areas relating to different landmarks in which the combination of the landmark candidate area R3 (t1) and the landmark candidate area L1 (t1) that should not be detected is different. It can be judged that there is. Therefore, the determination apparatus can improve the accuracy of specifying the position of the landmark by not using the combination for specifying the position of the landmark.

結果として、決定装置は、予め保持しておいた地図データが示す実際のランドマークの位置と、正しく特定されたランドマークの位置と、を対応付けることができ、自己位置の特定精度を向上させることができる。そして、決定装置は、特定された自己位置を参照して、目的地に到着したり、障害物を回避したりすることができる。 As a result, the determination device can associate the actual landmark position indicated by the map data stored in advance with the correctly identified landmark position, thereby improving the self-position specifying accuracy. Can do. And the determination apparatus can arrive at the destination or avoid an obstacle with reference to the specified self-location.

また、このように、決定装置は、同一のパターンを有するランドマーク候補領域の組み合わせが複数あっても、各々の組み合わせが同一のランドマークに関するランドマーク候補領域の組み合わせか否かを判断することができる。従って、決定装置の利用者は、固有の特徴を有する物体のみではなく、互いに同一の特徴を有する複数の物体であっても、ランドマークとして採用することができる。 As described above, even if there are a plurality of combinations of landmark candidate areas having the same pattern, the determination apparatus can determine whether each combination is a combination of landmark candidate areas related to the same landmark. it can. Therefore, the user of the determination apparatus can adopt not only an object having a unique feature but also a plurality of objects having the same feature as landmarks.

また、決定装置は、自装置の移動量を用いて、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、を組み合わせた場合のランドマークの移動量を算出し、算出した移動量が閾値以下であるか否かを判断する。そして、決定装置は、閾値以下であれば、当該ランドマーク候補領域の組み合わせを、同一のランドマークに関するランドマーク候補領域に決定する。 In addition, the determination apparatus calculates the movement amount of the landmark when the landmark candidate area in the right eye image RV and the landmark candidate area in the left eye image LV are combined using the movement amount of the own apparatus. Then, it is determined whether the calculated movement amount is equal to or less than a threshold value. And if it is below a threshold value, a determination apparatus will determine the combination of the said landmark candidate area | region as the landmark candidate area | region regarding the same landmark.

これにより、決定装置は、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、が同一のランドマークに関するランドマーク候補領域か否かを判断することができる。そのため、決定装置は、決定以降は、ランドマークの位置の特定に際し、同一のランドマークに関するランドマーク候補領域の組み合わせを用いるとともに、異なるランドマークに関するランドマーク候補領域の組み合わせを用いない。 Thereby, the determination apparatus can determine whether the landmark candidate region in the right eye image RV and the landmark candidate region in the left eye image LV are landmark candidate regions related to the same landmark. For this reason, after the determination, the determination apparatus uses a combination of landmark candidate areas regarding the same landmark and does not use a combination of landmark candidate areas regarding different landmarks when specifying the position of the landmark.

従って、決定装置は、ランドマークの位置を誤って特定することを抑制し、ランドマークの位置の特定精度を向上させることができる。結果として、決定装置は、予め保持しておいた地図データが示す実際のランドマークの位置と、正しく特定されたランドマークの位置と、を対応付けることができ、自己位置の特定精度を向上させることができる。そして、決定装置は、特定された自己位置を参照して、目的地に到着したり、障害物を回避したりすることができる。 Therefore, the determination apparatus can suppress erroneously specifying the position of the landmark and improve the accuracy of specifying the position of the landmark. As a result, the determination device can associate the actual landmark position indicated by the map data stored in advance with the correctly identified landmark position, thereby improving the self-position specifying accuracy. Can do. And the determination apparatus can arrive at the destination or avoid an obstacle with reference to the specified self-location.

また、決定装置は、自装置の移動量および撮像方向の変化量を用いて、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、を組み合わせた場合のランドマークの移動量を算出する。次に、決定装置は、算出した移動量が閾値以下であるか否かを判断する。そして、決定装置は、閾値以下であれば、当該ランドマーク候補領域の組み合わせを、同一のランドマークに関するランドマーク候補領域に決定する。 In addition, the determination device uses the amount of movement of the device itself and the amount of change in the imaging direction to combine the landmark candidate region in the right eye image RV and the landmark candidate region in the left eye image LV. Is calculated. Next, the determination apparatus determines whether the calculated movement amount is equal to or less than a threshold value. And if it is below a threshold value, a determination apparatus will determine the combination of the said landmark candidate area | region as the landmark candidate area | region regarding the same landmark.

これにより、決定装置は、決定装置の進行方向が変化した場合であっても、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、が同一のランドマークに関するランドマーク候補領域か否かを判断することができる。 As a result, even when the traveling direction of the determination device changes, the determination device has a landmark candidate area in the right eye image RV and a landmark candidate region in the left eye image LV that have the same landmark. It can be determined whether or not it is a mark candidate area.

また、決定装置は、ランドマークの位置に関する誤差範囲を算出し、算出した誤差範囲を用いて右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、を組み合わせた場合のランドマークの移動量の尤度を算出する。次に、決定装置は、算出した尤度が閾値以上であるか否かを判断する。そして、決定装置は、閾値以上であれば、当該ランドマーク候補領域の組み合わせを、同一のランドマークに関するランドマーク候補領域に決定する。 In addition, the determination device calculates an error range related to the position of the landmark, and combines the landmark candidate region in the right eye image RV and the landmark candidate region in the left eye image LV using the calculated error range. The likelihood of the amount of movement of the landmark is calculated. Next, the determination apparatus determines whether or not the calculated likelihood is equal to or greater than a threshold value. And if it is more than a threshold value, a determination apparatus will determine the combination of the said landmark candidate area | region as the landmark candidate area | region regarding the same landmark.

これにより、決定装置は、ランドマークの位置の誤差範囲を参照して、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域と、が同一のランドマークに関するランドマーク候補領域か否かを判断することができる。そのため、決定装置は、ランドマークの位置の誤差が影響して、偶然、移動量が閾値以下になった組み合わせがあったり、移動量が閾値より大きくなった組み合わせがあったりする場合であっても、同一のランドマークに関するランドマーク候補領域か否かを決定することができる。 Thereby, the determination apparatus refers to the error range of the landmark position, and the landmark candidate area in the right eye image RV and the landmark candidate area in the left eye image LV are the landmark candidates related to the same landmark. It can be determined whether or not the area. For this reason, even if there is a combination in which the movement amount is less than or equal to the threshold value or there is a combination in which the movement amount is greater than the threshold value due to the error in the position of the landmark, the determination device may It can be determined whether or not the landmark candidate areas are related to the same landmark.

また、決定装置は、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域の各々と、の組み合わせの各々について、ランドマークの位置の変化量と、自装置の移動量と、の差分が許容範囲内であるか否かを判断する。そして、決定装置は、差分が許容範囲内であって、かつ、差分が最小になるランドマーク候補領域の組み合わせを、同一のランドマークに関するランドマーク候補領域に決定する。 In addition, the determining apparatus determines the amount of change in the position of the landmark and the amount of movement of the own apparatus for each combination of the landmark candidate area in the right-eye image RV and each of the landmark candidate areas in the left-eye image LV. It is determined whether or not the difference is within an allowable range. Then, the determination device determines a combination of landmark candidate areas where the difference is within an allowable range and which minimizes the difference as landmark candidate areas related to the same landmark.

これにより、決定装置は、複数のランドマーク候補領域の組み合わせの中から、同一のランドマークに関するランドマーク候補領域を決定することができる。そのため、決定装置は、決定以降は、ランドマークの位置の特定に際し、同一のランドマークに関するランドマーク候補領域の組み合わせを用いるとともに、異なるランドマークに関するランドマーク候補領域の組み合わせを用いない。 Thereby, the determination apparatus can determine the landmark candidate area | region regarding the same landmark from the combination of several landmark candidate area | regions. For this reason, after the determination, the determination apparatus uses a combination of landmark candidate areas regarding the same landmark and does not use a combination of landmark candidate areas regarding different landmarks when specifying the position of the landmark.

また、決定装置は、自装置の移動量を用いて、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域の各々と、の組み合わせの各々について、ランドマークの移動量を算出し、算出した移動量が閾値以下であるか否かを判断する。そして、決定装置は、算出した移動量が閾値以下であって、かつ、算出した移動量が最小になるランドマーク候補領域の組み合わせを、同一のランドマークに関するランドマーク候補領域に決定する。 Further, the determination device uses the movement amount of the own device to move the landmark movement amount for each combination of the landmark candidate region in the right eye image RV and the landmark candidate region in the left eye image LV. Is calculated, and it is determined whether or not the calculated movement amount is equal to or less than a threshold value. Then, the determination device determines a combination of landmark candidate areas where the calculated movement amount is equal to or less than the threshold and the calculated movement amount is the minimum as a landmark candidate area related to the same landmark.

また、決定装置は、自装置の移動量および撮像方向の変化量を用いて、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域の各々と、の組み合わせの各々について、ランドマークの移動量を算出する。次に、決定装置は、算出した移動量が閾値以下であるか否かを判断する。そして、決定装置は、閾値以下であれば、当該ランドマーク候補領域の組み合わせを、同一のランドマークに関するランドマーク候補領域に決定する。 Further, the determination device uses each of the combination of the landmark candidate region in the right eye image RV and each of the landmark candidate regions in the left eye image LV using the movement amount of the own device and the change amount of the imaging direction. The amount of movement of the landmark is calculated. Next, the determination apparatus determines whether the calculated movement amount is equal to or less than a threshold value. And if it is below a threshold value, a determination apparatus will determine the combination of the said landmark candidate area | region as the landmark candidate area | region regarding the same landmark.

これにより、決定装置は、決定装置の進行方向が変化した場合であっても、複数のランドマーク候補領域の組み合わせの中から、同一のランドマークに関するランドマーク候補領域を決定することができる。 Thereby, the determination apparatus can determine the landmark candidate area | region regarding the same landmark from the combination of several landmark candidate area | regions, even if it is a case where the advancing direction of a determination apparatus changes.

また、決定装置は、右目画像ＲＶ内のランドマーク候補領域と、左目画像ＬＶ内のランドマーク候補領域の各々と、の組み合わせの各々について、ランドマークの位置に関する誤差範囲を算出し、算出した誤差範囲を用いて、ランドマークの移動量の尤度を算出する。次に、決定装置は、算出した尤度が閾値以上であるか否かを判断する。そして、決定装置は、閾値以上であれば、当該ランドマーク候補領域の組み合わせを、同一のランドマークに関するランドマーク候補領域に決定する。 Further, the determination device calculates an error range related to the position of the landmark for each combination of the landmark candidate area in the right eye image RV and each of the landmark candidate areas in the left eye image LV, and calculates the calculated error. The likelihood of the amount of movement of the landmark is calculated using the range. Next, the determination apparatus determines whether or not the calculated likelihood is equal to or greater than a threshold value. And if it is more than a threshold value, a determination apparatus will determine the combination of the said landmark candidate area | region as the landmark candidate area | region regarding the same landmark.

これにより、決定装置は、ランドマークの位置の誤差範囲を参照して、複数のランドマーク候補領域の組み合わせの中から、同一のランドマークに関するランドマーク候補領域を決定することができる。そのため、決定装置は、ランドマークの位置の誤差が影響して、偶然、移動量が閾値以下になった組み合わせがあったり、移動量が閾値より大きくなった組み合わせがあったりする場合であっても、同一のランドマークに関するランドマーク候補領域を決定することができる。 Thereby, the determination apparatus can determine a landmark candidate area related to the same landmark from a combination of a plurality of landmark candidate areas with reference to the error range of the landmark position. For this reason, even if there is a combination in which the movement amount is less than or equal to the threshold value or there is a combination in which the movement amount is greater than the threshold value due to the error in the position of the landmark, the determination device may Landmark candidate areas related to the same landmark can be determined.

上述した実施の形態に関し、さらに以下の付記を開示する。 The following additional notes are disclosed with respect to the embodiment described above.

（付記１）第１の撮像部に撮像された第１の被写体の画像と、前記第１の撮像部と撮像領域が重複する第２の撮像部に撮像された第２の被写体の画像と、の組み合わせを、同一被写体の画像の組み合わせとした場合における前記同一被写体の第１の時点での位置および第２の時点での位置を取得する取得部と、
前記第１の時点から前記第２の時点までの自装置の位置の変化量を検出する検出部と、
前記取得部によって取得された前記同一被写体の位置の前記第１の時点から前記第２の時点までの変化量を算出する算出部と、
前記算出部によって算出された変化量と、前記検出部によって検出された変化量と、の差分が許容範囲内であるか否かを判断する判断部と、
前記判断部によって前記差分が許容範囲内であると判断された場合に、前記第１および第２の被写体の画像の組み合わせを、前記同一被写体の画像の組み合わせに決定する決定部と、
を有することを特徴とする決定装置。 (Additional remark 1) The image of the 1st subject imaged by the 1st image pick-up part, The image of the 2nd subject imaged by the 2nd image pick-up part with which the 1st image pick-up part and an image pick-up area overlap, An acquisition unit for acquiring the position at the first time point and the position at the second time point of the same subject when the combination is an image combination of the same subject;
A detection unit that detects a change amount of the position of the device from the first time point to the second time point;
A calculation unit that calculates a change amount from the first time point to the second time point of the position of the same subject acquired by the acquisition unit;
A determination unit that determines whether or not a difference between the change amount calculated by the calculation unit and the change amount detected by the detection unit is within an allowable range;
A determination unit that determines a combination of the images of the first and second subjects as a combination of images of the same subject when the determination unit determines that the difference is within an allowable range;
The determination apparatus characterized by having.

（付記２）前記算出部は、
前記第１の時点での位置および前記第２の時点での位置と、前記自装置の位置の変化量と、を用いて、前記第１の時点から前記第２の時点までの前記同一被写体の移動量を算出し、
前記判断部は、
前記算出部によって算出された移動量が閾値以下であるか否かを判断し、
前記決定部は、
前記判断部によって前記移動量が閾値以下であると判断された場合に、前記第１および第２の被写体の画像の組み合わせを、前記同一被写体の画像の組み合わせに決定する、
ことを特徴とする付記１に記載の決定装置。 (Supplementary Note 2) The calculation unit
The position of the same subject from the first time point to the second time point is determined using the position at the first time point and the position at the second time point and the amount of change in the position of the device. Calculate the amount of movement,
The determination unit
Determining whether the amount of movement calculated by the calculation unit is equal to or less than a threshold;
The determination unit
When the determination unit determines that the movement amount is equal to or less than a threshold value, the combination of the first and second subject images is determined as the combination of the same subject images;
The determination device according to supplementary note 1, wherein

（付記３）前記検出部は、
前記第１の時点から前記第２の時点までの前記第１の撮像部の撮像方向の変化量、および前記第２の撮像部の撮像方向の変化量を検出し、
前記算出部は、
前記同一被写体の前記第１の時点での位置および前記第２の時点での位置と、前記自装置の位置の変化量と、前記第１の撮像部の撮像方向の変化量および前記第２の撮像部の撮像方向の変化量と、を用いて、前記第１の時点から前記第２の時点までの前記同一被写体の移動量を算出する、
ことを特徴とする付記２に記載の決定装置。 (Supplementary note 3)
Detecting the amount of change in the imaging direction of the first imaging unit and the amount of change in the imaging direction of the second imaging unit from the first time point to the second time point;
The calculation unit includes:
The position of the same subject at the first time point and the position at the second time point, the amount of change in the position of the own device, the amount of change in the imaging direction of the first imaging unit, and the second A moving amount of the same subject from the first time point to the second time point is calculated using a change amount of the image pickup direction of the image pickup unit;
The determination apparatus according to Supplementary Note 2, wherein

（付記４）前記算出部は、
被写体の位置の誤差を示す関数における係数を示す前記第１および第２の撮像部に固有な誤差定数を用いて、前記第１の時点での位置に関する第１の誤差範囲および前記第２の時点での位置に関する第２の誤差範囲を算出し、算出された第１および第２の誤差範囲を用いて、前記移動量の尤度を算出し、
前記判断部は、
前記算出部によって算出された尤度が閾値以上であるか否かを判断し、
前記決定部は、
前記判断部によって前記尤度が閾値以上であると判断された場合に、前記第１および第２の被写体の画像の組み合わせを、前記同一被写体の画像の組み合わせに決定する、
ことを特徴とする付記２または３に記載の決定装置。 (Supplementary Note 4) The calculation unit
A first error range relating to the position at the first time point and the second time point using an error constant specific to the first and second imaging units indicating a coefficient in a function indicating an error in the position of the subject. Calculating a second error range related to the position at, and calculating the likelihood of the amount of movement using the calculated first and second error ranges;
The determination unit
Determining whether the likelihood calculated by the calculation unit is equal to or greater than a threshold;
The determination unit
When the determination unit determines that the likelihood is equal to or greater than a threshold value, the combination of the first and second subject images is determined as the combination of the same subject images.
The determination apparatus according to appendix 2 or 3, characterized in that:

（付記５）前記取得部は、
前記第１の被写体の画像に前記第２の撮像部に撮像された被写体群の各々の画像を組み合わせた複数の組み合わせの各々の組み合わせを前記同一被写体の画像の組み合わせとした場合における前記同一被写体の第１の時点での位置および第２の時点での位置を取得し、
前記算出部は、
前記各々の組み合わせについて、前記同一被写体の位置の前記第１の時点から前記第２の時点までの変化量を算出し、
前記判断部は、
前記各々の組み合わせについて、前記算出部によって算出された変化量と、前記検出部によって検出された変化量と、の差分が許容範囲内であるか否かを判断し、
前記決定部は、
前記複数の組み合わせの中で、前記判断部によって前記差分が許容範囲内であると判断され、かつ、前記差分が最小になる組み合わせを、前記同一被写体の画像の組み合わせに決定する、
ことを特徴とする付記１に記載の決定装置。 (Supplementary Note 5) The acquisition unit
When the combination of a plurality of combinations obtained by combining the image of the first subject and the images of the subject group captured by the second imaging unit is a combination of the images of the same subject, Get the position at the first time point and the position at the second time point,
The calculation unit includes:
For each combination, the amount of change of the same subject position from the first time point to the second time point is calculated,
The determination unit
For each combination, determine whether the difference between the change amount calculated by the calculation unit and the change amount detected by the detection unit is within an allowable range,
The determination unit
Among the plurality of combinations, the determination unit determines that the difference is within an allowable range, and determines a combination that minimizes the difference as a combination of images of the same subject.
The determination device according to supplementary note 1, wherein

（付記６）前記算出部は、
前記各々の組み合わせについて、前記第１の時点での位置および前記第２の時点での位置と、前記自装置の位置の変化量と、を用いて、前記第１の時点から前記第２の時点までの前記同一被写体の移動量を算出し、
前記判断部は、
前記各々の組み合わせについて、前記算出部によって算出された移動量が閾値以下であるか否かを判断し、
前記決定部は、
前記複数の組み合わせの中で、前記判断部によって前記移動量が閾値以下であると判断され、かつ、前記移動量が最小になる組み合わせを、前記同一被写体の画像の組み合わせに決定する、
ことを特徴とする付記５に記載の決定装置。 (Appendix 6) The calculation unit
For each combination, using the position at the first time point and the position at the second time point and the amount of change in the position of the device, the second time point from the first time point Calculating the amount of movement of the same subject until
The determination unit
For each of the combinations, it is determined whether the movement amount calculated by the calculation unit is less than or equal to a threshold value,
The determination unit
Among the plurality of combinations, the determination unit determines that the movement amount is equal to or less than a threshold and determines the combination that minimizes the movement amount as a combination of images of the same subject.
The determination apparatus according to appendix 5, characterized by:

（付記７）前記検出部は、
前記第１の時点から前記第２の時点までの前記第１の撮像部の撮像方向の変化量、および前記第２の撮像部の撮像方向の変化量を検出し、
前記算出部は、
前記各々の組み合わせについて、前記同一被写体の前記第１の時点での位置および前記第２の時点での位置と、前記自装置の位置の変化量と、前記第１の撮像部の撮像方向の変化量および前記第２の撮像部の撮像方向の変化量と、を用いて、前記第１の時点から前記第２の時点までの前記同一被写体の移動量を算出する、
ことを特徴とする付記６に記載の決定装置。 (Supplementary note 7)
Detecting the amount of change in the imaging direction of the first imaging unit and the amount of change in the imaging direction of the second imaging unit from the first time point to the second time point;
The calculation unit includes:
For each combination, the position of the same subject at the first time point and the position at the second time point, the amount of change in the position of the own device, and the change in the image pickup direction of the first image pickup unit A movement amount of the same subject from the first time point to the second time point is calculated using the amount and the change amount of the image pickup direction of the second image pickup unit,
The determination device according to appendix 6, characterized in that:

（付記８）前記算出部は、
前記各々の組み合わせについて、被写体の位置の誤差を表す関数の係数を示す前記第１および第２の撮像部に固有な誤差定数を用いて、前記第１の時点での位置に関する第１の誤差範囲および前記第２の時点での位置に関する第２の誤差範囲を算出し、算出された第１および第２の誤差範囲を用いて、前記移動量の尤度を算出し、
前記判断部は、
前記各々の組み合わせについて、前記算出部によって算出された尤度が閾値以上であるか否かを判断し、
前記決定部は、
前記複数の組み合わせの中で、前記判断部によって前記尤度が閾値以上であると判断され、かつ、前記尤度が最大になる組み合わせを、前記同一被写体の画像の組み合わせに決定する、
ことを特徴とする付記６または７に記載の決定装置。 (Appendix 8) The calculation unit
For each combination, a first error range relating to the position at the first time point using an error constant specific to the first and second imaging units indicating a coefficient of a function representing an error in the position of the subject. And calculating a second error range related to the position at the second time point, calculating the likelihood of the amount of movement using the calculated first and second error ranges,
The determination unit
For each of the combinations, determine whether the likelihood calculated by the calculation unit is equal to or greater than a threshold,
The determination unit
Among the plurality of combinations, the determination unit determines that the likelihood is greater than or equal to a threshold value, and determines a combination that maximizes the likelihood as an image combination of the same subject.
The determination device according to appendix 6 or 7, characterized in that:

（付記９）コンピュータが、
第１の撮像部に撮像された第１の被写体の画像と、前記第１の撮像部と撮像領域が重複する第２の撮像部に撮像された第２の被写体の画像と、の組み合わせを、同一被写体の画像の組み合わせとした場合における前記同一被写体の第１の時点での位置および第２の時点での位置を取得し、
前記第１の時点から前記第２の時点までの自装置の位置の変化量を検出し、
取得された前記同一被写体の位置の前記第１の時点から前記第２の時点までの変化量を算出し、
算出された変化量と、検出された変化量と、の差分が許容範囲内であるか否かを判断し、
前記差分が許容範囲内であると判断された場合に、前記第１および第２の被写体の画像の組み合わせを、前記同一被写体の画像の組み合わせに決定する、
処理を実行することを特徴とする決定方法。 (Supplementary note 9)
A combination of an image of the first subject imaged by the first imaging unit and an image of the second subject imaged by the second imaging unit whose imaging area overlaps the first imaging unit, Obtaining a position at a first time point and a position at a second time point of the same subject in the case of a combination of images of the same subject;
Detecting the amount of change in the position of the device from the first time point to the second time point,
Calculating the amount of change of the acquired position of the same subject from the first time point to the second time point;
Determine whether the difference between the calculated change amount and the detected change amount is within an allowable range;
When it is determined that the difference is within an allowable range, a combination of images of the first and second subjects is determined as a combination of images of the same subject;
A determination method characterized by executing processing.

（付記１０）コンピュータに、
第１の撮像部に撮像された第１の被写体の画像と、前記第１の撮像部と撮像領域が重複する第２の撮像部に撮像された第２の被写体の画像と、の組み合わせを、同一被写体の画像の組み合わせとした場合における前記同一被写体の第１の時点での位置および第２の時点での位置を取得し、
前記第１の時点から前記第２の時点までの自装置の位置の変化量を検出し、
取得された前記同一被写体の位置の前記第１の時点から前記第２の時点までの変化量を算出し、
算出された変化量と、検出された変化量と、の差分が許容範囲内であるか否かを判断し、
前記差分が許容範囲内であると判断された場合に、前記第１および第２の被写体の画像の組み合わせを、前記同一被写体の画像の組み合わせに決定する、
処理を実行させることを特徴とする決定プログラム。 (Appendix 10)
A combination of an image of the first subject imaged by the first imaging unit and an image of the second subject imaged by the second imaging unit whose imaging area overlaps the first imaging unit, Obtaining a position at a first time point and a position at a second time point of the same subject in the case of a combination of images of the same subject;
Detecting the amount of change in the position of the device from the first time point to the second time point,
Calculating the amount of change of the acquired position of the same subject from the first time point to the second time point;
Determine whether the difference between the calculated change amount and the detected change amount is within an allowable range;
When it is determined that the difference is within an allowable range, a combination of images of the first and second subjects is determined as a combination of images of the same subject;
A determination program characterized by causing a process to be executed.

１００ロボット
４０１第１の撮像部
４０２第２の撮像部
４０３特定部
４０４取得部
４０５検出部
４０６算出部
４０７判断部
４０８決定部 DESCRIPTION OF SYMBOLS 100 Robot 401 1st imaging part 402 2nd imaging part 403 Specification part 404 Acquisition part 405 Detection part 406 Calculation part 407 Judgment part 408 Determination part

Claims

A combination of an image of the first subject imaged by the first imaging unit and an image of the second subject imaged by the second imaging unit whose imaging area overlaps the first imaging unit, An acquisition unit for acquiring the position at the first time point and the position at the second time point of the same subject in the case of a combination of images of the same subject;
A detection unit that detects a change amount of the position of the device from the first time point to the second time point;
A calculation unit that calculates a change amount from the first time point to the second time point of the position of the same subject acquired by the acquisition unit;
A determination unit that determines whether or not a difference between the change amount calculated by the calculation unit and the change amount detected by the detection unit is within an allowable range;
When the determination unit determines that the difference is within an allowable range, a combination of the first and second subject images is determined as a combination of the same subject images, and the determination unit determines the difference. A determination unit that does not determine a combination of the images of the first and second subjects as a combination of the images of the same subject when it is determined that is not within the allowable range ;
The determination apparatus characterized by having.

The acquisition unit
When the combination of a plurality of combinations obtained by combining the image of the first subject and the images of the subject group captured by the second imaging unit is a combination of the images of the same subject, Get the position at the first time point and the position at the second time point,
The calculation unit includes:
For each combination, the amount of change of the same subject position from the first time point to the second time point is calculated,
The determination unit
For each combination, determine whether the difference between the change amount calculated by the calculation unit and the change amount detected by the detection unit is within an allowable range,
The determination unit
Among the plurality of combinations, the determination unit determines that the difference is within an allowable range, and determines a combination that minimizes the difference as a combination of images of the same subject.
The determination apparatus according to claim 1.

The calculation unit includes:
For each combination, using the position at the first time point and the position at the second time point and the amount of change in the position of the device, the second time point from the first time point Calculating the amount of movement of the same subject until
The determination unit
For each of the combinations, it is determined whether the movement amount calculated by the calculation unit is less than or equal to a threshold value,
The determination unit
Among the plurality of combinations, the determination unit determines that the movement amount is equal to or less than a threshold and determines the combination that minimizes the movement amount as a combination of images of the same subject.
The determination apparatus according to claim 2.

The detector is
Detecting the amount of change in the imaging direction of the first imaging unit and the amount of change in the imaging direction of the second imaging unit from the first time point to the second time point;
The calculation unit includes:
For each combination, the position of the same subject at the first time point and the position at the second time point, the amount of change in the position of the own device, and the change in the image pickup direction of the first image pickup unit A movement amount of the same subject from the first time point to the second time point is calculated using the amount and the change amount of the image pickup direction of the second image pickup unit,
The determination apparatus according to claim 3.

The calculation unit includes:
For each combination, a first error range relating to the position at the first time point using an error constant specific to the first and second imaging units indicating a coefficient of a function representing an error in the position of the subject. And calculating a second error range related to the position at the second time point, calculating the likelihood of the amount of movement using the calculated first and second error ranges,
The determination unit
For each of the combinations, determine whether the likelihood calculated by the calculation unit is equal to or greater than a threshold,
The determination unit
Among the plurality of combinations, the determination unit determines that the likelihood is greater than or equal to a threshold value, and determines a combination that maximizes the likelihood as an image combination of the same subject.
The determination apparatus according to claim 3 or 4, characterized by the above.

Computer
A combination of an image of the first subject imaged by the first imaging unit and an image of the second subject imaged by the second imaging unit whose imaging area overlaps the first imaging unit, Obtaining a position at a first time point and a position at a second time point of the same subject in the case of a combination of images of the same subject;
Detecting the amount of change in the position of the device from the first time point to the second time point,
Calculating the amount of change of the acquired position of the same subject from the first time point to the second time point;
Determine whether the difference between the calculated change amount and the detected change amount is within an allowable range;
When it is determined that the difference is within the allowable range, a combination of the images of the first and second subjects is determined as a combination of the images of the same subject, and it is determined that the difference is not within the allowable range. The combination of the first and second subject images is not determined to be the same subject image combination,
A determination method characterized by executing processing.

On the computer,
A combination of an image of the first subject imaged by the first imaging unit and an image of the second subject imaged by the second imaging unit whose imaging area overlaps the first imaging unit, Obtaining a position at a first time point and a position at a second time point of the same subject in the case of a combination of images of the same subject;
Detecting the amount of change in the position of the device from the first time point to the second time point,
Calculating the amount of change of the acquired position of the same subject from the first time point to the second time point;
Determine whether the difference between the calculated change amount and the detected change amount is within an allowable range;
When it is determined that the difference is within the allowable range, a combination of the images of the first and second subjects is determined as a combination of the images of the same subject, and it is determined that the difference is not within the allowable range. The combination of the first and second subject images is not determined to be the same subject image combination,
A determination program characterized by causing a process to be executed.