CN120752673A - 使用ir跟踪相机的电影相机跟踪以及用于虚拟生产的校准 - Google Patents

Abstract

一种信息处理设备包括电路，该电路被配置为：获得显示屏幕的至少一个第一图像，至少一个第一图像由第一相机获取；获得显示屏幕周围的成像空间中的至少一个标记的至少一个第二图像，至少一个第二图像由第二相机获取；基于至少一个第一图像估计第一相机相对于显示屏幕的第一位置信息；获得第一相机与第二相机之间的偏移信息；并且基于第一位置信息、至少一个第二图像和偏移信息，估计第二相机相对于显示屏幕的第二位置信息和至少一个标记相对于显示屏幕的第三位置信息，其中，第一相机与第二相机之间的位置关系是固定的。

Description

使用IR跟踪相机的电影相机跟踪以及用于虚拟生产的校准

相关申请的交叉引用

本申请要求于2023年3月15日提交的日本优先权专利申请JP 2023-040879的权益，其全部内容通过引用并入本文。

技术领域

本公开涉及信息处理设备、信息处理方法和非暂时性计算机可读介质。

背景技术

已知用于从包括对象的多个二维图像中估计预定对象的三维结构的技术。上述技术包括例如在NPL 1中描述的称为运动恢复结构(SfM)的技术。

引用列表

非专利文献

NPL 1：Roger Mohr以及另外两位作者，“使用多个未校准图像的相对3D重建(Relative 3D Reconstruction Using Multiple Uncalibrated Images)”，TheInternational Journal of Robotics Research，SAGE Publications，1995，14(6)，pp.619-632，1995年12月1日。

发明内容

技术问题

此外，存在通过SfM估计在相机的位置和姿态方向的估计中使用的标记的三维位置的情况。在这种情况下，每次移动标记的位置时需要校准，这导致关于处理时间的增加的担忧。

问题的解决方案

根据本公开，提供了一种信息处理设备，信息处理设备包括电路，电路被配置为：获得显示屏幕的至少一个第一图像，至少一个第一图像由第一相机获取；获得显示屏幕周围的成像空间中的至少一个标记的至少一个第二图像，至少一个第二图像由第二相机获取；基于至少一个第一图像，估计第一相机相对于显示屏幕的第一位置信息；获得第一相机与第二相机之间的偏移信息；并且基于第一位置信息、至少一个第二图像和偏移信息，估计第二相机相对于显示屏幕的第二位置信息和至少一个标记相对于显示屏幕的第三位置信息，其中，第一相机与第二相机之间的位置关系是固定的。

此外，根据本公开，提供了一种信息处理方法，包括：获得显示屏幕的至少一个第一图像，至少一个第一图像由第一相机获取；获得显示屏幕周围的成像空间中的至少一个标记的至少一个第二图像，至少一个第二图像由第二相机获取；基于至少一个第一图像，估计第一相机相对于显示屏幕的第一位置信息；获得第一相机与第二相机之间的偏移信息；并且基于第一位置信息、至少一个第二图像和偏移信息，估计第二相机相对于显示屏幕的第二位置信息和至少一个标记相对于显示屏幕的第三位置信息，其中，第一相机与第二相机之间的位置关系是固定的。

此外，根据本公开，提供了一种非暂时性计算机可读介质，其上包含有程序，该程序在由计算机执行时，使计算机执行信息处理方法，该方法包括：获得显示屏幕的至少一个第一图像，至少一个第一图像由第一相机获取；获得显示屏幕周围的成像空间中的至少一个标记的至少一个第二图像，至少一个第二图像由第二相机获取；基于至少一个第一图像，估计第一相机相对于显示屏幕的第一位置信息和至少一个标记相对于显示屏幕的第三位置信息；获得第一相机与第二相机之间的偏移信息；并且基于第一位置信息、至少一个第二图像和偏移信息，估计第二相机相对于显示屏幕的第二位置信息和至少一个标记相对于显示屏幕的第三位置信息，其中，第一相机与第二相机之间的位置关系是固定的。

附图说明

图1是用于描述根据本公开的信息处理系统的概要的示图。

图2是用于描述根据本公开的信息处理设备20的功能配置的实施例的说明图。

图3是用于描述信息处理系统的校准过程的概要的说明图。

图4A是用于描述与本地坐标系的校正相关的细节的说明图。

图4B是用于描述与本地坐标系的校正相关的细节的说明图。

图4C是用于描述与本地坐标系的校正相关的细节的说明图。

图5是用于说明与安装偏移估计相关的校准过程的说明图。

图6是用于描述生成具有姿态先验的图的处理的实施例的说明图。

图7是用于描述由根据本公开的信息处理设备20执行的整体处理的实施例的说明图。

图8是用于描述由根据本公开的信息处理设备20执行的安装偏移估计处理的实施例的说明图。

图9是用于描述根据本公开的信息处理系统的变形例的说明图。

图10是示出根据本公开的实施方式的信息处理设备90的硬件配置实施例的框图。

具体实施方式

现在将参考附图详细描述本公开的优选实施方式。注意，在本说明书和附图中，具有基本相同的功能配置的组件由相同的参考标号表示，并且省略冗余的描述。

注意，将按照以下顺序给出描述。

1.实施方式

1.1.概要

1.2.配置实施例

1.3细节

2.操作处理的实施例

3.变形例

4.硬件配置实施例

5.结论

<<1.实施方式>>

<1.1.概要>

如上所述，存在SfM的处理结果用于估计相机的位置和方向的情况。

作为实施例，在视频制作现场，通常需要实时跟踪相机的位置和方向用于视觉效果(VFX)等。

如上所述的用于实时跟踪相机的位置和方向的技术包括用于使用红外(IR)相机跟踪多个标记(在下文中，称为IR标记)以获得IR相机的位置和方向的技术，多个标记各自包括布置在成像空间中的逆反射材料等。

虽然上述技术允许以低成本和稳健的方式进行估计，但是该技术具有标记的校准会花费大量时间和精力的问题。

此外，现在有工作室，其中诸如发光二极管(LED)面板的显示装置被布置在用于虚拟生产(VP)的成像空间中的墙壁等上。在这样的工作室中执行VP的情况下，存在这样的情况：对电影相机的位置和方向进行实时跟踪的IR相机被附接至电影相机，电影相机用于捕获与LED面板相邻的对象的图像。使IR相机对电影相机的位置和方向进行实时跟踪的这种系统被称为跟踪系统。

此外，在VP中，显示装置显示与电影相机的位置和方向相适应的计算机图形(CG)图像。为了在CG图像中反映电影相机的位置和方向，必须使CG空间的坐标系和跟踪系统的坐标系彼此共用。作为可能的实施例，跟踪系统的每个坐标系被统一到CG空间的坐标系。

为了使CG空间的坐标系和跟踪系统的坐标系彼此共用，可能需要三个独立的校准过程作为初始配置。根据比较例，作为初始配置，首先执行与图生成相关的校准(第一过程)，然后执行与安装偏移估计相关的校准(第二过程)，并且最终执行与LED体积对准相关的校准(第三过程)。

图生成是恢复成像空间中IR标记的三维位置并且估计物理尺度的校准过程。根据比较例的用于图生成的技术可能需要用户执行初始化操作以便以稳定的方式开始图生成。例如，用户持有跟踪相机，并且将跟踪相机水平移动IR标记的安装高度(近似值)的约10％的距离以获得物理尺度，同时允许视点改变足以开始图生成。此外，为了实现更精确的水平移动，用户还可能需要借助于标记等预先安装导轨。

安装偏移估计是估计电影相机与跟踪相机之间的坐标系偏移的校准过程。在根据某个比较例的安装偏移估计的技术中，存在手动设定基于实际测量值或CAD设计值计算的值的情况。具体地，典型的电影相机具有印在其身体上的传感器位置，使得用户根据跟踪相机被附接至电影相机的位置来计算偏移，并且手动设定所计算的值。然而，这种用于手动设定安装偏移的方法对于用户来说是麻烦的，并且趋于由于人为错误等引起设定错误。

LED体积对准是使CG空间的坐标系(在下文中，也称为LED坐标系)和跟踪系统的坐标系彼此共用的校准过程。在根据比较例的用于LED体积对准的技术中，用户使用标记工具等在物理空间上手动限定LED坐标系，并且在所限定的LED坐标系中设定三个参考点。然后，当跟踪相机被布置在每个参考点处时，用户使用与输出姿态对应的LED坐标系的坐标值来执行对准。物理地设定这种LED坐标系需要大量时间。另外，由于不是基于实际显示在LED面板上的信息来进行位置对准，因此容易发生错误。此外，最后，需要用户手动对平移位置和旋转位置进行微调以平衡误差的过程，并且该过程也需要一定的时间和精力。在一些情况下，用户可能需要从图生成过程(第一过程)再次执行校准过程。

如上所述的三个校准过程具有花费大量时间和精力的问题。例如，在工作室具有一般尺寸的情况下，三个校准过程花费约2至3小时并不罕见。

此外，根据成像场景可能要求移动标记的位置，但是这也需要花费大量时间的校准过程。

从成本等方面来看，在花费长时间的校准过程期间，会难以使执行人员或成像人员待命，并且因此，成像方法的范围受到限制并不罕见。

通过专注于上述点构想根据本公开的技术构思，并且允许减少上述校准过程所需的时间。首先，将参考图1描述根据本公开的实施方式的信息处理系统的概要。

图1是用于描述根据本公开的信息处理系统的概要的示图。如图1所示，根据本公开的信息处理系统包括LED面板10、电影相机K1、跟踪相机K2和信息处理设备20。

(LED面板10)

根据本公开的LED面板10是显示装置的实施例，并且在如图1所示的校准期间显示增强现实(AR)标记M1。此外，LED面板10显示CG图像。例如，LED面板10基于电影相机K1在AR标记坐标系中的位置和方向来显示CG图像。

注意，图1示出了其中LED面板10显示一个AR标记M1的实施例，但实际上，根据本公开的LED面板10显示多个AR标记M1。此外，LED面板10中的坐标系(在下文中，称为AR标记坐标系)的坐标值被限定用于多个AR标记M1中的每一个。注意，AR标记M1不必显示在LED面板10上，并且可以被设置为例如打印材料等。在这种情况下，需要通过一些其他方法来实现CG图像的坐标系与AR标记M1的坐标系之间的转换。

(电影相机K1)

根据本公开的电影相机K1是第一相机的实施例，并且是捕获与LED面板10相邻的对象的图像的相机。例如，电影相机K1在校准期间捕获显示在LED面板10上的AR标记M1的图像。

此外，电影相机K1捕获包括LED面板10上显示的CG图像的对象的图像。注意，根据本公开的信息处理系统可以包括能够捕获AR标记M1的图像的另一相机，来替代电影相机K1。

(跟踪相机K2)

根据本公开的跟踪相机K2是第二相机的实施例，并且是附接至电影相机K1的相机。例如，跟踪相机K2包括能够捕获红外光图像的元件，并且捕获布置在成像空间中的天花板上的IR标记M2的图像。注意，成像空间中的天花板是该空间中的墙壁的实施例。

IR标记M2不规则地布置在成像空间中的天花板上。此外，每个IR标记M2可以是逆反射材料，或者可以是本身能够发射红外光的光等。

注意，在以下描述中，将主要描述IR标记M2布置在成像空间中的天花板上的实施例，但是每个IR标记M2的位置不受特别限制，只要IR标记M2布置成围绕成像空间中的跟踪相机K2即可。例如，IR标记M2可以布置在成像空间中的地板或侧壁上。

(信息处理设备20)

根据本公开的信息处理设备20是执行各种类型的校准过程的设备。例如，信息处理设备20可以是如图1所示的个人计算机(PC)，或者可以是诸如平板终端或智能电话的另一信息终端。

例如，信息处理设备20获取关于电影相机K1和跟踪相机K2的相对位置的相对位置信息。

此外，信息处理设备20基于作为通过电影相机K1捕获AR标记M1的图像的结果而获得的图像数据、作为通过跟踪相机K2捕获IR标记M2的图像的结果而获得的图像数据、以及电影相机K1和跟踪相机K2的相对位置信息，来估计电影相机K1、跟踪相机K2和IR标记M2在AR标记坐标系中的各种类型的位置信息。这里的位置信息可以包括关于位置和方向的信息。稍后将描述根据本公开的信息处理设备20的详细配置。

此外，信息处理设备20可以向显示单元21输出关于校准过程的各种类型的信息。例如，用户可以检查显示在显示单元21上的校准结果。

以上已经描述了根据本公开的信息处理系统的概要。接下来，将参考图2描述根据本公开的信息处理设备20的功能配置实施例。

<1.2.配置实施例>

图2是用于描述根据本公开的信息处理设备20的功能配置的实施例的说明图。如图2所示，根据本公开的信息处理设备20包括通信单元210、存储单元220和控制单元230。

(通信单元210)

根据本公开的通信单元210执行与电影相机K1和跟踪相机K2的各种类型的通信。例如，通信单元210从电影相机K1接收作为通过电影相机K1捕获AR标记M1的图像的结果而获得的图像数据。此外，通信单元210从跟踪相机K2接收作为通过跟踪相机K2捕获IR标记M2的图像的结果而获得的图像数据。

注意，电影相机K1和跟踪相机K2中的任一者可以将由其自身获取的图像数据输出至另一相机。在这种情况下，通信单元210可以从电影相机K1或跟踪相机K2接收作为通过电影相机K1捕获AR标记M1的图像的结果而获得的图像数据，以及作为通过跟踪相机K2捕获IR标记M2的图像的结果而获得的图像数据。

(存储单元220)

根据本公开的存储单元220保存软件和各种数据。例如，存储单元220保存由通信单元210接收的各种类型的图像数据。此外，存储单元220可以保存各种类型的信息，诸如图像数据、图像数据的标识(ID)、每个IR标记M2的ID、图像数据中的IR标记M2的坐标值、AR标记M1的ID、AR标记M1的坐标值、或与图像数据对应的跟踪相机K2的位置信息。此外，存储单元220可以保存诸如惯性测量单元(IMU)的其他类型传感器的观测值。

(控制单元230)

根据本公开的控制单元230控制信息处理设备20的整体操作。例如，控制单元230控制通信单元210对各种类型信息的发送和接收。此外，如图2所示，控制单元230包括估计单元231。

{估计单元231}

根据本公开的估计单元231是获取单元的实施例，并且估计电影相机K1和跟踪相机K2的相对位置信息。

此外，估计单元231是第一估计单元的实施例，并且基于作为通过电影相机K1捕获由LED面板10显示的AR标记M1的图像的结果而获得的图像数据，来估计电影相机K1在AR标记坐标系中的位置信息。

此外，估计单元231是第二估计单元的实施例，并且基于作为通过跟踪相机K2捕获布置在成像空间中的天花板上的IR标记M2的图像的结果而获得的图像数据、电影相机K1和跟踪相机K2的相对位置信息以及电影相机K1在AR标记坐标系中的位置信息，来估计IR标记M2和跟踪相机K2在AR标记坐标系中的位置信息。稍后将描述由估计单元231执行的各种类型的处理的细节。

以上已经描述了根据本实施方式的信息处理设备20的功能配置实施例。注意，以上参考图2描述的功能配置仅是实施例，并且根据本实施方式的信息处理设备20的功能配置不限于这种实施例。

例如，根据本公开的存储单元220可以设置在与信息处理设备20分开的设备中。此外，根据本实施方式的信息处理设备20还可以包括例如接收用户操作的操作单元等。

此外，包括在信息处理设备20中的估计单元231的一些功能可以由另一设备实现。例如，电影相机K1或跟踪相机K2可以具有用于估计电影相机K1和跟踪相机K2的相对位置信息的功能配置。在这种情况下，通信单元210与从电影相机K1或跟踪相机K2获取相对位置信息的获取单元对应。此外，另一设备(例如，服务器等)可以具有与第一估计单元或第二估计单元对应的功能配置。

根据本公开的信息处理设备20的功能配置可以根据规格、操作等灵活地修改。接下来，将参考图3至图6描述由根据本公开的信息处理系统执行的各种类型的处理的细节。

<1.3.细节>

图3是用于描述信息处理系统的校准过程的概要的说明图。当电影相机K1的位置和方向可以在AR标记坐标系中表示时，实际上可以使用电影相机K1在CG坐标系中的位置和方向。因此，如上所述，在VP期间，LED面板10显示与电影相机K1在AR标记坐标系(即，CG坐标系)中的位置和方向对应的CG图像。

在VP中，基于由跟踪系统获得的电影相机K1的位置和方向来呈现CG图像，但是在执行校准过程之前的初始状态下，AR标记坐标系、电影相机K1的坐标系和跟踪相机K2的坐标系彼此独立。

因此，为了在CG图像中反映电影相机K1的位置和方向，必须使AR标记坐标系(其是附接至LED面板10的坐标系)和由跟踪系统内部使用的跟踪系统的坐标系彼此共用。

如上所述，为了使AR标记坐标系和跟踪系统的坐标系彼此共用，例如，可能需要三个独立的校准过程作为初始配置：图生成、安装偏移估计和LED体积对准。

例如，LED体积对准的校准使得可以将跟踪系统的坐标系统一到LED面板坐标系中。此外，安装偏移估计使得可以利用电影相机K1与跟踪相机K2之间的坐标系偏移来校正本地坐标系。

图4A至图4C是用于描述与本地坐标系的校正相关的细节的说明图。例如，用户围绕跟踪相机K2的枢轴PP(例如，跟踪相机K2被附接至电影相机K1的位置)旋转电影相机K1和跟踪相机K2，如图4A所示。在这种情况下，如图4A的右图所示，电影相机K1的光学中心NP以弧形移动。

这里，当电影相机K1和跟踪相机K2的本地坐标系彼此不同时，如图4B所示，电影相机K1的光学中心NP被视为纯旋转，其不同于如图4A所示的实际旋转。

如图4C所示，为了以类似于实际旋转的方式以弧形移动电影相机的光学中心NP，需要基于电影相机K1(光学中心NP)和跟踪相机K2(枢轴PP)的相对位置通过偏移校正来转换本地坐标系。

电影相机K1和跟踪相机K2的这种相对位置通过基于安装偏移估计的校准过程来估计。以上已经描述了与本地坐标系的校正相关的细节。

如上所述，根据比较例，作为初始配置，首先执行与图生成相关的校准(第一过程)，然后执行与安装偏移估计相关的校准(第二过程)，并且最终执行与LED体积对准相关的校准(第三过程)。然而，根据比较例的这种校准过程具有花费大量时间和精力的问题。

因此，根据本公开的信息处理设备20可以减少校准中的时间和精力。具体地，根据本公开的信息处理设备20首先通过使用显示在LED面板10上的AR标记M1执行与安装偏移估计相关的校准，并且然后同时执行与涉及图生成的校准对应的处理和与涉及LED体积对准的校准对应的处理。关于这种AR标记M1的信息的使用使得可以减少校准中的时间和精力。在下文中，将顺序地描述根据本公开的每个校准过程的细节。

(安装偏移估计)

根据本公开的估计单元231估计电影相机K1和跟踪相机K2的相对位置。例如，估计单元231可以通过手眼标定(Hand-eye calibration)来估计电影相机K1和跟踪相机K2的相对位置。

具体地，估计单元231可以使用由下式(表达式1)表示的手眼标定来估计电影相机K1和跟踪相机K2的相对位置。

AX＝XB

(表达式1)

A：跟踪相机K2的相对姿态

B：电影相机K1的相对姿态

X：安装偏移

这里，(表达式1)中的安装偏移X与电影相机K1和跟踪相机K2的相对位置对应。即，估计单元231可以通过使用电影相机K1的相对姿态和跟踪相机K2的相对姿态作为输入获得六自由度的坐标变换矩阵，来估计电影相机K1和跟踪相机K2的相对位置。注意，估计单元231解决手眼标定的技术不特别限制，并且可以使用已知的技术。

注意，手眼标定可以被视为机器人问题。在机器人问题中，手眼标定主要可以在将机器人中包括的可移动臂末端附接的相机的坐标系转换为机器人的坐标系时使用。因此，可移动臂的位置和方向随时间而改变，使得能够用于坐标变换估计的观测点基本上仅是一个样本。

另一方面，根据本公开的跟踪相机K2被附接至电影相机K1。即，由于电影相机K1与跟踪相机K2之间的位置关系是固定的，所以在坐标变换估计中能够使用具有不同时间的多个样本。

此外，在跟踪系统的图生成未完成的情况下，不从跟踪系统获得跟踪相机K2的六自由度(6DoF)姿态，使得需要从由跟踪相机K2获得的图像数据中获得跟踪相机K2的相对姿态。考虑到这些前提条件，将描述与通过估计单元231进行的安装偏移估计相关的校准过程。在以下描述中，作为通过电影相机K1捕获AR标记M1的图像的结果而获得的图像数据可以被表示为AR标记图像，并且作为通过跟踪相机K2捕获IR标记M2的图像的结果而获得的图像数据可以被表示为IR标记图像。

图5是用于说明与安装偏移估计相关的校准过程的说明图。首先，在第一位置X1，电影相机K1通过捕获AR标记M1的图像获取第一AR标记图像，并且跟踪相机K2通过捕获IR标记M2的图像获取第一IR标记图像。

然后，用户将电影相机K1和跟踪相机K2从第一位置X1移动至第二位置X2。例如，用户将电影相机K1和跟踪相机K2放置在推车上并且将推车从第一位置X1移动至第二位置X2。注意，用户可以旋转电影相机K1和跟踪相机K2而不是平移电影相机K1和跟踪相机K2，或者不仅可以平移电影相机K1和跟踪相机K2而且可以旋转电影相机K1和跟踪相机K2。

然后，在第二位置X2，电影相机K1通过捕获AR标记M1的图像来获取第二AR标记图像，并且跟踪相机K2通过捕获IR标记M2的图像来获取第二IR标记图像。

这里，估计单元231可以基于作为由电影相机K1执行的成像的结果而获得的AR标记图像来估计电影相机K1的位置和方向。因此，估计单元231基于包括第一AR标记图像和第二AR标记图像的图像数据对，来估计电影相机K1的平移运动量和电影相机K1的相对姿态(电影相机K1在第一AR标记图像与第二AR标记图像之间的相对位置和方向)。

注意，为了以更高的精度获得安装偏移，电影相机K1的平移运动量期望地大于或等于预定值。具体地，电影相机K1的平移运动量期望地大于或等于IR标记M2的安装高度的10％。

此外，估计单元231基于包括第一IR标记图像和第二IR标记图像的图像数据对，通过五点算法(five-point algorithm)来估计图像数据对中包括的至少五个IR标记M2的三维位置(尺度不确定性)。

此外，用户将电影相机K1和跟踪相机K2从第二位置X2移动至第三位置(未示出)。

接下来，在第三位置处，电影相机K1通过捕获AR标记M1的图像来获取第三AR标记图像，并且跟踪相机K2通过捕获IR标记M2的图像来获取第三IR标记图像。

然后，估计单元231基于第二AR标记图像和第三AR标记图像，来估计电影相机K1的平移运动量和电影相机K1的相对姿态(电影相机K1在第二AR标记图像和第三AR标记图像之间的相对位置和方向)。注意，这里电影相机K1的平移运动量也期望地大于或等于预定值。

此外，估计单元231基于第二IR标记图像和第三IR标记图像的图像数据对以及通过五点算法估计的IR标记M2的三维位置，通过透视n点(PnP)来估计跟踪相机K2的相对姿态(跟踪相机K2在第二IR标记图像与第三IR标记图像之间的相对位置和方向)。

然后，估计单元231可以通过基于七自由度参数，来解决手眼标定，从而估计电影相机K1和跟踪相机K2的相对位置，七自由度参数包括与电影相机K1和跟踪相机K2的位置和方向相关的六自由度参数和与尺度不变性相关的单自由度参数。

注意，在上述实施例中，已经描述了电影相机K1和跟踪相机K2分别获得三个AR标记图像和三个IR标记图像，并且估计单元231使用针对每个相对姿态的两个图像数据对来估计电影相机K1的相对姿态和跟踪相机K2的相对姿态的实施例。然而，估计单元231可以使用四条以上图像数据(换言之，三条以上图像数据对)来估计电影相机K1和跟踪相机K2的相对姿态。

例如，估计单元231可以基于包括在第三位置处获得的第三IR标记图像和在第四位置(电影相机K1和跟踪相机K2从第三位置进一步移动之后的另一位置)处获得的第四IR标记图像的图像数据对，以及通过五点算法估计的IR标记M2的三维位置，通过PnP来估计跟踪相机K2的相对姿态。如上所述，增加用于估计电影相机K1的相对姿态和跟踪相机K2的相对姿态的多条图像数据(换言之，图像数据对的数量)允许增加通过手眼标定估计的电影相机K1和跟踪相机K2的相对位置的估计精度。

以上已经描述了根据本公开的安装偏移估计的细节。根据上述安装偏移估计，通过使用AR标记M1可以获取电影相机K1的相对姿态，并且可以通过将电影相机K1和跟踪相机K2的相对姿态应用于手眼标定来简化安装偏移估计。因此，可以减轻用户进行校准时的负担。接下来，将参考图6描述包括图生成和LED体积对准的生成具有姿态先验的图的处理的细节。

(生成具有姿态先验的图的处理)

-第一方法

图6是用于描述生成具有姿态先验的图的处理的实施例的说明图。根据本公开的估计单元231基于作为通过电影相机K1捕获AR标记M1的图像的结果而获得的AR标记图像、作为通过跟踪相机K2捕获IR标记M2的图像的结果而获得的IR标记图像、以及电影相机K1和跟踪相机K2的相对位置信息，来估计跟踪相机K2在AR标记坐标系中的位置信息(位置和方向)和IR标记M2在AR标记坐标系中的位置信息(三维位置)。

例如，在特定起始点位置(例如，图6中由长虚双短虚线指示的电影相机K1和跟踪相机K2的位置)，获得AR标记图像作为由电影相机K1执行的成像的结果，并且获得IR标记图像作为由跟踪相机K2执行的成像的结果。这里，估计单元231基于根据AR标记图像估计的电影相机K1在AR标记坐标系中的位置信息以及电影相机K1和跟踪相机K2的相对位置信息，来估计起始点位置处的AR标记坐标系中的跟踪相机K2的位置信息。

随后，用户将电影相机K1和跟踪相机K2从起始点位置移动至移动后位置(例如，图6中由实线表示的电影相机K1和跟踪相机K2的位置)。然后，在移动后位置处，获得AR标记图像作为由电影相机K1执行的成像的结果，并且获得IR标记图像作为由跟踪相机K2执行的成像的结果。这里，估计单元231基于根据AR标记图像估计的电影相机K1在AR标记坐标系中的位置信息以及电影相机K1和跟踪相机K2的相对位置信息，来估计移动后位置处的AR标记坐标系中的跟踪相机K2的位置信息。

然后，估计单元231根据跟踪相机K2在AR标记坐标系中的两个点的位置信息的估计结果，来估计从起始点位置至移动后位置的相对移动量。

此外，估计单元231可以基于在起始点位置和移动后位置处获得的两个IR标记图像(也称为IR标记图像对)以及在IR标记图像对中包括的图像之间的相对移动量，来估计IR标记图像对中包括的IR标记M2在AR标记坐标系中的位置信息。

更具体地，估计单元231可以基于在起始点位置和移动后位置处获得的IR标记图像对以及IR标记图像对中包括的图像之间进行的相对移动量，通过三角测量来估计IR标记图像对中包括的IR标记M2的位置信息。

这里，由于跟踪相机K2的位置和方向已经预先在AR标记坐标系中被估计，所以由估计单元231估计的IR标记M2的位置信息也被估计为IR标记M2在AR标记坐标系中的三维位置。即，上述生成具有姿态先验的图的处理使得可以省略LED体积对准的校准过程。

此外，估计单元231可以基于IR标记M2在AR标记坐标系中的三维位置(临时位置)，由PnP估计跟踪相机K2的相对移动量。此外，估计单元231可以基于由PnP估计的跟踪相机K2的相对移动量来估计IR标记M2在AR标记坐标系中的三维位置。如上所述，估计单元231交替地解决三角测量和PnP，使得可以以更高的精度估计IR标记M2在AR标记坐标系中的三维位置。

注意，在三角测量中，由PnP获得的跟踪相机K2的相对移动量被视为输入值，并且在PnP中，由三角测量获得的IR标记M2的三维位置被视为输入值。因此，存在不能简单地通过交替地解决三角测量和PnP来提高IR标记M2的三维位置的恢复的精度的情况。在这种情况下，例如，估计单元231可以将跟踪相机K2在AR标记坐标系中的位置和方向视为约束条件。这允许估计单元231以更高的精度估计IR标记M2在AR标记坐标系中的三维位置。

用户将电影相机K1和跟踪相机K2移动到成像空间中的每个位置，并且使电影相机K1和跟踪相机K2在每个位置处捕获AR标记M1的图像和IR标记M2的图像。然后，当估计单元231重复地执行估计IR标记M2的三维位置的处理时，可以恢复布置在成像空间中的天花板上的所有(或一些)IR标记M2在AR标记坐标系中的三维位置。

然后，估计单元231可以基于布置在成像空间中的天花板上的多个IR标记M2在AR标记坐标系中的三维位置，生成成像空间中的图信息。例如，估计单元231可以生成包括布置在成像环境中的天花板上的所有(或一些)IR标记M2在AR标记坐标系中的三维位置的图信息。

这里，由于电影相机K1和跟踪相机K2在AR标记坐标系中的位置和方向符合物理尺度，估计单元231可以生成具有已知尺度的图信息。

此外，在估计单元231基于由跟踪相机K2首先获得的图像数据对校正尺度，并且在AR标记坐标系中执行对准之后，用户可以从电影相机K1上移除跟踪相机K2。然后，用户可以利用移除的跟踪相机K2在整个成像空间周围移动。与电影相机K1和跟踪相机K2两者都被移动的情况相比，如上所述从电影相机K1上移除跟踪相机K2允许重量的减轻，因此还可以增加用户便利性。

-第二方法

在第一方法中，已经描述了其中估计单元231通过交替地解决三角测量和PnP来估计IR标记M2在AR标记坐标系中的三维位置的实施例，但是估计单元231估计IR标记M2在AR标记坐标系中的三维位置的方法不限于这样的实施例。

例如，估计单元231可以对作为由跟踪相机K2执行的成像的结果而获得的两条图像数据执行与已知的对应点搜索相关的处理，并且将关于两条图像数据中的每条图像数据中包括的对应点对(相同的IR标记M2)的信息输出至存储单元220。

接下来，估计单元231可以基于存储单元220中保存的新的对应点对，通过三角测量来估计IR标记M2在AR标记坐标系中的三维位置，并且将估计的位置输出至存储单元220。

此外，估计单元231可以按需执行集束调整(bundle adjustment)，以校正跟踪相机K2的位置和方向或IR标记M2在AR标记坐标系中的三维位置。注意，这里的集束调整是用于提高位置估计精度的优化处理，并非必须执行。此外，估计单元231可以使用由另一传感器(诸如惯性测量单元(IMU))获得的感测信息作为约束条件。

以上已经描述了由根据本公开的信息处理系统执行的各种类型的处理的细节。如上所述，在根据本公开的信息处理系统中，基于LED面板10上显示的AR标记M1的电影相机K1的位置和方向用于估计跟踪相机K2和IR标记M2在AR标记坐标系中的位置信息，使得可以减少强加于用户的工作，并且可以估计高度精确和鲁棒的图信息。接下来，将参考图7和图8描述根据本公开的信息处理设备20的操作处理的实施例。

<<2.操作处理的实施例>>

(整体处理)

图7是用于描述由根据本公开的信息处理设备20执行的整体处理的实施例的说明图。首先，估计单元231基于从电影相机K1获得的AR标记图像跟踪AR标记M1，并且估计电影相机K1在AR标记坐标系中的位置信息(S101)。

接下来，估计单元231基于由电影相机K1获得的AR标记图像和由跟踪相机K2获得的IR标记图像，执行安装偏移估计，并且获取电影相机K1和跟踪相机K2的相对位置信息(S105)。

随后，估计单元231基于相对位置信息，执行与电影相机K1和跟踪相机K2之间的本地坐标系转换相关的处理，以使跟踪相机K2的坐标系和电影相机K1的坐标系彼此共用(S109)。

然后，估计单元231执行生成具有姿态先验的图的处理，以估计跟踪相机K2和IR标记M2在AR标记坐标系中的位置信息，并且基于估计结果在AR标记坐标系中生成成像空间的图信息(S113)，并且根据本公开的估计单元231结束校准处理。接下来，将描述S105中的安装偏移估计处理的实施例。

(安装偏移估计)

图8是用于描述由根据本公开的信息处理设备20执行的安装偏移估计处理的实施例的说明图。首先，通信单元210从电影相机K1接收AR标记图像并且从跟踪相机K2接收IR标记图像(S201)。

接下来，估计单元231基于AR标记图像确定电影相机K1和跟踪相机K2是否已经进行了足够的平移(S205)。在已经进行足够的平移运动的情况下(S205：是)，处理进行到S209，并且在尚未进行足够的平移运动的情况下(S205：否)，电影相机K1和跟踪相机K2由用户移动，并且处理再次返回到S201。

随后，估计单元231确定是否已经执行了五点算法(S209)。在尚未执行五点算法的情况下(S209：否)，处理进行到S213，并且在已经执行五点算法的情况下(S209：是)，处理进行到S217。

在尚未执行五点算法的情况下(S209：否)，估计单元231基于包括在两个点处获得的两个IR标记图像的图像数据对，通过五点算法估计图像数据对中包括的IR标记M2的三维位置(S213)。

在已经执行五点算法的情况下(S209：是)，估计单元231基于包括在两点处获得的两个IR标记图像的图像数据对，以及通过五点算法估计的IR标记M2的三维位置，通过透视n点(PnP)来估计跟踪相机K2的相对姿态(S217)。

然后，估计单元231确定是否已经获得预定数量的图像数据(S221)。在已经获得预定数量的图像数据的情况下(S221：是)，处理进行到S225，并且在尚未获得预定数量的图像数据的情况下(S221：否)，处理再次返回到S201。注意，这里的预定值至少设定为3。

在已经获得预定数量的图像数据的情况下(S221：是)，估计单元231基于电影相机K1的相对姿态和跟踪相机K2的相对姿态执行手眼标定，以获取电影相机K1和跟踪相机K2的相对位置信息(S225)，并且根据本公开的信息处理设备20结束安装偏移估计处理。

以上已经描述了安装偏移估计处理的实施例。注意，根据本公开的安装偏移估计不限于基于手眼标定的技术。接下来，将参考图9描述根据本公开的信息处理系统的变形例。

<<3.变形例>>

图9是用于描述根据本公开的信息处理系统的变形例的说明图。根据变形例，用于识别AR标记M1的专用相机K3可以预先附接至跟踪相机K2。专用相机K3是第三相机的实施例。例如，可以预先(例如，在工厂装运之前)估计跟踪相机K2和专用相机K3的相对位置信息，并且存储单元220可以存储跟踪相机K2和专用相机K3的相对位置信息。

因此，估计单元231基于作为通过专用相机K3捕获AR标记M1的图像的结果而获得的AR标记图像，获取专用相机K3在AR标记坐标系中的位置信息。此外，估计单元231可以基于专用相机K3在AR标记坐标系中的位置信息以及存储在存储单元220中的跟踪相机K2和专用相机K3的相对位置信息，来估计跟踪相机K2在AR标记坐标系中的位置信息。

然后，估计单元231可以基于跟踪相机K2在AR标记坐标系中的位置信息以及电影相机K1在AR标记坐标系中的位置信息来估计电影相机K1和跟踪相机K2的相对位置信息，电影相机K1在AR标记坐标系中的位置信息是基于作为通过电影相机K1捕获AR标记M1的图像的结果而获得的AR标记图像来估计的。

用于识别AR标记M1的专用相机K3(其相对于跟踪相机K2的位置是已知的)被附接至如上所述的跟踪相机K2，使得可以省略如上所述的通过手眼标定进行的安装偏移估计。

<<4.硬件配置实施例>>

接下来，将描述根据本公开的实施方式的信息处理设备90的硬件配置实施例。图10是示出根据本公开的实施方式的信息处理设备90的硬件配置实施例的框图。信息处理设备90可以是具有与信息处理设备20的硬件配置等效的硬件配置的设备。

信息处理设备90包括例如，如图10所示的处理器871、只读存储器(ROM)872、随机存取存储器(RAM)873、主机总线874、桥接器875、外部总线876、接口877、输入装置878、输出装置879、存储装置880、驱动器881、连接端口882和通信装置883。注意，这里示出的硬件配置是实施例，并且可以省略一些组件。此外，还可以包括除这里所示的组件之外的组件。

(处理器871)

例如，处理器871用作运算处理装置或控制装置，并且基于记录在ROM 872、RAM873、存储装置880、或可移动存储介质901中的各种程序，控制每个组件的整体或部分操作。

(ROM 872和RAM 873)

ROM 872是存储由处理器871读取的程序、用于计算的数据等的单元。RAM 873临时或永久地存储例如由处理器871读取的程序、当执行程序时适当地改变的各种参数等。

(主机总线874、桥接器875、外部总线876和接口877)

处理器871、ROM 872和RAM 873经由例如能够进行高速数据传输的主机总线874相互连接。另一方面，例如，主机总线874经由桥接器875连接到具有相对低的数据传输速度的外部总线876。此外，外部总线876经由接口877连接到各种组件。

(输入装置878)

例如，使用鼠标、键盘、触摸面板、按钮、开关、操纵杆等作为输入装置878。此外，可以使用能够使用红外线或其他无线电波传输控制信号的远程控制器(在下文中，称为遥控器)作为输入装置878。此外，输入装置878包括诸如麦克风的语音输入装置。

(输出装置879)

输出装置879是能够视觉地或听觉地向用户通知获取的信息的装置，诸如显示装置(诸如阴极射线管(CRT)、LCD、或有机EL)、音频输出装置(诸如扬声器或耳机)、打印机、移动电话、或传真。此外，根据本公开的输出装置879包括能够输出触觉刺激的各种振动装置。

(存储装置880)

存储装置880是用于存储各种数据的装置。例如，使用诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等作为存储装置880。

(驱动器881)

例如，驱动器881是读取记录在诸如磁盘、光盘、磁光盘或半导体存储器的可移动存储介质901上的信息或将信息写入可移动存储介质901的装置。

(可移动存储介质901)

例如，可移动存储介质901是DVD介质、蓝光(注册商标)介质、HDDVD介质、各种半导体存储介质等。不用说，例如，可移动存储介质901可以是其上安装有非接触IC芯片的IC卡、电子装置等。

(连接端口882)

例如，连接端口882是用于连接外部连接装置902的端口，诸如，通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)、RS-232C端口或光音频终端。

(外部连接装置902)

例如，外部连接装置902是打印机、便携式音乐播放器、数码相机、数码视频相机、IC记录器等。

(通信装置883)

通信装置883是用于连接到网络的通信装置，例如，有线或无线LAN、蓝牙(注册商标)或用于无线USB(WUSB)的通信卡、用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器或用于各种通信的调制解调器等。

<<5.结论>>

以上已经参考附图详细描述了本公开的优选实施方式，但是本公开的技术范围不限于这种实施例。显然，在本公开的技术领域中具有通常知识的技术人员可以设计在权利要求中描述的技术思想的范围内的各种修改例或变形例，并且自然应当理解的是，这些修改例或变形例也属于本公开的技术范围。

例如，与本公开中描述的处理相关的每个步骤不必按照流程图或顺序图中描述的顺序按时间序列处理。例如，与每个装置的处理相关的每个步骤可以以与描述的顺序不同的顺序处理，或者可以并行处理。

此外，通过本公开中描述的每个装置执行的一系列处理可以通过存储在非暂时性计算机可读存储介质中的程序来实现。例如，当计算机执行程序时，每个程序被读入RAM，并且由诸如CPU的处理器执行。例如，存储介质是磁盘、光盘、磁光盘、闪存等。此外，程序可以经由例如网络来分发，而不使用存储介质。

此外，本文描述的效果仅是示例性或说明性的，而不是限制性的。即，除了上述效果之外或者代替上述效果，根据本公开的技术可以提供从本说明书的描述中对本领域技术人员而言显而易见的上述其他效果。

(1)一种信息处理设备，包括：

电路，被配置为：

获得显示屏幕的至少一个第一图像，至少一个第一图像由第一相机获取；

获得显示屏幕周围的成像空间中的至少一个标记的至少一个第二图像，至少一个第二图像由第二相机获取；

基于至少一个第一图像，估计第一相机相对于显示屏幕的第一位置信息；

获得第一相机与第二相机之间的偏移信息；并且

基于第一位置信息、至少一个第二图像和偏移信息，估计第二相机相对于显示屏幕的第二位置信息和至少一个标记相对于显示屏幕的第三位置信息，

其中，第一相机与第二相机之间的位置关系是固定的。

(2)根据(1)的信息处理设备，其中，电路还被配置为根据第一相机的位置，控制显示屏幕的显示图像的输出。

(3)根据(1)或(2)的信息处理设备，其中，电路还被配置为在虚拟生产期间控制显示屏幕的显示图像的输出，在虚拟生产中，由显示屏幕输出的显示图像被包括在由第一相机获取的图像中。

(4)根据(1)至(3)中任一项的信息处理设备，其中，显示屏幕的至少一个第一图像包括显示标记。

(5)根据(1)至(4)中任一项的信息处理设备，其中，显示标记包括增强现实标记。

(6)根据(1)至(5)中任一项的信息处理设备，其中，显示标记被显示在显示屏幕的坐标系中的已知坐标处。

(7)根据(1)至(6)中任一项的信息处理设备，其中，电路被配置为使用显示标记的已知坐标，来估计第一相机相对于显示屏幕的第一位置信息。

(8)根据(1)至(7)中任一项的信息处理设备，

其中，电路还被配置为根据第一相机在显示屏幕的坐标系中的位置和方向，控制显示屏幕的显示图像的输出。

(9)根据(1)至(8)中任一项的信息处理设备，其中，电路被配置为获得显示屏幕的多个第一图像，并且其中，电路被配置为获得与多个第一图像对应的至少一个标记的多个第二图像。

(10)根据(1)至(9)中任一项的信息处理设备，其中，显示屏幕的多个第一图像由第一相机从与第一位置信息对应的位置处获取，并且多个第二图像由第二相机从与第二位置信息对应的位置处获取。

(11)根据(1)至(10)中任一项的信息处理设备，其中，多个第一图像由第一相机从多个位置处获取，并且多个第二图像由第二相机从与第一相机的多个位置对应的多个位置处获取。

(12)根据(1)至(11)中任一项的信息处理设备，其中，至少一个标记是逆反射材料，并且其中，第二相机是红外相机。

(13)根据(1)至(12)中任一项的信息处理设备，其中，电路被配置为基于第一位置信息和偏移信息，估计第二相机相对于显示屏幕的第二位置信息。

(14)根据(1)至(13)中任一项的信息处理设备，其中，电路被配置为基于至少一个第二图像和第二位置信息，估计至少一个标记相对于显示屏幕的第三位置信息。

(15)根据(1)至(14)中任一项的信息处理设备，其中，至少一个标记包括在成像空间中设置在第二相机周围的多个标记，并且其中，电路还被配置为基于第三位置信息，生成多个标记的图。

(16)根据(1)至(15)中任一项的信息处理设备，其中，所获得的偏移信息是基于第二相机与第三相机之间的预定偏移信息而获得的，并且其中，第二相机与第三相机之间的位置关系是固定的。

(17)根据(1)至(16)中任一项的信息处理设备，其中，电路被配置为通过基于第一相机和第二相机的多个相对姿态，来执行校准，从而估计偏移信息。

(18)根据(1)至(17)中任一项的信息处理设备，其中，电路被配置为通过基于七自由度参数，来解决手眼标定，从而估计偏移信息，七自由度参数包括：与第一相机和第二相机的相对位置和方向相关的六自由度参数、以及与尺度不变性相关的单自由度参数。

(19)一种信息处理方法，包括：

获得显示屏幕的至少一个第一图像，至少一个第一图像由第一相机获取；

获得显示屏幕周围的成像空间中的至少一个标记的至少一个第二图像，至少一个第二图像由第二相机获取；

基于至少一个第一图像，估计第一相机相对于显示屏幕的第一位置信息；

获得第一相机与第二相机之间的偏移信息；并且

基于第一位置信息、至少一个第二图像和偏移信息，估计第二相机相对于显示屏幕的第二位置信息和至少一个标记相对于显示屏幕的第三位置信息，

其中，第一相机与第二相机之间的位置关系是固定的。

(20)一种非暂时性计算机可读介质，其上包含有程序，该程序在由计算机执行时，使计算机执行信息处理方法，该方法包括：

获得显示屏幕的至少一个第一图像，至少一个第一图像由第一相机获取；

获得显示屏幕周围的成像空间中的至少一个标记的至少一个第二图像，至少一个第二图像由第二相机获取；

基于至少一个第一图像，估计第一相机相对于显示屏幕的第一位置信息和至少一个标记相对于显示屏幕的第三位置信息；

获得第一相机与第二相机之间的偏移信息；并且

基于第一位置信息、至少一个第二图像和偏移信息，估计第二相机相对于显示屏幕的第二位置信息和至少一个标记相对于显示屏幕的第三位置信息，

其中，第一相机与第二相机之间的位置关系是固定的。

(21)一种信息处理设备，包括：

获取单元，获取关于第一相机和附接至第一相机的第二相机的相对位置的相对位置信息；

第一估计单元，基于作为通过第一相机捕获由显示装置显示的第一标记的图像的结果而获得的图像数据，估计第一相机在被布置在特定空间中的显示装置的坐标系中的位置信息；以及

第二估计单元，基于作为通过第二相机捕获第二标记的图像的结果而获得的图像数据、相对位置信息以及第一相机在显示装置的坐标系中的位置信息，估计布置在空间中的墙壁上的第二标记的位置信息以及第二相机在显示装置的坐标系中的位置信息。

(22)根据(21)的信息处理设备，

其中，获取单元基于第一相机的相对姿态和第二相机的相对姿态，获取相对位置信息。

(23)根据(22)的信息处理设备，

其中，第一相机的相对姿态基于作为通过第一相机在空间中的至少三个位置处捕获第一标记的图像的结果而获得的至少两个图像数据对，并且

第二相机的相对姿态基于作为通过第二相机在与第一相机捕获第一标记的图像的时间对应的位置处捕获第二标记的图像的结果而获得的至少两个图像数据对。

(24)根据(23)的信息处理设备，

其中，获取单元基于作为通过第二相机在空间中的第一位置和第二位置处捕获至少五个第二标记的图像的结果而获得的图像数据对，获取至少五个第二标记的三维位置，并且基于至少五个第二标记的三维位置和作为通过第二相机在空间中的第二位置和第三位置处捕获至少五个第二标记的图像的结果而获得的图像数据对，获取第二相机的相对姿态。

(25)根据(24)的信息处理设备，

其中，获取单元还基于作为通过第二相机在空间中的第三位置和另一位置或多个其他位置处捕获至少五个第二标记的图像的结果而获得的至少一个图像数据对，获取第二相机的相对姿态。

(26)根据(23)的信息处理设备，

其中，第一标记是其坐标值被限定在显示装置的坐标系中的AR标记。

(27)根据(23)的信息处理设备，

其中，获取单元基于七自由度参数获取相对位置信息，七自由度参数包括与位置和方向相关的六自由度参数以及与尺度不变性相关的单自由度参数。

(28)根据(21)的信息处理设备，

其中，获取单元基于作为通过第三相机捕获第一标记的图像的结果而获得的图像数据，获取关于第一相机和第二相机的相对位置的相对位置信息，第三相机预先附接至第二相机并且与第二相机的相对位置关系已预先注册。

(29)根据(21)至(28)中任一项的信息处理设备，

其中，第二估计单元基于第一相机在显示装置的坐标系中的位置信息和相对位置信息，估计第二相机在显示装置的坐标系中的位置信息，并且基于第二相机在显示装置的坐标系中的位置信息以及作为通过第二相机执行的成像的结果而获得的图像数据对，估计图像数据对中包括的第二标记在显示装置的坐标系中的位置信息。

(30)根据(29)的信息处理设备，

其中，第二估计单元基于作为通过第二相机在空间中的不同位置处执行的成像的结果而获得的图像数据对，估计第二标记在显示装置的坐标系中的位置信息。

(31)根据(30)的信息处理设备，

其中，第二估计单元基于作为通过第二相机在空间中的不同位置处执行的成像的结果而获得的图像数据对，估计第二标记在显示装置的坐标系中的临时位置信息，基于临时位置信息来估计第二相机的相对移动量，并且基于相对移动量来估计第二标记在显示装置的坐标系中的位置信息。

(32)根据(21)至(28)中任一项的信息处理设备，

其中，第二估计单元对作为通过第二相机在空间中的不同位置处执行的成像的结果而获得的图像数据对执行与对应点搜索相关的处理，估计指示图像数据对中包括的两条图像数据中的每条图像数据中包括的相同的第二标记的对应点对，并且基于对应点对来估计第二标记在显示装置的坐标系中的位置信息。

(33)根据(21)至(32)中任一项的信息处理设备，

其中，第二估计单元基于布置在空间中的多个第二标记在显示装置的坐标系中的位置信息，来估计空间中的图信息。

(34)根据(21)至(33)中任一项的信息处理设备，

其中，第二标记包括逆反射标记。

(35)一种由计算机执行的信息处理方法，信息处理方法包括：

获取关于第一相机和附接至第一相机的第二相机的相对位置的相对位置信息；

基于作为通过第一相机捕获由显示装置显示的第一标记的图像的结果而获得的图像数据，估计第一相机在被布置在特定空间中的显示装置的坐标系中的位置信息；并且

基于作为通过第二相机捕获第二标记的图像的结果而获得的图像数据、相对位置信息以及第一相机在显示装置的坐标系中的位置信息，估计布置在空间中的墙壁上的第二标记的位置信息以及第二相机在显示装置的坐标系中的位置信息。

(36)一种使计算机用作信息处理设备的程序，信息处理设备包括：

获取单元，获取关于第一相机和附接至第一相机的第二相机的相对位置的相对位置信息；

第一估计单元，基于作为通过第一相机捕获由显示装置显示的第一标记的图像的结果而获得的图像数据，估计第一相机在被布置在特定空间中的显示装置的坐标系中的位置信息；以及

第二估计单元，基于作为通过第二相机捕获第二标记的图像的结果而获得的图像数据、相对位置信息以及第一相机在显示装置的坐标系中的位置信息，估计布置在空间中的墙壁上的第二标记的位置信息以及第二相机在显示装置的坐标系中的位置信息。

本领域技术人员应理解，依据设计需求和其他因素，可以出现各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。

[参考标号列表]10 LED面板

20 信息处理设备21 显示单元

210 通信单元

220 存储单元

230 控制单元231 估计单元K1 电影相机K2 跟踪相机K3 专用相机M1 AR标记M2IR标记。

Claims (20)

1.一种信息处理设备，包括：

电路，被配置为：

获得显示屏幕的至少一个第一图像，所述至少一个第一图像由第一相机获取；

获得所述显示屏幕周围的成像空间中的至少一个标记的至少一个第二图像，所述至少一个第二图像由第二相机获取；

基于所述至少一个第一图像，估计所述第一相机相对于所述显示屏幕的第一位置信息；

获得所述第一相机与所述第二相机之间的偏移信息；并且

基于所述第一位置信息、所述至少一个第二图像和所述偏移信息，估计所述第二相机相对于所述显示屏幕的第二位置信息和所述至少一个标记相对于所述显示屏幕的第三位置信息，

其中，所述第一相机与所述第二相机之间的位置关系是固定的。

2.根据权利要求1所述的信息处理设备，

其中，所述电路还被配置为根据所述第一相机的位置，控制所述显示屏幕的显示图像的输出。

3.根据权利要求2所述的信息处理设备，

其中，所述电路还被配置为在虚拟生产期间控制所述显示屏幕的所述显示图像的输出，在所述虚拟生产中，由所述显示屏幕输出的所述显示图像被包括在由所述第一相机获取的图像中。

4.根据权利要求1所述的信息处理设备，

其中，所述显示屏幕的所述至少一个第一图像包括显示标记。

5.根据权利要求4所述的信息处理设备，

其中，所述显示标记包括增强现实标记。

6.根据权利要求4所述的信息处理设备，

其中，所述显示标记被显示在所述显示屏幕的坐标系中的已知坐标处。

7.根据权利要求6所述的信息处理设备，

其中，所述电路被配置为使用所述显示标记的所述已知坐标，来估计所述第一相机相对于所述显示屏幕的所述第一位置信息。

8.根据权利要求6所述的信息处理设备，

其中，所述电路还被配置为根据所述第一相机在所述显示屏幕的所述坐标系中的位置和方向，控制所述显示屏幕的显示图像的输出。

9.根据权利要求1所述的信息处理设备，

其中，所述电路被配置为获得所述显示屏幕的多个第一图像，并且其中，所述电路被配置为获得与所述多个第一图像对应的所述至少一个标记的多个第二图像。

10.根据权利要求9所述的信息处理设备，

其中，所述显示屏幕的所述多个第一图像由所述第一相机从与所述第一位置信息对应的位置处获取，并且所述多个第二图像由所述第二相机从与所述第二位置信息对应的位置处获取。

11.根据权利要求9所述的信息处理设备，

其中，所述多个第一图像由所述第一相机从多个位置处获取，并且所述多个第二图像由所述第二相机从与所述第一相机的所述多个位置对应的多个位置处获取。

12.根据权利要求1所述的信息处理设备，

其中，所述至少一个标记是逆反射材料，并且

其中，所述第二相机是红外相机。

13.根据权利要求1所述的信息处理设备，

其中，所述电路被配置为基于所述第一位置信息和所述偏移信息，估计所述第二相机相对于所述显示屏幕的所述第二位置信息。

14.根据权利要求13所述的信息处理设备，

其中，所述电路被配置为基于所述至少一个第二图像和所述第二位置信息，估计所述至少一个标记相对于所述显示屏幕的所述第三位置信息。

15.根据权利要求14所述的信息处理设备，

其中，所述至少一个标记包括在所述成像空间中设置在所述第二相机周围的多个标记，并且

其中，所述电路还被配置为基于所述第三位置信息，生成所述多个标记的图。

16.根据权利要求1所述的信息处理设备，

其中，所获得的偏移信息是基于所述第二相机与第三相机之间的预定偏移信息而获得的，并且

其中，所述第二相机与所述第三相机之间的位置关系是固定的。

17.根据权利要求1所述的信息处理设备，

其中，所述电路被配置为通过基于所述第一相机和所述第二相机的多个相对姿态，来执行校准，从而估计所述偏移信息。

18.根据权利要求1所述的信息处理设备，

其中，所述电路被配置为通过基于七自由度参数，来解决手眼标定，从而估计所述偏移信息，所述七自由度参数包括：

与所述第一相机和所述第二相机的相对位置和方向相关的六自由度参数，以及

与尺度不变性相关的单自由度参数。

19.一种信息处理方法，包括：

获得显示屏幕的至少一个第一图像，所述至少一个第一图像由第一相机获取；

获得所述显示屏幕周围的成像空间中的至少一个标记的至少一个第二图像，所述至少一个第二图像由第二相机获取；

基于所述至少一个第一图像，估计所述第一相机相对于所述显示屏幕的第一位置信息；

获得所述第一相机与所述第二相机之间的偏移信息；并且

基于所述第一位置信息、所述至少一个第二图像和所述偏移信息，估计所述第二相机相对于所述显示屏幕的第二位置信息和所述至少一个标记相对于所述显示屏幕的第三位置信息，

其中，所述第一相机与所述第二相机之间的位置关系是固定的。

20.一种非暂时性计算机可读介质，其上包含有程序，所述程序在由计算机执行时，使所述计算机执行信息处理方法，所述方法包括：

获得显示屏幕的至少一个第一图像，所述至少一个第一图像由第一相机获取；

获得所述显示屏幕周围的成像空间中的至少一个标记的至少一个第二图像，所述至少一个第二图像由第二相机获取；

基于所述至少一个第一图像，估计所述第一相机相对于所述显示屏幕的第一位置信息和所述至少一个标记相对于所述显示屏幕的第三位置信息；

获得所述第一相机与所述第二相机之间的偏移信息；并且

基于所述第一位置信息、所述至少一个第二图像和所述偏移信息，估计所述第二相机相对于所述显示屏幕的第二位置信息和所述至少一个标记相对于所述显示屏幕的第三位置信息，

其中，所述第一相机与所述第二相机之间的位置关系是固定的。