CN101099161A - 用于装备照相机的移动装置的视觉代码系统及其应用 - Google Patents

Abstract

本发明公开一种视觉代码系统，其中，使用装备照相机的移动电话(或者类似的装置，例如，无线PDA)来识别和解码含有一个或者多个“视觉代码”的图像。通过识别代码标记，该装置可以确定编码在该标记(代码值)中的位图案或者整数、目标物体或者图像元素、以及附加的参数，例如，照相机的视角。在移动装置自身上执行代码识别。当移动装置装备有无线通信信道时，基于感测的代码及其参数，可以用该装置来检索在线内容或者访问因特网上的信息。然后，所检索的内容可以显示在移动装置上。

Description

用于装备照相机的移动装置的视觉代码系统及其应用

相关领域的交叉引用

本申请要求基于2004年4月19日提交的临时申请No.60/563,669的2005年4月13日美国专利申请No.11/105,150的优先权，这两个专利申请的公开内容全部以引用方式并入本文中，并且要求这两个专利申请的优先权。

技术领域

本发明涉及利用装备照相机的移动装置解码机器可读代码的领域。更具体来说，本发明公开一种实际上能够被任何装备照相机的移动装置解码和利用的专用视觉代码。

背景技术

三十多年以来，条形码(barcode)一直用于识别和定价物体。更通常，条形码用于零售，以识别商品的项目。例如，一加仑牛奶可以包含条形码，当扫描时，该条形码就会告知收银员牛奶的价格。

更近来，随着计算机和条形码扫描器变得越来越便携，条形码获得了新的用途。现在，扫描常规的一维条形码所需的电路可以容纳在象普通的钥匙链一样小的装置中。从而，很多移动电话、个人数字助理(“PDA”)和呼机可以用基于激光的扫描装置进行翻新改进，或者可以连接基于激光的扫描装置。这样允许移动装置起到能够存储成百上万的扫描条形码的扫描器的作用。附带扫描器的移动装置允许在无线电子商务中开辟新的天地。一些公司开发了允许用户扫描任何条形码并将该条形码再导向关于扫描产品的介质信息(例如，网站、产品描述、价格等)的软件和硬件。这些程序在物理世界和在线世界之间提供连接，这是以前不存在的。

然而，附带扫描器的移动装置具有限制其扩展到移动市场的一些缺点。首先，没有几种为普通大众生产的包含集成的基于激光的扫描器的移动装置。因此，对于要获得移动装置的扫描能力的用户，他/她必须购买附加的设备。该附加扫描设备还增加了移动装置的尺寸和重量，从而减少了其可移动性。

目前，很多手机和移动装置具有内置照相机。几个因素驱使可买得起的数字照相机的应用及其包含在移动装置内的蓬勃发展。最重要的一个因素是近来可得到基于CMOS技术的便宜的图像传感器。在这些装置上的照相机提供拍摄条形码信息的工具，以前，只有通过基于激光的扫描器才能得到该条形码信息。用包含在移动装置内的数字照相机解码条形码图像，提出了几个难的问题。这些问题远远超出了在市售条形码读取器中存在的难题。

因此，显然需要能够在装备照相机的移动装置上进行解码的视觉代码系统。该视觉代码系统应该能够从宽范围的角度和距离进行解码，以便用于不同的应用。

发明内容

本发明的视觉代码系统使得装备照相机的移动装置起到用于专用二维视觉代码的传感器和解码器的作用。该视觉代码可以印刷在纸文档上，显示在电子屏幕上，或者附着在物理物体上，并且充当访问与物体相关的信息和功能的密钥。

以这种方式增强移动装置是有前途的，因为它们与其用户有不断的联系，从而可用于很多日常生活中。它们提供连续的无线连接，并且，具有集成的照相机的模型变得越来越普遍。能够检测在用户的直接的附近的物体，这增强了移动电话在移动商业、教育和游戏场所的作用。另外，它提供自然方式的相互交流，并且使数据输入更方便。

视觉代码系统提供接近实时地叠加在照相机图像上的文字信息或者图画信息的基础，从而提供用户“增强现实”感。这样使在信息与物理物体紧密相连的情形中的各种不同的应用成为可能。

一个例子是对本领域中的装置或者设备的维护。例如，设备的各个部分可以与不同的视觉代码相关联。通过解码不同的视觉代码，与图像中的项目对准的图画信息可以叠加在照相机图像上。额外的可能的应用包括显示维护指令、定购备件、检查维护时间表等。其它密切相关的应用包括：在邮购目录中方便地订货；在线银行应用中输入参考数字；将最新的在线内容连接报纸；支持与TV商业广告、“现在投票”或者“现在购买”TV广告一体的移动销售简短广告活动；预订各种事件的票；以及，简化自身与移动装置的交互作用。

本发明的视觉代码系统的关键特征是使大量应用例如项目选择和表单输入成为可能的内置的方向无关的坐标系统、旋转角的确定、倾斜度的确定和距离的确定。识别算法精确地确定目标点相对于由视觉代码限定的坐标系统的坐标。该坐标与视觉代码在照相机图像中的取向、倾斜或者旋转无关。这样允许所述应用将取景图像上的每点(从而，任意形状的区域)与信息以及与特定操作相关联。这样，单个视觉代码可以与多个这样的区域(例如，表格的各个单元或者图像的各个元素和区域)相关联。

所述识别算法提供照相机图像中的视觉代码的旋转角，作为额外的输入参数。可以利用这个来简化与移动装置的交互作用。仅仅通过改变移动装置的方向，显示不同的信息，而无需通过键盘的任何交互作用。以上述相同的方式，将水平倾斜度和垂直倾斜度用作额外的输入参数(即，不同的信息与不同的倾斜角度相关联)。图像坐标系统和代码坐标系统之间的映射也用来使照相机图像中的投影畸变不歪曲，从而允许自动拍摄表单元素(form element)。印刷表单的各个区域是不歪曲的，以消除畸变，从而准备它们用于进一步的处理，例如，将它们传输给在线的服务器。

交互场所

当移动电话或者PDA被增强以充当用于真实世界物体的传感器时，开拓新的可能的交互作用。通过在日常生活中提供自然方式的“拾取”数据，缩小在用户周围的物理世界和虚拟世界之间的间距。信息与物理实体组配，由此对其定位并使其基于真实世界内容。因为移动电话是无处不在的、可用的装置，与用户保持不断的联系，所以它们处于对该视觉有贡献的良好位置。至于移动设置的可用性，识别代码所需的短交互时间是至关紧要的。它不需要用户花费很多的努力，仅仅需要几秒钟。

有很多应用场所利用视觉代码：在邮购目录中，通过扫描视觉代码，可以选择项目，以方便地进行定购。在线银行应用中，常常需要从印刷表单上手动地抄写长的参考代码或者交易数字。视觉代码和移动电话可以替代执行该任务的昂贵的专用的装置。在报纸中，视觉代码可以用来存储或者评定报纸文章，以得到与广告相关的背景信息，或者用于更新很快就过时的信息，例如，股票报价和天气预报。使用代码坐标系统，可以限定具有与在线内容相关联的预定的敏感区域的印刷图像地图。这样，单个代码可以与多个项目相关联：例如，地图上的各个区域可以连接与这些区域对应的天气预报，并且，在包含股票报价的印刷表格上的每一行可以链接到被显示在电话上的图表。

在移动销售新兴领域中，视觉代码可以用来简化SMS活动和SMS彩票。在广告活动中，在160百万饮料瓶的标签上印刷Coca Cola代码数字。通过SMS发送数字，客户得到标识语、呼叫声和慰问卡，标签可以参与彩票抽奖。发送5.9百万SMS消息，这对应于3.7％的响应率。使用视觉代码，使该过程更方便用户，并且导致在这种活动中有更多的出席者，这在商业上是非常令人感兴趣的。

所提出的二维代码也适用于在电子屏幕例如计算机显示器、TV荧光屏、公共场所的壁式显示器、以及甚至手持装置的小屏幕上显示。通过在屏幕图像上重叠视觉代码，可以实现在TV上的问卷调查、研究调查和民意测验(如选择最佳的候选人的TV节目)。音乐公司Polydor使用SMS作为在CD的TV简短广告中的移动响应渠道。观看者可以在正式发行日之前通过SMS预订CD，这样立刻增加了销售指数。此外，使用视觉代码，基本上可以提高响应率。装备照相机的移动电话不仅能够检索物体ID，而且还可以用于更复杂形式的交互作用。我们的代码识别系统还提供电话的方向、旋转量和图像中心的坐标。

因此，本发明的目的在于提供一种视觉代码系统，该视觉代码系统利用由视觉代码限定的方向无关的坐标系统以及相关联的识别算法，该识别算法确定照相机图像中的目标点相对于该坐标系统的坐标。

本发明的另一目的在于提供一种视觉代码系统，该视觉代码系统将图像的多个区域与单个代码相关联，其中，每个区域链接到不同的在线信息和与所述不同的区域相关联的操作。

本发明的又一目的在于提供一种视觉代码系统，该视觉代码系统包括旋转度确定特征、垂直倾斜度和水平倾斜度确定特征、以及距离确定特征，这允许与不同信息相关联的不同的旋转、倾斜和距离值。

本发明的另一目的在于将本发明的视觉代码系统用于项目选择，显示以文字、图画(例如，在移动装置的屏幕上或者在附近的电子显示器上)、听觉(例如，通过移动装置的扬声器、头戴送受话器)或者触觉的形式的信息，以及触发不同的操作。

本发明的另一目的在于提供一种应用，其中，文字的或者图画的反馈自身叠加在照相机图像上，与存在于该图像中的项目正确地对准(“配准”)，从而给予用户“增强现实”感。

本发明的另一目的在于提供一种应用，其中，视觉代码系统与印刷表单结合使用，以方便数据输入。

参阅下面的详细描述和附图，本发明的这些和其它目的将变得更加清楚。

附图说明

图1示出视觉代码及其新颖特征的例子。

图2示出由装备照相机的移动装置解码视觉代码所用的步骤的流程图。

图3示出由图2的代码比特置步骤所用的步骤的流程图。

图4示出包含视觉代码的印刷文档的例子。

图5示出包含视觉代码的印刷文档的另一例子。

图6示出用于日历事件的输入的范例表单。

具体实施方式

下面给出对本发明的优选实施例(以及一些可供选择的实施例)的详细描述。然而，对于本领域的技术人员来说，应该显而易见的是，可以对所描述的实施例进行形式和内容的修改，以针对各种不同的情形进行优化。

首先参照图1，该图所示的是用于本发明的视觉代码101的例子。视觉代码101由用于确定视觉代码101的位置和方向的大引导条103和小引导条105、以及用于检测畸变的三个墙角石107，109和111、和具有实际代码比特的数据区域构成。所显示版本的视觉代码101具有83比特的容量，但是它的设计是一般的并且适用于扩展到大的比特数。视觉代码101甚至可以可靠地定位在小的、倾斜的低质量的图像中。

可以使用标准墨或者红外墨印刷视觉代码101。如果使用红外墨印刷视觉代码101，则数字照相机必须能够识别红外图像。红外墨具有这样的优点，即，视觉代码101是裸眼不可见的。因此，如果本发明的算法在无论何时都使用移动装置的数字照相机的背景下不断地运行，则可以使用视觉代码101的解码来使某一信息出现。

这三个墙角石107，109和111限定由所述代码引入的坐标系统。墙角石107位于原点或者位置(0，0)。类似地，墙角石109显示位于位置(10，0)，而墙角石111位于位置(0，10)。在该坐标系统中，大引导条103的中心位于位置(10，5)，而小引导条105的中心位于位置(8，10)。该代码需要在代码周围的单个代码元素的空白空间(在代码坐标系统中的1单元)。多个视觉代码可以相互相继地印刷，例如，以栅格的形式布置。在每个相邻的代码之间需要单个代码元素的空白空间(在代码坐标系统中的1单元)。

接下来，参照图2，该图所示的流程图示出由装备照相机的移动装置解码视觉代码101所用的步骤。首先，在步骤S201中，针对径向畸变，校正数字照相机所拍摄的图像。由数字照相机所获得的图像通常显示出一定量的桶形畸变。然而，对于较新的电话照相机，较少出现径向透镜畸变的问题，尤其如果代码仅仅占图像的小区域。通过将每个像素径向地移向图像的中心来校正该图像。位移仅仅取决于像素离图像中心的距离，而不取决于要校正的具体图像。下面的校正函数得到足够的结果(w和h分别是图像的像素宽度和像素高度，r是离图像中心的距离，k是反映透镜的径向畸变量的常量)：

$r=\sqrt{{(x_{\mathrm{distorted}}-w/2)}^2+{(y_{\mathrm{distorted}}-h/2)}^2}$

x_undistorted＝(x_distorted-w/2)(1+kr²)+w/2。

y_undistorted＝(y_distorted-h/2)(1+kr²)+w/2

对于诺基亚7650的集成照相机，通过手动测试，找到可接受的K＝6×10^-7。对于较新的诺基亚6600、7610和6630，不需要校正。甚至，对于诺基亚7650，没有校正也进行代码识别。

步骤S201是可任选的，因为单个视觉代码通常仅仅覆盖照相机图像的小区域。在这种情况下，径向透镜畸变不明显。然而，对于一些应用，如涉及对照相机图像中的项目进行精确选择的那些应用，该步骤可以提高精确度。

接下来，在步骤S203中，因为图像中的三种色彩通道通常具有不同的形状和对比度质量，所以，对图像进行灰度标定和自适应阈值选择。因此，该算法使用公式：灰度＝(红色+绿色)/2，而不是使用更简短的形式：灰色＝(红色+绿色+蓝色)/3或者用于亮度的ITU标准公式Y＝0.2126红色+0.7152绿色+0.0722蓝色。该公式是计算高效的，并且产生足够的起始点用于阈值选择。

采用自适应法，以产生黑白版本的灰度标定的图像，因为照相机图像的亮度不是恒定不变的，并且，印刷代码可能被不均匀地照明。该算法使用灰度值的(加权的)移动平均法，同时以蛇形的方式横穿该图像。按照下述公式更新平均值g_s(n)：

$g_s\left(n\right)=g_s(n-1)\·(1-\frac{1}{s})+p_n,$

 其中，p_n表示当前像素的灰度值，s表示移动平均的宽度。给g_s赋予初始值 $g_s\left(0\right)=\frac{1}{2}\mathrm{cs},$ 其中，c是最大可能的灰度值。然后，基于下述公式来选择阈值化的像素T(n)的色彩：

$T\left(n\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{p}_n<\frac{g_s\left(n\right)}{s}\&CenterDot;\frac{100-t}{100}\\ 0,& \mathrm{otherwise}\end{array}\right\}.$

t和s的推荐值为t＝15和 $s=\frac{1}{8}w,$ 其中，w是图像的宽度。

在图像经过步骤203中的灰度标定之后，接下来，在步骤S205中，该算法试图识别和标明图像的不同区域。该步骤由下述步骤组成：寻找相邻的黑色像素的区域，计数它们，以及给每个区域分配一个号码。所用的算法是公知的两阶段方法。在第一阶段中，一行一行地贯穿图像，分配初始的标号给找到的区域。在该过程中，可能会发生这样的情况，具有不同标号的两个区域实际上属于相同的区域。在这种情况中，这两个临时的标号的等同性被存储在表格中。第二阶段通过合并相应的区域来解决等同性，并且分配最终的标号给每个区域。

接下来，在步骤S207中，该算法计算不同区域的形状和方向。为了在找到的区域中识别取向条的候选者，使用二阶矩的概念。由像素组R组成并且具有重心的区域的二阶矩定义为：

${\mathrm{\&mu;}}_{\mathrm{xx}}=\frac{1}{\left|R\right|}\underset{(x,y)\&Element;R}{\mathrm{\&Sigma;}}{(x-\stackrel{\&OverBar;}{x})}^2$

${\mathrm{\&mu;}}_{\mathrm{yy}}=\frac{1}{\left|R\right|}\underset{(x,y)\&Element;R}{\mathrm{\&Sigma;}}{(y-\stackrel{\&OverBar;}{y})}^2,$

${\mathrm{\&mu;}}_{\mathrm{xy}}=\frac{1}{\left|R\right|}\underset{(x,y)\&Element;R}{\mathrm{\&Sigma;}}(x-\stackrel{\&OverBar;}{x})(y-\stackrel{\&OverBar;}{y})$

对于这些矩，与该区域具有相同的主轴和次轴的椭圆E＝{(x，y)|dx2+2exy+fy2≤1}可以通过下述设置来限定：

$\left(\begin{array}{cc}d& e\\ e& f\end{array}\right)=\frac{1}{4{\mathrm{\&mu;}}_{\mathrm{xx}}{\mathrm{\&mu;}}_{\mathrm{yy}}-{\mathrm{\&mu;}}_{\mathrm{xy}}^2}\left(\begin{array}{cc}{\mathrm{\&mu;}}_{\mathrm{yy}}& -{\mathrm{\&mu;}}_{\mathrm{xy}}\\ -{\mathrm{\&mu;}}_{\mathrm{xy}}& {\mathrm{\&mu;}}_{\mathrm{xx}}\end{array}\right)\&CenterDot;$

主轴和次轴的长度比是对区域的“偏心率”的好的量度：理想的圆和正方形具有等于1的比值，而线段具有近似零的比值。这对识别具有棒状的形状的区域非常有用。此外，区域的主轴的方向矢量可以计算为：

$\left(\begin{array}{c}-\sin \mathrm{\&alpha;}\\ \cos \mathrm{\&alpha;}\end{array}\right),$

其中， $\mathrm{\&alpha;}=\frac{1}{2}\arctan \left(\frac{2e}{d-f}\right)\&CenterDot;$

一旦识别不同区域的形状和方向，在步骤S209中，该算法执行定位和评估视觉代码的步骤。通过寻找引导条候选者和寻找相应的墙角石来定位图像中的代码。仅通过选择具有足够小的轴比(例如，低于0.05)的那些区域，就找到引导条候选者。对于这些候选者中的每一个，使用区域的尺寸和方向来评估小引导条105和三个墙角石107，109和111的期望位置。然后，检查这些特征实际上是否存在于预计的位置上。如果它们的轴比超过某一限度(如上面所述，理论上，它们应该具有等于1的比值)，才接受找到的墙角石候选者。如果对于某一引导条候选者不存在任何代码特征(墙角石107，109和111、以及小引导条105)，则放弃该特定候选者，并且检查下一个。

现在，参照图3，该图所示的流程图示出被图2的代码定位步骤209所用的步骤。首先，在步骤303中，该算法计算从代码坐标到图像坐标的投影映射(以及从图像坐标到代码坐标的逆映射)。一旦找到具有所有代码特征的引导条候选者，该算法就假定这个确实是图像中的代码，并且开始读取编码比特。到此为止，必须确定图像中的比特位置，即，人们需要一个函数将每个代码比特映射到图像像素。因为代码元素是共面的，所以在代码平面和图像平面之间存在唯一的单应性(投影变换矩阵)。一旦知道四个对应的点，就可以计算投影映射。在该算法中，这些对应点是三个墙角石107，109和111的中心，再加上小引导条105的中心。这样产生其原点在代码的左上角的代码坐标系统。

左上角的墙角石107、右上角的墙角石109、大引导条103和左下角的墙角石111的代码坐标定义为(0，0)、(10，0)、(8，10)和(0，10)。假设这些元素分别在图像坐标(x_i，y_i)(i∈{0，...，3})上找到。代码坐标(u，v)(u，v∈{0，...，10})映射到图像坐标(x，y)，其中，

$x=\frac{\mathrm{au}+\mathrm{bv}+10c}{\mathrm{gu}+\mathrm{hv}+10},$ $y=\frac{\mathrm{du}+\mathrm{ev}+10f}{\mathrm{gu}+\mathrm{hv}+10}\&CenterDot;$

根据如下四个参考点(x_i，y_i)(i∈{0，...，3})计算参数a至h：

Δx₁＝x₁-x₂ Δy₁＝y₁-y₂ Δx₂＝x₃-x₂ Δy₂＝y₃-y₂

∑x＝0.8x₀-0.8x₁+x₂-x₃  ∑y＝0.8y₀-0.8y₁+y₂-y₃

$g=\frac{\mathrm{\&Sigma;x\&Delta;}{y}_2-\mathrm{\&Sigma;y\&Delta;}{x}_2}{{\mathrm{\&Delta;x}}_1{\mathrm{\&Delta;y}}_2-\mathrm{\&Delta;}{y}_1\mathrm{\&Delta;}{x}_2}$

$h=\frac{\mathrm{\&Sigma;y\&Delta;}{x}_1-\mathrm{\&Sigma;x\&Delta;}{y}_2}{{\mathrm{\&Delta;x}}_1{\mathrm{\&Delta;y}}_2-\mathrm{\&Delta;}{y}_1\mathrm{\&Delta;}{x}_2}$

a＝x₁-x₀+gx₁d＝y₁-y₀+gy₁

b＝x₃-x₀+hx₃e＝y₃-y₀+hy₃。

c＝x₀    f＝y₀

对于选择图像中可见的项目的应用来说，到上述一个的逆映射是重要的。给出像素坐标，从而可以得到其在由代码产生的坐标系统中的相应坐标。图像坐标(x，y)按照如下关系映射到代码坐标(u，v)：

$u=10\&CenterDot;\frac{\mathrm{Ax}+\mathrm{By}+C}{\mathrm{Cx}+\mathrm{Hy}+1},$ $v=10\&CenterDot;\frac{\mathrm{Dx}+\mathrm{Ey}+F}{\mathrm{Gx}+\mathrm{Hy}+1},$

其中，

                A＝e-fh

                B＝ch-b

                C＝bf-ce

                D＝fg-dG＝dh-eg。

                E＝a-cgH＝bg-ah

                F＝cd-afI＝ae-bd

接下来，在步骤S205中，该算法计算在图像中的视觉代码的旋转角。其取0°和359°之间的值。与图像具有相同的方向的代码具有0°的旋转角。通过将点(0，0)和(100，0)从代码坐标系统映射到图像坐标系统来确定旋转，从而得到图像点(a_x，a_y)和(b_x，b_y)。于是，旋转角确定为：

$\mathrm{\&alpha;}=\arctan \{(a_y-b_y)/(a_x-b_x)\}\&CenterDot;\frac{180}{\mathrm{\&pi;}},$

但是，几种特殊情况必须考虑。

在计算视觉代码的旋转角之后，接下来，在步骤307中，该算法确定水平倾斜度和垂直倾斜度。术语“倾斜度(tilting)”表示图像平面相对于代码平面倾斜的量。“水平倾斜度”是图像平面相对于视觉代码的水平轴倾斜的量。类似地，“垂直倾斜度”表示图像平面相对于视觉代码的垂直轴倾斜的量。1的倾斜度表示没有倾斜，小于1的值表示朝左/上倾斜，大于1的值表示朝右/下倾斜。倾斜度参数计算如下：计算在代码坐标系统的轴方向上离图像中心点恒定距离h(图像高度)的四个图像点。将它们映射到相应的代码坐标，并且计算它们离中心点的距离。这些距离的比值确定倾斜度参数t_x和t_y。它们与图像中的代码的尺寸无关。如果取决于照相机参数的常量r是已知的，则可以由这些比值确定倾斜角t_x ^α和$t_y ^α。通过实验可以得到它。

    i＝图像中心点的图像坐标

    c＝代码坐标(i)

    x＝图像坐标(c+(1，0))-i

    y＝图像坐标(c+(0，1))-i

    u＝x/|x|

    v＝y/|y|

    l＝|代码坐标(i-hu)-c|

    r＝|代码坐标(i+hu)-c|

    t＝|代码坐标(i-hv)-c|

    b＝|代码坐标(i+hv)-c|

    t_x＝l/r

    t_y＝t/b

$t_x^{\mathrm{\&alpha;}}=\arctan \left(r\frac{t_x-1}{t_x+1}\right)$

$t_y^{\mathrm{\&alpha;}}=\arctan \left(r\frac{t_y-1}{t_y+1}\right)$

接下来，在步骤S308中，该算法计算代码离照相机的距离。如果真实的代码尺寸s_real(印刷代码的左上角的墙角石和右上角的墙角石的中心之间的距离)和照相机的焦距f是已知的，则使用针孔模型，由s_image(照相机图像中的上墙角石的中心之间的像素距离)可以计算从照相机到未倾斜的视觉代码的米制距离为(w_image是图像的像素宽度)：

$D_{\mathrm{camera},\mathrm{code}}=\frac{s_{\mathrm{real}}\&times;f}{s_{\mathrm{image}}/w_{\mathrm{image}}}\&CenterDot;$

因为通常s_real和f是未知的，并且我们为了交互目的想要使用代码距离，而不是测量其准确的值，所以我们用图像中的视觉代码的尺寸来定义该距离。对于在取景器模式中识别代码的最远距离，我们设定d_{camera，code}：＝100。对于通常的装置，情况就是这样，当s_image＝25个像素时，总计达图像宽度的15.625％。因此，该距离计算为：

$d_{\mathrm{camera},\mathrm{code}}=\frac{15.625}{s_{\mathrm{image}}/w_{\mathrm{image}}}\&CenterDot;$

如果s_real和f是已知的，仍可以根据d_{camera，code}计算米制距离。

对于本领域的技术人员来说，应当显而易见的是，可以按任何顺序执行步骤303、305、307、308和309，因为每个步骤都是分离的，并且输出不同的参数或者结果。

一旦识别引导条103和105以及墙角石107，109和111的位置并且计算合适的投影映射(从代码坐标到图像坐标)，在步骤309中，该算法就使用代码坐标(u，v)通过简单地测试黑白图像的适当的像素(x，y)来读取编码比特，其中，u，v∈{0，...，10}，(x，y)＝图像坐标((u，v))。

可任选地，在步骤S311中，可以进行误差检测。所用的(83，76，3)线性代码将76比特ID编码为83比特代码字。所得到的加重平均距离是三，这应该足以高概率地识别错误的代码。或者，其它的误差检测或者误差校正代码，例如Reed-Solomon代码，可以用来提高可靠性和对比特误差的鲁棒性。这可能以稍高的处理时间和实际上可用于数据存储的低比特数为代价出现。例如，原来83比特的15比特可能用于Reed-Solomon误差校正代码，留下68比特用于数据存储。

算法的应用

A.旋转角和倾斜度的确定

除了图像中心的代码坐标之外，识别算法提供移动装置相对于代码的方向。具体来说，该算法提供代码在图像中的旋转度、观看位置(从左，从右，从上，从下)、图像平面相对于代码平面倾斜的量、以及代码距离照相机的距离。识别算法实施的在图像平面和代码平面之间的投影映射(平面单应性)，允许将图像坐标中给定的任意点映射到代码坐标中的相应点上，反之亦然。

B.项目选择

代码坐标系统和方向确定特征使涉及在印刷文档上选择项目的大量感兴趣的应用方案成为可能。一个例子是选择在印刷的邮购目录上显示的文章。只要项目的代码坐标是已知的，单个代码就足够。这可以通过内容创建软件来实现，该软件产生关于代码的“图像地图”及其相关联的敏感区域。因此，可以扫描邮购目录上的文章，将其存储在移动装置中，并且可以检索关于该文章的当前信息。然后，可以使用由移动装置提供的无线通信信道来进行定购。

例如，在图4中，该图所示的包含视觉代码的印刷文档的例子。地图上的区域和表格中的条目单独地映射到不同的URL，从而与在线内容相关联。

在报纸上，在线背景信息可以通过视觉代码链接文章、广告或者很快过时的信息，如天气预报或者股票报价。通过使用代码坐标系统，定位在感兴趣的几个项目附近的单个代码就足够用。通过计算距离视觉代码元素的垂直距离和水平距离，可以由投影映射法确定确切的目标区域，如局部的天气预报。在股票报价表上，以同样的方式，可以得到目标的行列，从而得到所需的信息。图4示出从一页报纸上剪切下的图案，其包含具有当前天气数据的地图和包含各个区域的雪高度的表格。在该报纸版面上画出的点线表示被各自链接到在线内容的敏感区域。可以用合适的内容创建软件创建这种绘图。作为原型，我们开发允许将这些区域画到图像并对每个区域指定相关联的URL的绘图工具。该工具计算这些区域在存在于所述图像中的代码的坐标系统中的坐标，并且将该数据存储为XML文件。通过考虑由代码系统提供的其它的参数，例如，旋转度和倾斜度，可以对每个区域指定多个URL。如图4所示，单个代码足以分别选择所述区域和表格条目。通过旋转移动装置，可以选择在线信息的不同方面：在实例中，垂直方向显示所选择的区域的雪深度，而轻微的旋转显示当前的温度。

作为另一个例子，视觉代码可用于移动营销，以将样品号码(coupon number)自动输入到移动装置。一个例子是饮料生产商的SMS活动：饮料瓶含有数字(由视觉代码表示)，该数字可以作为SMS发送，从而可以参与彩票抽奖。在TV上，可以使用视觉代码来互动地输入特别调查和测试中的多选问题的答案，或者在TV节目中选择候选人。该装置的代码坐标和方向可以充当附加的输入参数(除了代码值以外的)，例如，以回答多选问题。

额外可能的应用涉及简化自身与移动装置的交互作用。例如，电话号码可以编码为视觉代码，印刷在名片或者电话本上。取决于图像中的代码的方向，该装置要么立即呼机编码的电话号码，将虚拟名片存储在装置的存储器中，要么(对于移动电话号码)启动装置的SMS编辑应用。所述装置的用户界面的部分，如深藏的菜单，可以通过下述方式来具体化：将它们与视觉代码相关联，将它们印刷在纸上，或者将它们显示在大平屏幕上。

本发明的另外的可能的应用场合是将在线内容和操作加入到印刷文档上，如广告传单、杂志等。范例的在线操作是通过移动电话售卖事件票、剧院票或者电影票。

图5示出印刷电视杂志的一页，其装备有嵌入的视觉代码。通过瞄准印刷的视觉代码，可以显示剧情简介，可以给出演员表列单，可以显示或者提交电影评级，可以启动电影预告片，并且，可以通过移动电话直接预订票。

C.表单输入

视觉代码还可以与印刷表单结合，以便简化表单输入，其中，移动杂志提供无线通信信道，从而方便又便宜地发送回输入的数据。这些表单的领域可以是复选框、标尺和用于自由输入文字或图画的画布领域。使用表单周围的框作为标记，可以精确地定域各个表单元素。识别算法的投影映射使得图像的各部分以及整个图像“不歪曲”。

图6示出用于日历事件的条目的范例表单。所述识别算法首先识别代码并定位所述框的边缘。然后，针对复选标记，扫描定位在表单中的复选框。最后，画布领域是“不歪曲的”，即，消除其倾斜，如图6的下部分所示，并且将其存储。

为了定义所述表单，使用标记语言，该标记语言描述表单的结构，包括其所包含的输入元素的位置和种类。该代码首先用作密钥，以从在线服务器检索所述表单描述。在解释所检索的标记之后，根据领域类型可以将用户输入分类，并且将用户输入发送回服务器。

Claims (28)

1.一种用于解码视觉代码的方法，包括以下步骤：

使用装备有数字照相机的移动装置拍摄视觉代码的图像；

对所述视觉代码图像进行灰度标定；

对所述视觉代码图像进行阈值选择；

识别所述视觉代码图像中感兴趣的区域；

计算在所述视觉代码内的不同区域的方向和形状；

将所述视觉代码定位在所述视觉代码图像内；以及

评估被定位在所述视觉代码图像中的所述视觉代码。

2.根据权利要求1所述用于解码视觉代码的方法，还包括下述步骤：

在对所述视觉代码图像进行灰度标定之前，针对径向透镜畸变，校正所述视觉代码图像。

3.根据权利要求1所述用于解码视觉代码的方法，其中评估所述视觉代码的所述步骤包括以下步骤：

计算所述视觉代码从所述图像坐标系统到视觉代码坐标系统的投影映射；

计算所述视觉代码从视觉代码坐标系统到所述图像坐标系统的投影映射；

计算被定位在所述视觉代码图像中的所述视觉代码的旋转角；

计算所述视觉代码的水平倾斜值和垂直倾斜值；

计算所述视觉代码距离所述移动装置的距离；以及

读取在所述视觉代码内的编码比特。

4.根据权利要求3所述用于解码视觉代码的方法，还包括下述步骤：

在所述视觉代码上执行误差检测。

5.根据权利要求3所述用于解码视觉代码的方法，其中所述视觉代码由三个墙角石、一个小引导条和一个大引导条构成。

6.根据权利要求5所述用于解码视觉代码的方法，其中单个的视觉代码是通过识别所述墙角石、所述小引导条和所述大引导条来定位的。

7.根据权利要求3所述用于解码视觉代码的方法，其中所述视觉代码由三个墙角石、一个小引导条和一个大引导条构成，并且在计算所述视觉代码的所述旋转角、计算所述视觉代码的所述距离以及计算所述视觉代码的所述倾斜度的步骤中，使用所述小引导条和所述大引导条的方向。

8.根据权利要求1所述用于解码视觉代码的方法，其中，对所述视觉代码图像进行灰度标定的所述步骤是通过对红像素和绿像素的值求平均而计算每个灰度标定的像素的值来执行的。

9.根据权利要求8所述用于解码视觉代码的方法，其中，使用加权移动平均算法将所述灰度标定的视觉代码图像转换为黑白图像。

10.根据权利要求3所述用于解码视觉代码的方法，其中，所述小引导条和所述大引导条通过定位所述视觉代码图像中的具有在预定范围内的轴比的区域而被识别。

11.根据权利要求5所述用于解码视觉代码的方法，其中，所述三个墙角石和所述大引导条定位在(0，0)、(10，0)和(0，10)的位置上，并且所述大引导条的中心定位在所述视觉代码坐标系统中的(8，10)位置上。

12.根据权利要求3所述用于解码视觉代码的方法，其中，利用由所述视觉代码的旋转角、水平倾斜值、垂直倾斜值和距离组成的组中的至少一个来从所述视觉代码所定位在其上的菜单中选择选项。

13.根据权利要求5所述用于解码视觉代码的方法，其中，多个视觉代码按栅格形式布置，以通过多个视觉代码存储更多的数据，以及其中评估所述视觉代码的所述步骤还包括识别所述栅格代码的步骤。

14.根据权利要求1所述用于解码视觉代码的方法，其中所述解码实时地进行，以及所述解码的结果在所述移动装置的显示器上是可见的。

15.根据权利要求3所述用于解码视觉代码的方法，其中利用所述视觉代码相对于所述移动装置的方向作为参数，以从数据库中选择条目。

16.根据权利要求15所述用于解码视觉代码的方法，其中所述视觉代码的解码值用作附加参数，以从所述数据库中选择条目。

17.根据权利要求15所述用于解码视觉代码的方法，其中所述数据库将不同的一致资源定位器URL与至少一个方向值相关联。

18.根据权利要求3所述用于解码视觉代码的方法，其中所述视觉代码距离所述移动装置的距离用作参数，以从数据库中选择条目。

19.根据权利要求3所述用于解码视觉代码的方法，其中所述视觉代码相对于所述移动装置的倾斜角用作参数，以从数据库中选择条目。

20.根据权利要求15所述用于解码视觉代码的方法，其中所述数据库将所述方向角与表单条目相关联，从而允许所述移动装置的用户通过改变所述移动装置相对于所述视觉代码的方向来从所述表单中选择条目。

21.根据权利要求15所述用于解码视觉代码的方法，其中所述数据库将所述方向角与由剧情简介、视频片段、音频文件和电影评论组成的组中的至少一个相关联。

22.根据权利要求1所述用于解码视觉代码的方法，其中使用红外墨印刷所述视觉代码，以及其中所述数字照相机是能够拍摄所述红外视觉代码的红外照相机。

23.根据权利要求3所述用于解码视觉代码的方法，其中在照相机图像中可见的一个或者多个代码的代码坐标系统中所表述的目标点用作参数，以从数据库中选择条目。

24.根据权利要求23所述用于解码视觉代码的方法，其中所述视觉代码的解码值用作附加参数，以从所述数据库中选择条目。

25.根据权利要求14所述用于解码视觉代码的方法，其中图画覆盖在所述照相机图像上，并且当所述移动装置移动并且所述视觉代码的所述方向改变时，所述覆盖始终与所述照相机图像中的物体在几何对准。

26.根据权利要求1所述用于解码视觉代码的方法，其中通过交叉线帮助将所述数字照相机瞄准所述视觉代码，所述交叉线显示在所述移动装置的屏幕上。

27.根据权利要求26所述用于解码视觉代码的方法，其中所述移动装置的所述屏幕是触摸屏，以及其中可以通过使用触笔指定所述目标点来指定所述交叉线的所述位置。

28.根据权利要求4所述用于解码视觉代码的方法，其中利用Reed-Solomon误差检测来执行所述误差检测。

Images