CN111860302B - 一种图像标注方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像标注方法、装置、电子设备以及存储介质，涉及计算机视觉技术领域，具体涉及自动驾驶领域的图像处理技术，包括：获取多帧待标注图像；将所述待标注图像划分成多段分段待标注图像；所述分段待标注图像包括至少两帧待标注图像；对各所述分段待标注图像中的标注对象进行并行标注。本申请实施例能够提高图像的标注效率和标注能力。

Description

一种图像标注方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理领域，具体涉及自动驾驶的图像处理技术。

背景技术

图像标注可以是对图像中的物体对象根据设定的标注规则进行标注。例如，可以对图像中的车辆进行框选，或对人脸关键点进行打点处理等。图像标注可以应用于静态单帧图像标注领域，也可以应用于视频标注领域。例如，在视频预览或录像回放过程中，直接在视频的帧图像上对物体对象进行突出标记，使视频更具有针对性的视频处理方式。图像标注可以应用于诸多领域，例如，应用于自动驾驶领域定位障碍物，或应用于视频追踪领域锁定重要的视频线索信息等。

发明内容

本申请实施例提供了一种图像标注方法、装置、电子设备以及存储介质，以提高图像的标注效率和标注能力。

第一方面，本申请实施例提供了一种图像标注方法，包括：

获取多帧待标注图像；

将所述待标注图像划分成多段分段待标注图像；所述分段待标注图像包括至少两帧待标注图像；

对各所述分段待标注图像中的标注对象进行并行标注。

第二方面，本申请实施例提供了一种图像标注装置，包括：

待标注图像获取模块，用于获取多帧待标注图像；

分段待标注图像划分模块，用于将所述待标注图像划分成多段分段待标注图像；所述分段待标注图像包括至少两帧待标注图像；

标注对象并行标注模块，用于对各所述分段待标注图像中的标注对象进行并行标注。

第三方面，本申请实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例所提供的图像标注方法。

第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例所提供的图像标注方法。

本申请实施例通过对获取的多帧待标注图像划分成多段分段待标注图像，以对各分段待标注图像中的标注对象进行并行标注，解决现有图像标注方法存在的标注效率低及标注能力不足等问题，从而提高图像的标注效率和标注能力。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例提供的一种图像标注方法的流程图；

图2是本申请实施例提供的一种图像标注方法的流程图；

图3是本申请实施例提供的一种图像标注方法的效果示意图；

图4是本申请实施例提供的一种图像标注方法的效果示意图；

图5是本申请实施例提供的一种图像标注装置的结构图；

图6是用来实现本申请实施例的图像标注方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目标追踪是计算机视觉领域中的一项关键技术。为了解决追踪问题，需要大量连续的图像标注数据来训练算法。目前，对图像进行标注主要通过两种方式：

(1)在采集到的视频中直接对关键帧图像进行标注，非关键帧图像根据帧差法自动赋值。

上述图像标注方法具体是：首先标注视频的第一帧图像，其次在之后的视频段中选取一帧图像作为关键帧并对其进行标注。然后根据第一帧图像以及其后关键帧图像的标注结果，按照连续且平均的原则对中间过程的非关键帧图像进行自动标注，重复上述流程直至标注完整个视频段。这种图像标注方式因为没有精确的处理每一帧图像的标注，因此无法保证图像的标注精度，应用范围比较有限，只适用于对标注精度没有较高要求的场景，比如流量统计或视频监控等场景中，无法应用于所需训练数据标注精度较高的场景，比如自动驾驶或语义识别等领域。

(2)对采集到的视频抽帧后进行逐帧标注。

上述图像标注方法具体是：先对视频做抽帧处理，然后对抽出来的视频帧图像，从第一帧图像开始逐帧标注每帧图像，直至最后一帧完成标注。如果处理图像标注的电脑性能有限，则需要将所有抽出来的图像分为若干片段。在标注时，需要先标注第一个片段的图像，然后根据第一个片段的图像的标注结果串行的标注第二个片段，以此类推。这种标注方法能够精确处理每一帧图像的标注结果，但串行标注的限制，对图像之间的标注时序有很强的要求。也即，需要标完前序的帧图像再标后续的帧图像，因此其标注效率较低。当帧图像数量较大时，产生的较大的标注结果对于电脑性能也是很大的挑战。

在一个示例中，图1是本申请实施例提供的一种图像标注方法的流程图，本实施例可适用于快速进行图像标注的情况，该方法可以由图像标注装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。该电子设备可以是计算机设备等。相应的，如图1所示，该方法包括如下操作：

S110、获取多帧待标注图像。

其中，待标注图像可以是需要对标注对象进行标注的图像。

可以理解的是，在对图像进行标注之前，首先需要获取待标注图像。在本申请实施例中，可以获取多帧待标注图像。

S120、将所述待标注图像划分成多段分段待标注图像；所述分段待标注图像包括至少两帧待标注图像。

其中，分段待标注图像可以是对多帧待标注图像进行分段得到的多帧待标注图像。也即，各分段待标注图像可以包括多帧待标注图像，且各分段待标注图像中包括的图像数量的总和，为待标注图像的数量总和。

相应的，在获取到多帧待标注图像后，可以对多帧待标注图像划分成多个片段，得到多段分段待标注图像。可选的，各个片段的分段待标注图像中包括的图像数量可以相同，也可以不同，本申请实施例并不对分段待标注图像中包括的图像数量进行限定。可选的，各分段待标注图像可以包括至少两帧待标注图像。需要说明的是，为了提高图像标注的效率，通常情况下，分段待标注图像中包括的图像数量可以在20帧至50帧之间。

S130、对各所述分段待标注图像中的标注对象进行并行标注。

其中，标注对象可以包括障碍物，如汽车、栏杆、行人、树木或广告牌等，还可以包括特征对象，如人脸关键点或瞳孔等，本申请实施例并不对标注对象的具体类型进行限定。也即，待标注图像可以是各种应用场景的需要进行标注的图像，如自动驾驶领域或人脸识别领域等，本申请实施例并不对待标注图像的具体应用场景进行限定。

在本申请实施例中，在对待标注图像划分成多段分段待标注图像，即可对各分段待标注图像中的标注对象进行并行标注。所谓并行标注也即同时对各分段待标注图像中的标注对象进行标注，而无需按照分段待标注图像的顺序，依次对各分段待标注图像中的标注对象串行标注。

需要说明的是，在对各分段待标注图像中的标注对象进行并行标注时，各分段待标注图像可以采用彼此相互独立的标注规则进行标注。示例性的，当采用编号对标注对象进行标注时，假设第一个分段待标注图像中包括3个标注对象，则可以利用编号“1、2及3”对第一个分段待标注图像的各标注对象依次标注。假设第二个分段待标注图像中包括4个标注对象，则可以利用编号“1、2、3及4”对第一个分段待标注图像的各标注对象依次标注，或者，也还可以利用编号“5、6、7或8”对第一个分段待标注图像的各标注对象依次标注。也即，各分段待标注图像的标注行为不受其他分段待标注图像的标注行为所影响。

可以理解的是，在对标注对象进行标注时，为了唯一标识各标注对象，各待标注图像中相同的标注对象可以采用相同的标注方式，例如，采用统一的编号等。不同的标注对象则需要采用不同的标注方式，如新增一个标注对象，则在当前已有最大编号的基础上进行累加，得到新增的编号，并对新增的标注对象进行标注。

另外还需说明的是，虽然各分段待标注图像可以采用彼此相互独立的标注规则进行并行标注，但为了对各分段待标注图像的标注结果进行统一处理，在并行标注时还需要利用各分段待标注图像共同的不变的内容进行关联。示例性的，在对各分段待标注图像中相同标注对象的编号进行统一时，可以通过设置重叠帧的方式对各分段待标注图像进行关联。或者在相邻两待标注图像之间差别不大，且相邻两待标注图像包括的标注对象基本相同的情况下，如不对连续帧图像进行抽帧处理而直接进行标注时，还可以通过各分段待标注图像中前序图像以及后续图像在视频中的时间为依据，对各分段待标注图像进行关联，本申请实施例并不对各分段待标注图像进行关联的方式进行限定。

由此可见，通过采用并行标注的方式，对各分段待标注图像中的标注对象进行标注，可以大幅缩短图像标注的时间，从而提高图像的标注效率和标注能力。

本申请实施例通过对获取的多帧待标注图像划分成多段分段待标注图像，以对各分段待标注图像中的标注对象进行并行标注，解决现有图像标注方法存在的标注效率低及标注能力不足等问题，从而提高图像的标注效率和标注能力。

在一个示例中，图2是本申请实施例提供的一种图像标注方法的流程图，图3是本申请实施例提供的一种图像标注方法的效果示意图，图4是本申请实施例提供的一种图像标注方法的效果示意图，本申请实施例在上述各实施例的技术方案的基础上，进行了优化改进，给出了获取多帧待标注图像、将所述待标注图像划分成多段分段待标注图像，以及对各所述分段待标注图像中的标注对象进行并行标注的多种具体可选的实现方式。

如图2、图3图4所示的一种图像标注方法，包括：

S210、根据设定抽帧频率对连续帧图像进行抽帧处理，得到所述待标注图像。

其中，设定抽帧频率可以根据实际需求设定，如每10帧抽1帧，或每1秒抽5帧等，本申请实施例并不对设定抽帧频率的具体数值进行限定。连续帧图像也即一段视频包括的所有图像。

可选的，可以采用根据设定抽帧频率对连续帧图像进行抽帧处理的方式，获取多帧待标注图像。或者，也还可以直接将一段连续帧图像直接作为待标注图像，本申请实施例对此并不进行限制。

S220、将所述待标注图像划分成多段分段待标注图像；所述分段待标注图像包括至少两帧待标注图像。

相应的，S220具体可以包括下述操作：

S221、根据所述待标注图像的时间顺序以及所述分段待标注图像的设定图像数量，划分当前分段待标注图像。

其中，设定图像数量可以根据需求设定，可选的，设定图像数量可以在20-50之间。同时，不同分段待标注图像对应的设定图像数量可以相同，也可以不同，本申请实施例对此并不进行限制。当前分段待标注图像也即当前划分得到的分段待标注图像。

在本申请实施例中，可以依次划分各分段待标注图像。可选的，在对第一段分段待标注图像进行划分时，可以根据待标注图像的时间顺序以及分段待标注图像的设定图像数量，划分当前分段待标注图像，作为第一段分段待标注图像。例如，将连续帧图像的前20帧图像作为第一段分段待标注图像。

S222、根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧。

其中，重叠帧设置规则可以用于设置各分段待标注图像之间的重叠的帧图像。当前重叠帧可以是当前分段待标注图像中包括的，与其他分段待标注图像相互重叠的图像帧。

相应的，当第一段分段待标注图像作为当前分段待标注图像划分完成后，可以根据重叠帧设置规则确定当前分段待标注图像的当前重叠帧。可选的，不同分段待标注图像的当前重叠帧的数量可以相同，也可以不同，本申请实施例对此并不进行限制。

可以理解的是，在确定当前分段待标注图像的当前重叠帧时，可以仅针对当前分段待标注图像确定后续图像的重叠帧。例如，如图3所示，将当前分段待标注图像的后1帧作为当前重叠帧。相应的，当前分段待标注图像的下一段分段待标注图像的前1帧图像可以是当前分段待标注图像的后1帧图像。也即，当前分段待标注图像与当前分段待标注图像的下一段分段待标注图像之间，存在1帧相同的图像。

在本申请的一个可选实施例中，所述重叠帧设置规则包括：将用于判定图像对象消失的帧图像数量，作为重叠帧的数量；或，将默认设置的帧图像数量，作为重叠帧的数量。

其中，重叠帧设置规则可以包括多种类型。可选的，可以将用于判定图像对象消失的帧图像数量，作为重叠帧的数量。例如，无人车障碍物标注规则中要求障碍物消失5帧即对标注对象赋予新的编号，此时，可以设置重叠帧的数量为5帧。或者，也还可以将默认设置的帧图像数量，作为重叠帧的数量。例如，默认设置1帧图像作为重叠帧的数量。其中，将默认设置的帧图像数量作为重叠帧的数量的重叠帧设置规则适用于没有特殊标注要求的应用场景。

上述方案中，通过多种类型的重叠帧设置规则设置各分段待标注图像之间的重叠帧，可以满足图像标注方法对多种应用场景的应用需求。

S223、将所述当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据所述设定图像数量确定所述下一段分段待标注图像的剩余待标注图像。

相应的，在当前分段待标注图像划分完成且确定了当前重叠帧后，可以将当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据设定图像数量确定下一段分段待标注图像的剩余待标注图像。

在一个示例性的例子中，假设第一段分段待标注图像划分完成，且确定了当前重叠帧为2帧，则可以将第一段分段待标注图像的最后2帧图像作为第二段分段待标注图像的前两帧图像。假设各分段待标注图像中的设定图像数量均为20帧，则可以根据时间顺序，从连续帧图像中获取第20帧至第37帧图像作为第二段分段待标注图像的剩余待标注图像，以完成对第二段分段待标注图像的划分。也即，第一段分段待标注图像包括第1帧至第20帧图像，第二段分段待标注图像包括第19帧至第38帧图像，第一段分段待标注图像和第二段分段待标注图像包括第19帧和第20帧两帧重叠图像。

S224、将所述下一段分段待标注图像作为所述当前分段待标注图像。

S225、判断当前分段待标注图像是否为最后一段分段待标注图像，若是，则执行，否则，返回执行S222。

S226、完成对全部待标注图像的划分。

在对当前分段待标注图像的下一段分段待标注图像划分完成后，可以将下一段分段待标注图像更新为当前分段待标注图像，并返回执行根据重叠帧设置规则确定当前分段待标注图像的当前重叠帧的操作，直至完成对全部待标注图像的划分。如图3所示，在对全部待标注图像划分完成且设置了重叠帧后，即可对各分段待标注图像开始进行并行标注。如利用方框框选出各标注对象，并对标注对象依次进行编号(也即标ID)。

上述方案中，通过利用重叠帧设置规则对各分段待标注图像设置重叠帧，能够建立起各分段待标注图像之间的关联，以用于对各分段待标注图像的标注结果进行统一处理。

在建立各分段待标注图像之间的重叠帧时，除了上述直接将未标注的图像帧设置重叠帧，还可以有多种其他可选的设置方案。如图4所示，可以首先对各分段待标注图像先进行并行标注，并利用方框框选出各标注对象，并对标注对象依次进行编号(也即标ID)。在各分段待标注图像完成标注后，将具有相同标注框(也即具有相同的标注内容)的待标注图像作为重叠帧。

需要说明的是，除了上述利用重叠帧建立起各分段待标注图像之间的关联，还可以存在其他建立起各分段待标注图像之间的关联的方式。假设直接将一段连续帧图像直接作为待标注图像，则还可以根据各分段待标注图像之间前序图像和后续图像的帧编号或时间点等图像标识进行关联。例如，第一段分段待标注图像包括第1帧至第20帧图像，第二段分段待标注图像包括第21帧至第40帧图像。由于相邻两帧图像之间差别不大，包括的标注对象基本相同，因此，第一段分段待标注图像和第二段分段待标注图像可以通过第20帧图像和第21帧图像进行关联。

需要说明的是，如果各分段待标注图像包括的待标注图像的数量相同，且各分段待标注图像之间的重叠帧数量也相同，则可以一次性同时完成全部分段待标注图像的划分，而无需按照时序分别划分各分段待标注图像。示例性的，假设抽帧图像总共有50帧，每段分段待标注图像包括20帧待标注图像，各分段待标注图像之间包括5帧重叠帧，则可以同时确定全部的分段待标注图像：第一段分段待标注图像包括第1帧至第20帧图像，第二段分段待标注图像包括第16帧至第35帧图像，第三段分段待标注图像包括第31帧至第50帧图像。

S230、针对各所述分段待标注图像，采用匹配的标注规则同时对标注对象进行标注，得到各所述分段待标注图像对应的原始并行标注结果。

其中，原始并行标注结果可以是对各分段待标注图像同时标注后得到的初步标注结果。

相应的，在各分段待标注图像划分完成后，即可对各分段待标注图像开始进行并行标注。并行标注可以包括两个环节，其中，第一个环节为针对各分段待标注图像，采用匹配的标注规则同时对标注对象进行标注，得到各分段待标注图像对应的原始并行标注结果。第二个环节即为对各原始并行标注结果进行归一化处理，以对各原始并行标注结果进行统一。

示例性的，如图3所示，采用标注规则对第一段分段待标注图像中的标注对象进行标注可以是：对第一段分段待标注图像中采用方框作为标注工具，框选出的各标注对象，并对各标注对象标注的原始并行标注结果：大卡车-1，行人-2及小汽车-10。除了这三种标注对象，还存在其他的标注对象，标号分别为3-9，图中未示出。采用标注规则对第二段分段待标注图像中的标注对象进行标注可以是：对第二段分段待标注图像中采用方框作为标注工具，框选出的各标注对象，并对各标注对象的原始并行标注结果：大卡车-1，小汽车-2及电动车-5。除了这三种标注对象，还存在其他的标注对象，标号分别为3-4，图中未示出。

S240、对各所述原始并行标注结果进行归一化检查。

需要说明的是，为了进一步保障标注结果的质量，提高图像标注的效率，在对各原始并行标注结果进行归一化处理之前，可以首先对各原始并行标注结果进行归一化检查。所谓归一化检查也即检查原始并行标注结果中是否存在人为标注错误，例如，将标注对象的某一属性标错，或者，使用错误的标注工具对标注对象进行标注。其中，标注工具可以是方框、线、点或区域等，本申请实施例并不对标注工具的类型进行限定。

对各原始并行标注结果进行归一化检查可以保证各原始并行标注结果的一致性，也即，提高原始并行标注结果的质量。例如，在进行障碍物标注时，一致性可以是指对同一障碍物的类型、遮挡等属性的标注情况是否一致，并不包括对各障碍物标注的ID号是否一致。由此可见，对各原始并行标注结果进行归一化检查可以保证后续归一化处理的准确性，能够避免因标注不统一导致归一化处理失败，需要重新进行检查和归一化处理过程，从而进一步提高标注效率。

可选的，所述归一化检查可以包括通用归一化检查和定制归一化检查；其中：所述通用归一化检查可以包括：标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误；所述定制归一化检查可以包括：根据定制标注规则标注的标注对象的标注错误。

其中，通用归一化检查可以依据对所有标注对象均通用的检查规则，对标注对象进行检查。定制归一化检查可以根据特殊标注需求所形成的规则，对标注对象进行检查。

在本申请实施例中，可选的，归一化检查可以包括两种形式。第一种形式可以是通用归一化检查，可以用于检查原始并行标注结果中是否存在标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误等问题，也即检查是否存在多标、漏标、类型及关键属性错误等问题。其中，标注对象类型可以是障碍物的类型、人脸关键点的类型或追踪对象的类型等。以障碍物作为标注对象来说，标注对象的属性例如可以是具体方位、是否遮挡或是否移动等。

第二种形式可以是定制归一化检查，可以用于根据特殊标注规则的需求检查原始并行标注结果中是否存在标注错误问题。示例性的，假设标注对象为超市人流，也即图像标注方法具体应用于超市人流量统计的应用场景。此时，对人流进行标注时，要求安保人员统一标注为“0”。在进行定制归一化检查时，如果同一个安保人员在两张图片中的原始并行标注结果分别为“0”和“1”，则表明原始并行标注结果出现标注错误。

S250、对所述原始并行标注结果进行归一化处理，得到各所述分段待标注图像对应的目标并行标注结果。

其中，目标并行标注结果即为最终的标注结果。

对各分段待标注图像进行并行标注的第二个环节即为对原始并行标注结果进行归一化处理。所谓归一化处理也即对各原始并行标注结果中，针对同一标注对象的标注结果进行统一处理。对各原始并行标注结果进行归一化处理可以实现对各标注对象进行唯一标识，从而获取满足标注需求的目标并行标注结果。

在本申请的一个可选实施例中，对所述原始并行标注结果进行归一化处理，可以包括：按照时间顺序，依次从所述原始并行标注结果中确定基准原始并行标注结果，以及所述基准原始并行标注结果的下一段原始并行标注结果；将所述下一段原始并行标注结果作为当前处理并行标注结果；在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象的情况下，将所述基准原始并行标注结果中所述目标标注对象的标注结果，作为所述当前处理并行标注结果中所述目标标注对象的标注结果。

其中，基准原始并行标注结果可以是用于作为统一基准的原始并行标注结果。当前处理并行标注结果可以是需要对于基准原始并行标注结果相同标注对象的标注结果进行统一处理的原始并行标注结果。目标标注对象可以是基准原始并行标注结果与当前处理并行标注结果中相同的标注对象。

可选的，在对原始并行标注结果进行归一化处理时，可以在原始并行标注结果中依次确定基准原始并行标注结果以及当前处理并行标注结果。然后对基准原始并行标注结果以及当前处理并行标注结果进行对比，如果确定基准原始并行标注结果与当前处理并行标注结果中存在相同目标标注对象，则将基准原始并行标注结果中目标标注对象的标注结果，作为当前处理并行标注结果中目标标注对象的标注结果。通常情况下，重叠帧图像中包括的各标注对象，也即基准原始并行标注结果与当前处理并行标注结果中的相同目标标注对象。例如，重叠帧图像中的小汽车和自行车均可以是相同目标标注对象。

示例性的，首先将第一段原始并行标注结果作为基准原始并行标注结果，将第二段原始并行标注结果作为当前处理并行标注结果。对基准原始并行标注结果和当前处理并行标注结果中重叠帧图像对应的标注结果进行对比，如果基准原始并行标注结果和当前处理并行标注结果中针对重叠帧图像中相同目标标注对象的标注结果不同，则当前处理并行标注结果可以自动沿用基准原始并行标注结果中目标标注对象的标注结果。当第一段原始并行标注结果和第二段原始并行标注结果归一化处理完成后，可以将第二段原始并行标注结果作为基准原始并行标注结果，将第三段原始并行标注结果作为当前处理并行标注结果，以此类推，直至完成对所有原始并行标注结果的归一化处理。

上述方案中，通过当前处理并行标注结果沿用基准原始并行标注结果针对目标标注对象的标注结果，可以使基准原始并行标注结果和当前处理并行标注结果中针对重叠帧图像中相同目标标注对象的标注结果保持一致，从而实现针对相同标注对象的统一标注。

在本申请的一个可选实施例中，对所述原始并行标注结果进行归一化处理，还可以包括：在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象，且所述当前处理并行标注结果中存在新增标注对象的情况下，对所述新增标注对象按照标注顺序重新进行标注。

在本申请的一个可选实施例中，对所述新增标注对象按照标注顺序重新进行标注，可以包括：确定当前已处理的并行标注结果中的末次标注结果；对所述末次标注结果延续处理，得到延续标注结果；将所述延续标注结果作为所述新增标注对象的目标标注结果。

在本申请的一个可选实施例中，确定所述当前处理并行标注结果中存在新增标注对象，可以包括：在所述当前处理并行标注结果中，将与所述目标标注对象的部分标注结果相同的非目标标注对象作为所述新增标注对象。

其中，新增标注对象可以是当前处理并行标注结果中新出现的标注对象，也即基准原始并行标注结果中不存在的标注对象。需要说明的是，新增标注对象的定义可以根据具体的标注规则设定。示例性的，假设标注规则要求对象消失5帧既赋予新的标注结果。假如第一帧图像中有“小汽车”这一标注对象，如果在第二帧图像至第8帧图像中均未出现该“小汽车”，并在第9帧图像中又出现了相同的“小汽车”，则即使第9帧图像中的“小汽车”与第1帧图像中的“小汽车”相同，也将第9帧图像中的“小汽车”作为新增标注对象，并重新按照标注顺序进行标注。末次标注结果可以是对最后一个出现的标注对象进行标注的结果。延续标注结果可以是对末次标注结果进行顺序延续后得到的标注结果。示例性的，末次标注结果为“2”，则延续标注结果可以是“3”。目标标注结果也即对新增标注对象重新进行标注的结果。非目标标注对象与目标标注对象的部分标注结果相同，可以是非目标标注对象中标注编号(也即标注ID)与目标标注对象的标注编号相同。

相应的，如果基准原始并行标注结果与当前处理并行标注结果中存在相同目标标注对象，且当前处理并行标注结果中存在新增标注对象，则对新增标注对象按照标注顺序重新进行标注。通常情况下，在对重叠帧图像以外的其他帧图像中，当前处理并行标注结果可能会存在新增标注对象的情况。

示例性的，假设基准原始并行标注结果与当前处理并行标注结果中存在相同目标标注对象“小汽车”，经过归一化处理后，将该“小汽车”的标注ID统一为“10”。如果当前处理并行标注结果中针对第8帧图像的新增标注对象“大客车”的标注ID也为“10”，则可以确定当前处理并行标注结果中已经标注的最大ID号，也即末次标注结果。如果已经标注的最大ID号为“15”，则对末次标注结果延续处理，得到延续标注结果“16”，并将新增标注对象“大客车”的标注ID重新标注为“16”。

上述方案中，通过对当前处理并行标注结果中的新增标注对象按照标注顺序重新进行标注，可以避免新增标注对象与目标标注对象标注结果冲突的问题。

S260、删除标注图像中的多余重叠帧。

其中，标注图像可以是完成并行标注的图像。多余重叠帧可以是多余的重叠帧。示例性的，假设第一段分段待标注图像和第二段分段待标注图像包括重叠帧：第20帧，则第一段分段待标注图像中的第20帧或第二段分段待标注图像中的第20帧可以认为是多余重叠帧。

由于在前序步骤中设置了重叠帧，因此，在对各待标注图像完成并行标注得到标注图像后，可以将标注图像中多余的重叠帧删除，也即去重处理，以保证得到完整的连续帧。可以理解的是，分段待标注图像完成并行处理后即形成分段标注图像。通过归一化处理后的重叠帧标注结果已经一致，因此，删除分段标注图像中前端或后端的重叠帧均是可行的，只要保证最终可以得到连续帧即可。也即需要注意的是，不能删除所有的重叠帧，导致图像帧的缺失。

上述技术方案，通过对分段待标注图像设置重叠帧，并根据重叠帧的标注结果进行归一化处理，可以统一最终的标注结果。本申请实施例通过采用并行标注的方式进行图像标注，能够极大地提升标注效率。以一段1000帧图片的连续帧切分成50帧一段的情况举例说明，标注时间可以约缩短为原来的1/20。同时，因为增加了归一化检查的中间检查节点，可以明显提升标注质量。其次，在标注能力方面，由原本只支持几十秒视频的精标注，扩展为对视频时长无限制，长视频的基础数据对视觉追踪算法的进一步优化能够起到很大助力作用。再次，由于之前长连续帧标注方案对标注设备性能有较强要求，该拆分方案很大程度上缓解了由于数据量大带来的设备性能压力。

在一个示例中，图5是本申请实施例提供的一种图像标注装置的结构图，本申请实施例可适用于快速进行图像标注的情况，该装置通过软件和/或硬件实现，并具体配置于电子设备中。该电子设备可以是计算机设备等。

如图5所示的一种图像标注装置300，包括：待标注图像获取模块310、分段待标注图像划分模块320和标注对象并行标注模块330。其中，

待标注图像获取模块310，用于获取多帧待标注图像；

分段待标注图像划分模块320，用于将所述待标注图像划分成多段分段待标注图像；所述分段待标注图像包括至少两帧待标注图像；

标注对象并行标注模块330，用于对各所述分段待标注图像中的标注对象进行并行标注。

本申请实施例通过对获取的多帧待标注图像划分成多段分段待标注图像，以对各分段待标注图像中的标注对象进行并行标注，解决现有图像标注方法存在的标注效率低及标注能力不足等问题，从而提高图像的标注效率和标注能力。

可选的，待标注图像获取模块310具体用于：根据设定抽帧频率对连续帧图像进行抽帧处理，得到所述待标注图像。

可选的，分段待标注图像划分模块320具体用于：根据所述待标注图像的时间顺序以及所述分段待标注图像的设定图像数量，划分当前分段待标注图像；根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧；将所述当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据所述设定图像数量确定所述下一段分段待标注图像的剩余待标注图像；将所述下一段分段待标注图像作为所述当前分段待标注图像，并返回执行根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧的操作，直至完成对全部待标注图像的划分。

可选的，所述重叠帧设置规则包括：将用于判定图像对象消失的帧图像数量，作为重叠帧的数量；或，将默认设置的帧图像数量，作为重叠帧的数量。

可选的，标注对象并行标注模块330具体用于：针对各所述分段待标注图像，采用匹配的标注规则同时对标注对象进行标注，得到各所述分段待标注图像对应的原始并行标注结果；对所述原始并行标注结果进行归一化处理，得到各所述分段待标注图像对应的目标并行标注结果。

可选的，标注对象并行标注模块330具体用于：按照时间顺序，依次从所述原始并行标注结果中确定基准原始并行标注结果，以及所述基准原始并行标注结果的下一段原始并行标注结果；将所述下一段原始并行标注结果作为当前处理并行标注结果；在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象的情况下，将所述基准原始并行标注结果中所述目标标注对象的标注结果，作为所述当前处理并行标注结果中所述目标标注对象的标注结果。

可选的，标注对象并行标注模块330具体用于：在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象，且所述当前处理并行标注结果中存在新增标注对象的情况下，对所述新增标注对象按照标注顺序重新进行标注。

可选的，标注对象并行标注模块330具体用于：确定当前已处理的并行标注结果中的末次标注结果；对所述末次标注结果延续处理，得到延续标注结果；将所述延续标注结果作为所述新增标注对象的目标标注结果。

可选的，标注对象并行标注模块330具体用于：在所述当前处理并行标注结果中，将与所述目标标注对象的部分标注结果相同的非目标标注对象作为所述新增标注对象。

可选的，标注对象并行标注模块330具体用于：对各所述原始并行标注结果进行归一化检查；所述归一化检查包括通用归一化检查和定制归一化检查；其中：所述通用归一化检查包括：标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误；所述定制归一化检查包括：根据定制标注规则标注的标注对象的标注错误。

可选的，标注对象并行标注模块330具体用于：删除标注图像中的多余重叠帧。

上述图像标注装置可执行本申请任意实施例所提供的图像标注方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例提供的图像标注方法。

由于上述所介绍的图像标注装置为可以执行本申请实施例中的图像标注方法的装置，故而基于本申请实施例中所介绍的图像标注方法，本领域所属技术人员能够了解本实施例的图像标注装置的具体实施方式以及其各种变化形式，所以在此对于该图像标注装置如何实现本申请实施例中的图像标注方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中图像标注方法所采用的装置，都属于本申请所欲保护的范围。

在一个示例中，本申请还提供了一种电子设备和一种可读存储介质。

图6是用来实现本申请实施例的图像标注方法的电子设备的结构示意图。如图6所示，是根据本申请实施例的图像标注方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像标注方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像标注方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像标注方法对应的程序指令/模块(例如，附图5所示的待标注图像获取模块310、分段待标注图像划分模块320和标注对象并行标注模块330)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像标注方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现图像标注方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至实现图像标注方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现图像标注方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与实现图像标注方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端可以是智能手机、笔记本电脑、台式计算机、平板电脑、智能音箱等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算、云服务、云数据库、云存储等基础云计算服务的云服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本申请实施例通过对获取的多帧待标注图像划分成多段分段待标注图像，以对各分段待标注图像中的标注对象进行并行标注，解决现有图像标注方法存在的标注效率低及标注能力不足等问题，从而提高图像的标注效率和标注能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种图像标注方法，包括：

获取多帧待标注图像；

根据所述待标注图像的时间顺序以及分段待标注图像的设定图像数量，划分当前分段待标注图像；其中，所述分段待标注图像包括至少两帧所述待标注图像；

根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧；

将所述当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据所述设定图像数量确定所述下一段分段待标注图像的剩余待标注图像；

将所述下一段分段待标注图像作为所述当前分段待标注图像，并返回执行所述根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧的操作，直至完成对全部待标注图像的划分；

针对各所述分段待标注图像，采用匹配的标注规则同时对标注对象进行标注，得到各所述分段待标注图像对应的原始并行标注结果；

对所述原始并行标注结果进行归一化处理，得到各所述分段待标注图像对应的目标并行标注结果。

2.根据权利要求1所述的方法，其中，所述获取多帧待标注图像，包括：

根据设定抽帧频率对连续帧图像进行抽帧处理，得到所述待标注图像。

3.根据权利要求1所述的方法，其中，所述重叠帧设置规则包括：

将用于判定图像对象消失的帧图像数量，作为重叠帧的数量；或，

将默认设置的帧图像数量，作为重叠帧的数量。

4.根据权利要求1所述的方法，其中，所述对所述原始并行标注结果进行归一化处理，包括：

按照时间顺序，依次从所述原始并行标注结果中确定基准原始并行标注结果，以及所述基准原始并行标注结果的下一段原始并行标注结果；

将所述下一段原始并行标注结果作为当前处理并行标注结果；

在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象的情况下，将所述基准原始并行标注结果中所述目标标注对象的标注结果，作为所述当前处理并行标注结果中所述目标标注对象的标注结果。

5.根据权利要求4所述的方法，其中，所述对所述原始并行标注结果进行归一化处理，还包括：

在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象，且所述当前处理并行标注结果中存在新增标注对象的情况下，对所述新增标注对象按照标注顺序重新进行标注。

6.根据权利要求5所述的方法，其中，所述对所述新增标注对象按照标注顺序重新进行标注，包括：

确定当前已处理的并行标注结果中的末次标注结果；

对所述末次标注结果延续处理，得到延续标注结果；

将所述延续标注结果作为所述新增标注对象的目标标注结果。

7.根据权利要求5所述的方法，其中，确定所述当前处理并行标注结果中存在新增标注对象，包括：

在所述当前处理并行标注结果中，将与所述目标标注对象的部分标注结果相同的非目标标注对象作为所述新增标注对象。

8.根据权利要求1-7任一所述的方法，在所述对所述原始并行标注结果进行归一化处理之前，还包括：

对各所述原始并行标注结果进行归一化检查；所述归一化检查包括通用归一化检查和定制归一化检查；其中：

所述通用归一化检查包括：标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误；

所述定制归一化检查包括：根据定制标注规则标注的标注对象的标注错误。

9.根据权利要求1-7任一所述的方法，在所述对所述原始并行标注结果进行归一化处理之后，还包括：

删除标注图像中的多余重叠帧。

10.一种图像标注装置，包括：

待标注图像获取模块，用于获取多帧待标注图像；

分段待标注图像划分模块，用于：

根据所述待标注图像的时间顺序以及分段待标注图像的设定图像数量，划分当前分段待标注图像；其中，所述分段待标注图像包括至少两帧所述待标注图像；

根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧；

将所述当前重叠帧作为下一段分段待标注图像的部分待标注图像，并根据所述设定图像数量确定所述下一段分段待标注图像的剩余待标注图像；

将所述下一段分段待标注图像作为所述当前分段待标注图像，并返回执行所述根据重叠帧设置规则确定所述当前分段待标注图像的当前重叠帧的操作，直至完成对全部待标注图像的划分；

标注对象并行标注模块，用于：

针对各所述分段待标注图像，采用匹配的标注规则同时对标注对象进行标注，得到各所述分段待标注图像对应的原始并行标注结果；

对所述原始并行标注结果进行归一化处理，得到各所述分段待标注图像对应的目标并行标注结果。

11.根据权利要求10所述的装置，其中，所述待标注图像获取模块具体用于：

根据设定抽帧频率对连续帧图像进行抽帧处理，得到所述待标注图像。

12.根据权利要求10所述的装置，其中，所述重叠帧设置规则包括：

将用于判定图像对象消失的帧图像数量，作为重叠帧的数量；或，

将默认设置的帧图像数量，作为重叠帧的数量。

13.根据权利要求10所述的装置，其中，所述标注对象并行标注模块具体用于：

按照时间顺序，依次从所述原始并行标注结果中确定基准原始并行标注结果，以及所述基准原始并行标注结果的下一段原始并行标注结果；

将所述下一段原始并行标注结果作为当前处理并行标注结果；

在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象的情况下，将所述基准原始并行标注结果中所述目标标注对象的标注结果，作为所述当前处理并行标注结果中所述目标标注对象的标注结果。

14.根据权利要求13所述的装置，其中，所述标注对象并行标注模块具体用于：

在确定所述基准原始并行标注结果与所述当前处理并行标注结果中存在相同目标标注对象，且所述当前处理并行标注结果中存在新增标注对象的情况下，对所述新增标注对象按照标注顺序重新进行标注。

15.根据权利要求14所述的装置，其中，所述标注对象并行标注模块具体用于：

确定当前已处理的并行标注结果中的末次标注结果；

对所述末次标注结果延续处理，得到延续标注结果；

将所述延续标注结果作为所述新增标注对象的目标标注结果。

16.根据权利要求14所述的装置，其中，所述标注对象并行标注模块具体用于：

在所述当前处理并行标注结果中，将与所述目标标注对象的部分标注结果相同的非目标标注对象作为所述新增标注对象。

17.根据权利要求10-16任一所述的装置，其中，所述标注对象并行标注模块具体用于：

对各所述原始并行标注结果进行归一化检查；所述归一化检查包括通用归一化检查和定制归一化检查；其中：

所述通用归一化检查包括：标注对象标注数量错误、标注对象类型标注错误以及标注对象关键属性标注错误；

所述定制归一化检查包括：根据定制标注规则标注的标注对象的标注错误。

18.根据权利要求10-16任一所述的装置，其中，所述标注对象并行标注模块具体用于：

删除标注图像中的多余重叠帧。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的图像标注方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的图像标注方法。