CN110827246A - 电子设备边框外观瑕疵检测方法及设备 - Google Patents
电子设备边框外观瑕疵检测方法及设备 Download PDFInfo
- Publication number
- CN110827246A CN110827246A CN201911032912.6A CN201911032912A CN110827246A CN 110827246 A CN110827246 A CN 110827246A CN 201911032912 A CN201911032912 A CN 201911032912A CN 110827246 A CN110827246 A CN 110827246A
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- electronic equipment
- appearance
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明的目的是提供一种电子设备边框外观瑕疵检测方法及设备,本发明通过获取电子设备的外观图像;从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度,能够准确地识别二手电子设备如手机的电子设备边框外观的瑕疵差异。
Description
技术领域
本发明涉及计算机领域,尤其涉及一种电子设备边框外观瑕疵检测方法及设备。
背景技术
目前在二手电子设备如手机等的电子设备边框外观的缺陷检测这块主要基于传统图像算法,通过颜色空间变换、滤波、特征点提取、模式匹配的方式进行检测,基于传统的检测方法只能检测出某个区域有缺陷,但是对于缺陷的定义没法区分。
发明内容
本发明的一个目的是提供一种电子设备边框外观瑕疵检测方法及设备。
根据本发明的一个方面,提供了一种电子设备边框外观瑕疵检测方法,该方法包括:
获取电子设备的外观图像;
从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
进一步的,上述方法中,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,包括:
采用Unet实例分割的方式,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像。
进一步的,上述方法中,所述backbone网络的前2层采用res结构,网络的后2层采用inception结构。
进一步的,上述方法中,从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果之后,还包括:
识别所述瑕疵检测结果的置信度是否大于第一预设阈值,
若大于所述第一预设阈值,则输出包括电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置的结果信息。
进一步的,上述方法中,将所述边框外观区域图像输入FPN网络结合backbone网络的模型之前,还包括:
步骤一,预设FPN网络结合backbone网络的模型及其初始的模型参数;
步骤二,将样本电子设备的边框外观区域图像输入带有当前的模型参数的FPN网络结合backbone网络的模型,得到样本电子设备的边框的瑕疵预测结果,所述瑕疵预测结果包括:样本电子设备的边框的瑕疵种类、瑕疵在样本电子设备的边框中的位置和瑕疵检测结果的置信度;
步骤三,基于预设目标函数计算所述瑕疵预测结果与样本电子设备的真实瑕疵结果之间的差值,识别所述差值是否大于第二预设阈,
若所述差值大于第二预设阈值,则步骤四,基于所述差值更新所述FPN网络结合backbone网络的模型参数后,重新从步骤二开始执行;
若所述差值小于等于第二预设阈值,则步骤五,将带有当前的模型参数的FPN网络结合backbone网络的模型作为训练结束后的FPN网络结合backbone网络的模型。
进一步的,上述方法中,将所述边框外观区域图像调整为长度和宽度相同的图像,包括:
将所述边框外观区域图像的长度方向进行缩放,并将所述边框外观区域图像的宽度方向进行填充。
根据本发明的另一方面,还提供了一种电子设备边框外观瑕疵检测设备,该设备包括:
第一装置,用于获取电子设备的外观图像;
第二装置,用于从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
第三装置,用于将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
第四装置,用于从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
进一步的,上述设备中,所述第二装置,用于采用Unet实例分割的方式,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像。
进一步的,上述设备中,所述backbone网络的前2层采用res结构,网络的后2层采用inception结构。
进一步的,上述设备中,所述第四装置,还用于识别所述瑕疵检测结果的置信度是否大于第一预设阈值,若大于所述第一预设阈值,则输出包括电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置的结果信息。
进一步的,上述设备中,还包括第五装置,包括:
第五一装置,用于预设FPN网络结合backbone网络的模型及其初始的模型参数;
第五二装置,用于将样本电子设备的边框外观区域图像输入带有当前的模型参数的FPN网络结合backbone网络的模型,得到样本电子设备的边框的瑕疵预测结果,所述瑕疵预测结果包括:样本电子设备的边框的瑕疵种类、瑕疵在样本电子设备的边框中的位置和瑕疵检测结果的置信度;
第五三装置,用于基于预设目标函数计算所述瑕疵预测结果与样本电子设备的真实瑕疵结果之间的差值,识别所述差值是否大于第二预设阈,若所述差值大于第二预设阈值,则执行第五四装置,用于基于所述差值更新所述FPN网络结合backbone网络的模型参数后,重新从第五二装置开始执行;
若所述差值小于等于第二预设阈值,则执行第五五装置,将带有当前的模型参数的FPN网络结合backbone网络的模型作为训练结束后的FPN网络结合backbone网络的模型。
进一步的,上述设备中,所述第二装置,用于将所述边框外观区域图像的长度方向进行缩放,并将所述边框外观区域图像的宽度方向进行填充。
本发明还提供一种基于计算的设备,其中,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取电子设备的外观图像;
从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
本发明还提供一种计算机可读存储介质,其上存储有计算机可执行指令,其中,该计算机可执行指令被处理器执行时使得该处理器:
获取电子设备的外观图像;
从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
与现有技术相比,本发明通过获取电子设备的外观图像;从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度,能够准确地识别二手电子设备如手机的电子设备边框外观的瑕疵差异。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1示出本发明一实施例的电子设备边框外观瑕疵检测方法的流程图;
图2示出本发明一实施例的瑕疵检测结果的示意图;
图3示出本发明一实施例的FPN网络结合backbone网络的模型的示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本发明提供一种电子设备边框外观瑕疵检测方法,所述方法包括:
步骤S1,获取电子设备的外观图像;
步骤S2,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
在此,电子设备的边框外观区域包括除电子设置在正面屏幕区域和背面区域之外的侧面区域,该侧面区域一般安装有耳机孔、扬声器、充电孔等部件。
边框外观区域图像存在长宽比异常的情况,便于后续模型识别,避免图像损失,需要将边框外观区域图像的长宽比调整为1:1;步骤S3,将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
步骤S4,从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
所述FPN网络结合backbone网络的模型可如图3所示。
在此,从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,如图2所示,每个瑕疵检测结果包含cls,x1,y1,x2,y2,score,其中,cls是缺陷类型,x1,y1,x2,y2是边框外观区域图像中瑕疵所在位置的4个坐标,score为这个瑕疵的置信度。
本发明主要利用改进的特征金字塔(FPN)网络结合backbone网络的深度学习模型,能够准确地识别二手电子设备如手机的电子设备边框外观的瑕疵差异,对瑕疵种类能够准确区分。
本发明的电子设备边框外观瑕疵检测方法一实施例中,步骤S2,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,包括:
采用Unet实例分割的方式,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像。
在此,通过Unet实例分割,能够快速高效的得到边框外观区域图像。
本发明的电子设备边框外观瑕疵检测方法一实施例中,所述backbone网络的前2层采用res结构,网络的后2层采用inception结构。
本发明的电子设备边框外观瑕疵检测方法一实施例中,步骤S4,从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果之后,还包括:
识别所述瑕疵检测结果的置信度是否大于第一预设阈值,
若大于所述第一预设阈值,则输出包括电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置的结果信息。
在此,电子设备边框的瑕疵种类可以包括:裂缝、支架屏幕分离、变形、碎裂缺失、大面积掉漆、小面积掉漆(变形,凹陷露出颜色)、凹陷且不变色、划痕深且颜色与周围不一样、小点且颜色与周围不一样、碎裂等等。
本实施例通过识别所述瑕疵检测结果的置信度,可以从瑕疵检测结果中筛选出可靠的结果进行输出。
本发明的电子设备边框外观瑕疵检测方法一实施例中,步骤S3,将所述边框外观区域图像输入FPN网络结合backbone网络的模型之前,还包括:
步骤一,预设FPN网络结合backbone网络的模型及其初始的模型参数;
步骤二,将样本电子设备的边框外观区域图像输入带有当前的模型参数的FPN网络结合backbone网络的模型,得到样本电子设备的边框的瑕疵预测结果,所述瑕疵预测结果包括:样本电子设备的边框的瑕疵种类、瑕疵在样本电子设备的边框中的位置和瑕疵检测结果的置信度;
步骤三,基于预设目标函数计算所述瑕疵预测结果与样本电子设备的真实瑕疵结果之间的差值,识别所述差值是否大于第二预设阈,
若所述差值大于第二预设阈值,则步骤四,基于所述差值更新所述FPN网络结合backbone网络的模型参数后,重新从步骤二开始执行;
若所述差值小于等于第二预设阈值,则步骤五,将带有当前的模型参数的FPN网络结合backbone网络的模型作为训练结束后的FPN网络结合backbone网络的模型。
在此,通过识别所述差值是否大于第二预设阈,来循环训练FPN网络结合backbone网络的模型,能够得到可靠的模型。
本发明的电子设备边框外观瑕疵检测方法一实施例中,将所述边框外观区域图像调整为长度和宽度相同的图像,包括:
将所述边框外观区域图像的长度方向进行缩放,并将所述边框外观区域图像的宽度方向进行填充。
在此,在处理的时候通过将所述边框外观区域图像的长边缩放,短边填充的方式处理,以得到所述边框外观区域图像调整为长度和宽度相同的图像。
本发明提供一种电子设备边框外观瑕疵检测设备,所述设备包括:
第一装置,用于获取电子设备的外观图像;
第二装置,用于从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
在此,电子设备的边框外观区域包括除电子设置在正面屏幕区域和背面区域之外的侧面区域,该侧面区域一般安装有耳机孔、扬声器、充电孔等部件。
边框外观区域图像存在长宽比异常的情况,便于后续模型识别,避免图像损失,需要将边框外观区域图像的长宽比调整为1:1;
第三装置,用于将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
第四装置,用于从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
在此,从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,每个瑕疵检测结果包含cls,x1,y1,x2,y2,score,其中,cls是缺陷类型,x1,y1,x2,y2是边框外观区域图像中瑕疵所在位置的4个坐标,score为这个瑕疵的置信度。
本发明主要利用改进的特征金字塔(FPN)网络结合backbone网络的深度学习模型,能够准确地识别二手电子设备如手机的电子设备边框外观差异。
本发明的电子设备边框外观瑕疵检测方法一实施例中,所述第二装置,用于采用Unet实例分割的方式,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像。
在此,通过Unet实例分割,能够快速高效的得到边框外观区域图像。
本发明的电子设备边框外观瑕疵检测方法一实施例中,所述backbone网络的前2层采用res结构,网络的后2层采用inception结构。
本发明的电子设备边框外观瑕疵检测方法一实施例中,所述第四装置,还用于识别所述瑕疵检测结果的置信度是否大于第一预设阈值,若大于所述第一预设阈值,则输出包括电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置的结果信息。
在此,电子设备边框的瑕疵种类可以依次包括等级依次增加的浅划痕、硬划痕和碎裂种类。
本实施例通过识别所述瑕疵检测结果的置信度,可以从瑕疵检测结果中筛选出可靠的结果进行输出。
本发明的电子设备边框外观瑕疵检测方法一实施例中,还包括第五装置,包括:
第五一装置,用于预设FPN网络结合backbone网络的模型及其初始的模型参数;
第五二装置,用于将样本电子设备的边框外观区域图像输入带有当前的模型参数的FPN网络结合backbone网络的模型,得到样本电子设备的边框的瑕疵预测结果,所述瑕疵预测结果包括:样本电子设备的边框的瑕疵种类、瑕疵在样本电子设备的边框中的位置和瑕疵检测结果的置信度;
第五三装置,用于基于预设目标函数计算所述瑕疵预测结果与样本电子设备的真实瑕疵结果之间的差值,识别所述差值是否大于第二预设阈,若所述差值大于第二预设阈值,则执行第五四装置,用于基于所述差值更新所述FPN网络结合backbone网络的模型参数后,重新从第五二装置开始执行;
若所述差值小于等于第二预设阈值,则执行第五五装置,将带有当前的模型参数的FPN网络结合backbone网络的模型作为训练结束后的FPN网络结合backbone网络的模型。
在此,通过识别所述差值是否大于第二预设阈,来循环训练FPN网络结合backbone网络的模型,能够得到可靠的模型。
本发明的电子设备边框外观瑕疵检测方法一实施例中,所述第二装置,用于将所述边框外观区域图像的长度方向进行缩放,并将所述边框外观区域图像的宽度方向进行填充。
在此,在处理的时候通过将所述边框外观区域图像的长边缩放,短边填充的方式处理,以得到所述边框外观区域图像调整为长度和宽度相同的图像。
本发明还提供一种基于计算的设备,其中,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
步骤S1,获取电子设备的外观图像;
步骤S2,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
步骤S3,将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
步骤S4,从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
本发明还提供一种计算机可读存储介质,其上存储有计算机可执行指令,其中,该计算机可执行指令被处理器执行时使得该处理器:
步骤S1,获取电子设备的外观图像;
步骤S2,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
步骤S3,将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
步骤S4,从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
本发明的各设备和存储介质实施例的详细内容,具体可参见各方法实施例的对应部分,在此,不再赘述。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
需要注意的是,本发明可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本发明的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本发明的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本发明的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (14)
1.一种电子设备边框外观瑕疵检测方法,其中,该方法包括:
获取电子设备的外观图像;
从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
2.根据权利要求1所述的方法,其中,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,包括:
采用Unet实例分割的方式,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像。
3.根据权利要求1所述的方法,其中,所述backbone网络的前2层采用res结构,网络的后2层采用inception结构。
4.根据权利要求1所述的方法,其中,从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果之后,还包括:
识别所述瑕疵检测结果的置信度是否大于第一预设阈值,
若大于所述第一预设阈值,则输出包括电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置的结果信息。
5.根据权利要求1所述的方法,其中,将所述边框外观区域图像输入FPN网络结合backbone网络的模型之前,还包括:
步骤一,预设FPN网络结合backbone网络的模型及其初始的模型参数;
步骤二,将样本电子设备的边框外观区域图像输入带有当前的模型参数的FPN网络结合backbone网络的模型,得到样本电子设备的边框的瑕疵预测结果,所述瑕疵预测结果包括:样本电子设备的边框的瑕疵种类、瑕疵在样本电子设备的边框中的位置和瑕疵检测结果的置信度;
步骤三,基于预设目标函数计算所述瑕疵预测结果与样本电子设备的真实瑕疵结果之间的差值,识别所述差值是否大于第二预设阈,
若所述差值大于第二预设阈值,则步骤四,基于所述差值更新所述FPN网络结合backbone网络的模型参数后,重新从步骤二开始执行;
若所述差值小于等于第二预设阈值,则步骤五,将带有当前的模型参数的FPN网络结合backbone网络的模型作为训练结束后的FPN网络结合backbone网络的模型。
6.根据权利要求1所述的方法,其中,将所述边框外观区域图像调整为长度和宽度相同的图像,包括:
将所述边框外观区域图像的长度方向进行缩放,并将所述边框外观区域图像的宽度方向进行填充。
7.一种电子设备边框外观瑕疵检测设备,其中,该设备包括:
第一装置,用于获取电子设备的外观图像;
第二装置,用于从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
第三装置,用于将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
第四装置,用于从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
8.根据权利要求7所述的装置,其中,所述第二装置,用于采用Unet实例分割的方式,从所述电子设备的外观图像中提取该电子设备的边框外观区域图像。
9.根据权利要求7所述的装置,其中,所述backbone网络的前2层采用res结构,网络的后2层采用inception结构。
10.根据权利要求7所述的装置,其中,所述第四装置,还用于识别所述瑕疵检测结果的置信度是否大于第一预设阈值,若大于所述第一预设阈值,则输出包括电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置的结果信息。
11.根据权利要求7所述的装置,其中,还包括第五装置,包括:
第五一装置,用于预设FPN网络结合backbone网络的模型及其初始的模型参数;
第五二装置,用于将样本电子设备的边框外观区域图像输入带有当前的模型参数的FPN网络结合backbone网络的模型,得到样本电子设备的边框的瑕疵预测结果,所述瑕疵预测结果包括:样本电子设备的边框的瑕疵种类、瑕疵在样本电子设备的边框中的位置和瑕疵检测结果的置信度;
第五三装置,用于基于预设目标函数计算所述瑕疵预测结果与样本电子设备的真实瑕疵结果之间的差值,识别所述差值是否大于第二预设阈,若所述差值大于第二预设阈值,则执行第五四装置,用于基于所述差值更新所述FPN网络结合backbone网络的模型参数后,重新从第五二装置开始执行;
若所述差值小于等于第二预设阈值,则执行第五五装置,将带有当前的模型参数的FPN网络结合backbone网络的模型作为训练结束后的FPN网络结合backbone网络的模型。
12.根据权利要求7所述的装置,其中,所述第二装置,用于将所述边框外观区域图像的长度方向进行缩放,并将所述边框外观区域图像的宽度方向进行填充。
13.一种基于计算的设备,其中,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取电子设备的外观图像;
从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
14.一种计算机可读存储介质,其上存储有计算机可执行指令,其中,该计算机可执行指令被处理器执行时使得该处理器:
获取电子设备的外观图像;
从所述电子设备的外观图像中提取该电子设备的边框外观区域图像,将所述边框外观区域图像调整为长度和宽度相同的图像;
将调整后的边框外观区域图像输入训练结束后的FPN网络结合backbone网络的模型;
从所述FPN网络结合backbone网络的模型接收输出的电子设备的边框外观区域的瑕疵检测结果,所述瑕疵检测结果包括:电子设备的边框的瑕疵种类、瑕疵在电子设备的边框中的位置和瑕疵检测结果的置信度。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911032912.6A CN110827246A (zh) | 2019-10-28 | 2019-10-28 | 电子设备边框外观瑕疵检测方法及设备 |
| JP2022502023A JP2022539909A (ja) | 2019-10-28 | 2020-10-14 | 電子デバイスフレーム外観瑕疵検査方法及び装置 |
| PCT/CN2020/120876 WO2021082920A1 (zh) | 2019-10-28 | 2020-10-14 | 电子设备边框外观瑕疵检测方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911032912.6A CN110827246A (zh) | 2019-10-28 | 2019-10-28 | 电子设备边框外观瑕疵检测方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110827246A true CN110827246A (zh) | 2020-02-21 |
Family
ID=69551291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911032912.6A Pending CN110827246A (zh) | 2019-10-28 | 2019-10-28 | 电子设备边框外观瑕疵检测方法及设备 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP2022539909A (zh) |
| CN (1) | CN110827246A (zh) |
| WO (1) | WO2021082920A1 (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021082918A1 (zh) * | 2019-10-28 | 2021-05-06 | 上海悦易网络信息技术有限公司 | 屏幕外观瑕疵检测方法及设备 |
| WO2021082920A1 (zh) * | 2019-10-28 | 2021-05-06 | 上海悦易网络信息技术有限公司 | 电子设备边框外观瑕疵检测方法及设备 |
| CN115457007A (zh) * | 2022-09-23 | 2022-12-09 | 章鱼博士智能技术(上海)有限公司 | 一种电池防爆膜检测方法及设备 |
| US11798250B2 (en) | 2019-02-18 | 2023-10-24 | Ecoatm, Llc | Neural network based physical condition evaluation of electronic devices, and associated systems and methods |
| US11843206B2 (en) | 2019-02-12 | 2023-12-12 | Ecoatm, Llc | Connector carrier for electronic device kiosk |
| US11922467B2 (en) | 2020-08-17 | 2024-03-05 | ecoATM, Inc. | Evaluating an electronic device using optical character recognition |
| US11989710B2 (en) | 2018-12-19 | 2024-05-21 | Ecoatm, Llc | Systems and methods for vending and/or purchasing mobile phones and other electronic devices |
| US12033454B2 (en) | 2020-08-17 | 2024-07-09 | Ecoatm, Llc | Kiosk for evaluating and purchasing used electronic devices |
| US12271929B2 (en) | 2020-08-17 | 2025-04-08 | Ecoatm Llc | Evaluating an electronic device using a wireless charger |
| US12300059B2 (en) | 2019-02-12 | 2025-05-13 | Ecoatm, Llc | Kiosk for evaluating and purchasing used electronic devices |
| US12322259B2 (en) | 2018-12-19 | 2025-06-03 | Ecoatm, Llc | Systems and methods for vending and/or purchasing mobile phones and other electronic devices |
| US12321965B2 (en) | 2020-08-25 | 2025-06-03 | Ecoatm, Llc | Evaluating and recycling electronic devices |
| US12380420B2 (en) | 2019-12-18 | 2025-08-05 | Ecoatm, Llc | Systems and methods for vending and/or purchasing mobile phones and other electronic devices |
| US12462635B2 (en) | 2021-07-09 | 2025-11-04 | Ecoatm, Llc | Identifying electronic devices using temporally changing information |
| US12475756B2 (en) | 2020-08-17 | 2025-11-18 | Ecoatm, Llc | Connector carrier for electronic device kiosk |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113686871A (zh) * | 2021-07-19 | 2021-11-23 | 杭州宝虹科技有限公司 | 一种极片的视觉检测系统 |
| CN118967690B (zh) * | 2024-10-17 | 2025-01-24 | 无锡学院 | 一种基于深度对比学习的缺陷检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160322079A1 (en) * | 2014-02-05 | 2016-11-03 | Avatar Merger Sub II, LLC | Method for real time video processing involving changing a color of an object on a human face in a video |
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN109711474A (zh) * | 2018-12-24 | 2019-05-03 | 中山大学 | 一种基于深度学习的铝材表面缺陷检测算法 |
| CN109859190A (zh) * | 2019-01-31 | 2019-06-07 | 北京工业大学 | 一种基于深度学习的目标区域检测方法 |
| CN109886077A (zh) * | 2018-12-28 | 2019-06-14 | 北京旷视科技有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN110378420A (zh) * | 2019-07-19 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11210777B2 (en) * | 2016-04-28 | 2021-12-28 | Blancco Technology Group IP Oy | System and method for detection of mobile device fault conditions |
| CN108918528B (zh) * | 2018-06-01 | 2023-08-01 | 深圳回收宝科技有限公司 | 一种终端检测方法、装置及存储介质 |
| CN109859163A (zh) * | 2018-12-19 | 2019-06-07 | 重庆邮电大学 | 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法 |
| CN109800709A (zh) * | 2019-01-18 | 2019-05-24 | 张琪培 | 一种基于深度学习的自动回转柜自动识别系统及方法 |
| CN110827246A (zh) * | 2019-10-28 | 2020-02-21 | 上海悦易网络信息技术有限公司 | 电子设备边框外观瑕疵检测方法及设备 |
-
2019
- 2019-10-28 CN CN201911032912.6A patent/CN110827246A/zh active Pending
-
2020
- 2020-10-14 WO PCT/CN2020/120876 patent/WO2021082920A1/zh not_active Ceased
- 2020-10-14 JP JP2022502023A patent/JP2022539909A/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160322079A1 (en) * | 2014-02-05 | 2016-11-03 | Avatar Merger Sub II, LLC | Method for real time video processing involving changing a color of an object on a human face in a video |
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN109711474A (zh) * | 2018-12-24 | 2019-05-03 | 中山大学 | 一种基于深度学习的铝材表面缺陷检测算法 |
| CN109886077A (zh) * | 2018-12-28 | 2019-06-14 | 北京旷视科技有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN109859190A (zh) * | 2019-01-31 | 2019-06-07 | 北京工业大学 | 一种基于深度学习的目标区域检测方法 |
| CN110378420A (zh) * | 2019-07-19 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12322259B2 (en) | 2018-12-19 | 2025-06-03 | Ecoatm, Llc | Systems and methods for vending and/or purchasing mobile phones and other electronic devices |
| US11989710B2 (en) | 2018-12-19 | 2024-05-21 | Ecoatm, Llc | Systems and methods for vending and/or purchasing mobile phones and other electronic devices |
| US11843206B2 (en) | 2019-02-12 | 2023-12-12 | Ecoatm, Llc | Connector carrier for electronic device kiosk |
| US12300059B2 (en) | 2019-02-12 | 2025-05-13 | Ecoatm, Llc | Kiosk for evaluating and purchasing used electronic devices |
| US12223684B2 (en) | 2019-02-18 | 2025-02-11 | Ecoatm, Llc | Neural network based physical condition evaluation of electronic devices, and associated systems and methods |
| US11798250B2 (en) | 2019-02-18 | 2023-10-24 | Ecoatm, Llc | Neural network based physical condition evaluation of electronic devices, and associated systems and methods |
| WO2021082918A1 (zh) * | 2019-10-28 | 2021-05-06 | 上海悦易网络信息技术有限公司 | 屏幕外观瑕疵检测方法及设备 |
| WO2021082920A1 (zh) * | 2019-10-28 | 2021-05-06 | 上海悦易网络信息技术有限公司 | 电子设备边框外观瑕疵检测方法及设备 |
| US12380420B2 (en) | 2019-12-18 | 2025-08-05 | Ecoatm, Llc | Systems and methods for vending and/or purchasing mobile phones and other electronic devices |
| US11922467B2 (en) | 2020-08-17 | 2024-03-05 | ecoATM, Inc. | Evaluating an electronic device using optical character recognition |
| US12033454B2 (en) | 2020-08-17 | 2024-07-09 | Ecoatm, Llc | Kiosk for evaluating and purchasing used electronic devices |
| US12271929B2 (en) | 2020-08-17 | 2025-04-08 | Ecoatm Llc | Evaluating an electronic device using a wireless charger |
| US12475756B2 (en) | 2020-08-17 | 2025-11-18 | Ecoatm, Llc | Connector carrier for electronic device kiosk |
| US12321965B2 (en) | 2020-08-25 | 2025-06-03 | Ecoatm, Llc | Evaluating and recycling electronic devices |
| US12462635B2 (en) | 2021-07-09 | 2025-11-04 | Ecoatm, Llc | Identifying electronic devices using temporally changing information |
| CN115457007A (zh) * | 2022-09-23 | 2022-12-09 | 章鱼博士智能技术(上海)有限公司 | 一种电池防爆膜检测方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021082920A1 (zh) | 2021-05-06 |
| JP2022539909A (ja) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827246A (zh) | 电子设备边框外观瑕疵检测方法及设备 | |
| CN110827249A (zh) | 电子设备背板外观瑕疵检测方法及设备 | |
| CN110675399A (zh) | 屏幕外观瑕疵检测方法及设备 | |
| US11682225B2 (en) | Image processing to detect a rectangular object | |
| CN110796646A (zh) | 一种电子设备屏幕区域瑕疵检测方法与设备 | |
| CN110796669A (zh) | 一种垂直边框定位方法及设备 | |
| CN110796647A (zh) | 一种电子设备屏幕区域瑕疵检测方法与设备 | |
| US9697416B2 (en) | Object detection using cascaded convolutional neural networks | |
| CN110827244A (zh) | 一种用于电子设备外观瑕疵检测的方法与设备 | |
| TW201447775A (zh) | 資訊識別方法、設備和系統 | |
| CN110348392B (zh) | 车辆匹配方法及设备 | |
| CN111210473A (zh) | 手机轮廓定位方法及设备 | |
| US20120057745A9 (en) | Detection of objects using range information | |
| CN110708568B (zh) | 一种视频内容突变检测方法及装置 | |
| CN107292318A (zh) | 基于中心暗通道先验信息的图像显著性物体检测方法 | |
| CN111401238A (zh) | 一种视频中人物特写片段的检测方法及装置 | |
| CN113466839B (zh) | 侧扫声呐海底线检测方法和装置 | |
| CN110879972A (zh) | 一种人脸检测方法及装置 | |
| CN115004245A (zh) | 目标检测方法、装置、电子设备和计算机存储介质 | |
| US11728914B2 (en) | Detection device, detection method, and program | |
| CN110728193B (zh) | 一种脸部图像丰富度特征的检测方法及设备 | |
| CN111985423B (zh) | 活体检测方法、装置、设备及可读存储介质 | |
| CN117333383B (zh) | 一种表面缺陷检测方法、装置和设备 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN111579211B (zh) | 显示屏的检测方法、检测装置及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 1101-1103, No. 433, Songhu Road, Yangpu District, Shanghai Applicant after: Shanghai wanwansheng Environmental Protection Technology Group Co.,Ltd. Address before: Room 1101-1103, No. 433, Songhu Road, Yangpu District, Shanghai Applicant before: SHANGHAI YUEYI NETWORK INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |
|
| RJ01 | Rejection of invention patent application after publication |