CN101499126A - 图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理装置，其即使以低价的CPU或图像存储器构成的情况下，也可以提高处理能力。对电子部件(30)进行摄像，其图像存储在2个图像存储器(8、19)中。CPU(10)对被存储在图像存储器(8)的图像中包含引线列(30a)的区域的图像进行处理，检测各引线端子的位置，CPU(17)与CPU(10)的图像处理并行，处理位于和图像存储器(8)不同的区域的图像存储器(19)的引线列(30b)的图像，进行其引线端子的检测。以这样的结构，将存储在各图像存储器的图像的不同区域的图像，分别用不同的CPU分散化而进行并行处理，从而实现图像处理高速化，缩短部件识别的时间。

Description

图像处理装置

技术领域

本发明涉及一种图像处理装置，其为了检测或识别电子部件的位置，通过对该电子部件进行摄像而对被摄像的电子部件实施图像处理。

背景技术

当前，已知将电子部件搭载于基板上的电子部件安装装置。在该电子部件安装装置中，为了将电子部件以更高的精度搭载到基板上的规定位置，对被电子部件安装机的吸附头吸附的电子部件进行摄像，对电子部件的图像进行处理，进行电子部件的位置检测(检测部件中心及部件偏移)即部件识别，并根据其识别结果，对安装位置进行校正而进行部件搭载。

图23是表示现有的图像处理装置的图像输入部的结构的框图，(a)是表示使用了一个CPU的结构的图，(b)是表示使用了2个CPU的结构的图。

图像输入部具有以下部分而构成：输入电路7，其将由标准照相机4或高解析度照相机5摄像的电子部件的图像变换为数字图像；图像存储器8，其存储变换为数字图像的图像；以及CPU(运算装置)10、11，其对图像存储器8的图像数据进行运算处理。

当前，一般是采用由一个CPU 10对图像处理运算进行处理的结构(图23(a))，在此情况下，在存在例如可以并行处理的处理A及处理B这二个处理时，也是通过一个CPU来逐次处理该处理A和处理B。

然而另一方面，为了实现对电子部件进行摄像后的图像的高解析度和电子部件的电极数的增多、以及定位结果的高精度化，该图像处理的任务变重。例如在电极为球形状的电子部件即球形电极部件中，球形电极数甚至会超过1万个，以现行的CPU处理速度，有可能不能满足装置的要求时间。

图23(a)所示的现有的图像输入部的结构，需要非常高性能的CPU，存在以下问题：能够对应的CPU不存在，或者价格太高。

因此，为了使图像处理高速化，考虑图像处理的并行化，如图23(b)所示，提出下述结构：除了CPU 10之外还设置CPU 17，使CPU为多个，实现并行处理(关于图像处理的分散处理，参照专利文献1、专利文献2)。

专利文献1：特开平8-44678号公报

专利文献2：专利第3646420号公报

发明内容

然而，在设置多个CPU的结构的情况下，图像存储器为了承受从CPU的访问，需要采用使用了带宽较宽的高价的图像存储器的结构。也就是说，考虑到频繁地由各CPU访问，为了访问不会产生冲突，需要访问时间快、动作时钟频率较高的图像存储器。如果这样，则存在下述问题：满足该要求的图像存储器不存在，或者价格很高。

特别是，在电子部件安装装置中采用的图像处理装置中，并不是所有进行处理的电子部件的用于部件识别的图像处理负荷都很大，这样的部件是非常有限的少数。为了与不常发生的负荷较大的处理匹配，准备高价的硬件资源，有可能成为高价装置而浪费。

本发明是鉴于上述问题点而提出的，其目的是提供一种图像处理装置，其即使以廉价的CPU或图像处理器的结构的情况下，也能提高图像处理能力。

本发明(技术方案1)为了实现上述目的，

是一种图像处理装置，其对被摄像的电子部件的图像进行处理，进行电子部件的识别，其特征在于，设有：

第1和第2图像存储器，其存储被摄像的电子部件的图像；

第1CPU，其对存储在前述第1图像存储器中的图像进行处理；以及

第2CPU，其对存储在前述第2图像存储器中的图像进行处理，

前述第1CPU，对第1图像存储器的图像中位于被设定的图像区域的图像进行处理，此外，第2CPU与由第1CPU进行的图像处理并行地，对第2图像存储器的图像中位于与由第1图像存储器设定的图像区域不同的图像区域的图像进行处理。

第1和第2CPU处理包含各自不同的引线端子列的图像、或者包含各自不同的边或角的图像、或者位于各自不同区域的球形电极的图像，分别识别引线端子位置、边或角的外形、或球形电极。

此外，本发明(技术方案5)是一种图像处理装置，其对被摄像的电子部件的图像进行处理，进行电子部件的识别，其特征在于，设有：

第1和第2图像存储器，其存储被摄像的电子部件的图像；

第1CPU，其对存储在前述第1图像存储器中的图像进行处理；以及

第2CPU，其对存储在前述第2图像存储器中的图像进行处理，

前述第1CPU，利用规定的识别参数值对存储于第1图像存储器中的图像进行处理，此外，第2CPU与由第1CPU进行的图像处理并行地，利用与前述规定的识别参数值不同的识别参数值，对存储于第2图像存储器中的图像进行处理。

本技术方案(技术方案6)是一种图像处理装置，其对被摄像的电子部件的图像进行处理，进行电子部件的检查，其特征在于，设有：

第1和第2图像存储器，其存储被摄像的电子部件的图像；

第1CPU，其对存储在前述第1图像存储器中的图像进行处理；以及

第2CPU，其对存储在前述第2图像存储器中的图像进行处理，前述第1CPU，利用规定算法对存储于第1图像存储器中的图像进行检查，此外，第2CPU与由第1CPU进行的图像处理并行地，利用与前述规定的算法不同的算法，对存储于第2图像存储器中的图像进行检查。

此时，可以设置下述单元：其在利用前述第1CPU及前述第2CPU中的任一个，判断检查结果为NG的情况下，如果另一个CPU还在由不同的算法执行检查的过程中，则对另一个CPU发送使其中断处理的中断请求。

发明的效果

根据本技术方案，将电子部件的图像存储在不同的图像存储器中，将存储在各图像存储器中的图像的位于不同区域的图像，分别由不同的CPU分散化而进行并行处理，从而可以使图像处理高速化，缩短部件识别时间，不使用高价的硬件资源(CPU、图像存储器)，可以低价的结构进行高速的部件识别。

附图说明

图1是表示电子部件安装装置中的图像处理装置及其周边结构的要部的一个例子的框图。

图2(a)是表示本发明的图像处理装置的图像输入部的一个例子的框图，(b)是表示图像输入部的另一个例子的框图。

图3(a)是表示在不妨碍CPU进行处理的范围内进行辅助处理的情况的说明图，(b)是表示通过辅助处理的优先度，使辅助处理级别变动的情况的说明图。

图4(a)是表示将独立处理分散，从而进行并行处理的具体的适用处理的例子的图表，(b)是表示并行地使逐次连续处理动作的情况下的具体的适用处理的例子。

图5是表示对引线列检测进行分散处理时的例子的说明图。

图6是表示对外形检测进行分散处理时的例子的说明图。

图7是表示对球形电极进行分散处理的检测时的例子的说明图。

图8是对于滤波器的结果和边缘判定阈值的关系进行说明的说明图，(a)是表示摄像图像的引线部分，(b)是表示(a)的扫描线L的位置的浓度值的曲线图，(c)时表示滤波器的曲线图，(d)是表示在(c)的零交叉点的变化量的曲线图。

图9是对于滤波器的结果和边缘判定阈值的关系进行说明的说明图，是存在显像不好的引线端子时的说明图，(a)是表示摄像图像的引线部分，(b)是表示(a)的扫描线L的位置的滤波器的结果的曲线图，(c)是表示在(b)的零交叉点的变化量的曲线图。

图10是对于滤波器的结果和边缘判定阈值的关系进行说明的说明图，是在与引线端子以同间隔存在噪声时的说明图，(a)是表示摄像图像的引线部分，(b)是表示(a)的扫描线L的位置的滤波器的结果的曲线图，(c)是表示在(b)的零交叉点的变化量的曲线图。

图11是表示用主CPU和副CPU进行图4(a)所示的处理时的各CPU的动作的流程图。

图12是表示用主CPU和副CPU进行图4(a)所示的重新处理时的各CPU的动作的流程图。

图13是表示用主CPU和副CPU进行图4(a)所示的分散处理时的各CPU的动作的流程图。

图14是表示本发明的图像处理装置的图像输入部的其他结构例的框图。

图15是说明图14的开关切换动作的图表。

图16是表示图14所示的结构中的处理流程的流程图。

图17是表示图14所示的结构中的处理迁移的时序图。

图18是表示芯片的吸附状态的不同的说明图。

图19是表示判定芯片立起的算法的一个例子的流程图。

图20是表示上述算法的适用例的图像形象的说明图。

图21是表示本发明的芯片立起检查的判定处理的流程图。

图22是表示芯片立起检查的算法参数的分类例的图表。

图23是表示现有的图像输入部的结构的框图，(a)是表示采用一个CPU的结构的框图，(b)是表示采用2个CPU的结构的框图。

具体实施方式

下面，对于本发明的实施方式，参照附图进行说明。

实施例1

图1是表示电子部件安装装置中的图像处理装置及其周边结构的要部的一个例子的框图。

该电子部件安装装置由以下部分构成：吸附嘴1，其用于吸附电子部件(以下简称部件)并将其置于摄像位置；机械控制装置15，其控制吸附嘴1的移动及照明装置3的驱动等部件向基板(未图示)上的搭载动作；标准照相机4及高解析度照相机5，其作为对部件2进行摄像的摄像装置起作用；以及图像处理装置14，其对被摄像的图像进行处理，进行部件识别。

图像处理装置14由以下部分构成：输入电路7，其将由照相机4、5摄像的部件的图像变换成数字图像；图像存储器8，其存储被变换成数字图像的图像；工作存储器9；运算电路(CPU)10，其对图像存储器8的数据进行运算处理；部件数据存储器12；接口13；以及控制CPU 11，其控制各装置至存储器间的数据的传输，同时对部件搭载所需的数据进行运算。另外，还设有显示器6，其显示被摄像的图像或被处理后的图像。

机械控制装置15经由接口13向图像处理装置14发送部件数据。图像处理装置14将接受到的部件数据存储到部件数据存储器12中。机械控制装置15通常根据部件的种类、特别是部件的电极尺寸，选择标准照相机4或高解析度照相机5，用吸附嘴1吸附部件2，将其置于选择的照相机的摄像位置。此时，使照明装置3移动并点灯而可以用选择出的照相机进行摄像，经由接口13向图像处理装置14指示选择的照相机通道信息，同时指示执行处理。

图像处理装置14控制被指定的照相机4或5，将被摄像的部件2的图像在输入电路7中数字化，作为多值图像数据存储在图像存储器8中。并且，运算电路10对图像存储器8的数据进行处理，检测引线前端或角部等的位置，计算部件中心与吸附中心之间的偏移以及部件的吸附倾斜，进行部件的定位(部件识别)。

机械控制装置15接受部件识别结果，使吸附嘴移动至安装位置，按照部件识别结果对部件的吸附偏移(部件中心与吸附中心间的偏移以及吸附角度偏移)进行校正，将部件2搭载到基板上的规定位置。

本发明中，为了实现高速的图像处理，如图2(a)、(b)所示，在图像处理装置14中设置了多个图像存储器和多个运算电路(CPU)。

在图2(a)中，来自照相机4、5的图像数据经由输入电路7被读取，经由分配器18分配给二个图像存储器8、19，分配给图像存储器8的图像数据由CPU 10处理，此外，分配给图像存储器19的图像数据由CPU 17处理。本实施例中，只有CPU 10可以访问图像存储器8，只有CPU 17可以访问图像存储器19，由于不是多个CPU对一个存储器进行访问，所以即使不使用带宽很宽的高价的图像存储器，也可以进行并行处理。

然而还考虑到，仅为了可以分散处理的并行处理化而安装CPU17，存在CPU 17没有执行任何处理的时间而没有有效利用。因而，在如图2(b)所示的实施例中，在2个吸附头动作的电子部件安装装置中，对于每个吸附头准备图像的输入系统，在分别设置CPU而并行进行各吸附头的处理的过程中，如果存在多余的CPU资源，则可相互有效地利用，从而提高处理能力。也就是说，来自照相机4、5的图像数据经由输入电路7被存到图像存储器8中，但在输入电路7和图像存储器8之间设置分配器18，与图像存储器8相同的数据在同一时间被写入图像存储器19。

另外，来自另一吸附头的标准照相机64、高解析度照相机65的图像数据，经由与输入电路7相同的输入电路20，被写入图像存储器22，但在输入电路20和图像存储器22之间设置分配器21，与图像存储器22相同的数据在同一时间被写入图像存储器23。

CPU 17作为CPU 10的副CPU，访问图像存储器19而执行处理，CPU 10作为CPU 17的副CPU，访问图像存储器23而执行处理。图像存储器8仅CPU 10可以访问，图像存储器19仅CPU 17可以访问。图像存储器22仅CPU 17可以访问，图像存储器23仅CPU 10可以访问。

在图2(b)的实施例中，不是多个CPU访问一个存储器，所以即使不使用带宽很宽的高价的图像存储器，同样也可以对可分散的处理进行并行处理。

如图2所示，在设置多个CPU的情况下，如图3所示，将一个CPU 10(或17)作为主CPU，将另一个CPU 17(或10)作为副CPU，对于副CPU使其执行辅助处理，从而可以进行分散处理。图3(a)是表示在不妨碍主CPU处理的范围内，副CPU进行辅助处理的情况的图，图3(b)是表示因辅助处理的优先度，使辅助的级别变动的情况的说明图。

在图3(a)的例子中，对于主CPU进行处理的应用任务50中优先度最低的任务51，副CPU作为空闲任务执行。如果有分散处理的请求(步骤S1)，则副CPU对优先度最低的任务进行分散处理(步骤S2)，并发送其结果(result)(步骤S3)。在工作存储器9中存储请求处理状态、请求、结果。这样，通过对优先度最低的空闲任务进行辅助处理，二个CPU分别使本来的处理优先，可以以相互间合理的处理级别，利用分散处理相互辅助配合。

此外，在因辅助处理的优先度，使辅助的级别变动的情况下，如图3(b)所示，通过动态地控制空闲任务的优先度而可以实现。该情况下，可以根据需要加强辅助的程度，从而实现柔性的调度。

作为辅助处理的请求，例如在应用任务中追加紧急度及负荷的参数50a。这里，所谓紧急度，是表示必须处理的紧急性的程度的参数，所谓负荷，是表示该处理需要多少CPU容量的参数。紧急度及负荷分别对于分散化的各处理相对地设定即可。例如，在自身进行紧急度较高的处理的情况下，无论是怎样的辅助处理，作为副CPU也不接受，在进行紧急度不太高的处理或负荷较轻的处理的情况下，是控制为如果是负荷较轻的处理则作为副CPU可以接受的参数。

辅助处理的接受本身，由优先度最高的任务52进行，即使是主CPU的处理中，也中断而进行处理。接受辅助处理时，首先读出紧急度以及负荷的参数50a，等待请求(步骤S4)。此时，与辅助处理相同地，对于主CPU的处理，预先设定紧急度和负荷。

接受辅助处理时，如果主CPU处于处理过程中，则通过将该处理的紧急度及负荷与请求处理的紧急度和负荷进行比较，确定执行任务(比如空闲任务)的优先度，暂时进行变更(步骤S5)，将请求从接受任务转换到执行任务。副CPU在步骤S7～S9中执行任务，对接受任务进行处理的结束通知，接受任务使执行任务的优先度复原。紧急度或负荷的参数与任务的优先度的关系，只要与系统匹配而生成即可。另外在公用存储器9中，与图3(a)相同，存储请求处理状态、请求、结果。

图4是表示图像处理装置中进行并行处理的对象的一个例子的图表，(a)是表示对同一处理进行分散，进行并行处理的具体的适用例的图，(b)是表示对逐次连续处理进行并行处理的情况下的具体的适用例的图。

图4(a)的No.1～No.3，是对应于部件的端子或部件的特征等，在存储于图像存储器8、19中的图像数据中设定规定的图像区域，将各区域的图像处理分配给CPU 10、17中进行并行处理，从而实现高速化。

在图4的No.1中，例如如图5所示，在识别设置在矩形部件30的各边的引线端子的情况下，设置区域8a，其包含设置于存储在图像存储器8中的部件30的一个边上的引线端子列30a，还设置区域19a，其包含设置于存储在图像存储器19中的部件30的另一个边上的引线端子列30b。CPU 10对在图像存储器8中被设定的图像区域8a的图像数据进行处理，检测引线端子列30a的各引线端子的位置。此外，与该处理并行，另一个CPU 17处理在图像存储器19中被设定的图像区域19a的图像数据，检测另外的引线端子列30b的各引线端子的位置。

在图4(a)的No.2中，在识别矩形部件的外形的图像处理中，通过用另一个CPU对每个部件的各边或各角部进行识别处理，进行分散处理。例如，如图6所示，在识别矩形部件31的边或角部的外形时，设定图像区域8b、8c，其包含被存储在图像存储器8中的部件31的一个边31a或角部31b，设定图像区域19b、19c，其包含被存储在图像存储器19中的部件31的另一个边31c或角部31d。此外，CPU 10对图像存储器8的区域8b、8c的图像数据进行处理，识别边31a或角部31b的外形，此外，与该处理并行，另一个CPU 17处理图像存储器19的区域19b、19c的图像数据，识别另一个边31c或角部31d的外形。

在图4的No.3中，在识别底面上设有球形电极的部件的球形的图像处理中，分别设置各自不同的图像区域，通过用不同的CPU对各个区域进行识别处理，从而进行分散处理。例如，如图7所示，在具有多个球形电极32a的部件32的情况下，在图像存储器8中存储的部件32的图像中，设定包含球形电极的一个图像区域8d，此外，在存储于图像存储器19的部件32的图像中，设定包含球形电极的与区域8d不同的另一区域19d。CPU 10对图像存储器8的区域8d的图像数据进行处理，检测该区域的各球形电极的位置，此外，与该处理并行，另一个CPU 17对图像存储器19的区域19d的图像数据进行，检测位于该区域19d的各球形电极的位置。

在图4的No.4中，在对部件的摄像数据与预登录的部件数据进行匹配的图像处理中，将摄像的数据分割为多个块，对于各个块分别用不同的CPU进行识别处理，由此可以进行分散处理。也就是说，通过分割匹配区域，将取得匹配的相关运算以分散处理并行进行，从而实现高速化。

图4的No.5，适用于使条件变动，采用可以取得更好结果的条件的处理，在以规定的条件进行图像处理，如果效果不好则改变条件重新处理这种重试处理的情况下，同时进行这两个处理，比较结果，采用好的处理结果，通过该并行处理可以大幅度缩短处理时间。

这种重试处理的分散/并行处理，例如还可以考虑应用于在例如检测部件引线时的边缘判断阈值的重试处理。

当前，针对每个滤波器的种别和尺寸，预先对于模型引线取得滤波器运算值，根据其结果确定基准的边缘检测阈值，为了对应批次不同等导致的引线的反射情况的波动，与摄像图像相匹配，通过重试处理，调整边缘判断阈值。在摄取图像中部件的端子比较暗，由默认的阈值无法检测边缘时，使阈值减小，另外在存在噪声成分的情况下，会检测到多余的边缘，使阈值增大，进行重试，从而仅检测出正确的引线。该例中，边缘判断阈值相当于识别参数值。

图8是对于滤波器处理(DOG滤波器处理(Marr&Posio的Difference-of-Gaussian滤波器处理)的结果和边缘判定阈值的关系进行说明的说明图，图8(a)是表示部件的引线部分40的摄像图像，图8(b)是表示图8(a)的扫描线L的位置的浓度值的曲线图，图8(c)是表示滤波器处理的结果的曲线图，图8(d)是表示改变阈值时的图8(c)的零交叉点的变化量的曲线图。

在图8(c)中，滤波器运算结果的零交叉点是边缘。通过DOG滤波器，即使是很小的浓度变化也容易反应，零交叉点不全都限于引线边缘。由于在是引线边缘的情况下，滤波器反应值变大，所以，如图8(d)所示，将滤波器结果的零交叉点前后的变化量超过某个规定值(＝边缘判定界限＝滤波器阈值)的，判断为引线边缘。

如图9所示，在存在摄像效果不好的引线端子41的情况下，相对于引线边缘部分的变化量，如果滤波器阈值42过高则能够检测的引线数量减少，如图10所示，在与引线端子同间隔的地方存在噪声43的情况下，相对于引线边缘部分的变化量，如果边缘判断阈值44过低则误检测出引线以外的噪声，所以检测的数量变多。

也就是说，在检测到的引线数量比指定的引线数量少的情况下，有可能边缘判定阈值过高，反之在检测出的引线数量较多的情况下，有可能边缘判定阈值过低。确实是引线数量有误的情况下，即使使阈值变动，引线数量也不变动。反过来说，阈值只能在不引起正常的引线数量变动的水平内变动。

如果使用本发明，利用一个CPU由缺省值的滤波器阈值42或44进行引线检测，利用另一个CPU，由稍低的滤波器阈值42或者稍高的滤波器阈值44同时并行地进行引线检测处理，在原本的处理时间，可以完成通过改变识别参数值而进行的重试处理(可以并行进行最初的一次重试处理)。并且，对于由并行处理取得的二个结果，通过比较引线检测数量和指定引线数量，可以判断获得的结果是否正确。在二个结果中，选择正确的结果。二个结果都正确时，选择缺省设定的结果。

再接着进行几次重试处理的情况下，也在同一图像处理中改变识别参数值，由各识别参数值使用不同的CPU对相同的图像数据进行，从而可以将重试处理时间减半。

下面，参照图11说明图4(a)的No.1～No.4所示的处理流程。该实施例中，作为图像输入部的结构，采用图2(a)所示的结构。

主CPU(例如CPU 10)从图1所示的机械控制装置15经由接口13接收指令(步骤S11)。

然后，主CPU使图2(a)所示的输入电路7动作，进行图像摄像。图像数据利用图2(a)所示的分配器18，在同一时间将相同的数据写入图像存储器8、19(步骤S12)。

然后，主CPU计算作为分散处理对象的图像上的区域(步骤S13)。然后，主CPU设定对于步骤S13中求得的处理区域的处理所需的参数，将请求传送至副CPU(例如图2(a)所示的CPU17)(步骤S14)。

在步骤S15中，主CPU执行被分配给自身的分散处理(1)。

另一方面，由副CPU接受来自主CPU的请求(步骤S17)，与步骤S15并行，由副CPU执行步骤S17～步骤S19的处理。

在步骤S18中，副CPU判定分散处理类别(步骤S18a)。根据状况、类别的不同，控制执行被委托的分散处理(2)的任务的优先度，从而可以插入柔性对应的计划。

在步骤S18中，调用各自的执行处理程序而执行分散处理(2)(步骤S18b～S18e)，如果处理结束，则将该分散处理(2)的结果传送到CPU 10(步骤S19)。主CPU在步骤S16中接收在步骤S14中委托副CPU进行的分散处理(2)的结果。

在步骤S15中进行的分散处理(1)的内容，进行与在步骤S18中进行的分散处理(2)的步骤S18a～S18e相同的处理。

在步骤S15、S18中分别进行的引线列检测处理，是图4(a)的No.1的处理，是与图5相关联进行说明的处理。步骤S15、S18中进行的球形电极检测处理，是图4(a)的No.3的处理，是与图7相关联进行说明的处理，外形检测处理是图4(a)的No.2的处理，是与图6相关联进行说明的处理。此外，由步骤S15、S18进行的分割区域匹配处理，是图4(a)的No.4的处理。

此外，在需要对于位于不同的其他区域的引线端子列、边、角部或球形电极群，进行上述分散处理(1)、(2)的情况下，进行需要次数的相同的分散处理，基于通过各自的图像处理被识别的引线端子列、边、角部或球形电极群，计算部件的中心与部件的倾斜，结束部件识别。

图12表示图4(a)的No.5，是以图8～图10说明的对重试处理进行分散处理时的各CPU的动作的流程图。

首先，主CPU使输入电路7动作，进行图像摄像(步骤S21)。图像数据经由分配器18，在同一时间将相同的数据写入图像存储器8、19。

主CPU 10为了对于与自身相同的图像上的区域的引线列的检测，改变识别参数值即边缘判定阈值来进行，生成分散处理的请求(步骤S22)。

在步骤S23中，主CPU 10将在步骤S22中生成的请求发送到副CPU 17。

然后，主CPU用规定的识别参数值(参数(1))执行被分配给自身的分散处理(步骤S24)。

另一方面，副CPU 17与主CPU 10并行动作，如果接到来自主CPU 10的请求(步骤S27)，则判定分散处理的类别，调出指定处理模块(步骤S28)，用与参数(1)不同的识别参数(识别参数(2))，即不同的边缘判定阈值，进行引线检测处理(步骤S29)，并将处理结果传送到主CPU 10(步骤S30)。

另一方面，主CPU 10接收副CPU 17在步骤S29中进行的引线检测的结果(步骤S25)。

主CPU 10将在步骤S24中由自身执行的处理结果获得的引线检测数量，与预先设定的指定的引线数量进行比较，此外，将在步骤S25中从副CPU 17接收的结果中获得的引线检测数量与预先设定的指定的引线数量进行比较，选择正确的结果(步骤S26)。在二个均正确的情况下，使主CPU的处理结果优先。

实施例2

上述的分散处理也可以由图2(b)所示的结构进行。图2(b)所示的结构，是在各CPU并行进行各吸附头的处理过程中，如果还存在多余的CPU资源，则为了有效地相互利用，提高处理能力，展开本发明的基本动作。

图13是表示用图2(b)所示的结构进行分散处理的相互辅助时主CPU的处理的流程图。

在图2(b)所示的结构中，如果从具有照相机4、5的吸附头侧来看，CPU 10是主CPU，CPU 17是副CPU，如果从具有照相机64、65的吸附头侧来看，CPU 17是主CPU，CPU 10是副CPU。以下按具有照相机4、5的吸附头的结构进行说明。

主CPU(CPU 10)从图1所示的机械控制装置15经由接口13接收指令(步骤S41)。

然后，主CPU使图2(b)所示的输入电路7动作，进行图像摄像。图像数据通过图2(b)所示的分配器18，在同一时间将相同的数据写入图像存储器8、19(步骤S42)。

然后，主CPU计算作为分散处理对象的图像上的区域(步骤S43)。然后主CPU设定步骤S43中求得的处理区域等的处理所需的参数，将请求传送到副CPU(CPU 17)(步骤S44)。

在步骤S45中，主CPU执行被分配给自身的分散处理(1)。另一方面，副CPU接到来自主CPU的请求，如果自身的容量还有富裕，则执行由主CPU请求的分散处理(2)。分散处理(1)、(2)与图10的步骤S15、S18中的分散处理(1)、(2)是相同的处理。

主CPU接收在步骤S44委托副CPU进行的分散处理(2)的结果(步骤S46)。在这里，如果此时委托的处理结束，则能够接收结果，但有时处理尚未完成。

在步骤S47中，确认委托的分散处理(2)是否完成，如果完成则进入步骤S51的下一个处理(处理(3))，如果未完成，则进入步骤S48。

在步骤S48中，确认处理状况，判定是直接将分散处理(2)委托给副CPU，还是取消委托而自己进行处理。是直接将分散处理(2)委托给副CPU，还是取消委托而自己进行处理的判断标准，例如可以根据从委托处理开始的经过时间是否超过规定的时间来判断，或者根据来自副CPU的报告来进行判断。

在判定为等待副CPU的处理的情况下，分支到步骤S46，等待分散处理(2)的完成。在步骤S48中，判定为取消对副CPU的委托的情况下，向副CPU发送取消请求(步骤S49)，主CPU自身进行分散处理(2)(步骤S50)。

实施例3

下面，说明图14所示的实施例。图14的图像输入部，是通过使逐次连续处理并行地动作，实现提高整体处理能力的结构。该结构是在由CPU执行的处理的过程中，有应进行顺次处理的2种运算，在该处理连续发生的情况下，该结构有效。例如是如图4(b)所示的处理。

在图14所示的结构中，照相机4、5摄像的图像数据可以通过分配器18，分别存储到图像存储器8、19中。但是，在该实施例中，在二个通道上分别设置了开关24、25。也就是说，通过控制开关24、25的接通/断开，可以如图15所示，控制图像数据向图像存储器8、19的存储状态。

此外，如图14所示，CPU(运算电路)10被设置成，通过切换开关26，可以访问图像存储器8及图像存储器19这两者，CPU(运算电路)17也被设置成，通过切换开关26，可以访问图像存储器8及图像存储器19这两者。

图16是说明图14的结构中的处理的流程的流程图。图中，处理A、处理B与图4(b)中的处理A、处理B对应。

此外，图17是表示由图14的各CPU执行的处理的迁移时序图。该图中，将图像存储器8称为A面，将图像存储器19称为B面。

在图16的步骤S61中，将开关24及25接通，将图像数据写入双面、即两个图像存储器8及图像存储器19。

首先，CPU 10对图像存储器8(A面)的数据执行处理A，如果处理A结束，则向CPU 17发出处理B的开始要求(步骤S62)。

在步骤S63中，由于第一次经过该步骤时已经读入了图像，所以跳过，由于第二次以后与CPU 17的处理同步，所以等待由CPU 17进行的处理B。

如果确认由CPU 17执行的A面的处理B结束，则将控制开关24控制为接通，将控制开关25控制为断开，从而仅能存储在图像存储器8(A面)中。

在步骤S64中，由于第一次已经读入了图像，所以跳过，第二次以后进行图像的摄像。此时，由于在步骤S63中通过开关24及开关25的控制，从而仅更新双面存储器中的一面。

接着，在步骤S65中，对于在步骤S64新读入的图像，为了使CPU 10进行处理A而切换开关26。例如在初次时，CPU 10可以访问图像存储器8。

CPU 17与由CPU 10进行的步骤S62～S65并行，进行步骤S66～S68的处理。首先，在步骤S66中，根据由步骤S62发出的要求开始执行处理B。

如果处理B结束，则在步骤S67中，切换开关26，将CPU 17访问的存储器切换到下一个处理对象的图像存储器。例如，由于初次时，CPU 17可以访问图像存储器8，所以在步骤S67进行切换以使CPU 17可以访问图像存储器19。

CPU 17如果结束了处理B，则将该情况向CPU10通知(步骤S68)。

实施例4

下面说明技术方案6涉及的第4实施例，其使用如前述图2(a)所示的结构的图像输入部，检测(判定)部件吸附状态的异常即芯片立起。

这是在前述图4(a)的No.6中作为芯片立起而追加的，与No.1～No.5的各处理一样，也可以适用图2(b)所示的结构的图像输入部。

在要用图像处理进行芯片立起检测(部件吸附状态的判定)的情况下，在图18中，除了(a)的正常吸附(两端的小矩形为引线(电极)端子)之外，在(b)～(e)中与用圆表示的吸附嘴之间的关系中，如在示意图中表示错误状态的差异的那样，考虑芯片吸附倾斜状态的各种情况。因此，使用一个判定算法，不可能判定所有状况的吸附状态。于是，必须对倾斜立起等的部件吸附状态进行分类，准备多种对应各个状态的判定算法，顺次切换判定算法，反复地进行判定处理。下面，进行具体的说明。

图19表示按照芯片立起(吸附状态)的判定算法进行处理的情况下的流程图。

在步骤S71中，根据摄像图像，采用例如判别分析法求得用于二值化的值，进行图像的二值化，进行从得出的二值图像求出块的标记处理(步骤S72)。

然后，由标记图像判定块的数量为一个还是二个，如果是一个，则作为部件整体进行面积检查，如果如图20(a)所示是二个，则认为是引线端子，检查这二个的面积比(步骤S73～S75)。

进行步骤S73～75的处理结果是OK(面积正确或面积比是1)还是NG的判定，如图20(a’)的图像所示，由于倾斜立起时面积比不是1，所以如果为NG，则跳过其后的处理，进行NG处理。如果是OK，则进入下一个处理(步骤S76)。

在步骤S77中，进行下一个处理即惯性主轴(吸附嘴中心)的计算，求得主轴的直线方程式。

通常，倾斜立起的原因在于，成为部件的角部进入吸附嘴前端的吸附孔中而产生的倾斜吸附，导致部件中心从吸附嘴中心的位置偏移。利用该情况，如图20(b)所示，检测在距离吸附嘴中心(＝图像中心)大于或等于某固定距离的位置，是否存在用标记取得的块的外周位置(吸附偏移大)(步骤S78)。

判定位置检查结果是OK还是NG，如果为NG则跳过其后的处理，进行NG处理。如果OK则进入下一个处理(步骤S79)。

在前述图18(a)所示的正常吸附的情况下，与芯片部件的周围四边外接的直线成为矩形。为了利用该原理，求出四边的外接线，判定各边的交角是否落入90°±α的允许范围内(步骤S80)。

进行外接线形状结果是OK还是NG的判定，如果是NG则跳过其后的处理而进行NG处理。如果是OK则进入下个处理(步骤S81)。因此，如图20(c)所示，在外接线的交角从90°较大偏移的情况下，判定为如该图(c’)所示的倾斜立起的NG。

然后，如果芯片部件被正常吸附，则窗口内的大于或等于二值化阈值的面积大致为100％。为了利用该原理，计算在步骤S77求得的惯性主轴上的最外侧边缘点，对主轴加上垂直的矩形窗口(图20(d)中二个小矩形)(步骤S82)。此外，窗口(取得的判断用矩形)的大小，根据部件尺寸求出一般的端子尺寸，使其与该尺寸一致，或者预先示教。

然后，求得在上面所加的窗口内的大于或等于二值化阈值的面积，判定该面积占窗口是否超过大于或等于某固定值的比例。也就是说，判定基于端子部相对于窗口(矩形)的象素数的面积检查结果是OK还是NG(步骤S83)。在这里，如果是NG则进行NG处理，如果是OK则进行OK处理并结束。图20(a)由于是(d)所示的倾斜状态，所以为NG。

如以上详述，在希望用图像处理进行芯片立起检查时，必须对倾斜立起的状态进行分类，按照各自的状况准备多个判定算法，顺次切换判定算法，反复地进行判定处理。

因此，如现有的图像处理装置所示，在CPU是一个的情况下，即使可以进行并行处理的处理对象，也必须进行顺次处理，因此需要很长的时间。特别地，为了取得正常的判定结果而使用准备的全部的判定算法，由于必须在所有的处理中都取得OK的判定，所以成为最的处理时间。由于从频率上看正常状态占大多数，因此对生产节拍的影响程度非常大。

以下对于为了有效地实现前述图4(a)中作为No.6所列的芯片立起检查，深入研究得出的结果的本发明实施例4进行说明。

图21表示由本实施例进行的检查(判定)的处理顺序的流程图。

在左侧所示的主CPU的流程中，首先，在步骤S91中，主CPU使图2(a)输入电路7动作，进行图像的摄像。

被摄像的图像数据通过图2(a)的分配器18，在同一时间将同一数据写入图像存储器8、19。

在步骤S92中，芯片立起检查的算法，为了达到大致相等的处理时间，考虑进行组合，如图22所示，分成2个模式，作为模式1、2进行设定。

主CPU对于与自身相同的图像上的芯片部件，为了用算法模式2进行芯片立起检查，生成分散处理的请求，在步骤S93中发送给副CPU，同时在步骤S94执行被分配给自身的芯片立起检查(算法模式1)。

然后，在步骤S95中，判定自身的处理是否已由于从另一个CPU发送来中断请求(后述)而被中断，如果被中断，则认为另一个CPU的检查已经确定为NG判定。

在步骤S96中，如果未中断而检查正常结束，则进行由自身处理得到的检查结果的判定，如果是NG，则为了使另一个CPU的处理中断，在步骤S97中，对另一个CPU发送中断请求。

在步骤S98中，接收在前述步骤S93中委托副CPU进行的芯片立起检查的结果，在步骤S99中，如果某个检查中判定为NG则为NG，只有两个都是OK的情况下选择OK的结果。

另一方面，右侧所示的副CPU的流程图如下所示。其与由主CPU进行的步骤S94的处理并行动作。

在步骤S101中，接收来自主CPU的前述步骤S93的请求时，判定在步骤S102被要求的分散处理类别，调出指定处理时间表。

在步骤S103中执行芯片立起检查(算法模式2)。

然后，在步骤S104中判定自身的处理是否已被另一个CPU中断，如果被中断则认为其他CPU的检查已经确定为NG判定。

在步骤S105，如果未被中断而检查正常结束，则进行由自身处理得到的检查结果的判定，如果是NG，则为了使另外的CPU处理中断，在步骤S106中，对另一个的CPU发送中断请求，同时在步骤S107中，将分散处理的结果传送给主CPU。

如使用了前述图19、图20的说明所述，在前述图4(a)的No.6记载的芯片立起检查中，需要依次尝试多个判定算法进行ON/NG判定的处理。因此，通常进行这样的处理，即用某种算法进行判定，如果为OK，则变换为下个算法再反复判定，但在本实施例总，是并行地高效率地执行多个判定处理，可以大幅缩短最长处理时间。

进行这样的OK/NG判定处理的情况下，由于频率很高的OK判定需要最长的处理时间，所以效果非常显著。

如上所述，根据实施例4可以取得以下的效果。

(1)将处理分散化而进行并行处理，从而可以大幅缩短正常时的检查时间。

(2)设置通过发送中断请求而使处理中断的通知单元，从而可以将错误时的检查时间也控制在最小限度。

以上介绍的实施例1、2、3、4，都可以使处理分散化而进行并行处理，由于可以缩短部件识别时间，以及能够提高现有性能的硬件资源(CPU、图像存储器)的使用效率，提高处理能力，所以对控制成本有利。

现有的分散处理中，由于处理对象的数据共用同一个存储器，所以该存储器必须是高价的，此外，即使在其他的存储器中分别进行处理，也会产生数据复制这样多余的处理。与此相对，本发明通过利用分配器，成为摄像时同一数据可以存在二个面的存储器中的硬件结构。因此即使是现有性能的硬件资源，也可构筑高效率的分散处理。

在本发明中，2个CPU分别使本来的处理优先，采用以相互间合理的级别分散处理而相互辅助配合的调度方式，根据需要可以成为能够提高辅助程度的结构，实现柔性的调度。

本发明中，在电子部件安装装置的图像处理装置中，通过将与部件识别相关的图像处理即应用处理分散化，执行并行处理，从而可以不仅依赖硬件的高速化，将现有的资源使用效率发挥到最大限度，可以消除浪费而提高处理能力。

Claims (7)

1.一种图像处理装置，其对被摄像的电子部件的图像进行处理，进行电子部件的识别，其特征在于，设有：

第1和第2图像存储器，其存储被摄像的电子部件的图像；

第1CPU，其对存储在前述第1图像存储器中的图像进行处理；以及

第2CPU，其对存储在前述第2图像存储器中的图像进行处理，

前述第1CPU，对第1图像存储器的图像中位于被设定的图像区域的图像进行处理，此外，第2CPU与由第1CPU进行的图像处理并行地，对第2图像存储器的图像中位于与由第1图像存储器设定的图像区域不同的图像区域的图像进行处理。

2.如权利要求1所述的图像处理装置，其特征在于，

前述电子部件是具有引线端子的电子部件，第1CPU对存储在第1图像存储器中的包含电子部件的规定的引线端子在内的图像区域进行处理，第2CPU对包含与前述规定的引线端子不同的引线端子在内的第2图像存储器的图像区域进行处理，分别检测各图像区域的引线端子位置。

3.如权利要求1所述的图像处理装置，其特征在于，

前述电子部件是至少具有二个边或角部的电子部件，第1CPU对存储在第1图像存储器中的包含电子部件的规定的边或角部在内的图像进行处理，第2CPU对包含与前述规定的边或角不同的边或角部在内的第2图像存储器的图像区域进行处理，分别识别各图像区域内的边或角部的外形。

4.如权利要求1所述的图像处理装置，其特征在于，

前述电子部件是具有多个球形电极的电子部件，第1CPU对存储在第1图像存储器中的包含电子部件的规定的球形电极在内的图像进行处理，第2CPU对包含与前述规定的球形电极不同的球形电极在内的第2图像存储器的图像区域进行处理，分别检测各图像区域的球形电极的位置。

5.一种图像处理装置，其对被摄像的电子部件的图像进行处理，进行电子部件的识别，其特征在于，设有：

第1和第2图像存储器，其存储被摄像的电子部件的图像；

第1CPU，其对存储在前述第1图像存储器中的图像进行处理；以及

第2CPU，其对存储在前述第2图像存储器中的图像进行处理，

前述第1CPU，利用规定的识别参数值对存储于第1图像存储器中的图像进行处理，此外，第2CPU与由第1CPU进行的图像处理并行地，利用与前述规定的识别参数值不同的识别参数值，对存储于第2图像存储器中的图像进行处理。

6.一种图像处理装置，其对被摄像的电子部件的图像进行处理，进行电子部件的检查，其特征在于，设有：

第1和第2图像存储器，其存储被摄像的电子部件的图像；

第1CPU，其对存储在前述第1图像存储器中的图像进行处理；以及

第2CPU，其对存储在前述第2图像存储器中的图像进行处理，

前述第1CPU，利用规定算法对存储于第1图像存储器中的图像进行检查，此外，第2CPU与由第1CPU进行的图像处理并行地，利用与前述规定的算法不同的算法，对存储于第2图像存储器中的图像进行检查。

7.如权利要求6所述的图像处理装置，其特征在于，

设置下述单元：其在利用前述第1CPU及前述第2CPU中的任一个，判断检查结果为NG的情况下，如果另一个CPU还在由不同的算法执行检查的过程中，则对另一个CPU发送使其中断处理的中断请求。

Images