CN112036579A

CN112036579A - 多分类模型自学习在线更新方法、系统及装置

Info

Publication number: CN112036579A
Application number: CN202010922752.9A
Authority: CN
Inventors: 李弦; 阮晓雯; 徐亮
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2020-09-04
Filing date: 2020-09-04
Publication date: 2020-12-04
Anticipated expiration: 2040-09-04
Also published as: WO2021159749A1; CN112036579B

Abstract

本发明涉及人工智能，提供一种多分类模型自学习在线更新方法，包括：根据预设统计周期对待更新模型的预测性能进行监测统计，并将各统计周期内的预测性能统计结果存入统计数据库；使用预设的触发机制对所述统计数据库内的数据进行检查，以判断所述待更新模型是否需要进行在线更新；若所述待更新模型需要进行在线更新，则获取线上新产生数据，并根据所述新产生数据对待更新模型的训练数据进行更新；使用更新后训练数据对所述待更新模型进行更新训练，以获得更新后的多分类模型。本发明还涉及区块链技术，统计数据库存储于区块链中。本发明提供技术方案既能够解决现有的多分类模型随时时间的推移，预测精度显著降低，且不能实现自动更新的问题。

Description

多分类模型自学习在线更新方法、系统及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种多分类模型自学习在线更新方法、系统、装置及存储介质。

背景技术

在人工智能技术领域，机器学习模型是常见使用手段，比如多分类模型，用于对待测数据进行分类，实现数据分类自动化，提高分类效率。然而，对于机器学习模型(尤其是多分类模型)，其预测性能主要取决于对训练样本数据的挖掘，训练数据样本对实际数据的模拟性越强，则模型的预测性能越强。

然而，当训练好的模型部署上线后，如果线上待预测数据分布或模式随时间变化，出现较多训练数据未覆盖的模式时，模型的预测精度将大幅下降。如政府公文分类模型，待预测的公文内容会随当前时事或政策变化。因此，需要利用新获取的标注数据对受时效影响的模型进行更新。如果采用人工进行更新，则需要技术人员跟踪模型性能，持续反复训练模型并进行部署上线，势必会耗费较大人力。

目前现有的机器学习模型自动更新方法较少，尤其是对于多分类模型，还不能实现其自动更新，主要问题为缺少对多分类模型更新的触发机制、训练数据的选择以及模型更新等具体技术方案的设定，因此不能实现多分类模型的自动更新。

基于以上问题，亟需一种能够实现多分类模型自动更新的方法。

发明内容

本发明提供一种多分类模型自学习在线更新方法、系统、电子装置以及计算机存储介质，其主要目的在于解决现有的多分类模型随时时间的推移，预测精度显著降低，且不能实现自动更新的问题。

为实现上述目的，本发明提供一种多分类模型自学习在线更新方法，该方法包括如下步骤：

根据预设统计周期对待更新模型的预测性能进行监测统计，并将各统计周期内的预测性能统计结果存入统计数据库；

使用预设的触发机制对所述统计数据库内的数据进行检查，以判断所述待更新模型是否需要进行在线更新；

若所述待更新模型需要进行在线更新，则获取线上新产生数据，并根据所述新产生数据对待更新模型的训练数据进行更新；

使用更新后训练数据对所述待更新模型进行更新训练，以获得更新后的多分类模型。

优选地，所述统计数据库存储在区块链中，并且所述预测性能包括预测精度precision值，所述预测精度precision值的计算公式为：

预测精度Precision值＝正确分类的样本数/整体的样本数；并且，

所述触发机制包括：

机制A：若包含当前统计周期在内的历史N个统计周期的预测精度precision值持续下降，则判定所述待更新模型需要进行在线更新，其中，N为第一预设参数。

另外，本发明还提供一种多分类模型自学习在线更新系统，所述系统包括：

性能监测单元，用于根据预设统计周期对待更新模型的预测性能进行监测统计，并将各统计周期内的预测性能统计结果存入统计数据库；

机制触发单元，用于使用预设的触发机制对所述统计数据库内的数据进行检查，以判断所述待更新模型是否需要进行在线更新；

数据更新单元，用于若所述待更新模型需要进行在线更新，则获取线上新产生数据，并根据所述新产生数据对待更新模型的训练数据进行更新；

模型更新单元，用于使用更新后训练数据对所述待更新模型进行更新训练，以获得更新后的多分类模型。

另外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的多分类模型自学习在线更新程序，所述多分类模型自学习在线更新程序被所述处理器执行时实现如下步骤：

另外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有多分类模型自学习在线更新程序，所述多分类模型自学习在线更新程序被处理器执行时，实现如上述多分类模型自学习在线更新方法的步骤。

本发明提出的多分类模型自学习在线更新方法、电子装置及计算机可读存储介质，通过自行设计一套多分类模型更新的触发机制、训练数据的更新机制以及模型更新方法，既能够实现多分类模型的线上自动更新，又能够确保多分类模型的预测精度一直保持在较高状态。此外，通过模型精度跟踪的方式自动反映线上的多分类模型的预测表现，并通过设定相应的模型更新触发机制，为模型性能下降提供判断标准能够有效的找准多分类模型的更新时机，防止预测模型下降。此外，通过线上数据分布的检验和训练数据的样本比例的调整，能够使更新的模型具有自适应能力，能够适应线上运行数据分布的变化；而模型更新条件的设置则使得模型的预测精度稳定在一定范围，从而在确保模型预测精度稳定的前提下，显著提高模型的自适应能力。另外，本发明提供的多分类模型自学习在线更新方案还能够有效地避免人工更新模型的复杂工作，且能够实时响应，保障预测模型性能。

附图说明

图1为根据本发明实施例的多分类模型自学习在线更新方法的较佳实施例流程图；

图2为根据本发明实施例的电子装置的较佳实施例结构示意图；

图3为根据本发明实施例的多分类模型自学习在线更新程序的内部逻辑示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。

以下将结合附图对本申请的具体实施例进行详细描述。

实施例1

为了说明本发明提供的多分类模型自学习在线更新方法，图1示出了根据本发明提供的多分类模型自学习在线更新方法的流程。

如图1所示，本发明提供的多分类模型自学习在线更新方法，包括：

S110：根据预设统计周期对待更新模型的预测性能进行监测统计，并将各统计周期内的预测性能统计结果存入统计数据库。

需要说明的是，为较为准确地反映待更新模型的预测性能，本发明使用待更新模型整体的预测精度precision值作为统计值，来表征待更新模型的预测性能，其中，预测精度Precision值的具体计算公式为：

预测精度Precision值＝正确分类的样本数/整体的样本数，其中，正确分类的样本数即为该统计周期内该待更新模型分类正确的样本数，整体的样本数即为该统计周期内输入至该待更新模型内的样本总数。

需要进一步说明的是，统计周期需要根据系统的业务数据量进行预先设定。如业务数据量较多，则可设置每日进行统计(即1天为一个统计周期)，如数据量较少，则可设置按周或月进行统计(即1周或1个月为一个统计周期)。在实际应用中，对于公文分类场景，通常以周为统计周期对模型预测精度进行统计。

以公文分类场景为例，一般认定系统新增数据量大于1000条，则可认为数据量较多。如每日新增数据量大于1000，则按日统计，如周累计的数据量大于1000，则按周统计，以此类推。

此处需要说明的是，公文分类场景，是指工作人员把单位每日接收到的公文文件，按照公文的内容以及单位内部各个处室或部门的职能，将公文分派给各个相应的处室或部门进行处理。简化来说，就是将公文进行分类，分类的标签就是各个处室名。各个机关单位每日接收的公文数可能不同，但一般量相对较少，每日需分派的公文文件数大概在200左右，因此，以周进行统计。

另外，需要强调的是，为进一步保证上述统计数据库中数据的私密和安全性，统计数据库存储在区块链的节点中。

S120：使用预设的触发机制对所述统计数据库内的数据进行检查，以判断所述待更新模型是否需要进行在线更新。

需要说明的是，触发机制用于根据统计数据库内的数据对待更新模型进行是否需要更新的判断，具体是否需要触发模型更新可根据线上模型(即待更新模型)统计数据库内的历史预测性能确定。

具体地，根据线上模型的历史预测性能触发更新的判断条件可以为：满足以下任一条件则对线上模型进行更新(本发明此处即对应进行后续步骤的处理，若为未达到判断条件，则继续循环上述步骤)。

例如触发机制包括：

机制B：若当前统计周期的预测精度Precision值小于预测精度平均值-2*预测精度标准差，或当前统计周期的预测精度Precision值小于预测精度平均值-下降百分比P；则判定所述待更新模型需要进行在线更新；其中，

所述预测精度平均值为历史N个统计周期的预测精度Precision值的平均值，所述预测精度标准差为历史N个统计周期的预测精度Precision值的标准差，所述下降百分比P为第二预测参数，N和下降百分比P可根据业务场景进行设置。在公文分类场景中，N设置为5。

需要说明的是，上述触发机制是根据现实场景中的实际情况以及经验设计出的，遵循这种规则对模型进行更新，能够使得模型保持一定的精度，不至于随时间变化而是精度明显下降。

此处需要进一步说明的是，这里的业务经验，是指各个业务场景下所能容忍的精度变化。如有的业务场景要求较高，精度从90％下降到89％都不允许，则精度下降超过P＝1％就需要更新模型。而有的场景要求没有那么高，可能P＝10％才更新模型。在公文场景中，一般与前N＝5个统计周期的值进行比较，P＝5％，超过5％则进行更新。

此外，还可以使用其它机制启动模型的更新(即本发明的后续步骤)；例如,通过业务经验设置时间周期进行模型更新,当统计数据库的统计周期达到设置的时间周期数时，对线上模型进行更新。

例如，所述触发机制还包括：机制C：判定所述待更新模型的上线时长是否达到预设的更新周期阈值，若达到，则判定所述待更新模型需要进行在线更新；其中，所述更新周期阈值为所述统计周期的M倍；其中，M为自然数，且≥2。

S130：若所述待更新模型需要进行在线更新，则获取线上新产生数据，并根据所述新产生数据对待更新模型的训练数据进行更新。

需要说明的是，模型更新最主要的就是训练数据的更新，将产生的新数据包含到模型的训练数据中，是模型更新的优选方式。

具体地，训练数据的更新包括以下步骤：

检验线上新产生标注数据与模型的历史训练数据的分布是否一致，若一致，则将所述新产生数据与所述历史训练数据进行合并，生成训练更新数据。

需要说明的是，由于多分类模型的预测精度极易受数据分布影响，因此需要对当前线上数据的分布与历史训练数据的分布做一致性检验。若各类样本占比接近，则可直接将历史训练数据与新数据进行合并。否则，若线上数据分布出现变化，即与历史训练数据出现较大差别，如某一类样本的占比发生较大变化，则需要对照线上数据情况通过下采样和过采样对历史训练数据的样本比例进行调节，之后再进行合并。

具体地，若所述触发机制为所述机制A或所述机制B，则所述根据新产生数据对待更新模型的训练数据进行更新包括：

增量式更新：

检验所述新产生数据与所述待更新模型的历史训练数据的分布是否一致；

若一致，则将所述新产生数据与所述历史训练数据进行合并，生成训练更新数据；其中，

若所述新产生数据与所述历史训练数据的各类样本的占比差均小于预设占比阈值，则判定所述新产生数据与所述历史训练数据的分布一致。

若所述新产生数据与所述历史训练数据的分布不一致，则通过下采样和过采样的方式对所述历史训练数据的各类样本进行循环式处理，直至所述新产生数据与所述历史训练数据的各类样本的占比差均小于预设占比阈值；

将所述新产生数据与循环处理后的历史训练数据进行合并，生成所述训练更新数据。

需要说明的是，训练数据的更新有两种方式，一种是增量式，即直接将产生的新数据加入历史训练数据，历史训练数据全量保留。另一种是滚动固定长度，即固定训练数据的时长，例如更新的训练数据为当前统计周期前2年的数据。加入新的数据，则去除训练数据中最早的对应长度的数据。加入的新标注数据指上一次更新起始的数据至当前统计周期积累的数据。在数据变化较快的场景一般选择第二种方式。

具体地，若所述触发机制为所述机制C，则所述根据新产生数据对待更新模型的训练数据进行更新包括：

滚动式更新：

设定滚动固定时长，并根据所述滚动固定时长自所述新产生数据与所述历史训练数据中选取相应的数据的作为所述训练更新数据；其中，

所述滚动固定时长为所述统计周期的L倍；其中，L为自然数，且L＞M。需要说明的是，只有当L＞M时，生成的所述训练更新数据才会既包含历史训练数据又包含新产生数据，从而确保训练更新数据对实际场景的拟合度。

S140：使用更新后产生的训练更新训练对所述待更新模型进行更新训练，以获得更新后的多分类模型。

在实际使用过程中，在新的统计周期内，评估比较新的训练模型与旧模型的预测性能，以决定是否利用新模型替换旧模型，若新模型的预测精度大于旧模型，则将预测模型进行替换，否则不替换模型。

下面以公文类数据为例，对本发明提供的多分类模型自学习在线更新方法的过程进行详细说明，例如，取公文标题：国务院办公厅关于印发深化医药卫生体制改革2018年下半年重点工作任务的通知，取分类标签：社会发展处(处室名)，其中，标注数据和历史训练数据都是以上展示的形式，只不过新的标注数据是最近的公文，历史训练数据是之前的公文。

各类样本占比，是指分属于各类的样本数不同，比如：

处室1 公文数占所有公文数占比 20％

处室2 公文数占比 7％

处室3 公文数占比 0.2％

…

如果某一段时间某些特定公文事件数较多，使得原样本占比分布发生变化，变成如下：

处室1 公文数占所有公文数占比 9％

处室2 公文数占比 10％

处室3 公文数占比 3％

…

处室1的占比之前由占据主导的20％变成了9％，使得样本分布发生了较大变化。这里的较大变化可定义为某一处室的占比变化率超过threshold＝50％，(20-9/20>50％)

则根据上述模型更新过程对相应的多分类模型进行更新，例如，在公文分类场景中，模型上线后周预测精度保持在78％左右，疫情发生时公文内容发生改变，不更新模型时，模型精度下降到70％。采用专利提出的模型自动更新机制后，可将模型精度维持在78％。

通过上述技术方案的表述可知，本发明提供的多分类模型自学习在线更新方法，过自行设计一套多分类模型更新的触发机制、训练数据的更新机制以及模型更新方法，既能够实现多分类模型的线上自动更新，又能够确保多分类模型的预测精度一直保持在较高状态。此外，通过模型精度跟踪的方式自动反映线上的多分类模型的预测表现，并通过设定相应的模型更新触发机制，为模型性能下降提供判断标准能够有效的找准多分类模型的更新时机，防止预测模型下降。此外，通过线上数据分布的检验和训练数据的样本比例的调整，能够使更新的模型具有自适应能力，能够适应线上运行数据分布的变化；而模型更新条件的设置则使得模型的预测精度稳定在一定范围，从而在确保模型预测精度稳定的前提下，显著提高模型的自适应能力。另外，本发明提供的多分类模型自学习在线更新方案还能够有效地避免人工更新模型的复杂工作，且能够实时响应，保障预测模型性能。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

实施例2

与上述方法相对应，本申请还提供一种多分类模型自学习在线更新系统，该系统包括：

实施例3

本发明还提供一种电子装置70。参照图2所示，该图为本发明提供的电子装置70的较佳实施例结构示意图。

在本实施例中，电子装置70可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。

该电子装置70包括：处理器71以及存储器72。

存储器72包括至少一种类型的可读存储介质。至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器等的非易失性存储介质。在一些实施例中，可读存储介质可以是该电子装置70的内部存储单元，例如该电子装置70的硬盘。在另一些实施例中，可读存储介质也可以是电子装置1的外部存储器，例如电子装置70上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。

在本实施例中，存储器72的可读存储介质通常用于存储安装于电子装置70的多分类模型自学习在线更新程序73。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。

处理器72在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器72中存储的程序代码或处理数据，例如多分类模型自学习在线更新程序73等。

在一些实施例中，电子装置70为智能手机、平板电脑、便携计算机等的终端设备。在其他实施例中，电子装置70可以为服务器。

图2仅示出了具有组件71-73的电子装置70，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

可选地，该电子装置70还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。

可选地，该电子装置70还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置70中处理的信息以及用于显示可视化的用户界面。

可选地，该电子装置70还可以包括触摸传感器。触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。

此外，该电子装置70的显示器的面积可以与触摸传感器的面积相同，也可以不同。可选地，将显示器与触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。

可选地，该电子装置70还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。

在图2所示的装置实施例中，作为一种计算机存储介质的存储器72中可以包括操作系统、以及多分类模型自学习在线更新程序73；处理器71执行存储器72中存储多分类模型自学习在线更新程序73时实现如下步骤：

在该实施例中，图3为根据本发明实施例的多分类模型自学习在线更新程序的内部逻辑示意图，如图3所示，多分类模型自学习在线更新程序73还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器72中，并由处理器71执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图3所示，为图2中多分类模型自学习在线更新程序73较佳实施例的程序模块图。多分类模型自学习在线更新程序73可以被分割为：性能监测模块74、机制触发模块75、数据更新模块76以及模型更新模块77。模块74-77所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如，其中：

性能监测模块74，用于根据预设统计周期对待更新模型的预测性能进行监测统计，并将各统计周期内的预测性能统计结果存入统计数据库；

机制触发模块75，用于使用预设的触发机制对所述统计数据库内的数据进行检查，以判断所述待更新模型是否需要进行在线更新；

数据更新模块76，用于若所述待更新模型需要进行在线更新，则获取线上新产生数据，并根据所述新产生数据对待更新模型的训练数据进行更新；

模型更新模块77，用于使用更新后训练数据对所述待更新模型进行更新训练，以获得更新后的多分类模型。

实施例4

本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有多分类模型自学习在线更新程序73，多分类模型自学习在线更新程序73被处理器执行时实现如下操作：

本发明提供的计算机可读存储介质的具体实施方式与上述多分类模型自学习在线更新方法、电子装置的具体实施方式大致相同，在此不再赘述。

需要说明的是，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

需要进一步说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种多分类模型自学习在线更新方法，应用于电子装置，其特征在于，所述方法包括：

2.根据权利要求1所述的多分类模型自学习在线更新方法，其特征在于，所述统计数据库存储在区块链的节点中，并且所述预测性能包括预测精度precision值，所述预测精度precision值的计算公式为：

所述触发机制包括：

3.根据权利要求2所述的多分类模型自学习在线更新方法，其特征在于，所述触发机制还包括：

所述预测精度平均值为历史N个统计周期的预测精度Precision值的平均值，所述预测精度标准差为历史N个统计周期的预测精度Precision值的标准差，所述下降百分比P为第二预测参数。

4.根据权利要求3所述的多分类模型自学习在线更新方法，其特征在于，所述触发机制还包括：

机制C：判定所述待更新模型的上线时长是否达到预设的更新周期阈值，若达到，则判定所述待更新模型需要进行在线更新；其中，

所述更新周期阈值为所述统计周期的M倍；其中，M为自然数，且≥2。

5.根据权利要求4所述的多分类模型自学习在线更新方法，其特征在于，若所述触发机制为所述机制A或所述机制B，则所述根据新产生数据对待更新模型的训练数据进行更新包括：

增量式更新：

6.根据权利要求5所述的多分类模型自学习在线更新方法，其特征在于，

7.根据权利要求6所述的多分类模型自学习在线更新方法，其特征在于，若所述触发机制为所述机制C，则所述根据新产生数据对待更新模型的训练数据进行更新包括：

滚动式更新：

所述滚动固定时长为所述统计周期的L倍；其中，L为自然数，且L＞M。

8.一种多分类模型自学习在线更新系统，其特征在于，所述系统包括：

9.一种电子装置，其特征在于，所述电子装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的多分类模型自学习在线更新程序，所述多分类模型自学习在线更新程序被所述处理器执行时实现如下步骤：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多分类模型自学习在线更新程序，所述多分类模型自学习在线更新程序被处理器执行时，实现如权利要求1至7中任一项所述的多分类模型自学习在线更新方法的步骤。