CN116700929A - 基于人工智能的任务批量处理方法及系统 - Google Patents
基于人工智能的任务批量处理方法及系统 Download PDFInfo
- Publication number
- CN116700929A CN116700929A CN202310722194.5A CN202310722194A CN116700929A CN 116700929 A CN116700929 A CN 116700929A CN 202310722194 A CN202310722194 A CN 202310722194A CN 116700929 A CN116700929 A CN 116700929A
- Authority
- CN
- China
- Prior art keywords
- task
- allocation
- tasks
- constraint
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及信息处理领域,揭露一种基于人工智能的任务批量处理方法及系统,该方法包括:识别任务处理请求的请求特征,对任务处理请求进行任务分级,得到分级任务;查询分级任务的处理节点,基于处理节点,对分级任务进行任务预分配,得到预分配任务;计算预分配任务的计算资源,查询资源分配节点的可用资源,识别预分配任务的串口;将计算资源和可用资源及分配串口,作为预分配任务的约束条件;根据约束条件,对预分配任务进行任务规划,得到初步分配任务并计算其约束值,根据约束值创建初步规划任务的最优策略;根据最优策略对任务处理请求进行调度,得到任务调度策略,根据任务调度策略对任务处理请求的任务处理。本发明可以提高批量任务处理的效率。
Description
技术领域
本发明涉及信息处理领域,尤其涉及一种基于人工智能的任务批量处理方法及系统。
背景技术
在企业的日常运维当中,需要对企业信息及工作报表进行更新维护工作,例如商品的创建、名称更改、描述的变更、配送区域的设置等等。随着企业数据的增加,工作也逐渐增加,对于大量的任务如何批量的处理也显得较为重要。
目前,对于任务的批量处理一般基于多线程的方法,通过构建线程池,将不同任务放在线程池中进行处理资源配置再进行任务处理。然而通过这种方法,并没有考虑到在批量任务出现需求变化时的资源重分配问题,从而导致在任务批量处理时的效率较低。
发明内容
为了解决上述技术问题,本发明提供了一种任务批量处理方法及系统,能够提高任务批量处理的效率。
第一方面,本发明提供了一种任务批量处理方法及系统,包括:
获取任务处理请求,识别所述任务处理请求的请求特征,基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务;
查询所述分级任务中每个任务的处理节点,基于所述处理节点,对所述分级任务进行任务预分配,得到预分配任务;
计算所述预分配任务的计算资源,查询所述任务处理请求对应的资源分配节点的可用资源,识别所述预分配任务的任务分配串口;
将所述计算资源和所述可用资源及所述分配串口,作为所述预分配任务的任务约束条件;
根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务,计算所述初步分配任务的约束值,根据所述约束值创建所述初步规划任务的最优任务策略;
根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略,根据所述任务调度策略实行对所述任务处理请求的任务处理。
在第一方面的一种可能实现方式中,所述识别所述任务处理请求的请求特征,包括:
将所述任务处理请求进行解码,得到解码任务;
查询所述解码任务的请求标识,识别所述请求标识中的注解符;
解析所述注解符的注解语义,根据所述注解语义识别所述任务处理请求的请求特征。
在第一方面的一种可能实现方式中,所述基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务,包括:
根据所述请求特征,利用下述公式计算所述分级任务的任务权重:
其中,G表示分级任务的任务权重,n表示分级任务的任务数量,x1表示第一个分级任务,x2表示第二个分级任务,xn表示第n个分级任务,f表示加权平均值,xi表示第i个请求特征;
将所述任务权重按照预设的权重区间进行分级,得到分级权重区间;
将所述任务处理请求中的任务按照分级权重区间对应的级别进行分级,得到分级任务。
在第一方面的一种可能实现方式中,所述计算所述预分配任务的计算资源,包括:
利用下述公式计算所述预分配任务的计算资源占比:
其中,T表示预分配任务的计算资源占比,n表示预分配任务的数量,Sr表示资源分配节点为预分配任务中第r个任务分配资源的资源传速速率,r(t)表示预分配任务中第r个任务的任务缓存资源;
根据所述计算资源占比得到所述预分配任务的计算资源。
在第一方面的一种可能实现方式中,所述识别所述预分配任务的任务分配串口,包括:
查询所述预分配任务的传输协议;
根据所述传输协议,识别所述预分配任务的传输ip;
根据所述传输ip检索所述预分配任务的任务传输通道,查询所述任务传输通道对应的传输串口。
在第一方面的一种可能实现方式中,所述根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务,包括:
构建所述任务约束条件的约束参数及所述预分配任务的任务参数;
将所述约束参数设置为限定条件,利用下述公式计算所述任务参数对于所述限定条件的适应度:
其中,S表示适应度,yi表示限定条件中的计算资源限制,yj表示限定条件中的可用资源限制,yk表示限定条件中的分配串口限制,exp表示全局搜索函数,m表示任务参数的参数数量,TC表示任务参数中的第c个参数;
基于所述适应度,对所述任务参数进行参数搜索,得到目标参数;
根据所述目标参数对所述预分配任务进行参数回执,得到初步分配任务。
在第一方面的一种可能实现方式中,所述计算所述初步分配任务的约束值,包括:
利用下述公式计算所述初步分配任务的约束值:
其中,Y表示约束值,f(y)表示约束代价函数,δ表示约束条件之间的约束关系,m表示初步分配任务的任务数量,Lq表示初步分配任务中的第q个任务。
在第一方面的一种可能实现方式中,所述根据所述约束值创建所述初步规划任务的最优任务策略,包括:
创建所述初步规划任务的任务列表;
在所述任务列表中将所述约束值按照升序进行排列,得到约束值序列;
按照所述约束序列查询所述约束值所对应的所述初步规划任务,并按照所述约束值排列规则对所述初步规划任务进行排列,得到排列任务;
生成所述排列任务的任务参数,并将所述任务参数输入至预构建的组件中,得到任务组件;
按照所述任务组件的排列顺序,构建所述初步规划任务的任务执行策略,得到最优任务策略。
在第一方面的一种可能实现方式中,所述根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略,包括:
识别所述最优任务策略中的并行任务;
根据所述并行任务,为所述任务处理请求添加并行符,并按照所述最优任务策略中的任务时序为所述任务处理请求设置执行间隔;
基于所述并行符和所述执行间隔,设置所述任务处理请求的触发事件,基于所述触发事件实行对所述任务处理请求的任务调度。
第二方面,本发明提供了一种任务批量处理方法及系统,所述系统包括:
任务分级模块,用于获取任务处理请求,识别所述任务处理请求的请求特征,基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务;
任务分配模块,用于查询所述分级任务中每个任务的处理节点,基于所述处理节点,对所述分级任务进行任务预分配,得到预分配任务;
约束查询模块,用于计算所述预分配任务的计算资源,查询所述任务处理请求对应的资源分配节点的可用资源,识别所述预分配任务的任务分配串口;
约束配置模块,用于将所述计算资源和所述可用资源及所述分配串口,作为所述预分配任务的任务约束条件;
策略规划模块,用于根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务,计算所述初步分配任务的约束值,根据所述约束值创建所述初步规划任务的最优任务策略;
任务执行模块,用于根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略,根据所述任务调度策略实行对所述任务处理请求的任务处理。
与现有技术相比,本方案的技术原理及有益效果在于:
本方案首先通过识别所述任务处理请求的请求特征可以了解所有任务的特殊性,进而更好的分配任务,并通过所述基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务可以将大量的任务请求进行级别分类,从而可以清晰的了解每个任务的执行优先级;其次,本发明实施例通过查询所述分级任务中每个任务的处理节点可以了解每个任务的执行时间,进而更好的分配每个任务的处理顺序,其中,所述处理节点是指,任务处理的截止时间;以及计算所述预分配任务的计算资源可以了解每个任务被处理所需要的计算资源,从而对所述预分配任务进行合理的计算资源分配;进一步的,本发明实施例通过识别所述预分配任务的任务分配串口可以了解每个任务在处理时需要经过的串口,从而可以将这类任务作为同类任务或同时处理,减少计算机任务分配量,并将所述计算资源和所述可用资源及所述分配串口,作为所述预分配任务的任务约束条件可以将所述述预分配任务的在任务分配时所需要考虑的限制条件列出,进而在任务分配时,能够依据所述限制条件进行合理的任务分配,并根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务可以得到符合实际应用场景条件限制的任务处理方法,进而可以分析出所述预分配任务中较优的任务处理方案,及根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略可以为所述任务处理请求安排具体可行的任务执行方法及时间,为所述任务处理请求提供一个可靠的执行方案其中,所述调度策略是指任务执行的优先级,所述调度策略包括静态任务调度和动态任务调度。因此,本发明实施例提出的一种基于人工智能的任务批量处理方法及系统,能够提高任务批量处理的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种任务批量处理方法及系统的流程示意图;
图2为本发明一实施例提供的一种任务批量处理方法及系统的模块示意图。
具体实施方式
应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种任务批量处理方法及系统,所述任务批量处理方法及系统的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换言之,所述任务批量处理方法及系统可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图1所示,是本发明一实施例提供的任务批量处理方法及系统的流程示意图。其中,图1中描述的基于人工智能的任务批量处理方法及系统包括以下步骤S1-S6:
S1、获取任务处理请求,识别所述任务处理请求的请求特征,基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务。
本发明实施例通过所述识别所述任务处理请求的请求特征可以了解所有任务的特殊性,进而更好的分配任务。其中,所述请求特征是指请求的特有结果或目标如必须何时完成,或特定某个单位执行任务等特殊要求。
作为本发明的一个实施例,所述识别所述任务处理请求的请求特征,包括:将所述任务处理请求进行解码,得到解码任务,查询所述解码任务的请求标识,识别所述请求标识中的注解符,解析所述注解符的注解语义,根据所述注解语义识别所述任务处理请求的请求特征。
其中,所述解码是指将数据转换为计算机可识别的信号的技术,所述请求标识是指为请求任务添加的指示符号,可由二进制代码或数字符号表示,所述注解符是指对一个类/方法的一个扩展的模版,每个类/方法按照注解类中的规则,来为类/方法注解不同的参数,如在商品订单查询时自动添加商品消费额度,注解语义是指注解符所代表的含义。
可选的,所述将所述任务处理请求进行解码,得到解码任务通过c语言生成的解码函数实现,所述解码任务的请求标识通过检索解码任务的表示符号查询,所述识别所述请求标识中的注解符通过编程语言java的注解工具识别,所述注解符的注解语义通过对所述注解符代码翻译解析。
进一步的,本发明实施例通过所述基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务可以将大量的任务请求进行级别分类,从而可以清晰的了解每个任务的执行优先级。
作为本发明的一个实施例,所述基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务,包括:
根据所述请求特征,利用下述公式计算所述分级任务的任务权重:
其中,G表示分级任务的任务权重,n表示分级任务的任务数量,x1表示第一个分级任务,x2表示第二个分级任务,xn表示第n个分级任务,f表示加权平均值,xi表示第i个请求特征;
将所述任务权重按照预设的权重区间进行分级,得到分级权重区间;
将所述任务处理请求中的任务按照分级权重区间对应的级别进行分级,得到分级任务。
其中,所述预设的权重区间可以设置为1级、2级、3级等,如明早七点公司会议为1级,明日接待公司客户为2级,查询公司本月账目为3级数值越高表示权重级别越高,也可按照实际应用场景设置。
S2、查询所述分级任务中每个任务的处理节点,基于所述处理节点,对所述分级任务进行任务预分配,得到预分配任务。
本发明实施例通过所述查询所述分级任务中每个任务的处理节点可以了解每个任务的执行时间,进而更好的分配每个任务的处理顺序,其中,所述处理节点是指任务处理的某个时间段,如公司给每个员工发一条会议通知,需要在下午一点至下午三点这个时间节点内完成。
可选的,所述查询所述分级任务中每个任务的处理节点通过识别所述分级任务中每个任务的需求标签中的时间标签查询。
进一步的,本发明实施例通过所述基于所述处理节点,对所述分级任务进行任务预分配,得到预分配任务可以将任务进行初步的分配,为所述分级任务创建一个初步的可执行的目标任务。其中,所述预分配是指最初的分配方案,并不一定是最终方案。
可选的,所述通过所述基于所述处理节点,对所述分级任务进行任务预分配,得到预分配任务通过查询所述处理节点的节点顺序,按照所述节点顺序对所述分级任务进行进行任务预分配。
S3、计算所述预分配任务的计算资源,查询所述任务处理请求对应的资源分配节点的可用资源,识别所述预分配任务的任务分配串口。
本发明实施例通过所述计算所述预分配任务的计算资源可以了解每个任务被处理所需要的计算资源,从而对所述预分配任务进行合理的计算资源分配。其中,所述计算资源是指在计算机执行任务时处理器分配的处理资源,如用户在查询商品订单时计算机需要分配资源进行商品查询,任务需求越大则所所需的计算资源越多。
作为本发明的一个实施例,所述计算所述预分配任务的计算资源,包括:
利用下述公式计算所述预分配任务的计算资源占比:
其中,T表示预分配任务的计算资源占比,n表示预分配任务的数量,Sr表示资源分配节点为预分配任务中第r个任务分配资源的资源传速速率,r(t)表示预分配任务中第r个任务的任务缓存资源,根据所述计算资源占比得到所述预分配任务的计算资源。
实例的,所述根据所述计算资源占比得到所述预分配任务的计算资源通过查询所述预分配任务的总计算资源,并乘以所述计算资源占比得到。
进一步的,本发明实施例通过所述查询所述任务处理请求对应的资源分配节点的可用资源可以了解当前计算机的可用资源,进而根据可用资源合理的分配处理任务。
可选的,所述查询所述任务处理请求对应的资源分配节点的可用资源通过访问所述资源分配节点的资源空间,并查询所述资源空间中的资源可用属性实现。
本发明实施例通过识别所述预分配任务的任务分配串口可以了解每个任务在处理时需要经过的串口,从而可以将这类任务作为同类任务或同时处理,减少计算机任务分配量。其中,所述串口是指数据传输的接口。
作为本发明的一个人实施例,所述识别所述预分配任务的任务分配串口,包括:查询所述预分配任务的传输协议,根据所述传输协议,识别所述预分配任务的传输ip,根据所述传输ip检索所述预分配任务的任务传输通道,查询所述任务传输通道对应的任务分配串口。
其中,所述传输协议是指在任何物理介质中允许两个或多个在传输系统中的终端之间传播信息的系统标准,也是指计算机通信或网上设备的共同语言,所述传输ip是指数据传输的地址,所述传输通道是指为数据传输提供的线路。
可选的,所述传输协议通过查询所述预分配任务协议封包获取,所述根据所述传输协,议识别所述预分配任务的传输ip通过识别所述协议封包中的ip封包获取,所述根据所述传输ip检索所述预分配任务的任务分配串口通过检索脚本实行检索。
S4、将所述计算资源和所述可用资源及所述分配串口,作为所述预分配任务的任务约束条件。
本发明实施例通过所述将所述计算资源和所述可用资源及所述分配串口,作为所述预分配任务的任务约束条件可以将所述述预分配任务的在任务分配时所需要考虑的限制条件列出,进而在任务分配时,能够依据所述限制条件进行合理的任务分配。
其中,所述约束条件是指目标函数常常要在一定约束条件下求最大值(或最小值),它们包含着用来代表决策方案的变量,借以对决策方案施加限制范围。
S5、根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务,计算所述初步分配任务的约束值,根据所述约束值创建所述初步规划任务的最优任务策略。
本发明实施例通过所述根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务可以得到符合实际应用场景条件限制的任务处理方法,进而可以分析出所述预分配任务中较优的任务处理方案。
作为本发明的一个实施例,所述根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务,包括:构建所述任务约束条件的约束参数及所述预分配任务的任务参数,将所述约束参数及所述任务参数输入至预构建的任务规划模型中,将所述约束参数设置为限定条件,基于所述限定条件,构建所述任务约束条件的约束参数及所述预分配任务的任务参数;
将所述约束参数设置为限定条件,利用下述公式计算所述任务参数对于所述限定条件的适应度:
其中,S表示适应度,yi表示限定条件中的计算资源限制,yj表示限定条件中的可用资源限制,yk表示限定条件中的分配串口限制,exp表示全局搜索函数,m表示任务参数的参数数量,TC表示任务参数中的第c个参数,基于所述适应度,对所述任务参数进行参数搜索,得到目标参数,根据所述目标参数对所述预分配任务进行参数回执,得到初步分配任务。
其中,所述参数搜索是指利用所述全局搜索函数搜素符合约束条件的参数,所述参数回执是指将搜索到的符合条件参数反馈给系统,进而系统根据所述参数识别相对应的预分配任务。
进一步的,本发明实施例通过所述,计算所述初步分配任务的约束值可以了解在实际应用场景中由于各方面原因的限制每个任务执行方案的可行性。其中,所述约束值是指通过数据计算得出的具体数值,表示条件约束性,当所述约束值大于0.5时表示约束性较高任务可执行的限制就越高,当所述约束值大于等于1时,表示条件完全限制无法执行任务,当所述约束值不大于0.5时表示约束性较低表示任务可执行的限制较低,所述约束值可根据实际应用场景设置。
作为本发明的一个实施例,所述计算所述初步分配任务的约束值,包括:
利用下述公式计算所述初步分配任务的约束值:
其中,Y表示约束值,f(y)表示约束代价,δ表示各类约束关系,m表示初步分配任务的任务数量,Lq表示初步分配任务中的第q个任务。
进一步的,本发明实施例通过所述根据所述约束值创建所述初步规划任务的最优任务策略可以为待处理任务创建最合理或较合理的处理方法,从而提高任务处理的效率。
作为本发明的一个实施例,所述根据所述约束值创建所述初步规划任务的最优任务策略,包括:创建所述初步规划任务的任务列表,在所述任务列表中将所述约束值按照升序进行排列,得到约束值序列,按照所述约束序列查询所述约束值所对应的所述初步规划任务,并按照所述约束值排列规则对所述初步规划任务进行排列,得到排列任务,生成所述排列任务的任务参数,并将所述任务参数输入至预构建的组件中,得到任务组件,按照所述任务组件的排列顺序,构建所述初步规划任务的任务执行策略,得到最优任务策略。
其中,所述任务列表是指一个表格用来展示数据,所述组件是指用来封装数据的原件。
可选的,所述初步规划任务的任务列表通过excel创建,所述在所述任务列表中将所述约束值按照升序进行排列,得到约束值序列通过JAVA语言生成的脚本按照约束值按照预设规则排列,所述排列任务的任务参数通过二进制代码编译。
S6、根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略,根据所述任务调度策略实行对所述任务处理请求的任务处理。
本发明实施例通过所述根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略可以为所述任务处理请求安排具体可行的任务执行方法及时间,为所述任务处理请求提供一个可靠的执行方案其中,所述调度策略是指任务执行的优先级,所述调度策略包括静态任务调度和动态任务调度。
作为本发明的一个实施例,所述根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略,包括:识别所述最优任务策略中的并行任务,根据所述并行任务,为所述任务处理请求添加并行符,并按照所述最优任务策略中的任务时序为所述任务处理请求设置执行间隔,基于所述并行符和所述执行间隔,设置所述任务处理请求的触发事件,基于所述触发事件实行对所述任务处理请求的任务调度,得到任务调度策略。
其中,所述并行任务是指系统设置为同一时间执行的任务,所述并行符是指在数据传输时可同时接收数据的工具,所述执行间隔是指任务执行的时间间隔,如30s、50s、60s等,所述触发事件是指到达某种条件系统自动执行某种任务。
可选的,所述并行任务通过查询所述最优任务策略的任务标签识别,当所述任务标签中的执行节点相同时表示并行任务,所述并行符通过java语言生成的脚本添加,所述执行间隔通过java语言构建时间脚本设置,所述触发事件通过Python语言在所述任务处理请求的任务处理标签中添加的注解符设置。
进一步的,本发明实施例通过所述根据所述任务调度策略实行对所述任务处理请求的任务处理可以实现对所述任务处理请求的任务处理。
可以看出,本方案首先通过识别所述任务处理请求的请求特征可以了解所有任务的特殊性,进而更好的分配任务,并通过所述基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务可以将大量的任务请求进行级别分类,从而可以清晰的了解每个任务的执行优先级;其次,本发明实施例通过查询所述分级任务中每个任务的处理节点可以了解每个任务的执行时间,进而更好的分配每个任务的处理顺序,其中,所述处理节点是指,任务处理的截止时间;以及计算所述预分配任务的计算资源可以了解每个任务被处理所需要的计算资源,从而对所述预分配任务进行合理的计算资源分配;进一步的,本发明实施例通过识别所述预分配任务的任务分配串口可以了解每个任务在处理时需要经过的串口,从而可以将这类任务作为同类任务或同时处理,减少计算机任务分配量,并将所述计算资源和所述可用资源及所述分配串口,作为所述预分配任务的任务约束条件可以将所述述预分配任务的在任务分配时所需要考虑的限制条件列出,进而在任务分配时,能够依据所述限制条件进行合理的任务分配,并根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务可以得到符合实际应用场景条件限制的任务处理方法,进而可以分析出所述预分配任务中较优的任务处理方案,及根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略可以为所述任务处理请求安排具体可行的任务执行方法及时间,为所述任务处理请求提供一个可靠的执行方案其中,所述调度策略是指任务执行的优先级,所述调度策略包括静态任务调度和动态任务调度。因此,本发明实施例提出的一种任务批量处理方法及系统,能够提高任务批量处理的效率。
如图2所示,是本发明任务批量处理方法及系统的功能模块图。
本发明所述任务批量处理方法及系统200可以安装于电子设备中。根据实现的功能,所述任务批量处理方法及系统可以包括任务分级模块201、任务分配模块202、约束查询模块203、约束配置模块204、策略规划模块205以及任务执行模块206.
本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本发明实施例中,关于各模块/单元的功能如下:
所述任务分级模块201,用于获取任务处理请求,识别所述任务处理请求的请求特征,基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务;
所述任务分配模块202,用于查询所述分级任务中每个任务的处理节点,基于所述处理节点,对所述分级任务进行任务预分配,得到预分配任务;
所述约束查询模块203,用于计算所述预分配任务的计算资源,查询所述任务处理请求对应的资源分配节点的可用资源,识别所述预分配任务的任务分配串口;
所述约束配置模块204,用于将所述计算资源和所述可用资源及所述分配串口,作为所述预分配任务的任务约束条件;
所述策略规划模块205,用于根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务,计算所述初步分配任务的约束值,根据所述约束值创建所述初步规划任务的最优任务策略;
所述任务执行模块206,用于根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略,根据所述任务调度策略实行对所述任务处理请求的任务处理。
详细地,本发明实施例中所述任务批量处理方法及系统200中的所述各模块在使用时采用与上述的图1中所述的任务批量处理方法及系统一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于人工智能的任务批量处理方法及系统,其特征在于,所述方法包括:
获取任务处理请求,识别所述任务处理请求的请求特征,基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务;
查询所述分级任务中每个任务的处理节点,基于所述处理节点,对所述分级任务进行任务预分配,得到预分配任务;
计算所述预分配任务的计算资源,查询所述任务处理请求对应的资源分配节点的可用资源,识别所述预分配任务的任务分配串口;
将所述计算资源和所述可用资源及所述分配串口,作为所述预分配任务的任务约束条件;
根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务,计算所述初步分配任务的约束值,根据所述约束值创建所述初步规划任务的最优任务策略;
根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略,根据所述任务调度策略实行对所述任务处理请求的任务处理。
2.根据权利要求1所述的方法,其特征在于,所述识别所述任务处理请求的请求特征,包括:
将所述任务处理请求进行解码,得到解码任务;
查询所述解码任务的请求标识,识别所述请求标识中的注解符;
解析所述注解符的注解语义,根据所述注解语义识别所述任务处理请求的请求特征。
3.根据权利要求1所述的方法,其特征在于,所述基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务,包括:
根据所述请求特征,利用下述公式计算所述分级任务的任务权重:
其中,G表示分级任务的任务权重,n表示分级任务的任务数量,x1表示第一个分级任务,x2表示第二个分级任务,xn表示第n个分级任务,f表示加权平均值,xi表示第i个请求特征;
将所述任务权重按照预设的权重区间进行分级,得到分级权重区间;
将所述任务处理请求中的任务按照分级权重区间对应的级别进行分级,得到分级任务。
4.根据权利要求1所述的方法,其特征在于,所述计算所述预分配任务的计算资源,包括:
利用下述公式计算所述预分配任务的计算资源占比:
其中,T表示预分配任务的计算资源占比,n表示预分配任务的数量,Sr表示资源分配节点为预分配任务中第r个任务分配资源的资源传速速率,r(t)表示预分配任务中第r个任务的任务缓存资源;
根据所述计算资源占比得到所述预分配任务的计算资源。
5.根据权利要求1所述的方法,其特征在于,所述识别所述预分配任务的任务分配串口,包括:
查询所述预分配任务的传输协议;
根据所述传输协议,识别所述预分配任务的传输ip;
根据所述传输ip检索所述预分配任务的任务传输通道,查询所述任务传输通道对应的任务分配串口。
6.根据权利要求1所述的方法,其特征在于,所述根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务,包括:
构建所述任务约束条件的约束参数及所述预分配任务的任务参数;
将所述约束参数设置为限定条件,利用下述公式计算所述任务参数对于所述限定条件的适应度:
其中,S表示适应度,yi表示限定条件中的计算资源限制,yj表示限定条件中的可用资源限制,yk表示限定条件中的分配串口限制,exp表示全局搜索函数,m表示任务参数的参数数量,TC表示任务参数中的第c个参数;
基于所述适应度,对所述任务参数进行参数搜索,得到目标参数;
根据所述目标参数对所述预分配任务进行参数回执,得到初步分配任务。
7.根据权利要求1所述的方法,其特征在于,所述计算所述初步分配任务的约束值,包括:
利用下述公式计算所述初步分配任务的约束值:
其中,Y表示约束值,f(y)表示约束代价函数,δ表示约束条件之间的约束关系,m表示初步分配任务的任务数量,Lq表示初步分配任务中的第q个任务。
8.根据权利要求1所述的方法,其特征在于,所述根据所述约束值创建所述初步规划任务的最优任务策略,包括:
创建所述初步规划任务的任务列表,在所述任务列表中将所述约束值按照升序进行排列,得到约束值序列;
按照所述约束序列查询所述约束值所对应的所述初步规划任务,并按照所述约束值排列规则对所述初步规划任务进行排列,得到排列任务;
生成所述排列任务的任务参数,并将所述任务参数输入至预构建的组件中,得到任务组件;
按照所述任务组件的排列顺序,构建所述初步规划任务的任务执行策略,得到最优任务策略。
9.根据权利要求1所述的方法,其特征在于,所述根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略,包括:
识别所述最优任务策略中的并行任务;
根据所述所述并行任务,为所述任务处理请求添加并行符,并按照所述最优任务策略中的任务时序为所述任务处理请求设置执行间隔;
基于所述并行符和所述执行间隔,设置所述任务处理请求的触发事件,基于所述触发事件实行对所述任务处理请求的任务调度,得到任务调度策略。
10.一种基于人工智能的任务批量处理方法及系统,其特征在于,其用于执行如权利要求1-9中任意一项所述的基于人工智能的任务批量处理的方法,所述系统包括:
任务分级模块,用于获取任务处理请求,识别所述任务处理请求的请求特征,基于所述请求特征,对所述任务处理请求进行任务分级,得到分级任务;
任务分配模块,用于查询所述分级任务中每个任务的处理节点,基于所述处理节点,对所述分级任务进行任务预分配,得到预分配任务;
约束查询模块,用于计算所述预分配任务的计算资源,查询所述任务处理请求对应的资源分配节点的可用资源,识别所述预分配任务的任务分配串口;
约束配置模块,用于将所述计算资源和所述可用资源及所述分配串口,作为所述预分配任务的任务约束条件;
策略规划模块,用于根据所述任务约束条件,对所述预分配任务进行任务规划,得到初步分配任务,计算所述初步分配任务的约束值,根据所述约束值创建所述初步规划任务的最优任务策略;
任务执行模块,用于根据所述最优任务策略对所述任务处理请求进行任务调度,得到任务调度策略,根据所述任务调度策略实行对所述任务处理请求的任务处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310722194.5A CN116700929A (zh) | 2023-06-16 | 2023-06-16 | 基于人工智能的任务批量处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310722194.5A CN116700929A (zh) | 2023-06-16 | 2023-06-16 | 基于人工智能的任务批量处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116700929A true CN116700929A (zh) | 2023-09-05 |
Family
ID=87825409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310722194.5A Withdrawn CN116700929A (zh) | 2023-06-16 | 2023-06-16 | 基于人工智能的任务批量处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116700929A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117170832A (zh) * | 2023-06-21 | 2023-12-05 | 海南歪酷网络科技有限公司 | 基于人工智能的任务批量处理方法及系统 |
-
2023
- 2023-06-16 CN CN202310722194.5A patent/CN116700929A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117170832A (zh) * | 2023-06-21 | 2023-12-05 | 海南歪酷网络科技有限公司 | 基于人工智能的任务批量处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6637620B2 (ja) | エージェント割振りの方法、装置、サーバーおよび記録媒体 | |
| US6510457B1 (en) | Data analysis method and apparatus for data mining | |
| US20190310977A1 (en) | Bucket data distribution for exporting data to worker nodes | |
| CN109446252B (zh) | 一种用于电网调控的统一访问方法及系统 | |
| CN110188258B (zh) | 使用爬虫获取外部数据的方法及装置 | |
| CN104021125A (zh) | 一种搜索引擎排序的方法、系统以及一种搜索引擎 | |
| CN111913784B (zh) | 任务调度方法及装置、网元、存储介质 | |
| CN110414865A (zh) | 一种审核任务的分配方法、装置、计算机设备和存储介质 | |
| CN109885729B (zh) | 一种显示数据的方法、装置及系统 | |
| CN105786941B (zh) | 一种信息挖掘方法和装置 | |
| CN116700929A (zh) | 基于人工智能的任务批量处理方法及系统 | |
| US8224933B2 (en) | Method and apparatus for case-based service composition | |
| CN111311329B (zh) | 标签数据获取方法、装置、设备及可读存储介质 | |
| US20060224431A1 (en) | Data processing method, system and computer program | |
| Cheung et al. | Towards autonomous service composition in a grid environment | |
| CN113806446A (zh) | 一种大数据海量数据快速检索方法 | |
| CN117170832A (zh) | 基于人工智能的任务批量处理方法及系统 | |
| CN117131001B (zh) | 一种分布式大数据有序智能分管方法、系统及存储介质 | |
| CN118502898A (zh) | 任务处理方法、系统、设备和存储介质 | |
| CN113238839B (zh) | 一种基于云计算数据管理方法及装置 | |
| CN117217732A (zh) | 对象运维方法以及对象运维平台 | |
| CN110209785A (zh) | 业务信息的查询方法及装置、电子设备、存储介质 | |
| CN113283742A (zh) | 一种任务分配方法和装置 | |
| CN113986222A (zh) | 云计算的api接口翻译系统 | |
| CN111125146A (zh) | 报表生成方法、装置与存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230905 |