CN105335219A - 一种基于分布式的任务调度方法及系统 - Google Patents

Abstract

本发明适用于数据存储技术领域，提供了一种基于分布式的任务调度方法及系统，该方法包括：设置分布式集群内每个机架的被访问的任务计算节点阈值；获取各机架中被访问的任务计算节点数量，并判断机架中当前被访问的任务计算节点数量是否超出所述阈值；若机架中当前被访问的任务计算节点数量超过阈值，则将分配的新任务分配到其它机架中或将新任务调度至任务队列等待。本发明能解决基于IO访问的控制算法来实现冷存储数据访问的单机柜功率与整体冷数据中心的能耗可控，其充分利用闪存介质服务与能耗关系，结合数据分布式存/取的特点，降低冷数据备份集群成本。

Description

一种基于分布式的任务调度方法及系统

技术领域

本发明涉及数据存储技术领域，尤其涉及一种基于分布式的任务调度方法及系统。

背景技术

随着“大数据”理念以及相关技术的演进和商业化实践，数据已经成为互联网公司最重要的资产之一。大数据概念中有几个重要的特征与存储备份集群的设计相关度非常高，即数据价值密度相对低，数据价值不确定性相对高，数据量大。这决定了存放数据需要根据数据重要性，存取性能，被访问频度，数据冗余要求等特征来针对性的提供数据服务能力。而备份集群承担了防止所有数据丢失的最后一个保障，需要充分考虑从数据内容、应用特征、服务能力、资源消耗等几个方面的实际需求。

传统的数据备份集群通常采用在线集群、近线备份、离线备份的方式。不同生命周期的数据按需求存放在不同集群中，每个层次集群对于数据访问满足时间不同。例如在线集群为实时访问(接近5～10ms级)；近线集群与在线集群通过网络链路联通，存在关系为数据的导入导出，数据访问时间为准实时方式(视所需数据量与导入在线集群的时长，从分钟至小时级别)；离线集群与近线集群同样为数据导入导出的关系，所需数据访问需要提前预约准备，通常以天为准备及访问时间，如图1所示。

随着在线数据的逐年增长，相应的要求近线集群以及离线集群的数据存储容量也会越来越大，因此对于近线和离线集群在可扩展性、整体成本方面的需求也会成为主要矛盾。与此同时随着云计算能力的能力提升以及被使用成本的逐年降低，对于数据价值挖掘的维度和需求也可能使得访问全量数据的需求更为频繁和迫切，那么对于近线和离线集群在整体可用性，整体性能方面也提出了要求。

其中在线集群根据其分布式框架选择合适的兼具计算和存储能力的datanodeorchunkserver(目录管理节点或块服务器)。近线备份通常采用与在线集群类似解决方案，但通过设备配置的裁剪以及使用相对廉价存储介质，例如近线SATA大容量硬盘、云盘，归档盘等，来降低TCO(TotalCostOwnership总体拥有成本)。

离线备份通常采用磁带介质存储，配合专用带库管理软件来实施。

面对目前上百PB级别的数据存储、归档、备份需求，近线存储集群和采用磁带库等商业存储软硬件一体化方案的离线备份集群在支持扩展性，访问性能需求，以及单位容量成本方面都遇到不同程度的挑战。

就近线集群而言，互联网公司基本摈弃了昂贵的，容量扩展性及性能扩展性存在局限的商用NAS(NetworkAttachedStorage，网络存储设备)设备，取而代之的是基于计算机服务器架构的分布式集群方案。而通常分布式集群方案运用比较常见得为基于Hadoop分布式文件系统的方案，其中目录管理节点通常采用大容量近线SATA硬盘以及云盘或者归档盘；这些存储介质本质上仍为微精密电控机械磁臂配合垂直记录磁存储介质的传统硬盘实现，单体功耗主要消耗在驱动磁碟旋转的马达、电控机械磁臂寻道操作，以及磁头读写操作电流做功消耗，常见3.5寸7200rpm硬盘闲时功耗约7W，满负载运行功耗10瓦以上；5400rpm低转速硬盘标称功耗约在7W，闲时功耗在4.5～5W，而10000RPM以及15000RPM硬盘的功耗更高。

针对机械硬盘背景功耗(闲时仍然需要保持磁盘旋转，即消耗电能转化为机械能)对于能源消耗，以及该过程中产生热量同时需要系统级制冷手段来带走热量，因此对于大规模利用机械硬盘磁介质方案的datanode(目录管理节点)方案需要精算其Capex(CapitalExpenditure，即资本性支出)和Opex(OperatingExpense，运营成本)，而针对近线集群并非24*7实时访问，读多写少，无规划随机读，有规划顺序写的使用特征，这部分整体方案中继续使用机械硬盘介质的方案需要在capex层面投入大量的设备购置费用，在集群生命周期内需要支付大量的机架空间占用所付出的的租金，同时消耗大量的电能。

综上可知，现有技术在实际使用上显然存在不便与缺陷，所以需要一个新的方案来满足新的系统对低功耗的需求。

发明内容

针对上述的缺陷，本发明的目的在于提供一种基于分布式的任务调度方法及系统，主要解决基于IO访问的控制算法来实现冷存储数据访问的单机柜功率与整体冷数据中心的能耗可控，其充分利用闪存介质服务与能耗关系，结合数据分布式存/取的特点，降低冷数据备份集群成本。

为了实现上述目的，本发明提供一种基于分布式的任务调度方法，所述方法包括：

设置分布式集群内每个机架的被访问的任务计算节点阈值；

获取各机架中被访问的任务计算节点数量，并判断机架中当前被访问的任务计算节点数量是否超出所述阈值；

若所述机架中当前被访问的任务计算节点数量超过所述阈值，则将分配的新任务分配到其它机架中或将所述新任务调度至任务队列等待。

本发明相应提供一种基于分布式的任务调度系统，所述系统包括：

配置模块，用于设置分布式集群内每个机架的被访问的任务计算节点阈值；

采集模块，用于获取各机架中被访问的任务计算节点数量，

分析模块，用于判断所述机架中当前被访问的任务计算节点数量是否超出所述阈值；

分配模块，用于当机架中当前被访问的任务计算节点数量超出所述阈值时，则将分配的新任务分配到其它机架中或将所述新任务调度至任务队列等待。

本发明通过设置分布式集群内每个机架的被访问的任务计算节点阈值，实时获取各机架中被访问的任务计算节点数量，并判断机架中当前被访问的任务计算节点数量是否超出阈值；若超出则将分配的新任务分配到其它机架中或将新任务调度至任务队列等待，且已经分配至该机架的任务等待该机架被访问的任务计算节点数量低于阈值一预设比例后再继续执行。从而通过控制每个机架的存储数据访问来实现单机柜功率和整体数据中心的能耗可控，从而使得能够采用过保的硬盘能够应用于冷数据备份集群中，降低冷数据备份集群成本。

附图说明

图1是现有技术中在线集群、近线集群以及离线集群的数据导入导出示意图；

图2是本发明一种基于分布式的任务调度系统的框架图；

图3是本发明一种实施例中将IO请求合并入IO队列的流程图；

图4是本发明一种实施例中目录管理节点将IO队列中的IO请求进行分配的流程图；

图5是本发明一种基于分布式的任务调度方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

在现有技术中，在冷数据备份集群(近线集群)中，采用Hadoop分布式文件系统的方案，其中目录管理节点通常采用大容量近线SATA硬盘以及云盘或者归档盘，这些存储介质本质上仍为微精密电控机械磁臂配合垂直记录磁存储介质的传统硬盘实现，机械硬盘背景功耗对于能源消耗较大，以及该过程中产生热量同时需要系统级制冷手段来带走热量较大。而近线集群并非24*8实时访问，读多写少，无规划随机读，有规划顺序写的使用特征，使用机械硬盘介质的方案需要投入大量的设备购置费用，在集群生命周期内需要支付大量的机架空间占用所付出的的租金，同时消耗大量的电能。

因此本发明主要解决的技术问题是，基于IO访问的控制算法来实现冷存储数据访问的单机柜功率与整体冷数据中心的能耗可控。

如图2所示，本发明一种基于分布式的任务调度系统100，系统100包括配置模块11、采集模块12、分析模块13以及分配模块14。优选的是，系统100还包括合并模块15。

配置模块10，用于设置分布式集群内每个机架的被访问的任务计算节点阈值。例如，根据机架的预设功耗以及每个任务计算节点的预设功耗，计算机架内能同时工作的任务计算节点数量的阈值。以hadoop分布式集群为例，hadoop集群通常包括任务管理节点(namenode)和任务计算节点(datanode)，每个节点为一个服务器，每个节点包括一个由多个磁盘构成的磁盘存储阵列。在本发明的一个实施例中，在设计冷数据备份集群时，整机架存储节点设计规格可采用：满足每rack-U242.5寸盘位密度，单路XeonorATOMorARM64主板orSOC板，32～64GB内存，不少于24portSATA/SAS端口，万兆网口*2；单节点满载功耗180W～200W左右(空闲功耗不超过60W)；48U空间可容纳1152片固态硬盘，以0.5TB平均容量，可支持576TB。单机架理论功率密度9～10kw；实际租用电信标准4.5kw机器承载使用。数据分布以及数据访问任务分布不超过任意物理机架存储节点的一半，整节点闲时功耗*节点数＝整机架闲时功耗位于4.5kw安全范围之内。从而可根据整机架闲时功耗以及整节点闲时功耗计算出能同时工作的任务计算节点阈值。

采集模块12，用于获取各机架中被访问的任务计算节点数量。

分析模块13，用于判断机架中当前被访问的任务计算节点数量是否超出阈值。

分配模块14，用于当机架中当前被访问的任务计算节点数量超出阈值时，则将分配的新任务分配到其它机架中或将新任务调度至任务队列等待。另外，分配模块14还用于当机架中当前被访问的任务计算节点数量超出阈值时，使已经分配至该机架的任务等待该机架被访问的任务计算节点数量低于阈值一预设比例后再继续执行，也即将已经分配至该机架的任务调度至任务队列等待。

在本发明中，配置模块11、采集模块12、分析模块13以及分配模块14均可设置在目录管理节点(namenode)中运行，目录管理节点感知任务计算节点(datanode)所处物理机架位置，感知集群内机架信息，感知各个机架中当前被访问(读or写or背景调度产生的I/O)的任务计算节点数量，设置阀值控制：即同时被访问任务计算节点的数量超出阀值的机架，不再接受新的调度任务，新的任务进入任务队列等待或者分配至其他机架，已经开始的任务等待当前机架被访问任务计算节点数量低于阀值一定比例后再继续执行。从而，本发明通过控制每个机架的存储数据访问来实现单机柜功率和整体数据中心的能耗可控，从而使得能够采用过保的硬盘能够应用于冷数据备份集群中，降低冷数据备份集群成本。

优选的是，配置模块11还用于根据任务计算节点的预设功耗以及任务计算节点中每个硬盘的功耗计算能同时工作的硬盘数量的阈值。该硬盘优选为固态硬盘，固态硬盘具有较小的功耗以及读写速度快的优势。

优选的是，采集模块12还用于读取任务队列中待分配任务，并计算该待分配任务需要激活的硬盘数量，以及获取任务计算节点内正在工作的硬盘数量。该待分配任务通常为IO请求，该任务队列为IO队列。在一个实施例中，该IO队列采用FIFO(FirstInputFirstOutput，先入先出队列)调度方式，采集模块需要计算位于队首的IO请求需要激活的硬盘数量。该任务队列也可以是其他飞FIFO队列，对应的，也可以采用其他任务调度方式。

优选的是，分析模块13还用于判断任务计算节点内正在工作的硬盘数量与待分配任务需要激活的硬盘数量之和是否小于或等于计算节点内能同时工作的硬盘数量。

优选的是，分配模块14还用于任务计算节点内正在工作的硬盘数量与待分配任务需要激活的硬盘数量之和小于或等于计算节点内能同时工作的硬盘数量时将待分配任务出列并分配至该任务计算节点中执行，否则该待分配任务在任务队列中休眠预设时间。采集模块11还用于该待分配任务在任务队列中休眠预设时间后，当任务计算节点内正在工作的硬盘数量小于任务计算节点内能同时工作的硬盘数量时再次从任务队列中读取待分配任务。优选的是，系统100还包括合并模块15，用于将获取到的用户提交的任务合并至任务队列。

从而，本发明可根据每个任务计算节点中的数据存储访问来实现单个任务节点的能耗可控，从而能够采用过保的硬盘能够应用于冷数据备份集群中，降低冷数据备份集群成本。

在本发明的一个实施例中，进行任务调度时，首先获取用户提交的IO请求，再将该IO请求合并入IO队列中，并计算IO队列中位于队首的IO请求需要激活的硬盘数量，再根据IO请求需要激活的硬盘数量、机架内正在工作的硬盘数量以及机架内能同时工作的硬盘数量确定是否将该IO请求分配至该机架。具体的，判断机架内正在工作的硬盘数量与IO请求需要激活的硬盘数量之和是否小于或等于机架内能同时工作的硬盘数量，若是则位于队首的IO请求出对，并分配至机架中执行。若该机架内正在工作的硬盘数量与IO请求需要激活的硬盘数量之和大于机架内能同时工作的硬盘数量，可将该IO请求分配至其他机架。并且该机架休眠预设时间，当机架内正在工作的硬盘数量小于机架内能同时工作的硬盘数量时执行下一次判断，即判断机架内正在工作的硬盘数量与IO请求需要激活的硬盘数量之和是否小于或等于机架内能同时工作的硬盘数量。

图3是本发明一种实施例中将IO请求合并入IO队列的流程图。该流程包括：

步骤S301，获取用户提交的IO请求。具体的本步骤还包括记录用户ID，IO读写类型，根据IO请求地址计算出哈希值。

步骤S302，将IO请求与合并IO队列的对尾的元素做比较。

步骤S303，判断该IO请求的类型，如果是读请求则进入步骤S304，如果是写请求则进入步骤S3207。

步骤S304，判断是否能进行读合并，是则进入步骤S305，否则进入步骤S306。

步骤S305，将IO请求合并至IO队列的对尾，该IO请求进入读合并的读队列中。

步骤S306，将该IO请求直接入队进行等待。

步骤S307，判断是否能进行写合并，是则进入步骤S308，否则进入步骤S309。

步骤S308，将IO请求合并至IO队列的对尾，该IO请求进入读合并的读队列中。

步骤S309，将该IO请求直接入队进行等待。

图4是本发明一种实施例中将IO队列中的IO请求进行分配的流程图。该流程包括：

步骤S401，根据功耗设定，计算出机架内能同时工作的固态硬盘数量MAS。

步骤S402，获取机架中当前工作的固态硬盘数量NAS。

步骤S403，从合并的IO队列中读取队首的IO请求但不出队。

步骤S404，计算该IO请求需要激活的固态硬盘数量N。

步骤S405，判断N与NAS之和是否小于或等于MAS，若是则执行步骤S406，否则执行步骤S407。

步骤S406，将该IO请求分配至该机架。

步骤S407，该机架休眠预设时间。进入步骤S408。

步骤S408，重新获取该机架当前工作的固态硬盘数量NAS。

步骤S409，判断重新获取的NAS是否小于MAS，若是则回到步骤S403，否者回到步骤S407。

在图4中，该N与NAS之和大于MAS时，可将该IO请求分配至其他机架，例如为写请求时，可以将数据存入其他的节点；也可等待该机架当前工作的固态硬盘数量NAS小于机架内能同时工作的固态硬盘数量MAS时重新执行该IO请求，例如IO请求为读请求时，由于数据存储在该机架时，只能等待该机架被访问的任务计算节点数量低于阈值一预设比例后再继续执行。

图5是本发明一种基于分布式的任务调度方法的流程图，其通过如图2所示的系统实现，该方法：

步骤S501，设置分布式集群内每个机架的被访问的任务计算节点阈值。本步骤通过如图2所示的配置模块11实现。优选的是，本步骤还包括：根据所述机架的预设功耗以及每个任务计算节点的预设功耗，计算机架内能同时工作的任务计算节点数量的阈值。

步骤S502，获取各机架中被访问的任务计算节点数量，并判断机架中当前被访问的任务计算节点数量是否超出阈值。本步骤通过如图2所示的采集模块12和分析模块13共同实现。

步骤S503，若机架中当前被访问的任务计算节点数量超过阈值，则将分配的新任务分配到其它机架中或将新任务调度至任务队列等待。优选的是，若机架中当前被访问的任务计算节点数量超过所述阈值，已经分配至该机架的任务等待该机架被访问的任务计算节点数量低于阈值一预设比例后再继续执行。本步骤通过如图2所示的分配模块14实现。

优选的是，该方法还包括:根据任务计算节点的预设功耗以及任务计算节点中每个硬盘的功耗计算能同时工作的硬盘数量的阈值；读取任务队列中待分配任务，并计算该待分配任务需要激活的硬盘数量；获取任务计算节点内正在工作的硬盘数量；判断任务计算节点内正在工作的硬盘数量与待分配任务需要激活的硬盘数量之和是否小于或等于计算节点内能同时工作的硬盘数量；若是则将待分配任务出列并分配至该任务计算节点中执行，否则该待分配任务在任务队列中休眠预设时间。优选的是，该待分配任务在任务队列中休眠预设时间的步骤之后还包括：当所述任务计算节点内正在工作的硬盘数量小于任务计算节点内能同时工作的硬盘数量时再次从任务队列中读取待分配任务。优选的是，读取任务队列中待分配任务的步骤之前还包括：获取用户提交的任务，并将任务合并至任务队列。

目前一些在线集群采用固态硬盘，固态硬盘过保后通常被淘汰。但是固态硬盘在服务器系统3年过保之后，其中绝大部分SSD仍然处于可用状态；同时固态硬盘闲时功耗小于1W，访问功耗在3～5W左右的电气特性，和读访问性能远超传统机械硬盘的性能特质；综合考虑SSD在散热要求、空间密度以及年化故障率方面表现均优于机械硬盘的可运维管理表现。本发明提出一种合理的资源循环优化使用方案，借助“线上退休”的固态硬盘，设计以机架为维度的存储节点单元，配合基于控制策略的数据分布以及访问控制调度算法，充分利用IDC机架物理空间密度和单机架功率密度，整体降低近线存储集群的成本。

综上所述，本发明通过设置分布式集群内每个机架的被访问的任务计算节点阈值，实时获取各机架中被访问的任务计算节点数量，并判断机架中当前被访问的任务计算节点数量是否超出阈值；若超出则不再为该机架分配新的任务，且已经分配至该机架的任务等待该机架被访问的任务计算节点数量低于阈值一预设比例后再继续执行。从而通过控制每个机架的存储数据访问来实现单机柜功率和整体数据中心的能耗可控，从而使得能够采用过保的硬盘能够应用于冷数据备份集群中，降低冷数据备份集群成本。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (14)

1.一种基于分布式的任务调度方法，其特征在于，所述方法包括：

设置分布式集群内每个机架的被访问的任务计算节点阈值；

获取各机架中被访问的任务计算节点数量，并判断机架中当前被访问的任务计算节点数量是否超出所述阈值；

若所述机架中当前被访问的任务计算节点数量超过所述阈值，则将分配的新任务分配到其它机架中或将所述新任务调度至任务队列等待。

2.根据权利要求1所述的任务调度，其特征在于，所述方法还包括：

若机架中当前被访问的任务计算节点数量超过所述阈值，已经分配至该机架的任务等待该机架被访问的任务计算节点数量低于所述阈值一预设比例后再继续执行。

3.根据权利要求1所述的任务调度方法，其特征在于，设置分布式集群内每个机架的被访问的任务计算节点阈值的步骤包括：

根据所述机架的预设功耗以及每个任务计算节点的预设功耗，计算机架内能同时工作的任务计算节点数量的阈值。

4.根据权利要求3所述的任务调度方法，其特征在于，所述方法还包括：

根据所述任务计算节点的预设功耗以及所述任务计算节点中每个硬盘的功耗计算能同时工作的硬盘数量的阈值。

5.根据权利要求4所述的任务调度方法，其特征在于，所述方法还包括：

读取任务队列中待分配任务，并计算所述待分配任务需要激活的硬盘数量；

获取所述任务计算节点内正在工作的硬盘数量；

判断所述任务计算节点内正在工作的硬盘数量与所述待分配任务需要激活的硬盘数量之和是否小于或等于所述计算节点内能同时工作的硬盘数量；

若是则将所述待分配任务出列并分配至该任务计算节点中执行，若否则所述待分配任务在所述任务队列中休眠预设时间。

6.根据权利要求5所述的任务调度方法，其特征在于，所述待分配任务在所述任务队列中休眠预设时间的步骤之后还包括：当所述任务计算节点内正在工作的硬盘数量小于所述任务计算节点内能同时工作的硬盘数量时再次从所述任务队列中读取待分配任务。

7.根据权利要求5所述的任务调度方法，其特征在于，所述读取任务队列中待分配任务的步骤之前还包括：

获取用户提交的任务，并将所述任务合并至所述任务队列。

8.一种基于分布式的任务调度系统，其特征在于，所述系统包括：

配置模块，用于设置分布式集群内每个机架的被访问的任务计算节点阈值；

采集模块，用于获取各机架中被访问的任务计算节点数量，

分析模块，用于判断所述机架中当前被访问的任务计算节点数量是否超出所述阈值；

分配模块，用于当机架中当前被访问的任务计算节点数量超出所述阈值时，则将分配的新任务分配到其它机架中或将所述新任务调度至任务队列等待。

9.根据权利要求8所述的任务调度系统，其特征在于，所述分配模块还用于若机架中当前被访问的任务计算节点数量超出所述阈值，使已经分配至该机架的任务等待该机架被访问的任务计算节点数量低于所述阈值一预设比例后再继续执行。

10.根据权利要求8所述的任务调度系统，其特征在于，所述配置模块还用于根据所述机架的预设功耗以及每个任务计算节点的预设功耗，计算机架内能同时工作的任务计算节点数量的阈值。

11.根据权利要求10所述的任务调度系统，其特征在于，所述配置模块还用于根据所述任务计算节点的预设功耗以及所述任务计算节点中每个硬盘的功耗计算能同时工作的硬盘数量的阈值。

12.根据权利要求11所述的任务调度系统，其特征在于，所述采集模块还用于读取任务队列中待分配任务，并计算所述待分配任务需要激活的硬盘数量，以及获取所述任务计算节点内正在工作的硬盘数量；

所述分析模块还用于判断所述任务计算节点内正在工作的硬盘数量与所述待分配任务需要激活的硬盘数量之和是否小于或等于所述计算节点内能同时工作的硬盘数量；

所述分配模块用于所述任务计算节点内正在工作的硬盘数量与所述待分配任务需要激活的硬盘数量之和小于或等于所述计算节点内能同时工作的硬盘数量时将所述待分配任务出列并分配至该任务计算节点中执行，否则所述待分配任务在所述任务队列中休眠预设时间。

13.根据权利要求12所述的任务调度系统，其特征在于，所述采集模块还用于所述待分配任务在所述任务队列中休眠预设时间后，当所述任务计算节点内正在工作的硬盘数量小于所述任务计算节点内能同时工作的硬盘数量时再次从所述任务队列中读取待分配任务。

14.根据权利要求12所述的任务调度系统，其特征在于，所述系统还包括合并模块，用于将获取到的用户提交的任务，并将所述任务合并至所述任务队列。