CN109325037A - 一种针对海量数据的数据同步方法、存储介质和服务器 - Google Patents
一种针对海量数据的数据同步方法、存储介质和服务器 Download PDFInfo
- Publication number
- CN109325037A CN109325037A CN201810943257.9A CN201810943257A CN109325037A CN 109325037 A CN109325037 A CN 109325037A CN 201810943257 A CN201810943257 A CN 201810943257A CN 109325037 A CN109325037 A CN 109325037A
- Authority
- CN
- China
- Prior art keywords
- data
- tables
- database
- target database
- subdata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000001360 synchronised effect Effects 0.000 claims abstract description 51
- 238000004590 computer program Methods 0.000 claims description 18
- 230000001960 triggered effect Effects 0.000 claims description 10
- 230000000875 corresponding effect Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种针对海量数据的数据同步方法、存储介质和服务器,包括:若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库;基于所述同步指令读取所述源数据库的更新数据;根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库;获取所述目标数据库中数据表的关联关系;基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步。本发明可提高海量数据的同步的效率,加快同步的速度。
Description
技术领域
本发明涉及数据同步技术领域,尤其涉及一种针对海量数据的数据同步方法、存储介质和服务器。
背景技术
很多企业都设有分公司、子公司等,以保险公司为例,通常总公司会下设分公司、子公司、控股公司以及参股公司等机构。保险公司内部的多家子公司、控股公司以及参股公司可能涉及的业务各有不同,也可能是位于不同省市的分公司但涉及相同的业务。
在对业务相关数据进行处理与分析时,会涉及到对不同业务、不同子公司数据库中的数据进行同步,在此应用场景下,现有的数据同步方法同步准确率较低,并且同步速度较慢。
发明内容
本发明实施例提供了一种针对海量数据的数据同步方法、存储介质和服务器,以解决现有的数据同步方法同步准确率较低,并且同步速度较慢的问题。
本发明实施例的第一方面提供了一种针对海量数据的数据同步方法,包括:
若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库;
基于所述同步指令读取所述源数据库的更新数据;
根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库;
获取所述目标数据库中数据表的关联关系;
基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步。
本发明实施例的第二方面提供了一种服务器,包括存储器以及处理器,所述存储器存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库;
基于所述同步指令读取所述源数据库的更新数据;
根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库;
获取所述目标数据库中数据表的关联关系;
基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步。
本发明实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库;
基于所述同步指令读取所述源数据库的更新数据;
根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库;
获取所述目标数据库中数据表的关联关系;
基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步。
本发明实施例中,若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库,然后基于所述同步指令读取所述源数据库的更新数据,根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库,避免对不需要进行同步的子数据库进行同步比对而导致的资源浪费,节省同步的时间,再获取所述目标数据库中数据表的关联关系,基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步,可降低同步复杂度,从而提高海量数据同步的效率,加快同步的速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的针对海量数据的数据同步方法的实现流程图;
图2是本发明实施例提供的针对海量数据的数据同步方法S103的具体实现流程图;
图3是本发明实施例提供的针对海量数据的数据同步方法S105的一种具体实现流程图;
图4是本发明实施例提供的针对海量数据的数据同步方法S105的另一种具体实现流程图;
图5是本发明实施例提供的针对海量数据的数据同步装置的结构框图;
图6是本发明实施例提供的服务器的示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1示出了本发明实施例提供的针对海量数据的数据同步方法的实现流程,该方法流程包括步骤S101至S105。各步骤的具体实现原理如下:
S101:若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库。
具体地,服务器对源数据库中的数据进行监听,所述源数据库关联不止一个子数据库,示例性地,源数据库为存放总公司业务数据的数据库,子数据库存放子公司业务数据的数据库。当监听到所述源数据库中的数据更新时,触发同步指令,所述同步指令用于将源数据库中更新的数据同步更新至子数据库。
S102:基于所述同步指令读取所述源数据库的更新数据。
具体地,所述源数据库中的数据更新包括数据修改、数据删除以及数据新增。进一步地,获取所述更新数据的关键参数,例如,更新了金额,获取更新的金额的数值以及更新的金额对应的账号。
S103:根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库。
在本发明实施例中,当监听到所述源数据库中的数据更新时,并不是关联的所有子数据库都同步更新,而是触发同步指令读取到更新数据后,从所述源数据库关联的多个关联的子数据库中筛选出需要同步更新的子数据库作为目标数据库。
进一步体地,调用所述源数据库关联的子数据库的接口,连接作为待同步的子数据库。在本发明实施例中,服务器针对不同业务类型(不同子公司)设置了与子数据库对应的可调用的接口,即数据处理服务器与不同的子公司或者不同业务类型的机构的子数据库连接所调用的接口不同。不同的业务类型对应分配了相同或不同数量的接口调用资源,并通过数据库标识建立了与对应接口的关联关系。服务器可在确定了数据库标识后,调用与该数据库标识关联的接口,与该数据库标识对应的子数据库建立连接。需说明的是,不同的业务类型对应的数据库可以是不同类型,例如,养老险契约数据库为ORCLE数据库,养老险保全数据库为MYSQL数据库等。具体地,获取更新的数据以及所述更新的数据中的数据库标识,根据所述数据库标识,从所述源数据库关联的多个子数据库中查找与所述数据库标识对应的子数据库作为待同步的目标数据库。
在本发明实施例中,源数据库关联多个子数据库,然而对于原数据库的更新数据,并不是所有关联的子数据库都需要同步更新,因此,根据读取的更新数据,从多个与源数据库关联的子数据库中筛选出确实需要同步的子数据库作为目标数据库,避免每个子数据库都将更新的数据进行比对匹配是否需要更新,从而提高同步的效率,加快同步速度。
作为本发明的一个实施例,如图2所示,所述更新数据携带数据库标识,上述S103具体包括:
A1:所述数据库标识为机构账号,获取所述机构账号中数字序列指定位置的数字。
A2:从预设的位置对应表中查找所述数字序列指定位置的数字对应的子数据库编号,将所述子数据编号对应的子数据库作为目标数据库。其中,所述预设的位置对应表中包括数字与子数据库编号的对应关系。
例如,机构账号为银行账号,银行账号的第七位至第十位数字对应的是地区识别码,预先建立存储地区识别码与各个与总公司关联源数据库关联的子公司的子数据库编号的对应关系的位置对应表,从而根据银行账号的地区识别码,确定需要同步的子数据库。
在本发明实施例中,机构账号对应数字序列的指定位置的数字对应子数据库编号,通过从预设的位置对应表中查找所述数字序列指定位置的数字对应的子数据库编号确定对应的子数据库,从而快速确定需要同步更新的子数据库。
S104:获取所述目标数据库中数据表的关联关系。
在本发明实施例中,与源数据库关联的任意一个子数据库中存放有相同数量相同类型的数据表,但存储的数据不相同,例如,子数据库中包括二级机构汇总支付表、批次打包数据计税表以及保单手续费不含税明细表。同一个子数据库中的多张数据表不是独立存在而是相互关联。具体地,指定数据表中的关键字段为关联字段,多张数据表之间根据关联字段相互关联。关联字段是指:
在本发明实施例中,为同一个子数据库中的数据表设立层级,同一个子数据库(或目标数据库)中有多张存储数据的数据表,某一层级的数据表根据某一指定字段作为关联字段,与另一层级的数据表进行关联。即,各个数据表之间通过关联字段进行关联。
S105:基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步。
在本发明实施例中,根据目标数据库中数据表的关联关系依次同步数据表中的数据,避免根据更新数据同时匹配目标数据库中所有的数据表,提高同步的效率。
作为本发明的一个实施例,图3示出了本发明实施例提供的针对海量数据的数据同步方法S105的具体实现流程,详述如下:
B1:获取所述目标数据库中每一张数据表的层级。
B2:查询所述数据表之间的关联字段。
B3:基于所述更新数据和所述关联字段,依次从高层级的数据表向低层级的数据表同步。
示例性地,所述目标数据库中包括第一数据表、第二数据表以及第三数据表,其中,第一数据表通过第一关联字段与第二数据表关联,第二数据表通过第二关联字段与第三数据表关联。根据所述源数据库更新的数据,同步更新第一数据表,再基于更新后的第一数据表,更新与第一数据表关联的第二数据表,最后基于更新后的第二数据表,更新第二数据表关联的第三数据表,第三数据表更新结束后,所述目标数据库中的数据表同步完成。其中,第一数据表的层级高于第二数据表,第二数据表的层级高于第三数据表,根据源数据库的更新数据同步更新第一数据表,再根据第一数据表与第一关联字段同步更新第二数据表,最后根据第二数据表与第二关联字段更新第三数据表,以此类推,依次从目标数据库中高层级的数据表向低层级的数据表同步更新。
示例性地,根据源数据库更新的数据对应的银行账号,匹配所述目标数据库中的第一层级的第一数据表(例如二级机构汇总支付表)中对应的银行账号,并进行同步更新,在二级机构汇总支付表同步完成后,基于第一数据表与第二层级的第二数据表(例如批次打包数据计税表)的关联字段对所述第二数据表进行更新,类似的,基于第二数据表与第三层级的第三数据表(保单手续费不含税明细表)的关联字段,对所述第三数据表进行更新,完成同步,实现源数据库与子数据库数据的一致性。
可选地,所述步骤B1的具体实现流程如下:
B11:获取所述目标数据库中每一张数据表存储的数据粒度。
B12:根据所述数据粒度确定所述数据表的层级,所述数据粒度与所述数据表的层级负相关。
具体地,目标数据库中的数据表根据数据表中存储的数据的数据粒度确定数据表的层级,数据粒度越粗,数据表的层级越低,数据粒度越细,数据表的层级越高,即数据表中数据的数据粒度与数据表的层级负相关。其中,根据数据可拆分的字段数体现存储的数据的数据粒度,数据表中数据可拆分的字段数越多,数据粒度越细,反之数据粒度越粗。
作为本发明的一个实施例,图4示出了本发明实施例提供的针对海量数据的数据同步方法S105的另一种具体实现流程,详述如下:
C1:获取所述数据表中数据的更新频次。
C2:根据所述数据表中数据的更新频次,建立同步顺序表,所述同步顺序表中包括所述数据表中数据的关键字段以及所述数据的更新频次,所述同步顺序表中数据的关键字段根据更新频次以及所述目标数据库中数据表的关联关系排序。具体地,将数据的关键字段根据数据所属的数据表进行分组,根据所述目标数据库中数据表的关联关系对分组进行排序,再根据更新频次从高到低对组内所述数据的关键字段进行排序。
C3:根据所述同步顺序表依次比对所述更新数据与数据表中的数据,根据比对结果进行同步。
在本发明实施例中,记录并统计子数据库中数据表中数据的更新频次,根据数据的更新频次从高到底依次将需更新的数据与数据表中的数据进行比对,在本发明实施例中,更新频次高的数据此次需要同步的可能性更高,通过优先比对记录的更新频次高的数据,提高比对匹配的速度。具体地,将数据的关联字段按数据所属的数据表分组,并根据目标数据库中数据表的关联关系将分组进行排序,例如,根据数据表的层级从高到低排列分组。建立映射表,该映射表中包括数据表中数据所属的分组、数据的更新频次以及数据的存储地址三者之间的映射关系,映射表中更新频次从高到低排列,以更新频次作为关键值,依次查询所述更新频次对应的数据在数据表中的存储地址,然后进行比对,从而提高比对匹配速度。
在本发明实施例中,若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库,然后基于所述同步指令读取所述源数据库的更新数据,根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库,具体地,所述更新数据携带数据库标识,所述数据库标识为机构账号,获取所述机构账号中数字序列指定位置的数字,预设的位置对应表中查找所述数字序列指定位置的数字对应的子数据库编号,将所述子数据编号对应的子数据库作为目标数据库,通过确定目标数据库避免对不需要进行同步的子数据库进行同步比对而导致的资源浪费,节省同步的时间,再获取所述目标数据库中数据表的关联关系,目标数据库中的数据表根据数据表的层级与关联字段关联,不同层级的数据表中数据粒度不相同,基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步,可降低同步复杂度,从而提高海量数据的同步的效率,加快同步的速度。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的数据同步方法,图5示出了本申请实施例提供的针对海量数据的数据同步装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图5,该针对海量数据的数据同步装置包括:同步监听单元51,数据读取单元52,数据库筛选单元53,关系获取单元54,数据同步单元55,其中:
同步监听单元51,用于若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库;
数据读取单元52,用于基于所述同步指令读取所述源数据库的更新数据;
数据库筛选单元53,用于根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库;
关系获取单元54,用于获取所述目标数据库中数据表的关联关系;
数据同步单元55,用于基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步。
可选地,所述更新数据携带数据库标识,所述数据库筛选单元53包括:
信息获取模块,用于所述数据库标识为机构账号,获取所述机构账号中数字序列指定位置的数字;
目标数据库确定模块,用于从预设的位置对应表中查找所述数字序列指定位置的数字对应的子数据库编号,将所述子数据编号对应的子数据库作为目标数据库。
可选地,所述数据同步单元55包括:
层级获取模块,用于获取所述目标数据库中每一张数据表的层级;
字段查询模块,用于查询所述数据表之间的关联字段;
第一同步模块,用于基于所述更新数据和所述关联字段,依次从高层级的数据表向低层级的数据表同步。
可选地,所述层级获取模块包括:
粒度获取子模块,用于获取所述目标数据库中每一张数据表存储的数据粒度;
层级确定子模块,用于根据所述数据粒度确定所述数据表的层级,所述数据粒度与所述数据表的层级负相关。
可选地,所述数据同步单元55包括:
频次获取模块,用于获取所述数据表中数据的更新频次;
同步顺序表建立模块,用于根据所述数据表中数据的更新频次,建立同步顺序表,所述同步顺序表中包括所述数据表中数据的关键字段以及所述数据的更新频次,所述同步顺序表中数据的关键字段根据更新频次以及所述目标数据库中数据表的关联关系排序;
第二同步模块,用于根据所述同步顺序表依次比对所述更新数据与数据表中的数据,根据比对结果进行同步。
本发明实施例中,若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库,然后基于所述同步指令读取所述源数据库的更新数据,根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库,避免对不需要进行同步的子数据库进行同步比对而导致的资源浪费,节省同步的时间,再获取所述目标数据库中数据表的关联关系,基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步,可降低同步复杂度,从而提高海量数据同步的效率,加快同步的速度。
图6是本发明一实施例提供的服务器的示意图。如图6所示,该实施例的服务器6包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62,例如数据同步程序。所述处理器60执行所述计算机程序62时实现上述各个数据同步方法实施例中的步骤,例如图1所示的步骤101至105。或者,所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能,例如图5所示模块51至55的功能。
示例性的,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述服务器6中的执行过程。
所述服务器6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述服务器可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图6仅仅是服务器6的示例,并不构成对服务器6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。
所述处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述服务器6的内部存储单元,例如服务器6的硬盘或内存。所述存储器61也可以是所述服务器6的外部存储设备,例如所述服务器6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述服务器6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种针对海量数据的数据同步方法,其特征在于,包括:
若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库;
基于所述同步指令读取所述源数据库的更新数据;
根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库;
获取所述目标数据库中数据表的关联关系;
基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步。
2.根据权利要求1所述的数据同步方法,其特征在于,所述更新数据携带数据库标识,所述根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库,包括:
所述数据库标识为机构账号,获取所述机构账号中数字序列指定位置的数字;
从预设的位置对应表中查找所述数字序列指定位置的数字对应的子数据库编号,将所述子数据编号对应的子数据库作为目标数据库。
3.根据权利要求1所述的数据同步方法,其特征在于,所述基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步,包括:
获取所述目标数据库中每一张数据表的层级;
查询所述数据表之间的关联字段;
基于所述更新数据和所述关联字段,依次从高层级的数据表向低层级的数据表同步。
4.根据权利要求3所述的数据同步方法,其特征在于,所述获取所述目标数据库中每一张数据表的层级,包括:
获取所述目标数据库中每一张数据表存储的数据粒度;
根据所述数据粒度确定所述数据表的层级,所述数据粒度与所述数据表的层级负相关。
5.根据权利要求1至4任一项所述的数据同步方法,其特征在于,所述基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步,包括:
获取所述数据表中数据的更新频次;
根据所述数据表中数据的更新频次,建立同步顺序表,所述同步顺序表中包括所述数据表中数据的关键字段以及所述数据的更新频次,所述同步顺序表中数据的关键字段根据更新频次以及所述目标数据库中数据表的关联关系排序;
根据所述同步顺序表依次比对所述更新数据与数据表中的数据,根据比对结果进行同步。
6.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述针对海量数据的数据同步方法的步骤。
7.一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如下步骤:
若监听到源数据库中的数据更新,触发同步指令,所述源数据库关联多个子数据库;
基于所述同步指令读取所述源数据库的更新数据;
根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库;
获取所述目标数据库中数据表的关联关系;
基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步。
8.根据权利要求7所述的服务器,其特征在于,所述更新数据携带数据库标识,所述根据读取的更新数据,从所述源数据库关联的多个子数据库中筛选出待同步的子数据库作为目标数据库,包括:
所述数据库标识为机构账号,获取所述机构账号中数字序列指定位置的数字;
从预设的位置对应表中查找所述数字序列指定位置的数字对应的子数据库编号,将所述子数据编号对应的子数据库作为目标数据库。
9.根据权利要求7所述的服务器,其特征在于,所述基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步,包括:
获取所述目标数据库中每一张数据表的层级;
查询所述数据表之间的关联字段;
基于所述更新数据和所述关联字段,依次从高层级的数据表向低层级的数据表同步。
10.根据权利要求7至9任一项所述的服务器,其特征在于,所述基于所述更新数据与所述目标数据库中数据表的关联关系依次对所述目标数据库中的数据表进行同步,包括:
获取所述数据表中数据的更新频次;
根据所述数据表中数据的更新频次,建立同步顺序表,所述同步顺序表中包括所述数据表中数据的关键字段以及所述数据的更新频次,所述同步顺序表中数据的关键字段根据更新频次以及所述目标数据库中数据表的关联关系排序;
根据所述同步顺序表依次比对所述更新数据与数据表中的数据,根据比对结果进行同步。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810943257.9A CN109325037A (zh) | 2018-08-17 | 2018-08-17 | 一种针对海量数据的数据同步方法、存储介质和服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810943257.9A CN109325037A (zh) | 2018-08-17 | 2018-08-17 | 一种针对海量数据的数据同步方法、存储介质和服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109325037A true CN109325037A (zh) | 2019-02-12 |
Family
ID=65264683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810943257.9A Pending CN109325037A (zh) | 2018-08-17 | 2018-08-17 | 一种针对海量数据的数据同步方法、存储介质和服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109325037A (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232095A (zh) * | 2019-05-21 | 2019-09-13 | 中国平安财产保险股份有限公司 | 一种数据同步方法、装置、存储介质和服务器 |
| CN110245181A (zh) * | 2019-04-25 | 2019-09-17 | 深圳壹账通智能科技有限公司 | 数据同步的同步方法、装置及计算机存储介质 |
| CN110602165A (zh) * | 2019-08-08 | 2019-12-20 | 数字广东网络建设有限公司 | 政务数据同步方法、装置、系统、计算机设备和存储介质 |
| CN110659281A (zh) * | 2019-08-14 | 2020-01-07 | 中国平安财产保险股份有限公司 | 基于Hive的数据处理方法、装置、计算机设备及存储介质 |
| CN111104464A (zh) * | 2019-12-31 | 2020-05-05 | 成都校精灵科技有限公司 | 一种数据同步修改方法、读取方法及系统、可读存储介质 |
| CN111143295A (zh) * | 2019-11-14 | 2020-05-12 | 泰康保险集团股份有限公司 | 保单信息处理方法、装置、设备及存储介质 |
| CN111159207A (zh) * | 2019-12-16 | 2020-05-15 | 中国建设银行股份有限公司 | 一种信息处理方法和装置 |
| CN111241198A (zh) * | 2020-01-02 | 2020-06-05 | 广州虎牙科技有限公司 | 数据同步方法、装置及数据处理设备 |
| CN111274315A (zh) * | 2020-01-15 | 2020-06-12 | 平安医疗健康管理股份有限公司 | 同步数据通道构建方法、装置、计算机设备和存储介质 |
| CN111477312A (zh) * | 2020-04-27 | 2020-07-31 | 上海联影医疗科技有限公司 | 数据列表调整方法、装置、计算机设备和存储介质 |
| CN111611244A (zh) * | 2020-05-20 | 2020-09-01 | 浩云科技股份有限公司 | 一种将数据库的数据进行级联的方法及装置 |
| CN112118276A (zh) * | 2019-06-21 | 2020-12-22 | 腾讯科技(深圳)有限公司 | 媒体资源的推送方法及装置 |
| CN112214500A (zh) * | 2019-07-09 | 2021-01-12 | 北京京东尚科信息技术有限公司 | 数据对比的方法、装置、电子设备和存储介质 |
| CN112307065A (zh) * | 2020-10-30 | 2021-02-02 | 中国民航信息网络股份有限公司 | 一种数据处理方法、装置及服务器 |
| CN112328275A (zh) * | 2020-10-10 | 2021-02-05 | 岭东核电有限公司 | 用于核电厂的数据更新方法、装置、终端设备和存储介质 |
| CN113312425A (zh) * | 2021-04-25 | 2021-08-27 | 中国建设银行股份有限公司 | 数据库同步方法及装置 |
| CN113419752A (zh) * | 2021-05-31 | 2021-09-21 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN113627142A (zh) * | 2021-08-26 | 2021-11-09 | 中化信息技术有限公司 | 一种多维度数据耦合系列表单的一次性提交办法 |
| CN113870641A (zh) * | 2021-09-29 | 2021-12-31 | 上海乐项信息技术有限公司 | 一种用于直播带货的模拟培训方法和系统 |
| CN113961569A (zh) * | 2021-12-22 | 2022-01-21 | 上海柯林布瑞信息技术有限公司 | 一种医疗数据etl任务同步方法和装置 |
| CN115587143A (zh) * | 2022-09-08 | 2023-01-10 | 中国建设银行股份有限公司 | 数据同步方法、装置、设备及计算机可读存储介质 |
| CN115840763A (zh) * | 2023-02-20 | 2023-03-24 | 中航信移动科技有限公司 | 一种基于多数据库的数据存储方法、存储介质及电子设备 |
| CN115905414A (zh) * | 2023-03-03 | 2023-04-04 | 北京和升达信息安全技术有限公司 | 一种内外网数据同步方法、系统、电子设备及介质 |
| WO2024007906A1 (zh) * | 2022-07-06 | 2024-01-11 | 北京字跳网络技术有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN117633059A (zh) * | 2024-01-25 | 2024-03-01 | 广东广宇科技发展有限公司 | 一种基于分布式数据库的数据查询方法 |
| CN118394840A (zh) * | 2024-04-29 | 2024-07-26 | 首都机场集团有限公司 | 机场安全数据库的数据同步方法、装置及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104184822A (zh) * | 2014-08-29 | 2014-12-03 | 海视云(北京)科技有限公司 | 一种数据同步的方法及系统 |
| CN105787077A (zh) * | 2016-03-02 | 2016-07-20 | 百度在线网络技术(北京)有限公司 | 数据同步方法和装置 |
| CN106255103A (zh) * | 2016-07-29 | 2016-12-21 | 华为技术有限公司 | 一种数据同步方法及设备 |
| CN106649378A (zh) * | 2015-11-02 | 2017-05-10 | 北大方正集团有限公司 | 一种数据同步方法及装置 |
| CN107040578A (zh) * | 2016-12-30 | 2017-08-11 | 平安科技(深圳)有限公司 | 数据同步方法、装置和系统 |
| CN107343049A (zh) * | 2017-07-06 | 2017-11-10 | 上海观谷科技有限公司 | 数据同步方法及装置 |
-
2018
- 2018-08-17 CN CN201810943257.9A patent/CN109325037A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104184822A (zh) * | 2014-08-29 | 2014-12-03 | 海视云(北京)科技有限公司 | 一种数据同步的方法及系统 |
| CN106649378A (zh) * | 2015-11-02 | 2017-05-10 | 北大方正集团有限公司 | 一种数据同步方法及装置 |
| CN105787077A (zh) * | 2016-03-02 | 2016-07-20 | 百度在线网络技术(北京)有限公司 | 数据同步方法和装置 |
| CN106255103A (zh) * | 2016-07-29 | 2016-12-21 | 华为技术有限公司 | 一种数据同步方法及设备 |
| CN107040578A (zh) * | 2016-12-30 | 2017-08-11 | 平安科技(深圳)有限公司 | 数据同步方法、装置和系统 |
| CN107343049A (zh) * | 2017-07-06 | 2017-11-10 | 上海观谷科技有限公司 | 数据同步方法及装置 |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110245181A (zh) * | 2019-04-25 | 2019-09-17 | 深圳壹账通智能科技有限公司 | 数据同步的同步方法、装置及计算机存储介质 |
| CN110232095A (zh) * | 2019-05-21 | 2019-09-13 | 中国平安财产保险股份有限公司 | 一种数据同步方法、装置、存储介质和服务器 |
| CN110232095B (zh) * | 2019-05-21 | 2024-04-02 | 中国平安财产保险股份有限公司 | 一种数据同步方法、装置、存储介质和服务器 |
| CN112118276B (zh) * | 2019-06-21 | 2022-12-20 | 腾讯科技(深圳)有限公司 | 媒体资源的推送方法及装置 |
| CN112118276A (zh) * | 2019-06-21 | 2020-12-22 | 腾讯科技(深圳)有限公司 | 媒体资源的推送方法及装置 |
| CN112214500A (zh) * | 2019-07-09 | 2021-01-12 | 北京京东尚科信息技术有限公司 | 数据对比的方法、装置、电子设备和存储介质 |
| CN110602165A (zh) * | 2019-08-08 | 2019-12-20 | 数字广东网络建设有限公司 | 政务数据同步方法、装置、系统、计算机设备和存储介质 |
| CN110602165B (zh) * | 2019-08-08 | 2022-09-06 | 数字广东网络建设有限公司 | 政务数据同步方法、装置、系统、计算机设备和存储介质 |
| CN110659281B (zh) * | 2019-08-14 | 2023-09-12 | 中国平安财产保险股份有限公司 | 基于Hive的数据处理方法、装置、计算机设备及存储介质 |
| CN110659281A (zh) * | 2019-08-14 | 2020-01-07 | 中国平安财产保险股份有限公司 | 基于Hive的数据处理方法、装置、计算机设备及存储介质 |
| CN111143295A (zh) * | 2019-11-14 | 2020-05-12 | 泰康保险集团股份有限公司 | 保单信息处理方法、装置、设备及存储介质 |
| CN111143295B (zh) * | 2019-11-14 | 2024-01-30 | 泰康保险集团股份有限公司 | 保单信息处理方法、装置、设备及存储介质 |
| CN111159207A (zh) * | 2019-12-16 | 2020-05-15 | 中国建设银行股份有限公司 | 一种信息处理方法和装置 |
| CN111159207B (zh) * | 2019-12-16 | 2023-06-16 | 建信金融科技有限责任公司 | 一种信息处理方法和装置 |
| CN111104464A (zh) * | 2019-12-31 | 2020-05-05 | 成都校精灵科技有限公司 | 一种数据同步修改方法、读取方法及系统、可读存储介质 |
| CN111104464B (zh) * | 2019-12-31 | 2023-07-04 | 成都校精灵科技有限公司 | 一种数据同步修改方法、读取方法及系统、可读存储介质 |
| CN111241198A (zh) * | 2020-01-02 | 2020-06-05 | 广州虎牙科技有限公司 | 数据同步方法、装置及数据处理设备 |
| CN111241198B (zh) * | 2020-01-02 | 2024-02-27 | 广州虎牙科技有限公司 | 数据同步方法、装置及数据处理设备 |
| CN111274315A (zh) * | 2020-01-15 | 2020-06-12 | 平安医疗健康管理股份有限公司 | 同步数据通道构建方法、装置、计算机设备和存储介质 |
| CN111274315B (zh) * | 2020-01-15 | 2022-09-30 | 深圳平安医疗健康科技服务有限公司 | 同步数据通道构建方法、装置、计算机设备和存储介质 |
| CN111477312A (zh) * | 2020-04-27 | 2020-07-31 | 上海联影医疗科技有限公司 | 数据列表调整方法、装置、计算机设备和存储介质 |
| CN111477312B (zh) * | 2020-04-27 | 2023-02-24 | 上海联影医疗科技股份有限公司 | 数据列表调整方法、装置、计算机设备和存储介质 |
| CN111611244A (zh) * | 2020-05-20 | 2020-09-01 | 浩云科技股份有限公司 | 一种将数据库的数据进行级联的方法及装置 |
| CN112328275A (zh) * | 2020-10-10 | 2021-02-05 | 岭东核电有限公司 | 用于核电厂的数据更新方法、装置、终端设备和存储介质 |
| CN112307065B (zh) * | 2020-10-30 | 2024-06-07 | 中国民航信息网络股份有限公司 | 一种数据处理方法、装置及服务器 |
| CN112307065A (zh) * | 2020-10-30 | 2021-02-02 | 中国民航信息网络股份有限公司 | 一种数据处理方法、装置及服务器 |
| CN113312425A (zh) * | 2021-04-25 | 2021-08-27 | 中国建设银行股份有限公司 | 数据库同步方法及装置 |
| CN113419752A (zh) * | 2021-05-31 | 2021-09-21 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN113627142A (zh) * | 2021-08-26 | 2021-11-09 | 中化信息技术有限公司 | 一种多维度数据耦合系列表单的一次性提交办法 |
| CN113870641A (zh) * | 2021-09-29 | 2021-12-31 | 上海乐项信息技术有限公司 | 一种用于直播带货的模拟培训方法和系统 |
| CN113961569A (zh) * | 2021-12-22 | 2022-01-21 | 上海柯林布瑞信息技术有限公司 | 一种医疗数据etl任务同步方法和装置 |
| WO2024007906A1 (zh) * | 2022-07-06 | 2024-01-11 | 北京字跳网络技术有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN115587143A (zh) * | 2022-09-08 | 2023-01-10 | 中国建设银行股份有限公司 | 数据同步方法、装置、设备及计算机可读存储介质 |
| CN115840763A (zh) * | 2023-02-20 | 2023-03-24 | 中航信移动科技有限公司 | 一种基于多数据库的数据存储方法、存储介质及电子设备 |
| CN115905414A (zh) * | 2023-03-03 | 2023-04-04 | 北京和升达信息安全技术有限公司 | 一种内外网数据同步方法、系统、电子设备及介质 |
| CN117633059A (zh) * | 2024-01-25 | 2024-03-01 | 广东广宇科技发展有限公司 | 一种基于分布式数据库的数据查询方法 |
| CN117633059B (zh) * | 2024-01-25 | 2024-04-09 | 广东广宇科技发展有限公司 | 一种基于分布式数据库的数据查询方法 |
| CN118394840A (zh) * | 2024-04-29 | 2024-07-26 | 首都机场集团有限公司 | 机场安全数据库的数据同步方法、装置及介质 |
| CN118394840B (zh) * | 2024-04-29 | 2024-11-22 | 首都机场集团有限公司 | 机场安全数据库的数据同步方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109325037A (zh) | 一种针对海量数据的数据同步方法、存储介质和服务器 | |
| JP6875557B2 (ja) | サービス・データをブロックチェーン・システムに書き込むための方法およびデバイス | |
| CN109344153A (zh) | 业务数据的处理方法及终端设备 | |
| CN109918442A (zh) | 一种数据的处理方法及装置 | |
| CN109155763A (zh) | 数据流上的数字信号处理 | |
| CN109493205A (zh) | 智能记账方法、计算机可读存储介质和终端设备 | |
| CN105989076A (zh) | 一种数据统计方法以及装置 | |
| Sethi et al. | P-FHM+: Parallel high utility itemset mining algorithm for big data processing | |
| CN109542935A (zh) | 一种规则引擎的执行方法、存储介质和服务器 | |
| CN104750740A (zh) | 数据更新的方法及装置 | |
| CN109885614A (zh) | 一种数据同步的方法和装置 | |
| CN109241159A (zh) | 一种数据立方体的分区查询方法、系统及终端设备 | |
| CN109376142A (zh) | 数据迁移方法及终端设备 | |
| CN107463610A (zh) | 一种数据入库方法及装置 | |
| CN106325756A (zh) | 一种数据存储、数据计算方法和设备 | |
| CN109379398A (zh) | 一种数据同步方法及装置 | |
| CN110599166A (zh) | 一种区块链内获取交易依赖关系的方法及装置 | |
| CN110471754A (zh) | 作业调度中的数据展示方法、装置、设备及存储介质 | |
| CN102890807A (zh) | 清分结算子系统的拆分规则的生成方法及装置 | |
| CN109241357A (zh) | 链式结构模型及其构建方法、系统和终端设备 | |
| CN109542462A (zh) | 一种系统环境部署方法、存储介质和服务器 | |
| CN112199426A (zh) | 微服务架构下的接口调用管理方法、装置、服务器及介质 | |
| CN110704442A (zh) | 一种大数据的实时获取方法及装置 | |
| CN110442647A (zh) | 数据一致性同步方法、装置及计算机可读存储介质 | |
| CN106407233A (zh) | 一种数据处理方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190212 |
|
| RJ01 | Rejection of invention patent application after publication |