[go: up one dir, main page]

CN111614736A - 网络内容资源调度方法、域名调度服务器及电子设备 - Google Patents

网络内容资源调度方法、域名调度服务器及电子设备 Download PDF

Info

Publication number
CN111614736A
CN111614736A CN202010365318.5A CN202010365318A CN111614736A CN 111614736 A CN111614736 A CN 111614736A CN 202010365318 A CN202010365318 A CN 202010365318A CN 111614736 A CN111614736 A CN 111614736A
Authority
CN
China
Prior art keywords
resource
network content
domain name
content resource
access request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010365318.5A
Other languages
English (en)
Inventor
刘贵荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010365318.5A priority Critical patent/CN111614736A/zh
Publication of CN111614736A publication Critical patent/CN111614736A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1014Server selection for load balancing based on the content of a request
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1023Server selection for load balancing based on a hash applied to IP addresses or costs

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开的实施例公开了一种网络内容资源调度方法、域名调度服务器及电子设备。该方法应用于域名调度服务器端,包括:接收客户端的网络内容资源访问请求;确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,其中,所述热点资源为访问频次超过预定阈值的网络内容资源;根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应。

Description

网络内容资源调度方法、域名调度服务器及电子设备
技术领域
本公开实施例涉及网络技术领域,尤其涉及一种网络内容资源调度方法、域名调度服务器及电子设备。
背景技术
内容分发网络(Content Delivery Network,CDN)是构建在网络之上的内容分发网络,依靠部署在各地的边缘节点服务器,通过中心平台的负载均衡、内容分发、调度等功能模块,使用户就近获取所需内容,降低网络拥塞,提高用户访问响应速度和命中率。
域名调度系统的全局服务器负载均衡(global server load balance, GSLB)调度系统依据一定的调度规则,如就成本优先、质量优先等策略,将用户的访问请求调度到CDN的边缘节点。域名调度系统通常包括域名系统(Domain Name System,DNS)和例如超文本传输协议(Hypertext Transfer Protocol,HTTP)调度系统的调度两种方式,HTTP调度也称为HTTP302 调度。
在访问某个资源时,用户通过网站域名访问某个资源(图片或者视频),第一步被调度系统调度到某个边缘节点(真正服务客户的节点)上,若是第一次访问,此节点上没有这个资源,所以边缘节点会向一个中层节点请求资源,中层节点没有资源,中层节点会向上层节点请求,上层节点也没有此资源,则上层节点向用户源站请求资源,并原路返回给中层节点、边缘节点以及响应给用户并在各层节点上缓存,后续的请求就可以直接用缓存应答。
但无论使用DNS调度或者普通的HTTP302调度,会存同一个资源可能出现在各个边缘节点上,每个边缘节点都会回到中上层节点获取资源,由此造成回中上层带宽的浪费。
发明内容
本公开实施例的目的在于提供一种网络内容资源调度方法、域名调度服务器及电子设备,以节省回源带宽。
根据本公开实施例的第一方面,提供了一种网络内容资源调度方法,所述方法应用于域名调度服务器端,包括:
接收客户端的网络内容资源访问请求;
确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,其中,所述热点资源为访问频次超过预定阈值的网络内容资源;
根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应。
根据本公开实施例的第二方面,提供了一种域名调度服务器,包括:
接收模块,用于接收客户端的网络内容资源访问请求;
确定模块,用于确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,其中,所述热点资源为访问频次超过预定阈值的网络内容资源;
调度模块,用于根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应。
根据本公开实施例的第三方面,提供了一种电子设备,此电子设备包括:
根据本公开实施例第二方面所述的域名调度服务器;或者,
处理器和存储器,存储器用于存储可执行的指令,所述指令用于控制处理器执行根据本公开实施例第一方面所述的网络内容资源调度方法。
根据本公开实施例的第四方面,提供了一种存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据本公开实施例第一方面所述的网络内容资源调度方法。
本公开实施例提出的网络内容资源调度方法,在应答客户的网络内容资源访问请求时,确定该网络内容资源访问请求的网络内容资源的冷热程度(是否为热点资源)来确定服务该网络内容资源访问请求的CDN边缘节点。如果确定资源是热点资源,则随机选择一个边缘节点来响应该请求,从而把请求分散到不同的边缘节点上。如此,可防止某个边缘节点被大量请求打垮。
此外,在确定该网络内容资源访问请求的网络内容资源为非热点资源时,则使用一个固定的边缘节点来响应对同一个网络内容的请求。对于冷资源使用同一台边缘节点服务,既能防止节点被打垮,又能减少回上层带宽。如此,同样的资源回中上层节点,只拉取一次,且缓存一份,就减少了更多节点缓存资源所带来的回中上层带宽成本。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开实施例的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且连同其说明一起用于解释本公开实施例的原理。
图1为可用于实现本公开实施例的服务器的硬件配置结构方框图。
图2为本公开实施例的网络内容资源调度方法的第一应用场景框图。
图3为本公开实施例的网络内容资源调度方法的第二应用场景框图。
图4为本公开实施例的网络内容资源调度方法总体流程图。
图5为本公开实施例的调度系统的架构图。
图6为本公开实施例的网络内容资源的总访问量统计示例流程图。
图7为本公开实施例的请求响应示例流程图。
图8为本公开实施例的域名调度服务器的结构方框图。
图9为本公开实施例的电子设备的结构方框图。
具体实施方式
现在将参照附图来详细描述本公开实施例的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开实施例及其应用或使用的任何限制。
对于相关领域普通技术人物已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<实施环境和硬件配置>
图1是示出可以实现本公开的实施例的服务器1000的硬件配置的结构方框图。
服务器设备可以是整体式服务器或是跨多计算机或计算机数据中心的分散式服务器。服务器可以是各种类型的,例如但不限于,内容分发网络的节点设备、分布式存储系统的存储服务器、域名服务系统的服务器、云数据库服务器、云计算服务器、云管理服务器、网络服务器、新闻服务器、邮件服务器、消息服务器、广告服务器、文件服务器、应用服务器、交互服务器、存储服务器、数据库服务器或代理服务器等。在一些实施例中,每个服务器可以包括硬件,软件,或用于执行服务器所支持或实现的合适功能的内嵌逻辑组件或两个或多个此类组件的组合。例如,服务器例如刀片服务器、云端服务器等,或者可以是由多台服务器组成的服务器群组,可以包括上述类型的服务器中的一种或多种等等。
如图1所示,服务器1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400,或者还可以包括显示装置1500、输入装置1600 等等。其中,处理器1100可以是中央处理器CPU、微处理器MCU等,用于执行计算机程序。该计算机程序可以采用比如x86、Arm、RISC、MIPS、 SSE等架构的指令集编写。存储器1200例如包括ROM(只读存储器)、 RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300 例如包括USB接口、耳机接口等。通信装置1400例如能够利用光纤或电缆进行有线通信,或者无线通信,具体地可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。
图1所示的服务器仅仅是说明性的并且决不意味着对本公开实施例、其应用或使用的任何限制。应用于本公开的实施例中,服务器1000的所述存储器1200用于存储指令,所述指令用于控制所述处理器1100进行操作以执行本公开实施例提供的任意一项网络内容资源调度方法。本领域技术人员应当理解,尽管在图1中对服务器1000示出了多个装置,但是,本公开实施例可以仅涉及其中的部分装置,例如服务器1000可以只涉及处理器 1100和存储装置1200。技术人员可以根据本公开所公开方案设计指令。指令如何控制处理器进行操作,这是本领域公知,故在此不再详细描述。
在本公开一个实施例中,提供一种网络内容资源调度方法,用于将客户端的网络内容资源访问请求调度到内容分发网络的某边缘节点进行响应,所述方法实施在域名调度系统700端。
下面,首先结合图2对本公开实施例的方法的应用场景作出说明。参考图2,图2为本公开实施例的网络内容资源调度方法第一应用场景框图。
如图2所示,本公开实施例的应用场景包括客户端600、域名调度系统700和CDN系统800,其中域名调度系统700实施本公开实施例的网络内容资源调度方法。
客户端600、域名调度系统700和CDN系统800的交互关系如图2 所示,其中虚线部分表示该应用场景下用户请求对应的调度流程走向。
步骤11:客户端600用户向域名调度系统700发送网络内容资源访问请求,其中所述网络内容资源访问请求包括该网络内容资源访问请求所请求的网络内容资源的资源定位信息,以通过网站域名访问某个网络内容资源。
步骤12:域名调度系统700向客户端600返回一个CDN边缘节点的 IP地址,以使得客户端600从该IP地址的CDN边缘节点访问到对应的网络内容资源。
步骤13:客户端600根据CDN边缘节点的IP地址,例如向CDN系统800中具有该IP地址的边缘节点200请求对应的网络内容资源。
步骤14:边缘节点200上不存在客户端请求的该网络内容资源,继续向CDN系统800中的一个中层节点300请求回源该网络内容资源访问请求所请求的网络内容资源。
步骤15:中层节点300上不存在该网络内容资源访问请求所请求的网络内容资源,继续向CDN系统800的一个上层节点400请求回源。
步骤16:上层节点400上也不存在该网络内容资源访问请求所请求的网络内容资源,会向源站拉取。
步骤17:源站将该网络内容资源访问请求所请求的网络内容资源响应给上层节点400。
步骤18:上层节点400将获取的该网络内容资源访问请求所请求的网络内容资源响应给中层节点300。
步骤19:中层节点300将获取的该网络内容资源访问请求所请求的网络内容资源响应给边缘节点200。
步骤20:边缘节点200将客户端600请求的网络内容资源发送给客户端600的用户,实现客户端的用户访问到所请求的网络内容资源。
<方法实施例>
本公开实施例的提供了一种网络内容资源调度方法,该方法实施在域名调度系统中,例如图2所示的域名调度系统7000。请参考图3,图3为本公开实施例的网络内容资源调度方法第二应用场景框图。
在该实施例中,域名调度系统包括域名处理系统和调度系统。域名处理系统例如是DNS系统,调度系统例如是HTTP调度系统。
下面将结合图3所示域名调度系统、客户端及CDN边缘节点之间的交互流程,对本公开实施例的网络内容资源调度方法的应用场景作出描述。
如图3所述,包括以下步骤:
步骤1:客户端的用户向DNS系统发送请求域名,通过网站域名访问某个网络内容资源(图片或者视频)。
步骤2:DNS系统向客户端返回HTTP调度系统服务器IP。
步骤3:客户端根据HTTP调度系统服务器IP地址,向对应的HTTP 调度系统请求URL。
步骤4:HTTP调度系统应答客户端请求,并向客户端返回CDN一个边缘节点的IP地址。
步骤5:客户端根据HTTP调度系统应答返回的IP地址,向对应的边缘节点发起URL连接请求,以获取对应的网络内容资源。
步骤6:对应的边缘节点根据客户端的请求执行对应网络内容资源的应答。
在上述步骤4中,HTTP调度系统可以实施本开实施例的网络内容资源调度方法,从而在应答客户端请求时,能够采取更合适的调度方式来返回应答客户端的CDN边缘节点的IP地址。
请参考图4,该图为本公开实施例的网络内容资源调度方法总体流程图,网络内容资源调度方法可以是由服务器实施,该服务器可以是调度系统中的域名调度服务器,该服务器例如可以是如图1所示的服务器1000。
如图4所示,本公开实施例的网络内容资源调度方法用于将客户端的网络内容资源访问请求调度到CDN的某边缘节点进行响应,所述方法实施在域名调度服务器端,包括以下步骤:
步骤102,接收客户端的网络内容资源访问请求;
步骤104,确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,其中,所述热点资源为访问频次超过预定阈值的网络内容资源;
步骤106,根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应。
在步骤102中,如果收到客户对某一网络内容资源的访问请求,会从该网络内容资源访问请求中获取到该网络内容资源访问请求所请求的网络内容资源的资源定位信息。
在此需要说明的是,所述资源定位信息为统一资源定位符(URL, uniformresource locator)。
在步骤104中,确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,具体可以将所述网络内容资源的资源定位信息与预先保存的热点资源对应的资源定位信息进行匹配,在匹配成功的情况下,则确定所述网络内容资源访问请求所请求的网络内容资源为热点资源,在匹配不成功的情况下,则确定所述网络内容资源访问请求所请求的网络内容资源为非热点资源。以确定该网络内容资源访问请求对应的资源定位信息是否为请求该域名信息下的热点资源。
在此需要说明的是,将所述网络内容资源的资源定位信息与预先保存的热点资源对应的资源定位信息进行匹配,具体是将所述网络内容资源的资源定位信息与预先保存的热点资源对应的资源定位信息进行一一比对,判断是否完全一致,如果完全一致,则确定所述网络内容资源的资源定位信息与预先保存的热点资源对应的资源定位信息之间匹配成功,如果不完全一致,则确定所述网络内容资源的资源定位信息与预先保存的热点资源对应的资源定位信息之间匹配不成功。
在一个实施例中,由于步骤104需要确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,因此,在执行步骤104之前,需要预先知道哪些网络内容资源为热点资源,也就是说,需要在确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源之前,确定哪些网络内容资源为热点资源。
具体的,确定某一域名信息下的网络内容资源中的热点资源,保存所述热点资源对应的资源定位信息。
对于同一个网络内容资源,例如某网站或平台的视频、音频或其他文件或网络内容,客户端发送的网络内容资源访问请求可能存在多个,即多个请求访问及获取同一个网络内容。
确定某一域名信息下的网络内容资源中的热点资源,可以是根据确定该域名信息下各种类型的网络内容资源的访问次数来执行。
在一个实施例中,根确定域名信息下的网络内容资源中的热点资源包括:获取本地日志文件;根据所述本地日志文件内的域名信息和域名信息对应的资源定位信息,统计预定时间段内所述域名信息下的各个资源定位信息对应的网络内容资源的访问次数;根据所述访问次数确定该域名信息下的网络内容资源中的热点资源。
本地日志文件是存储在域名调度服务器的本地存储空间上的日志文件,日志文件记录有该域名调度服务器所对应调度的域名信息和该域名信息对应的资源定位信息。
在一个实施例中,域名信息下的各个网络内容资源的访问次数表示,每个网络内容对应被客户端用户请求的总访问量大小。通常来说,访问次数越多,表示该网络内容资源对应越多的客户端访问请问。访问次数可以是所有时间段对该网络内容资源的总访问量,也可以是某个时间段内的总访问量。
在一个实施例中,所述根据所述本地日志文件的域名信息和域名信息对应的资源定位信息,确定某一域名信息下的各个网络内容资源的访问次数包括:
根据所述本地日志文件的域名信息和域名信息对应的资源定位信息,统计预定时间段内某一域名信息下的各个网络内容资源的访问次数。
预定时间段对域名信息下各个网络内容资源的访问次数进行统计,更体现了对应一种网络内容资源在该时间段内被访问的频率。预定时间段内,域名信息下某网络内容资源对应的访问次数越大,表示该网络内容的访问频率越高,即更多集中的访问请求该网络内容。
在确定域名信息下的各个网络内容资源的访问次数时,获取该域名信息下各个网络资源各自对应的访问次数。例如一个域名信息为a.com的网站,则对该网站网络内容资源的访问次数进行统计,包括当前请求的网络内容的访问次数,也包括请求其他网络内容资源的访问次数,每个网络内容资源的总访问次数可以实时统计得到。
在一个实施例中,根据所述访问次数确定该域名信息下的网络内容资源中的热点资源包括:
将所述访问次数与所述预定阈值进行比较;
将所述访问次数大于所述预定阈值的网络内容资源,确定为该域名信息下的网络内容资源中的热点资源。
将根据本地日志文件得到的该域名信息下各网络内容资源的访问次数,并和预设的阈值进行比较,从而将大于预定阈值的网络内容资源确定为该域名信息下的热点资源。反之,确定为非热点资源(也可以称作为冷资源)。
在一个实施例中,根据所述访问次数确定该域名信息下的网络内容资源中的热点资源包括:
将该域名信息下的各个网络内容资源的访问次数从高到低进行排序;
根据预定比例值,按照从高到低的排序顺序选取预设比例的网络内容资源,作为该域名信息下的网络内容资源中的热点资源。
在该实施例中,是根据预定比例值,对某一域名信息下按访问次数从高到的排序,取排序靠前的网络内容资源,将这些排序靠前的网络内容资源作为该域名信息下的热点资源。按照该预定比例值,排序不靠前的其他网络内容资源为该域名信息下的非热点资源。
在一个实施例中,所述方法还包括:
从域名调度服务器的中心节点拉取配置数据,以获取所述预定比例值,所述配置数据中记录有域名信息及确定域名信息对应的预定比例值。
在该实施例中,确定域名信息对应热点资源的预定比例值可以是从域名调度服务器的中心节点拉取(Pull)的配置数据中获取的。配置数据记录有域名信息和该域名信息对应的预定比例值。不同的域名信息,其对应的预定比例值可能是不同的,当然也可以是相同的。该预定比例值记录配置数据存储在中心节点上,可以由域名调度服务器定期拉取,并保存到其内存数据库中。
除了预定比例值之外,配置数据记录的也可以是域名信息和该域名信息对应的预定阈值,用于根据域名信息下网络内容资源的访问次数确定对应的热资源。
在步骤104中,在确定域名信息下的热点资源之后,可以将该热点资源的资源定位信息,例如URL保存下来,即保存有该域名信息下所有确定为热点资源的URL信息,以确定所接收的网络内容资源访问请求对应的网络内容是否是热点资源。
在一个实施例中,关于域名信息下热点资源的资源定位信息可以是预先统计并保存下来的,也可以是实时统计并保存下来的。可以是预定时间段统计保存的,也可以全部时间段统计保存的。
在一个示例中,可以对预定时间段内容统计的所有访问资源设定预定比例值或者预定阈值来确定排序前多少个网络内容资源是热点资源。预定比例值可以指这个域名信息在统计时间内对域名信息下各网络内容资源 URL中前百分之多少为热点资源,还是以上述域名信息为a.com为例,若设定预定比例值为5,则认为域名信息a.com在统计周期内统计的所有网络内容资源中,前5%是热点资源,其他都是冷资源。
在一个实施例中,有些域名信息可能开启了网络内容资源调度策略,有些域名信息则可能未开启或配置有这种调度策略,因此,在步骤102中,所接收到的网络内容资源访问请求中除了携带有资源定位信息,还携带有域名信息,在确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源之前,需要判断域名信息是否开启了指定调度模式,只有在开启了指定调度模式的情况下,确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源。
在此需要说明的是,指定调度模式指的是冷热资源调度,若域名信息为未开启冷热资源调度的域名信息,则说明这个域名信息不需要开启根据请求的网络内容是否为热点资源而执行的冷热资源调度;若域名信息为开启冷热资源调度的域名信息,则在开启了冷热资源调度之后,该域名信息对应的配置数据,确定网络内容资源访问请求所请求的网络内容资源是否为热点资源。
在步骤106中,确定的结果可以是网络内容资源访问请求所请求的网络内容资源为热点资源,也可以是网络内容资源访问请求所请求的网络内容资源为非热点资源。
如果该网络内容资源访问请求对应的资源定位信息与该域名信息下的热点资源对应的定位信息匹配,则表示请求访问的网络内容为该域名信息的热点资源。也说明该访问的网络内容的访问量相对大,此时,会从存放有该请求访问的该域名信息下的网络内容的所有CDN边缘节点中,随机选择一个边缘节点作为响应所述网络内容资源访问请求的节点,也就是说,在确定所述网络内容资源访问请求所请求的网络内容资源为热点资源的情况下,从指派给所述网络内容资源所属的域名信息的全部边缘节点中随机选择一边缘节点作为响应所述网络内容资源访问请求的边缘节点。即,存在多个可以响应该请求的边缘节点,客户端可以从随机选择的边缘节点获取要访问的网络内容,将对同一个网络资源的多个请求分配由多个边缘节点来应答。
随机选择的边缘节点为提供所述边缘节点的网际互连协议(Internet Protocol,IP)地址。
如果不匹配,说明该网络内容资源访问请求访问的网络内容资源不是该域名信息下的热点资源,而是非热点信息,因此对该网络内容资源的访问请求量相对不够大,此时可以固定一个边缘节点来响应所有对该域名信息下该网络内容的请求,将对同一个网络资源的多个请求都指定到同一个边缘节点来应答。
在一个实施例中,所述方法还包括:
在确定不匹配的情况下,通过预定策略从指派给所述网络内容所属的域名信息的全部边缘节点中选择一个固定的边缘节点作为响应所述网络内容资源访问请求的节点。
所述通过预定策略从指派给所述网络内容所属的域名信息的全部边缘节点中选择一个固定的边缘节点作为响应所述网络内容资源访问请求的节点包括:
对所述网络内容资源访问请求的网络内容的资源定位信息进行哈希计算,得到对应的哈希值;
根据哈希值与IP地址的映射关系,确定与该哈希值对应的IP地址作为响应所述网络内容资源访问请求的固定的边缘节点。
在本公开实施例的网络内容资源调度方法中,热点资源判断比较关键,热点资源判断的越准,越有利于调度的实际应答客户端请求的边缘节点保护,这样能够避免哈希算法指定同一个边缘节点服务时存在被巨量的热点请求打垮的隐患;还越有利于带宽的减少,这样能够避免随机选择服务请求的边缘节点造成的带宽成本高问题。当然冷资源还是热点资源是个相对的概念,根据当前回源带宽的数量和存放所述网络内容资源的边缘节点的压力的情况变化,可以动态调整配置数据中的预定阈值或预定比例值。
例如,当前回源带宽数量较多时,可以将预定阈值数值调大,或者将预定比例值的数值调小,即配置存在更多的冷资源,将更多的请求指配到同一个边缘节点上服务。当边缘节点处理太多同一网络内容资源的请求导致压力过大时,可以调整减小预定阈值的数据,或调整增大预定比例值的数值,配置存在更多的热点资源,将请求随机分配到多个边缘节点上。即,综合实际情况在平衡回源带宽数量和边缘节点服务器压力的前提下对预定阈值或预定比例值进行更新和调整。
下面,将对本公开实施例对应的调度系统的架构进行说明,图5为调度系统的架构示意图。调度系统包括域名调度服务器和域名调度服务器的中心节点,域名调度服务器可以有至少一个,例如图5所示的域名调度服务器1、域名调度服务器2、域名调度服务器3。需要指出的是,本公开的实施例的保护范围不局限于该具体实施例。
中心节点主要负责客户域名信息与域名调度服务器所在的调度组关系、配置数据等的存储,同时响应域名调度服务器的请求,把配置好的、用于确定同一域名信息下各网络内容资源中的热点资源和非热点资源(冷资源)的冷热策略下发到域名调度服务器。配置策略粒度是域名信息,即每个域名信息有自己的冷热策略,如果一个域名信息没有配置关于冷热资源的配置数据,例如预定阈值或者预定比例值,说明这个域名信息不需要开启根据请求的网络内容是否为热点资源而执行的冷热资源调度。如上文所述,配置数据可以包括域名信息和预定比例值。预定比例值是表示冷热资源转换的分界值,如果预定比例值为N,可以认为访问次数的前百分之 N是热点资源,其他的都是冷资源。这个值可以是判断策略中用来判定一个网络内容资源是冷的还是热的。
域名调度服务器1、域名调度服务器2、域名调度服务器3采用拉取的方式定期向中心节点请求配置的冷热策略,包括域名信息和预定比例值,或者包括域名信息和预定阈值等信息,存入到域名调度服务器的内存数据库中。同时实时统计本地日志文件,根据拉取的配置数据记录的域名信息和预定比例值判断出的热点资源对应的资源定位信息,例如URL等信息写入到其内部的响应程序的内存中,例如302程序的内存中,以作为响应请求时候的匹配依据。
通常,一个域名信息会配置多个CDN边缘节点的IP,每次调度跳转应答,即根据客户端请求将请求的URL调度跳转到实际服务客户端的新 URL只有一个IP,所以需要从所属的域名信息的全部边缘节点的多个IP 中选择一个。如果判断客户端请求网络资源为热点资源,则随机选一个边缘节点的IP返回来服务用户,这样把流量分散到多个边缘节点上。如果判断客户端请求网络资源为冷资源,则对请求的URL采用哈希算法进行计算,得到该URL对应的哈希值。访问域名信息下同一个内容网络资源的URL 相同,则其哈希计算得到的哈希值也是不变的。预先将每个URL对应的哈希值匹配一个固定的边缘节点,即同一个哈希值仅匹配同一个固定的边缘节点IP地址。如此,在收到相同URL的网络内容资源的请求时,根据哈希值与IP地址的映射关系,可以把访问该相同资源的请求引导到同一个边缘节点上,保证同一个资源都是用同一个CDN边缘节点提供访问服务。
下面结合图6实施例进行描述,图6为本公开实施例的网络内容资源的访问次数统计示例流程图。在本示例中,依据热点资源的配置数据对本地日志文件实时统计,以判断当前请求的对应域名信息下的网络内容资源是否为热点资源。
如图6所示,包括以下步骤:
步骤202,获取本地日志文件,从本地日志文件里过滤出域名信息和域名信息对应的资源定位信息,统计预定时间段内所述域名信息下的各个资源定位信息对应的网络内容资源的访问次数。
步骤204,判断统计的域名信息是否开启了指定调度模式,若是,进入步骤206;若否,则结束。
实际应用中,有些域名信息可能开启了指定调度模式(如,冷热资源调度模式),有些域名信息则可能未开启或配置有这种指定调度模式。
如果一个域名信息没有配置指定调度模式(如,冷热资源调度模式),则结束。
步骤206,根据该域名信息下各网络内容资源访问次数和该域名信息对应的配置数据,确定该域名信息下的网络内容资源中的热点资源。
例如,配置数据为预定比例值且该预定比例值为N,对步骤202得到的该域名信息下各网络内容资源访问次数的高低排序,取排序前N%的网络内容资源,确定为该域名信息下的热点资源。
步骤208,保存确定出的热点资源对应的资源定位信息。
即,热点资源对应的资源定位信息写入到域名调度服务器的应答程序内部,以供应答程序在响应的时候做出判断。
下面参考图7,图7为本公开实施例的请求响应示例流程图。
除了可以通过在本地实时日志统计得到上述热点资源的判断策略之外,也可以将本地日志文件通过上传第三方数据中心,由数据中心收集所有节点数据并结合具体的策略给出冷热情况。
图7为本公开实施例的请求响应示例流程图,显示了域名调度服务器的应答程序响应客户端的网络内容资源访问请求时的逻辑。如图7所示,包括以下步骤:
步骤302,接收客户端的网络内容资源访问请求。
在此需要说明的是,该网络内容资源访问请求中携带有域名信息和网络内容资源访问请求所请求的网络内容资源的资源定位信息。
步骤304,判断当前网络内容资源访问请求的域名信息是否开启了指定调度模式,若是,进入步骤306;若否,进入步骤310。
步骤306,判断当前网络资源的资源定位信息是否匹配本地日志实时统计时写入的热点资源对应的资源定位信息。若是,说明当前网络内容资源访问请求所请求的网络内容资源为热点资源,则进入步骤308;若否,说明当前网络内容资源访问请求所请求的网络内容资源为一个非热点资源 (即,冷资源),则进入步骤310。
步骤308,从指派给所述网络内容资源所属的域名信息的全部边缘节点中随机选择一边缘节点作为响应所述网络内容资源访问请求的边缘节点,并进入步骤312。
步骤310,对所述网络内容资源访问请求所请求的网络内容资源的资源定位信息进行哈希计算,得到对应的哈希值,根据哈希值与IP地址的映射关系,确定与该哈希值对应的IP地址作为响应所述网络内容资源访问请求的固定的边缘节点,并进入步骤312。
步骤312,返回应答。
向客户端返回一个根据步骤308或者310调度选择的边缘节点的IP 地址。
本公开实施例提出的网络内容资源调度方法,在应答客户的网络内容资源访问请求时,确定该网络内容资源访问请求的网络内容资源的冷热程度(是否为热点资源)来确定服务该网络内容资源访问请求的CDN边缘节点。如果确定资源是热点资源,则随机选择一个边缘节点来响应该请求,从而把请求分散到不同的边缘节点上。如此,可防止某个边缘节点被大量请求打垮。使用本公开实施例的方法以后,可以显著减少边缘节点回中、上层节点的带宽。
如果确定该网络内容资源访问请求的网络内容资源为非热点资源,则使用一个固定的边缘节点来响应对同一个网络内容的请求。对于冷资源使用同一台边缘节点服务,既能防止节点被打垮,又能减少回上层带宽。如此,同样的资源回中上层节点,只拉取一次,且缓存一份,就减少了更多节点缓存资源所带来的回中上层带宽成本。
本公开实施例的网络内容资源调度方法通过冷热资源判断,对热点资源和非热点资源使用不同的调度方式,向用户提供边缘节点响应访问,可以平衡多边缘节点向中、上层节点回源产生的带宽浪费、及单边缘节点响应请求可能带来的访问压力的问题,提高了网络内容资源调度的效率。
<装置实施例>
在本公开的另一个实施例中,提出了一种域名调度服务器,用于将客户端的网络内容资源访问请求调度到内容分发网络的某边缘节点进行响应。图8为本公开实施例的域名调度服务器的结构方框图。
如图所示,域名调度服务器2000包括接收模块2200、确定模块2400 以及调度模块2600。
接收模块2200,用于接收客户端的网络内容资源访问请求;
确定模块2400,用于确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,其中,所述热点资源为访问频次超过预定阈值的网络内容资源;
调度模块2600,用于根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应。
在一个实施例中,所述网络内容资源访问请求中携带有所述网络内容资源的资源定位信息;所述确定模块2400确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,包括:
将所述网络内容资源的资源定位信息与预先保存的热点资源对应的资源定位信息进行匹配;
在匹配成功的情况下,则确定所述网络内容资源访问请求所请求的网络内容资源为热点资源;
在匹配不成功的情况下,则确定所述网络内容资源访问请求所请求的网络内容资源为非热点资源。
在一个实施例中,所述网络内容资源访问请求中携带域名信息,域名调度服务器2000还包括:
判断模块2800,用于在所述确定模块2400确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源之前,判断所述域名信息是否开启了指定调度模式,其中,在开启了指定调度模式的情况下,确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源。
在一个实施例中,域名调度服务器2000还包括:
保存模块2900,用于在所述确定模块2400确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源之前,确定域名信息下的网络内容资源中的热点资源,保存所述热点资源对应的资源定位信息。
在一个实施例中,所述保存模块2800确定域名信息下的网络内容资源中的热点资源,包括:
获取本地日志文件;
根据所述本地日志文件内的域名信息和域名信息对应的资源定位信息,统计预定时间段内所述域名信息下的各个资源定位信息对应的网络内容资源的访问次数;
根据所述访问次数确定该域名信息下的网络内容资源中的热点资源。
在一个实施例中,所述保存模块2800根据所述访问次数确定该域名信息下的网络内容资源中的热点资源,包括:
将所述访问次数与所述预定阈值进行比较;
将所述访问次数大于所述预定阈值的网络内容资源,确定为该域名信息下的网络内容资源中的热点资源。
在一个实施例中,所述保存模块2800根据所述访问次数确定该域名信息下的网络内容资源中的热点资源,包括:
将该域名信息下的各个网络内容资源的访问次数从高到低进行排序;
根据预定比例值,按照从高到低的排序顺序选取预设比例的网络内容资源,作为该域名信息下的网络内容资源中的热点资源。
在一个实施例中,域名调度服务器2000还包括拉取模块,用于:
从域名调度服务器的中心节点拉取配置数据,以获取所述预定比例值,所述配置数据中记录有域名信息及确定域名信息对应的预定比例值。
在一个实施例中,所述调度模块2600还用于:根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应,包括:
在确定所述网络内容资源访问请求所请求的网络内容资源为热点资源的情况下,从指派给所述网络内容资源所属的域名信息的全部边缘节点中随机选择一边缘节点作为响应所述网络内容资源访问请求的边缘节点。
在一个实施例中,所述调度模块2600还用于:
根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应,包括:
在确定所述网络内容资源访问请求所请求的网络内容资源为非热点资源的情况下,对所述网络内容资源访问请求所请求的网络内容资源的资源定位信息进行哈希计算,得到对应的哈希值;
根据哈希值与IP地址的映射关系,确定与该哈希值对应的IP地址作为响应所述网络内容资源访问请求的固定的边缘节点。
在一个实施例中,所述资源定位信息为统一资源定位符;及/或所述选择的边缘节点为所述边缘节点的IP地址。
<电子设备实施例>
根据本公开的再一个实施例,还提供了一种电子设备,该电子设备3000可以是图1所示的服务器1000。图9为本公开实施例的电子设备的结构方框图。
一方面,该电子设备3000可以包括前述的域名调度服务器,用于实施本公开任意实施例的网络内容资源调度方法。
另一方面,如图9所示,电子设备3000可以包括存储器3200和处理器3400,存储器3200用于存储可执行的指令;该指令用于控制处理器3400 执行前述的网络内容资源调度方法。
在本实施例中,电子设备3000可以是服务器、工作站等任意具有存储器5200以及处理器5400的电子产品。
<存储介质实施例>
最后,根据本公开的又一个实施例,还提供一种存储介质,比如计算机可读存储介质,其上存储有计算机程序,计算机程序在被处理器执行时实现根据本公开任意实施例所述的网络内容资源调度方法。
本公开实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括存储介质,其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从存储介质下载到各个计算/ 处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的存储介质中。
用于执行本公开实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开实施例的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开实施例的各个方面。应当理解,流程图和 /或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本公开实施例的范围由所附权利要求来限定。

Claims (14)

1.一种网络内容资源调度方法,所述方法应用于域名调度服务器端,其特征在于,包括:
接收客户端的网络内容资源访问请求;
确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,其中,所述热点资源为访问频次超过预定阈值的网络内容资源;
根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应。
2.根据权利要求1所述的方法,其中,所述网络内容资源访问请求中携带有所述网络内容资源的资源定位信息;
确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,包括:
将所述网络内容资源的资源定位信息与预先保存的热点资源对应的资源定位信息进行匹配;
在匹配成功的情况下,则确定所述网络内容资源访问请求所请求的网络内容资源为热点资源;
在匹配不成功的情况下,则确定所述网络内容资源访问请求所请求的网络内容资源为非热点资源。
3.根据权利要求1所述的方法,其中,所述网络内容资源访问请求中携带域名信息,在确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源之前,所述方法还包括:
判断所述域名信息是否开启了指定调度模式,其中,在开启了指定调度模式的情况下,确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源。
4.根据权利要求1所述的方法,其中,在确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源之前,所述方法还包括:
确定域名信息下的网络内容资源中的热点资源;
保存所述热点资源对应的资源定位信息。
5.根据权利要求4所述的方法,其中,确定域名信息下的网络内容资源中的热点资源,包括:
获取本地日志文件;
根据所述本地日志文件内的域名信息和域名信息对应的资源定位信息,统计预定时间段内所述域名信息下的各个资源定位信息对应的网络内容资源的访问次数;
根据所述访问次数确定该域名信息下的网络内容资源中的热点资源。
6.根据权利要求4或5所述的方法,其中,根据所述访问次数确定该域名信息下的网络内容资源中的热点资源,包括:
将所述访问次数与所述预定阈值进行比较;
将所述访问次数大于所述预定阈值的网络内容资源,确定为该域名信息下的网络内容资源中的热点资源。
7.根据权利要求4或5所述的方法,其中,根据所述访问次数确定该域名信息下的网络内容资源中的热点资源,包括:
将该域名信息下的各个网络内容资源的访问次数从高到低进行排序;
根据预定比例值,按照从高到低的排序顺序选取预设比例的网络内容资源,作为该域名信息下的网络内容资源中的热点资源。
8.根据权利要求7所述的方法,其中,所述方法还包括:
从域名调度服务器的中心节点拉取配置数据,以获取所述预定比例值,所述配置数据中记录有域名信息及确定域名信息对应的预定比例值。
9.根据权利要求2所述的方法,其中,根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应,包括:
在确定所述网络内容资源访问请求所请求的网络内容资源为热点资源的情况下,从指派给所述网络内容资源所属的域名信息的全部边缘节点中随机选择一边缘节点作为响应所述网络内容资源访问请求的边缘节点。
10.根据权利要求2所述的方法,其中,根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应,包括:
在确定所述网络内容资源访问请求所请求的网络内容资源为非热点资源的情况下,对所述网络内容资源访问请求所请求的网络内容资源的资源定位信息进行哈希计算,得到对应的哈希值;
根据哈希值与IP地址的映射关系,确定与该哈希值对应的IP地址作为响应所述网络内容资源访问请求的固定的边缘节点。
11.根据权利要求1或10所述的方法,其中,所述资源定位信息为统一资源定位符;及/或所述选择的边缘节点为所述边缘节点的IP地址。
12.一种域名调度服务器,其特征在于,包括:
接收模块,用于接收客户端的网络内容资源访问请求;
确定模块,用于确定所述网络内容资源访问请求所请求的网络内容资源是否为热点资源,其中,所述热点资源为访问频次超过预定阈值的网络内容资源;
调度模块,用于根据确定的结果,调度所述网络内容资源访问请求到内容分发网络的边缘节点进行响应。
13.一种电子设备,其特征在于,包括:
根据权利要求12所述的域名调度服务器;或者,
处理器和存储器,所述存储器用于存储可执行的指令,所述指令用于控制所述处理器执行根据权利要求1至11中任一项所述的网络内容资源调度方法。
14.一种存储介质,其特征在于,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至11中任一项所述的网络内容资源调度方法。
CN202010365318.5A 2020-04-30 2020-04-30 网络内容资源调度方法、域名调度服务器及电子设备 Pending CN111614736A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010365318.5A CN111614736A (zh) 2020-04-30 2020-04-30 网络内容资源调度方法、域名调度服务器及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010365318.5A CN111614736A (zh) 2020-04-30 2020-04-30 网络内容资源调度方法、域名调度服务器及电子设备

Publications (1)

Publication Number Publication Date
CN111614736A true CN111614736A (zh) 2020-09-01

Family

ID=72205651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010365318.5A Pending CN111614736A (zh) 2020-04-30 2020-04-30 网络内容资源调度方法、域名调度服务器及电子设备

Country Status (1)

Country Link
CN (1) CN111614736A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287259A (zh) * 2020-10-20 2021-01-29 上海七牛信息技术有限公司 一种冷访问回源调度系统及其处理方法
CN112751912A (zh) * 2020-12-15 2021-05-04 北京金山云网络技术有限公司 配置调整方法、装置及电子设备
CN113590539A (zh) * 2021-08-02 2021-11-02 北京金山云网络技术有限公司 文件预分发方法、装置、计算机设备和存储介质
CN114422522A (zh) * 2020-10-13 2022-04-29 贵州白山云科技股份有限公司 一种缓存分发方法、装置、介质及设备
CN114428910A (zh) * 2022-01-28 2022-05-03 腾讯科技(深圳)有限公司 资源推荐方法、装置、电子设备、产品及介质
CN114448990A (zh) * 2021-12-23 2022-05-06 天翼云科技有限公司 一种基于融合cdn的资源调度方法、装置及设备
CN114501073A (zh) * 2022-02-16 2022-05-13 上海哔哩哔哩科技有限公司 直播回源方法及装置
CN114500459A (zh) * 2021-12-27 2022-05-13 天翼云科技有限公司 一种基于dns协议的数据调度方法、装置及电子设备
CN114598897A (zh) * 2022-02-28 2022-06-07 阿里巴巴(中国)有限公司 直播调度方法、设备和可读介质
CN114615276A (zh) * 2022-03-11 2022-06-10 北京字节跳动网络技术有限公司 一种内容分发网络域名调度方法及装置
CN115208955A (zh) * 2021-03-29 2022-10-18 贵州白山云科技股份有限公司 一种资源请求处理的方法、装置、计算机设备及介质
CN115378938A (zh) * 2022-08-12 2022-11-22 北京睿芯高通量科技有限公司 网络资源调度方法、网关设备、边缘和云数据中心服务器
WO2023274267A1 (zh) * 2021-06-30 2023-01-05 华为云计算技术有限公司 内容资源分发方法、内容分发网络、集群及介质
CN115633095A (zh) * 2022-10-14 2023-01-20 湖南快乐阳光互动娱乐传媒有限公司 视频分发节点的调度方法、装置、设备和存储介质
WO2023098702A1 (zh) * 2021-11-30 2023-06-08 中兴通讯股份有限公司 流量均衡方法、电子设备、计算机可读存储介质
CN116800713A (zh) * 2022-03-12 2023-09-22 贵州白山云科技股份有限公司 一种调度方法、装置、介质及设备
CN117834730A (zh) * 2024-03-04 2024-04-05 卓望数码技术(深圳)有限公司 Cdn网络的资源预热方法、装置、设备及存储介质
CN118353910A (zh) * 2024-04-15 2024-07-16 天翼云科技有限公司 一种提高边缘cdn下沉节点缓存命中率的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297472A (zh) * 2012-03-01 2013-09-11 上海盛霄云计算技术有限公司 一种应用于内容分发网络的重定向方法及内容分发节点
US20140259100A1 (en) * 2011-10-14 2014-09-11 Tencent Technology (Shenzhen) Company Limited Network security identification method, security detection server, and client and system therefor
CN107370811A (zh) * 2017-07-14 2017-11-21 北京知道创宇信息技术有限公司 一种cdn网络的资源分发方法、计算设备及可读存储介质
US20180288141A1 (en) * 2014-11-11 2018-10-04 Wangsu Science & Technology Co., Ltd. Http scheduling system and method of content delivery network
CN110213349A (zh) * 2019-05-17 2019-09-06 网宿科技股份有限公司 一种http调度方法及装置
CN110708256A (zh) * 2019-08-26 2020-01-17 中移(杭州)信息技术有限公司 Cdn调度方法、装置、网络设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140259100A1 (en) * 2011-10-14 2014-09-11 Tencent Technology (Shenzhen) Company Limited Network security identification method, security detection server, and client and system therefor
CN103297472A (zh) * 2012-03-01 2013-09-11 上海盛霄云计算技术有限公司 一种应用于内容分发网络的重定向方法及内容分发节点
US20180288141A1 (en) * 2014-11-11 2018-10-04 Wangsu Science & Technology Co., Ltd. Http scheduling system and method of content delivery network
CN107370811A (zh) * 2017-07-14 2017-11-21 北京知道创宇信息技术有限公司 一种cdn网络的资源分发方法、计算设备及可读存储介质
CN110213349A (zh) * 2019-05-17 2019-09-06 网宿科技股份有限公司 一种http调度方法及装置
CN110708256A (zh) * 2019-08-26 2020-01-17 中移(杭州)信息技术有限公司 Cdn调度方法、装置、网络设备及存储介质

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422522B (zh) * 2020-10-13 2024-02-13 贵州白山云科技股份有限公司 一种缓存分发方法、装置、介质及设备
CN114422522A (zh) * 2020-10-13 2022-04-29 贵州白山云科技股份有限公司 一种缓存分发方法、装置、介质及设备
CN112287259B (zh) * 2020-10-20 2024-04-30 上海七牛信息技术有限公司 一种冷访问回源调度系统及其处理方法
CN112287259A (zh) * 2020-10-20 2021-01-29 上海七牛信息技术有限公司 一种冷访问回源调度系统及其处理方法
CN112751912A (zh) * 2020-12-15 2021-05-04 北京金山云网络技术有限公司 配置调整方法、装置及电子设备
CN112751912B (zh) * 2020-12-15 2021-12-03 北京金山云网络技术有限公司 配置调整方法、装置及电子设备
CN115208955B (zh) * 2021-03-29 2024-04-19 贵州白山云科技股份有限公司 一种资源请求处理的方法、装置、计算机设备及介质
CN115208955A (zh) * 2021-03-29 2022-10-18 贵州白山云科技股份有限公司 一种资源请求处理的方法、装置、计算机设备及介质
WO2023274267A1 (zh) * 2021-06-30 2023-01-05 华为云计算技术有限公司 内容资源分发方法、内容分发网络、集群及介质
CN113590539A (zh) * 2021-08-02 2021-11-02 北京金山云网络技术有限公司 文件预分发方法、装置、计算机设备和存储介质
WO2023098702A1 (zh) * 2021-11-30 2023-06-08 中兴通讯股份有限公司 流量均衡方法、电子设备、计算机可读存储介质
CN114448990A (zh) * 2021-12-23 2022-05-06 天翼云科技有限公司 一种基于融合cdn的资源调度方法、装置及设备
CN114448990B (zh) * 2021-12-23 2023-06-23 天翼云科技有限公司 一种基于融合cdn的资源调度方法、装置及设备
CN114500459A (zh) * 2021-12-27 2022-05-13 天翼云科技有限公司 一种基于dns协议的数据调度方法、装置及电子设备
CN114500459B (zh) * 2021-12-27 2023-10-10 天翼云科技有限公司 一种基于dns协议的数据调度方法、装置及电子设备
CN114428910A (zh) * 2022-01-28 2022-05-03 腾讯科技(深圳)有限公司 资源推荐方法、装置、电子设备、产品及介质
CN114501073A (zh) * 2022-02-16 2022-05-13 上海哔哩哔哩科技有限公司 直播回源方法及装置
CN114501073B (zh) * 2022-02-16 2023-10-20 上海哔哩哔哩科技有限公司 直播回源方法及装置
CN114598897A (zh) * 2022-02-28 2022-06-07 阿里巴巴(中国)有限公司 直播调度方法、设备和可读介质
CN114615276B (zh) * 2022-03-11 2024-01-26 抖音视界有限公司 一种内容分发网络域名调度方法及装置
CN114615276A (zh) * 2022-03-11 2022-06-10 北京字节跳动网络技术有限公司 一种内容分发网络域名调度方法及装置
CN116800713A (zh) * 2022-03-12 2023-09-22 贵州白山云科技股份有限公司 一种调度方法、装置、介质及设备
CN115378938A (zh) * 2022-08-12 2022-11-22 北京睿芯高通量科技有限公司 网络资源调度方法、网关设备、边缘和云数据中心服务器
CN115633095A (zh) * 2022-10-14 2023-01-20 湖南快乐阳光互动娱乐传媒有限公司 视频分发节点的调度方法、装置、设备和存储介质
CN115633095B (zh) * 2022-10-14 2025-06-20 湖南快乐阳光互动娱乐传媒有限公司 视频分发节点的调度方法、装置、设备和存储介质
CN117834730A (zh) * 2024-03-04 2024-04-05 卓望数码技术(深圳)有限公司 Cdn网络的资源预热方法、装置、设备及存储介质
CN117834730B (zh) * 2024-03-04 2024-05-14 卓望数码技术(深圳)有限公司 Cdn网络的资源预热方法、装置、设备及存储介质
CN118353910A (zh) * 2024-04-15 2024-07-16 天翼云科技有限公司 一种提高边缘cdn下沉节点缓存命中率的方法及系统

Similar Documents

Publication Publication Date Title
CN111614736A (zh) 网络内容资源调度方法、域名调度服务器及电子设备
CN109684358B (zh) 数据查询的方法和装置
US11025747B1 (en) Content request pattern-based routing system
US12169530B2 (en) Token-based authentication for a proxy web scraping service
WO2018133306A1 (zh) 内容分发网络中的调度方法和设备
CN110830564A (zh) Cdn调度方法、装置、系统及计算机可读存储介质
EP3584669B1 (en) Webpage loading method, webpage loading system, and server
CN111782692B (zh) 一种频率控制方法及装置
CN111327461A (zh) 一种基于cdn系统的域名管理方法、装置、设备及介质
CN112087644A (zh) 拉流请求处理方法、装置、系统、电子设备和存储介质
WO2017185633A1 (zh) Cdn服务器及其缓存数据的方法
US20200320154A1 (en) A webpage loading method, webpage loading system and server
CA3214799A1 (en) Web scraping through use of proxies, and applications thereof
US20230018983A1 (en) Traffic counting for proxy web scraping
CN108460042B (zh) 一种页面显示的方法、相关设备及系统
CN112311826A (zh) 内容分发系统中访问请求的处理方法、装置及系统
CN114422565B (zh) 一种基于连接池的网络连接管理方法以及相关装置
CN107707373B (zh) 一种基于api请求的动态资源访问加速方法
WO2025201106A1 (zh) 一种应用分享方法、系统、设备及存储介质
CN113114611B (zh) 黑名单管理的方法和装置
CN112019451B (zh) 带宽分配方法、调试网元、本地缓存服务器及计算设备
CN113238919A (zh) 一种用户访问数的统计方法、装置及系统
CN119172250A (zh) 集群节点调度方法及装置
WO2018084840A1 (en) Systems and methods for reducing download requirements
CN112131198B (zh) 一种日志分析方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200901