[go: up one dir, main page]

CN115905036A - 一种数据访问系统、方法及相关设备 - Google Patents

一种数据访问系统、方法及相关设备 Download PDF

Info

Publication number
CN115905036A
CN115905036A CN202111160189.7A CN202111160189A CN115905036A CN 115905036 A CN115905036 A CN 115905036A CN 202111160189 A CN202111160189 A CN 202111160189A CN 115905036 A CN115905036 A CN 115905036A
Authority
CN
China
Prior art keywords
node
address
chip
port
destination address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111160189.7A
Other languages
English (en)
Inventor
陈天翔
黄江乐
胡天驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111160189.7A priority Critical patent/CN115905036A/zh
Priority to PCT/CN2022/118756 priority patent/WO2023051248A1/zh
Publication of CN115905036A publication Critical patent/CN115905036A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/06Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10Address translation
    • G06F12/1081Address translation for peripheral access to main memory, e.g. direct memory access [DMA]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/42Bus transfer protocol, e.g. handshake; Synchronisation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Transfer Systems (AREA)
  • Small-Scale Networks (AREA)

Abstract

本申请提供了一种数据访问系统、方法及相关设备,该系统包括第一节点和第二节点,第一节点与第二节点通过线缆连接,第一节点用于生成数据访问请求,其中,数据访问请求用于请求第二节点的内存中的数据,第一节点用于通过线缆发送数据访问请求至第二节点,第二节点用于将数据访问请求中的第一目的地址转换为第一目的地址对应的本地物理地址,并根据本地物理地址访问第二节点的内存中的数据,该系统无需等待网卡队列单元的准备时间,使得第一节点访问第二节点内存的效率高、时延低,提高第一节点数据处理的效率。

Description

一种数据访问系统、方法及相关设备
技术领域
本申请涉及存储领域,尤其涉及一种数据访问系统、方法及相关设备。
背景技术
随着科学技术的不断发展,信息爆炸时代产生的海量数据已经渗透到当今每一个行业和业务职能领域,大数据(big data)和人工智能(artificial intelligence,AI)领域也随之得到了发展,成为两个非常热门的研究方向。
计算节点在执行数据处理时(例如:大数据或者AI任务),常需要较大的内存容量来存储数据,通常情况下,可将数据分布式地放在多台存储节点的内存中,计算节点可通过远程直接内存访问(remote direct memory access,RDMA)协议读取存储节点内存中的数据,实现内存容量的扩展。
但是,RDMA协议下,计算节点与存储节点之间的通信通过网卡实现,二者的网卡之间通过网卡队列进行数据传输,使得计算节点每次读取数据都需要将数据读取请求放入网卡队列,导致数据读取过程消耗大量时间在队列单元的准备上,甚至一些情况下,队列单元的准备时间相比数据传输的时间更长,导致计算节点数据访问效率低,网络延迟高,影响大数据或者AI任务的处理效率。
发明内容
本申请提供了一种数据访问系统、方法及相关设备,用于解决计算节点访问存储节点内存时的访问效率低、网络延迟高的问题。
第一方面,提供了一种数据访问系统,该数据访问系统包括第一节点和第二节点,第一节点与第二节点通过线缆连接;第一节点用于生成数据访问请求,其中,数据访问请求用于请求第二节点的内存中的数据;第一节点用于通过线缆发送数据访问请求至第二节点;第二节点用于将数据访问请求中的第一目的地址转换为第一目的地址对应的本地物理地址,并根据本地物理地址访问第二节点的内存中的数据。
实施第一方面描述的系统,第一节点和第二节点通过线缆连接,二者之间的通信交互无需通过网卡或路由设备,使得第一节点访问第二节点内存时无需额外等待网卡队列单元的准备时间,从而提高第一节点访问第二节点内存的效率,降低访问时延。
在一可能的实现方式中,第一节点包括计算芯片和互联芯片,其中,互联芯片的第一高速互联端口与第二节点中的处理器的第二高速互联端口通过线缆连接,计算芯片通过端口与互联芯片相连,计算芯片用于生成数据访问请求,并将数据访问请求发送至互联芯片,互联芯片用于通过线缆发送数据访问请求至第二节点。
计算芯片可以由至少一个通用处理器构成,例如CPU、NPU或者CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(Application-Specific Integrated Circuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)、现场可编程逻辑门阵列(Field-Programmable Gate Array,FPGA)、通用阵列逻辑(Generic Array Logic,GAL)或其任意组合。其中,第一节点内的计算芯片的数量可以是一个或者多个,本申请不作具体限定。
互联芯片可以是ASIC、PLD或其组合,上述PLD可以是CPLD、FPGA、GAL或其任意组合,本申请不作具体限定。其中,第一节点中互联芯片的数量可以是多个,本申请不作具体限定。互联芯片上设置有高速互联端口,互联芯片可通过高速互联端口与第二节点进行数据通信,互联芯片的第一高速互联端口与第二节点上的第二高速互联端口通过线缆连接,需要说明的,每个互联芯片上的第一高速互联端口的数量可以是一个或者多个,每个第一高速互联端口与第二节点上的第二高速互联端口呈一一对应关系。
高速互联端口可以是高速串行总线端口,比如SERDES总线端口,线缆可以是电缆、光纤、双绞线等可以传输数据的线缆,本申请不对线缆进行具体限定。其中,第一节点上高速互联端口的数量可以是一个或者多个,且第一节点上的第一高速互联端口与第二节点上的第二高速互联端口呈一一对应的关系。
计算芯片的端口可以是高速串行总线端口,比如SERDES总线端口,计算芯片可以通过总线与互联芯片相连,总线可以是外设部件互联标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等,计算芯片、互联芯片、计算芯片的端口和总线可以在加工时统一印制在电路板上。具体实现中,计算芯片的端口的数量可以是一个或者多个,本申请不对此进行限定。
实施上述实现方式,在第一节点中部署互联芯片,可以使得第一节点可以与更多的第二节点进行通信,互联芯片的数量越多,第一节点中可部署的高速互联端口的数量越多,使得与第一节点相连的第二节点数量越多,从而扩大第一节点的内存扩展能力,使得第一节点可以适用于更多的应用场景。
在另一可能的实现方式中,第一节点的计算芯片、互联芯片和第二节点之间的数据通信可通过地址译码器实现寻址功能。
可选地,计算芯片中包括第一地址译码器,计算芯片具体用于:生成数据访问请求,根据数据访问请求中的第一目的地址和第一地址译码器确定第一端口,通过第一端口向互联芯片发送数据访问请求,其中,第一地址译码器用于记录目的地址与计算芯片的端口之间的对应关系。
可选地,计算芯片中部署有第一地址译码器,计算芯片具体用于生成数据访问请求,根据数据访问请求中的第一目的地址和第一地址译码器确定第一端口,通过第一端口向互联芯片发送数据访问请求,其中,第一地址译码器可记录目的地址与计算芯片的端口之间的对应关系。
可选地,互联芯片中部署有第二地址译码器,互联芯片具体用于根据第一目的地址和第二地址译码器确定第一高速互联端口,通过第一高速互联端口向第二节点发送数据访问请求,其中,第二地址译码器用于记录目的地址与高速互联端口之间的对应关系。
可选地,第二节点中部署有第三地址译码器,第二节点具体用于根据第一目的地址和第三地址译码器,确定第一目的地址对应的本地物理地址,其中,第三地址译码器用于记录目的地址与本地物理地址之间的对应关系。其中,第三地址译码器记录的对应关系可以是:本地物理地址=目的地址-基地址,其中,基地址指的是一个地址段的起始地址,又称为首地址或者段地址,属于同一个地址段的目的地址的基地址相同。
可选地,该数据访问系统还可包括配置节点,配置节点可以对第一地址译码器、第二地址译码器以及第三地址译码器进行配置。具体地,配置节点用于向第二节点获取第二节点的内存的至少一个本地物理地址,配置节点用于根据至少一个本地物理地址确定对应的至少一个目的地址,对第三地址译码器进行配置;配置节点还用于根据至少一个目的地址,结合第二节点与互联芯片之间的高速互联端口,对第二地址译码器进行配置;配置节点还用于根据至少一个目的地址,结合互联芯片与计算芯片之间的芯片端口,对第一地址译码器进行配置。
具体实现中,配置节点向第二节点获取第二节点的内存的至少一个本地物理地址时,可以根据第二节点内存的大小,结合业务需求,确定第二节点划分出来供第一节点使用的拓展内存的本地物理地址。可选地,供第一节点使用的拓展内存可以是第二节点的部分内存,该部分拓展内存可以通过内存隔离技术进行处理,使得第二节点无法访问该部分拓展内存,提高拓展内存中存储的数据的安全性。
实施上述实现方式,通过配置节点配置的第一、第二和第三地址译码器,可以确保计算芯片生成的数据访问请求通过地址译码器路由寻址,将数据访问请求传输至目的地址对应的第二节点的CPU进行内存读写,从而免于网卡队列准备的等待时间,提高第一节点对拓展内存读写的效率,时延甚至能达到微秒级别(以太网时延可以达到毫秒级),带宽可以达到400GB,相比带宽只有100GB的RDMA网卡,拥有更高的带宽和时延。
在另一可能的实现方式中,在将第一目的地址与第一地址译码器和第二地址译码器进行匹配时,可以将完整或部分第一目的地址与译码器中的地址进行匹配,从而提高匹配效率,进而提高数据访问的效率。
可选地,可根据数据访问请求中第一目的地址的基地址和长度确定第一端口。具体地,计算芯片具体用于将第一地址译码器中记录的目的地址的基地址和长度与第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一端口。同理,互联芯片具体用于将第二地址译码器中记录的目的地址的基地址和长度与第二目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一高速互联端口。这里不再展开赘述。
可选地,可根据第一目的地址的高位地址确定第一端口。计算芯片具体用于将第一地址译码器中记录的目的地址的高位地址与第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的第一端口,其中,高位地址的位数是根据第二节点的内存大小确定的。同理,互联芯片具体用于将第二地址译码器中记录的目的地址的高位地址与第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的第一高速互联端口。这里不再展开赘述。
举例来说,假设目的地址总长度为64bit,若一个高速互联端口对应的第二节点120的内存为1T,那么这1T内存的目的地址中,后30bit的地址不同,那么高位地址的位数可以是64-30=34bit,简单来说,位于同一个内存的目的地址前34bit是相同的,后面30bit不同,因此,根据高速互联端口所连接的第二节点120的拓展内存大小,可以确定高位地址的位数。
应理解,由于第二节点提供的拓展内存对应的物理地址数量为多个,因此第一、第二译码器中记录的部分目的地址对应的端口可能会是同一个,对应相同端口的目的地址位于同一个内存中,这些对应相同端口的目的地址,其基地址和长度是相同的,或者,其高位地址是相同的,因此可以通过匹配基地址和长度,或者匹配高位地址来确定第一目的地址对应的端口。
实施上述实现方式,将部分第一目的地址与译码器中的地址进行匹配,可以提高匹配效率,提高第一端口和第一高速互联端口的确定效率,进而提高数据访问的效率。
需要说明的,若数据访问请求是向第二节点读取内存中的数据,第二节点对数据访问请求进行处理后,可以根据数据访问请求中的源地址,结合第一、第二和第三地址译码器,将读取到的数据原路返回至第一节点中,这里不在重复再开赘述。
需要说明的,在一些实施例中,第一节点也可以不包括互联芯片,计算芯片上的高速互联端口与第二节点上的高速互联端口通过线缆连接,计算芯片也可通过上述地址译码器实现数据访问请求的路由寻址。具体地,计算芯片可部署有第二地址译码器,第二节点部署有第三地址译码器230,计算芯片生成的数据访问请求可根据第二地址译码器中记录的高速互联端口和目的地址之间的对应关系,确定第一目的地址对应的第一高速互联端口,然后通过第一高速互联端口向第二节点发送该数据访问请求,这里不展开赘述。
第二方面,提供了一种数据访问方法,该方法应用于数据访问系统,该数据访问系统包括第一节点和第二节点,第一节点与第二节点通过线缆连接,该方法包括以下步骤:第一节点生成数据访问请求,其中,数据访问请求用于请求第二节点的内存中的数据,第一节点通过线缆发送数据访问请求至第二节点,第二节点将数据访问请求中的第一目的地址转换为第一目的地址对应的本地物理地址,并根据本地物理地址访问第二节点的内存中的数据。
实施第二方面描述的方法,第一节点和第二节点通过线缆连接,二者之间的通信交互无需通过网卡或路由设备,使得第一节点访问第二节点内存时无需额外等待网卡队列单元的准备时间,从而提高第一节点访问第二节点内存的效率,降低访问时延。
在一可能的实现方式中,第一节点包括计算芯片和互联芯片,其中,互联芯片的第一高速互联端口与第二节点中的处理器的第二高速互联端口通过线缆连接,计算芯片可以生成数据访问请求,并将数据访问请求发送至互联芯片,互联芯片通过线缆发送数据访问请求至第二节点。
在一可能的实现方式中,计算芯片通过端口与互联芯片相连,计算芯片中包括第一地址译码器,计算芯片可生成数据访问请求,根据数据访问请求中的第一目的地址和第一地址译码器确定第一端口,通过第一端口向互联芯片发送数据访问请求,其中,第一地址译码器用于记录目的地址与计算芯片的端口之间的对应关系。
在一可能的实现方式中,互联芯片中包括第二地址译码器,互联芯片根据第一目的地址和第二地址译码器确定第一高速互联端口,通过第一高速互联端口向第二节点发送数据访问请求,其中,第二地址译码器用于记录目的地址与高速互联端口之间的对应关系。
在一可能的实现方式中,第二节点包括第三地址译码器,第二节点根据第一目的地址和第三地址译码器,确定第一目的地址对应的本地物理地址,其中,第三地址译码器用于记录目的地址和本地物理地址之间的对应关系。
在一可能的实现方式中,数据访问系统还包括配置节点,上述方法还包括以下步骤:配置节点向第二节点获取第二节点的内存的至少一个本地物理地址,配置节点根据至少一个本地物理地址确定对应的至少一个目的地址,对第三地址译码器进行配置,配置节点根据至少一个目的地址,结合第二节点与互联芯片之间的高速互联端口,对第二地址译码器进行配置,配置节点据至少一个目的地址,结合互联芯片与计算芯片之间的芯片端口,对第一地址译码器进行配置。
在一可能的实现方式中,计算芯片将第一地址译码器中记录的目的地址的基地址和长度与第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一端口,互联芯片将第二地址译码器中记录的目的地址的基地址和长度与第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一高速互联端口。
在一可能的实现方式中,计算芯片将第一地址译码器中记录的目的地址的高位地址与第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的第一端口,其中,高位地址的位数是根据第二节点的内存大小确定的,互联芯片将第二地址译码器中记录的目的地址的基地址和长度与第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一高速互联端口。
在一可能的实现方式中,第一高速互联端口和第二高速互联端口为高速串行总线端口,第一端口为高速串行总线端口。
第三方面,提供了一种计算节点,该计算节点可以是第一方面和第二方面描述的第一节点,该计算节点应用于数据访问系统,数据访问系统还包括存储节点,计算节点包括:计算芯片和互联芯片,其中,计算芯片的通过高速互联端口与互联芯片连接,互联芯片通过高速互联端口和线缆与其他节点连接;计算芯片用于生成数据访问请求,并将数据访问请求发送至互联芯片,其中,数据访问请求包括第一目的地址,第一目的地址指示存储节点中的内存的位置;互联芯片用于根据第一目的地址将数据访问请求发送至存储节点。
第四方面,提供了一种存储节点,该存储节点可以是第一方面和第二方面描述的第二节点,该存储节点应用于数据访问系统,数据访问系统还包括计算节点,存储节点包括处理器和内存,存储节点通过处理器的高速互联端口和线缆与计算节点连接;处理器用于通过高速互联端口接收计算节点发送的数据访问请求,将数据访问请求中的携带的第一目的地址转换为第一目的地址对应的存储节点的本地物理地址,并根据本地物理地址访问内存中的数据。
第五方面,提供了一种计算设备,该计算设备包括处理器和存储器,存储器存储有代码,处理器包括用于执行第一方面或第一方面任一种可能实现方式中第一节点或第二节点实现的各个模块的功能。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
附图说明
图1是本申请提供的一种数据访问系统的结构示意图;
图2是本申请提供的一种应用场景下第一节点和第二节点的部署示意图;
图3是本申请提供的另一种数据访问系统的结构示意图;
图4是本申请提供的一种第一地址译码器的示例图;
图5是本申请提供的一种数据访问方法的步骤流程示意图;
图6是本申请提供的一种计算节点的结构示意图;
图7是本申请提供的一种存储节点的结构示意图;
图8是本申请提供的一种计算设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先,对本申请涉及应用场景进行说明。
计算节点在执行一些大数据或者AI任务时,需要较大的内存容量来存储数据,且会小粒度稀疏地访问数据,比如推荐系统架构中,需要10TB~20TB量级的内存来存储数据,而访问粒度可能只有64byte或者128byte,且每次访问的位置随机性高,导致大数据或者AI任务的数据访问效率低,网络延迟高,影响大数据或者AI任务的处理效率。
通常情况下,为了提高内存容量,可将数据分布式地放在多台存储节点的内存中,计算节点可通过远程直接内存访问(remote direct memory access,RDMA)协议读取存储节点内存中的数据,实现内存容量的扩展。
但是,RDMA协议下,计算节点与存储节点之间的通信通过网卡实现,二者的网卡之间通过网卡队列进行数据传输,使得计算节点每次读取数据都需要将数据读取请求放入网卡队列,导致数据读取过程消耗大量时间在队列单元的准备上,甚至一些情况下,队列单元的准备时间相比数据传输的时间更长,导致计算节点数据访问效率低,网络延迟高,影响数据处理效率。
为了提高访问内存的速度,可以在计算设备的内存总线上拓展PCI内存设备,但是PCIe设备的拓展数量有限,QPI、UPI等总线的拓展能力更弱,通常最大也就拓展1T内存容量,使得拓展后的内存仍然无法达到大数据或者AI任务所需求的量级。
综上可知,计算节点在执行数据处理任务时,需要较大的内存容量来存储数据,但是当前常用的RDMA方法虽然可以拓展内存至需求的量级,但是会使得计算节点数据访问效率低,使用PCI设备拓展内存虽然可以提高访问效率,但是拓展内存的能力很弱,拓展后的内存仍然无法达到需求,导致大数据或者AI任务的数据访问效率低,网络延迟高,影响大数据或者AI任务的处理效率。
图1是本申请提供的一种数据访问系统的结构示意图。该数据访问系统包括第一节点110和第二节点120,其中,第一节点110和第二节点120之间通过线缆140进行连接,具体的,第一节点110的高速互联端口130与第二节点120中的处理器的高速互联端口130通过线缆连接。应理解,图1中的第二节点120的数量用于举例说明,本申请不对第二节点120的数量进行限定。为了便于区分,下文将统一称第一节点110中的高速互联端口130为第一高速互联端口,第二节点120中的高速互联端口130为第二高速互联端口。
第一节点110和第二节点120可以是物理服务器,比如X86服务器、ARM服务器等;也可以是基于通用的物理服务器结合网络功能虚拟化(network functionsvirtualization,NFV)技术实现的虚拟机(virtual machine,VM),虚拟机指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统,比如云计算中的虚拟设备,本申请不作具体限定;第一节点110和第二节点120还可以是多个服务器组成的服务器集群,该服务器可以是前述内容中的物理服务器或者虚拟机。
高速互联端口130可以是高速串行总线端口,比如SERDES总线端口,线缆140可以是电缆、光纤、双绞线等可以传输数据的线缆,本申请不对线缆140进行具体限定。其中,第一节点110上高速互联端口130的数量可以是一个或者多个,且第一节点110上的第一高速互联端口与第二节点上的第二高速互联端口呈一一对应的关系,图1以3个端口为例进行举例说明,本申请不对此进行限定。
需要说明的,第一节点110的第一高速互联端口与第二节点120的处理器的第二高速互联端口通过线缆相连,第二节点120的处理器可以是一个或者多个,在第二节点120的处理器数量为多个时,第一节点110可以通过不同的高速互联端口与第二节点的不同处理器相连,比如第二节点4包括处理器4、处理器5和处理器6时,第一节点110的高速互联端口1可以与处理器4相连,第一节点110的高速互联端口2可以与处理器5相连,通过不同的高速互联端口读取不同处理器对应的内存中的数据。应理解,第二节点120可以保留至少一个处理器不与第一节点110进行连接,从而确保第二节点120将一些内存提供给第一节点后,不会影响第二节点120处理其他业务。
第一节点110用于处理数据任务,比如前述内容中的大数据或者AI任务。第二节点120用于存储数据,第二节点120可以将内存划分一部分作为第一节点110的拓展内存,供第一节点110使用,第一节点110可通过图1所示的数据访问系统,从第二节点120划分出的拓展内存中读取数据,进行大数据或者AI任务的处理,从而实现第一节点110的内存拓展。
在一应用场景下,如图2所示,第一节点110和第二节点120可以部署于同一个机柜中,第一节点110的第一高速互联端口与第二节点120的第二高速互联端口直连。整个机柜内各个服务器之间不需要经过交换机或者网卡即可进行通信,实现第一节点110从第二节点120的内存中读取数据的目的。
其中,第一节点110可以是AI服务器,第二节点120可以是2P服务器,2P服务器指的是有两个CPU的服务器,每个2P服务器拥有16个通道(channel),每个channel可以挂载2个64GB的内存条,也就是说,每个2P服务器可以为第一节点110拓展64GB×2×16=2TB内存,因此10台左右的2P服务器就可以满足10TB~20TB的内存拓展需求。并且,由于AI服务器和2P服务器在机柜中的高度,一个AI服务器与8~10台2P服务器恰好可放入一个机柜内部,使得一个机柜组成的机架式服务器可以拥有10TB~20TB的内存,符合大部分应用场景下AI服务器进行数据处理时的内存需求。应理解,图2用于举例说明,本申请不对此进行限定。
具体实现中,第一节点110可以生成数据访问请求,其中,该数据访问请求用于请求第二节点内存中的数据,第一节点110可以通过线缆140发送该数据访问请求至第二节点120,第二节点可以将数据访问请求中的第一目的地址转换为目的地址对应的本地物理地址,并根据本地物理地址访问该第二节点的内存中的数据。
示例性地,如图3所示,图3是本申请提供的另一种数据访问系统的结构示意图,其中,第一节点110可包括计算芯片111、互联芯片112、计算芯片的端口113和总线114,其中,计算芯片111的计算芯片的端口113与互联芯片112通过总线114进行通信,图3为了使得图中连接关系更清楚,没有将互联芯片112上的端口绘出,但是具体实现中,互联芯片112上也可拥有对应的端口,应理解,图1仅为一种示例性的划分方式,各个模块单元之间可以合并或者拆分为更多或更少的模块单元,本申请不作具体限定。
计算芯片的端口113可以是高速串行总线端口,比如SERDES总线端口,总线114可以是外设部件互联标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,EISA)总线等,计算芯片111、互联芯片112、计算芯片的端口113和总线114可以在加工时统一印制在电路板上。具体实现中,计算芯片的端口113的数量可以是一个或者多个,图3以两个端口(端口0和端口1)为例进行举例说明,本申请不对此进行限定。
计算芯片111可以由至少一个通用处理器构成,例如CPU、NPU或者CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(Application-Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)、现场可编程逻辑门阵列(Field-Programmable Gate Array,FPGA)、通用阵列逻辑(Generic Array Logic,GAL)或其任意组合。计算芯片111执行各种类型的数字存储指令,它能使第一节点110提供较宽的多种服务。其中,第一节点110中计算芯片111的数量可以是一个或者多个,图3以一个计算芯片111为例进行说明,本申请不作具体限定。
互联芯片112可以是ASIC、PLD或其组合,上述PLD可以是CPLD、FPGA、GAL或其任意组合,本申请不作具体限定。其中,第一节点110中互联芯片112的数量可以是多个,图3以2个互联芯片112为例(互联芯片1和互联芯片2)进行说明,本申请不作具体限定。
互联芯片112上设置有高速互联端口130,互联芯片112可通过高速互联端口130与第二节点120进行数据通信,互联芯片112的第一高速互联端口与第二节点120上的第二高速互联端口通过线缆140连接,其中,高速互联端口130和线缆140的描述可参考前述图1和图2实施例,这里不重复赘述。需要说明的,每个互联芯片112上的第一高速互联端口的数量可以是一个或者多个,每个第一高速互联端口与第二节点上的第二高速互联端口呈一一对应关系,图3以互联芯片112上的数量为2个为例进行举例说明,即互联芯片1包括高速互联端口2和高速互联端口3,互联芯片2包括高速互联端口4和高速互联端口5,本申请不对此进行具体限定。
第二节点120的描述可以参考图1和图2实施例,这里不重复赘述,其中,第二节点120的数量可以是一个或者多个,图3以4个第二节点(第二节点1~4)为例进行举例说明,本申请不作具体限定。
在本申请实施例中,计算芯片111用于生成上述数据访问请求,并将数据访问请求发送给互联芯片112,具体实现中,计算芯片111可通过上述计算芯片的端口113向互联芯片112发送数据访问请求。互联芯片112用于通过上述线缆140发送该数据访问请求至第二节点120,具体实现中,互联芯片112通过第一高速互联端口130向第二节点120的第二高速互联端口发送上述数据访问请求。可以理解的,在第一节点110中部署互联芯片112,可以使得第一节点110可以与更多的第二节点120进行通信,互联芯片112的数量越多,第一节点110中可部署的高速互联端口130的数量越多,使得与第一节点110相连的第二节点120数量越多,从而扩大第一节点110的内存扩展能力,使得第一节点110可以适用于更多的应用场景。
在本申请实施例中,计算芯片111、互联芯片112和第二节点120之间的数据通信可通过地址译码器实现寻址功能。下面结合图3对计算芯片111、互联芯片112和第二节点120中的地址译码器进行详细说明。
在一实施例中,如图3所示,计算芯片111中部署有第一地址译码器210,计算芯片111具体用于生成数据访问请求,根据数据访问请求中的第一目的地址和第一地址译码器210确定第一端口,通过第一端口向互联芯片112发送数据访问请求,其中,第一地址译码器210可记录目的地址与计算芯片的端口之间的对应关系。
在一实施例中,如图3所示,互联芯片112中部署有第二地址译码器220,互联芯片112具体用于根据第一目的地址和第二地址译码器220确定第一高速互联端口,通过第一高速互联端口向第二节点120发送数据访问请求,其中,第二地址译码器220用于记录目的地址与高速互联端口之间的对应关系。
在一实施例中,如图3所示,第二节点120中部署有第三地址译码器230,第二节点120具体用于根据第一目的地址和第三地址译码器,确定第一目的地址对应的本地物理地址,其中,第三地址译码器230用于记录目的地址与本地物理地址之间的对应关系。
在一实施例中,如图3所示,该数据访问系统还可包括配置节点150,配置节点150可以对第一地址译码器210、第二地址译码器220以及第三地址译码器230进行配置。具体地,配置节点150用于向第二节点120获取第二节点的内存的至少一个本地物理地址,配置节点用于根据至少一个本地物理地址确定对应的至少一个目的地址,对第三地址译码器进行配置;配置节点还用于根据至少一个目的地址,结合第二节点与互联芯片之间的高速互联端口,对第二地址译码器进行配置;配置节点还用于根据至少一个目的地址,结合互联芯片与计算芯片之间的芯片端口,对第一地址译码器进行配置。
可以理解的,通过配置节点150配置的第一、第二和第三地址译码器,可以确保计算芯片生成的数据访问请求通过地址译码器路由寻址,将数据访问请求传输至目的地址对应的第二节点的CPU进行内存读写,从而免于网卡队列准备的等待时间,提高第一节点110对拓展内存读写的效率,时延甚至能达到微秒级别(以太网时延可以达到毫秒级),带宽可以达到400GB,相比带宽只有100GB的RDMA网卡,拥有更高的带宽和时延。
在一实施例中,配置节点150向第二节点120获取第二节点的内存的至少一个本地物理地址时,可以根据第二节点120内存的大小,结合业务需求,确定第二节点120划分出来供第一节点110使用的拓展内存的本地物理地址。
可选地,供第一节点110使用的拓展内存可以是第二节点120的部分内存,该部分拓展内存可以通过内存隔离技术进行处理,使得第二节点120无法访问该部分拓展内存,提高拓展内存中存储的数据的安全性。
可选地,第三地址译码器230记录的对应关系可以是:本地物理地址=目的地址-基地址,其中,基地址指的是一个地址段的起始地址,又称为首地址或者段地址,属于同一个地址段的目的地址的基地址相同。
在一实施例中,在将第一目的地址与第一地址译码器210和第二地址译码器220进行匹配时,可以将完整或部分第一目的地址与译码器中的地址进行匹配,从而提高匹配效率,进而提高数据访问的效率。
可选地,可根据数据访问请求中第一目的地址的基地址和长度确定第一端口。具体地,计算芯片111具体用于将第一地址译码器210中记录的目的地址的基地址和长度与第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一端口。同理,互联芯片112具体用于将第二地址译码器220中记录的目的地址的基地址和长度与第二目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一高速互联端口。这里不再展开赘述。
可选地,可根据第一目的地址的高位地址确定第一端口。计算芯片111具体用于将第一地址译码器中记录的目的地址的高位地址与第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的第一端口,其中,高位地址的位数是根据第二节点的内存大小确定的。同理,互联芯片112具体用于将第二地址译码器中记录的目的地址的高位地址与第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的第一高速互联端口。这里不再展开赘述。
举例来说,假设目的地址总长度为64bit,若一个高速互联端口对应的第二节点120的内存为1T,那么这1T内存的目的地址中,后30bit的地址不同,那么高位地址的位数可以是64-30=34bit,简单来说,位于同一个内存的目的地址前34bit是相同的,后面30bit不同,因此,根据高速互联端口所连接的第二节点120的拓展内存大小,可以确定高位地址的位数。
应理解,由于第二节点120提供的拓展内存对应的物理地址数量为多个,因此第一、第二译码器中记录的部分目的地址对应的端口可能会是同一个,对应相同端口的目的地址位于同一个内存中,这些对应相同端口的目的地址,其基地址和长度是相同的,或者,其高位地址是相同的,因此可以通过匹配基地址和长度,或者匹配高位地址来确定第一目的地址对应的端口。
仍以图3所示的数据访问系统为例,假设第二节点4提供的拓展内存对应的物理地址数量为4个,第三地址译码器记录了目的地址1~10,那么第二地址译码器可记录目的地址1~10与高速互联端口5对应,如果第一目的地址是目的地址1~10中的任一个地址,其对应的高速互联端口都是高速互联端口5,这些对应相同高速互联端口的目的地址是同为第二节点4拓展内存的地址,因此这些目的地址的基地址和长度相同,或者高位地址相同。在确定第一目的地址对应的高速互联端口时,可以将第一目的地址的部分地址与第二地址译码器中目的地址的部分地址进行匹配,从而提高匹配效率。
举例来说,图4是一种地址译码器210的示例图,如图4所示,第一地址译码器210可包括多个目的地址,基地址和长度相同的目的地址对应的计算芯片111的端口相同,假设第一目的地址的基地址和长度如图4所示,可以将第一目的地址的基地址和长度与第一地址译码器210中每个目的地址的基地址和长度进行匹配,从而确定匹配后的目的地址对应的第一端口为端口2,数据访问请求可以通过端口2传输至互联芯片112。同理,根据第二地址译码器220记录的目的地址的基地址和长度确定传输该数据访问请求的高速互联端口,这里不重复展开说明。应理解,图4是基于基地址和长度对第一目的地址进行匹配,上述基于高位地址的匹配方式与其类似,这里不再举例说明。
需要说明的,图1所示的数据访问系统也可通过上述地址译码器实现数据访问请求的路由寻址。具体地,第一节点110可部署有第二地址译码器220,第二节点120部署有第三地址译码器230,第一节点110生成的数据访问请求可根据第二地址译码器220中记录的高速互联端口和目的地址之间的对应关系,确定第一目的地址对应的第一高速互联端口,然后通过第一高速互联端口向第二节点120发送该数据访问请求,这里不展开赘述。应理解,图1所示的数据访问系统中,高速互联端口可以部署于第一节点110中的处理器上,简单来说,即第一节点110的处理器与第二节点120的处理器通过线缆直连。
需要说明的,若数据访问请求是向第二节点120读取内存中的数据,第二节点120对数据访问请求进行处理后,可以根据数据访问请求中的源地址,结合第一、第二和第三地址译码器,将读取到的数据原路返回至第一节点110中,这里不在重复再开赘述。
综上可知,本申请提供的数据访问系统,第一节点的高速互联端口与第二节点的高速互联端口通过线缆进行连接,第一节点可结合地址译码器实现寻址功能,从而将数据访问请求发送至第一目的地址对应的第二节点内存,实现第一节点的内存拓展,该方式不需要额外部署网卡或者路由器,无需等待网卡队列单元的准备时间,使得第一节点访问第二节点内存的效率高、时延低,同时,通过增加高速互联端口可以增加第二节点的数量,可以提高第一节点的拓展内存容量,使得第一节点可扩展的内存容量很大,能够处理更多应用场景下的业务。
下面结合图5,对本申请提供的数据访问方法进行解释说明。图5是本申请提供的一种数据访问方法,该方法可应用于图1~图4所示的数据访问系统中,该方法可包括以下步骤:
步骤S510:第一节点生成数据访问请求,其中,该数据访问请求用于请求第二节点的内存中的数据。第一节点的描述可参考图1~图4实施例,这里不重复赘述。
步骤S520:第一节点通过线缆发送数据访问请求至第二节点。应理解,第一节点的第一高速互联端口与第二节点的第二高速互联端口通过线缆连接,其中,高速互联端口和线缆的描述可参考图1~图4实施例,这里不重复赘述。
在一实施例中,第一节点可包括第二地址译码器,该第二地址译码器用于记录目的地址和高速互联端口之间的对应关系,第一节点可以根据数据访问请求中的第一目的地址和第二地址译码器,确定第一目的地址对应的第一高速互联端口,然后将该数据访问请求通过第一高速互联端口发送给第二节点。其中,第二地址译码器的具体描述可参考图1~图4实施例,这里不重复赘述。
步骤S530:第二节点将数据访问请求中的第一目的地址转换为第一目的地址对应的本地物理地址,并根据本地物理地址访问第二节点的内存中的数据。
在一实施例中,第二节点可包括第三地址译码器,该第三地址译码器用于记录目的地址和本地物理地址之间的对应关系,第二节点可以根据数据访问请求中的第一目的地址和第三译码器,确定第一目的地址对应的本地物理地址,然后根据本地物理地址访问第二节点的内存中的数据。其中,第三地址译码器的具体描述可参考图1~图4实施例,这里不重复赘述。
在一实施例中,第一节点可包括计算芯片和互联芯片,计算芯片通过端口与互联芯片连接,连接的具体方式可以是前述内容中的总线,其中,第一节点、第二节点、计算芯片、互联芯片、端口以及总线的描述可参考图1~图4实施例,这里不重复赘述。
具体实现中,计算芯片可执行步骤S510生成上述数据访问请求,并将数据访问请求发送给互联芯片,计算芯片可通过计算芯片的端口向互联芯片发送数据访问请求。互联芯片通过第一高速互联端口发送该数据访问请求至第二节点。
可以理解的,在第一节点中部署互联芯片,可以使得第一节点可以与更多的第二节点进行通信,互联芯片的数量越多,第一节点中可部署的高速互联端口的数量越多,使得与第一节点相连的第二节点数量越多,从而扩大第一节点的内存扩展能力,使得第一节点可以适用于更多的应用场景。
在一实施例中,计算芯片中部署有第一地址译码器,计算芯片生成数据访问请求后,根据数据访问请求中的第一目的地址和第一地址译码器确定第一端口,通过第一端口向互联芯片发送数据访问请求,其中,第一地址译码器可记录目的地址与计算芯片的端口之间的对应关系。
在一实施例中,互联芯片中部署有第二地址译码器,互联芯片可根据第一目的地址和第二地址译码器确定第一高速互联端口,通过第一高速互联端口向第二节点发送数据访问请求,其中,第二地址译码器用于记录目的地址与高速互联端口之间的对应关系。
在一实施例中,该数据访问系统还可包括配置节点,配置节点可以在第一节点生成数据访问请求之前,对第一地址译码器、第二地址译码器以及第三地址译码器进行配置。具体地,配置节点向第二节点获取第二节点的内存的至少一个本地物理地址,根据至少一个本地物理地址确定对应的至少一个目的地址,对第三地址译码器进行配置;根据至少一个目的地址,结合第二节点与互联芯片之间的高速互联端口,对第二地址译码器进行配置;根据至少一个目的地址,结合互联芯片与计算芯片之间的芯片端口,对第一地址译码器进行配置。
可以理解的,通过配置节点配置的第一、第二和第三地址译码器,可以确保计算芯片生成的数据访问请求通过地址译码器路由寻址,将数据访问请求传输至目的地址对应的第二节点的CPU进行内存读写,从而免于网卡队列准备的等待时间,提高第一节点对拓展内存读写的效率,时延甚至能达到微秒级别(以太网时延可以达到毫秒级),带宽可以达到400GB,相比带宽只有100GB的RDMA网卡,拥有更高的带宽和时延。
在一实施例中,配置节点向第二节点120获取第二节点的内存的至少一个本地物理地址时,可以根据第二节点内存的大小,结合业务需求,确定第二节点划分出来供第一节点110使用的拓展内存的本地物理地址。
可选地,供第一节点使用的拓展内存可以是第二节点的部分内存,该部分拓展内存可以通过内存隔离技术进行处理,使得第二节点无法访问该部分拓展内存,提高拓展内存中存储的数据的安全性。
可选地,第三地址译码器记录的对应关系可以是:本地物理地址=目的地址-基地址,其中,基地址指的是一个地址段的起始地址,又称为首地址或者段地址,属于同一个地址段的目的地址的基地址相同。
在一实施例中,在将第一目的地址与第一地址译码器和第二地址译码器进行匹配时,可以将完整或部分第一目的地址与译码器中的地址进行匹配,从而提高匹配效率,进而提高数据访问的效率。
可选地,可根据数据访问请求中第一目的地址的基地址和长度确定第一端口。具体地,计算芯片可以将第一地址译码器中记录的目的地址的基地址和长度与第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一端口。同理,互联芯片可以将第二地址译码器中记录的目的地址的基地址和长度与第二目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一高速互联端口。这里不再展开赘述。
可选地,可根据第一目的地址的高位地址确定第一端口。计算芯片可以将第一地址译码器中记录的目的地址的高位地址与第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的第一端口,其中,高位地址的位数是根据第二节点的内存大小确定的。同理,互联芯片可以将第二地址译码器中记录的目的地址的高位地址与第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的第一高速互联端口。这里不再展开赘述。
应理解,由于第二节点提供的拓展内存对应的物理地址数量为多个,因此第一、第二译码器中记录的部分目的地址对应的端口可能会是同一个,对应相同端口的目的地址位于同一个内存中,这些对应相同端口的目的地址,其基地址和长度是相同的,或者,其高位地址是相同的,因此可以通过匹配基地址和长度,或者匹配高位地址来确定第一目的地址对应的端口,从而提高匹配效率。
需要说明的,通过基地址和长度进行匹配的方式的详细描述可以参考前述图4实施例的举例说明,这里不在重复赘述。
需要说明的,若数据访问请求是向第二节点读取内存中的数据,第二节点对数据访问请求进行处理后,可以根据数据访问请求中的源地址,结合第一、第二和第三地址译码器,将读取到的数据原路返回至第一节点中,这里不在重复再开赘述。
综上可知,本申请提供的数据访问方法,第一节点的高速互联端口与第二节点的高速互联端口通过线缆进行连接,第一节点可结合地址译码器实现寻址功能,从而将数据访问请求发送至第一目的地址对应的第二节点内存,实现第一节点的内存拓展,该方式不需要额外部署网卡或者路由器,无需等待网卡队列单元的准备时间,使得第一节点访问第二节点内存的效率高、时延低,同时,通过增加高速互联端口可以增加第二节点的数量,可以提高第一节点的拓展内存容量,使得第一节点可扩展的内存容量很大,能够处理更多应用场景下的业务。
图6是本申请提供的一种计算节点600的结构示意图,该计算节点600可以是前述内容中的第一节点110,该计算节点600可包括计算芯片111和互联芯片112,其中,计算芯片111可包括生成单元1111、第一匹配单元1112和第二发送单元1113,互联芯片112可包括第一发送单元1121以及第二匹配单元1122。
生成单元1111,用于生成数据访问请求,其中,数据访问请求用于请求第二节点的内存中的数据,具体可执行图5实施例中的步骤S510;
第一发送单元1121,用于通过线缆发送数据访问请求至第二节点,以供第二节点将数据访问请求中的第一目的地址转换为第一目的地址对应的本地物理地址,并根据本地物理地址访问第二节点的内存中的数据,具体可执行图5实施例中的步骤S520。
在一实施例中,互联芯片112的第一高速互联端口与第二节点中的处理器的第二高速互联端口通过线缆连接,生成单元1111,用于通过计算芯片111生成数据访问请求;第二发送单元1113,用于通过计算芯片111将数据访问请求发送至互联芯片112;第一发送单元1121,用于通过互联芯片112通过线缆发送数据访问请求至第二节点。
在一实施例中,计算芯片111通过端口与互联芯片112相连,计算芯片111中包括第一地址译码器,第一匹配单元1112用于通过计算芯片111,根据数据访问请求中的第一目的地址和第一地址译码器确定第一端口,其中,第一地址译码器用于记录目的地址与计算芯片的端口之间的对应关系;第二发送单元1113,用于通过计算芯片,通过第一端口向互联芯片112发送数据访问请求。
在一实施例中,互联芯片112中包括第二地址译码器,第二匹配单元1122,用于通过互联芯片112,根据第一目的地址和第二地址译码器确定第一高速互联端口,其中,第二地址译码器用于记录目的地址与高速互联端口之间的对应关系;第一发送单元1121,用于通过互联芯片112,通过第一高速互联端口向第二节点发送数据访问请求。
在一实施例中,第一匹配单元1112,用于通过计算芯片111将第一地址译码器中记录的目的地址的基地址和长度与第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一端口;第二匹配单元1122,用于通过互联芯片112将第二地址译码器中记录的目的地址的基地址和长度与第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一高速互联端口。
在一实施例中,第一匹配单元1112,用于通过计算芯片111将第一地址译码器中记录的目的地址的高位地址与第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的第一端口,其中,高位地址的位数是根据第二节点的内存大小确定的;第二匹配单元1122,用于通过互联芯片112将第二地址译码器中记录的目的地址的基地址和长度与第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的第一高速互联端口。
在一实施例中,第一高速互联端口和第二高速互联端口为高速串行总线端口,第一端口为高速串行总线端口。
第一节点110可以是物理服务器,比如X86服务器、ARM服务器等等;也可以是基于通用的物理服务器结合网络功能虚拟化(network functions virtualization,NFV)技术实现的虚拟机(virtual machine,VM),虚拟机指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统,比如云计算中的虚拟设备,本申请不作具体限定;还可以是多个物理服务器或者虚拟机组成的服务器集群。
图7是本申请提供的存储节点700的结构示意图,该存储节点700可以是图1~图6实施例中的第二节点120,该存储节点700可包括接收单元121和转换单元122。
接收单元121,用于接收数据访问请求,数据访问请求是第一节点生成的,数据访问请求是第一节点通过线缆发送的;
转换单元122,用于将数据访问请求中的第一目的地址转换为第一目的地址对应的本地物理地址,并根据本地物理地址访问第二节点的内存中的数据。
在一实施例中,第二节点120包括第三地址译码器;转换单元122,用于根据第一目的地址和第三地址译码器,确定第一目的地址对应的本地物理地址,其中,第三地址译码器用于记录目的地址和本地物理地址之间的对应关系。
在一实施例中,第一节点的第一高速互联端口与第二节点中的处理器的第二高速互联端口通过线缆连接,第一高速互联端口和第二高速互联端口为高速串行总线端口。
第二节点120可以是物理服务器,比如X86服务器、ARM服务器等等;也可以是基于通用的物理服务器结合网络功能虚拟化(network functions virtualization,NFV)技术实现的虚拟机(virtual machine,VM),虚拟机指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统,比如云计算中的虚拟设备,本申请不作具体限定;还可以是多个物理服务器或者虚拟机组成的服务器集群。
综上可知,本申请提供的第一节点和第二节点中,第一节点的高速互联端口与第二节点的高速互联端口通过线缆进行连接,第一节点可结合地址译码器实现寻址功能,从而将数据访问请求发送至第一目的地址对应的第二节点内存,实现第一节点的内存拓展,该方式不需要额外部署网卡或者路由器,无需等待网卡队列单元的准备时间,使得第一节点访问第二节点内存的效率高、时延低,同时,通过增加高速互联端口可以增加第二节点的数量,可以提高第一节点的拓展内存容量,使得第一节点可扩展的内存容量很大,能够处理更多应用场景下的业务。
图8是本申请提供的一种计算设备的结构示意图,该计算设备800可以是图1至图7实施例中的第一节点110或者第二节点120,该计算设备可以是物理服务器、虚拟机或服务器集群,也可以是可设置于物理服务器或虚拟机的芯片(系统)或其他部件或组件,本申请对此不做限定。
进一步地,计算设备800包括处理器801、存储器802和通信接口803,其中,处理器801、存储器802和通信接口803通过总线805进行通信,也可以通过无线传输等其他手段实现通信。
处理器801可以由至少一个通用处理器构成,例如CPU、NPU或者CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(Application-Specific Integrated Circuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)、现场可编程逻辑门阵列(Field-Programmable Gate Array,FPGA)、通用阵列逻辑(Generic Array Logic,GAL)或其任意组合。处理器801执行各种类型的数字存储指令,例如存储在存储器802中的软件或者固件程序,它能使计算设备800提供较宽的多种服务。
具体实现中,上述处理器801可以是前述内容中第一节点内的计算芯片或者互联芯片,还可以是第二节点内的处理器芯片,本申请不作具体限定。在具体的实现中,作为一种实施例,处理器801可以包括一个或多个CPU,例如图8中所示的CPU0和CPU1。
在具体实现中,作为一种实施例,计算设备800也可以包括多个处理器,例如图8中所示的处理器801和处理器804。这些处理器中的每一个可以是一个单核处理器(single-CPU),也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
存储器802用于存储程序代码,并由处理器801来控制执行,以执行上述图1-图7中任一实施例中工作流系统的处理步骤。程序代码中可以包括一个或多个软件模块。在计算节点是第一节点110时,上述一个或多个软件模块可以是图6实施例中的生成单元1111、第一匹配单元1112、第二发送单元1113、第二匹配单元1122以及第一发送单元1121,上述具体实现方式可以参考图6方法实施例,此处不再赘述;在计算节点是第二节点120时,上述一个或多个软件模块可以是图7实施例中的接收单元121和转换单元122,上述具体实现方式可以参考图6方法实施例,此处不再赘述。
存储器802可以包括只读存储器和随机存取存储器,并向处理器801提供指令和数据。存储器802还可以包括非易失性随机存取存储器。例如,存储器802还可以存储设备类型的信息。
存储器802可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。还可以是硬盘(hard disk)、U盘(universal serial bus,USB)、闪存(flash)、SD卡(secure digitalmemory Card,SD card)、记忆棒等等,硬盘可以是硬盘驱动器(hard disk drive,HDD)、固态硬盘(solid state disk,SSD)、机械硬盘(mechanical hard disk,HDD)等,本申请不作具体限定。
通信接口803可以为有线接口(例如以太网接口),可以为内部接口(例如高速串行计算机扩展总线(Peripheral Component Interconnect express,PCIe)总线接口)、有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口),用于与其他服务器或模块进行通信,具体实现中,通信接口803可用于接收报文,以供处理器801或处理器804对该报文进行处理。
总线805可以是快捷外围部件互联标准(Peripheral Component InterconnectExpress,PCIe)总线,或扩展工业标准结构(extended industry standard architecture,EISA)总线、统一总线(unified bus,Ubus或UB)、计算机快速链接(compute express link,CXL)、缓存一致互联协议(cache coherent interconnect for accelerators,CCIX)等。总线805可以分为地址总线、数据总线、控制总线等。
总线805除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线805。
需要说明的,图8仅仅是本申请实施例的一种可能的实现方式,实际应用中,计算设备800还可以包括更多或更少的部件,这里不作限制。关于本申请实施例中未示出或未描述的内容,可参见前述图1-图7实施例中的相关阐述,这里不再赘述。
应理解,图8所示的计算设备800还可以是至少一个物理服务器构成的计算机集群,具体可参考图1至图7实施例关于数据访问系统的具体形态描述,为了避免重复,此处不再赘述。
本申请实施例提供一种芯片,该芯片具体可用于X86架构的处理器所在服务器(也可以称为X86服务器)、ARM架构的处理器所在的服务器(也可以简称为ARM服务器)等等,该芯片可包括上述器件或逻辑电路,该芯片在服务器上运行时,使得该服务器执行上述方法实施例所述的数据访问方法。
具体实现中,该芯片可以是前述内容中第一节点内的计算芯片或者互联芯片,还可以是第二节点内的处理器芯片。
本申请实施例提供一种主板,又可称为印刷电路板(printed circuit boards,PCB),该主板包括处理器,该处理器用于执行程序代码实现上述方法实施例所述的数据访问方法。可选地,该主板还可包括存储器,存储器用于存储上述程序代码以供处理器执行。
本申请实施例提供一种计算机可读存储介质,包括:该计算机可读存储介质中存储有计算机指令;当该计算机指令在计算机上运行时,使得该计算机执行上述方法实施例所述的数据访问方法。
本申请实施例提供了一种包含指令的计算机程序产品,包括计算机程序或指令,当该计算机程序或指令在计算机上运行时,使得该计算机执行上述方法实施例所述的数据访问方法。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括至少一个计算机指令。在计算机上加载或执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含至少一个可用介质集合的服务器、数据中心等数据存储节点。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,高密度数字视频光盘(digital videodisc,DVD)、或者半导体介质。半导体介质可以是SSD。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修复或替换,这些修复或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种数据访问系统,其特征在于,所述数据访问系统包括第一节点和第二节点,所述第一节点与所述第二节点通过线缆连接;
所述第一节点用于生成数据访问请求,其中,所述数据访问请求用于请求所述第二节点的内存中的数据;
所述第一节点用于通过所述线缆发送所述数据访问请求至所述第二节点;
所述第二节点用于将所述数据访问请求中的第一目的地址转换为所述第一目的地址对应的本地物理地址,并根据所述本地物理地址访问所述第二节点的内存中的所述数据。
2.根据权利要求1所述的系统,其特征在于,所述第一节点包括计算芯片和互联芯片,其中,所述互联芯片的第一高速互联端口与所述第二节点中的处理器的第二高速互联端口通过所述线缆连接;
所述计算芯片用于生成所述数据访问请求,并将所述数据访问请求发送至所述互联芯片;
所述互联芯片用于通过所述线缆发送所述数据访问请求至所述第二节点。
3.根据权利要求2所述的系统,其特征在于,所述计算芯片通过端口与所述互联芯片相连,所述计算芯片中包括第一地址译码器;
所述计算芯片具体用于:生成所述数据访问请求,根据所述数据访问请求中的第一目的地址和所述第一地址译码器确定所述第一端口,通过所述第一端口向所述互联芯片发送所述数据访问请求,其中,所述第一地址译码器用于记录目的地址与所述计算芯片的端口之间的对应关系。
4.根据权利要求3所述的系统,其特征在于,所述互联芯片中包括第二地址译码器,
所述互联芯片具体用于:根据所述第一目的地址和所述第二地址译码器确定所述第一高速互联端口,通过所述第一高速互联端口向所述第二节点发送所述数据访问请求,其中,所述第二地址译码器用于记录目的地址与高速互联端口之间的对应关系。
5.根据权利要求4所述的系统,其特征在于,所述第二节点包括第三地址译码器;
所述第二节点具体用于:根据所述第一目的地址和所述第三地址译码器,确定所述第一目的地址对应的本地物理地址,其中,所述第三地址译码器用于记录目的地址和本地物理地址之间的对应关系。
6.根据权利要求5所述的系统,其特征在于,所述数据访问系统还包括配置节点,
所述配置节点用于向第二节点获取第二节点的内存的至少一个本地物理地址;
所述配置节点用于根据所述至少一个本地物理地址确定对应的至少一个目的地址,对所述第三地址译码器进行配置;
所述配置节点还用于根据所述至少一个目的地址,结合所述第二节点与所述互联芯片之间的所述高速互联端口,对所述第二地址译码器进行配置;
所述配置节点还用于根据所述至少一个目的地址,结合所述互联芯片与所述计算芯片之间的芯片端口,对所述第一地址译码器进行配置。
7.根据权利要求4至6任一权利要求所述的系统,其特征在于,
所述计算芯片具体用于:将所述第一地址译码器中记录的目的地址的基地址和长度与所述第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的所述第一端口;
所述互联芯片具体用于:将所述第二地址译码器中记录的目的地址的基地址和长度与所述第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的所述第一高速互联端口。
8.根据权利要求4至6任一权利要求所述的系统,其特征在于,
所述计算芯片具体用于:将所述第一地址译码器中记录的目的地址的高位地址与所述第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的所述第一端口,其中,所述高位地址的位数是根据所述第二节点的内存大小确定的;
所述互联芯片具体用于:将所述第二地址译码器中记录的目的地址的高位地址与所述第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的所述第一高速互联端口。
9.根据权利要求2至8任一权利要求所述的系统,其特征在于,所述第一高速互联端口和所述第二高速互联端口为高速串行总线端口,所述第一端口为高速串行总线端口。
10.一种数据访问方法,其特征在于,所述方法应用于数据访问系统,所述数据访问系统包括第一节点和第二节点,所述第一节点与所述第二节点通过线缆连接,所述方法包括:
所述第一节点生成数据访问请求,其中,所述数据访问请求用于请求所述第二节点的内存中的数据;
所述第一节点通过所述线缆发送所述数据访问请求至所述第二节点;
所述第二节点将所述数据访问请求中的第一目的地址转换为所述第一目的地址对应的本地物理地址,并根据所述本地物理地址访问所述第二节点的内存中的所述数据。
11.根据权利要求10所述的方法,其特征在于,所述第一节点包括计算芯片和互联芯片,其中,所述互联芯片的第一高速互联端口与所述第二节点中的处理器的第二高速互联端口通过线缆连接;
所述第一节点生成数据访问请求包括:
所述计算芯片生成所述数据访问请求,并将所述数据访问请求发送至所述互联芯片;
所述第一节点通过所述线缆发送所述数据访问请求至所述第二节点包括:
所述互联芯片通过所述线缆发送所述数据访问请求至所述第二节点。
12.根据权利要求11所述的方法,其特征在于,所述计算芯片通过端口与所述互联芯片相连,所述计算芯片中包括第一地址译码器;
所述计算芯片生成所述数据访问请求,并将所述数据访问请求发送至所述互联芯片包括:
所述计算芯片生成所述数据访问请求,根据所述数据访问请求中的第一目的地址和所述第一地址译码器确定所述第一端口,通过所述第一端口向所述互联芯片发送所述数据访问请求,其中,所述第一地址译码器用于记录目的地址与所述计算芯片的端口之间的对应关系。
13.根据权利要求12所述的方法,其特征在于,所述互联芯片中包括第二地址译码器,
所述互联芯片通过所述线缆发送所述数据访问请求至所述第二节点包括:
所述互联芯片根据所述第一目的地址和所述第二地址译码器确定所述第一高速互联端口,通过所述第一高速互联端口向所述第二节点发送所述数据访问请求,其中,所述第二地址译码器用于记录目的地址与高速互联端口之间的对应关系。
14.根据权利要求13所述的系统,其特征在于,所述第二节点包括第三地址译码器;
所述第二节点将所述数据访问请求中的第一目的地址转换为所述第一目的地址对应的本地物理地址包括:
所述第二节点根据所述第一目的地址和所述第三地址译码器,确定所述第一目的地址对应的本地物理地址,其中,所述第三地址译码器用于记录目的地址和本地物理地址之间的对应关系。
15.根据权利要求14所述的系统,其特征在于,所述数据访问系统还包括配置节点,所述方法还包括:
所述配置节点向第二节点获取第二节点的内存的至少一个本地物理地址;
所述配置节点根据所述至少一个本地物理地址确定对应的至少一个目的地址,对所述第三地址译码器进行配置;
所述配置节点根据所述至少一个目的地址,结合所述第二节点与所述互联芯片之间的所述高速互联端口,对所述第二地址译码器进行配置;
所述配置节点据所述至少一个目的地址,结合所述互联芯片与所述计算芯片之间的芯片端口,对所述第一地址译码器进行配置。
16.根据权利要求13至15中任一权利要求所述的方法,其特征在于,所述计算芯片根据所述数据访问请求中的第一目的地址和所述第一地址译码器确定所述第一端口包括:
所述计算芯片将所述第一地址译码器中记录的目的地址的基地址和长度与所述第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的所述第一端口;
所述互联芯片根据所述第一目的地址和所述第二地址译码器确定所述第一高速互联端口包括:
所述互联芯片将所述第二地址译码器中记录的目的地址的基地址和长度与所述第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的所述第一高速互联端口。
17.根据权利要求13至15中任一权利要求所述的方法,其特征在于,所述计算芯片根据所述数据访问请求中的第一目的地址和所述第一地址译码器确定所述第一端口包括:
所述计算芯片将所述第一地址译码器中记录的目的地址的高位地址与所述第一目的地址的高位地址进行匹配,确定匹配后的目的地址对应的所述第一端口,其中,所述高位地址的位数是根据所述第二节点的内存大小确定的;
所述互联芯片根据所述第一目的地址和所述第二地址译码器确定所述第一高速互联端口包括:
所述互联芯片将所述第二地址译码器中记录的目的地址的基地址和长度与所述第一目的地址的基地址和长度进行匹配,确定匹配后的目的地址对应的所述第一高速互联端口。
18.根据权利要求10至17中任一权利要求所述的方法,其特征在于,所述第一高速互联端口和所述第二高速互联端口为高速串行总线端口,所述第一端口为高速串行总线端口。
19.一种计算节点,其特征在于,应用于数据访问系统,所述数据访问系统还包括存储节点,所述计算节点包括:计算芯片和互联芯片,其中,所述计算芯片的通过高速互联端口与所述互联芯片连接,所述互联芯片通过高速互联端口和线缆与所述其他节点连接;
所述计算芯片用于生成数据访问请求,并将所述数据访问请求发送至所述互联芯片,其中,所述数据访问请求包括第一目的地址,所述第一目的地址指示所述存储节点中的内存的位置;
所述互联芯片用于根据所述第一目的地址将所述数据访问请求发送至所述存储节点。
20.一种存储节点,其特征在于,应用于数据访问系统,所述数据访问系统还包括计算节点,所述存储节点包括处理器和内存,所述存储节点通过所述处理器的高速互联端口和线缆与所述计算节点连接;
所述处理器用于通过所述高速互联端口接收所述计算节点发送的数据访问请求,将所述数据访问请求中的携带的第一目的地址转换为所述第一目的地址对应的所述存储节点的本地物理地址,并根据所述本地物理地址访问所述内存中的数据。
CN202111160189.7A 2021-09-30 2021-09-30 一种数据访问系统、方法及相关设备 Pending CN115905036A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111160189.7A CN115905036A (zh) 2021-09-30 2021-09-30 一种数据访问系统、方法及相关设备
PCT/CN2022/118756 WO2023051248A1 (zh) 2021-09-30 2022-09-14 一种数据访问系统、方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111160189.7A CN115905036A (zh) 2021-09-30 2021-09-30 一种数据访问系统、方法及相关设备

Publications (1)

Publication Number Publication Date
CN115905036A true CN115905036A (zh) 2023-04-04

Family

ID=85727930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111160189.7A Pending CN115905036A (zh) 2021-09-30 2021-09-30 一种数据访问系统、方法及相关设备

Country Status (2)

Country Link
CN (1) CN115905036A (zh)
WO (1) WO2023051248A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025021210A1 (zh) * 2023-07-27 2025-01-30 浪潮电子信息产业股份有限公司 内存页面管理方法、系统、装置、设备及计算机非易失性可读存储介质
CN119883968A (zh) * 2024-12-09 2025-04-25 飞腾信息技术有限公司 一种访问方法及相关装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119496791A (zh) * 2023-08-21 2025-02-21 超聚变数字技术有限公司 数据传输方法及计算节点

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993019422A1 (en) * 1992-03-25 1993-09-30 Encore Computer U.S., Inc. Fiber optic memory coupling system
TWI614670B (zh) * 2013-02-12 2018-02-11 Lsi公司 連鎖且可擴展之儲存系統及在一連鎖且可擴展之儲存系統中存取資料之方法
CN103957155B (zh) * 2014-05-06 2018-01-23 华为技术有限公司 报文传输方法、装置及互联接口
US10560765B2 (en) * 2018-04-25 2020-02-11 Western Digital Technologies, Inc. Node with combined optical and electrical switching
CN111490946B (zh) * 2019-01-28 2023-08-11 阿里巴巴集团控股有限公司 基于OpenCL框架的FPGA连接实现方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025021210A1 (zh) * 2023-07-27 2025-01-30 浪潮电子信息产业股份有限公司 内存页面管理方法、系统、装置、设备及计算机非易失性可读存储介质
CN119883968A (zh) * 2024-12-09 2025-04-25 飞腾信息技术有限公司 一种访问方法及相关装置
CN119883968B (zh) * 2024-12-09 2025-10-17 飞腾信息技术有限公司 一种访问方法及相关装置

Also Published As

Publication number Publication date
WO2023051248A1 (zh) 2023-04-06

Similar Documents

Publication Publication Date Title
KR102866045B1 (ko) 직접 메모리 억세스 엔진을 포함하는 메모리 장치, 이를 포함하는 시스템 및 메모리 장치의 동작방법
US10095645B2 (en) Presenting multiple endpoints from an enhanced PCI express endpoint device
US11829309B2 (en) Data forwarding chip and server
CN109445905B (zh) 虚拟机数据通信方法和系统以及虚拟机配置方法和装置
EP4002139B1 (en) Memory expander, host device using memory expander, and operation method of server system including memory expander
JP6426846B2 (ja) 多数のコンピュータサブシステム用の再構成可能リソースを備えるシステムオンチップ
US10725957B1 (en) Uniform memory access architecture
CN114996185A (zh) 跨地址空间桥接
WO2023051248A1 (zh) 一种数据访问系统、方法及相关设备
US10198373B2 (en) Uniform memory access architecture
WO2019233322A1 (zh) 资源池的管理方法、装置、资源池控制单元和通信设备
CN116414735A (zh) 数据存储方法、系统、存储访问配置方法及相关设备
WO2022141250A1 (zh) 数据传输方法和相关装置
US20180020054A1 (en) Caching Network Fabric for High Performance Computing
US11962675B2 (en) Interface circuit for providing extension packet and processor including the same
CN114546902A (zh) 基于多协议访问存储器的系统、设备和方法
CN119046211B (zh) 一种数据处理系统、方法及计算机系统
CN116185553A (zh) 数据迁移方法、装置及电子设备
CN116483553A (zh) 计算设备、数据处理方法、系统及相关设备
CN115840620B (zh) 一种数据通路构建方法、设备及介质
CN112749121A (zh) 基于pcie总线的多芯片互联系统
Shim et al. Design and implementation of initial OpenSHMEM on PCIe NTB based cloud computing
CN119003097B (zh) 软件实现重要产品数据功能的方法、计算机设备及介质
CN113722110B (zh) 计算机系统、内存访问方法及设备
WO2024093958A1 (zh) 一种存储池的访问方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination