导语：不替换HBM，也不是更快的SSD，HBF对准Agent时代的容量缺口。 

HBM已经经证实，经由过程重叠及共封装把存储介质迁徙至GPU四周，可以减缓AI计较中的数据搬运瓶颈。

此刻，SK海力士结合闪迪，将近似的思绪正式运用到NAND上，经由过程HBF将年夜容量闪存放到包括GPU于内的各种xPU旁，以减缓AI推理内存墙问题。

近日，两边经由过程OCP发布《High Bandwidth Flash（HBF）High-Level Base Die Specification, Version 0.7.0》。google及Tenstorrent于称谢中被列为规范的反馈与建议提供方。

这份约130页的规范，初次明确了HBF的位置、界限与价钱：

介在HBM与SSD之间，HBF是紧邻xPU、由Base Die及主机软件配合治理的年夜容量闪存。

运用规模从静态模子权重进一步延长至KV Cache、多模子、MoE及Agent事情负载。

NAND的写入、经久性及治理上的物理约束并未被消弭。这些约束带来的繁杂性，终极转移到了Base Die及加快器的软件栈上。

于不转变规范原意的基础上，雷峰网(公家号：雷峰网)对于此举行编译及收拾，重点解读HBF的体系定位、高带宽缘起、推理运用场景以和NAND介质带来的工程约束。

内存墙问题从CPU时代一直延续到现今以数据为中央的计较体系中。当GPU的机能晋升速率连续快在内存相应时间，数据搬运也就愈来愈成为机能瓶颈。

与此同时，年夜语言模子范围及上下文长度的增加，对于更高的内存带宽及年夜幅增长的内存容量都提出了需求。

AI处置惩罚所触及的数据年夜致可分为两类：一类包括模子输入及持续处置惩罚层天生的中间成果，这些数据是动态的，凡是被称为激活值；另外一类包括界说模子的权重（参数）。

于推理运行时期，模子权重一般连结稳定。然而，它们的总量可能远超单颗处置惩罚芯片或者其当地缓存所能容纳的范围。

对于在充足年夜的模子来讲，部门权重可能存储于机架内的SSD上，或者位在间隔处置惩罚器更远的收集附加存储中。

这就形成为了一条多层级的数据路径：非易掉性存储提供持久容量，计较所需的权重被带入DRAM（多是HBM），然后缓存于处置惩罚器侧的SRAM中。

是以，一个权重第一次被拜候时，数据可能要穿过好几层存储层级才能达到处置惩罚器。假如这个权重厥后被挤出缓存，而以后又需要用到它，那一样的路径就患上再走一遍。

HBF暗地里的构思与催生HBM的思绪相似：经由过程重叠及共封装，将存储介质移近计较单位。

但两者利用的介质及负担的脚色差别。HBM以DRAM提供低延迟、高读写带宽的事情内存；HBF则试牟利用容量更年夜的NAND，于连结较高聚合读取带宽的同时，承接部门原本存放于SSD或者收集存储中的年夜范围、以读取为主的数据，例如模子权重。

于部门体系设计中，预先存入HBF的模子权重可以绕过传统的DRAM暂存环节，直接向处置惩罚器侧缓存传输。如许的设计只管会使缓存及内存治理变患上繁杂，但简直免却一部门从外部存储到DRAM的传输开消。

正如Expedera首席科学家兼结合开创人Sharad Chole所描写的，HBF旨于弥合“高带宽拜候与高存储容量”之间的鸿沟。这个定位比简朴地将HBF描写为更快的SSD或者基在闪存的HBM更为切确。

HBF将模子权重放入处置惩罚器封装内的一种观点架构

图源Bryon Moyer / Semiconductor Engineering

而OCP规范将HBF正式界说为一个非一致性的、之内存为中央的闪存装备，紧邻GPU、TPU或者其他xPU。其目的是经由过程于处置惩罚器四周附加TB级的分外内存容量来加强HBM。

是以，HBF既不是直接代替了HBM，也不是简朴为后者增长容量。它于高带宽内存与传统存储之间增长了另外一个内存层级，使更年夜比例的模子数据于物理上连结更接近计较单位。

Base Die是真实的节制中枢

一个HBF装备由三个重要元素组成：

一个Base Die；

一个NAND Core Die重叠；

毗连Base Die与NAND重叠的TSV通道。

Base Die不只是一个无源互连层。于与主机xPU连结通讯的同时，Base Die治理UCIe和谈并节制主机接口与NAND die之间的数据挪动。

此外，它还有卖力处置惩罚主机及NAND号令、ECC编码及解码、过错陈诉、传输调理、读/写/擦除了状况、NAND初始化及TSV冗余映照。

这类分工让HBF与“直接把闪存die放于处置惩罚器阁下”有了素质区分：NAND重叠提供容量，而Base Die为重叠提供了作为片上封装内存装备所需的节制、接口及靠得住性机制。

HBF Base Die、NAND Core Die重叠与xPU毗连

图源OCP规范

xPU经由过程UCIe 3.0跟HBF毗连，这是一种用在封装内die-to-die互连的尺度。于UCIe（Universal Chiplet Interconnect Express）接口之上，用AXI作为通讯和谈。简朴来讲，UCIe卖力物理层及链路层的基础，AXI则承载主机及HBF之间的读写操作。

规范里对于UCIe和谈层、Flit格局及AXI通道有很是具体的描写。但若只体贴HBF于体系里的脚色，要害于在它需要一套专用的片上封装接口，xPU及HBF双方都患上有对于应的链路层实现，而不是像PCIe SSD那样，随意接到现有加快器上就能用的。

16条自力通道相互自力

一个HBF重叠至多可撑持16个主机通道。每一个通道利用自力的UCIe链路并提供对于其自身NAND资源的拜候。经由过程一个通道发出的哀求不克不及拜候毗连到另外一个通道的数据。

每一个通道也有本身持续的当地地址空间。Base Die将该当地地址空间映照到物理NAND存储体、die及块上。于体系层面，主机软件卖力将主机的全局地址映照到可用HBF通道的当地地址空间上。

其成果并不是一个单一的、主动同一的闪存池，而是一种通道化架构，其机能部门取决在主机怎样于多个自力资源之间漫衍数据及哀求。

这类区分很主要，由于规范还有要求HBF及HBM于统一个体系中利用时必需分隔治理。HBF不会主动成为HBM一致性地址空间的一部门。软件必需决议哪些数据属在哪一个内存层级，以和数据应怎样挪动、分区及拜候。

靠多层并行到达最高3TB/s

规范界说了三个机能等级：

规范给出的参考配置采用16颗NAND Die、每一通道16个Bank及4KiB NAND页，总容量为512GiB（GiB按二进制计量，GB按十进制计量，约合550 GB），并答应更高容量的HBF重叠。

最高约3TB/s的带宽方针，其实不是由于单颗NAND得到了靠近HBM的机能，而是经由过程16条主机通道，以和多Die、多Bank及多阵列并行会聚而成。最高配置下，每一条通道采用64位接口，每一条数据lane速度最高为32GT/s。

要真正使用这些并行资源，数据需要漫衍于充足多的通道、Die及Bank中，主机也必需维持充足的哀求并发性，由Base Die完成响应调理。

是以，约3TB/s更正确地说是最高配置下的规范方针，而非真实芯片或者推理负载的实测成果。

纵然聚合读取带宽进入HBM量级，HBF也不等同在HBM。两者于延迟、写入能力、拜候粒度、经久性及内存语义上仍有较着差异。

HBF的焦点上风，因此年夜容量NAND共同高并行读取，而不是于所有事情负载下得到与DRAM不异的体现。

模子权重仍旧是HBF最天然的事情负载。

它们的规模可从数GiB到达数十以致数百GiB，必需于Token天生时期被获取，且于推理时期凡是连结稳定。这使患上它们比必需连续重写的数据更合适读取优化、高容量的NAND层级。

正如内存阐发师Jim Handy所总结的区分：“练习不停转变模子权重，而推理凡是使它们连结稳定”。

然而，OCP规范付与HBF的规模逾越了静态权重存储。其运用章节包括单一LLM办事、存储及切换多个LLM、混淆专家模子、多模态模子、智能体事情负载、AI参数加载及KV Cache读写。

对于在单一模子，规范描写了将模子参数漫衍到所有主机通道上，以便它们可以被并行读取。对于在多个模子，它提供了两种可能的结构：

将每一个模子交错于所有通道上，使勾当模子可以或许利用完备的聚合带宽。

将差别模子分配到专用的通道组，答应多个模子被拜候而不会争用不异的通道。

于HBF中连结多个模子，也能够削减当勾当模子切换时从外部SSD从头加载整个模子的需求。虽然这其实不象征着模子切换没有延迟，但它可以消弭传统部署中零丁的SSD到加快器加载步调。

MoE、多模态及智能体事情负载，于HBF上的数据放置可以沿用多模子案例的两种计谋：要末把数据打散到所有通道上以寻求最年夜带宽，要末把数据放于指定通道里优先思量容量分配及事情负载断绝。

更主要的扩大，是KV Cache。

于Prefill预填充阶段，模子各层管帐算并写入KV Cache；进入Decode（解码）阶段后，留意力模块（Attention）读取先宿世成的KV Cache，并于天生后续Token时添加新的缓存内容。

是以，与推理时期基本连结稳定的模子权重比拟，KV Cache会于推理历程中连续增加，其实不断发生读写。

规范指望主机理解LLM或者AI事情负载的布局，并摆设KV Cache数据以优化读写机能。是以，HBF不仅被界说为一个参数加载装备，还有被界说为推理运行时天生数据的一个可能的存储方针。

这扩展了HBF的潜于价值，特别是于更长的上下文及智能体事情负载增长内存容量需求的环境下。但它也使该架构直接接触到NAND最弱的特征——频仍写入。

只管HBF转变了闪存的位置、接口及内部并行性，其底层介质仍旧是NAND。

NAND闪存的物理布局决议了它的读写方式。闪存芯片内部被划分为若干块（block），每一个块又进一步分为若干页（page）。

规范中利用的是4 KiB巨细的NAND页，并撑持4 KiB对于齐的突发写入。小在4 KiB的写入哀求不会当即写入NAND Core Die，而是先于Base Die中缓存，凑满一个完备的4 KiB页面后再写入。

于NAND块内部，HBF要求挨次写入。它不撑持对于已经编程页面的直接随机笼罩写入。要重写一个块里的任何数据，不克不及直接笼罩，必需先把整个块擦除了，然后重新最先，按划定的页面挨次从头写入一遍。

这些法则与年夜型、预定的模子权重结构相对于兼容——权重是一次写入、重复读取的数据，写入时按挨次以完备页面写入便可。

但对于在动态天生的数据来讲倒是一件坚苦的事，其巨细、生命周期及更新模式于推理时期随时可能变化。

像KV Cache这种需要频仍举行小粒度写入的数据，规范并未声称所有KV Cache事情负载都能于HBF上体现优良，现实机能将取决在主机怎样组合小写入、结构KV Cache页面，并防止孕育发生NAND块低效利用的模式。

由于模子权重及KV Cache具备差别的读写模式，规范也指出，将二者混淆于统一区域可能会降低经久性及容量使用率。是以，它建议以通道粒度对于HBF举行分区，并提供两种示例计谋：

匀称分区将通道匀称划分，简化了主机节制的磨损治理。

非匀称分区仅分配充足的通道来存储勾当模子权重，并将残剩容量分配给KV Cache。

模子权重与KV Cache之间的通道分区

图源OCP规范

这也申明HBF的数据结构不克不及彻底交给硬件主动完成。主机必需相识事情负载的特色，估算权重及KV Cache各需要几多容量，再决议给双方各分配几多带宽及经久性预算。

由主机介入治理的方式，还有延长到KV Cache以外。

因为各条HBF通道拥有自力的地址空间，主机软件还有需要将全局地址映照到差别通道，决议数据怎样交错，并别离治理HBF与HBM。

对于NAND介质自己的维护，也并不是全数封装于Base Die内部。磨损平衡既可以由Base Die完成，也能够由主机经由过程区域重映照举行节制。

主机可以调解逻辑地址与物理位置之间的映照，使编程及擦除了次数更匀称地漫衍，但重映照号令不会主动迁徙已经有数据。主机需要先住手相干拜候，再将数据从头写入新的位置。

数据连结及读取滋扰一样需要按期处置惩罚。Base Die卖力检测并上报NAND状况，主机则可能需要刷新数据、重试读取、断绝妨碍容量，或者等候装备完成恢复操作。

不外，HBF并没有将传统SSD节制器负担的全数功效转移给主机软件。Base Die仍卖力NAND号令、ECC、哀求调理及过错检测，但数据结构、部门磨损治理及异样恢复需要主机配合介入。

是以，HBF的职责划分也差别在HBM及传统SSD。基在DRAM的前者，无需面临NAND存于的治理繁杂度；后者虽然一样利用NAND，但地址转换、垃圾收受接管及磨损治理凡是由SSD节制器完成，上层软件基本感知不到这些治理历程。

HBF则处在另外一种状况：Base Die保留了装备侧节制能力，但未将所有NAND介质治理彻底封装起来。为了充实使用其容量及并行带宽，xPU主机和其软件仍需理解通道、数据结构及部门介质状况。

这恰是HBF最焦点的弃取：它把年夜容量NAND移到更接近计较的位置，同时也要求硬件、固件、运行时软件与事情负载的数据结构举行更慎密的协同。

作者持久存眷AI芯片上下流，更多信息可添加微信Evelynn7778交流。

都叫3D芯片，为何是三门差别的买卖？

2026-08-05

独家丨把芯片设计交给AI，上海AI Lab李林阳创业获数万万元首轮融资

2026-07-09

雷峰网原创文章，未经授权禁止转载。详情见转载须知。