金磊 发自 凹非寺

量子位 | 公众号 QbitAI

大模子的落地才气，中枢在于性能的踏实输出，而性能踏实的底层撑执，是刚劲的算力集群。其中，构建万卡级算力集群，已成为众人公认的顶尖时间挑战。

然则，在华为，昇腾万卡算力集群，依然不错作念到近乎“永不歇工”了：

老师可费用达98%：这就好比你开着一辆车，全年365天里，有358天不管起风下雨王人能一脚油门就起程，从不掉链子，有问题不错随时搜检，简直不会贻误你的任何行程。线性度超95%：比如用1000台算力卡干活比用100台快9.5倍以上，重迭更多算力，老师速率类似等比栽培，不铺张资源。秒级复原、分钟级会诊：无论老师如故推理，故障后几秒钟就可复原；几分钟内定位到具体是哪台机器、哪个部件出问题。

有时有小伙伴要问了：AI算力需要如斯24小时不隔断的运作吗？

谜底是信服的，需要，且有必要。

因为小到咱们用手机导个航，背后王人会有几十个AI模子在发力来分析路况、瞻望拥挤；再如病院用AI援助会诊癌症，系统得在斯须处理掉成百上千的CT像片。

这些看似约略的智能应用，其实王人离不开如 “超等大脑” 般的AI算力集群，需要它们全天候继续歇地运转着。

而要保证有这样的才气，高老师可费用、高线性度、快速排斥故障，就格外于给AI发动机上了一份强有劲的保障。

更严格来说，AI推理的可费用以致还需要达到99.95%的程度。

那么华为又是奈何作念到这点的？

对于这一切背后的奥妙，华为在今天初次把时间给公开了出来。

高可用的中枢：三套“智能保障系统”

AI大集群出问题时，定位故障高出穷苦；毕竟系统限制强大，软件和硬件构成的时间栈纵横交叉，况兼调用链条还很长。

要解决问题，早先得笃定故障出在哪个大的界限，接着再在这个界限里面一步步排查，笃定具体的故障位置。在所有这个词故障会诊进程中，面对的挑战相当大。

以往时间东说念主员进行故障定位时，短则需数小时，长则可能耗时数天。这一进程不仅对时间东说念主员的专科技能条件颇高，且往往难以快速锁定故障开辟及根柢原因。

为此，华为团队针对AI大集群面对的复杂挑战，构建了三大基础才气。

早先是全栈可不雅测才气。

它像是给集群装了一套“洞察秋毫”监控系统（故障感知），主要包含这几部分：

集群运行视图：及时检察集群合座运作事态，那儿 “卡壳” 一目了然；告警视图：那儿出问题了，系统会主动 “打敷陈”，快速发出警报；收罗链路监控：盯着收罗相接的 “血管”，确保数据传输顺畅；告警接入和配置：长入督察各式警报信息，还能把柄需求活泼确立指示步骤；收罗流可不雅测才气：跟踪数据在收罗中的 “流动轨迹”，那儿堵了立时能发现。

同期，华为还拿出了一套 “故障会诊组合拳”，包含四大中枢才气：

全栈故障阵势库：就像一册 “故障字典”，收录了各式可能的问题阵势，通俗快速对照排查；跨域故障会诊：不管故障藏在哪个 “界限”（软件、硬件、收罗等），王人能跨区域 “聚拢破案”；策动节点故障会诊：精确定位策动单位（比如办事器）的具体问题，揪出 “歇工” 的节点；收罗故障会诊：有益拼集收罗里的 “疑难杂症”，比如断网、延伸高、链路特地等。

这套组合拳让集群故障会诊更高效，就像给工程师配了 “智能考核器具”，大大裁减了找问题的期间。

临了，是一套“钢铁韧带”自愈系统（容错假想）。

想要把超平面收罗的犀利之处十足进展出来，超节点的限制就得富裕大。不外到现时，还莫得哪个团队能用光链路搭建超节点并见效的。

于是，华为团队就酌量出一套超节点光链路软件容错的好主义。

这套主义就像给超节点穿上了好几层 “顾惜铠甲”，用上 “超时间答”“绿色通说念” 这些要道时间后，超节点基本不会出现大故障。

同期，又通过链路级重传、光模块动态诊治Lane、从头践诺HCCL算子、借轨通讯、双层路由快速复原、Step级从头诊治等时间，让超节点对光模块蓦地中断这类故障的承受才气变得超强，能容忍早先99%的光模块闪断情况。

哪怕超节点里的光模块数目一下子加多了10倍还多，依靠软件栽培可靠性的技能，再配合光链路压力测试时间，光模块闪断的概率能申斥到和传统电链路差未几的水平，稳稳保障超平面收罗不出问题。

况兼，华为团队还打造出Step级重诊治才气，已往遭遇频繁的 HBM 多比特 ECC 故障，确立可能要花很永恒间，现时1分钟内就能处分，用户因为故障亏损的算力也减少了5%，实的确在地省下了不少 “策动力”。

策动卡再多，也不影响效力

线性度方针，约略来说等于看算力卡数目加多后，老师任务的速率或效力能提高若干（比如完成期间裁减的比例）。

举个例子：如果算力卡加多2倍，老师速率也能接近2倍，讲解线性度高；如果速率只提高1.2倍，就讲解线性度差，资源没被充分诈欺。

为了让老师效力随着算力卡增多而 “更成正比地栽培”，华为团队研发了四项要道时间：

TACO（拓扑感知的协同编排时间）：就像给算力卡 “排兵列阵”，把柄硬件相接结构（比如收罗拓扑）智能分派任务，幸免 “通讯堵车”。SF（收罗级网存算和会时间）：把收罗传输、数据存储和策动才气 “打包优化”，让数据在算力卡之间流动更顺畅，减少恭候期间。B（拓扑感知的头绪化聚积通讯时间）：针对大限制集群假想 “分层通讯政策”，比如让合并区域的算力卡先快速配合，再跨区域同步，栽培合座通讯效力。AICT（无侵入通讯跨层测量与会诊时间）：不滋扰时时老师的前提下，及时 “监控” 通讯链路，快速发现那儿 “卡顿” 并确立，确保数据传输踏实。

通过这四项时间，华为让Pangu大模子的老师线性度（即效力随算力卡加多的栽培比例）彰着提高。

合座有策动的念念路大略如下图所示：

实验及表面分析收场领悟，老师Pangu Ultra 135B广漠模子时，4K卡Atlas 800T A2集群比较256卡基线，线性度为96%。

老师Pangu Ultra MoE 718B寥落模子时，8K卡Atlas 800T A2集群比较512卡基线，线性度95.05%；4K卡CloudMatrix 集群比较256卡基线，线性度96.48%。

具备秒级复原的才气

在大限制AI集群运行时，往往会因为各式硬件或软件故障，导致老师任务蓦地中断。

现时行业里常用的主义是，在老师进程中按时保存 “程度归档”（CKPT），等故障确立后从归档点陆续老师。

华为则凭借软硬件全方面的时间转换，打造了一套 “分层分级” 的老师任务故障快速复原系统。

约略来说，等于针对不同类型、不同程度的故障，制定了对应的 “快速重启有策动”，让老师任务能更快 “续上”。

不同层级的故障复原才气不错参考底下这张图：

除此以外，华为遴荐了一系列提速 “黑科技”：比如优化数据集查找速率、缓存模子编译收场、加速通讯链路建立、栽培老师程度保存效力。

这些时间后果显赫：如果是万卡限制的超大型集群，从故障中复原老师，10分钟内就能处分；如果用 “进程级重诊治复原” 法式，3分钟内就能接着老师；如果用更犀利的 “进程级在线复原”，30秒就能从头运转老师。

况兼，不管集群限制有多大，模子有多复杂，复原期间基本不受影响，还能把因为故障导致的老师程度倒退期间，压缩到一次老师轮回的时长。

这样一来，AI集群能用的期间大大加多，大模子老师的效力也快了好多。

在老师阶段后的推理，也有诸多问题亟待解决。

当千亿级MoE模子继续升级，模子部署的收罗结构也随着变了。已往单机8卡就富裕跑一个推理实例，如今，大EP模子架构下，需要数十乃至上百张卡才能撑执推理运行。

但新架构带来个穷苦：用的开辟越多，出故障的可能性就越大，况兼一朝有问题，影响的范围会高出广。

惟一有一个硬件出故障，所有这个词Decode实例（不错领悟成模子运行的一个 “小团队”）就没法责任了，平直导致AI推理业务出问题，严重的话所有这个词业务王人会停摆。

为了解决大EP推理架构容易出故障的难题，华为团队想出了一个分三步的 “保障贪图”：

第一步是实例间切换，就像给业务准备了 “备用团队”，一个实例不成了，立时换另一个顶上；第二步是实例内重启复原，发实践例里有问题，快速重启里面智力，让它从头时时责任；第三步是实例内无损复原，即使出故障也不丢失数据，在不影响业务的情况下确立问题。

这三步有策动需要芯片驱动、框架软件、平台系统各个层面良好配合，构成一套齐备的 “顾惜网”。遭遇不同类型的故障，就用最稳妥的复原法式，尽可能减少对用户的影响，让AI推理业务稳稳运行。

在实例内重启复原时间中，通过构建带内快速故障感知和重诊治机制，搭配参数权重预热和镜像预热时间，能把实例里面的重启复原期间压缩到5分钟以内。

还有一项很犀利的TOKEN级重试时间，当遭遇HBM KV Cache故障时，从故障发生到从头输出Token的所有这个词复原进程不到10秒。

对比业界鄙俚需要10分钟才能复原实例的情况，这项时间能将故障带来的影响申斥60倍，简直让用户嗅觉不到故障发生，极大栽培了系统的踏实性和用户体验。

牵挂来看，针对AI算力集群的高可用性，华为团队转换性提倡了“3+3”双维度时间体系，即故障感知会诊、故障督察、集群光链路容错等三大基础才气，以及集群线性度、老师快恢、推理快恢等三伟业务撑执才气。

这六大转换均带来了相当可不雅的收益，比如万卡集群老师可费用达到98%、集群训推最快达到秒级快恢、集群线性度达到95%+、千种故障阵势库与分钟级故障会诊等。

时间敷陈地址：

https://gitcode.com/ascend-tribe/ascend-cluster-infra/blob/main/HighAvailability/ascend-cluster-infra-ha.md

— 完 —

量子位 QbitAI

温雅咱们正规买球的app，第一期间获知前沿科技动态