您的位置:主页 > 公告动态 > 正大动态 > 正大动态

英伟达芯片,最新蹊径图-国际期货

众所周知,随着天生式AI的大热,英伟达正在数据中央领域大杀四方,这也辅助他们实现了更好的业绩。凭证公司宣布的数据,停止 2023 年 7 月 30 日的第二季度,英伟达收入为 135.1 亿美元,较上一季度增进 88%,较去年同期增进 101%。

不外,英伟达现在的业绩预期许多都是基于当前的芯片和硬件所做的。但有剖析人士预计,若是包罗企业 AI 及其 DGX 云产物,该数据中央的市场规模将至少是游戏市场的 3 倍,甚至是 4.5 倍。

瑞银剖析师Timothy Arcuri也示意,英伟达现在在DGX云盘算方面的收入约为10亿美元。但在与客户攀谈后,他以为,该公司每年可能从该部门获得高达100亿美元的收入。他给出的理由是Nvidia仍然可以在DGX云上添加分外的产物,包罗预先训练的模子,接见H100 GPU等等。他说,现在这些*GPU仍然“异常难”获得接见,能够凭证需要扩大和缩小规模,并与现有的云或内部部署基础设施“基本上无缝集成”。

因此,英伟达在最近宣布了一个包罗H200、B100、X100、B40、X40、GB200、GX200、GB200NVL、GX200NVL 等新部件在内的产物蹊径图,这对英伟达未来的生长异常主要。

数据中央蹊径图

凭证servethehome披露的蹊径图,英伟达的一项重大转变是他们现在将其基于 Arm 的产物和基于 x86 的产物离开,其中 Arm 处于*职位。作为参考,通俗客户现在甚至无法购置 NVIDIA Grace 或 Grace Hopper,因此在 2023-2025 年蹊径图的客栈中显示它是一个主要的细节。以下是 NVIDIA 提出的蹊径图:

在Arm方面,英伟达设计将在2024年推出GH200NVL,在2024年推出GB200NVL,然后在2025年推出GX200NVL。我们已经看到 x86 NVL 系列与NVIDIA H100 NVL一起推出,但这些都是基于 Arm 的解决方案。然后是 2024 年推出的 GH200NVL。尚有快速追随的 GB200NVL,然后是 GX200NVL。尚有非 NVL 版本。

在NVIDIA 宣布推出双设置的新型 NVIDIA Hopper 144GB HBM3e 型号(可能最终成为 GH200NVL)的时刻,我们先容了具有 142GB/144GB 内存的 GH200 (非 NVL)。据先容,与当前一代产物相比,双设置的内存容量增添了 3.5 倍,带宽增添了 3 倍,包罗一台具有 144 个 ArmNeoverse 焦点、8 petaflops 的 AI 性能和 282GB 最新 HBM3e内存手艺的产物。

GB200 将成为 2024 年的下一代加速器,GX200 将成为 2025 年的下一代加速器。

面向 x86 市场,英伟达预计 2024 年将推出 H200,它会在 Hopper 架构上举行更新,并具有更多内存。B100和B40是下一代架构部件,随后是2025年的X100和X40。思量到B40和X40位于“企业”赛道上,而当前的L40S是PCIe卡,因此这些可能是PCIe卡。

在网络方面,Infiniband 和以太网都将于 2024 年从 400Gbps 生长到 800Gbps,然后在 2025 年到达 1.6Tbps。鉴于我们已经在 2023 年头研究了 Broadcom Tomahawk 4 和交流机,并看到了相助同伴今年的800G Broadcom Tomahawk 5 交流机,感受有点像 NVIDIA 以太网产物组合在以太网方面显著落伍。Broadcom 的 2022-2023 年 800G 系列似乎与 NVIDIA 的 2024 年升级保持一致,NVIDIA 在 2023 年中期宣布了 Spectrum 4,而Tomahawk 5 则在约莫 21-22 个月前宣布。在业界,芯片公布与投入生产之间通常存在很大的差距。

由此可见,在 Infiniband 方面,NVIDIA 是孤军奋战。从该蹊径图中,我们没有看到 NVSwitch/NVLink 蹊径图。

其他人工智能硬件公司应该会被 NVIDIA 的企业人工智能蹊径图吓到。在人工智能训练和推理领域,这意味着 2024 年将更新当前的 Hopper,然后在 2024 年晚些时刻过渡到 Blackwell 一代,并在 2025 年接纳另一种架构。

在 CPU 方面,我们最近已经看到了令人激动的更新节奏,x86 方面的焦点数目之战泛起了大幅增进。例如,英特尔的* Xeon 焦点数目预计从 2021 年第二季度初到2024 年第二季度将增添 10 倍以上。NVIDIA 在数据中央领域似乎也在紧跟这一措施。对于构建芯片的人工智能初创公司来说,思量到 NVIDIA 的新蹊径图措施,这现在是一场竞赛。

对于英特尔、AMD,或许尚有 Cerebras 来说,随着 NVIDIA 销售大型高利润芯片,他们的目的将会发生转变。它还将基于 Arm 的解决方案置于*赛道中,这样它不仅可以在 GPU/加速器方面获得高利润,而且可以在 CPU 方面获得高利润。

一个值得注重的落伍者似乎是以太网方面,这感受很新鲜。

精准的供应链控制

据semianalysis说法,英伟达之以是能够在群雄毕至的AI芯片市场一枝独秀,除了他们在硬件和软件上的结构外,对供应链的控制,也是英伟达能坐稳今天位置的一个主要缘故原由。

英伟达已往多次注释,他们可以在欠缺时代缔造性地增添供应。英伟达愿意准许不能作废的订单,甚至预付款,从而获得了伟大的供应。现在,Nvidia 有111.5 亿美元的采购准许、产能义务和库存义务。Nvidia 还分外签署了价值 38.1 亿美元的预付费供应协议。单从这方面看,没有其他供应商可以与之相媲美,因此他们也将无法介入正在发生的狂热AI浪潮。

自 Nvidia 确立之初起,黄仁勋就一直努力结构其供应链,以推动 Nvidia 的伟大增进雄心。黄仁勋曾在重述了他与台积电首创人张忠谋的早期会晤中示意:

一针2万,谁在为「童颜针」买单

“1997 年,当张忠谋和我相遇时,Nvidia 那一年的营收为 2700 万美元。我们有 100 小我私人,然后我们碰头了。你们可能不信托这一点,但张忠谋曾经打销售电话。你以前经常上门造访,对吗?你会进来造访客户,我会向张忠谋注释英伟达做了什么,你知道,我会注释我们的芯片尺寸需要有多大,而且每年都市变得越来越大而且更大。你会定期回到英伟达,让我再讲一遍这个故事,以确保我需要那么多晶圆,明年,我们最先与台积电相助。Nvidia 做到了,我以为是 1.27 亿,然后,从那时起,我们每年增进近 100%,直到现在。”

张忠谋一最先不太信托英伟达需要这么多晶圆,但黄仁勋坚持了下来,并行使了那时游戏行业的伟大增进。英伟达通过勇敢供应而取得了伟大乐成,而且通常情形下他们都是乐成的。固然,他们必须时不时地减记价值数十亿美元的库存,但他们仍然从超额订购中获得了努力的收益。

若是某件事有用,为什么要改变它?

最近这一次,英伟达又抢走了SK海力士、三星、美光HBM的大部门供应,这是GPU和AI芯片正在追逐的又一个焦点。英伟达向所有 3 个 HBM 供应商下了异常大的订单,而且正在挤出除Broadcom/Google之外的其他所有人的供应。

此外,Nvidia 还已经买下了台积电 CoWoS 的大部门供应。但他们并没有就此止步,他们还出去考察并买下了Amkor的产能。

Nvidia 还行使了 HGX 板或服务器所需的许多下游组件,例如重准时器、DSP、光学器件等。拒绝英伟达要求的供应商通常会受到“胡萝卜加大棒”的看待。一方面,他们可以从英伟达那里获得看似难以想象的订单,另一方面,他们也面临着被英伟达现有供应链所设计的问题。他们仅在供应商至关主要而且无法设计出来或多源时才使用提交和不能作废。

每个供应商似乎都以为自己是人工智能赢家,部门缘故原由是英伟达从他们那里订购了大量订单,而且他们都以为自己赢得了大部门营业,但现实上,英伟达的生长速率是云云之快,甚至已经超出了他们的想想。

回到上面的市场动态,虽然 Nvidia 的目的是明年数据中央销售额跨越 700 亿美元,但只有 Google 拥有足够的上游产能,能够拥有跨越 100 万个规模的有意义的单元。纵然AMD最新调整了产能,他们在AI方面的总产能仍然异常温顺,最高只有几十万台。

精明的商业设计

众所周知,Nvidia 正在行使 GPU 的伟大需求,行使 GPU 向客户举行追加销售和交织销售。供应链上的多位新闻人士告诉semianalysis,英伟达正在基于多种因素对企业举行优先分配,这些因素包罗但不限于:多方采购设计、设计生产自己的人工智能芯片、购置英伟达的 DGX、网卡、交流机和光学器件等。

Semianalysis指出,CoreWeave、Equinix、Oracle、AppliedDigital、Lambda Labs、Omniva、Foundry、Crusoe Cloud 和 Cirrascale 等基础设施提供商所面临的分配的产物数目远比亚马逊等大型科技公司更靠近其潜在需求。

据semianalysis所说,事实上,Nvidia 的捆绑销售异常乐成,只管之前是一家规模很小的光收发器供应商,但他们的营业在 1 季度内增进了两倍,并有望在明年实现价值跨越 10 亿美元的出货量。这远远跨越了 GPU 或网络芯片营业的增进率。

而且,这些计谋是经由深图远虑的,例如现在,在 Nvidia 系统上通过可靠的 RDMA/RoCE 实现 3.2T 网络的*方式是使用 Nvidia 的 NIC。这主要是由于Intel、AMD、Broadcom缺乏竞争力,仍然停留在200G。

在Semianalysis开来,Nvidia正在乘隙治理其供应链,使其 400G InfiniBand NIC 的交货时间显著低于 400G 以太网 NIC。请记着,两个 NIC (ConnectX-7) 的芯片和电路板设计是相同的。这主要取决于 Nvidia 的 SKU 设置,而不是现实的供应链瓶颈。这迫使公司购置 Nvidia 更昂贵的 InfiniBand 交流机,而不是使用尺度以太网交流机。当您购置具有 NIC 模式 Bluefield-3 DPU 的 Spectrum-X 以太网网络时,Nvidia 会破例。

事情还不止于此,看看供应链对 L40 和 L40S GPU 的疯狂水平就知道了。

Semianalysis透露,为了让那些原始装备制造商赢得更多的 H100 分配,Nvidia 正在推动 L40S的销售,这些 OEM 也面临着购置更多 L40S 的压力,进而获得更好的 H100 分配。这与 Nvidia 在 PC 领域玩的游戏相同,条记本电脑制造商和 AIB 相助同伴必须购置大量的 G106/G107(中端和低端 GPU),才气为更稀缺、利润率更高的 G102/G104 获得优越的分配(高端和旗舰 GPU)。

台湾供应链中的许多人都被以为 L40S 比 A100 更好,由于它的 FLOPS 更高。需要明确的是,这些 GPU 不适合 LLM 推理,由于它们的内存带宽不到 A100 的一半,而且没有 NVLink。这意味着除了异常小的模子之外,以优越的总体拥有成本在它们上运行LLM险些是不能能的。高批量巨细(High batch sizes)具有不能接受的令牌/秒/用户(tokens/second/user),使得理论上的 FLOPS 在实践中对于 LLM 毫无用处。

Semianalysis说,OEM 厂商也面临着支持 Nvidia 的 MGX 模块化服务器设计平台的压力。这有用地消除了设计服务器的所有艰辛事情,但同时也使其商品化,缔造了更多竞争并压低了 OEM 的利润。戴尔、HPE 和遐想等公司显然对 MGX 持抵制态度,但台湾的低成本公司,如超微、广达、华硕、技嘉、和硕和华擎,正在急于填补这一空缺,并将低成本“企业人工智能”商品化。

固然,这些介入 L40S 和 MGX 游戏的 OEM/ODM 也获得了 Nvidia 主线 GPU 产物更好的分配。

虽然英伟达正在面临着芯片厂商和系统厂商自研芯片的夹击。但这些结构,似乎短期内都能让英伟达高枕无忧。他们依然会是AI时代最乐成的“卖铲人”。

参考链接