英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

admin6小时前天气预报3

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

  (来源:IT之家)

  IT之家 4 月 25 日消息,英伟达今天(4 月 25 日)发布博文,宣布其 NVIDIA Blackwell 平台已适配 DeepSeek-V4-Pro 与 DeepSeek-V4-Flash 两款模型,开发者可通过 NVIDIA NIM 微服务下载部署,或利用 SGLang 与 vLLM 框架进行定制化推理。

  英伟达在博文指出,DeepSeek-V4-Pro 拥有 1.6T 总参数量与 49B 激活参数,定位高级推理任务;DeepSeek-V4-Flash 版本则为 284B 总参数量与 13B 激活参数,主打高速高效场景。

英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

  两款模型均支持 100 万 Token 上下文窗口与最高 38.4 万 Token 输出长度,覆盖长文本编码、文档分析等核心应用,并采用 MIT 开源协议。

  实测数据显示,DeepSeek-V4-Pro 在 NVIDIA GB200 NVL72 上开箱即用性能超 150 tokens / sec / user,借助 vLLM 的 Day 0 配方,开发者可在 Blackwell B300 上快速部署。随着 Dynamo、NVFP4 及 CUDA 内核的深度优化,预期性能将进一步提升。

英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

  部署生态方面,开发者可通过 NVIDIA NIM 微服务下载部署,或利用 SGLang 与 vLLM 框架进行定制化推理。SGLang 提供低延迟、均衡及最大吞吐量三种配方;vLLM 则支持多节点扩展至 100 个以上 GPU,具备工具调用与推测解码能力。

英伟达适配DeepSeek-V4 AI模型,开箱性能超150 tokens/sec/user

相关文章

美国天然气出口商将成为此次能源危机的大赢家

美国天然气出口商将成为此次能源危机的大赢家

  卡塔尔供气设施长期停运,将进一步巩固美国全球头号液化天然气出口国地位   随着伊朗袭击周边国家能源出口设施,美国能源企业有望在全球液化天然气(LNG)贸易中扮演更关键角色,并赚取巨额利润。   ...

光大期货:3月19日有色金属日报

光大期货:3月19日有色金属日报

  铜:   (展大鹏,从业资格号:F3013795;交易咨询资格号:Z0013582)   隔夜内外铜价震荡走弱,国内现货精炼铜进口窗口打开。宏观方面,美伊冲突有所升级,对方互攻能源设施引起市...

中国平安谢永林详解十五五机遇:以综合金融+医疗养老服务国家战略

  3月27日金融一线消息,中国平安今日召开2025年度业绩说明会。执行董事、总经理、联席首席执行官谢永林表示,十五五规划首次将金融强国列入规划,为金融行业发展提供了根本遵循与战略指引。规划中“投资于...

开年销量骤降三成,小鹏还被澳洲经销商“坑”?

开年销量骤降三成,小鹏还被澳洲经销商“坑”?

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!   来源:雷达Finance   雷达财经出品 文|彭程 编|孟帅   在众多国产车企高举出海大旗的当下,小鹏汽车在澳大...

崔东树:世界汽车市场特征是“穷人没有车,富人才有车”

崔东树:世界汽车市场特征是“穷人没有车,富人才有车”

专题:智能电动汽车发展高层论坛(2026)   4月11日-12日,智能电动汽车发展高层论坛(2026)在北京国家会议中心二期召开,主题为“推进新能源汽车智能化、绿色化、融合化、国际化发展”。   ...

特朗普称对伊朗冲突期间股市反弹感到意外,原以为道指会暴跌20%

  美国总统唐纳德・特朗普周二表示,伊朗冲突期间股市展现出的韧性令他感到意外,他原本以为金融市场遭受的冲击会更为严重。   在接受 CNBC 采访时,总统称他此前预计道琼斯工业平均指数与标普 500...