内容详情

阅读深度内容,快速掌握核心信息与延伸观点

本页聚焦文章正文、阅读辅助信息、相关推荐与分享入口,帮助用户在单篇内容中获得更完整的浏览体验。

Insight Reading
Article View 899 实时阅读热度

把黄仁勋的小黄鸭训练放在本地!国产端侧600T算力即将到来

编辑|冷猫 近年来,AI 算力的赛道上从来不缺故事。 就连行业巨头英伟达也不能免俗。在今年柏林的 GTC 大会上,黄仁勋带着一群可爱的机器鸭 Microduck 亮相。小黄鸭们应声起立,坐下,翻跟头,一下子风靡全球。 黄仁勋说这些小黄鸭「在 RTX Spark 上诞生,在云端一堆英伟达超级计算机上训练,又在数字孪生里学会了本事」。 近日,天数智芯在上海举办了主题为「从模型到世界」的媒体开放日 。这是这家今年 1 月登陆港股的通用 GPU 公司,上市以来首次系统性地向媒体展示产品全貌。 而「手搓版」Microduck 也出现在了开放日现场。这是通过 3D 打印和手工组装制作的机器鸭,在现场表演「走路、打盹、起身」等动作。 视频链接:https://mp.weixin.qq.com/s/h9KHZsjiO5rb25wIvN4efQ 和英伟达方案不同的是,英伟达的小黄鸭训练仍然依赖云端算力的支撑。而天数智芯的小黄鸭,在一台端侧设备上完成了全部训练流程。 这是天数智芯 最新端侧算力终端 彤央 TY1200 ,稠密算力标称值为 300 TOPS,实测性能超越英伟达 Thor T5000。 视频链接:https://mp.weixin.qq.com/s/h9KHZsjiO5rb25wIvN4efQ 在现场,一台彤央 TY1200 终端,独立完成了从环境构建、策略训练到实时仿真的全流程,机器人在虚拟环境中学会行走的过程被完整呈现。这是 国内端侧产品首次实现 GPU 加速的物理仿真引擎本地运行 在此次开放日中,同台亮相的除了端侧算力终端 彤央 TY1200 之外, 还有最新的算力卡 天垓 300 云端通用 GPU 「用 AI 开发 AI」的软件栈 硬核内容警告。接下来,我们将关注端侧,看看这个能把英伟达在云端完成的小黄鸭训练拉到本地的国产终端,到底是什么来头。 彤央 TY1200:把云端能力折叠进方寸之间 端侧机会的出现,首先与模型能力的变化有关。 斯坦福 HAI《2025 AI Index》记录了一个变化:在 MMLU 上跨过 60% 得分门槛的最小模型,参数规模从 2022 年的 5400 亿,降至 2024 年的 38 亿。它说明,达到一定能力水平所需的模型体量正在飞速缩小。 在近期发布 Jetson 新模组时,英伟达表示,通用机器人和自主机器正在从研究机构走向大众市场,由此催生了对能够在边缘运行基础模型、紧凑且高能效的 AI 超级计算机的需求。 与此同时,端侧算力芯片本身也在快速迭代,算力密度和能效比逐代提升。两条曲线正在交汇,而彤央 TY1200 恰好站在了这个交叉点上,成为国产端侧算力一个全新的里程碑。 实测对标:TY1200 vs NVIDIA Thor T5000 这次,成为了各位媒体老师目光焦点的小黄鸭,正是在彤央 TY1200 端侧算力终端上完成的全链路训练。 TY1200 的算力表现究竟有多强?从标称参数来看,它拥有 300 TOPS 的稠密算力,已经相当可观。但更令人意外的是,在实际测试中,TY1200 的性能表现甚至超过了英伟达 Thor T5000。 首先看 LLM 实测数据。生成吞吐,衡量的是单位时间内能够生成多少 Token,也就是模型处理和生成文本的基本单位。 TY1200 运行 Qwen3.8-27B-AWQ 的生成吞吐,达到 Thor T5000 对照方案的 1.38 倍 。在 Qwen3.6-35B-A3B-AWQ 上,这一数值为 1.10 倍 在能够处理图像与文本的视觉语言模型测试中,TY1200 也取得了较高的相对成绩。例如,运行 Qwen2.5-VL-3B-Instruct 时,其生成吞吐为 Thor T5000 的 1.80 倍 ;Batch Size 到 32 时,则为 1.18 倍 VLA 相关测试中,TY1200 在 Cosmos-R2-2B 和 Cosmos-R2-8B 上的表现,分别为 Thor 的 1.58 倍和 1.80 倍 实机对比视频则把体验呈现得更直观。两台设备接收同一提示词后,TY1200 用了 0.223 秒开始返回首个 Token,Thor T5000 为 0.411 秒;随后,TY1200 的生成速度达到每秒 30.21 Token,而 Thor 为每秒 24.46 Token。 视频链接:https://mp.weixin.qq.com/s/h9KHZsjiO5rb25wIvN4efQ 打开端侧的无限空间 当算力从云端落到本地,AI 应用的边界也会随之拓宽。 越来越多的模型能够摆脱云端算力,甚至能够在本地完成训练之后,不仅意味着更低的延迟、更好的数据隐私保护,也让 AI 有机会深入实验室、医院、机器人等更多真实场景。 在实验室,AI 正在改变科研人员处理数据的方式。

about image
觉得有用?分享给朋友

让更多人看到这篇内容,也让有相同兴趣的读者更快找到重点信息。

推荐阅读