来源:极速直播
2025-01-28 16:47:26
“预训练”是AI大模型学习中的一种方法,指的是通过海量的数据,训练一个大模型。训练时需要大量的数据和算力支持,每次迭代可能耗资数百万至数亿美元。
官方技术论文披露,DeepSeek-V3在预训练阶段仅使用2048块GPU训练了2个月,且只花费557.6万美元。这个费用是什么概念?
据报道,GPT-4o的模型训练成本约为1亿美元。简单粗暴地说,这相当于DeepSeek-V3比同等性能的AI大模型,降了十几倍的成本。
早在2024年5月,深度求索发布DeepSeek-V2时,就曾因给模型的定价太过于便宜,开启了中国大模型的价格战,被称之为“AI界的拼多多”。
“相比于说它是‘拼多多’,它更像小米,贴近成本定价,并且自产自销。”马千里认为,训练成本比较低的原因,离不开深度求索团队自研的架构和算力,他们自身的算力储备可以与大厂比肩,并且更注重底层的模型。
“ChatGPT走的是大参数、大算力、大投入的路子,DeepSeek-V3的路径用了更多的巧思,依托数据与算法层面的优化创新,从而高效利用算力,实现较好的模型效果。”马千里说道。
相关新闻
谁顶得住!Sask看诺诺分析T1换下Gumayusi:刚夺冠就被换挺变态的
来源 : 极速直播2025-02-07 21:46:17
Peanut发文:感谢大家每年给予我的爱与支持,愿大家都幸福!
来源 : 极速直播2025-02-07 21:46:16
销量火热!《GTA》系列销量破4.4亿!其中《GTA5》销量达2.1亿
来源 : 极速直播2025-02-07 21:46:14
FPX对阵NIP赛前预热视频:是否会想起那碗蛋炒饭的味道
来源 : 极速直播2025-02-07 21:46:10
Kingen两局砍下6/4/10的战绩,获得NS对阵BRO系列赛POG
来源 : 极速直播2025-02-07 21:46:09
TES发布训练返图:勤勉逐胜的每一个当下,都是未来答案的拼图
来源 : 极速直播2025-02-07 21:46:09
他曾经来过!“CEO杀手”路易吉曾以实习生帮助《文明6》修复过300多个Bug
来源 : 极速直播2025-02-07 21:46:05
《黑神话》实体版在日本超受欢迎!发售首周冲进销售榜前三
来源 : 极速直播2025-02-07 21:46:01
IG发布选手互动视频:第一届極人摄影大赛颁奖典礼暨拍摄纪录片
来源 : 极速直播2025-02-07 21:46:00
NIP发布对阵FPX赛前预热:助力inb哥“再续前缘”
来源 : 极速直播2025-02-07 21:45:59