欢迎关注我的公众号 [极智视界],获取我的更多经验分享
大家好,我是极智视界,本文来谈谈 AI训练算力,是谈谈AI发展系列的第三篇。
邀您加入我的知识星球「极智视界」,星球内有超多好玩的项目实战源码下载,链接:t.zsxq.com/0aiNxERDq
在去年六月份 (没错,是去年了),我开了一个系列 “谈谈 AI 发展”,里面规划是包含五篇内容:
- 谈谈 AI 发展第一篇:AI 训练框架 ==> 访问方式:链接;
- 谈谈 AI 发展第二篇:AI 推理框架 ==> 访问方式:链接;
- 谈谈 AI 发展第三篇:AI 训练算力 ==> 鸽了很久的本篇;
- 谈谈 AI 发展第四篇:AI 推理算力 ==> 敬请期待;
- 谈谈 AI 发展第五篇:AI 编译框架 ==> 敬请期待;
第三篇确实鸽了很久,可能由于我本身背景更偏向于算法落地,所以对于算法训练的执笔会相对谨慎 (这个意思也可以理解为:我对下一篇 AI 推理算力是会顺手一些的,hhhh ~)。最近,时不时地看到知乎上对于前两篇文章的动态,翻看一下发现收藏和喜欢的朋友挺多,偶尔也收到了一些留言希望续写,所以很自然是需要续上的。
时光斗转星移,AI 飞速发展。
满打满算,我真正进入到 AI 这个行业差不多五年多的样子,这段时间其实是正处于 AI 框架和 AI 算法本身快速发展的黄金阶段。也很有幸见证了一些 “古早” 的框架、算法,以及从 “古早” 到 “现代” 快速进化的过程,感慨良多。我决定在这几篇文章中谈谈我这个阶段对于 AI 的一些基础设施,如框架、算力、算法等的思考、感受和想法,作为一种输出,也作为一种记录,可能几年后回过头再来看,会别有一番滋味。
AI 训练算力是第一篇 “AI 训练框架” 的底座,很明显就是拿来做算法训练的算力设备。第一时间想到的当然会是英伟达的卡,记得 18 年我还在实习的时候,组里大家就只有一张卡 Titan X,是不是有点年代感了,那时候训练是要 “排班” 的,再说个还显年代感的:当时是拿着 Titan X 训练 Caffe (你就说,那帮现在做的 Pipeline 里优先支持 caffemodel 的人,是不是跟我一个年代的)。
不管是训练算力还是推理算力,英伟达始终是那个 “大山” 一样的存在,所以自然需要先来说英伟达的训练算力。要说英伟达的训练算力,首先需要介绍英伟达的几个产品线,主要如下,
- GeForce 产品线 -> 面向游戏玩家和普通消费者,包括大家熟悉的 RTX40 系列、RTX30 系列、RTX20 系列等;
- Quadro 产品线 -> 面向专业图形设计、视频剪辑等应用场景;
- Tesla 产品线 -> 面向高性能计算和机器学习任务的产品线,比如常见的 Tesla L4、Tesla A100 等;
- Tegra 产品线 -> 英伟达的移动处理器产品线,用于智能手机、平板电脑、汽车电子等领域;
- Jetson 产品线 -> 面向边缘计算和人工智能应用的嵌入式开发平台,也就是常说的边缘计算盒子,比如 Jetson Xavier NX、Jetson Xavier Orin 等;
- Drive 产品线 -> 面向自动驾驶技术,包括从云端到车端的全流程;
- DGX 产品线 -> 做服务器的;
拿板级训练算力来说,主要指的就是 GeForce 和 Tesla 系列,可以看到身边很常见的训练服务器,比如 RTX 2080 服务器、RTX 3090 服务器、V100 服务器、A100 服务器都属于英伟达这两个产品线,其实你也会发现所谓的 “游戏卡” 和 “训练卡” 往往会 “傻傻分不清”,主要指的就是 GeForce 系列。这个系列如 RTX 3090,有人拿来打游戏,有人拿来训练模型。而 Tesla 系列,基本就是标准的 GPGPU 了,就是专门用来做高性能计算的。另外值得一提的是 RTX4090D,这款龙年特供卡基本就是被禁的 4090 的 “阉割版”,我去查了下现在京东上已经开始 4090D 的预购预约了。这款卡也许是很多游戏人的福音,但在算法训练领域,同样是个很好的选择。
下面从时间线上来进行分析,分为古代、近代、现代和未来展开,当然下面的 GPU 架构只是一个参考,并不具备直接的串行递进关系,
- 古代 -> P100、Titan X、2070、2080 等;
- 近代 -> V100、3080、3090 等;
- 现代 -> A100、A800、H100、H800、4090 等;
- 未来 -> B100 等;
这么来看,似乎很多的普通 AI 企业的算力还是停留在 “古代” – “近代”,”现代” 的卡是存货是土豪都买不到的,而 “未来” 也只能想想。
再来看咱们的国产训练卡,这里主要提两款,一个是华为昇腾 Ascend 910b,一个是天数天垓100 BI-V100 (以及新一代天垓150)。先说天数的,前几天有个读者问我:国产训练卡有啥推荐的 (除了昇腾外),当时我刚看完 “2023 人工智能计算大会” 智源研究院林咏华老师分享,随之很自然的脱口而出:可以看看天数的。看下面两张图吧,我知道的是天垓 BI-V100 是对标 NVIDIA V100 的,至于 BI-V150 是什么级别,这个目前我还不太清楚。
来说昇腾 Ascend 910b,对于昇腾 910b 处于什么样的水平,23 年科大讯飞三季度业绩说明会上已经给昇腾 910b 定了一个 “基调”:”昇腾 910b 芯片的性能已经达到了英伟达 A100 芯片的水平,甚至在某些方面还有所超越“。所以现在很多提到昇腾 910b,都会拿 “可直接对标 A100” 来形容。虽然我没用过昇腾 910b,但是从它的算力性能数据来看,确实是挺强的。另外更加重要的是昇腾的 “基建能力” 特别强,超算中心已经有好几个,杭州范围内就有滨江超算中心和宁波超算中心,下面是前段时间参加昇腾开发者大会的图。”杭勇双算 智惠浙里,日昇月恒 奔腾不息“,不得不说,华为是懂 “对联” 的。
另外还有朋友可能会说,是不是忘了天河、忘了神威太湖之光等等,当然没忘,只是这些主要是用于科学计算而非 AI 计算。
好了,以上分享了 谈谈 AI 发展第三篇:AI 训练算力,希望我的分享能对你的学习有一点帮助。
【公众号传送】
畅享人工智能的科技魅力,让好玩的AI项目不难玩。邀请您加入我的知识星球, 星球内我精心整备了大量好玩的AI项目,皆以工程源码形式开放使用,涵盖人脸、检测、分割、多模态、AIGC、自动驾驶、工业等。一定会对你学习有所帮助,也一定非常好玩,并持续更新更加有趣的项目。 t.zsxq.com/0aiNxERDq