-
大型语言模型性能提升及解决人类价值对齐难题的关键技术
本文探讨了随着大型语言模型性能提升的困境及解决人类价值对齐难题的关键技术,介绍了OpenRLHF框架,支持超700亿参数的RLHF训练,具备简单易用、高性能、分布式训练、集成PPO实现技巧等优势。- 568
- 0
-
摩尔线程发布全新智算加速卡MTT S4000,支持48GB显存和MUSA内核
摩尔线程发布全新智算加速卡MTT S4000,支持48GB显存和MUSA内核,助力千亿大模型的分布式计算加速,提供先进的图形渲染和超高清8K HDR显示能力。- 671
- 0
-
OneFlow Global Tensor 的 Placement 和 SBP 属性详解
本文详细解释了OneFlow Global Tensor的Placement和SBP属性,以及其在分布式计算和神经网络中的应用。了解SBP相关概念,帮助读者深入理解张量在真实物理设备集群上存放的映射关系,以及在神经网络中的应用。- 50
- 0
-
OneFlow中的Global Tensor示例
本文通过一个示例介绍了如何在OneFlow中构造Global Tensor,涵盖了环境设置、placement和SBP属性的设置,以及Global Tensor的构造过程。- 394
- 0
-
FasterTransformer框架介绍及优化
本文介绍了FasterTransformer框架,包括其介绍、优化技术和示例运行方式。同时对框架中的优化技术进行了详细说明,包括OP融合等。- 292
- 0
-
MapReduce技术详解:从基础概念到性能优化最佳实践
本文深入探讨了MapReduce的各个方面,从基础概念和工作原理到编程模型和实际应用场景,最后专注于性能优化的最佳实践。了解MapReduce的核心思想和关键组件,以及如何应用于大规模数据处理。- 409
- 0
-
-
大模型分布式训练并行技术(五)-序列并行技术详解
本文详细解析了大模型分布式训练中的序列并行技术,包括Colossal-AI和Megatron-LM的不同方法和应用。此外,还介绍了Pytorch中的序列并行支持。- 283
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!