-
PowerInfer:高速LLM推理引擎,实现11倍加速
PowerInfer是一个高速的LLM推理引擎,通过GPU-CPU混合推理实现了11倍以上的加速,保持模型准确性。本文介绍了PowerInfer的架构设计和与其他本地LLM推理框架的比较实验结果。- 549
- 0
-
ChatGLM-6B大模型在昇腾910加速卡上的模型推理环境搭建
本教程介绍了如何在昇腾910加速卡上搭建 ChatGLM-6B 大模型的模型推理环境,包括NPU驱动、CANN软件、深度学习框架等的安装过程。- 289
- 0
-
Triton推理服务架构设计与模型并行执行逻辑
本文从更高的技术视野来看一个推理系统以及Triton的架构是如何进行设计的。同时探讨了Triton推理服务的大体流程和生态的重要组成组件和重要特性。- 312
- 0
-
-
阿里云PAI-EAS全新推理规格GU30问世,释放技术红利
阿里云PAI-EAS宣布全面升级模型服务平台,推出全新推理规格GU30,释放技术红利,为AI推理环节提供弹性稳定的推理服务,并价格优惠45%。- 93
- 0
-
-
LLaMA模型:基于模型推理的开放式大型语言模型
本文从模型推理角度总结了LLaMA模型的主要思想、结构和性能,介绍了基于LLaMA finetune的模型,展示了LLaMA模型在开放数据集上的优异性能和与其他大型语言模型的竞争力。- 212
- 0
-
PyTorch团队教你加速大模型推理 | Torch.compile, GPU量化, 张量并行
PyTorch团队分享了如何使用Torch.compile, GPU量化和张量并行等方法加速大模型推理的技巧,为机器学习社区提供了宝贵的优化经验和教程。- 824
- 0
-
GPU资源有限的初创企业人工智能领域的策略分享
本文分享了针对GPU资源有限的初创企业在人工智能领域的策略,包括在用户端进行模型推理、将产品服务商品化、专注于某一特定的垂直市场等策略,帮助初创企业在竞争中脱颖而出。- 318
- 0
-
基于PaddleMIX的音乐快速生成 – 一键预测组件appflow安装和使用教程
本教程介绍了基于PaddleMIX的音乐快速生成,包括PaddleMIX安装、appflow安装和使用、ppdiffusers安装、以及文本-音频生成的过程。适合对人工智能和音频生成感兴趣的开发者。- 415
- 0
-
Shufflenetv2模型推理过程解析
了解Shufflenetv2模型的推理过程,包括输入数据准备、网络推理代码流程、模型推理结果后处理等步骤。深入了解神经网络推理过程,加强对深度学习模型的理解和应用。- 449
- 0
-
Habana Gaudi2 使用 Optimum Habana 实现大模型推理加速
本文介绍了如何在Habana Gaudi2上使用Optimum Habana实现大模型推理加速,展示了BLOOMZ在Gaudi2、第一代Gaudi和Nvidia A100 80GB上的早期基准测试结果,并讨论了深度学习优化库DeepSpeed的应用。- 358
- 0
-
在Sapphire Rapids CPU上加速Stable Diffusion模型推理的技术
本文介绍了如何利用Sapphire Rapids CPU加速Stable Diffusion模型的推理,展示了相关技术和代码示例。同时也提到了使用的硬件和预览阶段的访问权限。- 289
- 0
-
视频动作识别案例学习
本文分享了华为云社区的视频动作识别案例学习,通过学习本案例可以掌握C3D模型训练和模型推理、I3D模型推理的方法,并介绍了视频动作识别的难点和相关数据集。推荐使用TensorFlow-1.13.1和GPU运行。- 344
- 0
-
CoT(思维链):提高大语言模型准确性的方法
本文介绍了CoT(思维链)方法,通过让GPT参考Prompt中的中间推理步骤,从而提高大语言模型的准确性。同时也讨论了CoT的适用场景和局限性,以及提供了一个简单的AutoCoT的开源项目。- 355
- 0
-
TensorRT-LLM:大模型推理的解决方案
本文将介绍TensorRT-LLM的基本特性,以解决大模型推理成本高的问题,并讨论其在深度学习框架中的应用。欢迎了解TensorRT-LLM,探索大模型推理的解决方案。- 491
- 0
-
Habana® Gaudi®2 加速模型训练和推理详解
本文介绍如何使用 Habana® Gaudi®2 加速模型训练和推理,以及基准测试结果。通过英特尔开发者云访问 Gaudi2,以及评估 Gaudi2 在各种尺寸的模型上的训练和推理能力。- 181
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!