-
Riva SDK:GPU加速的实时语音识别和语音合成服务
Riva是NVIDIA推出的SDK,使用GPU加速实时的语音识别和语音合成服务。支持多语种语音识别,可定制化功能,适用于客服、会议系统等多种场景。- 404
- 0
-
5种搭建开源大语言模型服务的方法详解
本文详细总结了5种搭建开源大语言模型服务的方法,包括使用Anaconda + CPU和Anaconda + GPU等不同的搭建方式,以及它们各自的优缺点和性能比较。对于需要搭建大语言模型服务的读者来说,本文提供了实用的操作步骤和性能对比,帮助他们选择适合自己需求的搭建方法。- 511
- 0
-
英伟达最新推出的Nemotron-4语言模型引起广泛关注
英伟达最新推出的Nemotron-4语言模型拥有150亿参数,在多语言任务中表现出色。该通用大模型在单个A100或H100GPU上运行,为英伟达在通用大模型领域设定新标准。- 428
- 0
-
Minuet: 加速GPU上的3D稀疏卷积论文及代码链接
本文介绍了Minuet,一种专为现代GPU架构设计的内存高效的3D稀疏卷积引擎,通过新颖的算法和优化实现了对稀疏网络的加速,论文链接和代码链接均可在本文中找到。- 452
- 0
-
GPU加速的数据库技术:时空数据处理的新智能时代
本文介绍了基于GPU加速的数据库技术在时空数据处理领域的应用,以及生成式人工智能技术对非领域专家进行复杂时空数据处理的影响。文章分析了物联网数据的增长趋势和挑战,并探讨了GPU加速和生成式人工智能的融合对时空数据分析的重大影响。- 200
- 0
-
-
-
-
算力不足是制约通用人工智能发展的重要因素,无问芯穹的解决方案值得关注
文章介绍了算力不足对通用人工智能发展的影响,以及清华系创业公司无问芯穹的解决方案。无问芯穹通过大模型计算优化引擎推动实现大模型推理速度提升,为市场带来新的算力增量,并计划通过与算力中心合作,直接为 B 端和 C 端开发者提供低成本算力。- 740
- 0
-
GPU在高性能计算和深度学习加速中的重要性及通信硬件实现方式
了解GPU在高性能计算和深度学习中的关键作用,以及通信硬件实现方式,特别是PCIe通信协议。深入了解通信硬件对于分布式机器学习系统加速的重要性。- 774
- 0
-
NVIDIA TensorRT-LLM:人工智能推理的新利器
NVIDIA最新的巨头TensorRT-LLM在人工智能领域掀起了一场推理复兴,通过一系列开创性的优化和创新技术,加速了人工智能推理的速度和性能,成为大型语言模型的新利器。- 632
- 0
-
PowerInfer:高速LLM推理引擎,实现11倍加速
PowerInfer是一个高速的LLM推理引擎,通过GPU-CPU混合推理实现了11倍以上的加速,保持模型准确性。本文介绍了PowerInfer的架构设计和与其他本地LLM推理框架的比较实验结果。- 549
- 0
-
使用Colab在谷歌云端硬盘安装Stable Diffusion WebUI教程
本教程详细介绍了如何使用Colab在谷歌云端硬盘上安装Stable Diffusion WebUI,让您能够轻松使用AI模型进行图像生成,并充分利用谷歌云端硬盘的空间和GPU加速功能。- 111
- 0
-
-
-
-
PyTorch FSDP微调Llama 2 70B:最佳实践与挑战解决方案
本文介绍了如何使用PyTorch FSDP和相关最佳实践微调Llama 2 70B,并解决在此过程中遇到的挑战。同时提供了硬件配置和准备工作等相关信息。- 843
- 0
-
Ubuntu源码编译GPU版FFmpeg教程
本文介绍了在Ubuntu系统下,通过编译源码实现GPU加速的FFmpeg,包括安装nv-codec-hearers、ffmpeg编码库和ffmpeg本身的详细步骤。- 217
- 0
-
NVIDIA RAPIDS cuDF介绍及Python GPU DataFrame库使用示例
本文介绍了NVIDIA的RAPIDS cuDF的特性和用法,以及使用示例展示了cuDF在Python GPU DataFrame库中的应用,涵盖了GPU加速、数据处理和Python库等内容。- 100
- 0
-
掘金·启航计划参与体验:Web LLM 在浏览器内运行的AI助手
掘金·启航计划参与体验Web LLM,了解在浏览器内运行的AI助手,实现GPU加速,支持深度学习模型,以及基于LLM的聊天机器人。- 196
- 0
-
-
-
MLPerf基准测试:11分钟训完GPT-3真的能全赢了吗?
MLPerf基准测试中,英伟达H100 GPU芯片创下新纪录,但是否真的在11分钟内训完GPT-3还存在争议。阅读本文了解详情。- 406
- 0
-
如何结合profiling工具发现训练与推理的性能瓶颈
本文介绍如何利用profiling工具结合GPU产品特点,利用算子融合、低精度等技术,以及Faster Transformer最佳实践,发现训练与推理的性能瓶颈,并提升性能加快吞吐。- 413
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!