-
SD3:多模态Diffusion Transformer模型的发布及使用指南
了解SD3发布的多模态Diffusion Transformer模型,掌握ComfyUI的安装方法,并在云环境中试用测试。本文分享了SD3的特点、使用方法以及建议的云平台选择。- 147
- 0
-
PVTransformer: 基于Transformer的点到体素架构用于3D目标检测论文解读
本文解读PVTransformer: 一种基于Transformer的点到体素架构用于3D目标检测的论文,分析了其思路、关键思想、实验结果和主要贡献。- 842
- 0
-
谷歌Transformer架构更新:Mixture-of-Depths方法的性能和应用分析
最新发布的Mixture-of-Depths(MoD)方法改变了Transformer计算模式,通过动态分配大模型中的计算资源,提高训练效率和推理速度。本文对MoD方法的性能和应用进行了详细分析,包括计算量优化、动态分配FLOPs、实验性能表现等方面的内容。- 802
- 0
-
密集隐藏层连接:提升大型语言模型性能的新方法
本文介绍了密集隐藏层连接在大型语言模型中的应用,以及如何提升模型性能。通过对状态空间模型(SSMs)的分析和新方法DenseSSM的介绍,展示了如何改善模型的效率和性能。- 295
- 0
-
2023年人工智能领域发展趋势及关键技术分析
2023年人工智能领域发展趋势及关键技术分析,包括大模型、MoE方法、Transformer架构和RetNet技术的应用前景和影响。了解人工智能领域的最新发展,把握未来发展趋势。- 703
- 0
-
-
基于Transformer的长上下文语言模型优化综述论文
这篇综述论文对基于Transformer的长上下文语言模型进行了全面调研和优化,涵盖了从架构分析到未来方向的讨论,对于关注语言模型优化的AI从业者具有重要参考价值。- 577
- 0
-
MIT和微软联合研究:使用LASER技术提升大语言模型性能
MIT和微软联合研究发现,通过LASER技术对Transformer模型的特定层进行精细剪枝,可以显著提高大语言模型在某些任务上的性能,而不需要额外训练,也能降低模型大小。了解更多关于LASER技术和大语言模型性能提升的最新研究进展。- 230
- 0
-
Transformer架构图与代码不一致引发争论,Post-LN和Pre-LN的争论解析
一篇关于Transformer架构图与代码不一致引发争论的文章,分析了Post-LN和Pre-LN的争论,讨论了梯度问题。- 294
- 0
-
-
美国芯片初创公司Etched AI成功开创新技术,打造最强大的Transformer推理服务器
12月19日消息:美国芯片初创公司Etched AI成功开创新技术,将Transformer架构直接烧录到芯片中,创造出世界上最强大的专门用于Transformer推理的服务器。该服务器具有多项功能,包括实时语音代理、更好的编码与树搜索能力、多播推测解码功能等,为Transformer架构的应用带来新的可能性。- 203
- 0
-
-
LLaMA大底层架构:Transformer模型结构改进和优化方法介绍
本文介绍了LLaMA模型在Transformer原始结构上的改进,包括RMSNorm归一化函数、SwiGLU激活函数和旋转位置嵌入的具体内容和实现。通过对大语言模型结构的优化方法进行介绍,帮助读者更好地了解大语言模型底层架构。- 338
- 0
-
-
-
Scalable Self-Attention: 一种新型的自我注意机制
论文提出了一种可伸缩自我注意(Scalable Self-Attention, SSA)机制,利用两个可伸缩因子来释放查询、键和值矩阵的维度,同时解除它们与输入的绑定。通过交替叠加SSA和基于窗口的交互式自注意(IWSA),Scalable Vision Transformer (ScalableViT)在通用视觉任务上实现了优于SOTA的性能。- 83
- 0
-
如何简化Transformer块:新方法提高模型效率
这篇文章讨论了如何在不影响训练速度的情况下简化Transformer块,并通过信号传播理论来激励深度神经网络架构的实际设计选择。研究者提出了移除残差连接、值参数、投影等组件来提高模型的效率。- 810
- 0
-
-
LLaMA: 一款基础的、拥有65亿参数的大语言模型
LLaMA是一款基于transformer架构的大语言模型,通过开源并进行了一些小改进,包括前置归一化、SwiGLU激活函数和旋转位置编码。本文深入介绍了LLaMA的架构和训练细节。- 93
- 0
-
Transformer架构在CV任务中的应用及挑战-MAE介绍
本文介绍了Transformer架构在CV任务中的应用及挑战,以及与之相关的MAE(Masked Autoencoders)技术,讨论了图像重建和遮盖训练的相关内容。- 159
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!