-
Transformer大模型尺寸变化: 重走CNN老路,贾扬清的感慨和趋势预测
本文分析了Transformer大模型尺寸变化的趋势,与CNN发展历程的对比,贾扬清等AI专家的感慨和趋势预测,以及行业对小型垂直模型的关注。了解模型规模变化对AI行业发展的影响。- 749
- 0
-
Yann LeCun支持的因果推理在GenAI领域的研究进展
Yann LeCun支持的因果推理在GenAI领域引发研究热潮。最新研究探讨了如何将因果关系引入深度学习模型,通过公理框架训练模型实现了超越传统大模型的表现。论文详细剖析了如何通过符号化公理示例训练Transformer模型学习因果关系,从而提高泛化能力。- 703
- 0
-
Character.ai:AI推理成本降低到1/33的秘密优化技巧
Character.ai是一家处理AI推理请求的独角兽公司,通过内存高效架构设计和精度量化训练等优化技巧,成功将推理成本降低到最初的1/33。了解Character.ai的独门秘诀,实现AI推理成本的革命性优化。- 554
- 0
-
-
-
-
2023年视频生成技术发展趋势及关键技术分析
2023年视频生成技术发展迅速,OpenAI推出了能生成1分钟流畅、逼真视频的Sora,引发了国内外AI技术发展的关注。本文分析了Sora的核心技术点,以及与其他相关技术架构的比较,展现了视频生成领域的发展趋势和关键技术。- 860
- 0
-
-
Transformer 模型在多步规划任务中的性能提升及新颖方法探讨
本文探讨了基于 Transformer 的模型在多步规划任务中的性能提升及新颖方法,包括搜索动态引导技术的应用以及训练数据和模型参数对性能的影响。同时对比传统符号规划算法,展示了新模型在解决推箱子任务时的优势。- 767
- 0
-
基于transformer架构的大型语言模型加速方法BiTA研究报告
本报告介绍了基于transformer架构的大型语言模型加速方法BiTA的最新研究成果,探讨了在资源受限或需要实时应用时,BiTA的可插即用的加速方法,旨在加速LLMs的同时保持原始输出不变。- 632
- 0
-
清华和极佳科技联手推出全新视频生成通用世界模型——WorldDreamer
清华大学和极佳科技联手推出全新的视频生成通用世界模型——WorldDreamer,该模型基于Transformer构建世界模型,能实现多种视频生成任务,包括文生视频、图生视频、视频编辑等,具有高质量电影级别视频生成能力。同时,WorldDreamer还支持视频修改、视频风格化等功能,是业界首个基于Transformer的视频生成方案。- 513
- 0
-
基于Transformer+自回归预训练的视觉模型训练方法
了解基于Transformer+自回归预训练的视觉模型训练方法,探讨其模型结构、实验结果和优化目标,以及对图像分类任务的影响。该方法可能成为图像大模型预训练的一种主要方式。- 605
- 0
-
Understanding Video Transformers
本研究旨在解释视频Transformer的决策过程,特别是自动发现的高级时空概念,通过引入视频Transformer概念发现(VTCD)算法系统来解决这一挑战。- 266
- 0
-
Transformer模型在长度外推方面的研究进展及位置编码方法综述
本文全面总结了Transformer模型在长度外推方面的研究进展,重点关注位置编码方法,是对NLP领域相关工作的系统性综述。- 339
- 0
-
AI算命:丹麦科学家用Transformer模型成功预测意外死亡和个性特点
丹麦科学家利用Transformer模型成功预测意外死亡和个性特点,探索人工智能在生活事件预测领域的应用。了解如何利用大数据和强大的机器学习算法来预测个体生活事件的结果。- 88
- 0
-
基于Transformer的LLM模型体系结构优化长上下文能力的最新研究进展
本文综述了基于Transformer的LLM模型体系结构在优化长上下文能力方面的最新研究进展,涵盖了预训练、推理等所有阶段的优化技术和挑战,对于对长文本处理感兴趣的研究者具有重要参考价值。- 745
- 0
-
StripedHyena: 一个针对长上下文的新型语言模型
最近开源的StripedHyena语言模型采用了针对长上下文的新架构,能处理高达128k个token的长上下文,并且改进了Transformer架构在训练和推理上的性能。同时,通过实验结果显示,StripedHyena在端到端训练中比传统transformer快30%、50%和100%以上,是一个值得关注的新型语言模型。- 676
- 0
-
Transformer与状态空间模型(SSM)对比与结合的优势分析
本文对Transformer和状态空间模型(SSM)在处理长序列方面的优劣进行了分析,并提出了它们结合的可能性,适合对比与结合的优势分析。- 127
- 0
-
MIT博士生发现:简单修剪Transformer特定层显著提高模型性能
MIT博士生发现,通过对Transformer特定层进行简单修剪,即可在缩小模型规模的同时显著提高模型性能,适用于文本理解和强化学习任务。- 751
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!