-
StripedHyena: 一个针对长上下文的新型语言模型
最近开源的StripedHyena语言模型采用了针对长上下文的新架构,能处理高达128k个token的长上下文,并且改进了Transformer架构在训练和推理上的性能。同时,通过实验结果显示,StripedHyena在端到端训练中比传统transformer快30%、50%和100%以上,是一个值得关注的新型语言模型。- 676
- 0
-
LongChat-7B和LongChat-13B:开源大模型的长上下文能力实测
最新研究发现开源大模型LongChat-7B和LongChat-13B在长上下文任务中表现优异,支持高达16K token的上下文长度。对商业闭源大模型的性能也进行了比较,结果显示商业模型长上下文能力较强。了解LongChat模型如何从2048个token的上下文长度训练到16K,以及其优势所在。- 437
- 0
-
全新近似注意力机制HyperAttention:解决长上下文计算挑战
本文介绍了一种名为HyperAttention的全新近似注意力机制,用于解决大型语言模型中使用的长上下文日益复杂带来的计算挑战。研究者通过实验和结果验证了该算法在处理长上下文时的性能和加速度。- 259
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!