-
大模型系列课程第一节:ChatGPT简介及预训练机制解析
本文介绍了大模型系列课程的第一节内容,重点讲解了ChatGPT的生成式模型机制和预训练原理,适合对机器学习和文本生成感兴趣的读者阅读。- 475
- 0
-
谷歌研究引入轻量级预训练评分器Cappy解决多任务语言模型挑战
最新研究论文介绍了谷歌研究引入的轻量级预训练评分器Cappy,旨在解决大型多任务语言模型的挑战,提高性能和效率。Cappy基于RoBERTa架构,利用多样化的数据集进行预训练,解决了在多任务场景中有效利用大型语言模型的挑战,同时展示了其在各种任务上的参数效率和性能的优越性。- 853
- 0
-
TinyLlama: 1.1B Llama 模型的开源预训练项目推介
TinyLlama 是一个开源预训练项目,旨在解决语言模型在边缘设备上使用的挑战。该项目采用了与 Llama 2 完全相同的架构和 tokenizer,适用于许多基于 Llama 的开源项目。- 125
- 0
-
-
-
-
大语言模型预训练数据集搜集与清洗全过程详解
本文详细介绍了参与得物大语言模型项目的预训练数据集搜集与清洗全过程,包括现有预训练数据集梳理、英文数据集的概况以及清洗规则等内容,为大语言模型训练提供了全面而实用的参考。- 775
- 0
-
2023年开源大型语言模型发展回顾及预训练模型的配方
2023年,开源大型语言模型受到广泛关注,本文回顾了开源LLMs的发展历程,并介绍了预训练模型的配方,包括模型架构、训练数据集、分词器和训练超参数等内容。- 493
- 0
-
-
-
深度学习进阶篇-预训练模型[3]:XLNet、BERT、GPT,ELMO的区别优缺点,模型框架、一些Trick、Transformer Encoder等原理详细讲解
本篇文章详细介绍了XLNet、BERT、GPT和ELMO预训练模型的区别、优缺点,模型框架、一些Trick以及Transformer Encoder等原理。同时介绍了XLNet模型的核心建模思路和Permutation Language Model。- 480
- 0
-
-
SPBERT: 一种结构化预训练模型用于SPARQL查询语言
SPBERT是SPARQL查询语言的第一个结构化预训练模型,可以在自然语言处理中发挥重要作用。本文介绍了SPBERT的模型架构、预训练设置和实验结果。- 363
- 0
-
使用LSH算法实现简单的图像搜索功能
本文介绍了使用LSH算法在预训练图像分类模型基础上实现简单图像搜索功能的过程,涉及数据准备、模型准备和展示效果。通过该教程,读者可以学习LSH算法在图像搜索中的应用,以及使用预训练模型进行特征提取的方法。- 134
- 0
-
-
-
CodeT5: 一种新型的代码理解与生成模型
本文介绍了最新的编程语言模型CodeT5,该模型结合了对代码的理解与生成任务,并通过预训练任务和开发者指定的标识符对来提升代码语义的学习。实验结果表明CodeT5在CodeXGLUE的多个任务上取得了最先进的成果。- 459
- 0
-
EasyNLP框架中使用MacBERT及其他预训练语言模型进行机器阅读理解
本文介绍如何在EasyNLP框架中使用MacBERT及其他预训练语言模型进行机器阅读理解,在NLP领域进行中英文NLP任务的训练与预测。- 219
- 0
-
预训练模型对知识图谱补全的影响
本文探讨了预训练模型在知识图谱补全任务中的性能,并提出了基于PLM的KGC模型****PKGC的设计及实现细节。通过对Wiki27K和Freebase数据集的实验,对模型的性能进行了可靠的评估和合理的探讨。- 212
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!