🤗 1. 介绍
Transformers提供了很多在
文本
、视觉
和音频
上的数以千计的训练模型。Transformers由三个流行的深度学习库(Jax, PyTorch, TensorFlow)提供支持的预训练先进模型库了,用于自然语言处理(文本)
,计算机视觉(图像)
、音频和语音处理。
文本类
文本分类
、信息提取
、你问我答
、摘要
、翻译
和文本生成
等等,支持多种语言。
图像
图像分类
、对象检测和分割
等等。
音频
语音识别
、音频分类
等等。
结合模型
表格问答
、光学字符识别
、扫描文档提取信息
、视频分类
、视觉回答
。
🤗 2. 安装
查看python版本
python -V
使用安装两个Python库,分别是
transformers
和datasets
!pip install transformers datasets
// !感叹符号表示在某些继承开发环境中 运行命令。也可以去掉。
transformers
是一个用于自然语言处理(NLP)任务,如文本分类
、命名实体识别
,机器翻译
等,提供了预训练的语言模型(如BERT、GPT)同时用于模型训练、评估和推理的工具和API的Python库。
datasets
是一个用来访问和处理各种NLP(Natural Language Processing)数据集的Python库,它提供了一个统一的接口,可以轻松地下载、加载,以及预处理各种常见的NLP数据集。
安装深度学习库 Pytorch 和 TensorFlow
pip install torch
pip install tensorflow
torch
是一个广泛使用的深度学习框架,提供了用于构建和训练各种神经网络模型的工具和API,主要特点是动态计算图和易于使用的API。非常强大的学习框架工具。
tensorflow
也是一个深度学习框架,由google开发的。用来构建和训练各种机器学习和深度学习的模型。
安装完成后,使用
pip list
查看开发环境第三方库上是否已经存在以上提到的几个库。
🤗 3. 使用
pipeline 管道
pipeline()的作用就是,跨不同模式使用。
类型 | 任务 | 描述 | 标识符 |
---|---|---|---|
NLP(语言文本类) |
情绪分析 | 分析一段文本是正能量和负能量 | pipeline(task=”sentiment-analysis”) |
NLP(语言文本类) |
生成文本 | 根据一段提示生成文本 | pipeline(task=”text-generation”) |
NLP(语言文本类) |
生成摘要 | 生成文档或文本的摘要 | pipeline(task=”ummarization”) |
视觉图像类 |
图像分类 | 给出一张图罗列出图片中物品 | pipeline(task=”image-segmentation”) |
视觉图像类 |
对象检测 | 预测照片中对象的位置和类目 | pipeline(task=”object-detection”) |
视觉图像类 |
图片转标题 | 为给定图像生成标题 | pipeline(task=”image-to-text”) |
音频类 |
音频分类 | 给音频场景分类 | pipeline(task=”audio-classification”) |
音频分类 |
音频转字幕 | 音频素材转字幕 | pipeline(task=”automatic-speech-recognition”) |
终端测试
情绪分析
打开Terminal
终端:
输入python,进入python环境,
然后创建一个pipeline()实例
:
>>> from transformers import pipeline
>>> classifier = pipeline("sentiment-analysis")
接着输入我们想要分析的文本即可:
单文本
多文本
传数组,然后遍历输出结果
目标检测
大家可以自行去模型中心去看看去测试一番,接下来介绍的是DETR
进行目标检测。在这个模型当中,我们可以得到照片图像中检测到的对象预测列表,里面包含着物品名称和位置以及可信度。
html
css
js
效果
🤗 4. 写在末尾
Hugging Face 上的Transformers有很多实现,这里就不一一举例了,其中包括一些pipeline工具的任务处理,以及构建trainer微调预训练模型,感兴趣的小伙伴可以自行去官网查看一些案例。AI在我们生活方方面面都有非常多的应用,人工智能正在也一直会深度参与世界的发展跟走向…
☎️ 希望对大家有所帮助,如有错误,望不吝赐教,欢迎评论区留言互相学习。感谢阅读!