Part 1 — 背景
背景 — GPT是什么?
由来:
生成式预训练:与一种叫做变形器Transformer的模型结构相结合,就成了 Generative Pre-trained Transformer,取三个字母缩写,就是 GPT。
AI相关的产品:
- chatgpt
- DALL·E 2:openai.com/dall-e-2/ 这是一款图像AI,主要功能有“根据文案绘画”、“无限拓展图像的边界”…
- CodeX:openai.com/blog/openai… 这是一款自然语言转化成代码的AI产品,它就是之前比较火的微软的GitHub Copilot的驱动模型。
- Midjourney
时间线:
Part 2 — 注册、使用
账号注册:
-
Google Bard:Google Bard(waitlist)
-
Microsoft Bing:zhuanlan.zhihu.com/p/610971881(waitlist)
-
文心一言:yiyan.baidu.com/welcome(waitlist)
-
360 GPT(暂未看到开放体验)
使用方式:
- OpenAI Playground:
支持的一些模型:
- GPT3.5/GPT4官网: chat.openai.com/chat
- 其他途径:NoFWL github.com/lencx/nofwl
V3.5与V4之间的差异
- GPT-4 比其前身 GPT-3.5 先进 10 倍,更准确和连贯的响应;
- Token限制:GPT-4 的最大令牌限制为 32,000 个,GPT-3.5 的为4,000 个令牌;
- GPT-4能处理方言;
- GPT-4的编程能力
- 生成代码
- 解决error
- 优化代码
- 综合来自多个来源的信息来回答复杂的问题,提供更全面、更细致的答案;
- 可以生成具有更高连贯性和创造力的故事、诗歌或散文;
- 解决复杂数学和科学问题的强大能力。
API接入
- 官方(目前gpt4仍然只有通过waitlist的用户能使用,官方支持python、Ts,其他语言有社区实现,但安全性无保证 🤪):platform.openai.com/docs/api-re…
- 非官方:
- api2d:api2d.com/
- Node.js client:github.com/transitive-…
国内、国外模型:
-
国内
- 文心一言
- CSDN ChitGPT :so.csdn.net/so/search?t…
- 360红孩儿
- 微调(Fine Turn): github.com/THUDM/ChatG…
-
国外
- open ai
- bing
- google bard
- github.com/nomic-ai/gp… 基于meta开源模型LLaMa
- Colossal-AI 最接近gpt解决方案的实现:medium.com/@yangyou_be…
Part 3 – 应用、案例介绍
Openai fine-turn 和 embedding介绍;
- fine-turn:丢大量样例数据微调;
- embedding:建立索引,类似贴纸条,提示大语言模型做进一步处理;
链接:
知识库
使用LLM去实现领域/专业的知识库、机器人等应用,相关链接如下:
- grev:github.com/GerevAI/ger… (找到任何聊天记录、文档或代码片段)🌟
- copilothub: app.copilothub.co/copilots 🌟
- bookai(书籍知识库): www.bookai.chat/
- Copilot For Docs (github Copliot X 进阶版)
- character(人物形象):beta.character.ai/
- web development:astro-labs.app/docs 🌟
- 基于LLM的技术文档实践:supabase.com/docs
- pdf版实现:www.weibo.com/1727858283/…
- markdown版实现:github.com/motifland/m…🌟
- 抓取目标数据,根据内容回答(此处以某个人的全部文章作为输入)github.com/mckaywrigle… twitter.com/mckaywrigle…
目前社区实现方案:
- 基于向量数据库与GPT3.5的通用本地知识库方案
-
gpt4-pdf方案:github.com/mayooear/gp…
-
文档检索实现方案:github.com/gannonh/gpt…
一些思考:文档搜索的未来
- 自然语言,不需要各种关键字反复试;
- 没有语言障碍,中文输入也可以搜索到英文结果;
- 可以帮助甚至直接生成代码;
- 能根据错误信息帮助debug。
一些思考:发展方向
- 横向扩展更大的知识库,更多的信息;
- 缓存查询;
- 用户体验改进。
编程相关
- 编程助手:assistant.compsmatic.com/
- 基础Prompt:
Act as a senior developer, write very short comment for the following code:
- 编程场景:
-
通用:
https://juejin.cn/post/7199607659992907832#heading-32
- 技术实现Cover不住、获取技术方案
- 代码生成、代码优化
- 在github上找demo、找实现
- 提供测试用例
- 读源码
- 工具辅助
-
AI to 页面 github.com/zckly/dynam…
- 无限滚动列表
- 图片feed流
- 网站
-
gpt4编程(py爬虫):gist.github.com/hqman/62cdb…
-
- 工具类
- AI生成开发工具页面:github.com/zckly/dynam… 🌟
- 云开发自动生成代码:mp.weixin.qq.com/s/5N1mkyuja…
- 使用 GPT-4 自动化您的浏览器:github.com/TaxyAI/brow… 🌟
- 实现思路(后面会用到)
- 正则生成:regex.ai/?utm_source…
- shell指令: github.com/TheR1D/shel…
- 插件、开发环境
- Copilot X(waitlist): mp.weixin.qq.com/s/BAzOuxjUo…
- Cursor:www.cursor.so/
- Cursor是接入的GPT-4
- Cursor能支持整个代码文件,它可以理解整个代码(长度限制肯定还是有的)
- Cursor接入了ChatGPT,你可以针对当前代码去提问去debug,这在运行时遇到错误的时候非常有帮助
- Cursor的代码重构(编辑)体验很好,显示修改的部分,你可以选择接受或者拒绝,尤其是代码
- CodeCursor:github.com/Helixform/C…
通用
-
Prompt生成类(生成内容的基础,发展出PE工程,专门对AI的)
- ClickPrompt(支持多种基于 Prompt 的 AI 应用:www.clickprompt.org/zh-CN/click…
- 用GPT生成Prompts: github.com/jesselau76/…
- Prompt交易市场:promptbase.com/?continueFl…
- OpenPrompt:github.com/timqian/ope…
-
gpt浏览器插件:
- chatBox:github.com/josStorer/c…
-
办公套件:microsoft-365
-
有趣的小应用:
- 解析梦境AI: dreaminterpreter.ai/dreamer-map
- 动画生成: jitter.video/
- AI智能创作助手 — 腾讯智影
- SpeechGPT:github.com/hahahumble/speechgpt
- 通过输入描述语言构建3D世界: opus.ai/
- 文本直接生成视频: github.com/showlab/Tune-A-Video
插件 🌟(目前只开发给了一部分plus用户使用):
介绍
已有插件列表:
- awesome-chatgpt-plugins:github.com/GerevAI/awe…
- ChatGPT 插件集市:github.com/harish-garg…
插件开发手册:
插件案例:
一些个人关于插件的引申思考:
- 以后随着时间的推移,互联网上的每个网站都会有一个API和一个ai-plugin.json文件,每个网站都会有一个ai.json文件,让大家通过AI直接和网站交互。
- 入口: PC时代 – 网站 移动端 – 应用 AI时代 – 智能代理
- 操作方式: 用户的使用需求 => AI转化为功能需求 => 调用对应插件;
- 信息分类
- feed流
- 主观控制的检索思路
- 交互性网站暴露AI.json交互;
- 信息/视频/图片 检索的能力大大上升
链接:
Part4 — 结合低码平台思考
文档助手/客服
目前实现思路:
用 途:
-
内部文档:(输入集为平台知识库、使用手册、API手册、QA等)
- 提高低码平台开发、使用效率,用户体验更好;
- 随着更多内容、QA的收录,能力会越来越强;
- 此处引用微博案例:
-
外部文档:microsoft、包括各大知名NPM仓库,eg:React
- 会将:官方文档 => 官方文档机器人
代码/编程
- bff层:调用不同的服务接口进行聚合/过滤
- 自动生成bff业务代码
- 直接由gpt调用不同服务接口直接返回
- 逻辑编排
- 生成代码
- 通用性核心代码生成/集成单测/优化,保证质量;
- 高码类业务组件的基本模版生成。
- 编程助手部分
- 将平台本身文档、代码,如Schema/ts类型文件等文件作为输入,建立一个智能的编程助手;
- 平台能力查询,操作指南;
- 查询某个对象、类的方法、属性,比如需要知道某一模块有没有实现某个功能,或者要实现什么功能,可能采用什么样的方法;
- 平台本身开发、高低码组件结合。
- 结合cursor或Copilot X插件
- 查询、定位问题,生成代码
- debug
- 将平台本身文档、代码,如Schema/ts类型文件等文件作为输入,建立一个智能的编程助手;
- 智能中台:由gpt识别自然语言,转化为对应工具的调用
- 接收用户自然语言指令
- 自动应用模版、组件,生成布局树、更改组件样式、prop;
- 对接编程辅助工具,如编码转换、格式转换、生成正则等一系列
- 工具集网站:ai-bot.cn/
- sql工具:github.com/whoiskatrin…
- AI + RPA 实现某些流程自动化,如部署,发布
- 接收用户自然语言指令
- 工作辅助部分
- 文档、会议等材料快速问答助手:丢一个文档给gpt,实现快速了解某个问题、知识块、或者材料的核心内容;
- OA类接入(参考上面智能中台的应用);
- 邮件/文本纠错等一系列可以利用Prompt的能力(可利用微调为某一种措辞风格)
Part5 — 展望 & 未来
- gpt必将以智能助手,集成一系列的第三方插件、服务的方式,充当个人工作、生活的强大助手;
- 以后业务类网站的交互、呈现方式会有更大的改变,但图片、视频feed的网站会更加注重用户体验;
- 初期Prompt的质量很大程度决定了问答质量,后面随着更多应用层领域的产品出现,会降低使用难度,领域会更垂。
- AIGC革命来了。
Part6 — 补充链接
- gpt 使用哲学:mirror.xyz/0x17f3F8186…
本文很多内容引自大佬宝玉xp在微博上的分享内容、其他大佬播客等资料,并整理、分析。