LMSYS Chatbot Arena官网链接地址:https://chat.lmsys.org/
LMSYS Chatbot Arena 介绍
LMSYS Chatbot Arena是一个在线平台,旨在通过用户与匿名聊天机器人模型的互动,对大型语言模型进行基准测试。该平台收集了超过70万次人类投票,计算出LLM的Elo排行榜,以确定谁是聊天机器人领域的冠军。平台提供了一个研究预览,具有有限的安全措施,可能生成不当内容,因此需要用户遵守特定的使用条款。
LMSYS Chatbot Arena用户群体
研究人员和开发者可以利用该平台测试和比较不同语言模型的性能。普通用户可以体验并了解当前语言模型的对话能力。教育者可以用作教学工具,展示语言模型在实际对话中的应用。
研究人员使用LMSYS Chatbot Arena来评估不同模型在特定任务上的表现。 普通用户通过该平台了解不同聊天机器人的个性和回答风格。 教育者在课堂上展示如何使用LMSYS Chatbot Arena来比较语言模型。
LMSYS Chatbot Arena的核心功能
- 匿名与两个聊天机器人模型进行对话 用户可以对两个模型的回答进行投票,选择更好的一个 继续对话直到用户识别出胜者 如果模型身份在对话中被揭露,投票将不被计数 查看并比较41个不同模型的描述 分享对话结果 重新生成对话以进行新的比较