TOFU官网链接地址:https://github.com/locuslab/tofu
网站默认显示语言:英语
TOFU 介绍
TOFU数据集包含根据不存在的200位作者虚构生成的问答对,用于评估大型语言模型在真实任务上的遗忘性能。该任务的目标是遗忘在各种遗忘集比例上经过微调的模型。该数据集采用问答格式,非常适合用于流行的聊天模型,如Llama2、Mistral或Qwen。但是,它也适用于任何其他大型语言模型。
TOFU用户群体
用于评估语言模型的遗忘能力和训练可遗忘的聊天机器人模型。
使用TOFU数据集微调Llama模型,然后在不同规模的遗忘集上遗忘模型,评估遗忘性能。基于TOFU数据集构建聊天机器人,训练可遗忘的模型,避免机器人记住或泄露敏感信息。使用TOFU代码库中的遗忘功能,测试不同模型在遗忘特定信息时的性能差异。
TOFU的核心功能
- 提供基准遗忘数据集,支持大型语言模型的遗忘性能评估。采用问答格式,适用于聊天机器人模型。代码库支持多种语言模型