AICMTY（aicmty.com）4月16日 消息:中国人民大学和浙江大学的研究团队进行了一项有趣的研究，他们发现GPT-4在预测学术论文撤稿方面的能力与人类审稿人有着惊人的相似性，准确度高达95%。这项研究不仅展示了大型语言模型在学术诚信维护中的潜在作用，同时也揭示了AI在学术研究问题上的应用关键在于如何为人类所用。
研究团队向GPT-4输入了数千篇SCI/SSCI期刊论文相关的一万多条推文，并让模型根据这些推文预测论文是否有可能被撤稿。这一过程与人类审稿人的预测结果进行了比较，结果显示GPT-4在预测撤稿方面的准确性接近人类专家。
论文地址:https://arxiv.org/ftp/arxiv/papers/2403/2403.16851.pdf
研究还探讨了推文本身是否能够预测论文撤稿的问题。通过分析一组包含3505篇撤稿论文的数据集，并与未撤稿的论文进行对比，研究者发现，确实有一部分推文能够在论文撤稿前暗示论文存在问题。这些推文通常直接指出论文中的错误或学术不端行为，或者使用批评和讽刺的方式来质疑论文的质量。
在比较不同模型预测论文撤稿的能力时，GPT-4的表现最为出色，其预测结果与人工预测结果的一致性最高。此外，GPT-4还能够为其预测提供理由，这是其他方法所不具备的。然而，研究也指出GPT-4有时会产生“幻觉”问题，可能会产生不恰当的输出，因此在使用时需要谨慎。
这项研究的结果不仅为学术界提供了一个新工具来预测和识别问题论文，同时也为社交媒体讨论作为论文撤稿早期预警系统的潜力提供了证据。研究者们的工作表明，生成式人工智能如ChatGPT在促进科研诚信方面有着巨大的应用潜力。
研究的作者之一，Er-Te Zheng（郑尔特），是中国人民大学信息资源管理学院的硕士生，他的研究方向涉及计算社会科学、科学学和科学计量。另一位作者，Hui-Zhen Fu(付慧真)，是浙江大学公共管理学院信息资源管理系副教授，她的研究方向为交叉科学、科学计量、科研诚信和科研管理。而Zhichao Fang(方志超)是中国人民大学信息资源管理学院助理教授，他的研究方向为科学学、科学计量和社交媒体计量学。
