头条：可识别AI生成科学文本的新检测工具问世 号称准确率超过99% 却遭质疑

东辰网6月8日电美国田纳西州健康科学中心放射科医生索姆比斯瓦斯(Som Biswas)今年早些时候因在人工智能聊天机器人ChatGPT辅助下在放射学杂志上发表文章而备受关注。文章标题为“ChatGPT 和医学写作的未来”。他说他使用并编辑了ChatGPT 生成的文本，以提高人们对该技术的实用性的认识。他还透露，他随后使用ChatGPT 在四个月内发表了16 篇期刊文章。一些期刊编辑还报告说，他们收到了大量使用ChatGPT 撰写的文章。

针对这种情况，堪萨斯大学化学教授Heather Desaire 和她的团队开发了一种新的AI 检测工具，可以高效准确地区分科学文本是由人类生成还是由ChatGPT 生成。他们的结果发表在《物理科学》杂志的《细胞报告》上。

德赛尔教授说，她和她的团队首先分析了《科学》杂志上的64 篇“观点”文章，这些文章是对当前研究进行回顾和评价的评论文章。然后，他们分析了ChatGPT 就同一研究主题生成的另外128 篇文章。通过比较两者，他们确定了20 个可以帮助判断科学文本作者身份的特征。

他们发现，人类科学家和ChatGPT 在段落复杂度、句子长度、标点符号和词汇使用方面存在显着差异。例如，人类科学家更可能使用括号、破折号、问号、分号和大写字母，而ChatGPT 则不太常用。人类科学家也更喜欢使用“然而”、“尽管”、“然而”等“模棱两可的语言”。此外，人类科学家既写短句也写长句，而ChatGPT则更为平均。

基于这20 个特征，他们使用现成的机器学习算法XGBoost 来训练他们的AI 检测工具，他们在180 篇文章上测试了他们的AI 检测工具的性能，发现它非常擅长判断一篇科学文章是否正确。它是由人类或ChatGPT 编写的。 “这种方法的准确率超过99%，”Desaire 教授说，并补充说它比现有的工具要好得多，现有的工具是在更广泛的文本类型上训练的，而不是专门针对科学文本的。

Desaire 教授表示，这种AI 检测工具可以帮助期刊编辑处理大量使用ChatGPT 撰写的文章，让他们能够优先考虑哪些文章值得审阅。她还表示，该工具可以针对不同的领域进行定制，例如检测学生的剽窃行为，只要它以正确的语言进行培训即可。 “你可以将它适用于任何你想要的领域，只要想想哪些功能是有用的。”

不过，东辰网注意到，并不是所有人都认为这款AI检测工具非常好用。南澳大利亚大学变革与复杂性学习中心(C3L) 的Vitomir Kovanovi 博士表示，Desaire 教授和她的团队所做的比较是不现实的，因为他们只比较了100% 人工智能生成的文本和100% 人工生成的文本，而没有考虑人类与人工智能之间的合作。他说，当科学家使用ChatGPT 时，通常会有某种程度的人机协作，例如科学家编辑AI 生成的文本。这也是必要的，因为ChatGPT 有时会出错，甚至会生成虚构的引用。但由于研究人员只比较了两个极端，他们成功的机会就增加了。

阿德莱德大学机器学习研究所的Lingqiao Liu 博士同意，在现实世界中，此类AI 检测工具可能不太准确，从而导致更多的错误分类。开发算法以检测人工智能生成的图像的专家刘博士说：“从方法上讲，它很好，但使用它存在一定的风险。”

另一方面，刘博士指出，人也可以指示ChatGPT以某种方式书写，让AI写出的文字100%通过测试。事实上，一些评论员甚至谈到了“军备竞赛”，指的是那些试图让机器更像人的人与那些试图揭露那些出于恶意目的使用该技术的人之间的竞争。

鉴于该技术的强劲势头和潜在的积极影响，Kovanovi 博士认为这是一场“毫无意义的竞赛”。他说，人工智能检测“没有抓住重点，我认为我们最好把精力放在如何有效地使用人工智能上。”他还反对使用反抄袭软件来评估大学生是否在写作中使用人工智能，称这会伤害学生。不必要的压力。