ChatGPT 回答编程问题错误率超过50% 仍能骗过三分之一的提问者

据报道，美国普渡大学的一项研究发现，OpenAI 开发的人工智能聊天机器人ChatGPT 在回答软件编程问题时，错误率超过一半，但仍能骗过三分之一的人。提问者。

研究团队分析了ChatGPT 对517 个Stack Overflow 问题的回答，评估其正确性、一致性、全面性和简洁性。他们还对回答进行了语言和情感分析，并对12 名志愿者参与者进行了问卷调查。

最终的结论是，虽然ChatGPT 的回复具有良好的语言风格，但52% 的回复是错误的，77% 的回复是冗长的。

同时，参与实验的志愿者只有在答案出现明显错误时才能察觉到问题的存在；有时，他们会被人工智能友好而细致的语言风格所误导。

这无疑意味着，对于开发者来说，现阶段的生成式AI距离作为编程的辅助工具还很遥远，甚至可能适得其反。

不过，需要注意的是，OpenAI 很早就在其官网告知用户，AI 的答案“可能会产生有关人物、地点或事实的不准确信息”。