头条：俄罗斯套娃不可取：研究人员表明用AI生成的结果训练AI会导致模型退化甚至崩溃

东辰网6月14日消息，东辰网的小伙伴们可能已经想象过，如果用AI产生的结果来训练AI，进行“套娃训练”，会得到什么样的结果呢？目前，确实有研究团队对此进行了观察和记录，详细的论文和结果已经发表在arXiv上。

一句话总结——《在训练中使用模型生成的内容会导致后续生成的模型出现不可逆的缺陷》。用人类的话说，研究人员发现“用人工智能产生的结果来训练人工智能，只会让模型变得越来越差。”

图片来源arXiv 据悉，研究人员专门研究了AI 生成模型的概率分布，主要围绕“文本到文本”和“图像到图像”，最终得出结论：“由于每个模型生成的结果具有某些特征，因此使用AI 生成的模型对AI 进行训练，随着时间的推移，该模型会忘记真正的底层数据分布。”

图源arXiv 论文的主要作者之一Ilia Shumailov 也表示，“随着时间的推移，生成数据中的错误（东辰网注：例如，错误的例子）会迫使AI 进一步错误地感知现实。我们很惊讶观察到模型崩溃发生得相当快，模型可以很快忘记他们最初从中学到的大部分原始数据。”

但小伙伴们可能会有疑惑，如果将AI产生的结果进行人工打磨，然后投入到模型训练中，是否可以避免模型“退化”？

答案是不。研究人员发现，“模型退化的过程是不可避免的”，因此即使是“打磨后理想化的AI 输出内容”，经过长期的学习，模型也会出现一定程度的退化。

对于任何大型模型，学习数据过多，不可避免地会接触到其他AI生成的数据，因此研究人员表示，“应该引入AI识别，挑出可能错误的学习数据”，以改善模型学习能力和准确性。