AI经过多轮“自我提升”,能力不增反降?

上海交通大学GAIR团队最新研究表明,在常识理解、数学推理和代码生成等复杂任务中,AI经过多轮“自我提升”后,可能会出现一种称为“自我提升逆转”(self-improvement reversal)的现象。

LLaMA-2-7B、Mistral-7B、LLaMA-8B都没逃过。

图片

这就像一个学生刷题刷到”走火入魔”——虽然考试成绩提高了,但实际解决问题的能力反而可能下降!

更值得警惕的是,这种训练还可能导致AI的回答变得千篇一律,失去了原有的创造力和适应新情况的能力。好比一个学生只会应付考试,遇到真实世界的问题就束手无策。

要知道,OpenAI最近被曝光的项目“草莓”,据说还在使用post-training阶段的自我提升来提升模型复杂推理能力……

目前该研究《Progress or Regress?Self-Improvement Reversal in Post-training》已获得了 ICML 2024 (AI for Math Workshop) 的Honorable Mention Award。

刷分更高但是能力下降

具体说来,该工作将”迭代后训练”(Iterative post-training)分成三个主要步骤:

  • 答案采样:让AI回答一系列问题,每个问题回答多次。
  • 训练集构建:从AI的回答中挑选出好的答案。
  • 模型后训练:用这些好答案来”教”AI,让它学会更好的回答方式。

研究人员尝试了不同的”教学”方法:

  • 迭代SFT:直接告诉AI哪些答案是对的。
  • 迭代DPO:让AI学会比较不同答案的好坏。
  • 迭代SFT-DPO:将上面两种方法结合起来。

他们还研究了影响AI学习效果的几个关键因素(如图1所示):

  • 训练次数:一般来说,多训练几次,AI的表现会更好。但训练4-5次后,进步就不明显了。
  • AI的基础能力:有趣的是,最聪明的AI并不一定学得最快,但最后表现通常最好。
  • 问题类型:有些类型的问题(如常识问答和简单数学)AI学得比较快,而复杂的数学问题和编程任务就比较困难。
  • 训练方法:不同的问题可能需要不同的训练方法。研究者发现,如果AI一开始就表现不错,用DPO或SFT-DPO方法效果更好。

图1:三种迭代后训练范式在多个任务求解上的Pass@1性能(从常识知识、数学推理、代码生成方向选择了四个聚焦复杂问题求解能力的数据集:CSQA,GSM8k,MATH,MBPP以及三种不同的基座模型LLaMA-2-7B,Mistral-7B,LLaMA-8B。所有实验的迭代次数$$$$设置为5。评估时使用贪婪解码,并且选择Pass@1作为性能评价指标。)

起初,结果看起来很令人兴奋。AI在测试中的分数确实提高了!但研究团队深入观察后,发现了一些“出人意料”的现象:

1、能力幻觉

研究者发现,AI并没有真正学会解决更难的问题。相反,它只是变得更擅长在已知的答案中挑选正确的那个。他们用”正确答案覆盖率”这个指标来衡量这一现象。结果显示,即使是未经过多轮训练的AI,只要给它足够多的尝试机会,也能在那些看似”学会”的问题上得到正确答案。这就像一个学生通过背答案提高了考试分数,但实际解决问题的能力并没有提升。

2、多样性丧失

随着训练次数增加,AI的回答变得越来越“千篇一律”。研究者从三个方面测量了这种变化:

  • 语法多样性:使用”Distinct N-gram”指标。
  • 语义多样性:使用句子嵌入的余弦相似度。
  • 逻辑多样性:在数学问题中计算不同方程的数量。结果显示,无论哪种训练方法,AI的回答都变得越来越相似,失去了原有的创意和多样性。

3、泛化能力下降

研究者还测试了AI面对全新类型问题时的表现。他们先让AI在一个简单的数学问题集(GSM8K)上训练,然后用一个更难的数学问题集(MATH)来测试它。结果发现,经过多轮”自学”的AI在面对这些新问题时,表现反而更差。而且,AI在简单问题和困难问题上的表现差距越来越大,这说明它可能只是在”死记硬背”,而不是真正理解和学习。

毫无疑问,post-training阶段的”自我提升“仍然是一个充满潜力的研究方向,”让AI自我提升”也是一个很酷的想法。但GAIR团队的发现表明,AI的进化之路可能比想象中更加复杂和充满挑战。在追求AI性能提升的同时,也需要更全面地考虑:

  • AI真正的问题解决能力是否提升了?
  • AI是否保持了创造力和多样性?
  • AI能否灵活应对新的、未知的情况?

人工智能的未来令人期待,但同时也需要以更加审慎和全面的视角来看待其发展。只有这样,才能真正实现AI的潜力,创造出既智能又可靠的系统,为人类社会带来真正的价值。

来源:量子位

Loading

作者 XUJING

发表回复