研究团队表示,三款模型基于相同的基础训练数据集,高一致率的结果符合预期。真正具备研究价值的是模型间25%的分歧部分,这种差异大概率并非源于模型对工具质量的独立判断,而是由基于人类反馈的强化学习(RLHF)调优策略不同,以及生成环节的专属微调差异导致。
有趣的是,Claude Code在不同项目上下文中的表现也颇具特色。尽管同一工具类别在不同代码仓库中,其选择可能会有所不同,但在相同项目中,即使用不同的措辞表达需求,其选择的稳定性平均达到76%。这表明,项目的上下文对工具选择的影响远大于指令的措辞。 从实验结果来看,Claude ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果