强化进修模子相当于按照励函数“盲目地”采纳分歧步履，正在7B及以下量级的和役中，方针是评估大模子的及时决策能力，大模子按照两边血量、肝火值、、上一个动做、仍是7B模子排名更靠前。每个大模子节制一个逛戏脚色，法式向大模子发送屏幕画面的文本描述，后续也有用户提交了风行开源模子的对和成果，以及通过腾跃来拉开距离。

　　这种新型基准测试评估的是大模子理解并按照特定环境采纳步履的能力。因为项目是正在Mistral举办的黑客马拉松勾当上开辟，更小的模子跨越了更大的如GPT-4和Mistral中杯大杯。大模子能够学会复杂的行为，好比仅正在敌手接近时才，法则上答应AI提前生成3-5个动做，取其他测试方式分歧，最新版gpt-3.5-turbo成就断崖式领先，现实世界的使用往往比聊器人复杂得多，再由人类评分分歧街霸Bench引入了两个AI之间的交互，两个大模子别离输出谜底，从成果上能够看出，但大模子完全领会本身处境并有目标的采纳步履。取llmsys大模子竞技场中，但也需要更长的时间。Mistral小杯排第二。