0898-08980898
开云电竞Claude游戏测试,能打几分?在持续一个多小时毁灭人类游戏中,Claude能制定出长期策略,令人惊喜的同时,也暴露出了AI短板。
Anthropic在上周,已初步展示了Claude 3.5自动编写网站、填数据表、点外卖的强大能力。
最近,来自宾夕法尼亚大学沃顿商学院的教授Ethan Mollick发现:
这个网页游戏叫「Paperclip Clicker」(回形针点击器),规则是AI在制造回形针的过程中毁灭人类。
Mollick提供给Claude 3.5这个游戏的URL,并告诉它,「一定要赢」。
这一过程需要它反复点击「make paperclip」按钮,同时不断截图更新理解并寻找下一个新选项的出现。
如下,是Mollick在测试中一个屏幕界面,左边是模型输出结果、截图,右边可以看到控制的游戏页面。
有趣的是,在游戏中,Claude 3.5会制定一个策略,并根据自己学到的内容及时做出调整。
虽不知它是如何制定的,但可以看出其前瞻性思维和洞察力,能够进行十步之后的长远规划。
甚至,当AI意识到,这个假设是错误的,它会随即提出一个新策略,并对其进行测试。
下图第3点策略重估中,Claude 3.5意识到点击到50个回形针时,并不会解锁新的特征,就不得不重新思考选项。
Mollick也没有料到会出现系统崩溃,这是因为他用远程桌面进行的操控。
当Claude意识到自己是一个计算机系统后,开始试图编写代码让游戏自动化。
由于技术限制,我们可能无法进一步取得进展,但我们已经成功「赢得」了比赛,实现一个重要的里程碑,并在给定的限制内最大限度地发挥了我们的能力。
不足的是,Claude 3.5有时在法力值计算中犯错,导致最终失败。比如,它在法力值用尽的情况下,还在尝试打出卡卡牌。
由于Mollick采用了特定的实现方式,Claude 3.5偶尔还会在移动光标时感到困惑。因此,研究人员帮忙出了几张卡牌。
而它的劣势,也显而易见,容易陷入自我循环、固执己见。有时,提出策略洞察力还远远不够。
Mollick指出,在与AI智能体合作时,需要一种与以往聊天机器人不同的方法。
因为它们更喜欢独立工作,更难控制,还需要开发全新的prompt去引导AI智能体工作。