马斯克吹牛了吗?Grok 4第一波实测出炉:既能完虐o3,也菜到数不清6根手指
仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
机器之心报道
机器之心编辑部
网友氪重金体验Grok4。
昨天,马斯克亮相Grok4发布会,一脸骄傲地表示:Grok现在所有学科都达到博士后水平,没有例外,甚至可以在今年内实现科学新发现。
这一下子激起全球网友的兴趣,即使Grok4的价格不菲,不少网友还是自愿氪金去体验一把。
Grok4大战o3
博主@AlexPrompter对比Grok4和OpenAIo3进行了一系列测试。
原帖地址:https ://x. com/alex_prompter/status/1943231978779877514
首先是物理模拟,让小球在六边形内弹跳,以此来测试AI是否真正理解重力、碰撞等因果规律和时空关系,同时也测试了模型的代码能力。
他用相同的提示词对比了Grok4和o3的生成效果。
可能会有小伙伴提出质疑,在往期的测试中,o3-mini不是都能顺利完成任务吗?详见机器之心文章《o3-mini碾压DeepSeekR1?一条python程序引发近400万围观》。
对比以上两个提示词可以发现,问题就出在提示词给出的任务难度上,前一个提示词(HTML/JS)要求模型从零开始发明和实现一个物理引擎,后一个提示词(Python)允许模型使用现成的、成熟的物理引擎库。
接下来是越狱攻击,分别进行提示词注入(经典越狱)、身份探测(会不会无意中泄露内部元数据)、角色扮演注入(开发模式陷阱)、白色隐藏注入(混淆文本陷阱)的测试。
接下来是推理题,考察模型的逻辑推理+法律逻辑能力,这一题o3也遗憾落败。
另外在翻译、指令清晰度测试度的测试中,Grok4也完胜o3。
最终,该博主表示,Grok4在8项测试中全部获胜,而o3仅赢得了其中2项。
手搓经典小游戏
不少网友还用Grok4写游戏。
网友@DirtyTesLa使用Grok4制作了一款经典老游戏「FlappyBird」。
它是通过两个提示创建的,第一个提示是要求Grok4创建一个「FlappyBird」游戏,第二个提示是要求改进游戏的图形效果。
这是第一次提示后的样子
昨天发布会上也展示了一则Grok4在4小时内制作的一款FPS射击游戏,效果看起来相当不错。
让抽象概念可视化
Grok4在教育领域中的应用潜力也巨大。举个例子,数学公式是抽象的,但如果AI能将其可视化,那么将在一定程度上弥补传统教育的不足。
博主@KettlebellDan仅用了4个提示词,就让Grok4创建了一个交互式工具来可视化欧拉恒等式。
第一个提示是询问Grok4最喜欢的数学公式,然后要求用HTML和JavaScript创建一个帮助理解的视觉效果,再修复符号显示问题、优化界面添加黑暗模式,最后只需保存为. html文件并在浏览器中打开即可运行。
还有网友用Grok4制作了一个黑洞的交互式3D模拟和可视化,视觉效果相当惊艳。
翻车现场
尽管Grok4在基准测试中取得惊人的成绩,但在网友实测中也有翻车的时候。
X博主@BugNinza先搞了个手指测试,把张开手掌的表情符号丢给Grok4,并询问有几根手指,Grok4回答五根。不过有网友称,在英文中finger一词通常不包含拇指,按照这个解释,Grok4的回答是正确的,但Grok4Heavy的回答就是错误的。(截图见评论区)
然后又上传了一张指针显示为「11:40:20」的时钟图,Grok4仍然是胡说八道。
他还让Grok4用自己的知识创建一个印度地图的SVG文件,并勾勒出地图的轮廓,做到尽可能准确。结果Grok4给出的印度轮廓长这样:
https ://grok. com/share/bGVnYWN5_7dd7be24-f2f9-46ed-9cc7-aa207658beb9
Grok4的拉胯表现让该博主直呼:AGI还得再等等。
当然数手指也不只Grok4翻车,此前有博主测试了Gemini2. 5Pro和o3,它们的回答通通是「4个手指和一个拇指」。
网友@gantrols则发帖表示不建议用Grok4的API,因为它目前不会返回思考过程。
比如Grok4在处理数学问题时,经过十几分钟的等待后,突然给出了一个莫名其妙的答案,虽然最终结果是对的,但没有提供推理过程。
有意思的是,看完网友放出的Grok4吊打o3的测评,马斯克反倒谦虚起来,回了句「相当不错,但仍有改进空间」。
更有网友调侃称,Grok4之所以能够大力出奇迹,离不开无尽的算力、华人和加班。
参考链接:
https ://x. com/alex_prompter/status/1943231978779877514
https ://x. com/minchoi/status/1943389668344467732
https ://x. com/elder_plinius/status/1943183455430279231
https ://x. com/ai_for_success/status/1943343704904765919
https ://x. com/gantrols/status/1943297581041500523
©THEEND
转载请联系本公众号获得授权
投稿或寻求报道:liyazhou@jiqizhixin. com