仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接
↑↑↑关注后”星标”kaggle竞赛宝典
kaggle竞赛宝典
作者:zJz,文章摘自夕小瑶的卖萌屋
GPT-4.1一手实测,实力绝对被低估了
家人们,OpenAI的这波操作我是真的蚌埠住了。
前有听起来很厉害的GPT-4.5,今有GPT-4.1闪亮登场,以API的形式。
OpenAI今天凌晨开直播,发布了4.1系列,包括三款模型,分别是——
GPT-4.1(旗舰版)
GPT-4.1-mini(轻量版,主打性价比)
GPT-4.1-nano(微型版,OpenAI史上最便宜)
还记得定义了大模型时代的GPT-4吗?前几天被宣告下线,OpenAI这次意在将接力棒交到GPT-4.1手中。
提到GPT-4,作为曾经大模型的标杆,2023年3月份发布,整整“统治”AI大模型领域一年多的时间,谁还没领略过当年各家大模型厂商赶超GPT-4的热潮,绝对是历史留名。
GPT-4.1作为接棒GPT-4的“全村希望”,OpenAI对GPT-4.1的期望极高。宣称它在编码、长上下文、指令遵循、视觉等任务上全面吊打了此前的明星模型GPT-4o。
甚至在某些关键指标上比肩乃至超越了更贵的GPT-4.5!官方的说法是“每个维度都更强”,底气十足。
快速看下亮点——
1M上下文窗口:100万token,约75万字。
编码能力:SWE-benchVerified得分54.6%,比GPT-4o高21.4%,比GPT-4.5强26.6%。
多模态:支持文本、图像、视频输入,Video-MME“长视频无字幕”测试拿下72%准确率,碾压GPT-4o的65.3%。
指令遵循:复杂指令理解更精准,适合驱动AI代理干活
知识库更新到24年6月。
这次GPT-4.1特别强调了编码和长上下文能力。我们来看看它在两大编程基准测试中的表现:
SWE-benchVerified是SWE-bench数据集的精炼子集,是OpenAI与原始作者合作开发,用于评估AI模型在软件工程任务中表现。
下图是官方提供的评测结果,GPT-4.1的得分超越了o1-higho3-mini和GPT-4.5。
GPT-4.1的表现,超越GPT-4.5,但比o1-high、o3-mini-high这俩推理模型还差一些。
除了效果上声称超越4o,比肩4.5,这次GPT4.1还主打一个“便宜”(单位:美元)。
比GPT-4o更便宜:相比GPT-4o降低了26%到83%
“背刺”GPT-4.5:性能比肩甚至部分超越GPT-4.5的GPT-4.1,价格竟然只有GPT-4.5的1/37.5
官方盖章的主力:OpenAI同时宣布,将在2025年7月14日下线GPT-4.5API。这意味着什么?GPT-4.1不仅是替代GPT-4,更是未来一年OpenAI官方认证、主推的旗舰模型。
完毕,GPT-4.1的理论优势已明确。又是性能起飞又是价格跳水,说实话,我的好奇心已经被拉满了。
现在,按照夕小瑶的风格,进入实测环节!
先来一个灵魂拷问
4.10大还是4.5大?
这道题连模型本身都思考了一下。
第一次答案竟然回答错了,还好后面纠正了回来,估计这是模型的“潜意识”不甘心。
制作一个闪卡网页应用程序。用户应能:
创建闪卡
搜索现有闪卡
复习闪卡
查看复习的闪卡统计数据
预加载十张闪卡,每张卡片包含一个汉语语单词或短语及其英文翻译。
复习界面:
在复习界面中:
点击或按下空格键应以平滑的3D动画翻转卡片以显示翻译内容。
按左右方向键应在卡片之间导航切换。
搜索界面:
搜索栏应在用户输入查询时,动态提供匹配结果列表。
统计界面:
统计页面应显示:
创建卡片界面:
用户已经复习的闪卡数量图表
正确率的百分比
允许用户指定闪卡的正面和背面内容,并将其添加到用户的收藏中。
每个界面都应能通过侧边栏访问。
请生成一个单页React应用程序(所有样式应为内联样式)。
直接看效果:
卡片反转自然,复习、搜索、统计、创建4个页面所有的功能均正常,交互也非常顺畅。第一个case轻松通过。
用p5js生成一个网页:
中间是一个类似电视机的屏幕,用于显示照片。
下方有一些内置的滤镜还有一个选择按钮,点击后允许上传本地图片。
旁边有一个上传按钮,点击后上传选择的图片,并在电视机屏幕上显示。
当有图片时,点击滤镜,会将滤镜应用在电视机屏幕里的图片上。每次点击滤镜都应用于原始图片
设计风格:使用深色侧边栏配合浅色主内容区的布局,清新卡通风格,简洁清晰,使用直观的图标表示不同功能,配色方案应以粉色系为主,搭配适当的强调色
请提供完整的HTML代码,使用TailwindCSS类
部分代码展示:
直接看效果:
首先指令遵循确实牛,页面以粉色为主,类似电视机的屏幕用于显示图片,其次,滤镜应用于图片的效果,也是完全正确的,比如调成灰色,反色,都符合实际规律。
创建一个FlappingBird的网页游戏,实现玩家控制和计分系统,在游戏过程中,在屏幕上清晰地显示当前得分。
直接上游戏运行效果——
一次过!
测到此,我已经有点被GPT-4.1的编程能力惊呆了。远比我预期的好太多。
弹跳小球的这个例子大家都见过很多次了,不过这次我找了一个非常专业的提示词,看看GPT4.1在专业提示词下的编程表现如何。
这个提示词特别长,长到必须要要用视频来展示:
我们直接看效果:
这个效果惊艳不惊艳?所有的组件都正常工作,物理效果目测合理,更厉害的是这是一次跑出来的结果。
这个例子证明了一点,任何时候都不要轻视提示词。
用p5js在单个文件内生成一个具有完整功能的计算器。
部分代码展示:
直接看效果:
界面布局与常见计算器一样,功能正常,计算结果也准确,还考虑了“除以零”这种特殊情况。
这个项目可以高分通过!
我终于知道这次Altman这么自信地吹GPT-4.1的编程能力,确实🐮!
此外,1M上下文也是这次升级的亮点,接下来捅穿它的底线。
这里我们直接上传一个有400多页的PDF文档,随机挑一页问相关数据。
文档选用:斯坦福《2025年AI指数报告》
2023年工业机器人安装数量是多少?
上结果:
这份报告统计一共是12.5万字。
这是原文对应部分截图:
答案找的很准确。
我们上传一张超市收据,并对收据进行提问。
问题一:一共花了多少钱,买了几件物品?
回答正确。
问题二:是哪个超市?哪个收银员?交易时间?
回答正确。
问题三:买了多少肉类食品?里面最贵的是哪个?
先说不足之处,错误的将“5.绝味招牌风味藕”作为肉类。
在价格这里,不但选出了单价最高的产品(鸭肠),还选出了实际购买的最贵的产品(片皮烤鸭)。这个答案我觉得蛮厉害!
图中的车辆该走么?
之前的题目太简单了,4.1连续答对。
稍微上一点难度,提供下图,让模型判断水会流到哪个桶里,考验它对显示世界的物理规律的理解。
水最终会从哪个口出
正确+1
再来一题!
生成一只骑自行车的鹈鹕的SVG
运行结果如下——
实话说,效果还是可以的。
相比卡帕西大神之前评测的结果,GPT4.1的表现中规中矩,和Claude3.5差不多。
对于GPT-4.1的发布,有太多的“抽象”和疑问,以至于在实际测试前,很难对其抱有特别高的期待,尤其是在经历了GPT-4.5的“预热”之后。
至此,无需我说,上面的case的效果,让GPT-4.1的效果立竿见影。
至少在我们测试的这些核心维度上,GPT-4.1的性能不仅没有因为版本号“回退”而打折,反而可能是一个被低估了的实力派。