GPT-4满分通过MIT本科数学考试!这套提示词火了-天天快看点
万万想不到啊,MIT数学考试,被GPT-4攻破了?!
【资料图】
突然有人在最新论文工作中高调宣布:
GPT-4在MIT的数学和EECS(电气工程和计算机科学系)本科学位考试中,表现出的能力完全满足毕业要求。
而且妥妥地拿下满分!
要知道,测出这个结果的不是别人,正是来自MIT和波士顿大学、康奈尔大学的研究团队。
而且强如上一代王者GPT-3.5,在同样的测试中,只成功搞定了三分之一。
△GPT-3.5考试成绩
论文一出,无数目光迅速被吸引过来。
GPT-4这样看似开挂的行为,自然引发了不少网友的感慨。
比GPT-3.5强好多,好耶!
咱就是说,有没有可能以后不需要比GPT-4更强的模型,来解决学术问题了?
还有网友展现了自己网上冲浪的“前沿性”,玩了个这两天Yann LeCun吐槽“GPT-4智商不如狗”的梗:
GPT-4开挂MIT考试
具体来说,GPT-4这次是参与了这样一场测试:
研究团队策划了一个数据集,其中包含4550个问题和解决方案。
这4550个问题和解决方案,来自MIT数学系和EECS的学生获得本科学位,需要学习的课程问题集、期中考试和期末考试。
包括:
6-1:电气科学与工程;6-2:电气工程与计算机科学;6-3:计算机科学与工程;6-4:人工智能与决策;18-1:普通数学;18-2:应用数学;18-3:纯数学;18-C:数学与计算机科学。
△每个专业的详细分类总结
题目统统出自MIT的数据集,从中随机生成228个问题,不涉及图像和已有解决方案的问题。
题目的难度等级由易到难依次为:练习、习题、 期中考试、期末考试、实验和专题。
按答案类型排序,题目的难度由易到难依次为:编程、开放、选择题、数值、表达式和图像。
这一次,参与考试的不只有GPT-4和GPT-3.5,还有StableVicuna-13B、LLaMA-30B和LLaMA-60B。
选择让这4个大模型作为考试参赛选手,原因是它们是“最先进的大语言模型”。
△最终考试成绩
通过表格里的数据可以看到,得分最高的是经过调优后的GPT-4,得分率100%;表现最一般的是LLaMA-30B,只拿下了30%的分数。
值得关注的是,原始版本的GPT-4开箱即用,完全不经过调优,在本次MIT考试中也拿到了90%的分数。
调优流程,包括Few-Shot+CoT+Self-critique+Experts。
从最终考试成绩的表格数据可以看到,从左到右每增加一个环节,调优后的GPT-4得分都会更上一层楼。
此外,研究团队还在提示框里进行了工程优化,具体的“咒语”如下:
等等,评分人是GPT-4自己?
看到这样的结果,不少网友心生感慨,LLM在数学考试上的进步,未免有些神速了哈。
2年前,AI还在苦苦挣扎小学数学问题。
类似“小明种了5棵柠檬树,每年从每棵树上得到6个柠檬,10年间他总共得到多少柠檬”这种。
去年年初,MIT+哈佛+哥伦比亚大学+滑铁卢大学的联合研究表示,把数学问题转换成等价的编程问题,就可以让GPT-3的同门师兄弟——OpenAI的Codex掌握高数,达到MIT本科水平。
学了6门MIT本科基础数学课里随机抽取的例题,6门课程每门随机出25道题,再加上一个ACT水平(美国高考)的数据集里的60道题。
总计210道题,AI全部答对。
不过有人提出,AI达到的“MIT本科水平”,实际是Codex在做语言题而非数学题——
因为当时的评测中,Codex负责读写,并不包括求解。
所以,这一回GPT-4表现奇佳,怎一个妙字了得~
好了,知道你很着急夸它,但你先别着急夸它,因为很快有人发现了一些“诡异”。
主要有2大槽点。
第一个值得质疑一番的,就是OpenAI的训练数据集没有完全公布。
这也就意味着,无法证明数据集中的4550个问题和解决方案,在GPT-4的训练集中不存在。
换句话说,如果GPT-4在预训练阶段已经接触到了这次的考题们,那最终拿下完美得分,就没什么好惊喜的了。
也难怪乎有网友毫不客气地yygq,认定GPT-4拿到这样的结果,一定是数据集已经包含在训练数据里了。
第二个槽点,就是GPT-4最后100%的得分率,似乎哪里不对劲???
定睛一看,在论文的第2.6节有一句很关键的点:
团队在数据集上微调开源大模型,“给定问题Q、基本事实解S和LLM答案A,我们使用GPT-4自动对模型响应进行评分”。
实际操作上,就是每个大模型生成这次考试的答案,然后派出GPT-4打分,分值在0-5之间。
所以给GPT-4打出满分的,实际上是GPT-4自己。
啊这……很难说没有王婆卖瓜自卖自夸的嫌疑。
此外,关于要给GPT-4提供“好的提示”,才能让它达到满分成绩,也让许多人抱有微词。
到底什么算“好的提示”呢?似乎无法定义。
甚至有人喊着,应该把这些题丢给MIT数学和EECS的学生去做,并不断给他们“好的提示”,这样人类学生也能拿下100%的吧……
One More Thing
一个小小的彩蛋:
整个测试中,基本上可以在笔记本电脑上部署运行的StableVicuna-13B,也有48%的得分率。
这个成绩,不仅比模型更大的LLaMA-65B高出近10个百分点,就连MIT fine-tuing过后的LLaMA-30B,还要高。
让人不得不陷入一些关于模型规模与能力相关性的思考。
参考链接:[1]https://arxiv.org/abs/2306.08997
[2]https://twitter.com/johnjnay/status/1669687958960586753
[3]https://twitter.com/arankomatsuzaki/status/1669528841629601792
[4]https://twitter.com/emollick/status/1669742473097228292
关键词:
相关阅读
-
GPT-4满分通过MIT本科数学考试!这套提...
GPT-4满分通过MIT本科数学考试!这套提示词火了 -
每日资讯:“水龄16500年”的矿泉水,专...
近日,上海一女子在高铁上花15元买了一瓶矿泉水,一看包装上写着“... -
热议:骁龙8 gen3与小米14:预计提前发...
【ITBEAR科技资讯】6月17日消息,根据可靠消息,预计今年的骁龙8gen3处 -
武汉二手房挂牌飙升至近19万套!一个购...
【武汉二手房挂牌飙升至近19万套!一个购房人十几个中介抢“首付贷... -
天天热点!鲍卫忠:将司法温暖触及每一...
央视网消息(新闻联播):鲍卫忠生前是云南省临沧市沧源佤族自治县人民 -
焦点关注:良好的职业素质由哪些主要内...
1、职业素质是劳动者对社会职业了解与适应能力的一种综合体现,其主要
精彩推送
-
微信自己退出登录是被盗号了吗(微信自...
来为大家解答以上问题,微信自己退出登录是被盗号了吗,微信自己退出很 -
GPT-4满分通过MIT本科数学考试!这套提...
GPT-4满分通过MIT本科数学考试!这套提示词火了 -
【环球新要闻】理想L7/8/9魔毯空气悬挂2...
理想L7 8 9魔毯空气悬挂2 0实测:防刹车点头来了 -
天天即时:为何有人开车喜欢用手摸车顶...
为何有人开车喜欢用手摸车顶?网友给出合理答案 -
华为NCA智能驾驶来了!余承东:超越特斯...
华为NCA智能驾驶来了!余承东:超越特斯拉FSD这15个城市率先体验 -
每日资讯:“水龄16500年”的矿泉水,专...
近日,上海一女子在高铁上花15元买了一瓶矿泉水,一看包装上写着“... -
今日热议:加拿大将向拉脱维亚部署“豹2...
【加拿大将向拉脱维亚部署“豹2”坦克中队】据加拿大国防部6月16日... -
《对马岛之鬼》电影版将会是最反武士的...
《对马岛之鬼》游戏中含有对武士伦理的探讨,而电影版导演查德·斯... -
热议:骁龙8 gen3与小米14:预计提前发...
【ITBEAR科技资讯】6月17日消息,根据可靠消息,预计今年的骁龙8gen3处 -
世界最新:我国正式启动2023新能源汽车...
我国正式启动2023新能源汽车下乡:首批近70款车型大力建设充电桩 -
房贷计算器房贷计算 提前还款房贷计算...
本文内容是由小编为大家搜集关于房贷计算器房贷计算,以及提前还款房贷 -
全国首个“科学家社区”城市单元全面封...
原标题:全国首个“科学家社区”城市单元全面封顶工人日报-中工网记... -
武汉二手房挂牌飙升至近19万套!一个购...
【武汉二手房挂牌飙升至近19万套!一个购房人十几个中介抢“首付贷... -
武汉地下再生水厂:“藏”在公园下 回...
n谌家矶再生水厂地面公园 张芹 摄 n中新网武汉6月17日电(记者张芹 -
12岁成人礼物
以下是一些适合12岁成人礼物的推荐:1 一本精美的日记本和彩色笔 -
天天热点!鲍卫忠:将司法温暖触及每一...
央视网消息(新闻联播):鲍卫忠生前是云南省临沧市沧源佤族自治县人民 -
比亚迪杀进法拉利、兰博基尼老家:BYD ...
比亚迪杀进法拉利、兰博基尼老家:BYDATTO3、汉、海豚、海豹正式进军意 -
未雨绸缪!杨浦这里开展防汛防台联合演...
每年夏季汛期,雷雨、台风等天气灾害多发,如何未雨绸缪做好防御,守护 -
焦点关注:良好的职业素质由哪些主要内...
1、职业素质是劳动者对社会职业了解与适应能力的一种综合体现,其主要 -
esp系统是什么意思_ESP系统是什么
想必现在有很多小伙伴对于ESP系统是什么?方面的知识都比较想要了解,那 -
赞达亚荷兰弟公园遛狗 一路有说有笑狂...
赞达亚和汤姆·霍兰德自从恋情曝光之后格外的甜蜜,近日他们一起逛... -
嫁到重庆的印度女子,5年后回到娘家,印...
对于常年在中国生活的人来说,用筷子是一件很平常的事,而这名印度女子 -
天天简讯:扬州将发放汽车、家电惠民券
扬州网讯(通讯员扬商宣记者屠明娟)昨天,记者从扬州市商务局了解到, -
FF 91又鸽了!法拉第未来宣布首款车型...
FF91又鸽了!法拉第未来宣布首款车型第二阶段交付推迟 -
全球速读:特斯拉(TSLA.US)超长连涨后华...
特斯拉股价13日连涨始于与福特达成快充站共享协议,分析师称福特和通用 -
天天要闻:小米手机根目录是哪个文件夹...
1、手机根目录为系统目录,与手机存储的文件是不一样的。2、手机根目录 -
蘑菇折纸步骤_蘑菇折纸步骤图解
蘑菇折纸步骤图解 -
曝皮克将与新女友结婚 与夏奇拉相恋12...
据悉,皮克和克拉拉的婚礼将在巴塞罗那举办,两人的亲戚朋友将出席。据 -
【世界快播报】超40城推行“带押过户”...
原标题:超40城推行“带押过户”如何有效落地中国商报(记者王彤旭... -
史丹利:股东拟减持不超过1.47%的股份 快看点
6月17日,史丹利发布股份减持公告,股东高文安,高文靠拟减持公司股份 -
比亚迪韩冰:智能驾驶是辅助不是替代 ...
比亚迪韩冰:智能驾驶是辅助不是替代安全是第一要务 -
盐都全力以赴拼经济奋力冲刺“双过半”
江苏远华轻化装备有限公司是大冈镇专业从事复合机械制造的出口创汇领军 -
周末出行注意!河南刚刚发布暴雨蓝色预警
【大河财立方消息】据中国天气网,河南省气象台2023年6月17日7时发布暴 -
今日纸白银价格行情(2023年6月16日)
今日纸白银价格行情(2023年6月16日) -
属羊人的流年运程,2022 属羊人的流年运程
属羊人逢猪年:其年运走伤官,小人官鬼多,升官无望,交友失利;属羊人 -
外商来华直接投资资本金保持净流入 全...
国家外汇管理局15日公布的数据显示,5月份,银行结售汇、企业和个人等 -
端午节去哪儿丨延庆全域可赏~邀你一起hi...
快来延庆开启有趣好玩的全域旅游新体验! -
【当前独家】什么是新业态新就业群体_什...
1、“业态”可拆分为“业”和“态”两个方面。2、在经济生活中,人... -
时隔十个月!央行连续“降息”,啥信号...
中新网6月17日电(中新财经宫宏宇)政策利率接连调降!继6月13日7天逆回 -
化妆品标志设计及含义 化妆品标志设计
1、很多女性对化妆品的大量需求,导致化妆品这个行业快速发展起来,同 -
我国放射诊疗安全防护情况如何?中疾控答问
中国疾控中心辐射安全所所长孙全富日前在国家卫健委新闻发布会上就我国 -
台青致大陆的圆梦心声
——来自第二十一届海峡青年论坛的故事(副题)新华社厦门6月16日电... -
卡车简报|近日关键词:氢燃料重卡密集亮相
羚牛氢能交付嘉兴港务第二批30辆氢能重卡6月14日上午,30辆氢能集卡在 -
凉爽的固原“亮相”西安 特色农文旅产...
中新网西安6月16日电 (记者 李佩珊)6月16日,宁夏固原市走进古都 -
股东入股会计分录摘要_关于股东入股的资...
1、一、股东入股的资金会计分录是:借:银行存款贷:实收资本二、一般 -
当前消息!美荷楼_关于美荷楼介绍
1、美荷楼(MeiHoHouse),全称石硖尾邨美荷楼,位于香港九龙石硖尾清 -
环球资讯:网线被老鼠咬断了怎么接没有...
一、网线被老鼠咬断了怎么接1、可以用胶带裹一下,这样就能够把它们接 -
6月16日基金净值:招商中证煤炭等权指数...
6月16日,招商中证煤炭等权指数(LOF)A最新单位净值为1 636元,累计净值 -
民事案件上诉后多久审结_环球速讯
三个月内。根据民事诉讼法的规定,人民法院审理对判决的上诉案件,应当 -
有一种温暖叫姐们儿(对于有一种温暖叫姐...
聊聊一篇一种温暖叫姐们儿,对于有一种温暖叫姐们儿简单介绍的文章,网 -
当前关注:保函
1、保函(英文:LetterofGuarantee)指银行、保险公司、担保公司或担保 -
泰国weir吧百度贴吧(泰国weir吧)
1、嗯。2、weir的确是为数不多的纯泰。本文到此分享完毕,希望对大家有 -
全球时讯:黎安友:代价太高 美国不想...
中国研究专家、美国哥伦比亚大学政治系教授黎安友16日向中评社表示,美 -
房子施工知识:选购油漆注意三个要素
买包装最重的:将油漆桶提起来,晃一晃,如果有稀里哗啦的声音,说明包 -
解剖屎山,寻觅黄金之第二弹|世界快讯
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我 -
滚动:南岭民爆(002096.SZ)子公司中标约...
南岭民爆(002096 SZ)发布公告,近日,公司所属全资子公司葛洲坝易普力 -
ldquo 爱国是 hellip hellip 爱国...
来为大家解答以下的问题,dquo爱国是helliphellip爱国是helliphellip爱国是h -
二氧化碳化学符号_氧气化学符号
1、氧气化学式O2,数字2是小2,在字母O的右下角。2、在电脑上打该符号 -
中国政府援缅甸应对风灾首批人道主义物...
本文转自【中国驻缅甸大使馆】;6月12日,中国政府援缅甸应对“穆查... -
毕业联欢会节目推荐_单位联欢会节目创意...
1、别开生面的元旦联欢会去年,我们班举行了一次别开生面的元旦联欢会 -
独家专访美银证券大中华首席经济学家乔...
xgplayer-skin-default xgplayer-volume{display:none;} xgp -
全球观速讯丨哪些古诗关掉月亮的句子 ...
抄写作文网小编为大家提供哪些古诗关掉月亮的句子关于月亮的古诗100首 -
美股异动丨Adobe涨近4%,第二财季及业绩...
美股异动丨Adobe涨近4%,第二财季及业绩指引均超预期:Adobe(ADBE US) -
902头种猪乘坐货运包机顺利入境武汉
902头种猪乘坐货运包机顺利入境武汉---6月15日18时,902头种猪乘坐货运 -
答应我,下次尿尿的时候,中途夹断试试
人身上有600多块肌肉,只有几块会被人们特别重视,比如上臂的肱二头肌 -
史上最另类“大奔”!奔驰全新纯电超跑...
史上最另类“大奔”!奔驰全新纯电超跑发布:内饰头次见 -
江淮钇为3上市:最长续航600公里、8.99万元起
江淮钇为3上市:最长续航600公里、8 99万元起 -
天天亮点!2023年《中国500最具价值品牌...
由世界品牌实验室(WorldBrandLab)主办的(第二十届)“世界品牌大会”于6 -
今日讯!外交部发言人:中方乐见外资企...
今年以来,许多知名外企高管来华,其业务涉及汽车、消费、制造业、医疗 -
硬核科技论 | 终于加上激光雷达 全新...
昨天也就是5月24日,全新一代蔚来ES6上市了,36 8-42 6万元的价格,今 -
“收银台”设计方法论
收银台,字面意思是“收+银+台”,顾名思义就是收取银子的台子。本... -
环球热文:上古卷轴4攻略_上古卷轴4攻略介绍
1、第一个任务是逃离监狱。如果我们想逃跑,首先要拿到钥匙,帮助守卫 -
2023年中国图书海外馆藏影响力100强有哪...
2023年中国图书海外馆藏影响力100强有哪些? -
男孩冲场抱梅西事件,是青春闪耀的阳光...
男孩冲场抱梅西事件,是青春闪耀的阳光,还是破坏规则的阴霾?,冲场,里 -
青岛团购网大全(关于青岛团购网大全的...
1、0532团购网简称0532团,是青岛艾芬特工贸有限公司旗下网站,立足青 -
2023年汉中市特岗教师招聘岗位表
2023年汉中市特岗教师招聘岗位表将于6月20日起,在陕西省教育厅门户网 -
不忘挖井人!奔驰Vision One-Eleven概...
不忘挖井人!奔驰VisionOne-Eleven概念车首发:致敬经典实验车 -
当前滚动:北京警方通报“球迷冲场拥抱梅...
昨晚进入赛场球迷被处拘留朝阳警方通报,6月15日晚,在工体举办的一场 -
环球通讯!小龙虾不能跟什么一起吃吗_小...
小龙虾是夏季炙热季节的美味,它被誉为“淡水海鲜”,口感鲜美,富... -
易大宗6月16日回购31.60万股 耗资33.24万港币
6月16日易大宗发布公告称,公司于2023年6月16日在香港交易所回购31 60 -
北京土拍:北京城建35.4亿元竞得朝阳奶...
财经网讯6月16日,北京迎来本月第三场土拍,共计3宗地块。北京城建以35 -
理想MPV设计手稿曝光 李想:设计灵感不...
理想MPV设计手稿曝光李想:设计灵感不是和谐号而是鲸鱼 -
老师讲自己在大巴车上有老爷爷帮她抱孩...
老师讲自己在大巴车上有老爷爷帮她抱孩子我说老爷爷会不会是人贩子 -
浙江首条自动驾驶公交线路上路运行:手...
浙江首条自动驾驶公交线路上路运行:手机App预约免费乘坐 -
每日速递:蔚来最美瓦罐车开卖!BaaS后2...
蔚来最美瓦罐车开卖!BaaS后22 8万直接对抗ModelY -
余承东:比亚迪是少数能活下来的巨头之...
余承东:比亚迪是少数能活下来的巨头之一小公司造不了车 -
全球百事通!5年磨一剑 《魔戒:咕噜》...
根据一份新的报告,《魔戒:咕噜》开发时间长达五年。 -
【全球新视野】【动漫素材】二次元唯美...
大家好我是岸,本期带来二次元风景素材103个片段mad amv类型视频适用性 -
日媒:日本警察向求助外籍女子喊“回中...
【环球网报道】据日本《读卖新闻》16日报道,15日下午,一名外籍女子因 -
永和智控: 关于调整2022年度限制性股票...
永和智控:关于调整2022年度限制性股票激励计划授予数量和授予价格的公告 -
申请专利的好处有哪几点?_申请专利的好...
1、申请专利的作用和好处。2、1)通过法定程序确定发明创造的权利归属关 -
智己LS6配置曝光!车身长度超蔚来ES6 ...
智己汽车将于下半年推出一款城市跨界SUV;根据时间节点判断,该款车型 -
全球热讯:298.8万起 法拉利首款V6插混...
298 8万起法拉利首款V6插混超跑296GTB中国召回:可能起火自燃 -
实时焦点:津药药业最新公告:与文化公...
津药药业公告公司与天津津药文化发展有限公司简称文化公司签署《后勤项 -
峰岹科技:业绩说明会定于6月28日举行|...
峰岹科技(SH688279,收盘价:106 2元)6月16日晚间发布公告称,公司20 -
视点!恒勃股份龙虎榜:机构净卖出2490万元
中国经济网北京6月16日讯恒勃股份(301225 SZ)今日上涨,截至收盘,报45 -
韩国汽车追尾事故共致82人受伤 其中3人...
据韩国警方和消防部门16日通报,当天13时26分左右,在江原道洪川郡国道 -
蔚来为欧洲市场推出两款新车型|环球实时
蔚来为欧洲市场推出两款新车型---新华网鹿特丹6月16日电(记者王湘江) -
前面忘了中间忘了后面忘了什么意思 全...
最近网上有不少新的梗出现,其中前面忘了中间忘了后面忘了这个梗就引起 -
世界观热点:蔚来降价,李斌投石问路
在汽车行业,罕有一家公司能抵住不降价的诱惑,甚至如特斯拉,直接把降