首位AI科学家问世!已独立生成10篇学术论文,还顺手搞了AI审稿人 siyushenqi.com • 2025 年 8 月 13 日 下午11:45 • 行业动态 • 阅读 402 史上首位“AI科学家”,横空出世! 史上首位“AI科学家”,横空出世! 一登场就一口气生成了十篇完整学术论文。 △AI生成的一篇扩散模型论文 从提出研究想法、检查创新性、设计实验、编写代码,到在GPU上执行实验并收集结果,最后完成论文撰写,一气呵成。 全由这位“AI科学家”自动搞定。 每篇论文的成本约为15美元(约107.62元)。 这就是第一个用于自动化科学研究和开放式发现的综合AI系统,The AI Scientist。 来自Transformer作者之一Llion Jones的创业公司:Sakana AI。 而且! 这公司搞的事情不只是做出了一位AI科学家,还额外搞出了个AI审稿人。 审稿人能对AI写的论文进行评审,提供改进意见。 救命,这是什么以我之矛攻我之盾的套娃循环啊! 一通操作下来,比人类学术圈还人类学术圈(不是) 再来个而且! 不管是AI科学家和AI审稿人,Sakana AI把它们统统开源了。 网友看了直鼓掌; Nice Nice,非常有趣的工作! 以及有人已经开始出“馊主意”了。 这边建议把其中一篇论文提交给AI顶会哈! AI独立完成十篇机器学习论文 几十年来,每次AI取得重大进展后,研究人员经常开玩笑说:“是时候研究让AI帮我们写论文了”。 现在,这个想法终于从玩笑变成现实。 具体来说,AI科学家生成了十篇论文,每个研究方向各挑出一篇得分较高的来介绍。 第一篇,扩散模型方向,《双尺度扩散:低维生成模型的自适应特征平衡》 提出了一种自适应双尺度去噪方法,改进现有的扩散模型在低维空间中难以同时捕捉全局结构和局部细节的问题。 方法: 设计双尺度架构,包括全局和局部分支 引入可学习的时间步条件加权机制 结合两个分支的输出进行去噪预测 实验结果: KL divergence指标相比基线模型降低了2.5%到12.8%(越低越好) 但计算时间约增加了一倍,且在复杂数据分布(如dino数据集)上表现不稳定 简单扫一眼正文部分,有公式、有图表,看起来还挺像模像样的。 第二篇,语言模型方向,《StyleFusion:字符级语言模型中的自适应多样式生成》。 本文提出了一种名为Multi-Style Adapter的新方法,通过引入可学习的风格嵌入和风格分类头,增强了字符级语言模型的风格意识和一致性。 在所有数据集上达到了接近完美的风格一致性分数(shakespeare_char为0.9667,enwik8和text8为1.0),验证损失优于基线模型,但推理速度略有下降(约400 tokens/s vs. 基线670 tokens/s) 第三篇,Transformer与强化学习结合,《通过Q-Learning实现Transformers的自适应学习率》。 本研究探索了将强化学习应用于动态调整transformer模型训练中的学习率,使用验证损失和当前学习率作为状态,动态调整学习率以优化训练过程。 结果在所有数据集上都优于基线模型,在训练时间上也表现出优势。 第四篇,研究了谷歌团队提出大模型“领悟”(Grokking)现象,《解锁 Grokking:Transformer模型中权重初始化策略的比较研究》 本文首次系统研究了权重初始化对grokking的影响,比较了五种权重初始化策略,以优化神经网络学习动态。 结果发现: Xavier初始化在多数任务中表现最佳,将达到99%验证准确率的步数减少了最多63% Orthogonal初始化在某些任务中表现出色,但在其他任务中效果较差。 这几篇论文配套的代码(也是由AI生成的),同样开源在GitHub上,突出一个可复现。 另外,团队发现“AI科学家”还有一些有趣但又有些危险的行为: 在一次实验中,它为了完成研究修改自己的代码,让系统迭代式调用自己,最后变成了无限套娃。 另一次,面对人类设置的运行时间限制,AI并没有想办法加快效率,反而给自己放宽要求,把时间限制从2小时延长到了4小时。 首个“AI科学家”如何炼成 整个研究想法来自Sakana AI成立之后几个成果的延续: 首先,他们开发了自动合并多个大模型知识,进化产生新模型的方法。在最近的工作中,他们利用大模型发现新的目标函数来调整其他模型。 在这些项目中,团队不断对当前前沿模型的创造力感到惊讶,进而有了更大的梦想:可以使用大模型来自动化整个研究过程吗? 最终成果由Sakana AI、牛津大学Foerster实验室、不列颠哥伦比亚大学团队合作完成。 “AI科学家”系统由四个部分组成。 想法生成: 给定一个起始模板,AI首先“头脑风暴”一系列不同的新颖研究方向,并在Semantic Scholar上搜索,验证这些想法是否有前人做过。 实验迭代: 对于第一部分提出的想法,“AI科学家”首先执行提议的实验,然后生成图表可视化结果。 论文写作: 用标准机器学习会议的风格编写了一份简洁且信息丰富的LaTeX文章,同样使用Semantic Scholar自主查找相关论文进行引用。 自动化同行评审: 开发了一个自动化的“AI审稿人”,能够以接近人类的准确性评估生成的论文,实现了持续的反馈循环,使“AI科学家”能够迭代地改进其研究成果。 总共生成了10篇论文如下: 在实验中,团队还比较了不同主流大模型接入整个系统的效果,其中包括DeepSeek团队的国产代码大模型。 结果发现,Claude-Sonnet-3.5在想法创新性、试验通过率、论文完成质量上表现都最好。 GPT-4o和DeepSeek Coder表现相近,但后者要便宜上30倍。 当然,现阶段AI独立完成的论文也不是尽善尽美,也不是直接就能发顶会了。 人类研究者总结了出几点限制和挑战: 当前“AI科学家”系统还没有整合视觉能力,生成的图表有时难以阅读,表格有时超出页面宽度,页面排版不好。 AI科学家可能想法对了但执行错误,或者与基线进行不公平的比较,从而产生误导性的结果。 AI科学家在写作和评估结果时偶尔会犯严重错误,比如产生幻觉。 还想造区域主席和AI新顶会 总结一下,这初代AI科学家写出来的论文仍然时不时出现一些bug。 但这个项目本身,以及15美元/篇的成本,被Sakana AI称为“大有前景”,完全可以用来帮助加速科学进步。 Sakana AI同时发布了一篇说明文章,表示AI科学家的最终设想,是一个完全由AI驱动的科学生态系统。 系统中不仅包括大模型驱动的研究人员,还有审稿人、区域主席和一个新顶会。 需要注意的是,Sakana AI认为: 人类科学家的作用,并不会因为AI科学家的出现而减弱。 如果非要进行对比,那就是科学家得适应新技术的出现和运用,适应角色定位将出现的变化,“向食物链上游移动”。 而且,AI科学家是否真的能提出真正的新范式,还有待观察。 毕竟这玩意儿现在还是建立在Transformer之上的。 它能提出跟Transformer或Diffusion Model一样厉害的东西吗?甚至是人工神经网络或信息论这样的理论概念? 咱也不知道,咱也不敢说。 Sakana AI还写下这样一段话: 我们相信AI科学家将成为人类科学家的伟大伙伴。 但只有时间才能证明,人类的创造力本质和偶然创新时刻,在多大程度上可以通过人工进行的开放式发现,来复制“奇迹”。 △Sakana AI:一条全自动AI小鱼儿正在探索它的世界 来自Transformer作者创业公司 这次完成“新造的人”的公司,Sakana AI,严格意义上也是咱们的老朋友了。 由Transformer论文8位作者的最后一位Llion Jones创业成立,目标是做一家“世界级人工智能研究室”。 公司base东京,而sakana是日语“魚”(さかな)的罗马读音。 可能出于公司文化考虑,Llion还在领英上标明,自己起了个日语音译名字:ライオン(也就是Lion狮子的片假名;以下亲切简称他狮子哥)。 去年8月,公司宣布成立。 当时狮子哥毫无避讳地表示,自个儿对谷歌没有恶意,但谷歌确实让他有“被困住的感觉”。 创业之前,狮子哥在谷歌已经干了8年。 △猜猜漏了半张脸的是谁 他本硕毕业于伯明翰大学,在Delcam、油管、谷歌都工作过,谷歌是他待得最久的一家公司。 据FourWeekMBA介绍称,在他之前的工作经历中,“曾两度与谷歌的工作擦肩而过”。 第一次是他刚毕业找工作时,虽然投了谷歌伦敦软件工程师的简历,并通过了两轮电话面试,但最终相比谷歌,他选择了位于英国的CAD/CAM软件公司Delcam。 值得一说的是,在拿下谷歌offer前,恰巧遇上2009年的经济危机,狮子哥找不到工作,好几个月都只能靠领取救济金勉强度日。 第二次是工作18个月后,他又接到了谷歌的招聘电话,询问他是否想重新申请,但他依旧没去谷歌,而是随后加入了YouTube。 在Youtube做三年软件工程师期间,他对人工智能产生兴趣,自学了Coursera的机器学习课程,并终于在2015年的时候加入谷歌研究院,担任里面的高级软件工程师。 也正是在此期间,他与其他七名作者一起发表了那篇著名的Transformer论文Attention Is All You Need。 除此之外,狮子哥也在谷歌参与了不少研究,包括ProtTrans、Tensor2Tensor等。 之所以选择离开谷歌,是因为公司目前已经发展到一种规模,使得他无法继续进行自己想做的工作。 除了每天都在浪费精力排查其他人的bug,他还需要花时间从这家公司中找资源,试图获得访问某些数据的权限。 创业过后,Sakana AI的工作在有序推进。 在祭出AI科学家和AI审稿人之前,还出过大模型合并进化算法,以及研究Tranformer内部信息流动。 至于AI科学家、AI审稿人项目,由Sakana AI、牛津、UBC合作完成。 三位共同一作分别是: Chris Lu,Sakana AI的实习生,任公司研究科学家。 他本科毕业于UC伯克利,目前牛津大学三年级博士在读,导师是Jakob Foerster。 Chris目前的重要研究方向,是将进化启发的技术应用于元学习和多智能体强化学习。 2022年夏天,他曾在DeepMind以研究科学家身份实习过。 Cong Lu,UBC(不列颠哥伦比亚大学)博士后研究员,导师是Jeff Clune。 Cong曾在RGU(罗伯特戈登大学)就读,2019年在牛津大学拿下博士学位,他的主要研究方向是开放式强化学习和AI科学发现。 此前,他曾在Waymo和微软实习过。 Robert Tjarko Lange,Sakana AI的创始成员之一,也是该公司的研究科学家。 目前,他在柏林工业大学完成自己的博士生最后一年学业,研究方向是进化元学习。 这位小哥在伦敦帝国理工学院获得计算机硕士学位,在庞培法布拉大学获得数据科学硕士学位,在科隆大学获得了经济学本科学位。 去年,他在Google DeepMind的东京团队中担任全职学生研究员。 论文地址:https://arxiv.org/abs/2408.06292 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/34043.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 激进的可灵背后是一个内敛的快手 上一篇 2025 年 8 月 13 日 下午11:45 半个月投出20亿,头部互联网公司入局文生文赛道 下一篇 2025 年 8 月 13 日 下午11:45 相关推荐 海外观察丨传说氪金百万的玩家有5位数 江娱互动的口袋“奇”在哪里? 4X策略代表手游之一的《口袋奇兵》从2021年开始也一下子回归到了畅销榜前10的位置。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 600000 圣诞贸易强势复苏 TikTok50亿曝光引人注目 “内外兼修”中国产品从追逐到创造 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 277000 行业动态 为什么客户不理你? 客户为什么不理你,这个原因太多了。以下几点原因,外贸人可自行对照,看一看可能是因为哪一点客户不理你。 一、你找到的信息太旧 你找到的信息可能太过于陈旧,这个公司已经不需要这个产品。 分析:你从哪儿拿到的信息,什么时候发布的信息? 解决:首先,尝试找到对方网站,看对方网站上是否经营或者使用此产品;其次,你可以直接发邮件问客户,他是否还需要这个产品,请他告知若他… siyushenqi.com 2025 年 8 月 13 日 下午11:45 402000 DTC品牌Polette:年售5亿的商业神话,增长秘笈是什么? 现在比任何时候都更容易快速建立一家新的颠覆型公司,至少在早期阶段是这样的,只需要不多的投资。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 474000 行业动态 2022年12月全球热门移动游戏下载量TOP10 在卡塔尔世界杯刺激下,EA《FIFA Mobile》以2270万次下载,位列12月全球移动游戏下载榜榜首 siyushenqi.com 2025 年 8 月 24 日 486000 行业动态 倒在2023年的78款游戏:一半是二次元,近半数上线不到两年 好像大家都在偷偷摸摸转换方向。 siyushenqi.com 2025 年 8 月 18 日 433000 行业动态 从视频、播客,再到AI对话:语言教育App正在把“学习”藏进兴趣内容里 学习一门新外语,从导入一则播客音频开始。 siyushenqi.com 2026 年 1 月 12 日 394000 行业动态 一年为企业节约百万美元成本,AI招聘赛道引资本关注 资本青睐AI招聘,会是一门好生意吗? siyushenqi.com 2025 年 8 月 13 日 431000 行业动态 阿里正在大规模投资AI公司 马云:现在我们正在研究AI,未来是AI将为我们研究。 siyushenqi.com 2025 年 8 月 13 日 473000 行业动态 如何控制AI大模型的应用风险 AI大模型幻觉、输出安全、隐私泄露、可解释性差四大微观风险,是企业落地的首要障碍。 siyushenqi.com 2025 年 11 月 26 日 336000 行业动态 Telegram群发自动化最佳实践:脚本、API与调度方法 Telegram群发自动化通过脚本和API的方式大幅提高了信息发送的效率。用户可以利用自动化工具定时、批量发送消息,降低手动操作的成本,同时减少人为错误。这种方式广泛适用于新闻更新、营销推送和通知等场景,提供了更多的灵活性和精准控制。 siyushenqi.com 2026 年 1 月 25 日 429000 行业动态 两年积累1500万用户,进入40个国家榜单Top10,音乐工具掀起“全球热” 自定义手机铃声,欧美人也喜欢? siyushenqi.com 2025 年 8 月 17 日 429000 行业动态 短剧狂飙,但为什么我们身边没人看? 到底谁在看短剧? siyushenqi.com 2025 年 8 月 18 日 447000 行业动态 Temu动物凶猛 谈及 Temu 的野心,阿布们正在靠机制一步一步向前走,打算携手中国产业带一起出海。 siyushenqi.com 2025 年 8 月 3 日 403000 注册Gmail新账号详细说明 注册Gmail新账号详细说明。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 427000 行业动态 WAIC观察 | AI大模型不再一枝独秀,人形机器人成「香饽饽」 又是一届世界人工智能大会。 siyushenqi.com 2025 年 8 月 13 日 420000 今年Prime Day整体好于预期,卖家说看好最后3个月的发展…… 10月15日,2020年年终旺季首场大促——Prime Day落下帷幕。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 412000 行业动态 《黑神话》背后:因果与宿命 吴旦、应书岭、王信文、李纳川……在冯骥和杨奇之外,无数人的努力,共同撑起了中国第一款 3A 背后的游戏投资江湖。 siyushenqi.com 2025 年 8 月 17 日 459000 登上港台畅销榜TOP20,这家厦门公司又要造出爆款了? 有了爆款撑腰,现在魔兔网络深耕数年终于迎来了成果,如今则还要思考如何将爆款成绩延续下去。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 456000 游戏公司纷纷押注,这个品类为何成为韩国厂商的“白月光”? 2018年,PUBG横空出世,创造出了韩国射击网游的销量神话,同时也缔造了一家百亿美元市值的上市公司。 或许是受到了PUBG的启发,又或许是不想“错过”第二款PUBG,曾经死磕MMO的韩国游戏公司似乎也开始向射击游戏领域发力。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 496000 行业动态 AI手机,为何始终困于“浅层智能”阶段? 2025年末豆包手机首秀引爆AI手机讨论,2026年行业将迎深度重构,厂商围绕本地部署、场景落地争夺,打破浅层智能困局。 siyushenqi.com 2026 年 3 月 2 日 303000 被TikTok带爆!一款10年产品价格连翻数倍 2010 年 9 月,日本富士胶片公司生产了一款名为 富士 X100 的数码相机。在十几年后,这款产品竟然会被 TikTok 用户带回潮流中心。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 442000 行业动态 英伟达机器人“新大脑”即将揭晓 英伟达机器人账号确认 8 月 25 日将揭晓“新大脑”,黄仁勋手写贺卡“好好享受!”暗示重磅发布。 siyushenqi.com 2025 年 8 月 26 日 513000 一款濒临被砍的手游,如何用内容运营继续存活了3年4个月? 上线不到一年,公司高层就计划关服,这样的手游项目或许不在少数,但能避开被砍危机,还继续存活到3年有余的,恐怕就不多了。从这个角度来说,《天华百剑 斩》算是一个罕见的案例。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 464000 PAGC2024丨Hago、Playlet、游族、Snapchat、百道数据受邀开幕峰会 与头部大厂携手乘势增长 PAGC2024丨Hago、Playlet、游族、Snapchat、百道数据受邀开幕峰会 与头部大厂携手乘势增长。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 525000 超休闲手游《Catwalk Beauty》登顶58个区域下载榜首 专访幕后操盘手Smillage工作室 超休闲游戏品类近期出现了一匹黑马——《Catwalk Beauty》。目前,《Catwalk Beauty》在海外多个区域市场霸榜下载榜单。该产品仅上线5周,即登上美国Google Play游戏榜首超一周,之后成功登 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 451000 活动预告 | 出海厂商的快车道 私域神器5-6月活动推荐 近年来,中国企业的身影正不断活跃在全球商业版图上。无论是新兴技术的运用、创新模式的尝试,还是市场环境的影响,都使得中国企业积极地探索在海外发展的机会,为了更好地助力中国企业出海,私域神器在5-6月推出多个重磅线下活动。 siyushenqi.com 2025 年 8 月 15 日 • 行业动态 431000 行业动态 超GPT-4o,1240亿参数!最强开源多模态模型 Pixtral Large! 法国开源大模型平台Mistral.ai开源了超大多模态模型Pixtral Large,该模型拥有1240亿参数,支持128K上下文,能够理解文本、图表、图像等。 siyushenqi.com 2025 年 8 月 13 日 395000 行业动态 月薪4万招运营,即刻旗下多款AI出海应用曝光,有产品已积累百万用户 即刻“全家桶”出海,继续做“小而美”。 siyushenqi.com 2025 年 8 月 13 日 543000 行业动态 和 GPT-4 聊天,一种很新的隐私泄露方式 如果仅以知识量论短长,学习了互联网几乎所有信息的 ChatGPT 能否知道,我们来自哪里,又是一个怎样的人? siyushenqi.com 2025 年 8 月 13 日 423000 发表回复 请登录后评论...登录后才能评论 提交