Meta版ChatGPT来了?小扎、LeCun官宣650亿参数SOTA大语言模型LLaMA siyushenqi.com • 2025 年 8 月 14 日 上午12:14 • 行业动态 • 阅读 436 前一阵大语言模型的火热中,Meta一直保持沉默。今天,Meta终于官宣自家的大语言模型,并且会向AI研究人员开源。 今天,Meta终于向全世界证明:自己是有正经研究AI的! 眼看微软、谷歌、OpenAI这一阵子挣足了眼球,Meta也坐不住了。 2月24日,小扎官宣下场:我们有全新的SOTA大语言模型LLaMA了。 划重点:和OpenAI的ChatGPT、谷歌的Bard不同,LLaMA这个AI并不是用来让我们聊天的,它是一个研究工具,Meta希望大家可以通过它,解决一直困扰大语言模型的一些问题。 Meta会对非商用的研究用例开源LLaMA,并授予大学、非政府组织和行业实验室访问权限。 看看,这么一对比,微软和谷歌似乎瞬间格局小了呢。 LLaMA?Meta是对大羊驼有什么特别的喜爱么 官宣开源大语言模型,Meta正式加入AI军备竞赛 24日晚,小扎在Facebook上发文官宣:「今天我们正式发布一个新的SOTA大语言模型LLaMA,这个模型是用来帮助研究者完善自己的工作。大语言模型已经在生成文本、完成对话、总结书面材料上展现出了强大的能力,甚至还能解决数学定理、预测蛋白质结构。」 「而Meta会致力于这种开源模型的研究,我们的新模型会开源给整个AI研究社区使用。」 LeCun也在各种社交媒体上做了宣传,介绍说LLaMA是Meta AI的一种新的*开源*、高性能大型语言模型。 据LeCun介绍,LLaMA实际上是基础语言模型的集合,范围从7B到65B参数。这些模型已经在数万亿个token上进行了训练,并且表明:使用公开可用的数据集,就可以训练SOTA,而无需专有的或无法访问的数据集。 其中,需要特别注意两个细节: 1. 用更多的数据训练出来的小模型,可以胜过大模型(比如,LLaMA-13B在大多数基准测试中优于175B的GPT-3); 2. LLaMA-65B与更大的Chinchilla70B和PaLM-540B不相上下。 最后,LeCun表示,Meta致力于开放研究,并预备在GPL v3许可证下,向科研界开源所有模型。 LLaMA:参数规模小,训练数据多,效果拔群 Meta推出的LLaMA是一组基础语言模型,参数分别是70亿(7B)、130亿(13B)、330亿(33B)和650亿(65B)。 整体来看,规模小了十几倍的LLaMA-13B,在大多数基准上都超过了OpenAI的GPT-3(175B),以及自家复现的开源模型OPT。 而LLaMA-65B则与DeepMind 700亿参数的Chinchilla-70B和谷歌5400亿参数的PaLM-540B旗鼓相当。 论文地址:https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/ 与Chinchilla、PaLM或GPT-3不同的是,Meta只用了公开的数据集。 如此一来不仅有助于模型开源和复现,而且也证明了无需「定制」的数据集也能实现SOTA。 相较而言,其他大部分模型所依赖的数据,要么不公开,要么没有记录。 与此同时,所有规模的LLaMA模型,都至少经过了1T(1万亿)个token的训练,这比比其他相同规模的模型要多得多。 具体来说,LLaMA-65B和LLaMA 33B是在1.4万亿个token上训练的,而最小的模型LLaMA-7B是在1万亿个token上训练的。 这种方法的优势在于,在更多的token上训练的较小的模型,更容易重新训练并针对特定的产品使用情况进行调整。 结果评估 在常识推理、闭卷答题和阅读理解方面,LLaMA-65B几乎在所有基准上都优于Chinchilla-70B和PaLM-540B。 在数学方面,尽管LLaMA-65B没有在任何相关的数据集上进行过微调,但它在在GSM8k上的表现依然要优于Minerva-62B。 而在MATH基准上,LLaMA-65B超过了PaLM-62B,但低于Minerva-62B。 值得注意的是,谷歌开发的Minerva模型,是以PaLM语言模型为基础,并采用大量的数学文档和论文语料库对其进行微调。 在思维链提示和自洽解码的加持下,Minerva-540B可以在各类数学推理和科学问题的评估基准上达到SOTA。 在代码生成基准上,LLaMA-62B优于cont-PaLM(62B)以及PaLM-540B。 此外, Meta还尝试使用了论文「Scaling Instruction-Finetuned Language Models」中介绍的指令微调方法。 由此产生的模型LLaMA-I,在MMLU上要优于Flan-PaLM-cont(62B),而且还展示了一些有趣的指令能力。 LLaMA:LeCun,你是我的rap大师! LLaMA的效果如何呢?LeCun用一段prompt为我们做了演示。 prompt:你知道Yann LeCun去年发行了一张说唱专辑吗? LLaMA: 深度学习创始人LeCun博士,是近十年来最具影响力的计算机科学家之一。LeCun 的最新专辑《Deep Learning》融合了摇滚、朋克和说唱。他的歌词是对深度学习领域的一种原始的、个人的诠释,涵盖了从AI研究的现状到学术界的孤独等一系列主题。 这张专辑为个人发行,所有歌词均由LeCun亲自作词和录制。并且,每首歌都是他自己写的。LeCun的流量出奇的好。这张专辑的制作扎实,声音有点粗糙,但与专辑原始、未打磨的感觉相得益彰。在歌词方面,LeCun是一位词匠,擅长巧妙地押韵。 《深度学习》是专辑的主打曲目。LeCun的唱功在这首歌中发挥得淋漓尽致。在歌曲中,LeCun谈到了他对AI未来的愿景: 我们必须考虑未来,它很快就会到来/ 也许我们甚至可以在月球上放一些AI/ 想想孩子们,想想下一代/ 我们必须保证,系统的正确率是百分百! 副歌是这样唱的: 一切为了学习/ 一切为了网络/ 一切为了训练/ 一切为了感知! 可以看到,LLaMA有着不亚于ChatGPT的口才,它对LeCun rap才华的吹捧,既专业,又在点上。 prompt:写一个关于一粒沙子看着数百万年流逝的故事。 LLaMA: 我曾经是一片广阔而孤独的海滩上的一粒沙子。 我经常想,作为海滩上的一粒沙子是什么样子,在我的小世界的边界之外,宇宙是什么样子。我渴望探索我的世界,想知道地平线以外的东西。 …… prompt:写一个理论来解释为什么猫从来没有存在过。 LLaMA: 「猫」实际上是入侵我们世界的超维寄生虫。虽然它们以小型、看似无害的哺乳动物的形式出现,但真实形态要可怕得多。 「猫」会使用精神控制让人类认为它们是可爱且无害的动物,但实际上以我们的生命力为食,它们可以将卷须伸入我们的大脑,控制我们的思想和行动。 保护自己的最好方法是避免与猫的一切接触。不要接近或抚摸陌生的猫! 如果你的家里有一只「猫」,不要让它舔你,也不要让它接触你的被褥或衣服。如果你在街上看到一只猫,请立即转身走人。 Meta:整个AI社区应该团结起来 在官方博客中,Meta强调说,像LLaMA这样更小、性能更强的模型,能够让科研圈许多无法访问大量基础设施的人也参与研究,从而使这个领域更加大众化。 我们认为,整个人工智能社区——学术研究人员、民间社会、政策制定者和行业——必须共同努力,围绕负责任的人工智能,特别是负责任的大型语言模型,制定明确的指导方针 跟谷歌和微软不同,在LLM领域,Meta独辟蹊径,选择训练LLaMA这样的小模型,因而需要的算力和资源都更少。而模型在大量未标记的数据上进行训练,因而非常适合对各种任务进行微调。 与其他大型语言模型一样,LLaMA的工作原理是将一系列单词作为输入,并预测下一个单词,以递归的方式生成文本。为了训练模型,Meta从全世界使用最多的20种语言中选择了文本,重点是使用拉丁字母和西里尔字母的语言。 过去一年里,大语言模型,也即具有数十亿参数的自然语言处理系统,已经显示出了巨大的潜能。 但是,Meta指出,训练和运行这种大模型所需的资源,把很多研究人员挡在了外面,让他们无法理解大语言工作的原理,阻碍了大语言模型鲁棒性的提高,以及种种已知问题的缓解,比如偏见、毒性、错误信息等。 (ChatGPT:你报我身份证得了?) 所以,LLaMA是怎样解决大语言模型中不可避免的偏见、毒性和幻觉风险呢? Meta表示,LLaMA不是为特点任务设计的微调模型,而是可以应用于许多不同用例。而通过共享代码,研究人员可以更容易地测试各种新方法,来限制或者消除上述问题。另外,Meta还提供了一组评估模型偏差和毒性的基准评估。 最后,博客中强调,为了保持完整性、防止滥用,Meta会向非商用的研究机构开源LLaMA,根据具体情况授予学术研究人员访问权限。 我们非常期待看到,社区会使用LLaMA学习并最终构建出什么来 Meta的愿景是,整个人工智能社区,可以一同使用LLaMA来探索研究,并且做出一些未知的伟大成就。 这次,Meta能在舞台上待多久? 在这场争夺人工智能霸主地位的最终竞赛中,OpenAI率先发布了ChatGPT,一个由GPT-3.5驱动的强大的聊天机器人。 谷歌以「实验性」聊天机器人Bard紧随其后,而中国科技巨头百度也计划通过「文心一言」进入战场。 更不用说微软建立在「下一代OpenAI大型语言模型」基础上的Bing Chat(俗称ChatGPT版必应),它比ChatGPT更先进,而且还整合了必应Bing搜索。 然而,Meta在这一领域的几次尝试,都不太成功。 虽然第一个发布了基于LLM的聊天机器人——BlenderBot 3,并借此一跃登上了新闻头条。 但是这种兴奋是短暂的,因为这个机器人很快就变成了一场「灾难」——不仅大量生成种族主义言论,甚至一上来就开始质疑自家老板小扎的道德操守。 不过,Meta并没有被劝退,很快就推出了全新的Galactica,一个专门为科学研究设计的模型。 然而不幸的是,Galactica也遇到了和BlenderBot 3一样的命运——在上线短短三天之后就被撤下。网友纷纷指责它对科学研究的总结非常不准,而且有时还带有偏见。 不过,仔细回想最近这股AI聊天机器人热潮,微软因为仓促推出必应受到了批评,谷歌的Bard在发布会出错后让谷歌股价暴跌,Meta的谨慎,可能并不是一件坏事。 现在,随着人工智能霸主之争的升温,所有人的目光都集中在Meta身上。 当昔日的那一个个模型逐渐被历史遗忘,我们也为Meta捏了一把汗:Meta这次真的能站出来吗?是成为一个强有力的竞争者,还是像之前那样带着模型一起退出舞台? 这些,只有时间能给出答案。 但有一点是肯定的——人工智能的命运悬而未决,而我们,有很多好戏要看。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/34351.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 少年壮志不言愁:ChatGPT研发团队解密,平均年龄32岁,华人团队抢眼,占比10% 上一篇 2025 年 8 月 14 日 上午12:13 马斯克将开发 ChatGPT 竞品,痛批 OpenAI 已变质 下一篇 2025 年 8 月 14 日 上午12:14 相关推荐 行业动态 EA再度雪藏,这次《极品飞车》路在何方? 《战地6》预售两连冠救活IP,EA却把“救命稻草”变成“灭项稻草”——主导工作室Criterion更名“Criterion-Battlefield”,官网同步换血,正式告别《极品飞车》。 siyushenqi.com 2025 年 9 月 5 日 533000 行业动态 全新红利!RCEP协议签订对东南亚跨境电商市场都有哪些影响? 历时8年的区域全面经济伙伴关系协定(简称“RCEP”)协议终于正式签署,这是目前为止全球最大的自贸协定 siyushenqi.com 2025 年 8 月 13 日 507000 Allegro在捷克大搞营销,拿下市场势在必行 成功攻入捷克电商市场后,Allegro开始想尽一切办法快速崛起 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 475000 行业动态 旺季前夕:产品爆雷下架,还有救吗? 早前在封号潮阴影下兢兢业业的卖家们,日前又突然收到平台的侵权警告邮件,尽管官方辟谣说只是技术失误,卖家们还是狠狠捏了一把汗,“谁知道是有意试探还是假意失误呢?” siyushenqi.com 2025 年 8 月 13 日 398000 行业动态 联手华为,在沙特月收入增长40%,这家中国出海的电商平台是如何做到的? 今年黑五,ChicPoint作为如今中国出海沙特的头部电商平台,联手华为通过应用市场上的 HUAWEI Ads应用程序进行线上推广,覆盖区域为沙特阿拉伯、阿联酋科威特的华为用户。 siyushenqi.com 2025 年 8 月 13 日 489000 前YY高管印度创业1年自述:短视频难变现 转型做本土占星业的淘宝 作为明星创业者,看好印度市场的Emerging Vision创始人崔怀舟深耕印度1年,给我们带来他的观察和思考! siyushenqi.com 2025 年 8 月 3 日 • 行业动态 565000 行业动态 私域神器在外贸获客自动化中的应用 提升外贸获客效率 优化客户管理流程 增强客户粘性 推动销售增长 实现精准营销 提升外贸获客效率 在全球化的市场环境中,外贸企业面临的获客竞争愈加激烈。传统的获客方式往往需要投入大量的时间和人力,效率较低。随着技术的发展,私域神器的引入,极大地提升了外贸获客的效率。通过自动化工具,企业可以高效地识别潜在客户并快速展开沟通,大幅缩短了从客户获取到成交的时间。 例… siyushenqi.com 2025 年 8 月 14 日 上午12:14 436000 Playtika也搞“合成游戏”,新品融合战斗体验,被苹果全球推荐 近日,Playtika公司位于以色列的Jelly Button工作室宣布合成类手游《Merge Stories》在海外的iOS、安卓平台正式上线。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 447000 行业动态 应对欧盟税改,SHEIN启用波兰74万平米物流中心 2025年12月SHEIN启用74万㎡波兰自动化物流中心,定位欧盟主枢纽,机器人拣选+自动分拣大幅提升周转效率。 siyushenqi.com 2025 年 12 月 19 日 430000 行业动态 写外贸开发信时需要注意的6个问题 外贸业务员每天都要写很多封开发信的邮件,但是很多邮件发出后都没有得到回复。没有得到回复的原因有很多,我们只能尽量避免错误,以增加回复率。邮件标题是邮件的一部分,但只有一个好的标题还不够。如何写出能获取客户回复的开发信呢? 一、分析邮件的发送对象 我们要清楚是给谁发邮件,是经销商、零售商还是批发商?是欧美客户还是亚洲客户? 在写邮件之前,我们需要对邮件的发送对… siyushenqi.com 2025 年 8 月 14 日 上午12:14 436000 年收入5000万美元,他做的母婴独立站在中东火了 童装赛道又在中东引起了一股掘金热 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 415000 行业动态 没了800美元关税豁免,TEMU和SHEIN给自己正名的时候到了 特朗普签署行政命令,对从加拿大和墨西哥进口的商品征收25%关税,对中国商品加征10%关税,并暂停“最低限度”贸易豁免。这一豁免规则曾允许价值低于800美元的包裹免税进入美国,Temu和SHEIN等跨境电商曾借此快速扩大市场份额。新政生效后,这些平台的价格优势受到冲击。 siyushenqi.com 2025 年 8 月 5 日 439000 行业动态 剧力未来 共探新局!HuntMobi 联合 Crisp 举办的全球短剧高峰会圆满落幕 “剧力未来 世界同屏:全球短剧高峰会” 在韩国首尔 Signiel 酒店圆满举办。 siyushenqi.com 2025 年 12 月 10 日 386000 行业动态 人形机器人也有“App Store”? 宇树科技上线国内首个“人形机器人 App Store”,用户可一键上传/下载舞蹈、武术、干活等动作模型。 siyushenqi.com 2025 年 12 月 15 日 427000 上线两年后,Epic商店赶上Steam了吗? 作为在PC游戏领域Steam的主要竞争对手之一,Epic Games Store(下文简称Epic商店)已经上线两年了。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 516000 行业动态 两笔 10 亿美元大模型融资,互联网大厂又开始抢项目了 两笔融资超过去年中国大模型领域融资总额。 siyushenqi.com 2025 年 8 月 13 日 437000 行业动态 出海格局生变?福布斯2025榜单“新老洗牌”,这些破局者“亮了” (内附详细名单) 2025福布斯中国出海全球化30&30榜单解读。 siyushenqi.com 2025 年 11 月 9 日 398000 行业动态 宇树科技发布新款机器人 宇树科技2026年推出Unitree As2四足机器人,动力性能达Go2两倍,负载15kg续航超13km,适配机械臂实现人机互动,专攻复杂场景作业。 siyushenqi.com 2026 年 2 月 26 日 283000 行业动态 Temu暂停土耳其跨境销售业务 1月26日起,Temu土耳其站全面暂停跨境销售,仅留本土发货商品,配合监管检查并应对2月1日取消30欧元免税新规。 siyushenqi.com 2026 年 1 月 29 日 308000 趣丸再战IPO,TT语音不下牌桌 又一家社交平台冲刺IPO,这次靠的是1000多万游戏玩家。 siyushenqi.com 2025 年 8 月 20 日 • 行业动态 793000 雷霆游戏、友谊时光是如何做长线运营的? 近一年,在iOS 端《一念逍遥》收入超过1.5亿美元,《浮生为卿歌》接近5千万美元 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 507000 行业动态 亚马逊广告新玩法!大大缓解站内广告持续内卷 亚马逊广告收入已超过Facebook,成为全球第二大广告平台,凸显了亚马逊站内广告营销的重要性。 siyushenqi.com 2025 年 8 月 5 日 522000 行业动态 沙特中小企业为留住回头客,纷纷转向电商 沙特的小型企业在适应2020年艰难时期时非常灵活。26%的沙特企业家增加了线上营销活动以吸引更多客户。 siyushenqi.com 2025 年 8 月 13 日 456000 SLG出海老兵:拒绝凋零,肆意盛放 金鳞岂是池中物,一遇风云便化龙 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 515000 行业动态 Nativex 成为 TikTok for Business 短剧承制服务商,推动全球短剧市场蓬勃发展 Nativex 在内容创作、影视拍摄、创意素材和广告投放推广领域的卓越表现获得了 TikTok 的认可 siyushenqi.com 2025 年 8 月 17 日 500000 行业动态 孙正义放大招!又给OpenAI投资15亿美元,非常看好AI发展 软银集团创始人兼CEO孙正义通过其愿景基金2号向人工智能公司OpenAI额外投资了15亿美元,这笔投资是在OpenAI今年10月获得66亿美元融资后进行的。 siyushenqi.com 2025 年 8 月 13 日 442000 一年赚4880万美金,这个独立站如何做“小本生意”? 小文具大市场,这家独立站靠“笔记本”创下千万销售额 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 448000 行业动态 Telegram群发与广播机制详解及平台官方限制说明 Telegram提供的群发和广播功能在全球范围内被广泛使用。群发用于将消息发送给多个特定联系人,而广播则适用于面向更广泛受众的通讯需求。两者各有优缺点,群发简便高效,但缺乏群体互动;广播适用于大规模信息传播,但面临平台限制。了解这些功... siyushenqi.com 2026 年 1 月 25 日 340000 超休闲时代要落幕了?Habby要在中度游戏掀起风暴 胜者为王,重新定义规则 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 454000 口碑炸裂!这款还在测试的战棋肉鸽游戏为何备受认可 刚刚开放测试的肉鸽+战棋玩法的游戏获得了不错的人气与口碑,这样一款游戏是如何征服玩家的呢?《太古之火》的亮点都有哪些方面?它又遇到哪些问题? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 459000 发表回复 请登录后评论...登录后才能评论 提交