200万上下文!月之暗面Kimi又长长长了,一次处理500个文件,还能读懂甄嬛传了 siyushenqi.com • 2025 年 8 月 13 日 下午11:07 • 行业动态 • 阅读 708 月之暗面的路线是,无损上下文长度是每一扇门的钥匙。 成立一年,拿了大把融资,大模型“长文本路线”代表人物月之暗面(Moonshot AI)现在最关心的是什么? ——依然是“长”。 去年10月,月之暗面发布支持20万汉字输入的Kimi智能助手(下简称Kimi),彼时Claude-100k支持约8万字,GPT-4-32k支持约2.5万字。Kimi是全球市场上能够产品化使用的大模型服务中最长的上下文输入长度。 20万字的“胃口”,现在变成200万了。 这是什么概念呢。举个例子,目前微信读书上单本超过200万字的作品只有5部。 会议室里,月之暗面 AI Infra负责人许欣然拿出了一个全本《倚天屠龙记》的复印版本——A4纸打印,叠起来几乎有一瓶350ml的怡宝纯净水的一半高,约100万字——还有一整个《甄嬛传》剧本,现在的Kimi Chat一次可以吃掉这俩。 一本《倚天屠龙记》的厚度 图源:硅星人 这意味着什么? 如果把上下文长度理解成大模型的“精力”,那么现在Kimi能够一口气精读500个甚至更多数量的文件,帮助用户快速分析所有文件的内容,并且支持通过自然语言进行信息查询和筛选。在Kimi还是20万字输入长度的时候,它的能力界限还在50个文件左右。 比如你可以直接扔给Kimi 500份简历,然后让它把其中符合要求的人初筛出来。 图源:月之暗面 每个文件也可以长一点。 英伟达GPT大会又要开场了,如果需要一些背景知识,你可以把英伟达过去几年的完整财报一次性扔给Kimi,让它成为一位临时的英伟达财务研究专家,来帮你分析总结英伟达历史上的重要发展节点。 图源:月之暗面 甚至你可以把LLM库的源代码直接给Kimi,然后你将会收获一个大概懂大模型是怎么回事的同事——它了解这个代码库里的所有细节,还能快速梳理出代码的结构。 图源:月之暗面 “有个1万小时定律,意思是投入1万小时的话在任何领域你都会成为一个专家,我们希望Kimi可以用10分钟完成同样的事。”许欣然说。 当然它也能做些不那么严肃的事,比如刚才提到的《甄嬛传》。 当我把全集几十万字的剧本传给Kimi, 然后提问剧本中有哪些细节表明甄嬛的孩子是果郡王的。Kimi竟然能在不同时间段、各个场景的故事情节里把甄嬛、果郡王的情感线以及关于孩子的真相理顺,堪比一个看了好几十遍电视剧的“甄”学家。 图源:月之暗面 SimilarWeb数据显示,去年12月Kimi的周访问量还在10万次上下,到了1月下旬才突破40万,但是从春节开始访问量疾速攀升,到现在周访问量已经超过160万次。 然后Kimi收到的用户反馈也越来越多,从这些反馈来看,20万字很长,足够做很多更有价值的事——但还不够长。在尝试更复杂的任务,解读更长的文档时依然会遇到对话长度超出限制的情况。这也是Kimi的上下文长度需要继续提升的一个直接原因。 月之暗面相信长文本技术是大模型“登月计划”的第一步,关于大模型幻觉的问题,实用价值低的问题,本质上都是因为困在文本长度的限制里。甚至模型微调也只是目前文本长度有限情况下的权宜之计。 “所有问题都是文本长度的问题。如果你有10亿的 context length(上下文长度),今天看到的问题都不是问题”。月之暗面CEO杨植麟在之前的采访中表示。 如果单单只是为了“变长”,办法很多。长文本最终要建立在lossless(信息不随着文本长度增加而损失)上才有意义。而无损的⻓上下文将会是通往AGI的关键基础技术。某种程度上,绝对的文本长度是花架子,无损压缩的能力才能分模型的胜负。 “从word2vec到RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文⻓度。”杨植麟此前表示。 月之暗面方面透露,这次上下文长度从20万字扩展到200万字由于没有采用常规的渐进式提升路线,研发和技术团队遇到的技术难度也是指数级增加的。为了达到更好的⻓窗口无损压缩性能,团队从模型预训练到对⻬、推理环节均进行了原生的重新设计和开发。许欣然所领导的AI Infra层目前效率已经提升到了原来的3倍。 而无损上下文长度的线性变化最终会决定上层建筑的形态——也就是人们到底能用大模型做什么。 领域专家、可完成复杂多步任务的Agent、多模态模型。许欣然提到了这三个方向,或许这也会是忠于长文本路线的月之暗面未来的发展方向。 Kimi智能助手已支持200万字超⻓无损上下文,并于即日起开启产品“内测”。对大模型超⻓无损上下文能力有需求的用户,可到Kimi智能助手网⻚版kimi.ai首⻚申请抢先体验。之后,月之暗面会逐步开放更多用户来体验具备超⻓无损上下文能力的Kimi智能助手。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33586.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 Sora并非完美,致命缺点也很多 上一篇 2025 年 8 月 13 日 下午11:07 英伟达新核弹B200发布,一台服务器顶一个超算,万亿参数大模型30倍推理加速 下一篇 2025 年 8 月 13 日 下午11:08 相关推荐 新怪谈悬疑风的二次元手游有没有搞头?看看《异象回声》做的如何 近日,由厂商苍火游戏小组开发的二次元手游《异象回声》开放测试,这款此前备受瞩目的手游才总算跟玩家见面 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 483000 从《白荆回廊》的这次“巡声测试”中,我们能看到哪些亮点? 在这次仍旧处于持续状态的“巡声测试”中,我们究竟能够看到哪些亮点?《白荆回廊》从曝光至今又在各个方面表现出了怎么样的潜力? siyushenqi.com 2025 年 8 月 22 日 • 行业动态 519000 行业动态 OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源 小模型时代来了?OpenAI带着GPT-4o mini首次入局小模型战场,Mistral AI、HuggingFace本周接连发布了小模型。如今,苹果也发布了70亿参数小模型DCLM,性能碾压Mistral-7B。 siyushenqi.com 2025 年 8 月 13 日 461000 行业动态 外贸营销系统化:矩阵运营+数据驱动全渠道增长模型 矩阵运营提升协同效应 数据驱动优化决策过程 全渠道整合提升客户体验 精准营销提高转化率 持续监测与调整策略 矩阵运营提升协同效应 外贸营销系统化的核心之一是矩阵运营,这一方法通过组织内各部门的协调合作,打破信息孤岛,提升运营效率。例如,销售团队与市场团队之间的紧密配合,可以更快速地响应市场需求变化,同时增强客户满意度。矩阵运营不仅强调部门协作,还要求各类资源… siyushenqi.com 2025 年 8 月 13 日 下午11:07 708000 行业动态 游戏行业卷在2023:四大趋势,两强争霸 头部厂商大PK,腰部被碾压,尾部赚点钱。 siyushenqi.com 2025 年 8 月 18 日 439000 行业动态 字节旗下游戏在美国恢复运营,Marvel Snap或更换发行商 在1月19日,随着TikTok在美国被禁,字节跳动旗下一系列APP(包括沐瞳的《Mobile Legends: Bang Bang》《Watcher of Realms》和Nuverse发行的《Marvel Snap》)在美国停止服务,并从应用商店下架。 siyushenqi.com 2025 年 8 月 17 日 401000 拼多多的出海决心:以投放换下载,低价低质无法赢得用户 从9月拼多多宣布做海外跨境电商——Temu开始,其势头就一直高涨。低价和广告虽然带来了短期流量,同样做低价电商的Wish却已经迎来用户大量流失和业绩亏损,Temu的前景似乎并不明朗。至少在海外社交媒体,Temu还没有引起用户广泛的讨论,而低价带来的质量隐患已经出现。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 412000 行业动态 乐播动漫、即构科技 确认入驻PAGC 2025丨第五届全球产品与增长展会! 乐播动漫、即构科技 确认入驻PAGC 2025丨第五届全球产品与增长展会! siyushenqi.com 2025 年 8 月 17 日 453000 夹缝中求存的TapTap 2016年上线至今,TapTap逐渐成为国内最受瞩目的游戏社区平台。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 483000 行业动态 全面AI化,高德在玩一种很前卫的创新 8 月上线的高德地图 2025 以“感知-思考-行动-反馈”空间智能为底座,让 10 亿级用户第一次用上真正意义上的 AI 原生地图 App。 siyushenqi.com 2025 年 8 月 15 日 452000 汕头小小网络、环游者网络、米莉工作室确认加入PAGC2024游戏对接会研发对接桌 汕头小小网络、环游者网络、米莉工作室确认加入PAGC2024游戏对接会研发对接桌 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 453000 行业动态 WhatsApp精聊内容模板开发与应用 行业背景与精聊概念演进 精聊内容模板的设计方法论 多行业应用场景与实践效果 运营优化与长期价值评估 在全球即时通讯工具高度普及的背景下,WhatsApp 已从单纯的沟通工具演化为企业连接用户、沉淀关系的重要触点。围绕“精聊”的内容模板开发,正在成为企业提升沟通质量与运营效率的核心手段。所谓精聊,并非频繁打扰,而是以结构化、可复用、高相关性的内容模板,实现一次… siyushenqi.com 2025 年 8 月 13 日 下午11:07 708000 曾月入22亿日元,背靠任天堂xCygames,《失落的龙约》宣布停运 一款短命的良作。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 476000 行业动态 继获得腾讯投资后,Voodoo在新加坡和日本新开两家办事处 根据游戏产业媒体Gameindustry.biz的报道,超休闲手游开发和发行商Voodoo宣布了在亚太地区开设两家新办事处的消息,他们分别位于日本和新加坡。 siyushenqi.com 2025 年 8 月 26 日 476000 LOL手游正式上线台服,登顶iOS免费榜TOP1 12月7日,《英雄联盟》手游正式上线台服,开启了预下载 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 324000 行业动态 别“刷”了!又有两大刷单公司遭亚马逊起诉! “你还在刷单吗?” siyushenqi.com 2025 年 8 月 13 日 439000 小IP撬动大市场 电子宠物掀起拉美热风 如何将好友互动融入电子宠物组件中? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 481000 行业动态 《Splitgate》开发者:怎样做一款有新意的竞技射击游戏? 1047首席执行官兼创始人伊恩·普罗克斯(Ian Proulx)在近期接受外媒采访时表示,他对《Spiltgate》的爆火没有足够的心理预期:随着海量玩家涌入游戏,1047需要在尽量积极响应玩家需求,与充分考虑开发团队的能力之间把握平衡。 siyushenqi.com 2025 年 8 月 25 日 538000 字节海外培育"三胎" 梦断印度的Helo如今怎样了 2017年,Musical.ly走红欧美,彼时,这个产品已经达到了千万级别的日活。同年,字节跳动果断出手完成收购。魔性的洗脑音乐加上创意十足的展示,再配合上字节的推荐算法,刷视频的新鲜感不断刺激着用户的神经,时间的流逝也仿佛按下了“加速键”。从此,我们的碎片化时间又多了一项新的娱乐活动。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 387000 行业动态 相机应用登海外多国TOP10、发布多剧集生成AI Agent,“AI第一股”商汤科技正在将算法能力化为创作日常 技术真正的姿态应该如何? siyushenqi.com 2025 年 12 月 16 日 416000 一天只卖两小时,年收入超1500万!“白菜价”的临期食品太赚钱了! 电商让实体店纷纷倒闭?那是你没有抓住电商给社会带来的新商机! siyushenqi.com 2025 年 8 月 13 日 • 行业动态 433000 行业动态 当“听劝”男性们成为“男颜经济”主力军 颜值焦虑的他们被变美APP们狠狠拿捏了 又一个被TikTok带火的热趋。 siyushenqi.com 2025 年 8 月 18 日 464000 行业动态 dLocal、摩尔普斯 确认入驻PAGC 2025丨第五届全球产品与增长展会! dLocal、摩尔普斯 确认入驻PAGC 2025丨第五届全球产品与增长展会! siyushenqi.com 2025 年 8 月 17 日 482000 沃尔玛在线杂货销售额再创新高,继续死磕电商 掘金全球电商市场,沃尔玛还需要拥有更多王牌。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 397000 行业动态 OpenAI发布AI浏览器ChatGPT Atlas OpenAI 发布 ChatGPT Atlas,以“智能体模式”让浏览器从“看网页”升级为“代用户执行任务”,直接挑战 Chrome 霸权。 siyushenqi.com 2025 年 10 月 23 日 421000 微博相继认证,米哈游、库洛、蛮啾的新作要开宣了 随着200多天后的国产游戏版号的再次下发,不少游戏开发者心里吃下了一颗定心丸,至少很多原本没什么声音或者默默开发的项目开始走上正常宣发的轨道。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 486000 行业动态 SAGI GAMES曾嵘:《Genius Shooter》,小团队如何搏击北美市场 2019年,伴随着《弓箭传说》的火爆。使得无数后来者纷纷仿效,而后又在这种蜂拥的仿效中纷纷为人所遗忘。 siyushenqi.com 2025 年 8 月 25 日 391000 行业动态 一周要闻NO.177丨新加坡向苹果、谷歌下“防欺诈指令;字节计划出售沐瞳;Soul拟赴港IPO;DeepSeek开源新模型 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 12 月 1 日 348000 行业动态 字节的AI要跳动向何方 迟钝的反应让字节跳动失去了围绕大模型技术进行争锋的先机,利用手中的C端用户资源卷向大模型应用,是字节跳动在技术劣势尚未逆转前的唯一选择。 siyushenqi.com 2025 年 8 月 13 日 446000 疯狂整活,《光与夜之恋》这波是土味的胜利! 《光与夜之恋》不负玩家期待,上线首日就登上了免费榜首,其畅销榜成绩也在此后的几天之内节节高升,同时还在多个社交与视频网站上掀起了一股热烈的讨论。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 552000 发表回复 请登录后评论...登录后才能评论 提交