小红书开源首个大模型,11万亿非合成训练数据 siyushenqi.com • 2025 年 8 月 13 日 下午10:17 • 行业动态 • 阅读 392 小红书开源了首个大模型dots.llm1,这是一个1420亿参数的专家混合模型(MoE),在推理时仅激活140亿参数,能有效降低成本且保持高性能。 摘要 dots.llm1采用单向解码器Transformer架构,将前馈网络替换为MoE。MoE由128个路由专家和2个共享专家组成,每个专家网络是两层前馈网络,使用SwiGLU激活函数。处理每个输入标记时,通过路由机制激活8个专家网络。此外,其注意力层采用多头注意力机制(MHA)并引入RMSNorm归一化操作,还引入无辅助损失的负载平衡策略解决MoE架构中负载不平衡问题。 在训练过程中,dots.llm1采用了AdamW优化器,通过引入权重衰减防止模型过拟合,同时采用梯度裁剪技术避免梯度爆炸问题,进一步提高模型性能和效率。 dots.llm1使用11.2万亿token非合成数据,构建三级数据处理流水线。第一阶段文档准备中,利用多种技术进行过滤、提取、去重等操作,并控制中英文数据比例;第二阶段规则处理通过行级去重、启发式过滤、模糊去重等剔除低质内容;第三阶段模型处理运用分类器等手段保留高价值内容、平衡数据分布。经处理的数据在基准测试中表现优于当前SOTA开源数据。 小红书开源了dots.llm1每1万亿token的中间训练检查点,为大模型的学习动态研究提供了宝贵见解,有助于促进学术研究。 国内著名社交平台小红书,开源了首个大模型——dots.llm1。 dots.llm1是一个1420亿参数的专家混合模型(MoE),在推理过程中仅激活140亿参数,能保持高性能的同时大幅度降低训练和推理成本。 dots.llm1最大特色是使用了11.2万亿token的非合成高质量训练数据,这在现阶段的开源大模型中非常罕见,看来小红书也得益于自己庞大的语料库出手就是阔啊。 所以,在中文测试中dots.llm1的性能非常强,以91.3的平均分超过了DeepSeek开源的V2、V3和阿里开源的Qwen2.5 32B和72B。 开源地址:https://huggingface.co/rednote-hilab/dots.llm1.base/tree/main dots.llm1架构简单介绍 dots.llm1使用了单向解码器Transformer架构,但把前馈网络替换为MoE。在传统的Transformer架构中,每一层的前馈网络是密集连接的,这意味着每一层都会对输入的所有标记进行计算。在处理大规模数据时会消耗巨大的算力。 而MoE将模型分为多个专家网络,每个专家网络专注于输入数据的不同方面。在推理过程中,并不激活所有的专家网络,而是根据输入标记的特性,动态地选择一小部分专家网络进行计算。这种稀疏激活的方式极大减少了算力的需求,同时保持了模型的高性能。 dots.llm1的MoE由128个路由专家和2个共享专家组成。每个专家网络是一个两层的前馈网络,使用了SwiGLU激活函数。SwiGLU是一种高效的激活函数,它结合了门控机制和非线性激活,能够更好地捕捉数据中的复杂关系。 在每个输入标记的处理过程中,dots.llm1会通过一个路由机制选择出6个最相关的专家网络,加上2个共享专家,总共激活8个专家网络。这种选择机制是动态的,会根据输入标记的特性来决定哪些专家网络最适合处理当前的标记。 除了MoE模块的设计,dots.llm1在注意力层也进行了优化。采用了经典的多头注意力机制(MHA),这是一种广泛应用于Transformer架构中的注意力机制。 dots.llm1在MHA的基础上引入了RMSNorm归一化操作。RMSNorm是一种改进的归一化方法,通过计算输入的均方根值来进行归一化,从而避免了输入值过大或过小对模型训练的影响。这种归一化操作在多头注意力机制中尤为重要,因为注意力机制的输出是多个头的加权和,如果没有适当的归一化,很容易出现数值不稳定的情况。通过引入RMSNorm,dots.llm1能够更好地控制注意力机制的输出,从而提高模型的稳定性和性能。 在MoE模块中,dots.llm1还引入了无辅助损失的负载平衡策略。负载平衡是MoE架构中的一个关键问题,因为如果专家网络之间的负载不平衡,会导致一些专家网络被过度使用,而另一些专家网络则很少被激活。 这种不平衡不仅会影响模型的性能,还会降低计算效率。dots.llm1通过引入一个动态调整的偏置项来解决这个问题。偏置项会根据每个专家网络的负载情况动态调整,从而确保所有专家网络的负载相对平衡,不仅能够有效地解决负载不平衡的问题,而且不会引入额外的损失函数,从而避免了对模型性能的负面影响。 此外,dots.llm1在训练过程中还采用了AdamW优化器进一步提高模型的性能和效率。这是一种改进的Adam优化器,它通过引入权重衰减来防止模型过拟合,同时采用了梯度裁剪技术,通过限制梯度的最大值来避免梯度爆炸的问题。 dots.llm1训练数据 数据处理是大模型训练的基石,dots.llm1一共使用了11.2万亿token非合成数据,并构建了一套三级数据处理流水线,从杂乱无章的原始网页数据中筛选出高质量的语料。 在第一阶段的文档准备中,利用URL过滤技术屏蔽成人、赌博等有害域名,通过 trafilatura 库精准提取正文内容,借助 fastText 语言检测工具,将置信度 <0.65 的文档果断丢弃,并采用 MD5 去重方法去除重复数据,同时将中英文数据比例精心控制在 1:1。 第二阶段的规则处理同样至关重要,通过行级去重,删除前5行/后5行中出现超200次的重复行;利用启发式过滤移除广告、注册提示等低质内容;借助MinHash - LSH 模糊去重,保留 Jaccard 相似度< 80%的文档,这一系列操作剔除了约 30% 的低质内容。 第三阶段的模型处理堪称画龙点睛之笔,运用15亿参数分类器精准区分“文本详情页” 与工具 / 视频页面,保留高价值内容;通过自主开发的网页杂波去除模型逐行评分(0 - 1 分),过滤掉导航栏、边框等无关内容; 最后通过 200 类分类器平衡数据分布,将百科、科普等知识性内容占比提升至 60%,大幅减少小说和产品描述至 15%。经过TxT360数据集对比实验验证,该流水线处理后的网页数据在 MMLU、TriviaQA 等基准测试中表现优于当前 SOTA 开源数据。 值得一提的是,为了促进学术研究,小红书还开源了每1万亿token 的中间训练检查点,为大模型的学习动态提供了宝贵的见解。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33187.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 OpenAI伏击苹果 上一篇 2025 年 8 月 13 日 下午10:16 机器人必须“像人”吗? 下一篇 2025 年 8 月 13 日 下午10:17 相关推荐 行业动态 暴雪发布《守望先锋》手游《Overwatch Rush》 2月24日半夜,暴雪官宣《守望先锋》手游《Overwatch Rush》,将开启特定地区测试,复刻经典体验,团队自研,机遇挑战并存。 siyushenqi.com 2026 年 2 月 26 日 306000 SHEIN在法国发展势头正猛,稳步推进全球化战略 SHEIN犹如一匹黑马疾风驰骋于电商草原上 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 431000 这家公司,造出了《万神殿》里面的技术 屏幕里展示的一切,都能被记录和回溯了。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 443000 智明星通创始人再创业,把两款休闲SLG做成了 在创业的第三年,这支不吭不响的SLG明星团队似乎准备好下场竞争了。 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 632000 行业动态 OpenClaw漏洞案例分析与防御实践 OpenClaw是一种灵活且高度可扩展的自动化平台,但其广泛应用也带来了一些潜在的安全风险。多种类型的漏洞,如本地执行漏洞、API泄露以及生态系统层面的风险,都可能威胁到系统安全。通过分析历史漏洞案例,可以揭示出如何改进安全配置与防御... siyushenqi.com 2026 年 3 月 10 日 396000 行业动态 一周要闻NO.113丨IBM将关闭中国研发部门;周杰伦终审败诉网易;董宇辉30天干了7个亿;OpenAI估值将超1000亿美元 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 420000 2022年2月成功出海的中国手游 - 消除、模拟经营、纸牌、合成等中度手游成为出海新趋势 Sensor Tower商店情报平台最新数据显示,2022年2月中国手游产品在海外市场收入及下载量排行榜,详细榜单变化如下。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 466000 行业动态 东南亚电商迎来新周期:谁的机遇,谁在弄潮? 中国电商企业对东南亚市场的兴趣由来已久,由于地理位置接近、文化相似和人口红利,东南亚成为电商扩张的重要地区。 siyushenqi.com 2025 年 8 月 5 日 382000 行业动态 Temu面临最严苛审查!抢了谁的“奶酪”? 疯狂扩张的Temu,凭借极致的性价比策略不断蚕食着全球多个市场的份额,对本土电商巨头的发展隐隐造成威胁。 siyushenqi.com 2025 年 8 月 6 日 409000 行业动态 对话腾讯混元刘煜宏:做大模型可以有「深圳速度」,但不能跳步 「越有决心情绪越稳,已悄然接入腾讯700个产品」。 siyushenqi.com 2025 年 8 月 13 日 454000 行业动态 《游戏研发发行对接集结・厦门站》圆满收官 点击获取研发发行协同破局出海干货 30+最新游戏项目,链接产业新动能。 siyushenqi.com 2025 年 12 月 19 日 420000 行业动态 安克创新也在变!亚马逊转型独立站要过三道坎 “从亚马逊封号潮后,直接转型独立站且发展特别成功的亚马逊卖家,行业内目前还未有特别冒尖的企业/品牌方。” siyushenqi.com 2025 年 8 月 13 日 406000 行业动态 极兔上市,流血奋战背后的真正底牌 现在的极兔在中国流血厮杀,正是在为未来在海外的竞争“交学费”。从更长远的角度来看,随着越来越多的中国企业出海布局,东南亚电商物流这块蛋糕早晚会引来更多抢食者。 siyushenqi.com 2025 年 8 月 12 日 390000 行业动态 阿里Qwen3登顶开源大模型榜首,成色如何? 阿里巴巴在“五一”节前开源了新一代通义千问模型Qwen3,并一次性开源了8个版本。Qwen3是中国公司推出的首个混合推理模型,融合了“推理”和“非推理”模式,能够根据不同问题选择“快、慢思考”。 siyushenqi.com 2025 年 8 月 13 日 394000 行业动态 3C新手卖家,短短数月日出万单,他出海东南亚究竟有什么砝码? 炒过股,入过金融行业、涉猎风投、券商投行,深圳市大助科技有限公司CEO张正豪曾经的履历让人眼前一亮 siyushenqi.com 2025 年 8 月 13 日 393000 女性体液当香水用?又一款产品风靡TikTok 前段时间,一个名为“vabbing”标签话题突然大火,成为 TikTok 新晋热门标签之一。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 414000 合金弹头玩着玩着,嗅到了一丝MMO味道 两个循环核心:养成→战斗循环;“技巧、经验”循环 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 512000 行业动态 3个月众筹500万,国产AI毛绒玩具出海,比“小爱同学”更懂情绪价值? AI陪伴机器人,下一个新蓝海。 siyushenqi.com 2025 年 8 月 13 日 475000 行业动态 OpenAI收购前苹果团队 OpenAI 已低调完成对美国初创 Software Applications 的全员收购(12 人团队悉数加入),交易金额未披露。 siyushenqi.com 2025 年 10 月 30 日 413000 中国卖家如果要投身小众市场,可以考虑哪些电商网站? 如果要进军非洲电商市场,尼日利亚是跨境电商卖家的一大选择 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 390000 行业动态 WhatsApp协议号的安全设置与合规建议 定期更新安全设置 启用两步验证 限制个人信息分享 使用端到端加密 遵循GDPR合规要求 定期更新安全设置 在使用WhatsApp的过程中,定期更新安全设置至关重要。随着技术的发展和黑客攻击方式的演变,WhatsApp不断发布新的安全功能和更新。通过及时更新这些设置,用户可以确保账户免受新型威胁的侵害。为了增强账户的安全性,建议用户开启自动更新功能,确保系统时… siyushenqi.com 2025 年 8 月 13 日 下午10:17 392000 行业动态 Vision Pro国行发售在即,买美版的人却更多了 美版便宜出了一部iPhone 15 Pro Max的价格。 siyushenqi.com 2025 年 8 月 18 日 410000 又一款修真游戏登顶Steam热销榜 1月27日,由鬼谷工作室研发、雷霆游戏发行的《鬼谷八荒》成为又一个挑战者 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 478000 国产手游出海战绩复盘:SLG、ARPG持续发力输出 2021年已经过去,在这一年中,游戏行业也迎来了新的气象,《原神》、《幻塔》等开放世界 ARPG 游戏变得火热,另一边 SLG 游戏也在持续输出有生力量,以稳定的营收,将海外增长的优势牢牢把握在手中。同时,ARPG 游戏的突飞猛进、SLG 游戏的稳定输出、休闲品类游戏的全方面覆盖与发展、让国产手游的出海发展更为迅猛。不过随着后起之秀的崛起,可以预见未来的竞争会更加激烈。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 407000 2023年韩国电商运营战略:销售平台多样化、聚焦买家服务质量 韩国电商市场变动是其趋于成熟稳定且孩子啊不断成长进化的有效信号 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 405000 行业动态 速卖通撤退、Jollychic倒闭、京东迟迟不动的中东市场有那么难搞吗? 2020 年的疫情让当地消费观念和消费方式发生转变,各项居家隔离政策促使中东电商飞速发展,本应乘疫情东风的 Jollychic 由于物流延误,上百条货柜在港积压,错过风口,目前他们仓库的积压库存仍然未清。 siyushenqi.com 2025 年 8 月 13 日 434000 美国策略手游前10月收入已破28亿美元,《万国觉醒》成第二吸金产品 策略游戏似乎正越来越受美国手游玩家的欢迎,在今年前10个月,美国手游策略品类的收入就超过了28亿美元 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 618000 伽马雇主品牌报告解读:腾讯获评金牌雇主,朝夕光年、米哈游关注度飙升 近日,伽马数据发布了《游戏企业雇主品牌研究报告》。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 488000 行业动态 霸榜13天的AI应用月收入暴增151%,AI商业化在美国照进现实了 AI应用商业化,场景是关键。 siyushenqi.com 2025 年 8 月 13 日 484000 行业动态 一周要闻NO.186丨谷歌收购一家AI初创公司;欧盟拟调查Shein非法产品上架;网易蒙特利尔3A工作室裁员;腾讯内测AI社交“元宝派” 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2026 年 2 月 3 日 365000 发表回复 请登录后评论...登录后才能评论 提交