Nature曝惊人内幕:论文被天价卖出喂AI!出版商狂赚上亿,作者0收入 siyushenqi.com • 2025 年 8 月 13 日 下午9:03 • 行业动态 • 阅读 447 Nature的一篇文章透露:你发过的paper,很可能已经被拿去训练模型了!有的出版商靠卖数据,已经狂赚2300万美元。然而辛辛苦苦码论文的作者们,却拿不到一分钱,这合理吗? 全球数据告急,怎么办? 论文来凑! 最近,Nature的一篇文章向我们揭露了这样一个事实:连科研论文,都被薅去训AI了…… 据悉,很多学术出版商,已经向科技公司授权访问自家的论文,用来训练AI模型。 一篇论文从酝酿idea到成稿,包含了多少作者日日夜夜的心血,如今很可能在不知情的情况下,就成为训AI的数据。 这合理吗? 更可气的是,自己的论文还被出版商拿来牟利了。 根据Nature报告,上个月英国的学术出版商Taylor & Francis已经和微软签署了一项价值1000万美元的协议,允许微软获取它的数据,来改进AI系统。 而6月的一次投资者更新显示,美国出版商Wiley允许某家公司使用其内容训模型后,直接一举豪赚2300万美元! 但这个钱,跟广大论文的作者是半毛钱关系都没有的。 而且,华盛顿大学AI研究员Lucy Lu Wang还表示,即使不在可开放获取的存储库内,任何可在线阅读的内容,都很可能已经被输入LLM中。 更可怕的是,如果一篇论文已经被用作模型的训练数据,在模型训练完成后,它是无法删除的。 如果现在,你的论文还尚未被用于训练AI,那也不用担心——它应该很快就会了! 数据集如黄金,各大公司纷纷出价 我们都知道,LLM需要在海量数据上进行训练的,而这些数据通常是从互联网上抓取的。 正是从这些训练数据中数十亿的token中,LLM推导出模式,从而生成文本、图像、代码。 而学术论文篇幅又长,信息密度又高,显然就是能喂给LLM的最有价值的数据之一。 而且,在大量科学信息上训练LLM,也能让它们在科学主题上的推理能力大大提高。 Wang已经共同创建了基于8110万篇学术论文的数据集S2ORC。起初,S2ORC数据集是为了文本挖掘而开发的,但后来,它被用于训练LLM。 2020年非营利组织Eleuther AI构建的Pile,是NLP研究中应用最广泛的大型开源数据集之一,总量达到800GB。其中就包含了大量学术来源的文本,arXiv论文比例为8.96%,此外还涵盖了PubMed、FreeLaw、NIH等其他学术网站。 前段时间开源的1T token数据集MINT也挖掘到了arXiv这个宝藏,共提取到了87万篇文档、9B token。 从下面这张数据处理流程图中,我们就能发现论文数据的质量有多高——几乎不需要太多的过滤和去重,使用率极高。 而现在,为了应对版权争议,各大模型公司也开始真金白银地出价,购买高质量数据集了。 今年,「金融时报」已经把自己的内容以相当可观的价格,卖给了OpenAI;Reddit也和谷歌达成了类似的协议。 而以后,这样的交易也少不了。 证明论文曾被LLM使用,难度极高 有些AI开发者会开放自己的数据集,但很多开发AI模型的公司,会对大部分训练数据保密。 Mozilla基金会的AI训练数据分析员Stefan Baack表示,对于这些公司的训练数据,谁都不知道有什么。 而最受业内人士欢迎的数据来源,无疑就是开源存储库arXiv和学术数据库PubMed的摘要了。 目前,arXiv已经托管了超过250万篇论文的全文,PubMed包含的引用数量更是惊人,超过3700万。 虽然PubMed等网站的一些论文全文有付费墙,但论文摘要是免费浏览的,这部分可能早就被大科技公司抓取干净了。 所以,有没有技术方法,能识别自己的论文是否被使用了呢? 目前来说,还很难。 伦敦帝国理工学院的计算机科学家Yves-Alexandre de Montjoye介绍道:要证明LLM使用了某篇确定的论文,是很困难的。 有一个办法,是使用论文文本中非常罕见的句子来提示模型,看看它的输出是否就是原文中的下一个词。 有学者曾以「哈利·波特与魔法石」第三章的开头提示GPT-3,模型很快正确地吐出了大约一整页书中的内容 如果是的话,那就没跑了——论文就在模型的训练集中。 如果不是呢?这也未必是有效证据,能证明论文未被使用。 因为开发者可以对LLM进行编码,让它们过滤响应,从而不和训练数据过于匹配。 可能的情况是,我们费了老大劲,依然无法明确地证明。 另一种方法,就是「成员推理攻击」。 这种方法的原理,就是当模型看到以前见过的东西时,会对输出更有信心, 论文地址:https://arxiv.org/abs/2112.03570 为此,De Montjoye的团队专门开发了一种「版权陷阱」。 论文地址:https://arxiv.org/abs/2402.09363 为了设置陷阱,团队会生成看似合理却无意义的句子,并将其隐藏在作品中,比如白色背景上的白色文本或网页上显示为零宽度的字段。 如果模型对未使用的控制句的困惑度,比对隐藏在文本中的控制句的困惑度更高,这就可以作为陷阱曾被看到的统计证据。 版权争议 然而,即使能证明LLM是在某篇论文上训练的,又能怎么办呢? 这里,就存在一个由来已久的争议。 在出版商看来,如果开发者在训练中使用了受版权保护的文本,且没有获得许可,那铁定就是侵权。 但另一方却可以这样反驳:大模型并没有抄袭啊,所以何来侵权之说? 的确,LLM并没有复制任何东西,它只是从训练数据中获取信息,拆解这些内容,然后利用它们学习生成新的文本。 当然,这类诉讼已经有先例了,比如「纽约时报」对OpenAI那场石破天惊的起诉。 其中更加复杂的问题,是如何划清商用和学术研究用途。 根据目前arXiv网站上的使用条款,如果是个人或研究用途,抓取、存储、使用所有的电子预印本论文和网站元数据都是合规且被支持的。 然而,arXiv对商业方面的使用是严令禁止的。 那么问题来了,如果某个商业公司使用了学术机构发布的开源数据集训练自己的商业模型,且数据来源含有arXiv或类似学术出版机构,这怎么算? 此外,出版商在用户的订阅条款中往往也没有明确规定,能否将论文用作模型的训练数据。 比如,一个付费购买Wiley论文库阅读全文资格的用户,是否被允许将这些文本拷贝下来喂给模型? 现在的问题是,有人想让自己的作品纳入LLM的训练数据中,有人不想。 有人已经做出来一个[haveibeentrained」的同名网站,用来检测自己的内容是否被用于训练AI模型 比如Mozilla基金会的Baack就表示,非常乐于看到自己的作品让LLM变得更准确,「我并不介意有一个以我的风格写作的聊天机器人」。 但是,他只能代表自己,依然有其他很多艺术家和作家,会受到LLM的威胁。 如果提交论文后,这篇论文的出版商决定出售对版权作品的访问权限,那个别的论文作者是根本没有权力干涉的。 整个圈子也是鱼龙混杂,公开发表的文章既没有既定的方法来分配来源,也无法确定文本是否已被使用。 包括de Montjoye在内的一些研究者对此感到沮丧。 「我们需要LLM,但我们仍然希望有公平可言,但目前我们还没有发明出理想的公平是什么样子。」 多模态数据不够,arXiv来凑 事实上,庞大的arXiv论文库中,可以利用的不止文本数据。 ACL 2024接收了一篇来自北大和港大学者的论文,他们尝试利用这些论文中的图文构建高质量多模态数据集,取得了非常不错的效果。 项目主页:https://mm-arxiv.github.io/ 前段时间,纽约大学谢赛宁教授和Yann LeCun等人发布的Cambrian模型也用到了这个数据集。 之所以要用arXiv论文中的图片,主要还是由于科学领域训练数据集的稀缺。 GPT-4V等视觉语言模型虽然在自然场景的图像中有出色的表现,但在解释抽象图片方面,比如几何形状和科学图表,依旧能力有限,也无法理解学术图片中细微的语义差别。 这篇论文构建的多模态arXiv数据集总共用到了各个STEM领域的57.2万篇论文,超过arXiv论文总数(2.5M)的五分之一,包含两部分:问答数据集ArXivQA和图片标注数据集ArXivCap。 依托arXiv大量且多样的论文收录,与之前的科学图片数据集相比,ArXivCap的数据量是第二名SciCap的3倍,ArXivQA也是唯一涵盖广泛领域内真实论文的问答数据集。 通过使用这些领域特定数据进行训练,VLM的的数学推理能力有了显著增强,在多模态数学推理基准上实现了10.4%的准确率提升。 比如,在ArXivQA上训练过的Qwen 7B模型能够正确理解条形图并回答相关问题(左图),数学能力也有所提高(右图)。不仅答案正确,给出的推理过程也更加完整充分。 数据集构建 数据集的构建流水线如下图所示。由于arXiv是预印本平台,所以需要先通过发表记录筛选出被期刊或会议接收的论文,以保证数据质量。 提取论文中的图片-文字对并进行基于规则的清理后,组成ArXivCap;ArXivQA则由GPT-4V生成,但使用了精心设计过的prompt模板。 ArXivCap中的一个单图标注对: 2019年论文「Semigroup models for biochemical reaction networks」 ArXivCap数据集中的一个多图标注对: 2018年论文「Low-Power Wide-Area Networks for Sustainable IoT」 ArXivQA数据集示例: 2020年论文「Skyrmion ratchet propagation: Utilizing the skyrmion Hall effect in AC racetrack storage devices」 评估 根据在MathVista数据集上的结果,ArXivCap和ArXivQA共同提升了Qwen-VL-Chat的整体性能,超越了Bard的表现。 最佳结果以粗体显示,次佳结果以下划线标记 在为单张图片生成图注的任务中,提升效果更加显著,经过ArXivCap训练的Qwen 7B模型可以匹配甚至超过GPT-4V。 灰色结果由数据集中500个样本的测试得到 论文提出了三个新定义任务:多图的图注生成、上下文中的图注生成以及标题生成。经过ArXivCap训练的Qwen 8B的所有分数都超过了GPT-4V,且多数情况下是最佳结果。 最佳结果以粗体显示 按照研究领域划分,ArXivQA数据集上的训练在天体物理、凝聚态物理、数学、计算机科学这些领域都能带来相当显著的提升,超过60%,准确率变化比例超过60%。 人工评估 前面所述的文本生成质量和准确率都是基于算法的自动评估,研究团队还对单图的图注生成任务进行了人工评估,但只专注于计算机科学领域的论文。 与前面的基准测试结果相比,人工评估的结果并不理想,100个案例中只有16%被认为是「可接受的」,「上下文误读」的问题相对严重,也有一定比例的「过度简化」和「识别错误」。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/32451.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 AI硬件年中考,国内大厂迎“百镜大战” 上一篇 2025 年 8 月 13 日 下午9:03 借奥运会热度,AI室内设计应用登上南非多地设计榜Top1 下一篇 2025 年 8 月 13 日 下午9:03 相关推荐 行业动态 3个月下载40万,上线即冲榜Top5,国产AI“全能型工具”成拉美人新宠 AI也有“全能王”? siyushenqi.com 2025 年 9 月 3 日 648000 从肯尼亚到孟加拉,湖南“蛮子”的电商创业史 2018年,吴米香在孟加拉首都达卡创办了PerFee,现在团队的30多名成员都来自当地,平台上进驻的商家也增长到300多家。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 416000 行业动态 游戏社交再发力 赤子城在中东定下一个“千万月流水”的小目标 本地化能力复制,TopTop加入“游戏社交”混战 siyushenqi.com 2025 年 8 月 19 日 525000 行业动态 原vivo品牌副总裁加盟安克创新 原vivo品牌副总裁贾净东已正式出任安克创新首席营销官(CMO),上月完成入职,安克创新已确认此消息。 siyushenqi.com 2025 年 9 月 9 日 458000 行业动态 干了10年外贸,我聊聊那些让你营销矩阵像交响乐一样协同奏效的实战指挥术 干了10年外贸,我发现矩阵营销成败关键在于「协同」。本文将用实战指挥术,教你如何让独立站、Facebook、Instagram、TikTok、YouTube、LinkedIn、WhatsApp等渠道像交响乐团一样默契配合,打破各自为政的内耗,实现流量循环与信任叠加,最终让客户主动追着你成交。 siyushenqi.com 2026 年 3 月 6 日 368000 赋能“草根创作”,这家AI独角兽一手捧红TikTok超级家族 Lightricks也是目前在AIGC领域的第四大独角兽公司。 siyushenqi.com 2025 年 8 月 14 日 • 行业动态 467000 上半年手游出海营收同比增长37%,红海之下还有哪些新机遇? 近日,App Annie举行了一场线上媒体沟通会,主讲嘉宾为App Annie大中华区负责人戴彬和大中华区南区业务负责人刘雯。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 416000 行业动态 智谱AI CEO张鹏:当下被忽略的大模型“反共识” 智谱在2025中关村论坛上发布了AutoGLM沉思,这是一个具有思考与执行能力的Agent产品,能够像人类一样浏览网页、检索分析数据并生成报告。它基于智谱自研的GLM系列模型,包括推理模型GLM-Z1-Air和基座模型GLM-4-Air0414。该产品是行业中第一个无门槛、免费且人人可用的Agent产品,用户无需支付费用或申请邀请码即可使用。 siyushenqi.com 2025 年 8 月 13 日 430000 美妆服装依然热销!这样的“捷径”不能走!亚马逊打击不良商家,大卖全面清理账号!没有利润,会员日还要“卷”? 低价买入,高价卖出是不变的商业逻辑。但是如果过了度,就容易陷入违反平台政策的垄断和哄抬物价之中 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 515000 行业动态 华南大厂的一次“逆天”操作 创下SLG人数之最。 siyushenqi.com 2025 年 8 月 18 日 473000 行业动态 7个月爆4款,腾讯越“老”越能打? 怎么就发一款成一款。 siyushenqi.com 2025 年 8 月 18 日 444000 “微信”合体“TikTok”,2023年第一个10亿级流量红利来了…… 至今Twitter在以“带货”为目标的跨境卖家心中的地位都不高。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 433000 破解游戏增长困局,聊聊2023年增长的两大机会点 在竞争中持续寻找增长方向。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 471000 行业动态 字节又开始看游戏公司了!已瞄上杭州心光流美 沐瞳科技收购杭州心光流美部分团队与资产,交易金额未披露,且字节还在洽谈另一家SLG团队,继续扩张游戏版图。 siyushenqi.com 2025 年 8 月 15 日 413000 GEO优化3年内难成气候,但谁不布局谁吃亏 大概就只能想到这么多…… siyushenqi.com 2025 年 8 月 18 日 • 行业动态 428000 下一个爆火题材?这款韩国新晋国民级游戏找到了微创新的破局方向 上了贼船,你就别想跑了。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 442000 行业动态 外贸获客新趋势:WhatsApp群发号高效触达国际客户技巧 WhatsApp群发号的主要特点与功能 外贸企业在国际客户拍投中的优势 对比分析 合规操作与客户管理优化技巧 未来趋势与可推荐的实践方法 WhatsApp群发号的主要特点与功能 随着全球数字化交流的加速,WhatsApp作为全球领先的即时通讯平台,已成为外贸企业进行国际客户沟通和市场拓展的重要工具。WhatsApp群发号,顾名思义,是指企业通过特定的账号实现… siyushenqi.com 2025 年 8 月 13 日 下午9:03 447000 私域神器周报 No.54丨同歌、米哈游等投资芯片公司万有引力 TEMU引爆全球价格战 私域神器为大家整理了一周内出海行业中值得关注的新闻:同歌、米哈游等投资芯片公司万有引力,TEMU引爆全球价格战。除此之外私域神器还为大家总结了更多出海圈大事件,涉及手游、电商、泛娱乐等方面的重点事件。 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 15 日 • 行业动态 466000 拼多多Temu在波兰攻势猛烈,但难以撼动Allegro霸主地位 在波兰电商市场上有一匹黑马正在持续狂奔,它就是携手极致低价策略在海外强势崛起的拼多多海外版Temu,表现出了强劲的增长势头。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 436000 行业动态 一场烧钱的“抢量”行动,又一批产品出狠招了 纯买量打法时代正在走向终结。 siyushenqi.com 2025 年 8 月 18 日 450000 行业动态 亚马逊开发AI技术以检测损坏商品 据报道,亚马逊正不断开发基于人工智能(AI)的先进技术 siyushenqi.com 2025 年 8 月 13 日 425000 行业动态 私域神器在社媒矩阵自动化运营中的应用与跨平台客户沉淀方案 社媒矩阵自动化运营的技术基础 私域神器的核心能力与系统架构 跨平台客户沉淀的实施路径 数据驱动下的营销策略优化 企业级落地实践与风险控制 在流量成本持续攀升、用户注意力高度分散的背景下,企业单一平台运营模式逐渐失效。以私域神器为核心的社媒矩阵自动化运营,正在成为构建稳定客户资产的重要技术路径。通过系统化工具与流程,企业可以将分散在不同社交平台的用户高效整合,… siyushenqi.com 2025 年 8 月 13 日 下午9:03 447000 行业动态 【出海榜单】2023 年 8 月中国非游戏厂商及应用出海收入 30 强 8月最新榜单,新鲜出炉! siyushenqi.com 2025 年 8 月 19 日 535000 Lazada在东南亚:十年征战,本土生根 或许,“本土”二字,正是解码Lazada在东南亚十年战事的密钥所在。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 450000 评分高达9.6,这款“恐怖游戏”竟然在B站、TapTap上屠榜了 我并不意外《纸嫁衣2:奘铃村》会再度成为爆款,毕竟珠玉在前。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 518000 行业动态 还不到6个月,GPTs黄了 上周,不少人发现微软官网忽然更新了一条“GPT Builder 即将停用”的通知。宣布将从7月10日起终止对Copilot GPT的支持,并会在四天内把平台上所有已创建的GPT连同相关数据全部删除。 siyushenqi.com 2025 年 8 月 13 日 436000 行业动态 中东社交媒体平台数据一览 中东社交媒体平台数据一览 siyushenqi.com 2025 年 8 月 24 日 429000 独家专访丨小米游戏负责人:请不要妖魔化渠道 自从去年莉莉丝的《万国觉醒》,米哈游的《原神》没上传统终端(手机)渠道之后,关于分成的话题就持续讨论了大半年。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 473000 行业动态 印度电商市场解析 | 是水太深,还是电商巨头们飘了? 亚马逊已在印度投资了近65亿美元,未来的投资规模更是不容收紧。 siyushenqi.com 2025 年 8 月 13 日 491000 Game行业分析丨是毒瘤还是解药?论Skip带来的游戏之殇 玩游戏看剧情,有必要吗? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 462000 发表回复 请登录后评论...登录后才能评论 提交