OpenAI公布「官方爬虫」:GPT-5靠它训练,有需要可以屏蔽 siyushenqi.com • 2025 年 8 月 14 日 上午12:44 • 行业动态 • 阅读 422 随着 AI 产品的快速发展,「数据」到底该怎么用 众所周知,OpenAI 从 GPT-4 开始就已经对技术细节完全保密了,最初只用一份 Tech Report 来展示基准测试结果,而闭口不谈训练数据和模型参数。尽管后来有网友各种爆料,OpenAI 也从未回应。 不难想象,训练 GPT-4 需要海量的数据,这可不是付费购买能解决的问题。大概率,OpenAI 用了网络爬虫。很多用户指控 OpenAI,理由就是这种手段会侵犯用户的版权和隐私权。 刚刚,OpenAI 摊牌了:直接公布从整个互联网爬取数据的网络爬虫 ——GPTBot。 这些数据将被用来训练 GPT-4、GPT-5 等 AI 模型。不过 GPTBot 保证了,爬取内容绝对不包括违反隐私来源和需要付费的内容。 OpenAI 表示:「使用 GPTBot 爬取网络数据是为了改进 AI 模型的准确性、功能性和安全性。」 网站所有者可以根据需要允许和限制 GPTBot 爬取网站数据。接下来,我们来看下 GPTBot 究竟是如何工作的,顺便了解一下屏蔽方法。 首先,GPTBot 的用户代理字符串(User-Agent String)如下: User agent token: GPTBotFull user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot) 使用如下方法可以将 GPTBot 添加到网站的 robots.txt,禁止 GPTBot 访问网站: User-agent: GPTBotDisallow: / 还可以允许 GPTBot 访问网站特定部分的内容: User-agent: GPTBotAllow: /directory-1/Disallow: /directory-2/ 近期,OpenAI 因为未经明确批准而在网站数据上训练 GPT-4 等大型语言模型而遭到强烈反对。批评者们表示,即使内容可以公开访问,像 OpenAI 这样的公司也应该遵循训练协议。人们还担心,内容在输入 AI 系统时会被断章取义。 但即使遵循了 robots 协议,鉴于其并不是规范,而只是约定俗成的,所以并不能保证网站的隐私。 GPTBot 发布之后,这条动态已经在 Hacker News 上引发了一场争论,焦点是使用抓取的网络数据来训练人工智能系统的道德和合法性。 一部分人认为,GPTBot 的推出展示了使用公开数据研发 AI 模型的「灰色地带」: 「在训练完模型后还爬取数据,这真是太好了。根据推测,这些 header 不会影响他们已经抓取来训练 GPT 的任何页面。」 「现在,他们可以游说反抓取的监管并阻碍其他任何的追赶了。」 鉴于 GPTBot 会识别自己的身份,因此网站管理员可以通过 robots.txt 阻止它,但有些人认为允许它这样做没有任何好处,不像搜索引擎爬虫会带来流量。 一个值得关注的问题是,受版权保护的内容会在未注明出处的情况下被使用。ChatGPT 目前没有注明出处。 还有人质疑 GPTBot 如何处理网站上的授权图片、视频、音乐和其他媒体。如果这些媒体在模型训练中用到,则可能构成版权侵权。 另外一些专家认为,如果 AI 编写的内容被反馈到训练中,爬虫生成的数据可能会降低模型的性能。 相反,一些人认为 OpenAI 有权自由使用公共网络数据,并将其比作一个人从在线内容中学习。但也有人认为,如果 OpenAI 将网络数据货币化以获取商业利益,那么就应该分享利润。 总之,GPTBot 引发了关于所有权、合理使用和网络内容创建者激励机制的复杂争论。虽然遵循 robots.txt 是一个很好的步骤,但仍然缺乏透明度。 这或许是科技界下一个舆论焦点:随着 AI 产品的快速发展,「数据」到底该怎么用? 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/35587.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 给自己训练一个研究助手,这款谷歌AI笔记应用有意思 上一篇 2025 年 8 月 14 日 上午12:43 当NPC有了思想:AIGC会颠覆游戏行业吗? 下一篇 2025 年 8 月 14 日 上午12:44 相关推荐 行业动态 跨境电商,海外狂飙 由亚马逊“霸占”多年的蛋糕,正在被来自中国的平台和商家不断切分 siyushenqi.com 2025 年 8 月 13 日 442000 行业动态 Best Collection of MediaBuy 【推荐】 一些投放广告技术的推荐。 siyushenqi.com 2025 年 8 月 3 日 482000 行业动态 倒在2023年的78款游戏:一半是二次元,近半数上线不到两年 好像大家都在偷偷摸摸转换方向。 siyushenqi.com 2025 年 8 月 18 日 434000 莉莉丝的反击:我在海外发现了,他们偷藏许久的一款新品 再试一把 siyushenqi.com 2025 年 8 月 19 日 • 行业动态 414000 行业动态 英伟达力挺,四年估值560亿!Coreweave到底是何方神圣? 筹集23亿美元债务融资,英伟达力挺的Coreweave是何方神圣? siyushenqi.com 2025 年 8 月 13 日 472000 行业动态 刘强东压力巨大,京东国际化,不成功便成仁 刘强东:是否国际化,决定京东未来的生死。 siyushenqi.com 2025 年 8 月 5 日 417000 行业动态 两年积累1000万用户,国产图片处理应用在海外跑出了百万月活 图片处理赛道迎来“百万月活新贵”。 siyushenqi.com 2025 年 8 月 17 日 366000 重大信号!推特正在洗劫亚马逊跨境卖家! 正如张磊曾在《价值》一书中所言:“悲观主义者可能猜对了当下,但乐观主义者却能够赢得未来。” siyushenqi.com 2025 年 8 月 13 日 • 行业动态 430000 行业动态 海外狂揽2200万美元的“卡皮巴拉”,杀回中国区iOS首日免费榜第一 Habby发行的《Capybara Go!》(国服版《冒险者日记》)在中国区iOS免费榜登顶第一,成为继《弓箭传说》和《Survivor!.io 弹壳特攻队》后的又一个爆款游戏。 siyushenqi.com 2025 年 8 月 17 日 486000 行业动态 去太空训练AI大模型,24小时太阳能供电的GPU明年上天 在未来,太空 AI 算力或许要比地球上功率最大的还要大。 siyushenqi.com 2025 年 8 月 13 日 420000 行业动态 游戏圈“湖南一哥”2024开大招:「回归之战」的号角已经吹响 出乎意料的强强联手。 siyushenqi.com 2025 年 8 月 18 日 407000 一年时间净利润翻倍至5亿元,这家逃离买量的厂商杀出了一条血路 有一家游戏厂商,在大幅缩减买量的前提下,靠一种新的营销手段——短视频平台效果型直播(下称效果直播)做到了月流水3亿,让2021年的整体营收翻了一倍。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 503000 行业动态 美团“卷”向中东,是一场长期实验 Keeta于2024年9月9日在沙特阿尔卡吉低调开城,一个月后进入首都利雅得。通过首单半价、免配送费、晚到必赔等优惠手段,Keeta试图从竞争对手那里争夺用户。 siyushenqi.com 2025 年 8 月 5 日 524000 行业动态 触底反弹!5个月单日收入翻6倍,摆弄花草都变这么专业了? 在空闲时间,养花种草已经成为了大众娱乐活动之外的另一种爱好,且逐渐趋向年轻化。 siyushenqi.com 2025 年 8 月 13 日 459000 绝!又改!亚马逊页面最重要的栏目变了 大动作! siyushenqi.com 2025 年 8 月 13 日 • 行业动态 433000 7.16广州丨私域神器联手潮游圈 多个活动引爆2022游戏出海季 7.16日,潮游圈携手私域神器于广州举办“虎运当头·潮游无界——2022潮游圈系列活动” siyushenqi.com 2025 年 8 月 14 日 • 行业动态 407000 Facebook抄完YouTube抄,TikTok请站稳了 对于坐拥8亿用户的TikTok而言,无论是Reels还是YouTube推出的新功能,都是“克隆”。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 453000 行业动态 亚马逊和SHOPLINE合作,平台王者垂涎独立站市场 亚马逊与SHOPLINE达成战略合作,其Buy with Prime功能已全量上线SHOPLINE。此次合作首次突破了以往仅限美国主体使用的限制,全球商家(包括中国主体的独立站卖家)都可以在SHOPLINE店铺中应用Buy with Prime功能,享受亚马逊的流量、会员体系、物流和服务。 siyushenqi.com 2025 年 8 月 5 日 474000 半年收入超7亿,随机视频社交鼻祖Azar凭什么? 极致的付费设计。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 580000 “寒冬”之下融资1亿美金,TruKKer是一家什么样的公司? 9月7日,总部位于沙特阿拉伯的 TruKKer 宣布,已经筹集了1亿美元C轮融资,新融资主要用户现有市场和新市场的开拓。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 442000 行业动态 Shopee构建跨境直播生态体系,实现全链路价值共创 2月5日,东南亚电商平台Shopee宣布,截止2020年年底,由平台Shopee Live直播功能带来的订单增长超6倍 siyushenqi.com 2025 年 8 月 13 日 464000 行业动态 AI 音乐,会不会诞生下一个「抖音」? AI音乐最近火到发烫。 siyushenqi.com 2025 年 8 月 13 日 458000 行业动态 2020年5月全球热门移动应用收入TOP10 Sensor Tower 商店情报数据显示,2020年5月抖音及海外版TikTok在全球App Store和Google Play吸金超过9570万美元,是去年5月的10.6倍,蝉联全球移动应用收入榜冠军。 siyushenqi.com 2025 年 8 月 26 日 451000 国货品牌开始布局速卖通,DTC“逃离”独立站 DTC 模式,不再意味着单一渠道,中国品牌正在讲述更“立体”的出海故事。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 443000 行业动态 Manus官宣被Meta收购 Manus 12 月 30 日官宣并入 Meta,总部、App、订阅与新加坡运营保持不变,独立品牌继续对外服务。 siyushenqi.com 2025 年 12 月 31 日 418000 行业动态 朝夕光年3A级SRPG《Dragonheir》曝光 目标2023下半年全球发行 未爆先火丨Nuverse计划下半年全球发行《Dragonheir: Silent Gods》 siyushenqi.com 2025 年 8 月 24 日 514000 行业动态 在脸上“开盲盒”?5人团队,做出来一个能社交的“AI美肤管家” AI下的“精准种草”。 siyushenqi.com 2025 年 12 月 11 日 479000 行业动态 飞书二度出海“谋生” 出海能否为飞书带来新转机还是未知数 siyushenqi.com 2025 年 8 月 24 日 559000 一年一爆款估值100亿!这家国内排名第5的手游公 扬帆出海消息,根据2020年4月2日公布的信息,来自北京的祖龙娱乐有限公司 ARCHOSAUR GAMES INC. (以下简称「祖龙娱乐」)向港交所递交招股书,拟香港主板 IPO上市。 这是续2020年3月17日,九 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 417000 行业动态 2026年美国公司注册流程是什么?该如何快速入驻? 对于已在跨境领域取得成绩的卖家而言,注册美国公司是突破业务天花板的那把钥匙。 作为一名成功的跨境卖家,您已经证明了您的产品在全球市场的竞争力。 现在,随着业务规模的扩大和复杂性的增加,直接在美国市场设立公司已成为拓展业务的关键一步。 注册美国公司不仅能提升品牌形象,还能享受税收优惠、法律保护和更多商业机会。美国公司注册流程虽然复杂,但通过系统化的步骤,您可以… siyushenqi.com 2025 年 8 月 14 日 上午12:44 422000 发表回复 请登录后评论...登录后才能评论 提交