OpenAI也为数据犯难!公司承认使用爬虫,自我设限难消公众怀疑 siyushenqi.com • 2025 年 8 月 14 日 上午12:44 • 行业动态 • 阅读 412 以OpenAI为例,其抓取公开数据训练AI模型的行为早就备受争议 OpenAI近日承认,其推出了名为GPTBot的网络爬虫机器人,用于抓取和收集数据用于大模型训练;OpenAI表示,GPTBot将严格遵守任何付费墙的规则,不会抓取需要付费的信息,并且也不会收集能追踪到个人身份的数据;这似乎并不能挽回公众对这家大模型头号公司的信任。 数据、算力、算法,被视作生成式AI的三个核心要素,很难说哪个更重要。 但是,对于OpenAI这类明星公司来说,算力基本上是一个经济问题,大公司凭借“钞能力”囤积了大量昂贵的硬件,数据稀缺问题才更让其头疼,“不光彩”的数据获取方式总让它们陷入道德危机。 以OpenAI为例,其抓取公开数据训练AI模型的行为早就备受争议。据国外科技媒体Insider最新报道,OpenAI近日承认,其推出了名为GPTBot的网络爬虫机器人,用于抓取和收集数据用于大模型训练。 1 OpenAI被怀疑是“数据小偷” 网络爬虫,是一种模拟人(网络用户)的行为,自动浏览、收集网络信息的计算机程序。网络爬虫可以将自己所访问的数据保存下来,数据抓取者对这些数据进行分析等加工再利用,推测出互联网用户的偏好,再顺势推送给与之匹配的用户群体。 目前还不清楚OpenAI的爬虫机器人在网上潜伏了多久,有些人怀疑OpenAI已经秘密收集每个人的在线数据长达数月或数年。 面对这样的“指控”,OpenAI积极自辩,该公司表示,GPTBot将严格遵守任何付费墙的规则,不会抓取需要付费的信息,并且也不会收集能追踪到个人身份的数据。 此外,OpenAI上线了一种阻止GPTbot的方法,用户可以修改其robots.txt文件,或者屏蔽其IP地址,拒绝爬虫的造访。该公司最近还宣布与美联社达成一项协议,OpenAI将付费购买AI训练数据所需的美联社内容。 2 消失的信任 爬虫技术作为一种数据搜集的手段,本身并没有合法与非法之分。但OpenAI主动为其爬虫工具设限的举动,似乎并不能挽回公众对这家大模型头号公司的信任。 老牌科幻杂志《克拉克世界》的主编、雨果奖得主尼尔•克拉克(Neil Clarke)表示:“OpenAI和其他大模型公司一再用行动证明,他们不尊重作者、艺术家和其他创意人士的权利,他们的产品很大程度上基于他人受版权保护的作品。” 他还举例,CCBot是Common Crawl组织运营的另一种爬虫机器人,目前Common Crawl是人工智能模型训练数据的主要供应商,“据我所知,没有人成功让Common Crawl删除数据,”克拉克说,“我尝试过,没有得到任何回应。” 另一方面,在与大公司拉扯时,普通人大多时候处于弱势。正如克拉克所说,既然OpenAI愿意为(美联社)等大公司的数据付费,为什么它不为其他人的信息付费呢?“我就此询问了OpenAI,但没有得到回复。” 不过克拉克本身就站在OpenAI的对立面,其一手创办的《克拉克世界》正面临AI生成内容泛滥成灾的局面。克拉克曾指出,在ChatGPT于去年底开放后,AI生成的垃圾投稿激增,而检测这类作品的成本高昂,该杂志一度暂停征稿。 3 结语 此前,OpenAI已经因版权问题被多方状告,既有克拉克森律所推动的集体诉讼,也有保罗•崔布雷(Paul Tremblay)和莫纳•阿瓦德(Mona Awad)等畅销书作家在内的名人实名起诉。 随着生成式AI技术的进一步迭代,类似的纠纷只会多不会少。 大公司更容易成为众矢之的,即使它们敢于承担责任,但要做到数据获取完全合规,并不容易。由于参数量巨大,大模型需要借助分布式计算和云服务等技术来进行训练和部署,又增加了数据被窃取、篡改、滥用或泄露的风险。 如何平衡个人隐私保护和鼓励技术创新,如何找到企业生存与合规生产间的最优路径,已经是每个致力于生成式AI事业的公司绕不开的问题。 文|宋子乔 数据、算力、算法,被视作生成式AI的三个核心要素,很难说哪个更重要。 但是,对于OpenAI这类明星公司来说,算力基本上是一个经济问题,大公司凭借“钞能力”囤积了大量昂贵的硬件,数据稀缺问题才更让其头疼,“不光彩”的数据获取方式总让它们陷入道德危机。 以OpenAI为例,其抓取公开数据训练AI模型的行为早就备受争议。 据国外科技媒体Insider最新报道,OpenAI近日承认,其推出了名为GPTBot的网络爬虫机器人,用于抓取和收集数据用于大模型训练。 1 OpenAI被怀疑是“数据小偷” 网络爬虫,是一种模拟人(网络用户)的行为,自动浏览、收集网络信息的计算机程序。网络爬虫可以将自己所访问的数据保存下来,数据抓取者对这些数据进行分析等加工再利用,推测出互联网用户的偏好,再顺势推送给与之匹配的用户群体。 目前还不清楚OpenAI的爬虫机器人在网上潜伏了多久,有些人怀疑OpenAI已经秘密收集每个人的在线数据长达数月或数年。 面对这样的“指控”,OpenAI积极自辩,该公司表示,GPTBot将严格遵守任何付费墙的规则,不会抓取需要付费的信息,并且也不会收集能追踪到个人身份的数据。 此外,OpenAI上线了一种阻止GPTbot的方法,用户可以修改其robots.txt文件,或者屏蔽其IP地址,拒绝爬虫的造访。该公司最近还宣布与美联社达成一项协议,OpenAI将付费购买AI训练数据所需的美联社内容。 2 消失的信任 爬虫技术作为一种数据搜集的手段,本身并没有合法与非法之分。 但OpenAI主动为其爬虫工具设限的举动,似乎并不能挽回公众对这家大模型头号公司的信任。 老牌科幻杂志《克拉克世界》的主编、雨果奖得主尼尔•克拉克(Neil Clarke)表示:“OpenAI和其他大模型公司一再用行动证明,他们不尊重作者、艺术家和其他创意人士的权利,他们的产品很大程度上基于他人受版权保护的作品。” 他还举例,CCBot是Common Crawl组织运营的另一种爬虫机器人,目前Common Crawl是人工智能模型训练数据的主要供应商,“据我所知,没有人成功让Common Crawl删除数据,”克拉克说,“我尝试过,没有得到任何回应。” 另一方面,在与大公司拉扯时,普通人大多时候处于弱势。正如克拉克所说,既然OpenAI愿意为(美联社)等大公司的数据付费,为什么它不为其他人的信息付费呢?“我就此询问了OpenAI,但没有得到回复。” 不过克拉克本身就站在OpenAI的对立面,其一手创办的《克拉克世界》正面临AI生成内容泛滥成灾的局面。克拉克曾指出,在ChatGPT于去年底开放后,AI生成的垃圾投稿激增,而检测这类作品的成本高昂,该杂志一度暂停征稿。 3 结语 此前,OpenAI已经因版权问题被多方状告,既有克拉克森律所推动的集体诉讼,也有保罗•崔布雷(Paul Tremblay)和莫纳•阿瓦德(Mona Awad)等畅销书作家在内的名人实名起诉。 随着生成式AI技术的进一步迭代,类似的纠纷只会多不会少。 大公司更容易成为众矢之的,即使它们敢于承担责任,但要做到数据获取完全合规,并不容易。由于参数量巨大,大模型需要借助分布式计算和云服务等技术来进行训练和部署,又增加了数据被窃取、篡改、滥用或泄露的风险。 如何平衡个人隐私保护和鼓励技术创新,如何找到企业生存与合规生产间的最优路径,已经是每个致力于生成式AI事业的公司绕不开的问题。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/35619.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 斯坦福的「虚拟小镇」开源了:25个AI智能体照进《西部世界》 上一篇 2025 年 8 月 14 日 上午12:44 AI产生自我意识,「古墓丽影」劳拉觉醒!电子游戏革命来了 下一篇 2025 年 8 月 14 日 上午12:44 相关推荐 行业动态 一条视频带货262万!TikTok Shop美区达人周榜(11.20-11.26) 在本次黑五强爆发期间,TikTok Shop英美站点各种爆品不断涌现,实现销量节节高升,各行业捷报频传,爆品不断。 siyushenqi.com 2025 年 8 月 12 日 463000 《胜利女神:NIKKE》日本市场营销分享,这几个亮点值得借鉴 《胜利女神:NIKKE》在日本上线前后都做了哪些宣传。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 560000 行业动态 阿里夸克“C计划”浮出水面 10月23日App内上线对话助手,首页一键/右滑即达。 siyushenqi.com 2025 年 10 月 30 日 441000 行业动态 沙特消费者线上消费类别,时尚类占比最大 根据普华永道的调查,绝大多数沙特受访者表示,在过去六个月中,他们只在网上购物或更多地在网上购物。 siyushenqi.com 2025 年 8 月 13 日 465000 行业动态 xAI宣布完成200亿美元融资 xAI本轮由英伟达、卡塔尔投资局等领投,总账75亿美元股权+125亿美元SPV债务,创AI行业单次融资纪录。 siyushenqi.com 2026 年 1 月 8 日 350000 行业动态 小杨哥生意越做越大,公司搬到了市中心 商业版图再次扩张。 siyushenqi.com 2025 年 8 月 5 日 425000 行业动态 印度将禁止电商限时抢购 亚马逊、Flipkart或受限 印度周一提议在电商平台上禁止限时抢购(Flash sales),也不允许电商平台相关附属实体成为销售商。 siyushenqi.com 2025 年 8 月 13 日 439000 行业动态 一周要闻NO.154丨传音进军非洲电动出行;网易真要做3A单机了;速卖通泡泡玛特首场直播新品秒空;宇树科技C轮融资落定 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 378000 行业动态 AI智能超越人类终破解!李飞飞高徒新作破圈,5万个合成数据碾压人类示例,备咖啡动作超丝滑 千亿级大模型正迅速耗尽世界的高质量数据。对此,英伟达和UT提出了MimicGen系统。从人工合成数据中获得人工智能,将是未来的发展方向。 siyushenqi.com 2025 年 8 月 13 日 417000 行业动态 Google Play开发者收款,常见问题汇总 Google Play开发者收款,常见问题汇总。 siyushenqi.com 2025 年 8 月 3 日 466000 2022发行商Top 52强解读:17家出海企业霸榜逆袭漂亮国 手游/泛娱乐/电商各赛道都有谁 这出海盛世,终如你所愿 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 304000 行业动态 社媒矩阵在全球市场中的应用与优势 社媒矩阵概述 社媒矩阵的关键优势 实施策略 对比分析 常见问题解答 社媒矩阵概述 社媒矩阵是指在多个社交平台上,通过品牌内容的一致性和战略性布局来提升品牌曝光率、增强用户互动和促进销售转化的综合性营销手段。在全球市场中,品牌需要通过精细化的社媒矩阵运作,精准地吸引并维系用户,以达到预期的市场效果。 社媒矩阵的关键优势 社媒矩阵在全球市场中的应用,能够为品牌带… siyushenqi.com 2025 年 8 月 14 日 上午12:44 412000 行业动态 一周要闻 NO.74丨字节放弃游戏自研业务;拼多多市值反超阿里,旗下Temu Q3 GMV破50亿美金;AI 5年内将超越人类 扬帆出海为大家整理了一周内出海行业中值得关注的新闻:字节放弃游戏自研业务;拼多多市值反超阿里,旗下Temu Q3 GMV破50亿美金;AI 5年内将超越人类。除此之外,扬帆出海还为大家总结了更多出海圈大事件,涉及手游、电商、泛娱乐等方面的重点事件。 一起看看这周有哪些出海圈值得关注的大事记吧! siyushenqi.com 2025 年 8 月 14 日 487000 行业动态 单品卖出18万件!TikTok Shop美国小店(3.11-3.17)新榜 本期(2024年3月11日—3月17日)TikTok Shop 美国站“品类周榜”及“店铺周榜"销量数据分析,帮助卖家及时了解 TikTok Shop 美国小店最新市场现状,掌握选品趋势。 siyushenqi.com 2025 年 8 月 12 日 498000 社交浅谈 社交都有一个动力,现实里为什么你要交朋友? siyushenqi.com 2025 年 8 月 3 日 • 行业动态 405000 行业动态 极兔速递今日港交所上市,ATM Capital多年持续陪伴成长 全球综合物流服务运营商极兔速递环球有限公司(以下简称极兔,股票代码:1519)于今日(10月27日)正式在港交所主板挂牌上市。 siyushenqi.com 2025 年 8 月 12 日 437000 行业动态 我的APP靠WhatsApp私聊活了,但双向群发这7个坑差点让我号全死光 作为海外APP开发者,我靠WhatsApp双向私信零成本撬动用户,但也因此被封十几个号。分享从养号节奏、消息模板到转化话术的全套真实踩坑经验,教你如何安全高效地进行有来有回的私聊推广。 siyushenqi.com 2026 年 3 月 6 日 284000 行业动态 2025年最新Facebook养号教程 注意:此教程仅适用于跨境电商,在Facebook推广产品的用户。 1、Facebook养号概括 (1)刚刚购买的账号第1天不推荐加人,必须养好IP才能去加好友。加好友也不能太快,不要加的太多,否则账号用不了多长时间。 (2)如果要加5个人,每加1个人,就需要点1个赞,加1个群组 【看个短视频、看直播、浏览帖子、分享帖子、首页点击游戏/招聘求职/天气等模拟真实… siyushenqi.com 2025 年 8 月 14 日 上午12:44 412000 行业动态 城市AI之争,谁能称王? AI大模型正在从一线城市向准一线及二线城市扩散,成为城市新基建的重要组成部分。地方政府积极拥抱AI技术,探索将其应用于传统优势产业,打造“新质生产力”。例如,智谱在短短半个月内获得了杭州、珠海、成都三地国资的战略投资,总计融资额达18亿元。 siyushenqi.com 2025 年 8 月 13 日 426000 行业动态 《洞悉海外用户沟通偏好 提升产品与用户运营》—— VONAGE- 客户方案专家-龙伟东 《洞悉海外用户沟通偏好 提升产品与用户运营》演讲视频完整回放 siyushenqi.com 2025 年 8 月 3 日 413000 【出海榜单】2023 年 4 月中国非游戏厂商及应用出海收入 30 强 2023年4月中国非游戏厂商及应用出海收入排行榜出炉,厂商收入榜单前五名(按排名先后顺序)分别为字节跳动(排名无变化)、欢聚集团(排名无变化)、睿琪软件(排名上升1位)、腾讯(排名下降1位)以及美图(排名无变化)。 siyushenqi.com 2025 年 8 月 23 日 • 行业动态 523000 行业动态 又一渣男鉴别App登顶美国生活榜单TOP1,获网红力推,女性约会安全赛道火了? 你们谈的是不是同一个男友? siyushenqi.com 2025 年 8 月 15 日 499000 美国社交购物规模超530亿美元!大部分交易仍在Meta 2023年美国的社交商务市场规模将超过530亿美元。 siyushenqi.com 2025 年 8 月 12 日 • 行业动态 517000 吉比特上半年营收同增32%至14亿,年初至今股价暴涨101% 截至2020年上半年,吉比特实现营收14.09亿元,同比增长31.61%。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 492000 行业动态 单品年收入超40亿,腾讯终究还是抓住了二次元? 所谓公司基因。 siyushenqi.com 2025 年 8 月 18 日 434000 Temu狂卷,亚马逊推出王炸工具,向卖家开放私域流量 亚马逊一直不允许自己平台上存在“私域流量蓄水池”,因为这将影响其广告收入。如今,在Temu等平台的低价进逼之下,亚马逊不得不做出了让步 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 501000 “共生”营销趋势下的增长新动能!MS 2021全天重磅观点都在这里! 12月29日-30日,由Morketing主办的第六届“Morketing Summit 2021·灵眸大赏”将以“共生”为题展开。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 304000 中国卖家霸屏亚马逊飙升榜!哪些类目最受关注? 据跨境眼消息,从亚马逊美国站的销售额来看,在过去12个月中,美国站本土卖家的销售额排名第一 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 396000 行业动态 TEMU和SHEIN,想靠“反向海淘”打赢亚马逊? 老外消费降级,电商消费升级。 siyushenqi.com 2025 年 8 月 12 日 422000 行业动态 阿里开源多语言大模型,支持全球90%人口 现有开源多语言大模型大多集中在资源丰富的语言上,而像印地语、孟加拉语和乌尔都语等使用人数众多但资源匮乏的语言鲜有关注。为解决这一问题,阿里巴巴开源了多语言大模型Babel,支持25种主流语言,覆盖全球90%以上人口。 siyushenqi.com 2025 年 8 月 13 日 457000 发表回复 请登录后评论...登录后才能评论 提交