AI成谎言制造机,资本涌向打假科技 siyushenqi.com • 2025 年 8 月 14 日 上午12:28 • 行业动态 • 阅读 434 AI撒谎不打草稿,科技能否打假? 过去几个月掀起AI小高潮,先是OpenAI的大模型GPT-4公布,多家测评表示比ChatGPT准确许多,学习速度也更快;随后不久ChatGPT宣布将实现对插件的支持,表示它可以通过第三方服务为用户提供更强大的功能。 这些消息让全网兴奋不已,将AI的聪慧捧上神坛之时,AI却也在悄悄展露自己的另外一个黑暗面,那就是它撒谎不打草稿的能力。 01生成式AI:谎言制造机 我们都知道,AI的强大之处在于能够快速收集来自各种源头的信息并根据用户的特殊指令“见机行事”,这就说明即使是非常荒谬和片面的信息也可能被借AI之口说出,谣言就这样因其表述的合理性和完整度被大众接受和传播。 新闻评级网站Newsguard最近进行了一项尝试,他们让ChatGPT以反新冠疫苗者的口吻进行对话,结果AI生成了一段看似非常合理的言论,“有理有据”的讲述疫苗制药公司如何不择手段,甚至对儿童健康产生极大负面影响他们也不在乎。 这样的技术落到造谣者手中,就会有许多无知大众上当受骗。 不仅是文字,AI在图片和视频上造假的功力也了得。 川普被捕的一系列假照片在网上被疯狂转载,这些用AI工具MidJourney创造出的图片十分以假乱真,即使某些细节并不合理 - 比如图中的川普有三条腿,还是不妨碍网友们大肆转发并信以为真。 而视频因其复杂性常常给人难以伪造的假象,殊不知只要在图片的基础上稍加技能视频造假也并没那么难。 Deepfake技术的出现更是让这件事变得十分简单,像是马斯克为加密货币交易平台打广告、拜登和奥巴马打游戏、假阿汤哥打高尔夫球和变魔术、还有无数女明星被换脸进色情片都是deepfake的产物,除了鉴伪专家,普通人实在难以分辨真假。 AI作出滑稽的梗图或许可以博网友一笑,但虚假信息在某些场景下的负面影响却是致命的。 2020年“犯罪科学”的一项报告显示,在未来15年内AI可能创造出的安全威胁中,深度伪造被列为最严重的一项,而哈里斯民调机构的调查也显示,美国有67%的成年人对生成式人工智能技术的安全性倍感担忧,只有约29%的被调查者表示从未用过这项技术也并不打算使用。 02打假AI:没那么简单 目前许多AI技术的开发者都相信这一问题需要“以毒攻毒”,科技创造出的麻烦要科技去破局,在这一点上,科技大厂们已经在行动了: ● Google早在2019年就发布了一个大型开源数据库,招募演员录制了视频后利用网上现有的deepfake技术进行伪造,最终生成的视频数据可以帮助打假技术的开发者更好学习deepfake的算法和逻辑。今年Google还在欧洲地区开始了用付费广告进行对反信谣和鉴别虚假信息的大型宣传。 ● 微软在去年推出了一个叫做“Video Aunthenticator”的工具,它能够对画面中渲染边界和灰度等级进行逐帧的实时分析进而生成可靠指数,以此来帮助用户鉴别内容的真实性。 ● Meta此前也推出过和Google类似的开源数据库,还和微软及MIT、牛津、UC伯克利等高校联合发起了提供1000万美元奖金激励的挑战赛,鼓励更多检测虚假信息和深度伪造技术的创新。 ● Twitter会对经常发布deepfake和虚假信息的账号进行封杀,还会将比较可疑的内容打上标签,并且在用户转发这类内容时还会进行“确定要转发吗?”的提问。 ● TikTok最新推出的社群规范规定使用真实场景进行合成的内容必须被明确指出, 这就说明所有以生成合成式AI创造出的内容必须在标题或者tag中使用“合成”“虚假”等词汇。 虽然科技巨头们在技术和预防上都在努力,但虚假和伪造信息似乎并没有减少。 打击虚假和伪造信息难度之大有很多原因,比如首先需要对什么是虚假信息进行一个准确的定义,在这点上许多平台并做不到,因为虚假信息并不是在每个场景下都可以被简单甄别,而当虚假信息被用多种语言传播到世界各地,难度就更大了。 同时很多时候信息本身并不是谎言也不是被伪造出的内容,而发布和传播者只是巧妙地用了随意选取的方式来误导网民,这类内容尤其难跟虚假信息进行分别。 再有,对社交媒体等平台来说,击打虚假信息从来都不是他们商业目标的重中之重,当一件事只是为了符合规范却并不能带来利润,显然微薄的动力致使打假的脚步走的异常缓慢。 正因如此,许多人将眼光和希望放在了一批正在将精力全部放在开发鉴别虚假信息技术的初创公司身上。 03资本涌向打假初创公司 投资者的资本也伴随着大众迫切的希望涌向了这些初创公司,在过去几年间,数亿美元被投资进了这一赛道。 孵化于硅谷加速器Nex Cubed的Blackbird已经开发出了一套成熟的鉴伪技术,因在击破新冠谣言方面表现出色而开始被知晓,它的专利算法技术可以通过即时对上亿个数据点的分析搞清楚虚假信息的源头和传播者。 这一技术使用五项「风险信号」来对虚假信息进行甄别,包括“叙事口吻”- 对信息和对话背景进行分析;“社群网络”- 对用户及分享内容之间关系进行分析;“族群”- 对有类似兴趣的用户是否聚集加剧信息分享的幅度进行分析;“操纵”- 对信息的合理使用进行分析;以及“欺骗” - 分析传统意义上比较明确的真与假。 Blackbird还在今年推出了一个叫做RAV3N Copilot的AI助手,通过使用生成式AI来制作叙事性智能和风险报告,为虚假信息安全隐患提供更多的背景分析,以此帮助安全部门进行更加高效和自动化的监控和分析。 Blackbird目前融资总额为1000万美元,服务领域涉及品牌、金融、企业及公共部门等等,客户包括美国国防部及多个Fortune 500公司。 背景分析在鉴别虚假信息这件事上十分重要,因为不同场景的信息使用可能会导致真或伪的天壤之别,因其人工智能和自然语言处理(NLP)防伪技术而知名的旧金山公司Primer最近就对背景智能技术公司Yonder进行了收购。 Primer的神经网络技术可以快速对大量文本进行扫描,根据词语的频率和重点提取主题,快速识别可疑信息,这样以来可以对全球事件进行即时分析,识别用虚假信息进行的大型宣传,对网络安全攻击事件进行反击等等。它的NLP模型结合上Yonder的背景叙事智能分析能力,让用户甚至能够预防性的监控即将出现的虚假信息,快速识别谣言背后的造谣者,分析潜在风险等级,以及对受到虚假信息伤害的品牌和行动用系统提供的建议减小损伤程度。 Primer如今已经完成了1.68亿美元融资,最大投资包括来自Lux Capital的4000万美元B轮和来自Addition的1.1亿美元C轮。 在纽约和特拉维夫都有团队的ActiveFence也是获得了这一赛道最多融资的公司之一,融资总额达到了1亿美元,包括来自Grove Ventures和Norwest Venture Partners的A轮,以及CRV和Highland Europe的B轮。 ActiveFence的技术使用NLP对全网正在进行的对话进行搜索,即使是网络最深处的角落也可以触及,然后通过对“坏种子”式信息的预判进行风险分析,这就意味着它可以预估一段看似无害的对话是否会被造谣者恶意使用,导致更加深远的恶性影响,这种前瞻性对于虚假信息的预防来说格外关键,ActiveFence的主要客户包括社交媒体、音频及视频流媒体、文件分享平台和游戏平台等,覆盖用户总数达到了10亿+。 DeepMedia可以说是一家提供“双管齐下”业务的公司,最初的主营生意是开发出了可以通过翻译、语音合成和配音等技术让用户看起来能说多种语言的工具DubSync,而在这项服务成功被接受后目前研究起了如何监测合成音频和视频的技术,它对其监测工具的训练方式就是通过用自家的合成工具不断生成deepfake,然后考验监测系统是否能够察觉。 创始人Gupta表示现有的像是DeeperForensics和FaceForensics等大型数据库在合成时往往带有强烈的偏见,因此训练出的技术在监测上也有盲点,而DeepMedia的竞争优势在于它所使用的deepfake数据库质量更高,对于网络上现有的deepfake内容的代表性也更强。 这一AI监测工具在预先处理和正式分析方面都十分强大,比如它要想验证一个视频中的阿汤哥是否是真的,首先模型需要对视频中人物的脸部特征进行提取并分析,然后从背景音中提取出人物的真声,接下来这些信息会在一系列的分类器中被检验, 最后整体的内容还要被卷积神经网络刷一遍看看生成deepfake的算法是否被使用。 DeepMedia还开始了使用基于视觉的图像分类模型,Google就是用这种模型来进行搜索结果提取的,这样的模型比传统卷积神经网络训练速度要快上10倍。DeepMedia的这一监测业务已经和美国空军下属的实验室达成了合作,目前准确率达到了95%,会在99%的时候在市面上公开发布。 ▼ 大厂也好,初创公司也好,他们为打假科技研发所作出的努力至关重要。 在未来的5到10年内,AI技术的发展将更快,这也就意味着AI在“撒谎”这件事上会更加聪明,仅靠网友们的人工鉴别肯定是不够的。 许多deepfake赛道的创始人呼吁各国政府的参与也至关重要,比如设立跨国界的对于虚假信息界定和干预的规范条例,比如拨款用于这一类危机的教育和研究等等。 如果AI有善和恶之分的话,那么未来几年在虚假信息这方面可以说是AI自身善与恶的一场赛跑,虽然科技不是唯一的答案,但希望我们众志成城的打假行动能够为我们争取一些时间。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/35027.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 从原画师到培训课,ChatGPT正在改变职场选择 上一篇 2025 年 8 月 14 日 上午12:28 无论实力还是勇气,现在的人类都能爆杀AI! 下一篇 2025 年 8 月 14 日 上午12:29 相关推荐 行业动态 「不做第一,就做唯一」,中国新锐品牌实力出海 不做可有可无的产品,只做独一无二的存在 siyushenqi.com 2025 年 8 月 12 日 493000 行业动态 美团,又一重量级大模型进场 美团发布并开源5600亿参数混合专家模型LongCat-Flash(龙猫),通过“零计算专家”机制实现高效训练与推理,单用户推理速度超100 tokens/秒,成本仅5元/百万token。 siyushenqi.com 2025 年 9 月 2 日 543000 行业动态 私域神器每周合作精选No.142|全新游戏项目求发行&投资合作;寻海外真实流量,开发者资源;海外APP预装合作 本期精选的合作类型涵盖金牌制作人放置+塔防+卡牌全新项目求发行&投资合作;需要海外真实流量,开发者资源;海外APP预装合作等。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 17 日 497000 行业动态 还不到6个月,GPTs黄了 上周,不少人发现微软官网忽然更新了一条“GPT Builder 即将停用”的通知。宣布将从7月10日起终止对Copilot GPT的支持,并会在四天内把平台上所有已创建的GPT连同相关数据全部删除。 siyushenqi.com 2025 年 8 月 13 日 428000 行业动态 拼多多想明白了,开始给大批商家退款 黄峥:有时候外界看到的,和实质存在的会不同。 siyushenqi.com 2025 年 8 月 5 日 406000 行业动态 服装出海“遭劫”…… 成本恐涨20%,上市或遇阻。 siyushenqi.com 2025 年 8 月 13 日 429000 行业动态 越南大力支持电商发展,卖家出海迎来重大利好 推动电子商务市场持续健康成长已经是大势所趋。 siyushenqi.com 2025 年 8 月 12 日 469000 获红杉投资的中国版“Shopify”年交易额达5亿美元,看好东南亚电商市场 独立站逐渐成为中国企业出海打响自己品牌的主流选择。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 424000 行业动态 “年轻的”印尼游戏市场:本地玩家险被团灭,外国手游大行其道 Eldwin Viriya是一位来自印尼的游戏开发者和企业家。 siyushenqi.com 2025 年 8 月 26 日 452000 行业动态 非洲电商市场潜力正在释放…… 麦肯锡全球研究所的预测表明,到 2025 年,电子商务可能占非洲最大经济体( 尼日利亚、南非和埃及)全部零售额的 10% 。 siyushenqi.com 2025 年 8 月 6 日 422000 行业动态 AI 创造者高峰论坛 · 11月21日北京见|报名截止本周 这将是一次从「看见趋势」到「写出计划」再到「找到伙伴」的三日旅程:11 月 21 日在高峰论坛看见创造者与 Agent 的时代图景,22–23 日在加速营里,把你自己的出海剧本完整搭起来。 siyushenqi.com 2025 年 11 月 11 日 374000 拒绝创新内卷,这款看似“平平无奇”的放置RPG如何靠“发行”畅销海外? 今年4月中下旬,《神木遗迹》先后在中国港澳台地区,及包括印度尼西亚、泰国、新加坡在内的13个东南亚国家上线,并且很快登顶了其中9个国家/地区的iOS免费榜,在大部分市场的iOS畅销榜也都位列TOP10以内。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 482000 中国卖家如果要投身小众市场,可以考虑哪些电商网站? 如果要进军非洲电商市场,尼日利亚是跨境电商卖家的一大选择 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 390000 年收3亿美金,复购率91%!又一“丑鞋”品牌占领鞋类市场? “丑鞋”热度依然居高不下。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 482000 行业动态 Telegram群发渠道选择:群组、频道与私信的异同 Telegram作为一款广受欢迎的通讯工具,提供了多种群发信息的方式,包括群组、频道和私信。每种方式有其独特的功能和适用场景,选择合适的群发渠道可以帮助提高信息传播效果。在选择时需要考虑受众、信息类型和互动需求等因素,以确保最大化的信... siyushenqi.com 2026 年 1 月 25 日 378000 行业动态 大模型行业,根本没有什么“真”开源? 最近一段时间开源大模型市场非常热闹,先是苹果开源了70亿参数小模型DCLM,然后是重量级的Meta的Llama 3.1 和Mistral Large 2相继开源,在多项基准测试中Llama 3.1超过了闭源SOTA模型。 siyushenqi.com 2025 年 8 月 13 日 394000 行业动态 入局蓝海市场|进军巴西&墨西哥关键入口是什么? 近年来,由于东南亚和欧美市场的竞争越来越大,为了脱离“内卷”的市场环境,许多出海商家都把矛头对准了拉丁美洲市场 siyushenqi.com 2025 年 8 月 13 日 457000 Instagram不会引流,外贸人学会这10个技巧随便开发 Instagram现在也是越来越多的外贸人用起来了开发国外客户了,但是很多外贸朋友可能也只是用了一些比较简单基础的功能,具体如何高效引流开发客户还是不知道如何去操作。今天就给大家分享10个Instagram引流技巧,学会之后客户根本开发不完,建议点赞收藏备用。 废话不多说,下面开始Instagram引流技巧: 1.与潜在客户互动 简单来说就是开发同行的客户,… siyushenqi.com 2025 年 8 月 14 日 上午12:28 • 行业动态 434000 看完SE直面会,为何说中国游戏出海还在初级阶段? 当我们在说中国游戏出海时,很多游戏目前依然是处于用产品、用现有IP去和不同地区的玩家进行碰撞的状态。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 517000 行业动态 字节加码跃入日本短剧市场,有别于Melolo,新APP开始试水付费模式了 日本短剧市场付费还是比东南亚成熟。 siyushenqi.com 2025 年 8 月 17 日 484000 行业动态 2022年英国跨境网购消费趋势报告 2022年英国跨境网购消费趋势报告 siyushenqi.com 2025 年 8 月 12 日 365000 海外DTC品牌做好独立站的成功秘诀是什么? 我们精选了几家颇具特色的DTC品牌,对它们的营销手法进行了剖析。 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 474000 男频IP游戏,拿什么逆天改命? 男频网文改编游戏,为什么总不行? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 544000 NovelSnack、奇树有鱼、广州起境科技有限公司确认加入PAGC2024丨短剧对接会 NovelSnack、奇树有鱼、广州起境科技有限公司确认加入PAGC2024丨短剧对接会 siyushenqi.com 2025 年 8 月 18 日 • 行业动态 489000 行业动态 出海东南亚,如何在热土里刨金? 坐拥4亿互联网用户,其中超过90%为移动互联网用户,东南亚的人口红利为该地区的移动联网发展提供源源不断的增长动力。 siyushenqi.com 2025 年 8 月 3 日 519000 行业动态 Meta聚焦开发“超轻薄开放式头显” 面对苹果公司对AI眼镜市场的竞争压力,Meta砍掉了在售VR产品的升级项目,包括取消了Quest 4升级的“Pismo Low”和“Pismo High”备选方案,导致下一款传统设计的Quest头显推迟到2027年上市。同时,Meta加速推进代号为“Puffin”的超轻薄开放式头显研发项目,目标是在2026年底前发布。 siyushenqi.com 2025 年 8 月 13 日 468000 行业动态 Epic游戏商城启用新分成模式:每款产品每年的前100万美元收益全归开发者 2025年6月3日起,Epic Games Store实施全新收益分成模式。开发者每年每款产品可获取前100万美元净收益的100%分成,超出部分按88%(开发者)/12%(平台)分配。 siyushenqi.com 2025 年 8 月 15 日 530000 行业动态 马斯克旗下xAI洽谈新一轮融资:半年估值增超六成,达400亿美元 埃隆·马斯克旗下的人工智能企业xAI正在与投资者进行新一轮融资谈判,估值可能达到400亿美元。 siyushenqi.com 2025 年 8 月 13 日 406000 行业动态 中国时尚巨头,悄悄布局中东!太平鸟收购中东电商平台ChicPoint 在MENA地区近千亿的服装市场,前有SHEIN后会有太平鸟吗? siyushenqi.com 2025 年 8 月 6 日 467000 爆发式增长10倍!盘点炙手可热的便携式储能品牌 带你走进便携式储能行业,一起了解当下值得关注的便携式储能品牌。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 424000 发表回复 请登录后评论...登录后才能评论 提交