谷歌发布Prompt Expansion框架,让文生图更轻松! siyushenqi.com • 2025 年 8 月 13 日 下午10:56 • 行业动态 • 阅读 472 让我们一起了解这个框架的魅力吧! 尽管文本生成图像(Text-to-Image Generation)模型功能强大,但有效地利用它们依然是一项挑战,因为传统使用方法往往需要用户具备特定的技能和知识。为此,谷歌推出了一种名为提示扩展(Prompt Expansion)的创新框架,旨在帮助用户更轻松地创造出既高质量又多样化的图像。让我们一起了解这个框架的魅力吧! 论文标题:Prompt Expansion for Adaptive Text-to-Image Generation 论文链接:https://arxiv.org/pdf/2312.16720.pdf 问题陈述 文本到图像生成模型能够根据文本提示创造相应图像,但这通常需要精确和详细的指引。然而,存在两大挑战: 提示工程复杂:用户需精心设计提示以生成高质量图像。这涉及使用专业术语(如“35mm”、“背光”等)和独特描述(如“大胆创新”)。由于有效提示的不稳定性,用户需不断试验,这限制了模型的易用性和创造力。 图像多样性不足:即便用户提示未具体指定细节,生成的图像往往缺乏变化。例如,“南瓜灯设计”的提示可能导致风格和视角相似的图像。这不仅可能加剧社会偏见,还限制了探索更多元图像的可能。 提示扩展框架 提出的框架旨在通过将基本文本查询扩展为一组详细且多样的文本提示来缓解这些挑战。这些扩展提示,当输入到文本到图像模型中时,可以生成更多样化的高质量和审美上令人满意的图像。论文专注于减少用户在制作详细提示方面的努力,并提高生成图像的多样性和质量。 基础模型 一个文本到文本的模型,接收用户的文本查询(query),输出扩展的文本提示。该模型基于特别创建的提示扩展数据集进行训练。 再微调 基础模型进一步微调,以与下游的文本到图像模型对齐,优化它以生成导致高质量图像输出的提示。 可控制生成 该框架允许使用前缀来进行受控制的提示扩展,这些前缀指导生成的扩展类型。这包括添加特定细节、提升图像美感或促进生成图像的多样性等选项。 数据集和方法论 提示扩展(PE)框架需要一个模型接受用户文本查询作为输入,并返回N个文本提示作为输出,这样通过文本到图像的生成,这N个文本提示将返回一组与查询对齐的N个多样化、美观的图像。为了训练一个PE模型,需要一个将查询映射到提示的数据集。研究团队采用逆向构建的方式来创建。首先收集审美高质量的图像,包括模型生成的和自然图像。其次,将图像反转成与之紧密对应的提示文本,包括备用文本术语(将其称为“flavors”)。最后将反转的文本映射到一系列更贴近用户输入的高层次查询(参见3.3节)。这些查询与第二步的提示配对,形成了{查询:提示}( {query:prompt})数据集。 图像-审美数据集 研究团队整理了两个图像数据集:第一个是Webli-Align,由Webli和Align(数据集中的图像组成,筛选出高MUSIQ审美评分的图像。第二个是CrowdSourced,通过众包方式从文本到图像模型中获取输出。研究团队提供了一个类似于Gradio的文本到图像生成界面,允许来自大型组织的用户输入提示来生成图像。用户还可以对他们喜欢的图像进行点赞,研究团队利用这种点赞信号只保留最吸引人的图像,包括80k张Webli-Align(自然)和40k张CrowdSourced(生成)图像。 图像到文本反转 第二步是将图像-审美数据集中的图像反转成提示文本。查询是用户提供的输入,而提示是生成特定图像的文本。研究团队使用Interrogator(CLIP-Interrogator)方法进行图像到文本反转,通过串联生成的:(i)标题,和(ii)一组“口味”来计算出提示文本。标题是对图像内容的描述(例如,谁、什么、在哪里、何时)。口味是指改变图像风格的描述性词语或短语。 查询/提示提取 研究团队在数据集准备的最后阶段生成了与反转文本提示匹配的用户查询。他们使用FLAN-PaLMChilla 62B模型和少量示例提示来生成不同长度的查询和长提示。这些示例提示的格式是{提示:查询},示例可以在他们的文档中找到。对于每个反转提示,团队添加了示例提示作为上下文,并用模型生成相应查询。这样,他们得到了一系列长度不同的查询,适应于各种扩展提示。 方法 研究团队设计训练提示扩展模型根据以下两个阶段: (一)在提示扩展数据集上训练一个基础提示扩展模型。 (二)针对下游的文本到图像模型对基础模型进行重新微调。 基础模型 研究团队构建的提示扩展框架基于文本生成模型,采用PaLM 2架构进行训练,其核心功能是把用户简单的文本查询转换成更丰富的提示文本。这些扩展通过添加关键词来提升图像质量,并引入额外细节以增强图像多样性。 重新微调 基础模型训练完毕后,研究团队进行了重新微调,以提升模型生成的图像质量。这个步骤通过筛选与下游文本到图像模型(如Imagen)更匹配的提示来进行,目的是生成更高质量的图像。 可控制生成 前缀控制:模型可利用特定前缀来产生指定类型的提示扩展,如增加更多调味料或多样化细节。 前缀逐渐减少:在训练过程中,模型逐步学会识别合适的前缀,以适应不同的查询。 多步骤扩展:用户可以从一系列生成的提示中选择一个,再次输入模型进行迭代,这一过程无需手动文本编辑。 提示扩展框架的目的是简化用户创建多样化和审美上吸引人的图像的过程。研究团队推出了一种新的交互方式,允许用户通过选择图像来启动下一轮的迭代生成。图中展示了基于简单文本提示“一只蓝色的狗”直接生成的图像(左侧),以及通过提示扩展生成的图像(右侧)。左侧图像由于使用了相同的简单提示,因此外观相似。相比之下,右侧图像通过在提示中加入更多细节,如场景、动作和艺术风格,因此显得更为多样和详尽。右侧上部展示了在初始提示基础上经过一次扩展后的结果,下部则展示了经过多次扩展后,图像的创意和细节变得更加丰富。在自动评估和人工评估中,模型在多样性、审美和文本-图像一致性方面都展现了优于基线方法的性能。 实验 评估设置 实验设计使用了两组来源不同的查询样本:一组是代表不同领域和语言特点的PartiPrompts(PP)数据集中的200个提示;另一组是通过应用于Webli-Align(WA)图像的PE数据集生成过程构造的500个新测试查询。查询被分类为抽象的、具体的、短的(小于4个词)、中等长度的(4-7个词)或长的(超过7个词)。 模型变种 对比评估了几种不同的提示扩展模型变种:包括一个少量样本提示的基线模型,基础的提示扩展模型,以及使用完整提示扩展流程训练的PE:Re-fine-tuned模型。所有的模型生成的提示都作为输入提供给Imagen,并使用以下评估指标来衡量。 自动评估指标: 美学评估:使用MUSIQ模型(在AVA数据集上预训练)来评估图像的审美质量。多样性评估:使用COCA图像嵌入的方差来评估生成图像的多样性。文本-图像对齐评估:使用查询文本的COCA文本嵌入与生成图像的COCA图像嵌入之间的余弦相似度来评估文本-图像的对齐度。人类评估任务设计:进行了一项侧面对侧(SxS)的评估任务,其中评估员需要对给定文本查询生成的一对图像进行比较,每个图像由一种PE模型或另一种模型生成的提示生成。评估的两个主要标准是美学偏好和文本-图像对齐。 实验结果 多样性提升:提示扩展模型提高了生成图像的多样性,这一点在所有系统中都得到了一致的确认。尤其是经过重新微调的模型(PE: Re-fine-tuned),在多样性方面表现略胜一筹。 美学改进:提示扩展模型特别是经过重新微调的模型,在美学评分方面比直接查询生成的基线方法有了显著提升。这表明了模型相对于特定的下游文本到图像模型的优化部分对于提升图像美学值至关重要。 多样性与美学之间的关系:研究团队假设,增加的多样性可以提升生成图像的美学质量,因为多样性更高的提示可能会生成更吸引人的图像。实验结果表明,选择最佳图像(4x4设置)与随机选择图像(1x1设置)相比,前者在美学上有更高的获胜率,这进一步证实了多样性对于美学的积极影响。 文本-图像对齐与美学之间的平衡:研究团队注意到,虽然扩展提示可以设计得保留原始查询的所有语义,但它永远无法预期在与用户原始意图的对齐度上有所增加。因此,提示扩展的主要目标是在优化美学和多样性的同时,尽量减少对齐分数的下降。 可控制生成的效果:实验还表明,使用多前缀(PE: Multi-Prefix)的模型在美学上的表现优于基础的提示扩展模型,并且在文本-图像对齐上没有损失。这意味着,即使在没有显式优化的情况下,控制生成也能带来性能上的提升。 总结 研究团队开发的提示扩展模型显著提升了文本到图像生成的多样性和美学质量,减少了用户进行复杂提示工程的需要。通过实证研究,该模型在自动评估和人类评估中均显示出优于传统方法的性能。该工作引入了新的用户交互模式,允许用户通过简单选择图像来迭代生成更加个性化和吸引人的图像。 相关阅读外贸展会后怎么跟进客户?72小时、7天、30天的完整SOP网易辟谣:王怡未离职,部分营销团队并入事业部OpenAI内部信"摊牌":微软联盟已成枷锁,将押注亚马逊合作突围哔哩哔哩首次全年盈利、友谊时光靠女性向小游戏扬眉吐气丨9家游戏公司财报深度拆解群核科技开启全球招股;众擎机器人完成2亿美元B轮融资;红熊AI完成2.1亿元A轮融资丨投融资周报需要日本PayPal代付;社交APP伊拉克支付提现渠道;收巴西各类流量;海外买量|私域神器每周合作精选No.201一周要闻NO.195丨恶意软件入侵谷歌商店;9家游戏公司财报深度拆解;非洲市场又一电商巨头退场;Meta首个"超级智能"模型亮相微软或考虑将《使命召唤》移出Xbox Game Pass泡泡玛特进军巴西:先打假冒伪劣智元机器人,一分为四! 本文源自「私域神器」,发布者:siyushenqi.com,转载请注明出处:https://www.siyushenqi.com/33405.html 赞 (0) 打赏 微信扫一扫 支付宝扫一扫 0 0 生成海报 关于作者 siyushenqi.com 关注私信 13.9K 文章 0 评论 425 问题 18 粉丝 私域神器:海外私域营销拓客软件 阿里巴巴的新模型AnyText:动动嘴就能1分钟做出一张电商大促海报 上一篇 2025 年 8 月 13 日 下午10:56 Open AI 的GPT商店终于来啦,下周发布!附详细创建教程 下一篇 2025 年 8 月 13 日 下午10:56 相关推荐 行业动态 亚马逊temu无货源采购:自养号系统的风险控制与养号攻略 做亚马逊temu跨境无货源,现在最常遇到的难题是什么?找代拍总担心资源不稳定,平台风控规则越来越严,账号关联导致封号断货……这些实际问题,让越来越多卖家调整采购策略——不再依赖第三方,转而自己养一批长期稳定采购的账号。这些账号通过模拟真实用户行为,逐步积累平台信任,不仅能保障日常下单,还会被平台标记为“可信买家”,成了采购链路里关键的“数字身份”。 一、自养… siyushenqi.com 2025 年 8 月 13 日 下午10:56 472000 从全球化视野出发,看腾讯探索未来的三个关键点 作为品牌升级后的首场发布会。2020年SPARK MORE在6月27日晚终于揭开了它的面纱。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 471000 三七互娱产品副总裁殷天明:8年出海,我们踩过很多坑 “国内数据是好是坏,未必与国外发行的数据对等。”三七互娱产品副总裁殷天明如是说。 siyushenqi.com 2025 年 8 月 26 日 • 行业动态 474000 私域神器擎舵 向海而行丨私域神器2023PAGC大会完美收官 一文回顾所有精彩瞬间! 让我们一起回顾本届大会的精彩瞬间吧! siyushenqi.com 2025 年 8 月 20 日 • 行业动态 484000 行业动态 Facebook先下手为强 投资印尼增长最快的应用程序 Gojek Facebook和Paypal已经宣布投资Gojek,这是印度尼西亚第一个且增长最快的应用程序。 siyushenqi.com 2025 年 8 月 26 日 484000 行业动态 在互联网大厂,做个”老专家“有出路吗? 专家,成了外人 siyushenqi.com 2025 年 8 月 19 日 451000 行业动态 订单暴涨1000%!万亿级市场规模!跨境大佬都在瞄准怎样一块“淘金池”? 疫情下的拉美电商市场以黑马之姿闯入中国卖家视野。 siyushenqi.com 2025 年 8 月 13 日 441000 LV也来搞了个大动作? LV在微信公众号推出了一个互动体验小程序《麻 Jump》。为什么一个奢侈品品牌要做这样的尝试?只是为了吸引用户这么简单吗? siyushenqi.com 2025 年 8 月 24 日 • 行业动态 524000 行业动态 Token市场占据半壁江山,火山引擎在打什么牌? 火山引擎靠“卖 Token”弯道超车,半年拿走 49% 的大模型公有云市场,第一次让 BAT 体会到被字节“卡点”的滋味。 siyushenqi.com 2025 年 9 月 23 日 772000 行业动态 OpenAI杀入私募 OpenAI未掏真金白银,以ChatGPT授权+AI技术支持换取兴盛控股“有意义股权”,并拿到被投企业数据训练权,再现其“循环交易”套路。 siyushenqi.com 2025 年 12 月 2 日 329000 行业动态 三笙万物 海外短剧总负责人 张别人 PAGC 2025丨第五届全球产品与增长展会 短剧出海增长峰会圆桌嘉宾 三笙万物 海外短剧总负责人 张别人 PAGC 2025丨第五届全球产品与增长展会 短剧出海增长峰会圆桌嘉宾 siyushenqi.com 2025 年 8 月 17 日 458000 Facebook广告投放教程 -新手版 数字营销已成为当今企业扩大受众的主要工具。强大的数字营销策略的一个关键要素是社交媒体,尤其是 Facebook 广告投放。 尽管 TikTok 或 Snapchat 等新平台不断涌现并成为趋势,但 Facebook 仍然是全球使用最广泛的社交媒体网络,拥有 29 亿活跃用户,同时美国成年用户平均每天在 Facebook 上花费 33 分钟,使该平台成为接触广… siyushenqi.com 2025 年 8 月 13 日 下午10:56 • 行业动态 472000 行业动态 Ilya Sutskever担任SSI首席执行官 Ilya Sutskever在社交平台宣布,从6月29日起担任SSI的首席执行官,原因是Meta用重金挖走了SSI的CEO Daniel Gross。 siyushenqi.com 2025 年 8 月 13 日 449000 行业动态 程序员要实现财富自由,“出海”这条路该怎么走? 围绕「程序员出海」话题,立足于自身的经验,分享程序员出海的现状以及当下及未来的潜在机会。 siyushenqi.com 2025 年 8 月 3 日 457000 行业动态 5000块的猫砂盆卖出百万销量!“铲屎”到底有多吸金? 美国最贵猫砂盆!这家独立站靠它年赚1.8亿美金 siyushenqi.com 2025 年 8 月 12 日 572000 品牌出海,怎么做好声誉管理? 用好社交媒体这把双刃剑 siyushenqi.com 2025 年 8 月 3 日 • 行业动态 408000 行业动态 中东LED照明市场需求如何?未来的发展趋势怎么样? 人们对使用节能照明解决方案的认识不断提高,推动了中东国家对LED照明的方案。 siyushenqi.com 2025 年 8 月 12 日 489000 行业动态 年收入近5000万美元,一款女性主导的交友App,印尼成最大付费来源 把社交的主导权交给女性,打造出的产品有多吸金? siyushenqi.com 2026 年 1 月 8 日 369000 行业动态 私域神器每周精选 No.80|TapTap热门榜Top2手游寻海外发行;90%女性垂类社交App寻短剧平台合作 本期精选的合作类型涵盖TapTap热门榜Top2手游寻海外发行;90%女性垂类社交App寻短剧平台合作等项目。接下来就一起看看吧~ siyushenqi.com 2025 年 8 月 18 日 456000 如何升华IP玩家文化?这款硬核星战手游给出了答案 就在近期,这群玩家在星战策略手游EVE又一次爆出了绝地反击的战役名场面。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 520000 行业动态 高达2万亿参数,远超GPT-4!亚马逊全新Olympus大模型曝光,即将对外公布 作为第一大云计算厂商却似乎在大模型时代默默无闻的亚马逊,终于被爆料了!据称,亚马逊正在训练一个高达2万亿参数的大模型,内部代号「Olympus」。取代OpenAI的时刻,就要来了? siyushenqi.com 2025 年 8 月 13 日 407000 Unity、AppsFlyer、Airwallex空中云汇、Vonage作为前线·欧美日韩出海峰会联合赞助、合作伙伴出席第三届全球产品与增长大会 Unity、AppsFlyer、Airwallex空中云汇、Vonage作为前线·欧美日韩出海峰会联合赞助、合作伙伴出席第三届全球产品与增长大会 siyushenqi.com 2025 年 8 月 21 日 • 行业动态 466000 行业动态 AI漫剧、微短剧、图文剧,短剧出海高效对接,就在12.11深圳“剧佳拍档” 《剧佳拍档——短剧出海对接会》12月11日深圳见。 siyushenqi.com 2025 年 12 月 10 日 408000 Colorkey珂拉琪出海启示录:用“一支唇釉”打开东南亚市场 通过Colorkey珂拉琪的经历与去找寻一套新消费品牌可复制的出海生意经。 siyushenqi.com 2025 年 8 月 13 日 • 行业动态 452000 见证历史?被玩家闹到中消协后,这款即将停服的游戏又“续上了” 今天(3月30日)下午,中国消费者协会在微博上表示:“经我会关注和推动,《云裳羽衣》发布公告,中止停服流程,继续提供游戏服务。” siyushenqi.com 2025 年 8 月 24 日 • 行业动态 580000 行业动态 爆卖1.57万件!联想霸榜TikTok美区小店 作为老牌国货,联想品牌在TikTok Shop美区毫不逊色于其他品牌,旗下一款售价13.59美金的“入耳式无线防水蓝牙耳机”成为“手机数码”类目下的近期热销品,一周共计卖出1.57万件,销售额约21.4万美金。 siyushenqi.com 2025 年 8 月 12 日 430000 莉莉丝距离「世界的Lilith」又更近了 2022年之于莉莉丝游戏大抵是更加忙碌的一年。 siyushenqi.com 2025 年 8 月 24 日 • 行业动态 487000 被腾讯收购的音娱时光 做出了日系卡拉OK分类的Top 1应用Pokekara 在增长的市场需求之下,K歌应用也成为更多人的娱乐选择:以出海日本的K歌产品Pokekara为例,据统计,2021 年,Pokekara 在日本的下载量约为 523 万次,成为当年下载量领先的卡拉 OK 应用程序。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 675000 行业动态 650亿美元,Meta开始押注下一个硬件 2025年人形机器人市场迎来爆发,吸引了众多企业涌入赛道,包括OpenAI、蚂蚁金服、华为、小米、小鹏、蔚来等。Meta也宣布加大在人形机器人领域的投资,并组建了研发团队,计划招聘100位工程师。摩根士丹利和高盛预测,人形机器人将成为未来十年科技投资的重要主题,市场规模有望在2035年达到1540亿美元。 siyushenqi.com 2025 年 8 月 13 日 434000 乌克兰游戏团队向玩家表达歉意:可能无法及时回复信息 昨日,俄罗斯对乌克兰宣战并以雷霆之势摧毁了乌克兰的海空力量。突然爆发的战争让整个乌克兰陷入窘境,普通的乌克兰人民原本平静的生活被打破,逃亡或者躲进地下以免遭受战争的波及。 在游戏界,乌克兰本土的游戏厂商Sengi Games、Frogware、GSC Game World等在推特上纷纷表达对战争的不满,并呼吁玩家们帮助停止战争。 siyushenqi.com 2025 年 8 月 25 日 • 行业动态 497000 发表回复 请登录后评论...登录后才能评论 提交