数智商业技术2.0时代的新「三驾马车」,阿里妈妈郑波谈如何把握生成式大模型( 三 ) _生成式大模型

流程是这样的：首先对商品建模，利用扩散模型对商品前景生成不同氛围且融合度高的背景，裁剪尺度合适的图片；然后选择适合图片的文案、衬底、Logo 或其他装饰元素；最后根据预测出的文本框位置、大小及周围颜色纹理，预测应该写什么文字。

文章插图
第二个场景是虚拟模特。淘宝服饰商家会请模特来试穿，模特本身、布景、拍摄都要花不少钱。针对此，我们利用创意生成技术研发虚拟试装模特。
下图左为虚拟模特穿售卖衣服的图片，其中模特的性别、年龄、肤色、发型以及背景场景都可以个性化选择。商家基于自售衣服的特点选择属性，然后根据投放结果进行优化，时间和制作成本大大减少。
我们在技术上独创前、背景多次生成的流程，利用局部纹理控制网络来精细控制生成内容，并根据特有任务定制化训练基础模型，解决了目前模特换装中服饰还原度不够和前背景边缘不清晰问题。

文章插图
第三个场景是多种风格字体生成。商家做创意有时要花钱购买商用字体，我们为他们提供了多款免费、有特色的字体。如何做到呢？我们借鉴古代石碑、书籍中独具风格的文字，利用 AI 字体风格生成技术学习建模一种字体风格，再推广到所有常用字，得到一种可用字体。
如下图左，我们根据东晋著名碑刻拓印「爨 (cuan) 宝子碑」和颜真卿真迹「多宝塔碑」分别训练成了「阿里妈妈刀隶体」和「阿里妈妈东方大楷」。目前我们一共免费开放了 5 种字体。这些字体采用我们自研的字体风格迁移算法，提出了内容融合和投影字符损失等创新模块，发表在了 CVPR 2023 上，迁移效果业界领先。

文章插图
除了通过上述多个创意性产品来为中小商家「减负」和「增效」，阿里妈妈一直希望推动 AI 技术普惠，让更多中小商家享受科技红利。这里我要谈一谈阿里妈妈的 AI 技术产品 —— 万相台，从媒体流量变现切换到商家经营需求视角，通过 AI 技术在全域流量上最大化满足商家拉新、上新、大促等不同营销需求，助力生意增长。

文章插图
万相台的全链路流程。
除了深耕于融合业务场景的技术创新和应用，我们也非常看重工业界与学术界的深度融合、相互促进。我认为现在也是学术界和工业界更加紧密联系的一个契机，双方通过产学研等合作方式，可以实现从 AI 理论到工业实际应用场景的落地。
因此，阿里妈妈正和国内众多知名高校、研究机构开展多个方向、多个项目的产学研合作，其中代表性的是 2022 年 9 月成立的「北大 - 阿里妈妈人工智能创新联合实验室（PAAI）」，重点攻关 AI 理论和创新算法研究。自成立以来，实验室已在大规模图模型、决策智能和智能音乐生成等方向有了一些研究成果和应用。
目前实验室已有 5 篇以上论文被 KDD、IJCAI、WWW 等国际一流顶会接收，大规模图模型和决策智能技术在阿里妈妈应用场景的落地也在有序上线准备中，智能音乐生成方向也完成了广告配乐小样的生成。
感兴趣的读者可以访问该实验室网站：http://paai.pku.edu.cn

【数智商业技术2.0时代的新「三驾马车」,阿里妈妈郑波谈如何把握生成式大模型】