江苏龙网

  1. 首页 > 资讯 > 科技 > >

|玩不起1200万美元砸的GPT-3?百度EasyDL让你玩得起超大规模预训练( 三 )


效果看数据
最后我们再来看看效果 。 虽然之前已经提到过百度的这些超大规模预训练模型性能很好 ， 但我们并没有一个直观的理解 。 在这一部分 ， 我们将通过几大常见任务 ， 看一看它们的效果到底好在哪儿 。
先来看看图像领域特别常用的 ResNet-101 。 下图展示了 ResNet-101 在 ImageNet 和百度超大规模数据集上得到的预训练模型在新的数据集上进行迁移学习后的效果 。
从图中可以看出 ， 如果在 ImageNet 这样的开放大数据集上完成预训练 ， 模型的效果确实比不上百度超大规模预训练 。 当我们的数据集与 ImageNet 这些开放数据集有比较大的区别时 ， 这点尤其明显（比如 ， 由于数据集 6 和 7 更加「小众」 ， 两类模型效果差别也比较大） 。
|玩不起1200万美元砸的GPT-3?百度EasyDL让你玩得起超大规模预训练
本文插图

显然 ， 百度的大规模预训练 ResNet-101 对各种场景都更加友好 。 如果我们把它当做骨干网络 ， 并用于各种下游任务 ， 效果会更有保障 ， 也更加稳定 。
此外 ， 不论是 ResNet 这种大模型还是 MobileNet 这种小模型 ， 经过超大规模数据预训练 ， 它们的准确率和泛化能力都有比较大的提升 。
当然 ， 百度还新增了一些特殊模型 ， 例如：为了提升训练和推理速度而修改模型、采用弱监督预训练提高准确率 ， 构造更高效的分层残差连接等等 。 这些新增模型不仅能利用数据上的优势 ， 模型上的能力也针对特定任务有了进一步改进 。
|玩不起1200万美元砸的GPT-3?百度EasyDL让你玩得起超大规模预训练
本文插图

以上模型均在 ImageNet1k 分类数据集上进行训练和测试 ， 它们都有一些改进 ， 例如 EffcientNetB0_small 去掉了 SE 模块 ， 提升了推断速度 。
物体检测也不例外 ， 使用百度超大规模视觉预训练 ， YOLOv3_DarkNet 相比一般预训练模型平均提升 4.53 % ， Faster_RCNN 相比于普通预训练模型平均提升了 1.39% 。
|玩不起1200万美元砸的GPT-3?百度EasyDL让你玩得起超大规模预训练
本文插图

在自然语言处理领域 ， 百度文心（ERNIE）更是以其卓越效果横扫各大榜单：
2019 年年底 ， 文心（ERNIE）在自然语言处理领域权威数据集 GLUE 中登顶榜首 ， 以 9 个任务平均得分首次突破 90 大关刷新该榜单历史；
2020 年 3 月 ， 文心（ERNIE）在全球最大规模之一的语义评测 SemEval 2020 上取得了 5 项世界冠军；
2020 年 7 月 ， 文心（ERNIE）登顶视觉常识推理权威榜单 VCR 。
目前 ， 文心（ERNIE）已广泛应用于搜索引擎、信息流、智能音箱等用户产品中 ， 同时也在金融、通信、教育、互联网等行业中落地 ， 成为推动产业智能化转型的利器 。
总之 ， 无论是计算机视觉还是自然语言处理 ， 百度 EasyDL 中的各种大规模预训练模型都可以为我们省去不少麻烦 。 从数据的角度来看 ， 收集特定领域的业务数据成本并不低 ， 而且数据量不够大还会影响模型效果 。 从部署的角度来看 ， 模型部署过程中有各种各样的坑 ， 非常耗费精力 。 相比之下 ， 不如把这些工作都交给 EasyDL， 借助预训练模型与迁移学习的强大功力 ， 用更少的算力和数据训练出更强大的优秀模型 ， 成为新一代的顶尖炼金师 。
【|玩不起1200万美元砸的GPT-3?百度EasyDL让你玩得起超大规模预训练】聚焦于满足旺盛的产业智能化需求和快速增长的AI生产规模 ， 百度推出飞桨企业版 ， 包括零门槛AI开发平台EasyDL和全功能AI开发平台BML 。 EasyDL为零算法基础用户提供包含数据服务、模型训练、模型部署的一站式AI服务；BML面向专业算法工程师和企业开发团队提供灵活定制和深度集成的机器学习开发平台 ， 推动AI创新和实践落地 。


推荐阅读


上一篇：植物肉|获千万级美元A轮融资，“星期零”要做好吃不贵的植物肉

下一篇：|一文读懂Perpetual协议，它将带来DeFi衍生品的春天？| DeFi新项目