算法■深度｜大数据算法应用的测试发展之路
随着最近几年数据计算力与机器智能算法的兴起 ， 基于大数据 AI 算法的应用愈来愈热 ， 大数据应用在各个行业也不断涌现 。
作者：公直；来源：阿里技术
本文插图
阿里妹导读：随着最近几年数据计算力与机器智能算法的兴起 ， 基于大数据 AI 算法的应用愈来愈热 ， 大数据应用在各个行业也不断涌现 。 测试技术作为工程技术的一部分 ， 也随着时代的不断变化在同步演进 ， 在当下 DT 时代 ， 如何测试和保障一个基于大数据的应用的软件质量 ， 成为测试界的一个难题 。
本文通过系统性地介绍阿里巴巴 AI 中台的技术质量体系——搜索推荐广告应用的质量是如何测试的 ， 来尝试回答一下这个问题 ， 希望能给大家带来一些借鉴 ， 欢迎斧正 ， 以便改进 。
一 前言
最近十年来 ， 随着移动互联网和智能设备的兴起 ， 越来越多的数据被沉淀到各大公司的应用平台之上 ， 这些包含大量用户特征和行为日志的数据被海量地存储起来 ， 先经过统计分析与特征样本提取 ， 然后再经过训练就会产出相应的业务算法模型 ， 这些模型就像智能的机器人 ， 它可以精准地识别和预测用户的行为和意图 。
如果把数据作为一种资源的话 ， 互联网公司与传统公司有着本质的不同 ， 它不是资源的消耗者 ， 而是资源的生产者 ， 在平台运营的过程中不停地在创造新的数据资源 ， 并且随着平台的使用时长和频率的增加 ， 这些资源也在指数级地增长 。 平台通过使用这些数据和模型 ， 又反过来带来更好的用户体验和商业价值 。 2016 年 ， AlphaGo ， 一个基于深度神经网络的围棋人工智能程序 ， 第一次战胜围棋世界冠军李世石 。 这个由谷歌(Google)旗下 DeepMind 公司开发的算法模型 ， 背后使用的数据正是人类棋手所有的历史棋谱数据 。
阿里的搜索、推荐和广告也是非常典型的大数据应用的场景(高维稀疏业务场景) ， 在谈如何测试之前我们需要先了解一下平台处理数据的工程技术背景 。 搜索、推荐、广告系统在工程架构和数据处理流程上比较相近 ， 一般分为离线系统和在线系统两部分 ， 见下图 1(在线广告系统一般性架构 ， 刘鹏《计算广告》) 。 离线系统负责数据处理与算法模型的建模与训练 ， 而在线系统主要用以处理用户的实时请求 。 在线系统会使用离线系统训练产出的模型 ， 用以实时的在线预测 ， 例如预估点击率 。
用户在访问手机淘宝或者其他 app 的时候会产生大量的行为数据 ， 包括用户的浏览、搜索、点击、购买、评价、停留时长等 ， 加上商家商品维度的各类数据(广告还需要增加广告主维度的数据) ， 这些数据经过采集过滤处理之后再经过特征提取之后生成了模型所需的样本数据 ， 样本数据在机器学习训练平台上经过离线训练之后就可以产生用以在线服务的各类算法模型(例如深度兴趣演化网络 DIEN、Tree-based Deep Model、大规模图表示学习、基于分类兴趣的动态相似用户向量召回模型、等等) 。 在线系统中最主要的功能是数据的检索和在线预测服务 ， 一般使用信息检索的相关技术 ， 例如数据的正倒排索引、时序存储等 。
搜索推荐广告系统在使用了上述维度的大数据 ， 经过深度学习之后 ， 成为一个千人千面的个性化系统 。 对于不同的用户请求 ， 每次展现的商品和推荐的自然结果和商业结果都不尽相同 ， 即便是同一个用户在不同的时刻得到的结果也会随着用户的实时行为的不同而改变 ， 这些背后都是数据和算法模型的魔力 。
本文插图
图1 在线广告系统一般性架构图
二 大数据应用测试质量域的六大挑战
在思考搜索推荐广告系统是如何测试的之前 ， 我们首先要定义问题域 ， 即要解决的测试问题是什么 ， 我们的思路从以下几个方向展开 。
推荐阅读
- 人群中国科学家通过古人基因组数据探寻中国文明源流
- 联想|联想个人云存储Mac版上线 苹果电脑用户数据备份更便捷
- 信息史上最全SpaceX火箭数据开源，核心、组员舱、起落架、发射信息全都有！
- 云创|真旺（徐州）大数据总经理李华领一行到访云创
- 新智元|B站上线！DeepMind加UCL强强联手推出深度学习与强化学习进阶课程（附视频）
- 主题马蜂窝大数据：大人小孩一起过“六一”，主题公园最受欢迎
- |6大数据可视化应用设计规范
- 链上|链上数据5月扫描：10000美元阻力下的链上百态
- 孜然实验室|DNA存储器突破了理论极限，一部手机装下全世界的数据
- 数据驶向智能海洋深处，华为存储的无尽想象