江苏龙网

  1. 首页 > 资讯 > 科技 > >

算法■深度｜大数据算法应用的测试发展之路( 六 )


效果评估方面 ， 我们采用了数据统计与分析的方法 。 在一个算法模型真正全量投入服务之前 ， 我们需要准确地验证这个模型的服务效果 。 除了第一部分介绍的离在线对比之外 ， 我们需要更加客观的数据指标来加以佐证 。 这里我们采用了真实流量的 A/B 实验测试的方法 ， 给即将发布的模型导入线上 5% 的流量 ， 评估这 5% 流量和基准桶的效果对比 ， 从用户体验(相关性)、平台收益、客户价值三个维度做各自实际指标的分析 ， 根据用户的相关性评测结果、平台的收入或者 GMV、客户的 ROI 等几个方面来观测一个新模型对于买家、平台、卖家的潜在影响到底是什么 ， 并给最终的业务决策提供必要的数据支撑 。 流量从 5% 到 10% ， 再到 20% 以及 50% ， 在这个灰度逐渐加大至全量的过程中 ， 无论是功能问题、还是性能的问题 ， 甚至效果的问题都会被探测到 ， 这种方法进一步降低了重大风险的发生 。 这是一个数据统计分析与技术的融合的方案 ， 与本文所介绍的其他技术方法不同 ， 比较独特 ， 但效果甚佳 。
5 线上稳定性
与其他业务的稳定性建设类似 ， 通过发布三板斧(灰度、监控、回滚)来解决发布过程的质量 ， 通过线上的容灾演练、故障注入与演练(我们也是集团开源的混沌工程 Monkey King 的 C++ 版本的提供者)、安全红蓝对抗攻防来提升系统线上的稳定性和可用性 。 另外在 AI Ops 和 Service Mesh 为基础的运维管控方向上 ， 我们正在向着智能运维、数据透视分析、自动切流、自动扩缩容等方向努力 。 我们预测结合 Service Mesh 技术理念在 C++ 在线服务的演进 ， 系统会具备对业务应用无侵入的流量标定及变更标定的能力 ， 也就能够实现流量调度能力和隔离的能力 。 另外 ， 红蓝攻防也将进一步发展 ， 自动化、流程化将逐步成为混沌工程实施的标准形式 。 由于这一部分尚处于起步阶段 ， 这里不再过多介绍还没有实现的内容 ， 但我们判定这个方向大有可为 ， 与传统运维工作不同 ， 更接近 Google 的 SRE(Site Reliability Engineering)理念 。
6 AI 应用的工程效能
主要解决在测试阶段和研发阶段提升效率的问题 ， 这个方向上我们以 DevOps 工具链建设为主 ， 在开发、测试、工程发布、模型发布(模型 debug 定位)、客户反馈(体感评估、众测、客户问题 debug)整个研发闭环所使用到的工具方面的建设 。 在我们设想的 DevOps 的场景下 ， 开发同学通过使用这些工具可以独立完成需求的开发测试发布及客户反馈的处理 。 鉴于这个方向与测试本身关系不大 ， 篇幅原因 ， 这里也略过 。
四 大数据应用测试的未来
至此 ， 关于大数据应用测试的几个主要问题的解法已经介绍完毕 。 关于大数据应用测试的未来 ， 我也有一些自己初步的判断 。
1 后端服务测试的工具化
这涉及到服务端的测试转型问题 ， 我们的判断是后端服务类型的测试不再需要专职的测试人员 ， 开发工程师在使用合理的测试工具的情况下可以更加高效地完成测试任务 。 专职的测试团队 ， 未来会更多地专注于偏前端与用户交互方面产品质量的把控 ， 跟产品经理一样 ， 需要从用户的角度思考产品质量的问题 ， 产品的交付与交互的验证是这个方向的重点 。 多数的服务端的测试工作都是可以自动化的 ， 且很多 service 级别的验证也只有通过自动化这种方式才能验证 。 相比较测试同学 ， 开发同学在 API 级别的自动化代码开发方面能力会更强 ， 更重要的是开发同学自己做测试会减少测试同学与开发同学之间的大量往返沟通的成本 ， 而这个成本是整个发布环节中占比较大的部分 。 再者 ， 第一部分介绍过 ， 算法工程师在业务逻辑的理解上更加清晰 。
所以 ， 我们更希望后端的测试工作由工程或者算法工程师独立完成 ， 在这种新的生产关系模式下 ， 测试同学更加专注于测试工具的研发 ， 包括自动化测试框架、测试环境部署工具、测试数据构造与生成、发布冒烟测试工具、持续集成与部署等 。 这种模式也是目前 Google 一直在使用的测试模式 ， 我们今年在这个方向下尝试了转型 ， 在质量变化和效率提升方面这两方面效果还不错 。 作为国内互联网公司的率先进行的测试转型之路 ， 相信可以给到各位同行一些借鉴 。 这里需要强调一点的是 ， 虽然测试团队在这个方向上做了转型 ， 但后端测试这个事情还是需要继续做 ， 只是测试任务的执行主体变成了开发工程师 ， 本文介绍的大量后端测试的技术和方向还会继续存在 。 后端服务类测试团队转型 ， 除了效能工具之外 ， 第五部分的线上稳定性的建设是一个非常好的方向 。


推荐阅读


上一篇：『腾讯』阅文调整背后，腾讯的进击与平衡

下一篇：：DREP研究院：“Libra是否有2.0--从公链梦想谈起”| 火星号精选