132|数据科学家高阶能力之如何系统提升产品性能
2017-10-27洪亮劼来自北京
《AI技术内参》
人工智能工程师和数据科学家的一个核心任务，就是依靠人工智能、机器学习这样的工具来帮
助产品不断提升品质，吸引更多用户，以实现既定的长期目标。这里有一个关键点，就是我们
如何开发出一套方法论，让提升产品性能的过程可以“有章可循”，并成为一个系统性的流
程。
初入门槛的工程师和数据科学家，容易把精力和眼光都集中在具体的算法模型上面。这固然是
短期内的重要工作，但是，如何能够持续不断地为产品提供前进的动力，才是让人工智能技术
有别于之前多次技术浪潮的根本因素。今天，我就来为你剖析一下，持续不断地、系统性提升
产品性能的一些关键步骤。
优化长期目标
一个产品如果需要利用数据驱动的人工智能技术来提升品质，第一件事情一定不是专注于部署
某一个模型或者算法。或者说，如果已经急迫地上线了第一个简单的算法，接下来最重要的事
情一定是停下来，看一看我们是否已经弄明白，这个产品到底需要“优化”什么目标，是否有
一个指标检测体系，来指导我们的优化过程。
我们利用人工智能技术手段一定要优化产品的长期目标，这是系统性提升产品性能的一个关
键。乍一听这是一句废话，难道算法和模型还有不优化产品长期目标的时候？你心中一定有这
样的疑问。其实，确定你所制定的技术方案一定能够优化产品的长期目标，是一件比较困难的
事情。
设想一下这些例子。比如你为一个在线视频的网站设计推荐系统，你根据很多教科书上的推荐
系统案例，优化某一个视频的评分（Rating），这是在优化这个产品的长期目标吗？
比如，你为一个电子商务网站设计搜索系统，你根据传统的信息检索以及搜索的案例，优化查
询关键词和产品的相关度（Relevance），这是在优化这个产品的长期目标吗？
再比如，你为一个新闻网站设计新闻流系统，你根据产品的基本特点，希望提高新闻的点击
率，是在优化这个产品的长期目标吗？
针对上面这些问题，答案或许都是——不确定。或者说，你正在优化的可能会、也可能不会对
这个产品的长期目标有影响，这就需要我们建立一个系统性的方法论，来引导我们回答这个问
题。
因此，知道我们是否在优化产品的长期目标需要一个前提，那就是我们必须要建立产品的指标
检测体系。在专栏的上一期内容里，我们已经介绍了五个层次的产品评估体系。对于提升产品
来说，建立这些层次是关键的一步。然而，要想真正系统性地提升产品，还有一个至关重要的
步骤，那就是打通这五个层次，建立一个立体的产品提升流程，从而实现优化产品的长期目
标。
我们先来简单回顾一下这五个层次的指标。从最高层次说起，第五层次的指标主要是产品的长
期指标，比如季度利润的增长、年利润、月活跃人数等。这些指标和产品的最终目的息息相
关，却非常难直接衡量，也就是这些指标对产品的一般变化不是很敏感。
第四层次的指标主要是用户在多个会话的交互表现。第三层次的指标是指用户在单一会话的交
互表现。这两个层次的指标比较容易在A/B测试的范畴内测量。这些指标能比较宏观地检测
一个产品的高维度表现，了解用户一般是如何和这个产品进行交互的。
第二层次是页面层级的指标，这个时候，我们观测到的基本上已经是产品团队可以直接控制的
因素了。第一个层次的指标是模块级别的指标，这是产品团队直接运作的结果。
这五个层次的指标从宏观到微观，构成了一个检测的体系。如果我们要优化产品的长期目标，
也就是说第五层次的指标，而我们能够直接掌握的产品决策，往往只能带来第一、第二层次指
标的显著变化，这两者之间的差距如何来弥补呢？
我们前面举了好几个例子，比如视频推荐、产品搜索、新闻流产品等等。之前提到的技术方案
大多数直接针对第一或者第二层次的指标，这些方案是不是能够对第五层次的指标奏效，其实
是一个不确定的问题。
那么，问题的核心就变成了，如何在只能运作第一或者第二层次指标的情况下，对第三、第四
甚至五层次的指标有间接的控制和影响呢？
建立层级指标之间的联系
上面我们提到了，要想持续地提高产品，最重要的就是要一直优化产品的长期目标。但是，如
果我们只能控制产品的短期指标，如何才能优化产品的长期目标呢？
答案其实很简单，就是我们必须在所有层级的指标之间建立联系。这些联系因产品而异，但核
心思想却是一致的。
回到之前的一个例子，那就是构建一个视频推荐系统。如果我们希望直接优化用户对视频的评
分，就必需回答一个问题，能够给用户推荐打高分的视频，和产品的长期指标之间有什么联
系？假设这里产品的长期指标是月活跃用户数目，那么问题就是，给用户推荐打高分的视频，
和月活跃用户数目之间的联系是什