数据分析的三个阶段

从大学到现在，我已经花了10年的时间在数据分析的学习和工作上，也几乎见证了大数据行业从兴起到普及的过程。10年之前，数据还是一种稀缺的资源，我做助研的时候甚至还花了很多时间手抄数据。到了现在，每个人方方面面的行为都可以被数据刻画了，这的确是非常巨大的变化。

但在这个过程中，我也经历了所谓的大数据行业从众星捧月到监管收紧的过程。就像任何新兴的行业一样，大数据从业人员也鱼龙混杂，很多人忙着挣快钱，但是没有足够多的人愿意在技术和思考上花足够的时间，这是一件令人遗憾的事。

从我个人的体会来说，数据分析至少存在三个阶段。第一个阶段是熟练计算阶段，也就是能从数据中正确计算出结论。这一阶段需要的是编程能力和基础的逻辑分析。在过去几年中，我明显看到行业内的编程水平有显著提升。10年前，相当多的分析师都在使用Excel进行分析，但到了今天，大多数分析师都能熟练使用至少一种统计编程语言了。这的确是巨大的进步。

然而达到熟练计算只是一个起点，我很快发现计算本身并不能得出结论。就像经济学常举的例子一样：冰淇淋销量越高，游泳溺水的人越多，这两者并不具有因果关系。它们共同的影响因素是气温，只有当温度高的时候，冰淇淋才会销量好，游泳的人才会更多。那么如果单纯看数据，不加以分析，显然是无法得出正确的结论的。

遗憾的是，有很多人将数据分析简化成了一种计算器一样的工作，只要每周算出一个填满了数字的报表就觉得满意了。事实上并非如此。我们可能会看到“7天学会Python”的课程广告，但是7天不能学会数据分析。我在上大学的时候经常做出一些p-value<0.5的显著结论。拿给导师看，导师经常会问我：你觉得这是不是巧合？我也不知道这是不是巧合。这就是第一个阶段的状态，我通过计算能得出数字，但并没有观点。

第二个阶段是熟练分析阶段，这时不仅能计算出数字，还能得出相对正确的分析。每当拿到一份分析报告，我经常会问写报告的同事：“你的观点是什么？”但很多时候作者并没有观点。我觉得这是不够的。分析是一个不断练习的过程，刚开始分析肯定会产生错误的观点，甚至熟练之后依然会产生错误的观点。但如果进行足够的多的分析，最后是可以提高分析的准确性的，从而能够诠释一些复杂的问题。

曾经听过前同事的一个演讲，非常有趣。他们帮助一款APP做用户留存分析，发现该APP的次日留存率、7日留存率和第2个月留存率都非常高，但是用户量就是无法增长。这真是令人百思不得其解。认真思考后，才发现原来因为这是一款陌生人交友APP，当持续活跃的用户在2-3个月的时间里找到了合适的朋友之后，就会和固定的伙伴转入微信沟通，不再使用该APP了。所以这个APP在2个月之后的留存下降很快。我觉得这就是一个很有趣的分析，这就是熟练的分析师应该掌握的能力。

第三个阶段是熟练预测阶段，事实上，当对一个问题理解足够深刻之后，数字应该变成验证猜想的证据，而不是分析的主要信息来源。有一个故事是说某学生负责帮导师更新报表，报表上有几百个数字。导师一看，就指着一个数字说：“这个数字算错了。”学生非常惊讶，问：“您为什么能看出这一个数字算错了呢？”导师说：“因为我知道对的数字应该是什么。”

我刚工作的时候，大家依赖于经验进行判断，而对数据分析出来的结果并不信赖。到了现在，我也倾向于依据经验进行分析。虽然如此，但我觉得数据分析和经验判断是一个相辅相成的关系。一个足够有经验的人，应该能提出合理的假设，并且用最少的数据进行验证，从而更高效地得出结论。但如果只依赖数据，又会容易得出随着树越长越高，我国的GDP会越来越高这种荒谬的结论。所以数据分析要建立在经验的基础上，才能发挥重要的决策作用。

我选择数据分析作为工作时曾经有一点担心：虽然我上学时对数据分析很感兴趣，但当兴趣变成工作之后，我是否还能保持同样的热情呢。幸运的是，在工作的过程中，我逐渐发现数据分析并不是一个技能导向的工作，而是一个思考导向的工作。技术很快就能掌握，但是对问题的理解是无法速成的。

很多人会觉得数据分析的核心是编程、模型和技术能力，从而在工作中很快失望。因为工作中大多数时候不需要那么复杂的算法，让人觉得自己掌握的算法等等不过是屠龙之技。然而解决问题的核心是清晰的思路。一个看透本质的分析师用Excel就能做出足够好的分析。各种技术都是工具，只有善于运用这些工具才能最快最好地解决问题。

我经常会想起一些前瞻性的成果，包括经济学上的创新性论文、包括iPhone这样超越时代的设计、包括十年磨一剑的企业云服务等等。我觉得这些都体现了对行业的前瞻性的理解。数据分析也是一样，我们不能被数据所束缚，而是要利用数据摸索尚未成形的方向。我觉得这就是数据分析更高的目标。

end.

作者：DW.

想了解更多数据分析内容请扫描下方二维码