大数据笔记 一
数据分析：“传统数据分析”使用的统计知识主要围绕“能否通过少量的抽样数据来推测真实世界”得到少量的核心维度和指标数据后，用excel等软件处理分析这些指标结果，比如衡量一次抽样统计的置信性（能否从统计概率角度相信）。
大数据分析：在大数据时代，由于互联网和长尾经济的兴起，会有大量个性化匹配场景（如浏览器广告，直通车），这些场景一方面可供划分的特征非常多（如“人货场”划分用户特征、商品特征、场景特征），另一方面又累计了大量的历史样本。所以，海量样本使大特征成为可能，大特征又使大样本发挥价值。
PS:长尾经济：可参考二八法则
机器学习模型的关系上：
传统数据分析：在大部分时候，只是将机器学习模型当黑盒工具来辅助分析数据（黑盒工具：软件领域的概念，只关心了解模块的输入和输出，但不清楚内部的实现原理）
大数据分析：更多的时候两者结合，大数据分析除了产出数据分析报告，还会包括业务中的建模潜力点，乃至铲除模型的原型和效果评测，后续基于此来升级产品。在大数据分析的场景，数据分析师数据建模的前奏，数据建模是数据分析的成果。
数据分析的价值和应用场景
很多企业的技术团队不重视数据分析，或者说很多人自以为拿到报表拿到结果就能分析，但是这在我们看来叫做“脑补分析”，分析的思路、得到的问题，乃至给出的建议极大可能偏离事实或正确方向，数据分析的能力不只是掌握统计知识和算法模型，对业务产品的认知、看法与判断才是关键所在。
例如，著名咨询公司做一个数据分析项目，如果是3人X3月的投入规模，平均市场价格在千万左右，而他们的主要产出只是一份100页左右的分析报告（PPT），用到可能也只是excel和简单的统计方法，但是如果数据分析真的这么简单，市场价格为何如此之高，并且有这么多企业愿意花钱甚至急切地想要做数据分析项目？
从上面的价值看，企业是认可数据分析的价值的，而这个价值就体现在对业务发展不同阶段提供不同方面的价值，即企业发展的前期（探索期）或阶段性改进其（颠覆期）。当企业探索和变革业务模式时，企业需要数据分析去明确业务中的问题、机遇以及解决方案。当业务模式相对成熟时，企业则需要数据建模来提升业务效率，减少运营成本等。
因为，很少有人清楚企业最大的成本是决策成本，公司会面临无数的岔路口及选择，严重的甚至关乎企业的生死存亡，在企业的衰退期和颠覆期，寻找新的增长点是至关重要的，所以企业为了续命或者说东山再起，是不介意花重金去提升哪怕一点点的可能性的，用我们的俗话说就是—选择大于努力。
例如曾经有一个“客户流失分析”的项目，没有接触业务线的前几天，绞尽脑汁也只能得出一个“给客户宣传不好、宣传不到位”的流失原因，然后如果顺着这个思路下去，加大宣传力度，投入宣传经费，再继续碰到新的问题，那么这其中浪费的时间精力和财力都是小的，走错方向，对业务无用甚至开倒车才是大祸，在与一线客服一起给流失客户逐一沟通之后，才发现世界远比抽象的数据指标复杂，有着极其丰富的场景和故事，具体情境分为几个因素：
不可控：
嫁了有钱人，不做了，不想辛苦。前阵子北京下大雨，把工厂冲垮了，目前还未恢复生产。
客户公司就他自己，有事情就自己去。
产品功能欠缺：没有时间去银行转账，又不相信快递取款，网银续费也不会。
客户需要时间评估效果，对比效果差距。
特殊需求:不靠推广带来客户，只是让他的客户在网上能找到他的信息即可。
资金需求：资金链紧张，被人压了笔大额贷款。
营销需求：公司换领导了，新领导不相信互联网，想投传统媒体。
基于上述问题，贴近业务，才能得出分析结论，明确每一步，花好每一分钱，花对每一处地方。
分析：一方面，由于互联网媒体和电视媒体相比，可投放广告的位置资源更多，所以他的客户群体更加宽泛，很多中小企业都可以在网上推广自己的产品。但中小企业的普遍问题就是抗风险能力差，经常会碰到资金欠缺。可以提供短期的信贷服务帮助他们进行推广投入。部分中小企业主对互联网新生事物了解较少，所以需要对他们进行营销理念的培训并提供方便的线下支付渠道，甚至在一些传统媒体上做互联网营销的有效性广告。
另一方面，产品的功能也待完善，比如现在没有提供工具能让客户很好的评估推广带来的销售增长，客户只能通过停止推广这种简单粗暴的方式来试验；互联网广告产品的复杂度极高，很多时候又反过来限制了广告主的使用意愿。因为他们掌握投放方法需要较大的学习成本，所以期望一站式的托管。部分广告主的需求仅是在网络上宣传自己的品牌，而不需要通过渠道进行售卖。针对这种需求，可以研发出更细分的产品。
创新思考
如何体现自己的核心竞争力，经济学告诉我们，稀缺才有定价权。只有具备与他人差异化的分析能力，才能在数据分析行业脱颖而出。
差异化的分析能力是做好数据分析的第二个关键点，即具备独创性的分析和见解，有他人没有的视角，能看到他人看不到的地方，这种能力来自不断地“学”与“思”， 或称“跨领域的知识面”与“思考的习惯”（经济学、心理学、统计学）
经济学：研究人理性的一面，适用于众多商业产品的相关的分析场景。（例如，阅读某电商的财务报表，发现它的毛利率非常低，而应付账款的数额非常高。令人困惑的是：零售不应该赚毛利率的钱么（买进与卖出的差价）？如果它不赚这个钱，那靠什么盈利、发展呢？
电商领域不同于传统的零售业，由于互联网去除了地域限制，所以很多互联网产品都呈现“赢者通吃”的规律，所以扩大市场份额对于互联网企业来说是第一重要的。扩大市场份额，除了提供优质的服务之外，很大程度上依靠低廉的商品价格（网络购物场景，用户比价非常容易，也非常容易换一个平台购买）。一旦某家电商企业通过价格优势占领了大部分的市场份额，就会有更多的优势与供货商谈判，进而通过压供货商的货款来做金融投资，获取收益。通常，渠道商（电商属于渠道商）并不在进货的时候付账，而在商品销售完成后付账，这中间存在一个账期。通常渠道商的市场份额越大，面对供应商的谈判能力越强，账期也就越长。
二、
1.作论断时，需要合理的比较对象
1）自身历史：与历史同期比，如去年或上个季度。
2）同行竞品：如：和市场主要竞争者X和Y相比，我们的产品如何。
3）合理预期：与之前对收益或其他的市场预期相比。如：因为产品A的上线，我们的收益比预期多了10%
4）同质对照组：对产品覆盖人群进行拆分，用实验组和同质对照组的方式进行A/Btest评估
小技巧
如结论形式为 “经过不懈努力，产品流量达100万/日”
1.提供合适的比较对象，如竞品流量如何，产品市场份额有怎样的变化等，才能显示出业绩的质感，同时避免因不提供合适的比较对象，让大家拿来和企业主营的产品及业务比较，这对新产品和新业务是不公平的。
