大数据获客 如何精准？

附上参考材料：https://weibo.com/yk99984渗透DPI，SDK,爬虫 精准数据我们谈到大数据分析，首先需要确定数据分析的方向和拟解决的问题，然后才能确定需要的数据和分析范围。大数据驱动的分析主要的挑战不是技术问题，而是方向和组织领导的问题，要确定方向，提出问题，需要对行业做深入的了解。

收集数据是数据分析师开始工作的第一步，如果是内部的数据，可以通过SQL对其进行提取，外部数据的获取，使数据的真实性以及全面性很难得到保证，因此外部数据的获取比较受关注，常用的获取方法就是借助爬虫，相比较而言，爬虫程序得到的数据会更真实、全面，在信息繁多的互联网时代更行之有效

因此，关于数据的来源更是至关重要的。在数据量非常大的今天，如何以更高的效率获取到分析所需要的数据，如何利用这些数据反应最真实的情况，是业内不断探讨的议题。接下来，小编就带大家来了解下大数据分析及其数据来源。按加工形式：可以分为一手数据和二手数据（1）一手数据一手数据，指的是可以直接获取的数据。严格来说，这种数据一般是指埋点后系统直接采集的数据，没有做任何加工处理。这样的数据，一般放在数据仓库的ods层。（2）二手数据二手数据，指的是经过加工处理的数据。实际工作中，我们接触的绝大部分数据都属于二手数据，都是技术人员已经清洗整理过的数据，而给业务人员的数据，又是一层层加工的数据，可能已经是三手、四手数据了。所以，面对二手数据，数据准确性成了最大的问题。要么我们相信技术人员的加工清洗逻辑，要么我们自己直接上手验数。通常，我建议并希望大家在使用数据前，一定要对数据进行了解，同时也要对数据准确性进行验证。大数据分析的数据来源有很多种，包括公司或者机构的内部来源和外部来源。分为以下几类：1)交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”(ERP)系统数据、销售系统数据、客户关系管理(CRM)系统数据、公司的生产数据、库存数据、订单数据、供应链数据等。2)移动通信数据。能够上网的智能手机等移动设备越来越普遍。移动通信设备记录的数据量和数据的立体完整度，常常优于各家互联网公司掌握的数据。移动设备上的软件能够追踪和沟通无数事件，从运用软件储存的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)等。3)人为数据。人为数据包括电子邮件、文档、图片、音频、视频，以及通过微信、微博、推特、百科、脸书、Linkedin等社交媒体产生的数据流。这些数据大多数为非结构性数据，需要用文本分析功能进行分析。4)企业数据。互联网时代的社会经济活动创造了海量的数据，这些数据掌握在各大企业手中。互联网企业都在尝试以更加开放的形式共享数据信息，例如百度、高德、腾讯、移动、新浪等已建立开放数据平台。5)互联网上的“开放数据”来源。一种是主动公开的数据，通常是官方网站（比如国家统计局官网）、公开资料（公开的资讯、分析报告等）；另一种是半公开，主要是通过网络爬虫（这类数据大部分也算是公开，只不过公开的形式不一样管上面列出了大量的数据源，但要满足具体企业或机构的具体需要，也常常有困难。这种情况在我国更加突出。因为我国政府公开的数据非常有限，很难被视为大数据。单是获得数据还不够，还需要获得有关资料的很多细节。如对资料的说明，资料的背景以及其他能帮助分析员理解的数据信息。如果没有这些细节，对数据的正确解读可能就会有困难。因此，大数据分析的数据来源需要数据分析员的创新与发现。

文章出处：https://weibo.com/yk99984