大数据是什么?
1、从“数据”到“大数据”
时至今日,“数据”变身“大数据”,“开启了一次重大的时代转型”。 “大数据”这一概念的形成,有三个标志性事件:
2008年9 月,美国《自然》(Nature)杂志专刊——The next google,第一次正式提出“大数据”概念。
2011年2月1日,《科学》(Science)杂志专刊——Dealing with data,通过社会调查的方式,第一次综合分析了大数据对人们生活造成的影响,详细描述了人类面临的“数据困境”。
2011年5月,麦肯锡研究院发布报告——Big data: The next frontier for innovation, competition, and productivity,第一次给大数据做出相对清晰的定义:“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”
2、什么是“大数据”

大数据是指以多元形式,自许多来源搜集而来的庞大数据组,往往具有实时性。在企业对企业销售的情况下,这些数据可能得自社交网络、电子商务网站、顾客来访纪录,还有许多其他来源。这些数据,并非公司顾客关系管理数据库的常态数据组。
3、大数据的技术支撑

4、存储:存储成本的下降
1)云计算出现之前
在云计算出现之前,数据存储的成本是非常高的。例如,公司要建设网站,需要购置和部署服务器,安排技术人员维护服务器,保证数据存储的安全性和数据传输的畅通性,还会定期清理数据,腾出空间以便存储新的数据,机房整体的人力和管理成本都很高。
2)云计算出现之后
云计算出现后,数据存储服务衍生出了新的商业模式,数据中心的出现降低了公司的计算和存储成本。例如,公司现在要建设网站,不需要去购买服务器,不需要去雇用技术人员维护服务器,可以通过租用硬件设备的方式解决问题。
存储成本的下降,也改变了大家对数据的看法,更加愿意把1年、2年甚至更久远的历史数据保存下来,有了历史数据的沉淀,才可以通过对比,发现数据之间的关联和价值。正是由于存储成本的下降,才能为大数据搭建最好的基础设施。
5、计算:运算速度越来越快
海量数据从原始数据源到产生价值,期间会经过存储、清洗、挖掘、分析等多个环节,如果计算速度不够快,很多事情是无法实现的。所以,在大数据的发展过程中,计算速度是非常关键的因素。
分布式系统基础架构Hadoop的出现,为大数据带来了新的曙光;
HDFS为海量的数据提供了存储;
MapReduce则为海量的数据提供了并行计算,从而大大提高了计算效率;
Spark、Storm、Impala等各种各样的技术进入人们的视野。
6、智能:机器拥有理解数据的能力
大数据带来的最大价值就是“智慧”,大数据让机器变得有智慧,同时人工智能进一步提升了处理和理解数据的能力。例如:
谷歌AlphaGo大胜世界围棋冠军李世石
阿里云小Ai成功预测出《我是歌手》的总决赛歌王
iPhone上智能化语音机器人Siri
微信上与大家聊天的微软小冰
7、大数据的意义
美国著名管理学家爱德华·戴明所言:“我们信靠上帝。除了上帝,任何人都必须用数据来说话。”
(1)有数据可说
在大数据时代,“万物皆数”,“量化一切”,“一切都将被数据化”。人类生活在一个海量、动态、多样的数据世界中,数据无处不在、无时不有、无人不用,数据就像阳光、空气、水分一样常见,好比放大镜、望远镜、显微镜那般重要。
(2)说数据可靠
大数据中的“数据”真实可靠,它实质上是表征事物现象的一种符号语言和逻辑关系,其可靠性的数理哲学基础是世界同构原理。世界具有物质统一性,统一的世界中的一切事物都存在着时空一致性的同构关系。这意味着任何事物的属性和规律,只要通过适当编码,均可以通过统一的数字信号表达出来。
因此,“用数据说话”、“让数据发声”,已成为人类认知世界的一种全新方法。
8、风马牛可相及
在大数据背景下,因海量无限、包罗万象的数据存在,让许多看似毫不相干的现象之间发生一定的关联,使人们能够更简捷、更清晰地认知事物和把握局势。大数据的巨大潜能与作用现在难以进行估量,但揭示事物的相关关系无疑是其真正的价值所在。
经典案例:
(1)啤酒与尿布

(2)谷歌与流感

作者:尚学堂大数据学院
链接:大数据的概念
来源:AcFun
或许你看完还是不太明白,可以加深了解一下: