小象学院爬虫实战课

HDFS有什么用
整个Hadoop框架，本质上来说都是基于分布式实现的，随着数据规模的越来越大，一台机器无法存储所有的数据，所以需要多台机器来存储。而多台机器存储又不方便管理，所以需要一个分布式的系统来管理分布在不同机器中的数据。
事实上，HDFS的出现，就是为了解决分布式框架下，数据存储管理的问题。而HDFS只是分布式文件系统中的一种，依托于Hadoop生态，去承担大数据分布式存储的管理任务。