千锋教育大数据Hadoop全新升级版入门教程,零基础从安装搭建到集群调优
2023-07-20 22:53 作者:bili_76225984279 | 我要投稿

HDFS的体系结构:
1. NameNode(名称节点):NameNode是HDFS的主节点,负责管理文件系统的命名空间和文件元数据信息。它维护了所有文件和目录的层次结构,以及文件块的映射信息。NameNode还协调数据块的复制和分片存储以实现容错性。
2. DataNodes(数据节点):DataNode是HDFS的工作节点,负责存储实际的数据块。它们管理本地存储设备,并根据NameNode的指令存储、检索和删除数据块。DataNodes还负责数据块的复制和报告它们的状态给NameNode。
3. Secondary NameNode(辅助名称节点):Secondary NameNode并不是真正的NameNode的备份,它是用来定期合并编辑日志并创建新的镜像文件,以减少主NameNode的恢复时间。它帮助NameNode进行元数据备份和快速恢复。
4. 客户端:客户端通过与NameNode和DataNode进行通信来访问HDFS中的文件。客户端可以请求文件的读取、写入和删除等操作。客户端还负责数据的分割和本地与HDFS之间的数据传输。