分布式的话修改hdfs-site.xml中的dfs.replication  workers中的节点等  

常见端口汇总： Hadoop：     50070：HDFS WEB UI端口     9870：3.x HDFS WEB UI端口     8020 ： 高可用的HDFS RPC端口     9000 ： 非高可用的H…

1、什么是Yarn 通用资源管理系统和调度平台 2、Yarn特点： 支持多计算框架 资源利用率高，运行成本低，数据共享。   3、Yarn的意义： 降低了企业硬件的成本（多个集群变成一个集群），减少了资源的了浪…

一、 Hadoop High Availability HA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby）…

环境说明 192.168.100.101 node01 192.168.100.102 node02 192.168.100.103 node03 192.168.100.104 node04 四台Vmware Work…

SecondarynameNode工作原理 由于editlog记录了集群运行期间所有对HDFS的相关操作 所以这个文件会很大。 集群关闭后再次启动时会将Fsimage，editlog加载到内存中， 进行合并，恢复到集群的…

环境说明 192.168.100.101 node01 192.168.100.102 node02 192.168.100.103 node03 192.168.100.104 node04 四台Vmware Work…

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authorit…

环境说明 配置环境准备3台机器，四台机器环境是 CentOS 6.9，IP和主机名配置如下： 192.168.100.101 node01 192.168.100.102 node02 192.168.100.103 n…

### 一、准备工作 1.在四台节点上安装JDK以及Hadoop 2.在node02、node03、node04节点上安装Zookeeper 3.节点配置分布如下??? ### 二、配置JDK、Hadoop、以及Zook…