分布式的话修改hdfs-site.xml中的dfs.replication  workers中的节点等  

HDFS文件系统的目录基本都属于supergroup用户组，所以就把用户添加到该用户组，即可解决很多权限问题，例如连接Hive却无法操作的创建库、表的问题等 1、在Linux执行如下命令增加supergroup grou…

Kafka安装部署 前置：jdk/zookeeper安装部署，并能正常启动。 #文件解压 tar zxvf kafka_2.11-1.0.0.tgz  -C ../servers/ vim /export/servers…

企业中离线业务场景实时业务场景都需要使用到kafka Kafka具备数据的计算能力和存储能力，但是两个能力相对（MR/SPARK，HDFS）较弱. Kafka角色的角色与hbase比较像，层级关系比较多。   …

Kafka知识点总结 Kafka生态系统四大角色，生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper 每个消费者都必须属于一个消费组，一个组内的消费者可以多个。 一…

1、什么是Yarn 通用资源管理系统和调度平台 2、Yarn特点： 支持多计算框架 资源利用率高，运行成本低，数据共享。   3、Yarn的意义： 降低了企业硬件的成本（多个集群变成一个集群），减少了资源的了浪…

1、redis当中对字符串string的操作 下表列出了常用的 redis 字符串命令 2、redis当中对hash列表的操作 Redis hash 是一个string类型的field和value的映射表，hash特别适…