Parquet 是一种面向分析的、通用的列式存储格式，兼容各种数据处理框架比如 Spark、Hive、Impala 等，同时支持 Avro、Thrift、Protocol Buffers 等数据模型。Parquet 作为…

分布式的话修改hdfs-site.xml中的dfs.replication  workers中的节点等  

HDFS文件系统的目录基本都属于supergroup用户组，所以就把用户添加到该用户组，即可解决很多权限问题，例如连接Hive却无法操作的创建库、表的问题等 1、在Linux执行如下命令增加supergroup grou…

1、什么是Yarn 通用资源管理系统和调度平台 2、Yarn特点： 支持多计算框架 资源利用率高，运行成本低，数据共享。   3、Yarn的意义： 降低了企业硬件的成本（多个集群变成一个集群），减少了资源的了浪…

一、 Hadoop High Availability HA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby）…

一、简介 Apache Sqoop是在Hadoop生基金会提供 核心的功能有两个： 导入、迁入 导出、迁出 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统…