分类:Spark Streaming
SparkContext详解
本文为CSDN博主「初心江湖路」的原创文章,原文链接:https://blog.csdn.net/weixin_43878293/article/details/90020221
大数据常见端口汇总-hadoop、hbase、hive、spark、kafka、zookeeper等
常见端口汇总: Hadoop: 50070:HDFS WEB UI端口 9870:3.x HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的H…
Spark 知识点总结
什么是Spark 基于内存的,用于大规模数据处理(离线计算、实时计算、快速查询(交互式查询))的统一分析引擎。 Spark特点 快: Spark计算速度是MapReduce计算速度的10-100倍 易用:(算法多) MR…
Spark Structured Streaming UDAF使用实例
class AreaClickUDAF extends UserDefinedAggregateFunction { // 输入数据的类型: 北京 String override def inputSchema: Str…