diff --git a/bigdata/DevOps/README.md b/bigdata/DevOps/README.md new file mode 100644 index 0000000..fa56deb --- /dev/null +++ b/bigdata/DevOps/README.md @@ -0,0 +1,32 @@ +

大数据运维

+ + +# 1. Hadoop 大数据平台的规划与部署 + + + +# 2. Hadoop 分布式架构解析 + + + +# 3. Hadoop 外围应用整合实战 + + + +# 4. Hadoop 大数据平台数据收集应用实践 + + + +# 5. 大数据平台日志传输与可视化应用实践 + + + +# 6. 大数据平台运维监控体系的构建 + + + +# 7. 大数据平台性能调优与运维经验汇总 + + + + diff --git a/bigdata/spark/README.md b/bigdata/spark/README.md index 5926140..fee381f 100644 --- a/bigdata/spark/README.md +++ b/bigdata/spark/README.md @@ -326,8 +326,8 @@ val words: Array[String] = s.split("-") val b1: Boolean = list.contains(words(0)) val b2: Boolean = list.contains(words(1)) return !b1 && !b2 // 返回不在特殊字符列表中的词汇对 -} / -/ 使用filter(f)对RDD进行过滤 +} +// 使用filter(f)对RDD进行过滤 val cleanedPairRDD: RDD[String] = wordPairRDD.filter(f) ``` - 掌握了 filter 算子的用法之后,你就可以定义任意复杂的判定函数 f,然后在 RDD 之上通过调用 filter(f) 去变着花样地做数据过滤,从而满足不同的业务需求。