Spark 2.0主要聚焦于三个方面：对标准的SQL支持、统一DataFrame和Dataset API和提供SparkSession。下面重点介绍最后两点。

1 grep

它能使用正则表达式搜索文本，并把匹配的行打印出来。

1. -c 或 –count : 计算符合样式的列数。
2. -v 或 –revert-match : 显示不包含匹配文本的所有行。
3. -n 或 –line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
4. -o 只输出文件中匹配到的部分。

Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：

• 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能
• 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输
• 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输
• 同时支持离线数据处理和实时数据处理

1 概述

• 集中式系统： 一个主机带多个终端。终端没有数据处理能力，仅负责数据的录入和输出。而运算、存储等全部在主机上进行。
• 分布式系统： 一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统，一群独立计算机集合共同对外提供服务。