1 存储引擎

1.1 数据库引擎

当你访问数据库时，不管是手工访问，还是程序访问，都不是直接读写数据库文件，而是通过数据库引擎去访问数据库文件。以关系型数据库为例，你发SQL语句给数据库引擎，数据库引擎解释SQL语句，提取出你需要的数据返回给你。因此，对访问者来说，数据库引擎就是SQL语句的解释器。数据库引擎是用于存储、处理和保护数据的核心服务。利用数据库引擎可以控制访问权限并快速处理事务。

在大数据时代，MapReduce在分布式处理中应用越来越广发，这里通过模拟MapReduce处理流程来加深我们对该方法的了解。

Hadoop集群中有三种作业调度器算法，分别为FIFO调度器、公平调度器和容量调度器。

在进行大数据处理的时候，我们需要时刻注意数据倾斜的出现，因为该问题会影响整个项目的处理效率。

本文将分别从Hadoop的作用，Hadoop的构成，以及Hadoop的变迁进行介绍。