hadoop的概念及特点

Hadoop，简单而言，就是一个用于处理海量数据的分布式框架。他是将一堆海量的数据分发至不同的电脑上进行存储和处理分析，这样就避免了因数据量太大，导致在一台电脑处理数据时出现宕机或者崩溃的情况，不仅提高了海量数据的处理速度，还具有极高的安全性。

他解决了两大难题：海量数据的存储和海量数据的处理分析，这也构成了hadoop的两大核心：HDFS和MapReduce。

（1）高可靠性：在处理数据时，Hadoop往往会将数据备份多份分发至不同的机器进行保存，这样就避免了在处理数据时，机器宕机导致数据丢失的麻烦，保证了数据的安全性、可靠性。 （2）高扩展性：在处理数据时，如果当前集群的资源（比如存储能力和运算能力）不足以完成数据处理和分析任务，可以通过快速扩充集群规模进行扩容和加强集群的运算能力。 （3）高效性：相比传统的单台机器处理数据，效率是极高的。 （4）高容错性：Hadoop能自动保存数据的多个副本，当某个节点宕机时，它可以自动的将副本复制给其他机器，保证数据的完整性，并且可以将失败的任务重新分发。 （5）低成本：Hadoop集群可以将程序运行在廉价的机器上并发的进行处理，成本低、效率高，是处理海量数据的最佳选择。

（1）HDFS：Hadoop Distribute File System，分布式文件系统，用于存储海量数据。 （2）MapReduce：Hadoop的分布式运算框架。 （3）Yarn：分布式资源调度和任务监控和分配的平台。 （4）commons：Hadoop底层的技术支持。