Hadoop生态体系

项目体系:

  • HBase:一个可伸缩的、支持大表的结构化数据存储的分布式数据库。
  • Hive:提供数据汇总和临时查询的数据仓库基础框架。
  • Pig:用于并行计算的高级数据流语言和执行框架。
  • ZooKeeper:适用于分布式应用的高性能协调服务。
  • Spark:一个快速通用的 Hadoop 数据计算引擎,具有简单和富有表达力的编程模型,支持数据 ETL(提取、转换和加载)、机器学习、流处理和图形计算等方面的应用。

Spark 这一分布式内存计算框架就是脱胎于 Hadoop 体系的,它对 HDFS 、YARN 等组件有了良好的继承,同时也改进了 Hadoop 现存的一些不足。

发表评论

登录... 后才能评论