HBase和Spark

HBase和Spark

Apache Spark是一個軟件框架，用于以分布式方式處理內(nèi)存中的數(shù)據(jù)，并在許多用例中替換MapReduce。

Spark本身超出了本文檔的范圍，有關(guān)Spark項目和子項目的更多信息，請參閱Spark站點。本文檔將重點介紹Spark和HBase之間的4個主要交互點。這些相互作用點是：

Basic Spark

能夠在Spark DAG中的任何位置建立HBase連接。

Spark Streaming

能夠在Spark Streaming應(yīng)用程序中的任何位置擁有HBase連接。

Spark Streaming

能夠直接寫入HBase HFiles，以便批量插入HBase

SparkSQL / DataFrames

能夠編寫SparkSQL，它使用HBase中表示的表。

本章的剩余部分將介紹所有這些交互點的示例。