HBase MapReduce摘要到RDBMS

HBase MapReduce摘要到RDBMS

有時(shí)候給 RDBMS 生成摘要更為合適。對(duì)于這些情況，可以通過(guò)自定義減速器直接向 RDBMS 生成摘要。該 setup 方法可以連接到 RDBMS（連接信息可以通過(guò)上下文中的自定義參數(shù)傳遞），并且清理方法可以關(guān)閉連接。

重要的是，要了解工作中的減速器的數(shù)量會(huì)影響到摘要的實(shí)現(xiàn)，您必須將其設(shè)計(jì)到您的減速器中。具體而言，它是否被設(shè)計(jì)為以單例（一個(gè)減速器）或多個(gè)減速器運(yùn)行。是或不是，這取決于你的用例。認(rèn)識(shí)到分配給作業(yè)的減速者越多，同時(shí)建立到 RDBMS 的連接就會(huì)越多 - 這將會(huì)擴(kuò)展，但僅限于某一點(diǎn)。

public static class MyRdbmsReducer extends Reducer<Text, IntWritable, Text, IntWritable>  {

  private Connection c = null;

  public void setup(Context context) {
    // create DB connection...
  }

  public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
    // do summarization
    // in this example the keys are Text, but this is just an example
  }

  public void cleanup(Context context) {
    // close db connection
  }

}

最后，摘要結(jié)果將寫(xiě)入您的 RDBMS 表。