Asakusa WordCount Example

Hadoop WordCount, Spark WordCount と同様のWord CountをAsakusa Frameworkで実装したものです。

処理概要

入力データを DirectIO line で読み込み、 @Extract で単語に分解し、 @Summarize で集計しています。

必要環境

• Hadoop 2.7.*
• Spark 1.5 以上

テスト

演算子の単体テストと、ジョブフローのテストを実装しています。 テストの詳細については、 ユーザーガイド をご覧ください。

ビルド

> ./gradlew assemble

配置

> cp -rp build/spark-batchapps/spark.wordcount $ASAKUSA_HOME/batchapps/

実行用データ

target/testing/directio/inputtext に、Project Gutenbergの Alice in Wonderlandを同梱しています。HDFSに配置して、実行してください。