最終更新:
contrapasso 2010年11月07日(日) 13:54:00履歴
質問・意見はこちらのスレッドで承ります。
ディレクトリHADOOP_HOMEで作業を行う場合。
ディレクトリHADOOP_HOMEで作業を行う場合。
- ディレクトリ構成
{HADOOP_HOME}/workspace/ ┗━ Test.java
1.コンパイル
4.実行
javac -classpath hadoop-0.20.2-core.jar workspace/Test.java
{HADOOP_HOME}/workspace/ ┣━Test.java ┗━Test.class2.クラスファイルのある場所をHADOOP_CLASSPATHに追加
export HADOOP_CLASSPATH=workspace3.Hadoopを起動
4.実行
bin/hadoop Test
1.プログラム作成
クラスファイルのある場所を明確にするため、先頭に以下の一行を加える。
これを怠るとコンパイルは通るが、実行できない。
5.アプリケーション実行
クラスファイルのある場所を明確にするため、先頭に以下の一行を加える。
これを怠るとコンパイルは通るが、実行できない。
package workspace;2.コンパイル
javac -classpath hadoop-0.20.2-core.jar workspace/Test.java3.jarアーカイブファイルに統合
jar -cvf workspace/test.jar workspace
{HADOOP_HOME}/workspace/ ┣━Test.java ┣━Test.class ┗━test.jar4.hadoop起動
5.アプリケーション実行
bin/hadoop jar workspace/test.jar workspace.Test
1.HADOOP_HOMEに作業用ディレクトリを作成
WordCount.java
3.コンパイル
4.wordcount内に入力として使用するサンプルテキストファイル作成
5.Hadoop起動
6.入力用ディレクトリ作成
mkdir {HADOOP_HOME}/workspace/wordcount2.wordcount内にWordCount.javaを作成
WordCount.java
3.コンパイル
javac -classpath hadoop-${HADOOP_VERSION}-core.jar -d workspace/wordcount workspace/wordcount/WordCount.java jar -cvf workspace/wordcount/wordcount.jar -C workspace/wordcount/ .警告が出るがスルー
4.wordcount内に入力として使用するサンプルテキストファイル作成
- file01
Hello World Bye World
- file02
Hello Hadoop Goodbye Hadoop準備完了。
5.Hadoop起動
6.入力用ディレクトリ作成
bin/hadoop fs -mkdir wordcount/input7.ローカルからファイルコピー
bin/hadoop fs -copyFromLocal workspace/wordcount/file01 wordcount/input bin/hadoop fs -copyFromLocal workspace/wordcount/file02 wordcount/input8.アプリケーション実行
bin/hadoop jar workspace/wordcount/wordcount.jar org.myorg.WordCount wordcount/input wordcount/output9.出力を確認
bin/hadoop fs -cat wordcount/output/part-0000010.こんな感じで出力されれば成功
Bye 1 Goodbye 1 Hadoop 2 Hello 2 World 2エラーに注意