programming repository: 젠킨스, 하둡 설정

Jenkins 빌드 자동화 내용 : http://bcho.tistory.com/entry/Hudson%EC%9D%84-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%B9%8C%EB%93%9C-%EB%B0%B0%ED%8F%AC-%ED%85%8C%EC%8A%A4%ED%8A%B8-%EC%9E%90%EB%8F%99%ED%99%94

-----------------------------------------------------------------------------------------------------------------------

하둡 설정 내용 : http://blog.eduby.me/2012/03/fully-distributed-hadoop.html
http://developer.yahoo.com/hadoop/tutorial/module3.html
http://computer2citylock.blogspot.kr/2013/02/hadoop-on-ubuntu1210.html
http://tawool.tistory.com/281

  # hadoop tmp 디렉토리 미 지정시에 dfs, mapred 네임노드 관련 파일을 

     /tmp/ 디렉토리 하위에 생성

  # 클러스터 구축시 데이터노드(리모트) 서버 에도 데이터를 저장할 위치를 

     아래와 같은 방식으로 각 서버별로 지정

-----------------------------------------------------------------------------------------------------------------------

하둡 pid 오류 내용 : http://blog.beany.co.kr/archives/2165
http://www.cs.brandeis.edu//~cs147a/lab/hadoop-troubleshooting/

아래의 내용은 참고할만 한것 같다. pid는 임시 폴더에 저장 되어서 fully distributed 환경에서 오류가 발생할 수 있을 듯.

$HADOOP_HOME/conf/hadoop-env.sh
export HADOOP_PID_DIR=/var/hadoop/pids

-----------------------------------------------------------------------------------------------------------------------
모의 분산이던 완전 분산이던 중요한것은
$HADOOP_HOME/conf 폴더안의 내용들을 통일해야 한다는것
완전 분산모드라면 masters와 slaves의 내용을 수정해야 한다.
그리고 /etc/hosts 에 master와 slave의 ip 주소들을 설정해놓아야 한다.
그리고 core-site.xml 파일에 master를 명시해야 한다.
모의 분산이면 여기에서 마스터를 로컬호스트로 설정한다.
hdfs-site.xml 파일에서 설정한 datanode와 namenode, tmp 폴더는
모두 "chmod -R 755 폴더" 명령을 통해서 755 옵션을 주어야 한다.

옵션을 제대로 주지 않으면 아래와 같은 에러가 난다.
13/08/08 10:52:02 WARN datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /hadoop_data/data, expected: rwxr-xr-x, while actual: rwxr----x

그리고 설치 후 중간에 환경설정들을 바꾸면 네임노드를 포멧하는것이 좋다.

아래와 같은 에러가 날 수 있다.

13/08/08 10:57:49 ERROR datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /hadoop_data/data: namenode namespaceID = 618126238; datanode namespaceID = 504005262

datanode, namenode의 경로를 설정한 폴더의 내용물을 모두 지우고 네임노드를 포멧

bin/hadoop namenode -format

hadoop.sh 파일의 설정은 크게 두가지만 신경쓰면 될듯하다.

1. 자바 폴더 설정 : export JAVA_HOME=/home/Development/java

2. 하둡 PID폴더 설정 : export HADOOP_PID_DIR=/var/hadoop/pids

mapred-site.xml 파일의 내용을 추가 했다면

잡 트랙커는 master의 주소로 설정했는지 확인하고

</property>

<name>mapred.system.dir</name>

<value>/home/kwonjae/hadoop_data/mapreduce/system</value>

</property>

<name>mapred.local.dir</name>