빅데이터 컴퓨팅 기술

1.root 계정으로 /etc/profile을 변경하세요.

- 아래의 내용을 확인하고 기존 파일의 중간에 하둡 설정을 추가하시면 됩니다.


.......


HOSTNAME=`/bin/hostname 2>/dev/null`
HISTSIZE=1000
if [ "$HISTCONTROL" = "ignorespace" ] ; then
export HISTCONTROL=ignoreboth
else
export HISTCONTROL=ignoredups
fi



#-----------------------------------------------
# HADOOP Config Start

export JAVA_HOME=/usr/local/java
export CLASSPATH=/usr/local/java/jre/lib/*
pathmunge /usr/local/java before
pathmunge /usr/local/java/bin before

export BASEHOME=/home/cm20

export HADOOP_PREFIX=$BASEHOME/hadoop
export HADOOP_HOME=$BASEHOME/hadoop
export PIG_HOME=$BASEHOME/pig
export PIG_CLASSPATH=$BASEHOME/hadoop/conf
export HIVE_HOME=$BASEHOME/hive
export HIVE_CONF_DIR=$BASEHOME/hive/conf

pathmunge $BASEHOME/hadoop/bin
pathmunge $BASEHOME/pig/bin
pathmunge $BASEHOME/hive/bin
pathmunge $BASEHOME/sqoop/bin
pathmunge $BASEHOME/shark/bin

# HADOOP Config End
#-----------------------------------------------


export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

# By default, we want umask to get set. This sets it for login shell
# Current threshold for system reserved uid/gids is 200
# You could check uidgid reservation validity in
# /usr/share/doc/setup-*/uidgid file

.....


2.교재를 보시고 하둡과 관련된 파일을 다운로드 받으시면 됩니다.

- 아래는 다운로드해야 하는 파일의 목록을 포함한 리눅스 명령어입니다.

wget www.db21.co.kr/bigdata/hadoop.tgz

wget www.db21.co.kr/bigdata/source.tgz

wget www.db21.co.kr/bigdata/pig.tgz

wget www.db21.co.kr/bigdata/shark.tgz

wget www.db21.co.kr/bigdata/sqoop.tgz


3.교재에는 없지만 기본적으로 해야 하는 작업은 다음과 같습니다.

웹서비스와 Hive 및 Shark를 위해서는 다음과 같은 프로그램이 필요합니다.

- Apache Web Server

- PHP Web Programming Language

- MySQL RDBMS

* 인터넷에 관련 자료를 참고하여 직접 설치하셔야 합니다.

- 또한 Hive와 Shark를 제대로 작동시키기 위해서는
다음과 같이 MySQL의 DB를 생성하고 사용자 권한을 설정해야 됩니다.

데이터베이스명 : hivedb
사용자아이디 : hiveuser
사용자비밀번호 : hivepw

관련 문의 : chjang1204@nate.com