hadoop kurulumu devam

Merhaba,

Geçen hafta vmPlayer ve Linux Centos kurulumunu tamamladığınıza göre hadoop kurulum işlemine devam edebiliriz.

İşlem 1:
Hadoop kurulumundan önce; ilk olarak firewall disable edilmesi önerilmektedir. Bunun için aşağıdaki komutları sırasıyla terminal üzerinden çalıştırmalıyız.
service iptables save
service iptables stop
chkconfig iptables off

İşlem 2:
Hadoop kurulumundan önce; ikinci bir öneri olarak kullandığımız linux centos işletim sisteminin update edilmesidir. Bunun için terminal üzerinde aşağıdaki komut çalıştırılmalıdır. Bu komut ile centos’ ta yüklü tüm paketlerin update işlemi gerçekleştirilir. Not: bu işlem uzun sürebilir.
yum update

İşlem 3:
Hadoop işlemleri için kullanıcı tanımlanması gerekmektedir. Master slave ilişkisinde bu kullanıcı isimleri her yerde aynı olmalıdır. Aşağıda gördüğünüz gibi hadoop user’ ı ve şifresi bigdata olan kullanıcı oluşturulmuştur.
Aşağıdaki komutlar terminal üzerinden sırasıyla çalıştırılır.
# adduser bigdata
# passwd bigdata
# gpasswd -a bigdata root
# grep “^root” /etc/group

Not: kullanıcı: bigdata şifresi: bigdata (verebilirsiniz)

İşlem 4:
Centos işletim sistemini şimdi bigdata kullanıcı ile açınız.

İşlem 5:
ssh için şifre ve keygen belirleme :
Hadoop sisteminde master ve slave makinalar yer almaktadır.
Makinaların birbirleri ile konuşması ssh üzerinde yapılmaktadır.
Kurulum dosyalarından önce tüm makinelerin master ile parola ihtiyacı olmadan konuşmasını sağlamamız gerekmektedir.
Bu işlemi gerçekleştirirken bigdata kullanıcısı ile işlem yapılmalıdır.
ssh-copy-id -i ~/.ssh/id_rsa.pub localhost

İşlem 6:
Aslında bu öneri değil. Zorunluluk olarak java’ yı sisteme yüklenemiz gerekmektedir. Java standart olarak /usr/lib altında yer almaktadır.
Siz son versiyonu aşağıdaki klasöre yükleyiniz.
/usr/java

İşlem 7:
Linux sistemine java klasörünü yani java_home belirtmemiz gerekmektedir.Bunun için; /home/bigdata klasöründe yer alan .bash_profile dosyası açılıp aşağıdaki ilgili satırlar eklenmelidir.
.bash_profile açmak için: /home/bigdata/gedit .bash_profile yazılmalıdır.

PATH=$PATH:$HOME/bin

JAVA_HOME=/usr/java
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH

ARTIK HADOOP YÜKLEYEBİLİRİZ.
Hadoop download sayfası : http://hadoop.apache.org/releases.html#Download
Aşağıdaki komut terminal üzerinden çalıştırılır.
wget http://www.eu.apache.org/dist/hadoop/common/hadoop-1.2.0/hadoop-1.2.0.tar.gz

Bu işlemde bigdata ile sisteme bağlı olmanız gerektiğiniz, ayrıca yukarıda işlem adımlarının tamamı yapılması gerekmektedir.

Burada hadoop-1.2.0.tar.gz adlı 61 mb dosyayı /home/bigdata/ klasörüne kopyalayınız.

Kopyalama işleminden sonra artık hadoop-1.2.0.tar.gz dosyasını /home/bigdata klasörüne açmamız gerekmektedir.
Bunun için aşağıdaki komut kullanılır.
tar -xvzf hadoop-1.2.0.tar.gz

Öneri :
Her bir tar dosyasının ismi versiyon numarası ile verilir. Okuması ve yazması zor olduğundan hadoop-1.2.0.tar.gz klasörünü hadoop olarak değiştirmenizi öneririm. Bunun için aşağıdaki komutu terminalden kullanabilirsiniz.
mv hadoop-1.2.0.tar.gz hadoop

Bu komut ile hadoop-1.2.0.tar.gz olan klasörü hadoop olarak oluşturabilirsiniz.

.bash_profile classpath tanımlanması:
java için bunu yapmıştık. Aynısını hadoop klasörü içinde yapmamız gerekmektedir.

HADOOP_HOME=/home/bigdata/bigdata_project/hadoop
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$PATH
export PATH

export HADOOP_CONF_DIR=/home/bigdata/bigdata_project/hadoop/conf

Bir sonraki hazımızda hadoop configurasyonlarına gireceğiz. Konfigüre edilmiş hadoop’ tan sonra artık hadoop’ u çalıştırabilir düzeye geleceğiz.

Sizlerden ricam yorumlarınızı bildirmenizdir.
mmetin