Hadoop Configure İşlemleri

Merhaba,

Son blog yazımda hadoop’ u kurulumunu yaptık. Artık konfigürasyon ve başlatma aşamasına gelmiş bulunmaktayız.
Her bir hadoop bileşeni dosya yapısını incelerseniz conf adında bir klasör görürsünüz.
Biz hadoop’ u aşağıdaki klasöre yüklemiştik.
/home/bigdata/bigdata_project/hadoop
Conf klasörü ise yine aynı yerdedir.
/home/bigdata/bigdata_project/hadoop/conf
Bu klasöre girip aşağıdaki dosyalarda gerekli eklentileri tek tek yapınız.
Bunların neden girildiğini bir sonraki yazımda bulabileceksiniz.

Terminal üzerinden aşağıdaki komut yazılır.
gedit hadoop-env.sh
gedit kısmında hata verirse nano kullanılabilir. (yani gedit yüklü değilse nano, vi gibi editörleri kullanabilirsiniz. )
nano hadoop-env.sh

Aşağıdaki satırları hadoop-env.sh dosyasına eklenir.Bu dosya ile javanın nerede olduğu ve hadoop un nerede olduğu bilgisi eklenmiş olacaktır.
export JAVA_HOME=/usr/java
export HADOOP_HOME=/home/bigdata/bigdata_project/hadoop
export HADOOP_CONF_DIR=/home/bigdata/bigdata_project/hadoop/conf
export HADOOP_HOME_WARN_SUPPRESS=1

Java ve hadoop path işlemlerinden sonra configürasyon işlemleri devam etmektedir.

Terminal üzerinden aşağıdaki komut yazılır. (gedit ile dosyaları açamadığınızda nano kullanabilirsiniz. )
nano core-site.xml
tagları arasına aşağıdaki kısım kopyalanır.

property
name>fs.default.name /name
value>hdfs://localhost:54310 /value
/property
property
name hadoop.tmp.dir /name
value/home/bigdata/bigdata_project/hadoop/hadoop_data /value
/property

Not: her bir satırın başında ve sonunda ‘büyüktür’ , ‘küçüktür’ işaretleri vardır. Blog’ ta bunları eklendiğinde yazı bozulduğundan kaldırmak durumunda kaldım.

hadoop.tmp.dir
/home/bigdata/bigdata_project/hadoop/hadoop_data

hadoop.tmp.dir kısım oldukça önemlidir.
Hadoop başlatılmadan önce, bir kereye mahsus olmak üzere hadoop namenode formatlanmalıdır. Bu işlem için aşağıdaki komut terminalden çalıştırılır.
bin/hadoop namenode -format
İşte bu formatlama işlemi core -site.xml dosyasında vermiş olduğunuz hadoop.tmp.dir klasörüdür.

Önemli Not:
/home/bigdata/bigdata_project/hadoop/hadoop_data değeri gözükmektedir. Bu klasörü manuel olarak mkdir ile oluşturmalısınız.
Oluşturduktan sonra chown -R bigdata:bigdata hadoop_data ile bigdata kullanıcısına yetki vermelisiniz. (lütfen tüm işlemleri bigdata kullanıcı ile yapınız. Aksi takdirde chown ile sürekli yetki vermeniz gerekir. hadoop’ u start ettiğinizde sürekli permision hatası alırsınız)
Aksi halde namenode bilgisi çalıştıramazsınız.

Configürasyona devam ediyoruz.
Terminalden aşağıdaki komut çalıştırılır.
gedit hdfs-site.xml
Bu dosya üzerinde de tagı arasına aşağıdaki kısım yapıştırılır.

property
name>dfs.replication /name
value1/value
/property

Not: her bir satırın başında ve sonunda ‘büyüktür’ , ‘küçüktür’ işaretleri vardır. Blog’ ta bunları eklendiğinde yazı bozulduğundan kaldırmak durumunda kaldım.

Burada 1 rakamı dosyalarınızın 1 adet replikasının alınacağını gösterir. Değeri 2,3 yapabilirsiniz. Bu değerin nerede gözüktüğünü bir sonraki blog yazımda göstereceğim.

Configurasyon hala devam ediyoruz.
Terminalden aşağıdaki komut çalıştırılır.
nano mapred-site.xml
Bu dosya üzerinde tagı arasına aşağıdaki kısım yapıştırılır.

property
name>mapred.job.tracker /name
value localhost:54311 /value
/property

Not: her bir satırın başında ve sonunda ‘büyüktür’ , ‘küçüktür’ işaretleri vardır. Blog’ ta bunları eklendiğinde yazı bozulduğundan kaldırmak durumunda kaldım.

Konfigürasyon işlemleri bitti. Artık hadoop starting yapılabilir.

Bu konuyu bir sonraki blog yazımda anlatacağım.
Artık elimizde konfigüre edilmiş hadoop bulunmaktadır.
Herşey bitti mi peki?
Tabiki hayır. Hbase,hive,pig,flume,sqoop kurulumları da yapacağız.
En önemlisi map-reduce ile bol bol örnekler yapacağız.
Yani ilk basamağı geçtik. Ama önümüzde daha çok basamak var.

Lütfen yorumlarınızı bekliyorum.

mmetin