Start & Test Hadoop

Merhaba,

Bigdata – Hadoop ile ilgili teorik bilgilerden sonra hadoop kurulumunu yapmış hatta son aşama olarak configürasyon işlemlerine girmiştik.
Son blog yazımda konfigürasyon işlemlerini bitirmiştik. Bu blog yazımızda hadoop nasıl start edilir ve dosya yapısına yani hdfs’ e nasıl dosya kopyalanır ve bunlar bir web arayüzünde izlenir göreceğiz?

Terminal üzerinden hadoop’ u yüklediğimiz klasöre gelinir.
Biz hadoop’ u aşağıdaki klasöre yüklemiştik.
/home/bigdata/bigdata_project/hadoop

Hadoop başlatılmadan önce, bir kereye mahsus olmak üzere hadoop namenode formatlanmalıdır. Bu işlem için aşağıdaki komut terminalden çalıştırılır.Bunun için aşağıdaki komut çalıştırılmalıdır.
bin/hadoop namenode -format

Daha sonra artık tüm servislerin çalıştırmamız gerekir. Bunun için terminalden aşağıdaki komut uygulanır. Bu işlem bigdata kullanıcısı ile gerçekleştirilir.
Not: Tüm işlemlerinizi bigdata kullanıcısı ile gerçekleştirmeniz gerekir.
bin/start-all.sh

Tüm bu servislerin çalışıp çalışmadığını yani doğru bir şekilde bin/start-all.sh yapılıp yapılmadığını anlamak için terminal üzerinde jps komutu çalıştırılır.
Ekran görüntüsü aşağıdadır.
[hadoop@mmetincentosos hadoop-1.2.0]$ jps
15200 secondarynamenode
15207 TaskTracker
15288 Jps
14952 DataNode
9405 JobTracker
14833 NameNode

jps -l komutu kullanarak çalışan java uygumalarını detaylı şekilde liste olarak alabilirsiniz.
jps kullandığınızda yukarıdaki gibi 6 tane çalışan uygulama görmeniz gerekmektedir. Eğer 6 dan az görürseniz bir sorun var demektir. Log dosyalarına bakarak hangi uygulama çalışmamış ve neden çalışmamız soruna bakmanız gerekir. Bazen java bazen hadoop klasörlerini path bilgilerini bulamayabilirsiniz. Bunları .bash_profile dosyasında tanımlamanız gerekir. Tüm adımları tekrar kontrol etmelisiniz.
Her bir çalışan uygulamanın ne işe yaradığını bundan önceki blog yazılarımı takip etti iseniz biliyor olmanız gerekir. Ezbere iş yapmamak adına önceki blog yazılarımı tekrar gözden geçirmenizi tavsiye ederim.

Hadoop-Hdfs ortamını ve çalışan node bilgilerini görsel bir arayüzde yani web arayüzünde takip edebilirsiniz.

Web Admin Tools
İki adet web admin tool bulunmaktadır. Bunlar:
NameNode admin arayüzü,
Map Reduce admin arayüzü

NameNode – http://localhost:50070/
JobTracker – http://localhost:50030/

Bu iki admin arayüzlerine erişmek için aşağıdaki işlemler uygulanır.
Map Reduce Admin Arayüzü:
Aşağıdaki adresi kullanarak MapReduce web admin ekranına erişebilirsiniz.
http://localhost:50030/jobtracker.jsp

NameNode Admin Arayüzü:
Aşağıdaki adresi kullanarak NameNode web admin ekranına erişebilirsiniz.
http://localhost:50070/

Aşağıda kurmuş olduğum vm centos bigdata-hadoop ‘ un konu ile ilgili ekran görüntülerini bulabilirsiniz.

Bir sonraki blog yazımızda test hadoop işlemlerine başlayacağız. Test Hadoop ile, hadoop sistemine dosya aktarma, kopyalama, silme, taşıma işlemlerini göreceğiz.

Lütfen, yorumlarınızı bekliyorum.

mmetin