Hbase Kurulumu ve Kullanımı (önce zookeeper)

Merhaba,

Bundan önceki blog yazımda hadoop-bigdata teknolojilerinden tanımsal olarak bahsetmiştim. Blog yazılarıma devam edebilirsem çoğu hakkında kurulumu ve kullanımı hakkında bildiğim kadarıyla bahsedeceğim.
Bu blog yazımın devamında hbase kurulumundan bahsetmek istiyorum. Hbase çalışabilmeniz için zookeeper uygulamasınıda yüklemeniz gerekir. Sonraki blog yazılarımda kurulu olan hbase üzerinde neler yapabileceğimizi, nasıl data aktarabileceğimizi, nasıl sorgulama olacağını, datanın hbase sisteminde nasıl tutulduğunu anlatmak isterim. Hbase kısmı biraz daha uzun soluklu blog yazılarımla devam edecektir.

Son blog yazımda hadoop-bigdata teknolojilerinden bahsederken elimde açıklayıcı güzel bir resim var idi. Bunu eklemeyi unutmuşum. Bu resmi aşağıda bulabilirsiniz.

not: resim internetten alıntıdır.

 Gelelim bugünkü blog konumuza: hbase & zookeeper kurulumu

Açıkcası bu kurulum işlemlerinin sıkıcı olduğunun farkındayım. Kurulum yaparken bazı sorunlar da yaşayabilirsiniz. Blog yazılarıma bu kurulumları eklerken çok keyif almasam da bir zorunluluk olarak kurulumları da anlatmam gerekiyor.

ZOOKEEPER KURULUMU:
Zookeeper Nedir?
Dağıtık makinalarda konfigürasyonu ve senkronizasyonu sağlar.
Apache ZooKeeper is an open source file application program interface (API) that allows distributed processes in large systems to synchronize with each other so that all clients making requests receive consistent data.

Aşağıda verilen adres ile zookeeper kurulumu gerçekleştirilir.
http://www.apache.org/dyn/closer.cgi/zookeeper/

Bu siteden aşağıdaki tam adresi verilen zookeeper sisteme yüklenir.
http://mirror.tcpdiag.net/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz

Terminal üzerinden aşağıdaki komut girilerek yükleme işlemi gerçekleştirilir. wget ile yükleme işlemi gerçekleştirilir. 16MB boyutunda dosyadır.
[bigdata@mmetincentosos bigdata_project]$ wget http://mirror.tcpdiag.net/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz

Yükleme işlemini /home/bigdata/bigdata_project klasörüne yapmış oluyoruz.
[bigdata@mmetincentosos bigdata_project]$ pwd
/home/bigdata/bigdata_project

ZooKeeper kurulum dosyasının yükleme işleminden sonra bu dosyanın ilgili klasöre açılması gerekir. Bu işlem için tar komutu kullanılacaktır. Terminalden aşağıdaki komut girilmelidir.
[bigdata@mmetincentosos bigdata_project]$ tar zxpf zookeeper-3.4.5.tar.gz

zookeeper-3.4.5 adında klasör oluşturulacak ve bu klasör içine ilgili tüm zookeeper dosyaları açılmış olacaktır.

Not: klasörlerdeki bulunan versiyon numarasını, klasörün okuması ve yazmasının daha rahat olması için kaldırmanızı tavsiye ederim. Bu işlemi için mv komutunu kullanabilirsiniz.
mv zookeeper-3.4.5 zookeeper

Artık ZooKeeper configürasyon işlemlerini gerçekleştirebiliriz.
Konfigürasyon işlemleri için ZooKeeper ‘ in yüklü olduğu aşağıdaki klasöre girilmelidir. İlk olarak zoo.cfg dosyasın üzerinde işlem yapılacaktır. zoo.cfg size bir şablon sağlamaktadır. Şablon ismi: zoo_sample.cfg bu dosyanın bir kopyasını alarak zoo.cfg yapacağız. Aşağıda adım adım yazdım.
Aşağıdaki klasöre girilir.
[bigdata@mmetincentosos conf]$ pwd
/home/bigdata/bigdata_project/zookeeper/conf

Bu klasörde zoo.cfg dosyası yoktur. Ama sample olması açısından zoo_sample.cfg dosyası yer almaktadır. Zoo_sample.cfg dosyası aynı isimle kopyalanıp ismi rename yapılarak zoo.cfg yapılmalıdır. Aşağıdaki cp işlemini yaparsanız bu işlemi otomatik olarak gerçekleştirecektir.
[bigdata@mmetincentosos conf]$ cp zoo_sample.cfg zoo.cfg

Aşağıdaki zookeeper_temp adında bir klasör oluşturulur. Bu klasör ile zookeeper log dosyaları için bir temp klasör yapmış olduk.
[bigdata@mmetincentosos bigdata_project]$ mkdir zookeeper_temp

Klasör aşağıdaki klasöre açılmalıdır.
[bigdata@mmetincentosos bigdata_project]$ pwd
/home/bigdata/bigdata_project/zookeeper_temp

Daha sonra zoo.cfg dosyanın bulunduğu klasöre gelinip zoo.cfg edit edilir. Yani gedit, nano vs. ile edit işlemi yapılır.
zoo.cfg dosyasının bulunduğu klasör aşağıdadır.
[bigdata@mmetincentosos conf]$ pwd
/home/bigdata/bigdata_project/zookeeper/conf

Edit edilen zoo.cfg dosyasında aşağıdaki satır değiştirilir.
dataDir=/home/bigdata/bigdata_project/zookeeper_temp

Burada zookeeper port bilgisi yer almaktadır. 2181. Bu değer önemlidir. Diğer uygulamalardan hbase sistemine erişmek için bu port kullanılacaktır. Başka herhangi bir değişiklik yapmadan zoo.cfg dosya kaydedilir.

Zookeeper start etmek için aşağıdaki komut kullanılır.
[bigdata@mmetincentosos zookeeper]$ bin/zkServer.sh start

Önemli Not: Hadoop-bigdata projelerinin kurulumlarını yaparken unutmamanız gereken .bash_profile dosyasında ilgili kurulumun path bilgisini vermelisiniz. Aksi durumda tüm sistemi start ettiğinizde bir biri ile konuşamayan, path bilgisini bulamayan bir yapı olur. Örneğin hbase sistemini start ettiğinizde zookeeper programını arayacaktır. Bulması için .bash_profile dosyasında aşağıdaki path bilgilerini yazınız.

ZK_HOME=/home/bigdata/bigdata_project/zookeeper
export ZK_HOME
PATH=$ZK_HOME/bin:$PATH
export PATH

Zookeeper start ettikten sonra çalışan java uygulamarından zookeeper çalışmış mı çalışmamış mı görmek için jps veya jps -l komutlarını kullanınız.
[bigdata@mmetincentosos zookeeper]$ bin/zkServer.sh start
[bigdata@mmetincentosos zookeeper]$ jps
zookeeper ile ilgili olan servis HQuorumPeer listede görmeniz gerekmektedir.

Hatırlatma: hadoop sisteminin kurulumundan bahsederken start edildikten sonra jps ile 6 tane çalışan java uygulamasını görmemiz gerektiğinden bahsetmiştim. HQuorumPeer ile birlikte bu 7′ ye çıkmış olmalıdır. Yani jps ile aşağıdaki tüm servislerin çalışır olması gerekiyor.

[bigdata@mmetincentosos bigdata]$ jps
15200 secondarynamenode
15207 TaskTracker
15288 Jps
14952 DataNode
9405 JobTracker
14833 NameNode
5388 HQuorumPeer

Bir sonraki blog yazımda hbase kurulumunu yazacağım.

Açıkcası bende sabırsızlıkla kurulumları hızlı bitirip kullanım hakkında bilgi vermek istiyorum.

Bugünkü blog yazımız bu kadar.

Lütfen, yorumlarınızı bekliyorum.

mmetin