Hbase Kurulumu

Merhaba,

Bundan önceki blog yazımda Zookeeper kurulumundan bahsetmiştim. Hbase çalıştırabilmeniz için zookeeper kurulumunu yapmamız gerekiyor. Zookeeper kurulumu ve konfigürasyonu oldukça basittir.

Zookeeper Nedir?
Dağıtık makinalarda konfigürasyonu ve senkronizasyonu sağlar.
Apache ZooKeeper is an open source file application program interface (API) that allows distributed processes in large systems to synchronize with each other so that all clients making requests receive consistent data.

HBase Nedir?
HBase is a non-relational database that allows for low-latency, quick lookups in Hadoop. It adds transactional capabilities to Hadoop, allowing users to conduct updates, inserts and deletes. EBay and Facebook use HBase heavily.

Çok büyük verilerin read / write operasyonları için hazırlanmış bir columnbased veritabanıdır. Hive dili bu veritabanı üzerinde çalışabilir. Zaten hive’de yazılan mapreduce programlarının ürettiği key-value listesini bu uygulama tutar. Google’ın BigTable’ından esinlenilmiştir.

Hbase Kurulumu:
Aşağıda verilen adres ile apache hadoop hbase kurulumu gerçekleştirilir.
http://www.apache.org/dyn/closer.cgi/hbase/

Bu siteden aşağıdaki tam adresi verilen hbase sisteme yüklenir.
psg.mtu.edu/pub/apache/hbase/hbase-0.95.0/hbase-0.95.0-hadoop1-bin.tar.gz

Terminal üzerinden aşağıdaki komut girilerek yükleme işlemi gerçekleştirilir. wget ile yükleme işlemi gerçekleştirilir. 55 MB boyutunda dosyadır.
[bigdata@mmetincentosos bigdata_project]$ wget psg.mtu.edu/pub/apache/hbase/hbase-0.95.0/hbase-0.95.0-hadoop1-bin.tar.gz

Yükleme işlemini /home/bigdata/bigdata_project klasörüne yapmış oluyoruz.
[bigdata@mmetincentosos bigdata_project]$ pwd
/home/bigdata/bigdata_project

Hbase kurulum dosyasının yükleme işleminden sonra bu dosyanın ilgili klasöre açılması gerekir. Bu işlem için tar komutu kullanılacaktır. Terminalden aşağıdaki komut girilmelidir.
[bigdata@mmetincentosos bigdata_project]$ tar zxpf hbase-0.95.0-hadoop1-bin.tar.gz

hbase-0.95.0-hadoop1 adında klasör oluşturulacak ve bu klasör içine ilgili tüm hbase dosyaları açılmış olacaktır.

Not: klasörlerdeki bulunan versiyon numarasını, klasörün okuması ve yazmasının daha rahat olması için kaldırmanızı tavsiye ederim. Bu işlemi için mv komutunu kullanabilirsiniz.
mv hbase-0.95.0-hadoop1 hbase

Hbase Konfigürasyonu:
Artık hbase configürasyon işlemlerini gerçekleştirebiliriz.
Hbase onfigürasyon işlemleri daha önce anlattığım hadoop ve zookeeper konfigürasyon işlemleri gibidir. Tüm konfigürasyon işlemleri için ilgili yüklü application klasöründe conf klasörü kullanılır.
Konfigürasyon işlemleri için hbase’ in yüklü olduğu aşağıdaki klasöre girilmelidir. İlk olarak hbase-site.xml dosyasın üzerinde işlem yapılacaktır.
[bigdata@mmetincentosos bigdata_project]$ cd hbase
[bigdata@mmetincentosos hbase]$ cd conf
[bigdata@mmetincentosos conf]$ gedit hbase-site.xml

Bu dosya üzerinde konfigürasyon tabları arasına aşağıdaki text kopyalanır.
Bu dosya üzerinde konfigürasyon tabları arasına aşağıdaki text kopyalanır.
configuration>
property>
name>hbase.cluster.distributed
value>true
description>The directory shared by RegionServers
/property>
property>
property>
name>hbase.master
value>hbase-master:60000
description>
/property>
name>hbase.rootdir
value>hdfs://localhost:9000/hbase
description>The directory shared by RegionServers
/property>
property>
name>dfs.replication
value>1
description>The replication count for HLog and HFile storage. Should not be greater than HDFS datanode count.
/property>
property>
name>hbase.zookeper.property.clientPort
value>2181
description>Property from zookeeper’s config zoo.cfg. The port at which the client will connect
/property>
property>
name>hbase.zookeeper.quorum
value>localhost
description>Comma separeted list of servers in the zookeeper quorum.
/property>
property>
name>hbase.zookeeper.property.maxClientCnxns
value>10000
description>
/property>
/configuration>

Not: burada 2181 değeri zoo.cfg dosyasında standart yazan değerdir.

Not: her bir satırın başında ve sonunda ‘büyüktür’ , ‘küçüktür’ işaretleri vardır. Blog’ ta bunları eklendiğinde yazı bozulduğundan kaldırmak durumunda kaldım.

İkinci olarak hbase-env.sh dosyasının konfigürasyon işlemleri yapılır.
[bigdata@mmetincentosos conf]$ gedit hbase-env.sh

# export JAVA_HOME=/usr/java/
# export HBASE_MANAGES_ZK=false

Burada başta yer alan # işaretlerin silinmelidir.

Önemli Not: Hadoop-bigdata projelerinin kurulumlarını yaparken unutmamanız gereken .bash_profile dosyasında ilgili kurulumun path bilgisini vermelisiniz. Aksi durumda tüm sistemi start ettiğinizde bir biri ile konuşamayan, path bilgisini bulamayan bir yapı olur. Örneğin hbase sistemini start ettiğinizde hbase programını arayacaktır. Bulması için .bash_profile dosyasında aşağıdaki path bilgilerini yazınız.

HBASE_HOME=/home/bigdata/bigdata_project/hbase
export HBASE_HOME
PATH=$hbase_HOME/bin:$PATH
export PATH

Hbase Çalıştırılması:
Aşağıdaki klasöre girilir.
[bigdata@mmetincentosos hbase]$ pwd
/home/bigdata/bigdata_project/hbase

start komutu çalıştırılır.
[bigdata@mmetincentosos hbase]$ bin/start-hbase.sh

[bigdata@mmetincentosos hbase]$ bin/start-hbase.sh
[hadoop@mmetincentosos hbase]$ jps
4585 SecondaryNameNode
4055 NameNode
5674 HRegionServer
5439 HMaster
5388 HQuorumPeer
4939 TaskTracker
4326 DataNode
5852 Jps
4686 JobTracker

Hatırlayın. Zookeeper ile birlikte çalışan servis 7 tane olmalı idi. Hbase ile birlikte bu rakam 9 a çıkmaktadır. Yani 9 tane çalışan yukarıdaki gibi bir görüntü görmeniz gerekmektedir. HBase çalıştırılması ile birlikte Hmaster ve HRegionServer çalışır olması gerekmektedir.

Artık hbase sistemi terminal üzerinden çalıştırılabilir. Bunun için terminal üzerinden aşağıdaki komutu giriniz.
[bigdata@mmetincentosos hbase]$ bin/hbase shell

HBase Web Gui:
Hbase web gui ortamını görmek için web browser üzerinde aşağıdaki adresi giriniz.
http://localhost:60010

Hatırlatma: Servislerin Başlatılması

Hadoop Başlatma:
[bigdata@mmetincentosos hadoop]$ bin/start-all.sh

ZooKeeper Başlatma:
[bigdata@mmetincentosos zookeeper]$ bin/zkServer.sh start

Hbase Başlatma:
[bigdata@mmetincentosos hbase]$ bin/start-hbase.sh

Bugünkü blog yazımız bu kadar.

Bir sonraki blog yazımda hbase komutlarını göreceğiz. Yani hbase üzerinde tablo create etme,silme,kayıt girme,kayıt sorgulama işlemlerini göreceğiz.

Lütfen, yorumlarınızı bekliyorum.

mmetin