Test Hadoop

Merhaba,

Son blog yazımızda hadoop sisteminin kurulumunu ve başlatma adımlarını gördük. Bu blog yazımda, hadoop sistemine dosya ekleme yani test hadoop kısmını göreceğiz.
Örnekler üzerinden giderek konuyu anlatmak isterim.

ÖRNEK 1:
Aşağıdaki işlemleri yapınız. (burada bir dosya oluşturulmakta ve bu dosya hadoop sistemine kopyalanmaktadır. Namenode ile de bu dosya gösterilmektedir. )
Bigdata kullanıcısı ile /home/bigdata/bigdata_project/hadoop klasöründe işlemleri yapınız.

$ echo ‘merhaba mmetin, hadoop hoşgeldiniz!’ > test.txt
$ hadoop dfs -put my_text_file.txt my_text_file.txt
$ hadoop dfs -ls
Found 1 items
-rw-r–r– 1 bigdata supergroup 42 2013-05-30 14:59 /user/hadoop/my_text_file.txt
$ hadoop dfs -cat my_text_file.txt
merhaba mmetin, hadoop hoşgeldiniz!

Böylece dosya hadoop hdfs yazılmış ve ls ile listelenmiş cat ile de içine bakılmıştır.

Eğer bu dosyayı namenode üzerinde de görmek istiyorsanız aşağıdaki ekranda olduğu gibi http://localhost:50070/ giriş yapınız.
Burada /user/hadoop klasörlerini seçerseniz ilgili dosyayı listeleyebilirsiniz.

ÖRNEK 2:
Bu örneğimizde gutenberg.org sitesinde yer alan aşağıdaki txt dosyaları, web sitesinden kopyalanıp hdfs ortamına atılacaktır.
Dosyalar:
http://www.gutenberg.org/files/20417/20417.txt

http://www.gutenberg.org/dirs/etext04/7ldvc10.txt

http://www.gutenberg.org/files/4300/4300.txt

Bunun için öncelikle hadoop kurulu yerde gutenberg adında bir klasör açalım ve dosyaları buraya kopyalayalım.
Aşağıdaki komutları çalıştırırsanız bu işlemi gerçekleştirmiş olursunuz.
İşlemi bigdata kullanıcısı ile /home/bigdata/bigdata_project/hadoop klasöründe gerçekleştirniz.

[bigdata@mmetincentosos hadoop]$ mkdir gutenberg
[bigdata@mmetincentosos hadoop]$ cd gutenberg
[bigdata@mmetincentosos gutenberg]$ wget http://www.gutenberg.org/files/20417/20417.txt
[bigdata@mmetincentosos gutenberg]$ wget http://www.gutenberg.org/dirs/etext04/7ldvc10.txt
[bigdata@mmetincentosos gutenberg]$ wget http://www.gutenberg.org/files/4300/4300.txt

Dosyalar /home/hadoop/gutenberg klasörüne kopyalayacaktır.

Dosyaları hadoop sistemine kopyalamak için aşağıdaki komut satırını terminalden çalıştırınız.

[bigdata@mmetincentosos hadoop]$ bin/hadoop dfs -copyFromLocal /home/hadoop/gutenberg gutenberg

[bigdata@mmetincentosos bigdata]$ bin/hadoop dfs -ls gutenberg
Found 3 items
-rw-r–r– 1 hadoop supergroup 674762 2013-05-30 16:31 /user/hadoop/gutenberg/20417.txt
-rw-r–r– 1 hadoop supergroup 1573078 2013-05-30 16:31 /user/hadoop/gutenberg/4300.txt
-rw-r–r– 1 hadoop supergroup 1391706 2013-05-30 16:31 /user/hadoop/gutenberg/7ldvc10.txt

Böylece 3 tane dosya hadoop sistemine kopyalanmış olacaktır.
Eğer bu dosyaları namenode üzerinde de görmek istiyorsanız aşağıdaki ekranda olduğu gibi http://localhost:50070/ giriş yapınız.
Burada /user/hadoop/gutenberg klasörlerini seçerseniz ilgili dosyayı listeleyebilirsiniz.

Bugünkü blog yazımız bu kadar. Lütfen, yorumlarınızı bekliyorum.

mmetin