Merhaba,
Bu blog yazımda “TERADATA ASTER DISCOVERY PLATFORM” dan
bahsetmek istiyorum.
Aslında ASTER konusunda bir yazı dizisi şeklinde yapmayı planlıyorum.
Tek bir blog ile bu kadar geniş bir konu bitmez tabi ki.
Bundan sonraki aster yazı serisinde teknik konulara girip, örnekler yapıp (churn – npath analizleri vs.vs. ) sizin organizasyonunuzda aster konumlanır mı tartışmak ve bilgi vermek isterim.
Aslında ASTER konusunda bir yazı dizisi şeklinde yapmayı planlıyorum.
Tek bir blog ile bu kadar geniş bir konu bitmez tabi ki.
Bundan sonraki aster yazı serisinde teknik konulara girip, örnekler yapıp (churn – npath analizleri vs.vs. ) sizin organizasyonunuzda aster konumlanır mı tartışmak ve bilgi vermek isterim.
ASTER konusunda yazma fikrini bu konuda Türkçe bir kaynak
benim bildiğim olmadığından ve konu hakkında naçizane bilgilerimi paylaşmak
istediğimden yazmak istedim.
Mevcutta kullandığınız analitik ya da discovery tool’ larına
belki bir alternatif olup, incelemeniz için ya da aklınızın bir köşesinde ASTER
adında bir platform da var, inceleyelim demeniz için ilk başlangıcı yapalım.
Alıntıdır : Teradata
sitesinden
ASTER
nedir?
“”The Teradata Aster solution utilizes Aster's patented SQL-MapReduce® to
parallelize the processing of data
and applications and deliver rich
analytic insights through the simplicity of SQL and business intelligence
tools. This SQL integration makes
Aster easy enough for business analysts, but powerful enough for the most
sophisticated data scientists in any
organization. “”
Burada bazı
önemli anahtar kelimeleri bold yaptım.
Aster’ in en büyük avantajlarından
biri bir storage ’ a sahip olmasıdır.
Yani siz bir aster appliance
aldığınızda size verilerinizin sonradan analitik fonksiyonlarınızın
kullanabileceği dataların saklandığı bir disk ortamı sunmaktadır.
Doğru bir benzetme olur mu bilmiyorum ama anlaşılması için: bu disk ortamı hdfs gibi distributed gibi çalışmaktadır.
Doğru bir benzetme olur mu bilmiyorum ama anlaşılması için: bu disk ortamı hdfs gibi distributed gibi çalışmaktadır.
Storage olmasının anlamı nedir?
Free olan bir tool’ dan örnek vereyim ki, paralı ürünleri karşılaştırmamış olayım.
Free olan bir tool’ dan örnek vereyim ki, paralı ürünleri karşılaştırmamış olayım.
Örneğin siz R kullanmak
istediğinizde, R fonksiyonlarını çalıştıracağınız data source sistemlerinde yer
almaktadır.
Mesela hadoop sisteminde yer alır.
R bir storage ya da kendine ait bir diski yoktur.
(Artık sizin kullandığınız discovery ya da analitik tool’ unda storage var mı karşılaştırabilirsiniz)
Aster’ de ise discovery yapılacak veri source sistemlerinden çekilir (etl), aster appliance sistemine aktarılır ve artık verileriniz aster üzerindedir.
Artık aster üzerinde olan bu verileriniz üzerinde, aster fonksiyonları kullanabilirsiniz.
Mesela hadoop sisteminde yer alır.
R bir storage ya da kendine ait bir diski yoktur.
(Artık sizin kullandığınız discovery ya da analitik tool’ unda storage var mı karşılaştırabilirsiniz)
Aster’ de ise discovery yapılacak veri source sistemlerinden çekilir (etl), aster appliance sistemine aktarılır ve artık verileriniz aster üzerindedir.
Artık aster üzerinde olan bu verileriniz üzerinde, aster fonksiyonları kullanabilirsiniz.
Kendi diski - storage olmasının avantajı nedir?
Tüm analitik fonksiyonlar vs. aster sunucularında – appliance üzerinde yapılır.
Aster anlatılırken sürekli olan bu tool’ un bir discovery platformu olduğundan bahsedilir.
Yani siz en iyi ya da optimum analitik sonucu bulana kadar sürekli olarak veriyi aster üzerinde inceler, fonksiyonları çalıştırır ve nihayetinde bir sonuç bulduktan sonra bu sonucu iş birimleri ile ya da patronlarınız ile paylaşırsınız.
Bu bir sürekli döngü olarak çalışır.
Ta ki en iyi – optimum sonucu bulana kadar.
Siz kaynak taraftan (teradata db, oracle db, sql server db, hadoop, vs.vs), incelenmesini – discovery yapılmasını – analitik fonksiyonları çalıştırmasını istediğiniz verilerinizi aster appliance sistemine atarsınız.
Organizasyonunuz gereği analitik birimleriniz firmanızda vardır.
Artık firmanızda ki analitik grubunu verilerin aster ortamında olduğunu ve buradan istenilen discovery işlemleri yapılabileceği belirtilir.
Tüm analitik fonksiyonlar vs. aster sunucularında – appliance üzerinde yapılır.
Aster anlatılırken sürekli olan bu tool’ un bir discovery platformu olduğundan bahsedilir.
Yani siz en iyi ya da optimum analitik sonucu bulana kadar sürekli olarak veriyi aster üzerinde inceler, fonksiyonları çalıştırır ve nihayetinde bir sonuç bulduktan sonra bu sonucu iş birimleri ile ya da patronlarınız ile paylaşırsınız.
Bu bir sürekli döngü olarak çalışır.
Ta ki en iyi – optimum sonucu bulana kadar.
Siz kaynak taraftan (teradata db, oracle db, sql server db, hadoop, vs.vs), incelenmesini – discovery yapılmasını – analitik fonksiyonları çalıştırmasını istediğiniz verilerinizi aster appliance sistemine atarsınız.
Organizasyonunuz gereği analitik birimleriniz firmanızda vardır.
Artık firmanızda ki analitik grubunu verilerin aster ortamında olduğunu ve buradan istenilen discovery işlemleri yapılabileceği belirtilir.
ASTER VM
Var mi?
Evet var.
Yani aster nedir bir bakayım, denemeler yapayım diyorsanız aşağıdaki siteden vm yükleyebilirsiniz.
Kesinlikle vm kullanmanızı ve denemeler yapmanızı tavsiye ederim.
Gerçekten güzel hazırlanmış bir tutorial bulunmaktadır.
Step by step aster üzerinde neler yapabileceğiniz anlaşılır ve güzel bir sırayla anlatılmıştır.
Yani aster nedir bir bakayım, denemeler yapayım diyorsanız aşağıdaki siteden vm yükleyebilirsiniz.
Kesinlikle vm kullanmanızı ve denemeler yapmanızı tavsiye ederim.
Gerçekten güzel hazırlanmış bir tutorial bulunmaktadır.
Step by step aster üzerinde neler yapabileceğiniz anlaşılır ve güzel bir sırayla anlatılmıştır.
Aster Vm
indirmek için : http://www.teradata.com.tr/Teradata-Aster/Teradata-Aster-Express/?LangType=1055&LangSelect=true
Çalışmış
olduğum firmada aster ile ilgili bilgi verirken aşağıdaki bilgileri çok kullanmaktayım.
Aster üzerinde çalışma yapmak
istediklerinde “”Kabul Etmemiz Gereken Bazı Ön Bilgiler: “” başlığında
aşağıdaki bilgileri paylaşıyorum.
• Aster
hadoop değildir. Analitik
fonksiyonları barındıran bir appliance’ dır.
• Aster,
teradata firmasının hadoop çözümü değildir.
• Teradata
firmasının hadoop appliance’ ı ayrıdır.
Hortonwork dağıtımını kullanır.
• Aster’ e
veriyi hem dbms’ lerden hem de istenilen hadoop vs. ortamından veri aktarımı
yapılabilir.
•
Aster bir discovery platformudur.
• Discovery,
teradata aster ile bir çeşit veri keşfi yapılır.
•
Discovery işlemlerinde döngüsel olarak veri aktarımı,
veri incelemesi, veri keşfi sürekli gerçekleştirilir.
• Aster’ e
discovery için aktarılan veriler, veri keşfi sonunda silinebilir.
Artık bir sonuca varılmıştır ve bu sonuç iş birimlerine rapor olarak sunulur.
Yeni bir analiz işlemi için aster’ de bulunan veriler silinebilir ve yeni aktarımlar yapılabilir.
Artık bir sonuca varılmıştır ve bu sonuç iş birimlerine rapor olarak sunulur.
Yeni bir analiz işlemi için aster’ de bulunan veriler silinebilir ve yeni aktarımlar yapılabilir.
Burada bold olarak işaretlediğim
maddeler aster’ in asıl işini yansıtmaktadır. Aster ile birlikte discovery ,
döngüsel işlem vs. çok kullandığımız terimlerdir.
Nedir bu discovery – döngüsel yapı?
Kendi diski - storage olmasının
avantajı nedir? başlığı altında
değinmiştim.
“”“Aster anlatılırken sürekli olan bu tool’ un bir discovery platformu olduğundan bahsedilir.
Yani siz en iyi ya da optimum analitik sonucu bulana kadar sürekli olarak veriyi aster üzerinde inceler, fonksiyonları çalıştırır ve nihayetinde bir sonuç bulduktan sonra bu sonucu iş birimleri ile ya da patronlarınız ile paylaşırsınız.
Bu bir sürekli döngü olarak çalışır. Ta ki en iyi – optimum sonucu bulana kadar. “”
“”“Aster anlatılırken sürekli olan bu tool’ un bir discovery platformu olduğundan bahsedilir.
Yani siz en iyi ya da optimum analitik sonucu bulana kadar sürekli olarak veriyi aster üzerinde inceler, fonksiyonları çalıştırır ve nihayetinde bir sonuç bulduktan sonra bu sonucu iş birimleri ile ya da patronlarınız ile paylaşırsınız.
Bu bir sürekli döngü olarak çalışır. Ta ki en iyi – optimum sonucu bulana kadar. “”
Resimden de
anlaşılacağı üzere sırayla tüm adımlar step by step yapılır.
En iyi çözümü – sonucu – çıktıyı – faydalı görülen çıktı bulunana kadar bu adımlar döngüsel olarak devam eder.
Buna discovery süreci de denir. Aslında aster’ de bir discovery süreci işlemektedir.
En iyi çözümü – sonucu – çıktıyı – faydalı görülen çıktı bulunana kadar bu adımlar döngüsel olarak devam eder.
Buna discovery süreci de denir. Aslında aster’ de bir discovery süreci işlemektedir.
Belki de en önemli ve
en can alıcı soruya geldik.
Neden Ticari Bir
Ürün Kullanayım?
Piyasada hem
free hem de paralı olan analitik - istatistik ve discovery tool’ ları
bulunmaktadır.
Free’ ler benim bildiğim R – weka –rapidminer vs.vs. , paralı olanlar ise sas, spss vs.vs.
Bu soruya cevap verirken aster tarafından olaya bakmadan diğer free ve paralı ürünleri düşünerek cevap aramamız lazım.
Sizin firmada neden paralı ürün kullanılıyor?
Siz free tool’ larla en önemlisi kendiniz custom bir şeyler yazarak analitik-istatistik-discovery işlemleri yapamaz mısınız?
Free’ ler benim bildiğim R – weka –rapidminer vs.vs. , paralı olanlar ise sas, spss vs.vs.
Bu soruya cevap verirken aster tarafından olaya bakmadan diğer free ve paralı ürünleri düşünerek cevap aramamız lazım.
Sizin firmada neden paralı ürün kullanılıyor?
Siz free tool’ larla en önemlisi kendiniz custom bir şeyler yazarak analitik-istatistik-discovery işlemleri yapamaz mısınız?
Sorunun cevabı
basit aslında.
Ticari ürünlerde destek vardır, bir şeyleri yapamazsanız soracağınız bir firma elemanı vardır (muhatabınız vardır), pek çok işinizi kolaylaştıran fonksiyonları vardır, diğer ticari ürünlerle entegredir (raporlama tool’ ları, rdbms vs.vs) vs. vs.
Çok fazla detaya girmeyeceğim.
Ticari ürünlerde destek vardır, bir şeyleri yapamazsanız soracağınız bir firma elemanı vardır (muhatabınız vardır), pek çok işinizi kolaylaştıran fonksiyonları vardır, diğer ticari ürünlerle entegredir (raporlama tool’ ları, rdbms vs.vs) vs. vs.
Çok fazla detaya girmeyeceğim.
Peki neden
aster? Aster neyi kolaylaştırmaktadır?
Kendi eğitim
notlarımda da kullandığım aşağıdaki slaytı paylaşıyorum.
Hikayeleştirme ile olayı anlatayım.
Eski blog yazılarımı takip edenler bilirler.
Pentatloncu olarak
tarif ettiğim hadoop’ cu arkadaşımıza patronları şunu söyler:
“”“hadoop’ a aktardığın ve hive-impala-spark ile sorgu sonuçlarını paylaştığın ve path analizine de uygun olan bu verimizi yukarıda görüldüğü şekilde bir grafik yapıp üst yönetime sunalım.
Yani müşteri datamızda, müşterilerimizin son -N- haretini al ve müşteri davranışını ya da churn durumun gösterir yukarıdaki gibi bir grafik ile bize sunum yap!”””
“”“hadoop’ a aktardığın ve hive-impala-spark ile sorgu sonuçlarını paylaştığın ve path analizine de uygun olan bu verimizi yukarıda görüldüğü şekilde bir grafik yapıp üst yönetime sunalım.
Yani müşteri datamızda, müşterilerimizin son -N- haretini al ve müşteri davranışını ya da churn durumun gösterir yukarıdaki gibi bir grafik ile bize sunum yap!”””
Slaytta görüleceği üzere bunu tek bir sql statement ile yapmak aster’
de mümkündür.
Select * from nPathViz….
ile devam eden ve eski alışık olduğumuz sql syntax’ ına çok benzeyen bir yapı ile grafikleri ve sonuçları yapmanız mümkündür.Yanı tıpkı hive gibi select yazıyorsunuz arka planda bu otomatik map-reduce çevrilmektedir.
Select * from nPathViz….
ile devam eden ve eski alışık olduğumuz sql syntax’ ına çok benzeyen bir yapı ile grafikleri ve sonuçları yapmanız mümkündür.Yanı tıpkı hive gibi select yazıyorsunuz arka planda bu otomatik map-reduce çevrilmektedir.
Aster’ de Kullanabileceğim Fonksiyonlar Nelerdir?
Aşağıda listesini paylaştığım başlıklar altında asterde
fonksiyonlar yer almaktadır.
·
Time Series, Path, and Attribution Analysis
·
Pattern Matching with nPath
·
Statistical Analysis
·
Text Analysis
·
Cluster Analysis
·
Naive Bayes
·
Decision Trees
·
Association Analysis
·
Graph Analysis
·
Data Transformation
Eğer bu konuda çalışma
yapmak isterseniz:
sizlere naçizane tavsiyem, aster VM indirin ve ellerinizi kirletin.
Yine bunu mühendisçe ölçüm yöntemlerinizle artılarını – eksiklerini – firmanıza uygun mu? – işlerinize uygun mu? PoC şeklinde çalışmalar yapın.
sizlere naçizane tavsiyem, aster VM indirin ve ellerinizi kirletin.
Yine bunu mühendisçe ölçüm yöntemlerinizle artılarını – eksiklerini – firmanıza uygun mu? – işlerinize uygun mu? PoC şeklinde çalışmalar yapın.
ASTER konusunu tek bir blog yazısına sığdırmak haksızlık olur. Bu konuda daha çok yazılarım olacaktır.
İlk başlangıcı yapmış olduk.
Bugünkü blog yazımız bu
kadar.
Bir sonraki blog yazımda görüşmek dileğiyle.
Bir sonraki blog yazımda görüşmek dileğiyle.
Lütfen, yorumlarınızı bekliyorum.
mmetin
Hiç yorum yok:
Yorum Gönder