Big Data Eğitimi

Big Data Eğitimi Hakkında

Günümüzde teknolojinin gelişmesi ile birlikte artan internet kullanıcılarının verileri bilgi çöplüğü olarak anılmaya başladı. Bu çöplükten anlamlı işlenebilir bilgiler çıkarılmasını sağlamak için yazılım şirketleri big data olgusunu ortaya çıkardı. Big data internet kullanıcılarının sosyal medya paylaşımları, video beğenileri, takip ettikleri gibi farklı kaynaklardan alınan verilerin işlenmiş halidir.

Özellikle satış alanında faaliyet gösteren firmaların son kullanıcılara müşteri memnuniyeti sağlamak amacıyla müşteri verilerinin sunucularda saklanması büyük veri çöplüğünün oluşmasına ve bu çöplükten anlamlı işlenebilir bilgiler çıkarılması için de big data kullanılması kaçınılmaz olmuştur. Sizde AcademyPeak’in sunduğu Big Data eğitimleri ile işlenebilir veriler ortaya çıkarın şirketiniz için daha sağlıklı kararlar alın.

Big Data Eğitim İçeriği

Büyük veri (big data) ortamının kurulması

• Örnek Bir veri setini tablo formatında Hadoop’a yüklemek

    Açık kaynaklı adult veri setini indirme

    Hive web arayüzü kullanılarak veri setini tablo olarak kaydetme

    Kaydedilen tablo üzerinde basit sorgulamalar yapma

• Büyük veri teorisi

    Büyük veri ve ortaya çıkış sebepleri

    Büyük veri kaynakları

    Büyük veri ile başa çıkmanın zorlukları

    Büyük veri kullanım alanları

    Büyük verinin karakteristikleri

    Veri artış tahmini ve kritik veri trendi

    Büyük veri işlemede kullanılan donanımları anlama

    Bir çok bilgisayarı birlikte kullanmanın zorlukları

    Büyük veriyi doğuran sebepler ve onu işlemeyi kolaylaştıran gelişmeler

    Büyük veri tanımı

    Büyük veri ve büyük veri yeteneklerine sahip olmanın önemi

• Hadoop genel tanıtımı

    Hadoop temel özellikleri

    Hadoop ve klasik sistem mimarisi karşılaştırma

    Hadoop’un hataya karşı dayanıklılığı (fault tolerance) nasıl oluyor?

    Hadoop nasıl dağıtık işleme yapar?

    Hadoop ölçekleme (scaling)

    Hadoop Ekosistemini oluşturan bileşenlerin özet tanıtımı

• Hadoop Distributed File System (HDFS) Teorisi

    HDFS nedir? HDFS öne çıkan özellikler

    HDFS öne çıkan özellikler

    Mekanik disk ve HDFS blokları

    HDFS nasıl çalışır animasyon

    NameNode ve DataNode kavramları

    HDFS’den veri okuma animasyon

    HDFS’e veri yazma

    HDFS hatalara karşı nasıl ayakta kalır? (Fault tolerance)

    HDFS Federation nedir?

    HDFS High Availability nedir?

    HDFS’e hangi yöntemlerle erişiriz?

• HDFS Uygulaması

    Temel linux komutları: dizin değiştirme, bulunduğu dizini yazdırma, kullanıcıları listeleme

    Home dizinleri tanıma: Linux home dizini ve hdfs home dizini karşılaştırma

    Linux ve Hadoop’da superuser kavramı

    Ambari FilesView arayüzünden kişisel bilgisayardaki bir veriyi Hadoop’a yükleme

    Linux ve Hadoop dosya/dizin erişim yetkilerini düzenleme, dosya sahipliğini değiştirme

    Hadoop hdfs’ten bir dosyayı komut ile silme

    hdfs komutları ile linux dosya sisteminden hdfs’e veri aktarma

• Apache YARN

    YARN nedir, ne işe yarar?

    Hadoop-1 ve Hadoop-2, YARN Hadoop’a neler kazandırdı?

    YARN üzerinde çalışabilen çatılar (Frameworks)

    ResurceManager NodeManager ve ApplicationMaster nedir?

    Animasyon ile bir uygulamanın örnek YARN yolculuğu gösterimi

    Capacity Scheduler ile kaynak tahsisi nasıl yapılır?

    YARN Kuyruk mekanizması nasıl çalışır? Örnek bir YARN kuyruğu

    Kullanıcı ve gruplar YARN kuyrupunda nasıl sıraya girer?

    Kim ne kadar, ne zaman kaynak alabilir?

• MapReduce nedir?

    Kuruyemiş sayma örneği ile teorinin mantığının kavranması

    Apache Hive ve Hive uygulamaları

    Hive’a komut satırından erişim

    Ambari HiveView ile Hive kullanımı

    Mysql veritabanına bağlanıp Hive metadata şemasını inceleme

    Hive external table yaratma

    Örnek HiveQL sorguları

• Apache Tez teorik anlatım

    Presto ile Büyük Veri Sorgulamak

    Presto Nedir?

    Öne çıkan özellikleri

    Presto kullanan firmalar

    Presto mimarisi

    Presto bileşenleri

    Bir presto sorgusu nasıl çalışır?

    Hadoop cluster üzerinde Presto

• Apache Zeppelin
• Apache Spark Giriş
• Spark Structured API Teori ve Uygulaması
• Spark Structured API PySpark
• Spark Low Level(RDD) API Teori ve Uygulaması
• Spark ile Makine Öğrenmesi Giriş
• Spark ile Makine Öğrenmesi Sınıflandırma Uygulaması
• Apache Sqoop Teori ve Uygulaması

    Sqoop ile Mysql’den Hadoop HDFS’e veri aktarımı

    Sqoop ile Hadoop HDFS’den Mysql veri tabanına veri çıkarılması

• Kafka Teorisi
• Apache NiFi Kurulum, Teori ve Uygulaması
• Hadoop Büyük Veri Cluster Yönetimi ve Güvenliği

    Çok sunuculu bir cluster üzerinde gezinti

    Hadoop Güvenlik Giriş

    Apache Ranger ile Hive Erişim Yetkileri Düzenleme

    Apache Ranger ile Hive Erişim Yetkilerini Düzenleme (Sütun Bazlı)

• Windows Üzerinde Cluster için Kod Geliştirme, Kod Kullanma

    Windows 10 Java8 Kurulumu

    Windows 10 Git Giriş ve Kurulum

    Windows 10 Apache Maven Kurulumu

    Windows 10 Spark Kurulum

    Windows 10 IntelliJ IDEA Kurulum

    IntelliJ IDEA ile Basit Bir Spark Uygulaması

• Gerçek Zamanlı/Akan Veri İşleme (Streaming)

    Gerçek Zamanlı/Akan Veri İşleme (Streaming) Teori

    Apache Storm Giriş

    Spark Streaming Giriş: Eski-Yeni API Karşılaştırma

    Streaming QuickExample

    SparkStreaming Wordcount

    Spark Streaming QuickExample

    Spark DStream kaynaklar, start, stop, checkpoint, window

    Spark FileStream, Window Operasyonu

    Spark FileStream, countByWindow, reduceByKeyAndWindow, checkpoint

• Büyük Veri Tabanları

    CAP Teoremi

    Apache HBase Teorisi

    Apache HBase Uygulama