Apache Spark Eğitimi

Eğitim İçeriği

• Kurulumlar
• Temel Scala
• Scala Başlangıç Eğitimi

Scala giriş ve kod geliştirme ortamılarının ayarlanması
Scala DataTypes
Scala Maths
Scala PrintFormat, çıktıları şekillendirme
Scala conditionals ifelse
Scala döngüler (Loops)
Scala strings
Scala Arrays
Scala Functions
Scala RandomNumbers
Scala Maps
Scala Tuples
Scala Lists
Scala Sets
Scala Classes
Spark Vectors
Spark Matrices
Değerlendirme Testi

• Temel Spark
• Spark Low Level (RDD) API Basic Transformations ve Actions

Bölümhakkında açıklamalar

Low Level (RDD) API giriş

RDD Wordcount örneği

SparkContext, SparkConf ve RDD oluşturma

RDD Basic Transformations ve Actions Teori

RDD basic transformations: flatMap, filter, distinct vb.

İkili RDD Transformations union, intersect, subtract

RDD Basic Actions: take, collect, aggregate,reduce vb.

RDD Intellij IDEA ile map ve flatMap Örneği

RDD Jupyter ile map ve flatMap Örneği

Spark RDD Basic Transformation ve Action Değerlendirme Testi

• Spark Low Level (RDD) API PairRDD Transformations

PairRDD Transformations Teorik

PairRDD Transformations

Filter ile Ürünleri Bulma

İptal Edilen Toplam Satış Miktarı

mapValues ve ReduceByKey ile Mesleğe Göre Ortalama Maaş

Hadoop Ekosistemini oluşturan bileşenlerin özet tanıtımı

• Spark Low Level API: Broadcast Variables ve Accumulators

Broadcast Variables

Accumulators

Cache ve Persistence

• Spark High Level (Dataframe-SQL-Dataset) API

Dataframe, Dataset, SQL, Şema ve Partitions Kavramları

Spark Çalışma Planı, Transformation & Action, Lazy Evaluation

Spark Kütüphaneleri İnceleme

Dataframe Giriş: SparkSession, csv okuma, explain

Dataframe ile Wordcount Örneği

CSV Dosyası Üzerinde SQL Sorgusu Çalıştırmak

Dataframe String Fonksiyonları

Temizlenen Veriyi Diske Yazmak

Elle Şema Oluşturmak

Tarih-Saat Operasyonları

• Veriyi Anlamak, Keşfetmek Ve Veri Ön Hazirliği

Veriyi Anlamak, Veri Keşfi ve Ön İşleme

• Veriyi Anlamak ve Keşfetmek (Data Understanding)

Veri Setini Tanımak ve Keşfetmek

• Veri Temizliği ve Ön Hazırlığı (Data Preparation)

Veri Temizliği ve Ön Hazırlığı

• Pipeline

Pipeline Teori

Pipeline Uygulama

• Apache Spark İle Makine Öğrenmesi

Makine Öğrenmesi Giriş Teori

• Regresyon

Regresyon Giriş Teori

Basit Lineer Regresyon İş Problemi ve Veryi Tanımak

Basit Lineer Regresyon Uygulama

• Sınıflandırma

Hata Matrisi ve Accuracy

Lojistik Regresyon Teori

Lojistik Regresyon: İş Problemi ve Veriyi Anlamak

Lojistik Regresyon Uygulama

Karar Ağacı Teori

Karar Ağacı Uygulama

Random Forest Teori

Random Forest Uygulama

Gradient-Boosted Tree Teori

Gradient-Boosted Tree Uygulama

• Kümeleme

Kümeleme Teori

Kümeleme Uygulama

• Model Doğrulama ve Model Başarı Değerlendirme Yöntemleri

Sınama Seti Yaklaşımı (Train Validation Split)

K-Katlı Çapraz Doğrulama (Cross Validation)

Leave-one-out ve Bootstrap Yöntemi

Model Doğrulama ve Model Başarı Değerlendirme Yöntemleri

• Apache Spark İle Akan Veri İşleme

Eski API: Spark Streaming

StreamingContext

Discretized Streams (DStreams)

Input DStreams ve Receivers

Transformations on DStreams

DataFrame and SQL Operations

• Apache Spark Streaming Uygulamaları

Netcat ile Gönderilen Veriyi Dinlemek

Netcat ile okunup gönderilen Dosyaları Dinlemek

Streaming olarak Dosya Okuma

Streaming Wordcount

Apache Kafka Entegrasyonu ve Kafka’dan Veri Okumak

• Yeni API: Spark Structured Streaming

Temel Kavramlar

Creating streaming DataFrames and streaming Datasets

Input Sources

Operations on streaming DataFrames/Datasets

DataFrame and SQL Operations

Continuous Processing

• Spark Structured Streamig Uygulamaları

Netcat ile Gönderilen Veriyi Dinlemek

Netcat ile okunup gönderilen Dosyaları Dinlemek

Streaming olarak Dosya Okuma

Streaming Wordcount

Apache Kafka Entegrasyonu ve Kafka’dan Veri Okumak