2021-08-14

Fun project using batch and stream processing

Sharing fun project using several scenarios would be useful for whom interested in Apache Spark usages in real projects. Actually it depends on the projects main aim, in some cases it is used for various processes such as ETL/ELT , anomaly detection, ML, graph analysis, stream processing etc.

Batch and stream processing

 

In our project I have used Spark for both stream and batch processing in Scala within 5 separate cases.

2021-04-11

Using Xcom with Python operators on Apache Airflow

 To interact with internal operators we do need to use results like as global variables, instead in Apache Airflow variables and XCom (cross communication) are used. While returning values, it is sometimes needed to call returned values from other functions. In Apache Airflow returned values are stored externally, stated external storage is key-value metadata database. 

 

2021-01-10

Scala notları__Koleksiyonlar

 


Scala ile ilgili önceki paylaşımımda koleksiyonları değerlendirmiştim, bu yazımda da benzer konuyu işleyeceğim, ama özet olarak önemli bulduğum noktalara değineceğim.

Scala`da herşeyin bir nesne olduğu ve dolayısıyla her nesnenin bir method ile işlem yaptığını yeniden belirteyim. Scala - Scalable(ölçeklenebilir) Language (programlama dili) olması nedeni ile diğer dillere nazaran daha esnetilebilir özelliklere sahiptir, bizim koleksiyonlar da istisna değil bu konuda.