Sharing fun project using several scenarios would be useful for whom interested in Apache Spark usages in real projects. Actually it depends on the projects main aim, in some cases it is used for various processes such as ETL/ELT , anomaly detection, ML, graph analysis, stream processing etc.
In our project I have used Spark for both stream and batch processing in Scala within 5 separate cases.
To interact with internal operators we do need to use results like as global variables, instead in Apache Airflow variables and XCom (cross communication) are used. While returning values, it is sometimes needed to call returned values from other functions. In Apache Airflow returned values are stored externally, stated external storage is key-value metadata database.
 |
Scala ile ilgili önceki paylaşımımda koleksiyonları değerlendirmiştim, bu yazımda da benzer konuyu işleyeceğim, ama özet olarak önemli bulduğum noktalara değineceğim.
Scala`da herşeyin bir nesne olduğu ve dolayısıyla her nesnenin bir method ile işlem yaptığını yeniden belirteyim. Scala - Scalable(ölçeklenebilir) Language (programlama dili) olması nedeni ile diğer dillere nazaran daha esnetilebilir özelliklere sahiptir, bizim koleksiyonlar da istisna değil bu konuda.
