Aparıcı data mühəndisi (Lead data engineer)

ATB Bank
85 Cəlil Məmmədquluzadə küçəsi, Bakı 192/193, Azerbaijan
Tam ştat

Bu gün

Müraciət et

Təsvir

Bankın Data Warehouse və data platformalarının qurulması, inkişaf etdirilməsi və optimallaşdırılmasında iştirak etmək;
Core Banking, CRM, kart sistemləri və digər daxili/xarici mənbələrdən məlumatların DWH-a inteqrasiyasını təmin etmək;
Oracle verilənlər bazasından PostgreSQL mühitinə data migration və inteqrasiya proseslərini həyata keçirmək;
Apache NiFi, Kafka, Spark və Airflow texnologiyalarından istifadə etməklə ETL/ELT, batch və real-time data pipeline-lar hazırlamaq və idarə etmək;
DWH üçün Fact/Dimension, Star Schema və Snowflake Schema prinsiplərinə uyğun data modelləri hazırlamaq;
Incremental Load, CDC və SCD Type 1/2 yanaşmalarını tətbiq etmək;
Data pipeline-ların monitorinqini həyata keçirmək, yaranmış problemləri araşdırmaq və performans optimizasiyasını təmin etmək;
Məlumatların keyfiyyəti, tamlığı və uyğunluğunu təmin edən yoxlama və nəzarət mexanizmlərini qurmaq;
Risk, Maliyyə,Retail, AML və digər biznes bölmələrinin ehtiyaclarına uyğun data martların hazırlanmasında iştirak etmək;
Data lineage, metadata, data governance və data architecture standartlarının tətbiqində iştirak etmək;
Git və CI/CD alətlərindən istifadə etməklə data həllərinin versiyalaşdırılması və deployment proseslərinin avtomatlaşdırılmasını təmin etmək;
Data platformasının dayanıqlılığı, miqyaslana bilməsi və informasiya təhlükəsizliyi tələblərinə uyğun fəaliyyətini təmin etmək.

Tələblər

Data Engineering və ya Data Warehouse istiqamətində minimum 3 il praktiki iş təcrübəsi;
Data Warehouse və data platformalarının qurulması, inkişaf etdirilməsi və optimallaşdırılması üzrə təcrübə;
PostgreSQL üzrə dərin bilik və real layihələrdə iş təcrübəsi, Oracle verilənlər bazası ilə işləmə bacarığı;
Oracle-dan PostgreSQL-ə data migration və sistemlərarası məlumat inteqrasiyası üzrə praktiki təcrübə;
Apache NiFi ilə data ingestion və ETL/ELT pipeline-larının qurulması və idarə olunması təcrübəsi;
Apache Kafka ilə data integration, event streaming və real-time məlumat axınlarının qurulması üzrə təcrübə;
Apache Spark ilə böyük həcmli məlumatların emalı və transformasiyası üzrə praktiki bilik;
Apache Airflow vasitəsilə data pipeline-ların orchestration, scheduling və dependency management proseslərinin idarə olunması təcrübəsi;
Batch və real-time data processing prinsipləri, həmçinin Data Warehouse modelləşdirməsi — Fact/Dimension, Star Schema və Snowflake Schema üzrə bilik;
Incremental Load, Change Data Capture (CDC), SCD Type 1 və SCD Type 2 yanaşmaları üzrə praktiki bilik;
Data pipeline-ların monitorinqi, troubleshooting və performance optimization üzrə bacarıq;
Git, CI/CD prinsipləri və Linux/Unix mühitində işləmə təcrübəsi;
Data architecture, data integration və distributed data processing prinsipləri üzrə yaxşı anlayış;
Data Lake/Lakehouse, Ceph və ya S3-compatible Object Storage, Apache Flink və OpenMetadata kimi texnologiyalarla iş təcrübəsi üstünlükdür;
Data quality, data lineage, metadata management və data governance, həmçinin Kafka + NiFi + Spark + Airflow inteqrasiyası üzrə kompleks layihə təcrübəsi üstünlükdür.