Baş data mühəndisi (Senior data engineer)

ATB Bank
85 Cəlil Məmmədquluzadə küçəsi, Bakı 192/193, Azerbaijan
Tam ştat

Bu gün

Müraciət et

Təsvir

Bankın Data Warehouse və Enterprise Data Platform həllərinin layihələndirilməsi, inkişaf etdirilməsi və optimallaşdırılmasında iştirak etmək;
Core Banking, kart sistemləri, CRM, ödəniş platformaları və digər mənbə sistemlərindən məlumatların vahid data platformasına inteqrasiyasını həyata keçirmək;
Oracle → PostgreSQL data migration proseslərini planlaşdırmaq və icra etmək, məlumatların tamlığı və düzgünlüyünü təmin etmək;
Apache Kafka, Apache NiFi, Apache Spark və Apache Airflow istifadə etməklə production səviyyəli ETL/ELT, batch və streaming data pipeline-ları hazırlamaq, inkişaf etdirmək və idarə etmək;
Məlumatların incremental və CDC əsaslı yüklənməsini, həmçinin SCD Type 1/2 mexanizmlərinin tətbiqini təmin etmək;
Data Warehouse üçün dimensional modelling, Fact/Dimension və Star Schema əsasında data modellərinin hazırlanmasında iştirak etmək;
Böyük həcmli məlumatların emalı üçün scalable, reliable və yüksək performanslı data processing həlləri hazırlamaq;
SQL sorğularını və data pipeline-ları analiz etmək, bottleneck-ləri müəyyənləşdirmək və performance tuning həyata keçirmək;
Data pipeline-ların monitorinqini, troubleshooting və production support proseslərini həyata keçirmək, yaranan problemlərin səbəbini müəyyənləşdirərək operativ həll etmək;
Data quality və validation mexanizmlərinin qurulmasında iştirak etmək və məlumatların tamlığı, dəqiqliyi və consistency-sini təmin etmək;
Metadata, data lineage və data governance proseslərinin tətbiqində iştirak etmək;
Data Lake/Lakehouse və Object Storage həllərinin mövcud data platforması ilə inteqrasiyasında iştirak etmək;
Git və CI/CD yanaşmalarından istifadə etməklə data pipeline və həllərin version control, testing və deployment proseslərini həyata keçirmək;
Data platformasının reliability, scalability, maintainability və security göstəricilərinin davamlı təkmilləşdirilməsində iştirak etmək;
Risk,Retail, Maliyyə, AML və digər biznes və texniki komandalarla əməkdaşlıq edərək biznes tələblərinə uyğun data həlləri hazırlamaq.

Tələblər

Data Engineering və ya Data Warehouse istiqamətində minimum 5 il praktiki iş təcrübəsi;
Data Warehouse və data platformalarının layihələndirilməsi, qurulması və inkişaf etdirilməsi üzrə təcrübə;
PostgreSQL üzrə dərin bilik və real layihələrdə iş təcrübəsi;
Oracle verilənlər bazası ilə işləmə və Oracle-dan PostgreSQL-ə data migration üzrə praktiki təcrübə;
SQL üzrə yüksək səviyyədə bilik, mürəkkəb sorğuların hazırlanması və query optimization bacarığı;
Apache NiFi ilə production səviyyəli data ingestion və ETL/ELT pipeline-larının hazırlanması və idarə olunması təcrübəsi;
Apache Kafka ilə data ingestion, integration, event streaming və real-time məlumat axınlarının qurulması üzrə praktiki təcrübə;
Apache Spark ilə böyük həcmli məlumatların emalı, transformasiyası və optimallaşdırılması üzrə təcrübə;
Apache Airflow vasitəsilə kompleks ETL/ELT workflow-larının hazırlanması, orchestration və scheduling üzrə praktiki bilik;
Batch və streaming data processing prinsipləri, həmçinin Data Warehouse və dimensional modelling yanaşmaları üzrə təcrübə;
Incremental Load, Change Data Capture (CDC), SCD Type 1 və SCD Type 2 yanaşmaları üzrə praktiki bilik;
Data quality, data validation, metadata və data lineage prinsipləri üzrə yaxşı anlayış;
Data pipeline-ların monitorinqi, troubleshooting, performance tuning və optimallaşdırılması üzrə bacarıq;
Git və Linux/Unix mühitində praktiki iş təcrübəsi;
Data Lake/Lakehouse, Ceph və ya S3-compatible Object Storage, Apache Flink, OpenMetadata, CI/CD, data governance və enterprise data architecture üzrə təcrübə üstünlükdür;
Kafka, NiFi, Spark və Airflow texnologiyalarının vahid data platformasında inteqrasiyası üzrə kompleks layihə təcrübəsi üstünlükdür.