LLM Fine-Tuning & Evaluation Engineer

İnnovasiya və Rəqəmsal İnkişaf Agentliyi ölkənin rəqəmsal transformasiya strategiyasına uyğun olaraq, Azərbaycan dili və dövlət xidmətləri üçün yüksək keyfiyyətli Böyük Dil Modellərinin (LLM) hazırlanması, təkmilləşdirilməsi və qiymətləndirilməsi məqsədilə LLM Fine-Tuning & Evaluation Engineer vakansiyasını elan edir.

• Böyük Dil Modellərinin (LLM) müxtəlif istifadə ssenarilərinə uyğun fine-tuning proseslərinin həyata keçirilməsi;
• Dövlət xidmətləri və Azərbaycan dili üzrə yüksək keyfiyyətli datasetlərin hazırlanması, təmizlənməsi və optimallaşdırılması;
• Fine-tuning nəticələrinin obyektiv qiymətləndirilməsi və model performansının davamlı olaraq yaxşılaşdırılması;
• Müxtəlif yanaşmalar (Fine-Tuning, RAG, Prompt Engineering və Guardrails) arasında düzgün texniki həllin seçilməsi;
• GPU klasterlərində model təlimi, optimallaşdırılması və istehsal (production) mühitinə hazırlanması;
• Təcrübələrin (experiments), modellərin və datasetlərin izlənilə bilən və təkrarlana bilən (reproducible) şəkildə idarə olunmasının təmin edilməsi.

Biznes və ümumi bacarıqlar:

• Machine Learning və ya LLM sahəsində minimum 2 il real iş təcrübəsi;
• Analitik düşünmə və mürəkkəb problemləri sistemli şəkildə həll etmə bacarığı;
• Texniki həllərin biznes ehtiyaclarına uyğunlaşdırılması bacarığı;
• Krosfunksional komandalarla effektiv əməkdaşlıq və Agile metodologiyaları ilə işləmə təcrübəsi;
• Elmi məqalələri sürətlə analiz edib praktik həllərə çevirmək bacarığı;
• Fine-tuning yanaşmasının hansı problemləri həll edə biləcəyini və edə bilməyəcəyini düzgün qiymətləndirmək bacarığı.

Texniki bacarıqlar:

• Python proqramlaşdırma dili üzrə yüksək səviyyədə bilik;
• PyTorch framework-u ilə iş təcrübəsi;
• Transformer arxitekturasının (Attention, RoPE, Tokenization, Context Window, KV Cache) dərin anlayışı;
• Supervised Fine-Tuning (SFT), LoRA, QLoRA, DPO və digər Preference Tuning metodları ilə praktiki təcrübə;
• Hugging Face ekosistemi (Transformers, PEFT, TRL, Datasets, Accelerate) ilə işləmə bacarığı;
• Axolotl, LLaMA-Factory, Unsloth və ya ekvivalent fine-tuning framework-ləri ilə təcrübə;
• Distributed GPU Training (DeepSpeed, FSDP, NCCL) texnologiyaları üzrə praktiki bilik;
• Slurm mühitində GPU resurslarının idarə olunması (sbatch, srun, multi-node job management, restart/failure handling);
• H100, H200 və ya ekvivalent yüksək performanslı GPU-larla iş təcrübəsi;
• BF16/FP16, Flash Attention, Gradient Checkpointing və Quantization texnologiyalarını tətbiq etmək bacarığı;
• Dataset Engineering üzrə təcrübə (Cleaning, Deduplication, Contamination Detection, Formatting və Quality Scoring);
• Multilingual və Low-resource dillər üzrə model fine-tuning təcrübəsi;
• Tokenizer analizi (Vocabulary Coverage, Fertility və Token Efficiency Analysis);
• LLM qiymətləndirmə metodları üzrə praktiki bilik:
• Base və Fine-tuned modellərin müqayisəsi;
• Domain-specific Evaluation Dataset-lərinin hazırlanması;
• LLM-as-a-Judge yanaşması;
• Human Evaluation;
• Regression Testing;
• Hallucination və Grounding göstəricilərinin ölçülməsi;
• Fine-Tuning, Retrieval-Augmented Generation (RAG), Prompt Engineering və Guardrails yanaşmalarının düzgün seçilməsi bacarığı;
• MLflow və ya Weights & Biases (W&B) vasitəsilə experiment tracking təcrübəsi;
• Model, dataset və experiment lineage prinsipləri və reproducibility anlayışı;
• vLLM platformasında modelin production mühitinə çıxarılması üzrə təcrübə;
• Docker, Linux və Git alətləri ilə sərbəst işləmək bacarığı;
• Hugging Face checkpoint-dən başlayaraq distributed fine-tuning, evaluation, merged/export edilmiş checkpoint və production inference prosesini tam şəkildə həyata keçirmə təcrübəsi.

Üstünlük verilir:

• Continued Pre-training və Domain Adaptive Pre-training təcrübəsi;
• Model Merging texnikaları;
• Long Context Tuning;
• Multimodal Model Fine-Tuning;
• Synthetic Data Generation;
• Knowledge Distillation;
• Speculative Decoding və digər inference optimallaşdırma texnikaları;
• LLM Safety, Guardrails və Red Teaming sahəsində təcrübə;
• Dövlət, hüquq və ya tənzimlənən (regulated) sahələr üçün AI həllərinin hazırlanması təcrübəsi.