DATA ENGINEER – MICROSOFT AZURE/FABRIC/DATABRICKS
Posizione
Siamo alla ricerca di Data Engineer esperti nell’ecosistema Microsoft Azure con competenze su Databricks e Fabric. I candidati ideali avranno una solida esperienza nei processi di ETL e dovranno essere autonomi nella gestione di grandi volumi di dati. Esperienze in data ingestion e processamento in tempo reale saranno considerate un vantaggio.
Requisiti
- Almeno 3 anni di esperienza in ruoli simili, utilizzando lo stack MS Azure;
- Competenze avanzate in machine learning, con la capacità di sviluppare modelli autonomamente e integrare modelli complessi su piattaforme Azure;
- Ottima conoscenza di Python;
- Esperienza in PySpark;
- Esperienza nella progettazione e gestione di pipeline ETL complesse con Azure Data Factory;
- Familiarità con strumenti e piattaforme di big data come Databricks, Azure Synapse e Azure Fabric;
- Esperienza con database SQL e NoSQL;
- Familiarità con la gestione di soluzioni cloud su Azure.
Responsabilità
- Progettare, costruire e gestire ed ottimizzare pipeline di dati ETL su Azure Data Factory, Synapse, Fabrice Databricks;
- Lavorare con grandi dataset utilizzando Apache Spark (preferibilmente PySpark);
- Implementare soluzioni di storage su Azure Data Lake, Delta Lake, One Lake sfruttando l'approccio Data Lakehouse;
- Garantire la qualità e l'integrità dei dati attraverso pratiche avanzate di data governance;
- Rispondere alle richieste dei diversi clienti utilizzando le tecnologie più adatte tra quelle disponibili nell'ecosistema Azure;
- Sviluppare e mantenere documentazione tecnica e best practices per la gestione dei dati.
Stack Tecnologico
Esperienza con tecnologie di data ingestion e real-time processing come Apache Kafka, Azure Stream Analytics, e Spark Streaming.
Sede
Full Remote
Seniority
Sr. Position