Cloud/Data Engineer
Bright Professionals Utrecht
Voor Rijksdienst voor Ondernemend Nederland zoeken wij een Cloud/Data Engineer.
In de rol van Cloud/Data Engineer werk je aan de realisatie van schaalbare, efficiënte en veilige data-platforms in de Azure-cloud, waarbij Databricks een centrale plek inneemt.Je werkt samen met data scientists, ML engineers en business stakeholders aan oplossingen die techniek, beleid en concrete waarde voor Nederland verbinden.
Je richt de Medaillon Architectuur (Bronze, Silver, Gold) binnen Databricks in en vertaalt complexe businesslogica naar helder gestructureerde datasets (bij voorkeur volgens Kimball). Ook bouw je robuuste goud-lagen, inclusief het gebruik van Metric Views.
Je ontwikkelt robuuste datapijplijnen met PySpark en SQL en benut de mogelijkheden van Spark Declarative Pipelines (SDP). Met dbt ontwerp je modulaire en onderhoudbare transformaties.Je maximaliseert platform-performance door het inzetten van de juiste Databricks compute clusters en schaalmogelijkheden. Je optimaliseert binnen Delta Lake op Partitioning, Clustering, Z-Ordering en Liquid Clustering.
Je richt centrale governance in via Unity Catalog, implementeert RBAC en hanteert data security best practices.
Je automatiseert en borgt ‘Engineering Excellence’ via Databricks Asset Bundles (DABs) voor betrouwbare en reproduceerbare deployments. Daarnaast instrumenteer, monitor en debug je Databricks jobs, pijplijnen en componenten.
De opdrachtgever ondersteunt, adviseert en stimuleert ondernemend Nederland op nationaal en internationaal niveau. Met ruim 6.000 medewerkers werken zij dagelijks aan innovatieve en duurzame oplossingen voor grote maatschappelijke uitdagingen. Hun werk richt zich onder andere op:- De verduurzaming van de energievoorzieningen.
- Het tegengaan van klimaatverandering.
- De omslag naar een duurzaam landbouw- en voedselsysteem.
- Een sterke digitale economie.
De opdrachtgever maakt overheidsbeleid bereikbaar en uitvoerbaar door voorlichting, advies en financiering te bieden en fungeert als luisterend oor voor ondernemers en organisaties.
Competenties- Analytisch vermogen: Je kunt complexe datavraagstukken en businesslogica vertalen naar schaalbare data-oplossingen (Medallion, Kimball).
- Probleemoplossend vermogen: Je lost performance-, pipeline- en datakwaliteitsproblemen zelfstandig op en maakt onderbouwde keuzes in tooling (zoals Delta Lake-optimalisaties en clustering).
- Kwaliteitsgerichtheid (Engineering Excellence): Je werkt volgens best practices (CI/CD, testing, versioning, IaC) en levert reproduceerbare, onderhoudbare en schaalbare oplossingen.
Jouw profiel
Functie-eisen- Je hebt minimaal 3 jaar ervaring in het ontwerpen en bouwen van een cloud data platform met Databricks op Azure, inclusief integratie, opschoning en ontsluiting van data voor BI-toepassingen
- Je hebt minimaal 3 jaar ervaring in het ontwerpen en uitwerken van een technische data solution architectuur met aandacht voor Governance & Security
- Je beschikt over minimaal 2 jaar ervaring met het ontwikkelen van datapijplijnen met PySpark en SQL
- Je hebt kennis van en ervaring met Backend & SQL/Postgres, inclusief Django voor API’s en authenticatie en betrouwbare koppelingen (o.a. Postgres)
- Je hebt kennis van en ervaring met Monitoring & MLOps (bijv. Application Insights, Databricks metrics) en het is een pre als je ervaring hebt met MLOps
- Je hebt kennis van en ervaring met Microsoft Azure: Databricks, Storage, Active Directory en Key Vault
- Je hebt ervaring met veilig en compliant databeheer, inclusief toegangscontrole, encryptie en privacywetgeving
- Je hebt kennis en ervaring om betrouwbare en efficiënte data pipelines en platformen te bouwen, integreren en beheren voor analyse en rapportage
- Je hebt kennis en ervaring met de Medallion Architectuur (Bronze, Silver, Gold) binnen Databricks
- Je hebt kennis en ervaring met Spark Declarative Pipelines (SDP)
- Je bent in staat om complexe data-architecturen te ontwerpen en implementeren met focus op schaalbaarheid, security en integratie van cloud en data platformen
VeneficusWoerden, 16 km van Utrecht
uit jezelf te halen.
Je kunt instromen in rollen zoals:
• Data Engineer
• Data Scientist
• AI Engineer
• Data Analyst
• Business Intelligence Specialist
• Machine Learning Specialist
Binnen één jaar groei je door tot een volwaardig Data Expert...
Utrecht
Breng de digitale wereld tot leven bij een wereldmerk! Wil jij als ervaren Data Engineer direct impact maken bij een wereldmerk? Bij DHL eCommerce Benelux krijg je de ruimte om op hoog niveau dataproducten te ontwikkelen en onze data-architectuur...
Hot ITem GroepAmsterdam, 35 km van Utrecht
Job Description
Als Medior Managed Services Data Engineer ben je meer dan alleen een beheerder; met jouw expertise zorg je ervoor dat de (Azure) Databricks-platformen van onze klanten altijd op topniveau presteren. Je vertaalt complexe datastromen...