Data engineer Amsterdam • ZuidProfs

Vacature in het kort

Volledige vacaturetekst

Amsterdam is volop aan het digitaliseren en een van de belangrijkste opgaven is het beter en slimmer benutten van data. Als data-engineer kom je te werken in het datateam Geo. Dit team voert diverse werkzaamheden uit zoals het implementeren van pipelines en cloudoplossingen om (geografische) data te verwerken en deze beschikbaar te stellen aan gemeentelijke gebruikers. Je werkt in een Microsoft Azure cloudomgeving en neemt de ontwikkeling en het beheer van datapijplijnen op je die worden gedeployed in Microsoft Azure met behulp van onder andere Databricks.

• Ontwerpen, ontwikkelen en testen van datasets: Inclusief het modelleren van dataproducten, het schrijven van scripts (Python en SQL), en het inrichten van geautomatiseerde workflows in Databricks.
• Inrichten, beheren en onderhouden van datapijplijnen: Verantwoordelijk voor de inrichting en het beheer van de datapijplijn(en) in Azure.
• Logging, monitoring en optimalisatie: Zorgdragen voor het logging, monitoring en optimalisatie van de datapijplijn.
• Beschikbaar stellen van dataproducten: In samenwerking met andere datateams en het dataplatform.
• Ontwikkelen en beheren van de datapijplijn: Vanuit de Agile-gedachte, het coachen en begeleiden van junior engineers.

Je bent betrokken bij de gehele datapijplijn, van bronontsluiting tot en met het beschikbaar stellen van het uiteindelijke dataproduct en webservices. Je stelt data beschikbaar aan afnemers, afgestemd op het type gebruik, en denkt proactief mee in het ontwerpproces. Op basis hiervan maak je ontwerpkeuzes, bijvoorbeeld met betrekking tot privacywetgeving. Het gaat hierbij om geografische en complexe datasets, zoals panoramabeelden, pointclouds, raster- en InSar-data. Daarnaast werk je mee aan de ondersteuning van andere teams bij het verwerken en gebruik van geografische data.

Gevraagd

Eisen:

1. De aangeboden kandidaat heeft minimaal drie jaar werkervaring als data engineer, met operationele datamanagementactiviteiten en data integratie
2. De aangeboden kandidaat heeft minimaal 3 jaar kennis van en ervaring met Python, SQL, databases en ETL/ELT processen
3. De aangeboden kandidaat heeft minimaal 2 jaar werkervaring met Azure DevOps, GIT (branche strategy en release management) en Databricks
4. De aangeboden kandidaat heeft minimaal 1 jaar kennis van en werkervaring met geografische informatie en de daarbij behorende activiteiten als; het verzamelen, verwerken en analyseren van deze informatie
5. De aangeboden kandidaat beschikt minimaal over een HBO werk- en denkniveau

Wensen:

• De aangeboden kandidaat heeft minimaal 1 jaar werkervaring binnen overheidsinstanties
• De aangeboden kandidaat heeft een jaar werkervaring met unity catalog en het beheren van geodata

Waar je gaat werken

• De meeste functies zijn tijdelijke functies voor een langere periode. Soms met uitzicht op vast.
• ZZP is niet altijd mogelijk.
• Goede beheersing van het Nederlands is voor alle functies vereist
• Ervaring bij een overheidsorganisatie is een grote pré, soms een eis.
• We ontvangen graag jouw CV in het Nederlands, liefst in Word format.
• Vermeld je functies en werkzaamheden inclusief jaartallen en maanden, meest recente bovenaan.