Azure Engineer (Purview Data Governance Solutions) Amsterdam • HLS

Vacature in het kort

Volledige vacaturetekst

Referentie: HLS-V19826

Centrale bank in amsterdam

Azure Engineer (Purview Data Governance Solutions)

Opdrachtomschrijving: Data Services is in 2024 begonnen met de implementatie van een nieuwe datacatalogus en metadatamanagement oplossing. Hiervoor
gebruiken we de nieuwste versie van Purview Data Governance Solutions (DGS). Afgelopen jaar hebben we met een klein team de oplossing geïnstalleerd, een aantal pilots
uitgevoerd, en de juiste stakeholders gemobiliseerd. We zijn nu bezig de eerste databronnen, dataverwerkingssystemen en dataproducten te onboarden in de
productieomgeving.We zoeken een Azure Engineer die het beheer en de automatisering van onze datacatalogus naar een hoger niveau tilt en helpt bij het ontwikkelen van nieuwe
functionaliteiten. Je helpt bij het integreren van onze dataopslag en verwerkingssystemen (zoals Fabric, Databricks, Synapse, ADLS2, SQL) met Purview. Je bouwt oplossingen met
Python SDKs en Azure services om metadata in bulk te kunnen beheren. Daarnaast help je bij het onttrekken van de metadata uit de catalogus voor het opzetten van dashboards &
alerting. Ook willen we de inzet van AI voor het automatisch genereren van beschrijvingen voor objecten in de catalogus onderzoeken.

Je werkt richting een visie waarin dataproducten zichzelf publiceren en beheren in een geautomatiseerde datacatalogus.

Functieomschrijving:
• Professionaliseren deployment:Helpen bij het verder aanscherpen van de deployment van Purview Data
Governance, inclusief gerelateerde resources zoals private endpoints (deployment verloopt via bicep/yaml/deployment stacks)
• API inzetten voor het professionaliseren en automatiseren van beheer: de API (Python SDK) inzetten voor het functionele beheer van de applicatie
en het bulk beheer van metadata binnen de applicatie. Waar mogelijk meedenken, ontwerpen en bouwen aan het automatiseren van
handmatige beheerstappen. We werken richting een self-service model waar gebruikers dit steeds meer zelf moeten doen.
• Dataopslag- en verwerkingssystemen aansluiten:Helpen bij het aansluiten van de datacatalogus op dataopslag- en verwerkingssystemen (Fabric,
Synapse, Databricks, ADLS2, SQL) -hier bestaan standaard connectorenvoor en hier hebben we ervaring mee.
• Dashboarding: Onttrekken van metadata uit de datacatalogus om hier dashboards op te bouwen die inzicht geven in de status van de
inhoud (e.g. datasets zonder eigenaar).
• Automatisering & alerting: Automatisering / alerting op basis van Events in de datacatalogus (via EventHubs). Eventueel AI inzetten
voor automatisch genereren van beschrijvingen van nieuwe assets.
• Documentatie: Bijhouden van implementatiestappen, procedures en best practices, zodat teams in de domeinen op termijn zelfstandig aan
het werk kunnen

Eisen:
• Aantoonbare ervaring met Azure Cloud
• Aantoonbare ervaring met APIs
• Aantoonbare ervaring met Python

Wensen:
• Aantoonbare ervaring met Purview Data Governance Solutions
• Minimaal 4 jaar ervaring in een grote complexe datagedreven IT-omgeving met veel afhankelijkheden.
• Aantoonbare ervaring met IaC (Bicep, YAML, Deployment stacks)
• Ervaring met Data Engineering 5
• Ervaring met Web Development 5
• Ervaring met EventHubs 5

kennis/opleiding:
Eis:
• Bachelor of Master in Informatica, Data Science of een gerelateerd vakgebied.
• Uitstekende communicatieve vaardigheden in de Nederlandse taal.
• Je kunt opdrachtreferentie overleggen waarbij je opdrachtgever zijn waardering heeft uitgesproken over een
oplossing die je gebouwd hebt door gebruik te maken van de API(s) van één of meerdere applicaties.