Afstudeeropdracht in Data & AI: Genereer ETL pipelines op basis van een specificatie met behulp van GPT-4 Veenendaal • Info Support

Met de opkomst van AI in codeontwikkeling verbeteren tools zoals GitHub en Copilot de productiviteit aanzienlijk. Dit roept de vraag op: kunnen we nóg efficiënter werken? Het ontwikkelen van ETL pipelines kost veel tijd en toont veel overeenkomsten tussen projecten. Hier ligt een kans voor innovatie. Onderzoek de mogelijkheden om GPT-4 actief in te zetten voor de automatisering van dit proces, met als doel specificaties direct om te zetten in werkende code. Ontwikkel een prototype dat laat zien hoe GPT-4 ETL pipelines uit feature files kan genereren, waardoor we aanzienlijke efficiëntieverbeteringen in data-transformatieprocessen kunnen realiseren.

ð¡Interessegebieden: Large Language Models, Artificial Intelligence, DataOps

We zien steeds meer mogelijkheden om AI in te zetten voor het schrijven van code. In het geval van GitHub en bijvoorbeeld Copilot is de productiviteit al met tot 50% verbeterd. Dat is een indrukwekkend cijfer. Maar kunnen we nog verder gaan? We merken bij onze klanten dat het maken van ETL pipelines veel tijd kost. Veel van deze pipelines lijken op elkaar. We verzamelen data op een staginglocatie, transformeren deze data om diverse kwaliteitsproblemen op te lossen, en zetten de data vervolgens om naar een dimensioneel formaat of naar een feature set voor machine learning. Zou dit proces niet efficiënt geautomatiseerd kunnen worden door een specificatie in een feature file te vertalen naar werkende code met behulp van GPT-4?

• Onderzoek hoe je GPT-4 kunt toepassen om complexe codestructuren te genereren.
• Onderzoek hoe je feature files kunt vertalen naar code-instructies.
• Onderzoek hoe we ETL pipelines kunnen definiëren met standaardcomponenten.
• Maak een prototype dat GPT-4 gebruikt om op basis van feature files een ETL-pipeline te genereren die bestaat uit standaardcomponenten.

Over Info Support

Info Support is specialist in maatwerksoftware, data/AI solutions, beheer en trainingen en actief in de sectoren Finance, Industry, Agriculture, Food & Retail, Mobility & Public en Healthcare. Wij bieden solide en innovatieve oplossingen voor complexe en bedrijfkritische softwarevraagstukken. Onze hoofdkantoren zijn gevestigd in Veenendaal (NL) en Mechelen (BE). Op dit moment zijn er circa 500 medewerkers bij Info Support in dienst.

De werkwijze van Info Support kenmerkt zich door een aantal kernwaarden: soliditeit, integriteit, vakmanschap en passie. Deze kernwaarden zijn verweven in ons werk en de manier waarop we met elkaar omgaan.

Om te zorgen dat alle medewerkers altijd op de hoogte kunnen zijn van de nieuwste ontwikkelingen beschikt Info Support over een inhouse kenniscentrum waar graag wordt voldaan aan de honger naar meer of andere kennis en vaardigheden.

Om deze opdracht te kunnen doen is B2-taalvaardigheid in het Nederlands vereist.