Wat doet een Data Engineer?

Dagelijkse Bankzaken – 11 augustus 2020 door Fons Vaneker

De Data Engineer weet als geen ander hoe je databronnen samenbrengt in één Data Warehouse. De hoeveelheid digitale data groeit constant maar daarmee wordt het integreren van al die data ook steeds complexer. Banken maken gebruik van verschillende nationale en internationale databronnen en zijn daarom altijd op zoek naar Engineers om orde te scheppen in de datachaos. De Data Engineer heeft de toekomst. Een korte toelichting over zijn taken en bezigheden.

Wat doet een Data Engineer?

De labels binnen de Data Architectuur zijn uniform, de Data Analist kan beginnen met analyseren, toch? Nee, in de praktijk zijn er nog een aantal stappen die ondernomen moeten worden voor de analist zijn werk volledig kan doen. Welterverstaan:

  • Data moet getransformeerd worden naar een vorm die geïmporteerd kan worden in een Data Warehouse;
  • Vervolgens moet deze data geïmporteerd worden;
  • Data moet waar nodig worden gevisualiseerd in een Dashboard.

Een zogeheten ETL (Extract, Transform, Load) Pipeline zorgt ervoor dat data uit één bron wordt gehaald, vervolgens getransformeerd en ingeladen in de centrale databron van een bank. Data Engineers bouwen en onderhouden deze ETL Pipelines. Dit maakt data beschikbaar in de vorm die binnen de Data Architectuur van de bank past.

Het visualiseren van data in dashboards die voldoen aan de wensen van interne stakeholders is een neventaak van de Data Engineer. Het bouwen van Dashboards doen ze in samenspraak met Data Analisten, die veel in contact staan met interne stakeholders in hun dagelijkse werk. De Engineer staat de Analist bij om data die uit verschillende bronnen beschikbaar te maken voor een specifiek dashboard.

Wat heeft een Data Engineer op zijn CV staan?

De Data Engineer heeft vrijwel altijd een IT-achtergrond. Programmeerkennis is absoluut nodig. De functie Software Engineer vind je het meeste terug op het CV van een Data Engineer. Ook IT-consultants maken regelmatig de overstap. De overlap met de rol van Data Analist is met name bij kleinere organisaties vrij groot. Daarom is ook dit een veelvoorkomende functie op het CV van Data Engineers.

Wat is de rol van de Data Engineer in het bankwezen?

De datastroom groeit in het bankwezen exponentieel. De giralisering is nog niet afgerond, steeds meer bronnen zijn digitaal beschikbaar en de hoeveelheid transacties groeit onophoudelijk. Des te complexer wordt de beheersing van al die datastromen waaruit verschillende afdelingen van de bank putten. Waar veel rollen bij de bank worden ingevuld voor een specifiek domein is bij Engineering niet het geval omdat het doel van de Data Engineer juist is om data integraal beschikbaar te maken. Mede vanwege die dieptefocus op data is er minder focus op de inhoud en wordt er daarom zelden gevraagd om ervaring met producten en diensten binnen de financiële dienstverlening. Dit wordt hooguit als pré benoemd.

Op zoek naar een nieuwe uitdaging als Data Engineer?

Je vindt onze actuele vacatures voor Data Engineer hier.