codecentric

Streaming Ardennen

  • Vanuit welke vraag zijn jullie dit project begonnen?

 

Vanuit digitalisering en klantvragen zien we steeds meer vragen op het gebied van data-processing ontstaan. Wij willen hier meer ervaring in op doen en meer gebruik maken van tools die hiervoor al beschikbaar zijn. Bovendien willen we ervaring op doen met machine learning. Om deze ervaring op te doen is ervoor gekozen om de (IOT) data die vanuit het internet-of-pork project komt, te verwerken in een data-processing-pipeline, die opgebouwd is met minimaal AWS Kinesis, Apache Flink, Elastic search en Grafana.Daarbij moet alles op AWS draaien.

 

  • De aanpak van je project? Waar ben je begonnen en welke nieuwe technieken heb je hiervoor toegepast?

 

We hebben het traject in vier fases opgedeeld, waarbij er vanuit ruwe data gewerkt wordt naar acties die komen vanuit die ruwe data.

Er is voor deze vier fases gekozen voor een Scrum aanpak en hier ook zoveel mogelijk XP practices toe te passen.

Uiteindelijk is het gelukt om ruwe data te ontvangen van verschillende sensoren die communiceren via MQTT. Deze data wordt in Apache Flink verwerkt tot JSON data, die in Elastic Search wordt opgeslagen. De hoeveelheid ruwe data wordt vervolgens getoond in Grafana.

Hier komen de problemen om de hoek kijken; waar Grafana en Elastic Search simpel lijken, kost het in werkelijkheid heel veel moeite om zinnige informatie te tonen in Grafana. Daarnaast is het ook belangrijk om de data al een timestamp te geven als deze wordt aangemaakt door de sensor, omdat anders de data vertekend kan lijken.

 

  • Resultaat. Wat heb je na twee dagen Ardennen behaald? Hoe ga je dit verder aanvliegen om je uiteindelijk doel te behalen.

 

Er wordt verder gegaan door een stukje event generatie te simuleren en de stappen die voor de laatste dag in de Ardennen stonden gepland verder af te maken. Daarnaast is alle oude data nog beschikbaar en deze zullen we gebruiken om informatie weer te geven in Grafana.

Streaming Ardennes – Project Ardennen
Projectleider: Hylke Stapersma