Es ist keine neue Erkenntnis, dass durch das Internet der Dinge die Menge der gesammelten Daten deutlich gestiegen ist. Während diese Daten schon jetzt gesammelt und zu einem späteren Zeitpunkt ausgewertet werden, ermöglichen es Streaming-Frameworks, die Daten bereits beim Eintreffen zu verarbeiten und zu analysieren. Für diesen Zweck existiert eine Reihe von "Big Data"-Streaming-Frameworks, die mit teils unterschiedlichen Konzepten bei dieser Aufgabe Unterstützung bieten.
Der Vortrag wird zunächst auf verschiedenen Szenarien zur Datenverarbeitung im Internet of Things eingehen und die dabei wesentlichen Problemstellungen herausarbeiten. Anschließend sollen Lösungen mittels der Streaming Frameworks Apache Spark Streaming, Apache Flink und Apache Kafka Streams skizziert werden. Die drei Frameworks werden dazu auch kurz vorgestellt und eingeordnet.
Vorkenntnisse
Grundlegende Programmierkenntnisse
Lernziele
Nach diesem Vortrag kennen die Teilnehmer wesentliche Problemstellungen beim Verarbeiten von IoT-Daten und können einschätzen, inwiefern Streaming Frameworks bei diesen Problemen helfen können.
//
Matthias Niehoff
@matthiasniehoff
arbeitet als IT-Consultant bei der codecentric AG in Karlsruhe. Dort beschäftigt er sich insbesondere mit Big-Data- und Streaming-Anwendungen auf Basis von Apache Cassandra und Apache Spark. Dabei verliert er aber auch andere Tools und Werkzeuge im Big-Data-Bereich nicht aus den Augen. Matthias teilt seine Erfahrungen auf Konferenzen, Meet-ups und Usergroups.