Das Internet der Dinge ist im Umfeld von z.B. Banken, Versicherungen, Logistikunternehmen und Automobilherstellern ein umfangreiches Big-Data-Thema. In Bezug auf Datenmenge und Verarbeitungszeit stellt dies sehr hohe Ansprüche. Es reicht dabei selten aus, Daten über Nacht zu berechnen, sondern es ist erforderlich, Ergebnisse im Bereich von Sekunden und Millisekunden bereitzustellen.
Speed-Layer und die mit ihnen verbundene Stream-Processing-Lösungen werden immer mehr zum tragenden Bestandteil moderner Big-Data-Landschaften.
In unserem Vortrag wollen wir zeigen, wie sich durch die Kombination von Vert.x-MQTT, Kafka und Spark ein flexibel skalierbares und hochgradig ausfallsicheres System zur IoT-Datenverarbeitung aufbauen lässt. In eine Live-Demo werden wir demonstrieren, wie ein solches System elastisch auf Lastschwankungen und Ausfälle reagieren kann. Der gesamte Beispielaufbau wird später auch auf GitHub verfügbar sein.
Skills
Besucher sollten zumindest Grundlagenkenntnisse im Bereich Big Data sowie ein Grundverständnis für verteilte Systeme haben. Wir werden natürlich auch ein paar Scala-Code-Fragmente zeigen, der Hauptfokus wird aber auf der Architektur liegen.
Lernziele
Ziel des Vortrages ist es, deutlich über das klassische "Hello World" hinauszugehen. Vor allem Skalierung und Ausfallsicherheit sind zentrale Themen solcher hochgradig verteilten Architekturen.
Gleichzeitig wollen wir auch eine Strategie zum (Last)Testen solcher Anwendungen demonstrieren. Alle Tests werden wir mit Gatling und dem zugehörigen MQTT-Plug-in durchführen.
// Referenten
// Jochen Mader
@codepitbull
Jochen Mader ist Lead IT Consultant bei der codecentric AG, Autor verschiedener Fachartikel und Speaker auf diversen Konferenzen. Aktuell beschäftigt er sich primär mit Reactive Programming, Resilience, Stream Processing und allem anderen was die Arbeit als Softwareentwickler spannend macht.
//
Jens Deters
@jerady
Anfang der 1980er Jahre begann Jens Deters mit dem Home-Computing. Damals zogen ihn Computer in ihren Bann und die letzten 15 Jahren hatte er verschiedenste Rollen im IT- und Telekommunikationsumfeld inne (Software Entwickler, Trainer, Berater, Projekt- und Produktmanager). Er spricht auf Konferenzen und schreibt regelmäßig Artikel über seine Projekte in Zeitschriften und online (www.jensd.de, www.mqttfx.org, blog.codecentric.de). Zudem trägt er zur JavaFX- und IoT-Community bei. Jens Deters ist im NetBeans Dream Team und im Kommitee des JavaOne-Tracks "Java and the Internet of Things (IoT)".