Publication
Die Apache Flink Plattform zur parallelen Analyse von Datenströmen und Stapeldaten.
Jonas Traub; Tilmann Rabl; Fabian Hueske; Till Rohrmann; Volker Markl
In: Ralph Bergmann; Sebastian Görg; Gilber Müller (Hrsg.). Proceedings of the LWA 2015 Workshops: KDML, FGWM, IR, and FGDB. GI-Workshop-Tage "Lernen, Wissen, Adaption" (LWA-2015), October 7-9, Trier, Germany, Pages 403-408, Vol. 560, http://ceur-ws.org, 2015.
Abstract
Die Menge an analysierbaren Daten steigt aufgrund fallender Preise für Speicherlösungen und der Erschließung neuer Datenquellen rasant. Da klassische Datenbanksysteme nicht ausreichend parallelisierbar sind, können sie die heute anfallenden Datenmengen häufig nicht mehr verarbeiten. Hierdurch ist es notwendig spezielle Programme zur parallelen Datenanalyse zu verwenden. Die Entwicklung solcher Programme für Computercluster ist selbst für erfahrene Systemprogrammierer eine komplexe Herausforderung. Frameworks wie Apache Hadoop MapReduce sind zwar skalierbar, aber im Vergleich zu SQL schwer zu programmieren. Die Open-Source Plattform Apache Flink schließt die Lücke zwischen herkömmlichen Datenbanksystemen und Big-Data Analyseframeworks. Das Top Level Projekt der Apache Software Foundation basiert auf einer fehlertoleranten Laufzeitumgebung zur Datenstromverarbeitung, welche die Datenverteilung und Kommunikation im Cluster übernimmt. Verschiedene Schnittstellen erlauben die Implementierung von Datenanalyseabläufen für unterschiedlichste Anwendungsfälle. Die Plattform wird von einer aktiven Community kontinuierlich weiter entwickelt. Sie ist gleichzeitig Produkt und Basis vieler Forschungsarbeiten im Bereich Datenbanken und Informationsmanagement.