Spark

Apache Spark ist ein Open-Source-Framework für analytische Berechnungen mit umfangreichen Datenmengen über geclusterte Computer. Es wurde von der Apache Software Foundation (ASF) entwickelt und ist etwa hundertfach schneller als Apache Hadoop.

Apache Spark hat eine DAG-Engine, Directed Acyclic Graph (DAG), die den zyklischen Datenfluss unterstützt. Die Spark-Plattform kann auf Daten aus verschiedensten Ablagen zugreifen, so u.a. auf das Hadoop Distributed File System (HDFS), NoSQL Datenbanken und auf relationale Datenbanken.

Der Spark-Engine arbeitet teilweise wie eine Programmierschnittstelle und wird von zugehörigen Tools für die Verwaltung und die Analyse von Daten unterstützt, einschließlich Spark SQL für den Zugriff auf relationale Datenbanken, der Funktionsbibliothek mit Lernalgorithmen, der Machine Learning Library (MLlib), einem verteilten Framework für Berechnungen auf Graphen, GraphX, und dem Spark Streaming für die Verarbeitung von Datenströmen.

Informationen zum Artikel
Deutsch: Spark
Englisch: Apache Spark
Veröffentlicht: 10.01.2018
Wörter: 133
Tags: #Computer-Hardware
Links: Apache, API (application programming interface), Bibliothek, Computer, DAG (directed acyclic graph)