Apache Hadoop

Apache Hadoop

Logo programu
Autor	Apache Software Foundation
Pierwsze wydanie	1 kwietnia 2006; ponad 18 lat temu[1]
Język programowania	Java
System operacyjny	Wieloplatformowa
Rodzaj	Framework
Licencja	Apache License 2.0
Strona internetowa

Apache Hadoop – otwarta platforma programistyczna napisana w języku Java przeznaczona do rozproszonego składowania i przetwarzania wielkich zbiorów danych przy pomocy klastrów komputerowych. Jest jednym z projektów rozwijanych przez fundację Apache. Wszystkie moduły Hadoop zostały zaprojektowane z założeniem, że awarie sprzętowe są rzeczą naturalną i powinny być automatycznie obsługiwane przez framework.

Apache Hadoop składa się z następujących modułów:

• Hadoop Common – biblioteki i narzędzia używane przez pozostałe moduły;
• Hadoop Distributed File System (HDFS) – rozproszony system plików^[2];
• Hadoop YARN – platforma do zarządzania zasobami klastra;
• Hadoop MapReduce – implementacja paradygmatu MapReduce do przetwarzania dużych ilości danych.

Określenie Hadoop często jest używane nie tylko w odniesieniu do powyższych modułów, ale także do całego ekosystemu aplikacji, które mogą być używane w połączeniu z Hadoop: Apache Pig, Apache Hive, Apache HBase, Apache Phoenix, Apache Spark, Apache ZooKeeper, Cloudera Impala, Apache Flume, Apache Sqoop, Apache Oozie, Apache Storm.

Moduły MapReduce i HDFS zostały zainspirowane materiałami Google na temat ich implementacji MapReduce i ich rozproszonego systemu plików Google File System.

Jeszcze zanim osiągnął wydanie stabilne, był już wykorzystywany w poważnych zastosowaniach (Amazon, AOL, Facebook, Yahoo).

Autorami projektu są Doug Cutting^[3] oraz Mike Cafarella^[4].

• Strona domowa projektu