Cosmos - Big Data Analysis (ビッグデータ分析)

fiware-cosmos

Cosmos Big Data Analysis GE は、コンテキスト・データに対するストリーミングおよび バッチ処理のタスクを達成するのに役立つ一連のツールです。これらのツールは 以下のとおりです。

  • Orion-Flink コネクタ (ソースとシンク)
  • Apache Flink 処理エンジン
  • Apache Spark 処理エンジン (進行中の作業)
  • Orion Context Broker を使用したストリーミング処理の例

アカデミー・コース

レッスン 1. ビッグデータの基礎

このコースをたどることで、ビッグデータの基礎 (分散保存とコンピューティング)、 Map and Reduce の基本、Hadoop とそのエコシステムについて学びます。

レッスン 2. HDFS と Map Reduce

このコースをたどることで、FIWARE Lab で Cosmos のグローバル・インスタンスを 使うことができるようになります。基本的に、Web HDFS API を使用して I/O を実行し、 Tidopp API を使用して MapReduce ジョブを送信および管理します。

レッスン 3. ビッグデータ分析

このビデオ・プレゼンテーションでは、コンテキスト情報処理と高度なビッグデータ 分析について説明します。

コード例

この GitHub リポジトリには、cosmos flink コネクタを使い始めるためのいくつかの 例が含まれています。これについては、次のドキュメントで説明します。