Apache Hive サンプルデータの作成 (Ubuntu 20.04) – Python No.63
自己投資としてチャレンジしている内容を Blog で公開しています。今回は Apache Hive 用にサンプルデータの一括作成方法について紹介します。 ————̵ … “Apache Hive サンプルデータの作成 (Ubuntu 20.04) – Python No.63″の続きを読む
カテゴリー: BigData
Apache HBase インストール 3 ノード (Ubuntu 20.04) No.61
自己投資としてチャレンジしている内容を Blog で公開しています。今回は Apache HBase を Hadoop の環境 (Apache Hadoop クラスター OS ubuntu 20.04.1 – … “Apache HBase インストール 3 ノード (Ubuntu 20.04) No.61″の続きを読む
Apache Hive – HiveQL FAILED: SemanticException null No.60
今回は Apache Hive の HiveQL クエリの紹介と、select 時に発生した “FAILED: SemanticException null” の問題について紹介します。 R … “Apache Hive – HiveQL FAILED: SemanticException null No.60″の続きを読む
Apache Hive インストール 3 ノードの環境 (Ubuntu 20.04) No.57
自己投資の一つとしてチャレンジしている事を Blog で公開しています。今回は Apache Hive を以前作成した Spark の環境にインストールしたいと思います。 ——— … “Apache Hive インストール 3 ノードの環境 (Ubuntu 20.04) No.57″の続きを読む
Apache Spark SSH ユーザーの追加 (パスワード認証、パスワードなし認証) No.56
今回は Spark の環境で SSH User の作成方法を案内します。 2 通りあります。1 つはパスワードで認証するユーザーを利用する方法。2 つめはパスワードなしの公開鍵で認証する方法となります。 Summary … “Apache Spark SSH ユーザーの追加 (パスワード認証、パスワードなし認証) No.56″の続きを読む
Spark-xml を使ったXML データの読み取り、XML ファイル作成 No.50
自己投資としてチャレンジしている内容を Blog で公開しています。 今回は Apache Spark の環境で利用できる pyspark や spark-shell を使います。XML ファイルのデータを読み取り、必 … “Spark-xml を使ったXML データの読み取り、XML ファイル作成 No.50″の続きを読む
Apache Kafka Word Count 実装 – Java No.44
自己投資の一つとしてチャレンジしている Java や Python などの独習状況を Blog で公開しています。 今回は Apache Kafka の環境で文字をカウントする Java コードを紹介したいと思います。( … “Apache Kafka Word Count 実装 – Java No.44″の続きを読む
Apache Kafka インストール 4 ノード (Ubuntu 20.04) No.42
自己投資の一つとしてチャレンジしている Programming の Java の独習状況などを Blog で公開しています。 今回は Apache Kafka で Streaming 処理を実行するための準備として Ap … “Apache Kafka インストール 4 ノード (Ubuntu 20.04) No.42″の続きを読む
PySpark Delta Table の利用 (Spark cluster 3 nodes) No.41
自己投資の一つとしてチャレンジしている Programming の Java や Python の独習状況を Blog で公開しています。今回は Apache Spark の環境で利用できる PySpark で Dela … “PySpark Delta Table の利用 (Spark cluster 3 nodes) No.41″の続きを読む
PySpark on Apache Spark – Azure Cosmos DB への接続 No.40
自己投資としてチャレンジしている内容を Blog で公開しています。 今回は Apache Spark の環境で利用できる PySpark を利用し Azure Cosmos DB への接続、クエリの実行、実行結果を P … “PySpark on Apache Spark – Azure Cosmos DB への接続 No.40″の続きを読む