ki-hi-ro.com

DAILY JOURNAL

データ連携

3記事の記録。

2024年11月

  1. ウェアラブルシステムのデータをテーブルに格納するデータフローの構築

    ウェアラブルシステムから取得したデータを別のテーブルに格納するデータフローの構築について解説する。これは4つあるケトルファイルのうちの1つで行われており、既存のPentaho ETL処理を新しい社内共通テンプレートに置き換える作業の一環である。 データ取得と最終更新日時の条件設定 処理の流れとしては、まず既存のテーブルから最終更新日時を取得し、それを基にウェアラブルシステムからデータを取得する。この最終更新日時には3つの条件があり、以下の優先順位で設定されている。 最優先は、ユーザーが手動で設定したパラメーター。 パラメーターが未設定の場合、次に参照するのはパブリックデータベースの最終更新日時。 どちらもなければ、初期値を設定して使用する。 日時のフォ…

2024年10月

  1. ETLをPentahoからPythonに移行するプロジェクトを効率的に進めるための実践記録

    今日は新しいテーマのETL構築に向けて、Python環境の構築を午前中に進めた。 ライブラリの参照先がシステムの指定ディレクトリに設定されている点が少し気になったが、前のテーマと同様にライブラリが正常に実行できているため、このまま進めることにした。 次のテーマの概要と難易度 次のテーマは比較的シンプルなものであり、トランスフォーム処理が不要とのことだ。必要な処理があるとしても、データのnull値（欠損値）変換程度にとどまるらしい。 ただし、経験豊富な人が「簡単」と言う作業が、必ずしも自分にとっても簡単とは限らない。だからこそ、楽観視せず適度な危機感を持って進めることが重要だと感じている。 今回の目標と納期 今回のテーマのPython構築の納期は来週末に…

2024年7月

  1. Pentahoとは？

    2024年の7月4日、リモートワークをしていて、「pentaho」というワードを耳にしました。 当時書いた文章に加筆修正をしていきます。 Pentahoの説明ページ Pentahoとは：Pentaho：日立 Pentaho（ペンタホ）とは、データ収集・抽出・加工・出力を実行する「データ統合基盤（ETL）」と、 データ可視化・データ分析を実行する「データ分析基盤（BI）」をオールインワンで提供し、アジャイルでのデータ利活用を可能にするプラットフォームです。 世界180か国で2,000社以上のリーディング企業や政府官公庁において、15,000件を超える導入実績となっております。 100% GUIで開発可能 ※GUI（グラフィカルユーザーインターフェース）と…