ki-hi-ro.com

DAILY JOURNAL

Pentaho

4記事の記録。

2025年3月

  1. PentahoのシェルスクリプトがWindowsで動作しなかった経験を整理しつつ、LinuxとWindowsの違いを学ぶ

    本日の業務で、pentahoのシェルスクリプトというステップの実行が上手くいかなかった。 それが書かれたジョブファイルを実行したら、ログに赤い文字でエラーメッセージが書かれていた。 pentahoのシェルスクリプトでやろうとしていたこと 202401010000.csvというようなファイルから、指定した日数分だけ前のファイルを取得してリスト化していた。 ステップ名はシェルスクリプト作成。 そのジョブファイルを実行したところエラーが発生した。 実行したシェルスクリプトは以下のようなbashスクリプト。 #!/bin/bash # 現在の日付を取得 TODAY=$(date +%Y%m%d0000) # 過去n日分のファイルリストを作成 DAYS_BACK…

2024年10月

  1. ETLをPentahoからPythonに移行するプロジェクトを効率的に進めるための実践記録

    今日は新しいテーマのETL構築に向けて、Python環境の構築を午前中に進めた。 ライブラリの参照先がシステムの指定ディレクトリに設定されている点が少し気になったが、前のテーマと同様にライブラリが正常に実行できているため、このまま進めることにした。 次のテーマの概要と難易度 次のテーマは比較的シンプルなものであり、トランスフォーム処理が不要とのことだ。必要な処理があるとしても、データのnull値（欠損値）変換程度にとどまるらしい。 ただし、経験豊富な人が「簡単」と言う作業が、必ずしも自分にとっても簡単とは限らない。だからこそ、楽観視せず適度な危機感を持って進めることが重要だと感じている。 今回の目標と納期 今回のテーマのPython構築の納期は来週末に…

2024年9月

  1. pentahoを使い始めました

    最近、あの日立が買収したpentahoという会社が開発したpentahoというETLツールを使っている。 使っているというよりも、10月からのプロジェクトに向けて、学習している。 この記事では、pentahoで何ができるのかについて自身の体験をもとにざっくりと書いていく。 ETLの作成 まずは、エクセルやデータベースなどの様々なインプットソースから、データを抽出(extract)する。 次に、抽出したデータを目的に合わせて加工(transform)する。 最後に、その加工したデータを読み込む(load)。 ケトルファイル ETLを作成するファイルは、拡張子が.ktrのケトルファイル。 ここで、csv読み込みなどの様々なステップをドラッグ&ドロッ…

2024年7月

  1. Pentahoとは？

    2024年の7月4日、リモートワークをしていて、「pentaho」というワードを耳にしました。 当時書いた文章に加筆修正をしていきます。 Pentahoの説明ページ Pentahoとは：Pentaho：日立 Pentaho（ペンタホ）とは、データ収集・抽出・加工・出力を実行する「データ統合基盤（ETL）」と、 データ可視化・データ分析を実行する「データ分析基盤（BI）」をオールインワンで提供し、アジャイルでのデータ利活用を可能にするプラットフォームです。 世界180か国で2,000社以上のリーディング企業や政府官公庁において、15,000件を超える導入実績となっております。 100% GUIで開発可能 ※GUI（グラフィカルユーザーインターフェース）と…