ki-hi-ro.com

DAILY JOURNAL

ETL

4記事の記録。

2024年10月

  1. ETLをPentahoからPythonに移行するプロジェクトを効率的に進めるための実践記録

    今日は新しいテーマのETL構築に向けて、Python環境の構築を午前中に進めた。 ライブラリの参照先がシステムの指定ディレクトリに設定されている点が少し気になったが、前のテーマと同様にライブラリが正常に実行できているため、このまま進めることにした。 次のテーマの概要と難易度 次のテーマは比較的シンプルなものであり、トランスフォーム処理が不要とのことだ。必要な処理があるとしても、データのnull値（欠損値）変換程度にとどまるらしい。 ただし、経験豊富な人が「簡単」と言う作業が、必ずしも自分にとっても簡単とは限らない。だからこそ、楽観視せず適度な危機感を持って進めることが重要だと感じている。 今回の目標と納期 今回のテーマのPython構築の納期は来週末に…

2024年9月

  1. pentahoを使い始めました

    最近、あの日立が買収したpentahoという会社が開発したpentahoというETLツールを使っている。 使っているというよりも、10月からのプロジェクトに向けて、学習している。 この記事では、pentahoで何ができるのかについて自身の体験をもとにざっくりと書いていく。 ETLの作成 まずは、エクセルやデータベースなどの様々なインプットソースから、データを抽出(extract)する。 次に、抽出したデータを目的に合わせて加工(transform)する。 最後に、その加工したデータを読み込む(load)。 ケトルファイル ETLを作成するファイルは、拡張子が.ktrのケトルファイル。 ここで、csv読み込みなどの様々なステップをドラッグ&ドロッ…

2024年7月

  1. Pentahoとは？

    2024年の7月4日、リモートワークをしていて、「pentaho」というワードを耳にしました。 当時書いた文章に加筆修正をしていきます。 Pentahoの説明ページ Pentahoとは：Pentaho：日立 Pentaho（ペンタホ）とは、データ収集・抽出・加工・出力を実行する「データ統合基盤（ETL）」と、 データ可視化・データ分析を実行する「データ分析基盤（BI）」をオールインワンで提供し、アジャイルでのデータ利活用を可能にするプラットフォームです。 世界180か国で2,000社以上のリーディング企業や政府官公庁において、15,000件を超える導入実績となっております。 100% GUIで開発可能 ※GUI（グラフィカルユーザーインターフェース）と…

2024年4月

  1. PowerBIには、ETL（Extract、Transform、Load）がある

    PowerBIのテクニカルな記事を書いていく。 仮説ファースト 仮説ファーストで記事を書いていく。 https://www.youtube.com/watch?v=pf4eLy22ZCk 仕事においても仮説ファーストを意識して結果を出したい。 ネットで調査して得られた情報をこの記事にまとめる。 今日Power BIを使用して、一番課題に感じたことは何か？ 詳細エディタのソースコードの意味ではないだろうか？ それについてネットの情報を調べていこう。 前回書いた記事で出てきたこちらのサイトを参考にする。 PowerBIについての情報が網羅的にまとまっていると感じたため。 詳細エディタで検索をかけた。 「詳細エディタ」の検索結果 | Power BIとデータ…