ETLをPentahoからPythonに移行するプロジェクトを効率的に進めるための実践記録

はじめに

今日は新しいテーマのETL構築に向けて、Python環境の構築を午前中に進めた。

ライブラリの参照先がシステムの指定ディレクトリに設定されている点が少し気になったが、前のテーマと同様にライブラリが正常に実行できているため、このまま進めることにした。

次のテーマは比較的シンプルなものであり、トランスフォーム処理が不要とのことだ。必要な処理があるとしても、データのnull値（欠損値）変換程度にとどまるらしい。

ただし、経験豊富な人が「簡単」と言う作業が、必ずしも自分にとっても簡単とは限らない。だからこそ、楽観視せず適度な危機感を持って進めることが重要だと感じている。

今回のテーマのPython構築の納期は来週末に設定されている。今日のゴールは、書ける部分をできる限り進め、作業を少しでも前に進めておくことだ。

社内で配布されている共通Python製ETLテンプレートがあり、そこにテーマ固有の接続情報（例えばDB名や接続先URL）を記載する必要がある。早めに準備できる部分から手を付け、形が整い次第、GitLabにコミットしていく予定だ。

最初のコミットでは、Pythonの仮想環境構築（venv）、ライブラリのインストール、そして標準社内共通ETLの準備を報告する。この一連の環境構築が最初の具体的な成果となる。

これを午前中の成果とし、午後は設定ファイル（YAML）やメインのPythonコードに取り掛かる予定だ。実行可能な部分から書き進め、必要に応じてコミットを分けることも検討している。

前のテーマのメインPythonコードを実行して、エラーが発生するたびにそれを1つずつ解消していく方針だ。エラーを解決すると次のエラーが現れるが、そのプロセスを通じてETLテンプレートへの理解を深めていきたい。

解決したエラーの件数を進捗の指標とし、成果を測定することにする。

不明点が出た場合はその内容を明確にし、社内チャットで質問するか、会議の際に相談することが重要である。こうしたコミュニケーションを適切に行うことで、スムーズなプロジェクト進行が可能になる。

これらの取り組みを通じ、来週の5日間で既存のPentaho ETLのPython化を確実に完了させ、納期内の目標達成を実現したい。

投稿ID : 25448