DAILY JOURNAL

Python

117記事の記録。

2025年3月

  1. 14日前のcsvファイルのみを取得するという処理

    現在作成しているPythonETLで、連携元フォルダに3万件のcsvファイルが溜まっていて、その中から14日前のファイルのみを取得して、後続の処理に回すという処理を作成する必要があった。 この記事では、そのミニチュア版を作成していこう。 3万件のcsvファイルを生成する まずは、create_dummy_csv_filesという関数で、3万件のCSVファイルを作成する。 import os import datetime import random # フォルダのパス DATA_DIR = "dummy_csv_files" # ダミーの3万件の空のCSVファイルを作成 def create_dummy_csv_files(num_files=3000…

    現在の日時から20日前の日時を生成する

    PentahoETLのPython化において、取得元のフォルダから最終更新日時が20日前のファイルのみを抽出する必要があった。 理由は、3万くらいのファイルがあり、すべて取得してしまうと処理が重くなってしまうから。 その20日という期間を日時型で生成して、ファイル取得のインスタンス生成時にコンストラクタ引数として渡す必要があった。 「20日という期間を日時型で生成」という部分について、この記事では解説していく。 作成したPythonコード from datetime import datetime, timedelta # 現在の日時を取得 now = datetime.now() # 20日前の日時を計算 twenty_days_ago = now…

2025年2月