ki-hi-ro.com

DAILY JOURNAL

スクレイピング

11記事の記録。

2026年11月

  1. 新宿駅徒歩15分以内のホテル10軒をPythonで料金比較してみた

    まずは3軒で動作検証 ターミナル出力 hiroki@shibatahiroshitakanoiMac hotel-price-checker % python hotel.py 取得中: かどやホテル 20,340円 取得中: ホテルグレイスリー新宿 35,800円 取得中: アパホテル〈新宿御苑前〉 18,090円 宿泊日: 2026/12/01 条件: 大人1名・1泊 1位 アパホテル〈新宿御苑前〉 18,090円 徒歩9分 https://www.jalan.net/yad333633/plan/?screenId=UWW3101&yadNo=333633&reSearchFlg=1&roomCrack=1…

    じゃらんのホテル料金取得プログラムが動かなくなったため、新しく作り直した

    2026年5月24日に以下の記事を書いた https://ki-hi-ro.com/%e3%81%98%e3%82%83%e3%82%89%e3%82%93%e3%81%ae%e6%9d%b1%e4%ba%ac%e3%83%93%e3%82%b8%e3%83%8d%e3%82%b9%e3%83%9b%e3%83%86%e3%83%ab%e3%81%ae%e4%be%a1%e6%a0%bc%e3%83%81%e3%82%a7%e3%83%83%e3%82%af%e3%81%99/ import re import requests from bs4 import BeautifulSoup from datetime import datetime ur…

2026年6月

  1. AI×フリーランス案件獲得自動化シリーズ① クラウドワークス案件をPythonでスクレイピングしても大丈夫？

    0:24:05 フリーランス案件を探していると、 「案件を探す → 内容を読む → 応募する」 という作業に意外と時間がかかる。 私は現在、フリーランスエンジニアとしての活動を進めながら、技術資産を蓄積している。 そんな中でふと思った。 クラウドワークスの案件をPythonでスクレイピングして、自動で応募判断できないだろうか？ 今回は、このアイデアについて調べながら整理した内容をまとめておきたい。 やりたいこと イメージとしては以下のような流れである。 クラウドワークス↓案件情報取得↓Pythonで分析↓応募候補を表示↓自分で応募判断 例えば、 Python案件 Django案件 React案件 WordPress案件 などを自動で抽出し、 自分との相…

  2. 営業時間取得アプリの設計 → 開発 → テストの計画を立ててみた

    22:21:45 営業時間を取得するアプリを作ってみたいと思った。 最初は、PythonのBeautifulSoup（BS）を利用して、 「〇〇 営業時間」 とGoogle検索した結果から営業時間のテキストを取得することを考えていた。 そこで、ChatGPTに相談し、設計・開発・テストの計画を整理してみた。 営業時間をpythonのbsでスクレイピングするアプリを作りましょう〇〇 営業時間とGoogle検索した結果の営業時間のテキストを取得します設計と開発とテストの計画を作成してください 入力した店舗名や施設名から営業時間を取得する。 結果として、スクレイピングだけではなくGoogle Places APIという選択肢があることも知ることができた。 ア…

2024年7月

  1. googleスプレッドシートに口座残高をスクレイピングしたい（今回は出来なかった）

    先ほどツイートしたように、googleスプレッドシートに口座残高の情報を出力していく。 普段、googleスプレッドシートでいろんな場所にある残高の合計を計算している。口座残高を取ってくるという作業を自動化できないか？スクレイピングしてみよう。以前書いた記事（https://t.co/X4EetmhwyT）を参考にして、新しい記事を書いていく。応用を積み重ねていき、着実にスキルアップしていこう pic.twitter.com/QVwVokNQTE— 柴田浩貴 (@2021_shibata) July 28, 2024 懸念点 ログインをどうするのか？ まずはやってみる SMBCにログインして、そのURLをコピーする。 IMPORTXML関数…

  2. Progateの学習項目をスクレイピングして進捗表を作成した

    先ほど呟いたように、進捗表作成のために、レッスン項目をスクレイピングしていく。 Pythonでスクレイピングを行う。スクレイピング対象は、Progate道場レッスンの各レッスン。進捗表のタスクに記入するために、WEBページからテキストを一括でもってきたい。これをてさぎょうでやろうとすると、一見一見コピペする必要があり時間がかかる。10件ならいいが、100件あったとしたら・・・ pic.twitter.com/2oQ8SAs5fF— 柴田浩貴 (@2021_shibata) July 27, 2024 ゴール googleスプレッドシートで作成した以下の進捗表の「タスク」に、スクレイピングで取得したProgateのレッスン項目が入力されていること。 ゴー…

2024年5月

  1. pythonとExcelでWebスクレイピング Part4

    前回までの記事で、スクレイピングしたい要素を取得することができた。 今回は、「4 取得した内容をExcelのA2〜A4に出力する」を行う。 1 必要なライブラリをインポートする 2 WEBサイトにアクセスする 3 スクレイピングしたい要素を取得する 4 取得した内容をExcelのA2〜A4に出力する ← イマココ 取得した内容 当サイトのトップページの記事タイトルを取得することができている。 ExcelのA2〜A4セル 戦略 openpyxlを使用する。 取得した記事タイトルのデータをExcelシートに展開する。 openpyxlを使う ブックを読み込み、アクティブなシートを取得する。 参考 : ［解決！Python］OpenPyXLを使ってExcel…

  2. pythonとExcelでWebスクレイピング Part3

    前回は「スクレイピングしたい要素を取得する」という部分で戸惑っていた。 全体像は以下となる。 1 必要なライブラリをインポートする 2 WEBサイトにアクセスする 3 スクレイピングしたい要素を取得する ← イマココ 4 取得した内容をExcelのA2〜A4に出力する 3回目を進めていこう。 トップページの記事数を変更したので、前回とは記事数に関わる部分で変更がある。 まずやりたいこと 以下のような配列をPythonで作成したい。 [一番上の記事タイトル、二番目の記事タイトル、三番目の記事タイトル] 【試行錯誤1】空の配列を作ってみる pythonでは配列ではなくリストと呼ぶみたいだ。 Pythonのリスト（配列）を任意の値・要素数で初期化 |…

  3. pythonとExcelでWebスクレイピング Part2

    前回、当サイトのトップページにある「最近書いた記事」のタイトルをPythonで引っ張ってくるシリーズのPart1の記事を書いた。 今回は、Part2。 Excelファイルの下準備 以下のようなタイトルを記入した。 A2以降に記事タイトルをリストアップしていく。 メンタルモデルを作る 以下の参考書の第7章でPythonとExcelでWEBスクレイピングをする内容が書かれているので、その章を理解して、メンタルモデルを作っていく。 https://www.amazon.co.jp/Python%C3%97Excel%E3%81%A7%E4%BD%9C%E3%82%8B-%E3%81%8B%E3%82%93%E3%81%9F%E3%82%93%E8%87%AA…

  4. pythonとExcelでWebスクレイピング Part1

    pythonでWEBスクレイピングを行ってみる。 スクレイピングとは、WEBページにある情報を取ってくること。 スクレイピング対象 当ブログの「最近書いた記事」のタイトルをスクレイピングしてみたい。 フォルダ構成 my_sampleフォルダの配下にエクセルとpythonファイルがある。 必要なライブラリ PythonからHTTP通信を行うのに必要な「Requests」、取得したHTMLから必要なテキストなどを抽出するのに必要な「BeautifulSoup」。 この二つをインストールする。 ターミナルで以下のように打ち込んで欲しい。 Python requests ライブラリについてわかりやすく解説！Web のデータを自由自在に扱おう！ | キカガクブロ…