今回は「バッチ処理」についてまとめてみました！特に、ホットペッパーAPIを使ってデータを大量に取得する時に役立つバッチ処理の考え方を解説します。Pythonを学ばれている方や、APIを活用してみたい方にとって、参考になる部分があれば幸いです！

今回は、焼き鳥屋さんのURLを基点に、データを自動で取得してExcelに保存するスクリプトをご紹介します。 Selenium やBeautifulSoup を使って効率的にデータを取得、並びにバッチ処理を活用して安定したデータ収集を行います。 Pythonを学んでいる方や、焼き鳥が ...

前提条件 Python バージョン 2.7 または 3.6 以上 pip パッケージ マネージャー Azure Batch アカウントおよびリンクされた Azure ストレージ アカウント。 これらのアカウントを作成するには、 Azure Portal または Azure CLI を使用した Batch のクイック スタートを参照してください。

米国スーパーの売上データを基に、Python・PostgreSQL・SQL を用いて売上データを月次・カテゴリ別に集計し、Excelファイルに出力するバッチ処理ツールです。 使用データ アプリケーションで使用している売上データは、以下のKaggle公開データセットを基にして ...