複数のCSVファイルを一つに結合してデータ分析を行いたいとき、各ファイルに含まれるヘッダー行(1行目の項目名)が邪魔になることがあります。数十個、数百個のファイルから、手作業でヘッダー行だけを削除していくのは、非常に骨の折れる作業です。
CSV(Comma Separated Values)は、カンマで値を区切った、非常にシンプルな表形式のデータフォーマットです。そのシンプルさゆえに、ついline.split(',')のように、カンマで文字列を分割して処理してしまいがちです。 しかし、この方法では、"Yamada, Taro"のように ...
素晴らしいことに、郵便番号と住所の対応データは、かなり昔からCSV形式でダウンロードできるようになっていた。この郵便番号データは、オープンデータの先駆けと言っても良いだろう。筆者も以前から業務でこのCSVファイルを利用して、住所入力ツール ...
ちょっと前まで専門家の領域だと思われていた機械学習、深層学習などAIによる処理がPythonのおかげでとても身近になった。Pythonのscikit-learnやTensorFlowなどのライブラリを使えばデータの自動分類ツールや予測ツールを自作できる。 ただし、そのためにはそれ ...