時々、社内で「このサイトに表示されているデータが欲しいんだけど」「毎回サイトを開いて確認するのがしんどくなってきた」と言ったような意見を聞きます。
ここでエンジニアならスクレイピングツールを作って自動化してあげようと考えます、
しかし、サイトのスクレイピングでは以下の問題が発生します。
「サイトの構成が古すぎてデータを上手く取得することができない」
「サイトのレイアウトの更新頻度が多くて取得箇所の指定が大変」
これ以外にも多くの問題が存在しております。
今回は「C#」と「Chrome ブラウザ」を利用した、
簡単に作れるスクレイピングプログラムを紹介したいと思います。