Node.jsでスクレイピングするならば - プログラマでありたい

　昔、Rubyでクローラー/Webスクレイピングの本を書きました。今でもちょくちょくとスクレイピングのコードを書いたりはするのですが、実行基盤についてはサーバの運用管理が面倒くさいのでAWS Lambdaを使うことが多いです。そうなると、Lambdaは基本的にはRubyが使えないので、言語はPythonかNode.jsを利用することになります。Pythonもいいけど、今後のことを考えるとNode.js力を高めておきたいと考えています。ということで、Node.js縛りでスクレイピングの仕方です。

スクレイピング対象のページの種類

　私の中の勝手な定義ですが、スクレイピングには3種類あります。

1. 静的サイト／JavaScript不要なページに関するスクレイピング
2. 対話型サイト／JavaScript不要なページに関するスクレイピング
3. JavaScript前提のページに関するスクレイピング

下に行くほど、スクレイピングしづらくなります。

静的サイト／JavaScript不要なページに関するスクレイピング

　これが一番簡単です。HTMLを取得して、そのHTMLの中の特定のデータを抽出するだけです。利用するライブラリとしては、cheerio-httpcliあたりが良いです。

対話型サイト／JavaScript不要なページに関するスクレイピング

　対話型サイトとは、入力フォームやチェックボックスを利用してユーザが入力後にサブミットして遷移するサイトです。利用するプロトコルとしては、getではなくpostのイメージです。単純に検索条件を指定するだけであれば、postであってもパラメータを自分で付加して送ればいいのですが、認証等が絡むことが多いです。その際は、ライブラリ側もCookie等に対応してセッションを維持する必要があります。面倒くささのランクが1つあがることになります。
　こういった場合に利用するライブラリとしては、Mechanizeが定番になります。Node.jsというかJavaScript版としてmechanize-jsがあります。また、先に紹介したcheerio-cliも0.3.0以降は同様の機能が使えるようになっています。選択の悩みどころですね。

JavaScript前提のページに関するスクレイピング

　JavaScript前提のページとは、サーバサイドで画面を生成するのではなく、クライアントサイドから各要素を呼び出して動的にページを生成するタイプです。従来も画像やCSSをクライアントから呼び出してというところはあったのですが、最近は表示するデータ等をクライアントから非同期で呼び出してというパターンが増えてきています。スクレイピングという観点では、大変な場合が多いです。
　対処法としては、JavaScriptを解析してデータ部分を直接引っ張る方法と、スクレイピング側にブラウザ相当のものを用意して画面の生成をする方法があります。前者は認証認可含めて大変な場合が多く、後者はブラウザを利用するので通常のスクレイピングより多くのリソースを必要とします。Selenium+Firefoxで実現する場合もあるのですが、出来るだけ軽量に実行できるようにヘッドレスブラウザと呼ばれるCLIベースのものを利用することが多いです。代表格としては、WebKit ベースで作られたPhantomJSがあります。Node.js+Lambdaから使う際は、phantom-lambda-templateというモジュールもあります。これについては、回を改めて解説します。またPhantomJS以外では、Xvfbを利用してChromeやFirefoxなどの実ブラウザをCLIで使うという方法もあります。