クローラーとAWSが出会ったら？第3回Webスクレイピング勉強会@東京

　2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw

発表資料

Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki

Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス

　資料の構成としては、クローリングする際の悩みをあげた上で、AWSを使えばどう解決できるのかという構成にしています。AWSのサービスの簡単な紹介と、クローラーを作成する上で便利なサービスを３つ挙げています。EC2とS3,SQSです。前の２つのサービスについては納得すると思いますが、SQSについては何故と思う方もいるかもしれません。その辺りを構成含めて、簡単に紹介しています。
　

他の方の発表資料

　今回は、オープニングを含めて7人の発表がありました。どれも面白く、参考になりました。

Webスクレイピング勉強会@東京オープニングトーク (第3版) #東京スクラッパー from nezuQ

Webスクレイピング勉強会@東京オープニングトーク (第3版) #東京スクラッパー

クローリングしにくいものに挑戦公開用 from Lumin Hacker

クローリングしにくいものに挑戦公開用
　@luminさんは、本職でスクレイピングしているプロとあって非常に濃い内容でした。スクレイピングの上級編は、プロトコル解析から始まるとのことです。なかなか到達できない世界ですね。

ソーシャル・スクレイピング（2014年10月Webスクレイピング勉強会資料） from yuzoakakura

ソーシャル・スクレイピング（2014年10月Webスクレイピング勉強会資料）
　@YuzoAkakuraさんは、マスコミで働いているシステムエンジニアとのことです。データジャーナリズムという未知の分野を垣間見せて頂けました。データジャーナリズムとは、「データからニュースを発見し、わかりやすく伝える手段」とのことです。凄く合点がいきました。

第3回Webスクレイピング勉強会@東京 happyou.info from Shogo Okamoto

第3回Webスクレイピング勉強会@東京 happyou.info

　@shogookamotoさんは、自作のスクレイピングサービスの紹介でした。上場企業や政府機関をスクレイピングしてRSSで配信するという素敵なサービスです。紹介としては1行でさらっと言えるないようですが、取得対象を解析して、それぞれに対応するというのは並大抵の労力ではなかったと思います。凄いサービスです。

20141022 リサーチ向け・ブラウザだけでスクレイピング（浅野） from Hirosuke Asano

20141022 リサーチ向け・ブラウザだけでスクレイピング（浅野）
　@hirosuke_asanoさんは、コピペで出来るスクレイピングを紹介しています。これも規模によっては、よくやります。スクレイピングは手段にすぎないので、用途や個人のスキルに応じて、適切なものを選べばよいのですよね。

実践Excelスクレイピング from 宏明塩原

実践Excelスクレイピング
　@h_sinoharaはネタっぽく語られていましたが、非常に共感がいく内容でした。Perlで苦労した話とか、Excelでスクレイピングするとか、いろいろ通った道ですね。特にExcelスクレイピングについては、もっと多くの人に知って貰えればと思います。web::queryは必殺技

Togetter

　Togetterのまとめも作っています。ハッシュタグ #東京スクラッパーから抽出しています。

第3回Webスクレイピング勉強会@東京のまとめ - Togetterまとめ

感想

　どれも見応えのある内容で、非常に楽しかったです。私の発表については、AWSの便利さが伝わったようです。ただ、懇親会等で話を聞いていると、まだまだクラウド破産を恐れる人が沢山いるということが解りました。これは、長年使っていると、全く気にならなくなります。ただ、外から見るとそのような恐れがあるというは、改めて認識できるようになりました。同じカテゴリーの人と話していては気がつかないことですね。ありがたいです。
　また、Pythonのクローラー本に対するリクエストが多かったです。しばらく動けそうにないので、誰かやりたい人がいたらご連絡くださいｗ

PR
anemoneの解説を含めて、Rubyによるクローラー開発の本を書きました。
クローラーの概念から実際の構築・運用手順を網羅しています。