JAWS-UG アーキテクチャ支部でクローラー／Webスクレイピングの紹介をした

　先日のJAWS-UG アーキテクチャ支部クラウドネイティブ分科会 CDP議論会 #7で、Lambdaを利用したクローラー／Webスクレイピングについての発表をしてきました。

発表の経緯

　そもそも何故アーキテクチャ支部でクローラー／Webスクレイピングの話をしたのかです。クラウドネイティブ分科会では、ここ数回Lambdaの実践的な活用について議論しています。利用パターンとしては、システムの中核となる部分とそれ以外の部分があるよねという前提がでてきました。そして、それ以外の周辺分野から利用していくほうが実践導入は早そうなので、そこで使えるパターンを議論してきました。その中で、出てきたのが下記の5パターンです。

・監視
・通知
・フィルター
・コンテンツ確認（Validation）
・チャットOps

※この辺りについてはアーキテクチャ支部のGitHubのIssueに記載されているので、興味ある人はご確認ください。

　その中の1つの監視で、サービス監視というところにクローラー／スクレイピングの技術があるよという流れで、そもそもLambda上でどう実現するかという話が出てきました。Seleniumとかあるよねというので、では簡単にまとめて見ましょうということで私も話すことになりました。

発表資料

　当日の発表資料は、次のとおりです。あくまで監視という文脈なので、具体的な方法については、ほぼ記載していません。クローラー／スクレイピングの全体感を説明した上で、最後に監視方法の1例について説明しています。

JAWSUG architecture-crowler from Takuro Sasaki

www.slideshare.net

当日の議論

　何をどう監視するかということで、それぞれの立場ごとに意見が異なっていて面白かったです。私としては、個々のサーバやプロセスは内部から監視して、Lambdaからの監視はユーザ視線でどう見えているのか確認という意味で考えておりました。
　当日の議論は、そこに留まらずサーバレス監視の実現・CloudWatchとの補完などあり、なるほどなぁと思えることが多かったです。それ以外にも、マイクロサービスやDockerの運用（監視）の話も出てきて、これまでと違った知見がいるということを痛感しました。奥が深いです。（というか闇が深くなるかもしれませんｗ）