API Gatewayの登場で、LambdaをWebからのエンドポイントとして利用できるようになりました。一般的なメリットとしては、モバイルアプリやJavaScriptアプリのバックエンドとして利用しやすくなったということです。それ以外にも便利なのが、WebHookとの連携です。WebHookは、何らかの処理をトリガーに、Web上にあるHTTP/Sのサービスをコールして処理を連係するといった機能です。抽象的にいうと解りにくいですが、GitHubにコミットされたタイミングで、ビルド処理を走らせる為にJenkinsやCircleCIのビルドをURL呼び出しで叩くということです。最近では、サービス間の連係によく使われるようになりつつあり、WebHookの機能が実装されているサービスが増えています。
API Gateway+LambdaとWebHook
WebHookを利用する際に、サービス間の連係だけで完結する場合は特に問題はありません。しかし、フックした後の処理が、サーバ上のOSコマンドやシェルプログラムを叩くものの場合だと少し問題があります。WebHookの呼び元からHTTP（/S）で呼ぶ出せるサーバを用意する必要があります。少々、面倒くさいですね。またWebHookを利用する場合、サービスの実行頻度が低く常時利用する必要もないものが多いです。そのために、24時間動いてるサーバを用意するのは非効率なことが多いです。
そこで、API Gateway+Lambdaです。Lambdaはご存知の通りイベント駆動のコンピュートエンジンです。課金体系も、プログラム処理が走っている時間だけの従量課金で、しかも課金の単位はミリ秒単位です。そして、API Gatewayと組み合わせると、極めてローコストなWebからのエンドポイントになります。WebHookとの連係にピッタリですね。
API Gateway+LambdaとWebHookのユースケース
それでは、どんなケースが考えられるでしょうか。WebHookは通知系のサービスと相性は良いですが、通知機能自体はサービス自身にデフォルトで実装されていることが多いです。あとは、SendGridのようなメールサービスで、メール受信後にリプライを返し自動応答や空メール機能といったことが考えられます。
それ以外に相性がよいのが、コードのリポジトリとの連係です。GitやGitHubには当然のごとくフック機能が付属しています。プッシュした後に自動でデプロイしてくれれば嬉しいですね。そういった用途には一般的にはJenkinsやCircleCIなどのCIツールを使いますが、単なる静的コンテンツ等のビルド不要な場合はもう少し手軽に出来る方法があっても良いのではないでしょうか？そこで、GitHub + APIGateway + Lambda（Python） + Fabricを試してみました。
Lambdaからgitコマンド
まず試したのが、Lambdaにgitコマンドを叩けるようにするということです。Git CloneでTrunkもしくはBranchからデプロイ対象のソースを落とすことを想定してです。まず認証の部分ですが、GitHubには設定画面でDeploy keyを作れます。ここで、簡単にリードオンリーのキーを作れるので、これを利用してLambdaのプロジェクト内にキーを配置すればよいかと考えました。次に、gitコマンドです。Lambdaが動いている環境には、gitコマンドは用意されていません。じゃぁ、ビルドして同梱しようと気軽に考えていたのですが茨の道でした。
Lambda用のモジュールを作る時は、基本的には静的リンクでビルドして依存関係のライブラリを内包させて作ります。私の知識不足で、それが難しかったです。
まず、下記のコマンドで作ってみました。
$ make configure
$ ./configure CFLAGS="${CFLAGS} -static-libgcc" モジュールは出来るもののLambdaから呼び出した次のようなエラーが出ます。理由としては、curlライブラリが無いのが問題のようです。
fatal: Unable to find remote helper for 'https'
じゃぁ、HttpsではなくSSHで呼ぶ出そうとしたのですが、やっぱりsshコマンドはありません。sshのモジュールはもう一段敷居が高いのでギブアップです。ということで、今のところはzipダウンロードが代替手段かと考えています。ただこのケースでいうと、GitHubを使うよりS3イベントに連動させた方が、100倍楽です。
LambdaでFabric
こちらの方は、gitコマンドを作るよりかは苦労しません。pip install -tでローカルに必要なモジュールをどんどんインストールしてLambdaに同梱していけばよいです。具体的に依存関係があってどのモジュールをインストールしたのか忘れましたので、また手順を載せます。
pip install pyasn1 -t ./
pip install rsa
ディレクトリをみると、下記のような感じになっていました。
Fabricの呼び出しは、最小限引用すると下記のような感じです。
fabricのシェルを作成し
import commands
import json
import os
from cStringIO import StringIO
import re
print('Loading function')
def _(cmd):
return commands.getoutput(cmd)
def lambda_handler(event, context):
print(_("mkdir /tmp/fabric"))
#コンテンツの取得処理を実装
print(_("cp ./private.key /tmp/private.key"))
print(_("chmod 600 /tmp/private.key"))
#fabricコマンドの呼び出し
print("./fab home_dir -H hostname -i /tmp/private.key -u fabric-user")あとは、fabファイルの方で任意の処理を書くイメージです。
