プログラマでありたい

おっさんになっても、プログラマでありつづけたい

2014-01-01から1年間の記事一覧

KimonoLabsと今後のサービスのあり方のはなし

別記事にも書きましたが、第2回Webスクレイピング勉強会@東京に参加してきました。そこで注目のサービスであるKimonoLabの中の人であるPratap Ranadさんの話を聞いてきました。シンプルながら明確なメッセージで、非常に感銘を受けました。 KimonoLabsのミッ…

「第2回Webスクレイピング勉強会@東京」に参加&発表してきました

前回に引き続き、第2回Webスクレイピング勉強会@東京に参加し、発表もしてきました。今回は、ブログやサイトから本文部分をどうやって抽出するのかというテーマです。ブログの本文抽出とは、ヘッダーやフッダー、サイドメニューなど情報として不要な部分を排…

プログラミング・レスで5分でサックリWebスクレイピング「kimonolabs」

「Rubyによるクローラー開発技法」で付録か何かで書こうか悩んだ末に書かなかったのが、kimonolabsの話です。kimonolabsは、クローラー/スクレイピングをオンラインで実行できるWebサービス(SaaS)です。クローラー本を書いておいて何ですが、9割の人は自…

『Rubyによるクローラー開発技法』を書きました

勉強会やスライドで紹介していましたが、Ruby×クローラーという題材で、『Rubyによるクローラー開発技法』という本を書かせて頂きました。RubyとEmacsの鬼であるるびきちさんとの共著です。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例…

Bees with machine gunsを使って負荷テスト

aws

静的サイトの運用であれば、現状ではS3 Web Hosting機能が最適と考えています。OSやミドルウェアのアップデートも不要で、かつ仮想サーバを起動するより圧倒的に安価です。一方で、ほぼ無敵のS3といえども、一定時間で過剰なアクセスがあった場合はスロット…

62nd Ruby/Rails勉強会@関西に参加してきた

ここ半年ほど、Rubyでクローラーを作る本を書いていました。そんなこともあり、前回JAWSUG三都物語に参加した時に、アジャイルウェアの川端さんにRuby関西で話さないかとお誘いを受けました。もともとRubyのコミュニティに興味あったので、参加させて貰いま…

賃貸でも工事なしで付けられるワイヤレスドアモニタ パナソニックのドアモニ VL-SDM110

お家の防犯グッズの1つに、ドアモニタがあります。最近の物件だと当たり前のようについてたりしますが、ちょっと古い物件だと付いていないことが殆どです。この前まで住んでいた所にも付いてませんでした。賃貸だと工事できないので、ドアモニタは付けれな…

「クラウドソーシングの衝撃」は、誰にとって衝撃なのか?

先日の日替わりセールで買っていたクラウドソーシングの衝撃 (NextPublishing)を読みました。流し読みなので、後でゆっくり読むつもりだけど、頭に残ったの点は2つです。 個人的に仕事を頼んでみたい スキルをもった暇人の暇つぶしと比較されるプロはたまら…

夏のJAWS-UG 三都物語 2014でCDP道場に入門してきました

aws

(西島さん、撮影の写真) 7/5に開催された夏のJAWS-UG 三都物語 2014で、もう1つのネタです。一度はやってみたいと思っていた、CDP道場に初めて参加してきました。もともとスタッフとしての参加でしたが、JAWS−UG沖縄の西島さんの尽力のお陰で、当日まで何…

夏のJAWS-UG 三都物語 2014でElasticity の話をしてきました

7/5に開催された夏のJAWS-UG 三都物語 2014で、初心者向けセッションでElasticityというテーマで話してきました。中身は、Elastic Load Balancer(ELB)とAutoScaling、Elastic IP(EIP)についてです。 最初にアンケートをとったところ、40人くらいの参加者…

AWSで新タイプのインスタンス発表。バースト可能なマイクロインスタンスの後継機

aws

どこぞの公式ブログっぽいタイトルになりましたが、AmazonのクラウドであるAWSの仮想サーバのec2に新タイプのインスタンスが追加されました。T2タイプです。その名の通り、t1.microの後継です。t1.microは、全インスタンスタイプの中で唯一CPUのバースト特性…

周回遅れで、SSDベースの新しいAmazon EBSの話

少し前ですが、AWSのサービスに重大なアップデートがありました。ストレージサービスであるEBSに新しいサービスラインナップが追加され、General PurposeというSSDベースのサービスが利用できるようになりました。すでにyoshidashingoさんが色々考察している…

RubyでWebスクレイピングの話をしてきました。第1回Webスクレイピング勉強会@東京

ちょっと間が空きましたが、第1回Webスクレイピング勉強会@東京に参加して、LT枠でRubyでWebスクレイピングの話をしてきました。 Rubyで始めるWebスクレイピング from Takuro Sasaki 今まで全く参加したことがないレイヤーの勉強会だったので、新しい発見が…

新幹線のWifiは、どうやってつながるのか?或いは、なぜ遅いのか?

東海道新幹線の東京~大阪間で提供されているWifiサービス。スマフォのテザリングが規制によって使えない時に、今でも使っています。しかし、御存知の通り遅いのです。あと、何故、東京~大阪間しか使えないのか。微妙に疑問に思っていました。答えは、すべ…

Rubyのtwitterライブラリで、Twitter Streaming APIが扱えるようになっていた

久々に@sferikによるTwitterのAPIを使ってみると、いつの間にかTwitter Streaming APIも取得できるようになっていました。Twitter Streaming APIは、APIの中でも異色のもので、ひたすらパブリック・タイムラインを取得するといったものです。4年ほど前に出た…

RubyのHTTPS通信で、OpenSSL::SSL::SSLErrorが出たら?

Mac OSのバージョンアップする度に出しているような気がするのが、RubyのHTTPS通信でのエラー。ルート証明書が見つからなくてエラーがでます。 /.rvm/rubies/ruby-2.0.0-p353/lib/ruby/2.0.0/net/http.rb:918:in `connect': SSL_connect returned=1 errno=0 …

RubyでAmazon Product Advertising APIを再び使ってみる

ちょっと必要になって、再びAmazonのProduct Advertising APIを触ってみました。このAPIは、Amazon謹製のAPIで、商品検索や個別商品情報の取得が出来ます。元々このAPIの名前は、Amazon アソシエイト Web サービスといって、AWSと呼ばれていました。クラウド…

5/6まで! Kindle本 ゴールデンウィーク セールのお勧め本/買った本

今知ったのですが、Kindle本のゴールデンウィークセールが開催中です。期間は、2014/5/6まで。つまり今日までです。ざっと見ましたが、全部で164冊とすぐに選べる分量でした。その中で、私が買った本、お勧めする本などを紹介します。 全面改訂 超簡単 お金…

開発用プロキシ、「CocProxy」が便利

CocProxyというツールがあります。名前の通りプロキシサーバーなのですが、用途が開発用です。置換プロキシと言うらしいですが、これがとっても便利です。例えば、クローラーの開発や、HTML,CSS,JavaScriptの修正をする際に、このCocProxyを利用するとダウン…

Ruby製のクローラー AnemoneでストレージをSQLite3, MongoDBに変更する

Anemoneのストレージを変更するシリーズ、ついでにSQLite3とMongoDBも書いておきます。 AnemoneでSQLite3を利用する AnemoneでSQLite3を利用するには、オプションで:storage => Anemone::Storage::SQLite3()と指定するだけです。引数を渡さなければ、anemone…

遂にKindleに登場!!塩野七生の「ローマ人の物語」

連休中、諸事情によりせっせこパソコンに向かって頑張っています。そんな合間に心躍る発見をしました。かねてから切望していた、塩野七生の「ローマ人の物語」がKindle版に登場しました。ローマ人の物語は、言わずと知れた塩野七生さんの出世作にして代表作…

プラレールの三角ネジ(△ネジ)もプラスドライバー2号サイズも、これ1つで大丈夫。

最近子供に貰った京阪電車のプラレール。電池をセットしようにも、自宅のドライバーとネジ穴の大きさが微妙に合わなくて困っていました。精密ドライバーではネジ穴が大きすぎて、普通のドライバーではネジ穴が小さすぎてという状態です。合うドライバーを買…

Chefの辞典こと、「Chef活用ガイド コードではじめる構成管理」

献本頂いて随分と時間が経っているのですが、@sawanobolyさんに「Chef活用ガイド コードではじめる構成管理」を頂きました。執筆段階から原稿見せて頂いていたのですが、製本したものを見ると圧巻としか言えない分量の大作です。頂いたものの、分厚すぎて持…

RubyでYahoo! キーフレーズ抽出APIを使ってテキストマイニング

Rubyでキーワード抽出およびTF-IDFでキーワードの重要度の重み付けが出来んかなと思ってGemを漁ってみました。残念ながら、日本語データに関しては、それらしいのは見つかりませんでした。キーワード抽出については、Mecabで形態素解析後に品詞同士のつなが…

Ruby製のクローラー Anemoneでストレージをファイルに変更する

シリーズの如く何度かAnemoneの話を書いています。Anemoneは割りと小さなモジュールなので、ソースを読めば直ぐに解ることが多いです。一方で、ドキュメントが充実しているとは言い難いので、少し違うことをしようとすると、ソース嫁という状態になります。…

AppleTVのYoutubeにログインできない場合の傾向と対策

息子がプラレールで遊んでいるうちに、すっかりと鉄ちゃん予備軍になりました。来る日も来る日もプラレールで遊び、またある時はYoutubeで電車の映像を眺めています。そんな訳でいちいち検索するのも面倒くさいので、息子が利用する用のアカウントを作って幾…

FireFoxやChromeを使って任意のノードのXPathを簡単に抽出する方法について

「Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath」というエントリーで、Nokogiriの使い方に絡めてXPathの記述をちょこっと書きました。XPathは、XMLやHTMLのノードを指定する為の構文です。XPathを使うことにより、HTML中のタグも一意に指定すること…

Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath

RubyでHTMLやXMLをパースする構文解析ツールの定番は、Nokogiriです。スクレイピングする際の必需品で、なくてはならないモジュールの1つです。ただ色々なことが出来る反面、どこから取りかかれば良いのか解り難い部分もあります。自習を兼ねて、Nokogiri概…

Google Adsenseのレスポンシブル広告ユニット(ベータ版)を、スマホで見たらひどかった件

はてなブログに移行しまたので、スマホの方にGoogle Adsenseの設定をしてみました。幾つか方法を調べていたのですが、JavaScriptを使い自分でサイズに応じて広告の大きさを変える方法と、Googleが提供するレスポンシブル広告ユニット(ベータ版)を使う方法…

Ruby製のクローラー Anemoneの文字化け対策

何度も取り上げていますが、Ruby製のクローラーであるAnemoneについてです。もう2年ほどメンテナンスされていないものの、Rubyの中のクローラー・フレームワークとしては未だに一番の完成度です。しかし、残念ながら幾つかの問題点があります。その中で日本…