プログラマでありたい

おっさんになっても、プログラマでありつづけたい

プログラム

新着順 人気順

Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath

RubyでHTMLやXMLをパースする構文解析ツールの定番は、Nokogiriです。スクレイピングする際の必需品で、なくてはならないモジュールの1つです。ただ色々なことが出来る反面、どこから取りかかれば良いのか解り難い部分もあります。自習を兼ねて、Nokogiri概…

あらためてRuby製のクローラー、"anemone"を調べてみた

3年ほど前に、Ruby製のクローラー"anemone"を紹介しました。その当時から完成度が高く、Rubyでクローラーを使う場合はanemoneを利用してきました。最近、他に新しくて良いのがないか調べましたが、機能面の網羅性という意味でanemoneを超えるものは見つけら…

TwilioとAmazon SNSを組み合わせて、電話で自動通知

今年の4月にTwilioのアカウントをとって早8ヶ月。これは色々なことに使えるとワクワクしながら、すっかり放置していました。日本ではKDDIさんと組んで展開し、色々な所でハンズオンなども開催されていたので、知名度的にも手軽に使える音声APIのデファクトに…

nkf --overwrite

nkfで文字コードを変換後、そのまま上書きしてくれる機能があるのを知らなかった。 ワイルドカードで指定すれば、複数のファイルも一括で変換できる。 便利。何故、今まで知らなかったんだろう。 -O Output result to file. The first name in arguments bec…

JUnitでorg.dbunit.database.AmbiguousTableNameExceptionエラー

ContinuumからJUnitのテストをしようとすると、突然にorg.dbunit.database.AmbiguousTableNameExceptionでエラーが発生することがあります。DBがOracleの場合だと、リサイクル機能(ごみ箱機能)を疑ってください。テーブルをdrop&createした場合には、自動…

今更聞けないCapistranoでリリースの自動化

ここ数年で開発の現場でAgile開発の文化や手法が、ずいぶんと取り入れられるようになってきているようです。アジャイル開発はその根底に文化が大事ですが、それを支えるツールというのも重要になってきます。ソース管理やビルド管理、テストの自動化と色々あ…

RubyからAmazon SESでメールを送る

プログラムからちょこっとメールを送りたい時って、ありますよね?メールサーバを立てること自体はそれ程大変ではないですが、維持管理していくのは昨今非常に面倒くさいです。またスパム撲滅の為にプロバイダの規制が多くて、気が付いたら送れなくなってい…

シェルスクリプトでdate関数の日付の整形方

すぐ忘れるのでメモ 1.出力のフォーマット $date '+%Y%m%d%H%M' 結果 200509041536 出力フォーマット YY 年四桁 EX) 2005 yy 年二桁 EX) 05 mm 月二桁 EX) 09 dd 日二桁 EX) 01 HH 時間 0 to 23. MM 分 0 to 59. ss 秒 0 to 61 (59 plus a maximum of two …

crontabの書き方

例によって、脳軟化症の自分のために crontab -u ユーザ名 ユーザを指定する crontab -e 編集 crontab -l 参照 crontab -r 削除書式 分 時 日 月 曜日 [実行コマンド]分 0 から 59 まで 時 0 から 23 まで 日 1 から 31 まで 月 1 から 12 まで 曜日 日曜日…

Ruby入門1 四則演算・標準入出力・ファイルの操作

暫くrubyの勉強をすることにしました。インターネットで検索すると色々な情報が出てきますが、私は本を読みながら手を動かして覚えるのが好きなので、そのスタイルで行います。 選んだ本は、Ruby for Rails: Ruby Techniques for Rails Developers 本屋でち…

sedとxargsで特定文字列を一括置換

たまに忘れる。 sedとxargsで特定文字列を一括置換する方法。 find ./ -name *.html | xargs sed -i 's/検索文字列/置換文字列/g'xargsについて、素晴らしいエントリがあったのでリンク いまさらxargsの便利さを主張してみる sed & awk デスクトップリファレ…

RubyでTwitter Streaming APIを使ってみる

何かTwitterを使ったサービスを作ってみたくて、時間が空いている時にTwitterの仕様を眺めています。 TwitterはAPIが充実していて、非常に開発者フレンドリーです。 ただAPIの使用については回数制限などある程度の制約があるので、目的に沿って使う必要があ…

RubyでAmazon DynamoDBを使ってみた

話題のDynamoDB。かなり面白そうです。アマゾンの大量のトランザクションを支える技術を、インフラの面倒をみることなく使えるという、まさにクラウドの醍醐味というサービスです。 今までクラウドとRDBの相性の悪さというのはどうしてもありました。RDBの本…

Amazon Linux AMIにRuby用にJenkinsをインストールする

HudsonもといJenkinsは昔からよく使っていますが、全くそれに関するエントリーをあげていないことに気がつきました。ということで、暫くJenkins強化週間です。まずはお決まりのインストールメモから。Java用だと一瞬で終わってしまうので、Rubyで使用するこ…

JavaScriptにも対応出来るruby製のクローラー、Masqueを試してみる

ちょっと前に試そうと思って、そのまま放置していたruby製のクローラー「Masque」を試してみました。ruby製のクローラーは、他にはAnemoneという優秀なものがあります。その上で何故というと、Anemoneにはない特性があるからです。 MasqueはCapybaraのDSLで…

Ruby製のクローラー Anemoneの文字化け対策

何度も取り上げていますが、Ruby製のクローラーであるAnemoneについてです。もう2年ほどメンテナンスされていないものの、Rubyの中のクローラー・フレームワークとしては未だに一番の完成度です。しかし、残念ながら幾つかの問題点があります。その中で日本…

開発用プロキシ、「CocProxy」が便利

CocProxyというツールがあります。名前の通りプロキシサーバーなのですが、用途が開発用です。置換プロキシと言うらしいですが、これがとっても便利です。例えば、クローラーの開発や、HTML,CSS,JavaScriptの修正をする際に、このCocProxyを利用するとダウン…

複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた

最近のRubyのクローラーは、EventMachineを使って並列化するのが流行のようです。EventMachineは、非同期処理をお手軽に実装できるフレームワークです。Rubyのスレッド機能との違いは、Reactorパターンを使いシングルスレッドで実装している点です。こちらの…

Capybara-DSLのはなし

ちょっとCapybaraについて、整理する必要があったのでこちらで簡単にまとめておきます。Capybaraは、Githubのスタートページに使い方が丁寧に書いているので、そちらを参照したら大抵のことが解るようになっています。 What is Capybara Capybaraは、Webアプ…

ヤフー「つぶやき感情分析」で、衆議院議員の人気度を見る

ネットを見てると、面白いサービスが出ていました。 ヤフー株式会社は12日、ソーシャルメディア上の投稿を検索できるYahoo!検索の「リアルタイム検索」において、「つぶやき感情分析」の正式版を公開した。 つぶやき感情分析は、Twitter上の投稿を分析し、検…

RubyでWebスクレイピングの話をしてきました。第1回Webスクレイピング勉強会@東京

ちょっと間が空きましたが、第1回Webスクレイピング勉強会@東京に参加して、LT枠でRubyでWebスクレイピングの話をしてきました。 Rubyで始めるWebスクレイピング from Takuro Sasaki 今まで全く参加したことがないレイヤーの勉強会だったので、新しい発見が…

Rubyのtwitterライブラリで、Twitter Streaming APIが扱えるようになっていた

久々に@sferikによるTwitterのAPIを使ってみると、いつの間にかTwitter Streaming APIも取得できるようになっていました。Twitter Streaming APIは、APIの中でも異色のもので、ひたすらパブリック・タイムラインを取得するといったものです。4年ほど前に出た…

RubyのHTTPS通信で、OpenSSL::SSL::SSLErrorが出たら?

Mac OSのバージョンアップする度に出しているような気がするのが、RubyのHTTPS通信でのエラー。ルート証明書が見つからなくてエラーがでます。 /.rvm/rubies/ruby-2.0.0-p353/lib/ruby/2.0.0/net/http.rb:918:in `connect': SSL_connect returned=1 errno=0 …

RubyでAmazon Product Advertising APIを再び使ってみる

ちょっと必要になって、再びAmazonのProduct Advertising APIを触ってみました。このAPIは、Amazon謹製のAPIで、商品検索や個別商品情報の取得が出来ます。元々このAPIの名前は、Amazon アソシエイト Web サービスといって、AWSと呼ばれていました。クラウド…

Ruby製のクローラー AnemoneでストレージをSQLite3, MongoDBに変更する

Anemoneのストレージを変更するシリーズ、ついでにSQLite3とMongoDBも書いておきます。 AnemoneでSQLite3を利用する AnemoneでSQLite3を利用するには、オプションで:storage => Anemone::Storage::SQLite3()と指定するだけです。引数を渡さなければ、anemone…

RubyでYahoo! キーフレーズ抽出APIを使ってテキストマイニング

Rubyでキーワード抽出およびTF-IDFでキーワードの重要度の重み付けが出来んかなと思ってGemを漁ってみました。残念ながら、日本語データに関しては、それらしいのは見つかりませんでした。キーワード抽出については、Mecabで形態素解析後に品詞同士のつなが…

Ruby製のクローラー Anemoneでストレージをファイルに変更する

シリーズの如く何度かAnemoneの話を書いています。Anemoneは割りと小さなモジュールなので、ソースを読めば直ぐに解ることが多いです。一方で、ドキュメントが充実しているとは言い難いので、少し違うことをしようとすると、ソース嫁という状態になります。…

Ruby2.0の文字エンコーディングの簡単なまとめ。KconvとM17N

浦島太郎状態になっていたので、Ruby周りの文字コードの扱いについて改めて勉強しなおしました。簡単にいうとRuby 1.9.1以降の多言語化仕様(M17N)では、文字コードをどう扱えばよいのかという点です。 Rubyの文字コード変換ライブラリ Ruby 1.9.1の多言語…

Jenkinsでビルド・パイプラインを構築する

前回、Jenkinsのインストールについて書きました。今回は、Jenkinsでビルド・パイプラインを構築する話です。 ビルド・パイプラインとは? ビルド・パイプラインとは、ビルドのプロセスを分割して順番に実行していくことです。例えばビルドの流れとして、コ…

AWS SDK for RubyでS3の操作をする

AWS SDK for Rubyでのファイル関係のS3の操作です。一覧取得とファイルの取得の方法をメモ程度にまとめています。一覧取得については、基本的には2通りあってBucket.as_treeからツリー形式で取得する方法とBucket.objects.collectからキーの一覧を取得する方…