書くと宣言しながら、すっぽかしていたクローラー／スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何…

先日開催されたAWS Lambda Meetup #0に参加してきました。もともと聞きに行く予定だったのですが、主催者の@Keisuke69さんから打診を受けて急遽登壇することになりました。 発表資料 発表内容は、Lambda Advent Calendar用にネタ的に作ったクローラー／スク…

話題のAWS Lambda Advent Calendar 2014の14日目です。クロスポストで、クローラー／スクレイピング Advent Calendar 2014の14日目でもあります。 re:Inventで発表されて以来、注目のLambdaです。サーバを用意しなくても、バッチを直接実行できるとあって、…

2,000円台のワインに引き続き、3,000円〜10,000円の贅沢ワインです。このクラスになると、レストランで飲むと全て1万円超えです。ヘタしたら3万円くらいになると思います。レストランでは手が出なくても、宅飲みであれば何とかなるのが魅力ですね。 私は年に…

ブログタイトルを入力すると、ワインをサジェストされることに気がついた今日ころ頃です。昨年末にワインネタを出したところかなり好評だったので、今年も少し紹介します。今回は2,000円台のワインです。ちょっとプチ贅沢したい時に、いかがでしょうか？この…

クローラー／スクレイピング Advent Calendar 2014の8日目です。あと、全部俺Advent Calendarも開催中です。 クローラー/スクレイピングをするのであれば、是非知っておいて欲しいサービスが「Kimono」です。Kimonoは、KimonoLabsという会社が作ったクローラ…

AWS Advent Calendar 2014の7日目です。あと、全部俺Advent Calendarも開催中です。 運用絡みで何か書くと宣言したので、AWSのアカウント運用について書いてみます。テクニックや技術より、考え方の面での整理です。 AWSのアカウントの種類 AWSで利用するア…

クローラー／スクレイピング Advent Calendar 2014の6日目です。あと、全部俺Advent Calendarも開催中です。 リクエストがあったので、Mechanizeを使ったスクレイピング方法についてです。Mechanizeは、対話型の処理を得意とするスクレイピングの補助ツール…

一度食洗機付きの物件に住んでから、その便利さの虜になっています。そんな中、今年の7月に引っ越しました。当然といえば当然なのですが、引越し先の物件には食洗機がついていませんでした。ということで、食洗機を取り付けられるよう色々動きました。 不動…

クローラー／スクレイピング Advent Calendar 2014の5日目です。あと、全部俺Advent Calendarも開催中です。 Webからデータを取るためにスクレイピングする際は、Rubyを使うことが多いです。理由としては、Nokogiriが手軽で簡単だからの一点です。Rubyによる…

一人Advent Calendarの3日目です。 JSONPを使って外部のAPIを呼び出して、結果を取り込むということは色々なところで行われています。しかし、そもそもJavaScriptを利用した場合、クロスドメイン通信が使えないという前提があります。JSONPだったら、何故そ…

全部俺AdventCalendarの2日目です。 今年の4月に、はてなダイアリーからはてなブログ（独自ドメイン）に移行しました。その顛末というか困っているところです。まずは、アクセス数の推移のグラフを見てください。はい。だだ下がりです。 アクセスが下がった…

今年一番のトピックスは、クローラー本の出版でした。ちょうど、昨年の今頃に企画が舞い込んできて、2月〜7月くらいでせっせと書いていました。企画から執筆中まで、一貫してクローラー本の需要があるのか半信半疑でした。半信半疑というより、売れないだろ…

日本のAWS関係者がre:Inventの発表で盛り上がっているなか、風邪ひいて寝込んでました。季節の変わり目には、気をつけましょう。 さて、そんな感じで全然追いつけていませんが、特に面白いなぁと思ったのが、S3 Event NotificationsとAWS Lambdaです。Lambda…

ネットを見てると、面白いサービスが出ていました。 ヤフー株式会社は12日、ソーシャルメディア上の投稿を検索できるYahoo!検索の「リアルタイム検索」において、「つぶやき感情分析」の正式版を公開した。 つぶやき感情分析は、Twitter上の投稿を分析し、検…

10/30発売の「サーバ/インフラ徹底攻略 (WEB+DB PRESS plus) 」を、@imai_factoryさんに献本頂きました。ありがとうございます。まだパラパラめくっている状態ですが、最近のサーバ／インフラの構築・運用方法の潮流について、これ1冊で解る内容になっていて…

2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテー…

Rubyによるクローラー開発技法の発売から2ヶ月くらいが経ちました。ニッチすぎるとの予想を覆し、かなり好調な売れ行きです。既に2回目の増刷を迎えております。筆者としては、ありがたい限りです。最近、いろいろな方が書評を書いてくれています。自分用の…

2014/10/16に、Mac miniの最新機種が発表されました。1年近く待ち続けていたので、小躍りして買いました。 Mac mini Late 2014のラインナップ まず最初に、2014年版のMac miniのラインナップは何があるのでしょうか？松竹梅の3モデルがあるので、それぞれ仮…

2014年8月末発売の「Rubyによるクローラー開発技法」が好調です。１ヶ月半くらい経過した今でも、Amazonのランキングで1000〜2000位くらいを維持しています。また2回目の増刷も決まり、望外の売れ行きです。 ところで、自分で本を出して疑問に思うことがあり…

先行発売で、検索エンジン自作入門を購入しました。まだペラペラと眺めている状況ですが、これが非常に面白いです。 「検索エンジン自作入門」は、集めた文章をいかに整理するかをテーマとして扱っている本です。整理するという意味は、検索エンジンを利用す…

先週の金曜日から、Amazonでは「Rubyによるクローラー開発技法」が売り切れ状態です。Amazonの予想を超えてやったぜといい気になっている反面、数少ない売れるチャンスを逃し機会損失ではないかと、喜んだり落ち込んだりしています。いつになったら入荷され…

先日の引っ越しのタイミングで、新しいテレビを買いました。東芝REGZAのZ7シリーズの47インチです。ヤマダ電機で2代前の型落ちを店頭で安く買いました。今まで録画の設備も持っていなかったのに、いきなりテレビ一体型の録画機能とタイムシフト機能がついて…

知っている人は気がついていると思いますが、「Rubyによるクローラー開発技法」は、「Spidering hacks」を意識して書かれています。この本はクローラーやWebスクレイピングに関して、非常に広範囲に取り扱っています。ツールの話からスクレイピングの仕方ま…

30代後半で二児の父ですが、未だに歯医者に行くと懇切丁寧に歯の磨き方の指導を受けます。20代の若い歯科衛生士に、ここを丁寧に磨くんですよと諭されると、「恥の多い生涯を送って来ました」と懺悔せねばならぬ気持ちになってきます。 もともと私は顎が小さ…

少し遅くなりましたが、ご報告です。先月末（8/23）に発売した「Rubyによるクローラー開発技法」ですが、発売10日程で何と増刷決定しました！！ 発売前から、テーマがマニアック過ぎるとか、値段が高過ぎると、主に私の中で心配していましたが、想定外の好調…

「Rubyによるクローラー開発技法」は、2013年12月に話を頂き、2月くらいまで企画を検討し、2月〜7月の約5ヶ月間で執筆しました。役に立つかどうか解らないけど、本を書く前に準備したことと、執筆中にしたことを残していこうと思います。次回があれば、もう…

ブログの方では言っていなかった知れませんが、今年の7月に東京に転勤になりました。当然の事ながら、家を探して引っ越しました。その時からモヤモヤっと思っていたことがあります。マンションの販売価格に較べて、賃料が安いという点です。つまり投資家目線…

何度か紹介しましたが、先日「Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例」が発売されました。全国の書店の店頭に、ぼちぼちと並び始めています。 と言いたいところですが、タイトルから解るとおりかなりニッチというかマニアックな内…

るびきちさんとの共著である「Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例」が今週末（8/23,24）くらいから、本屋さんの店頭に並ぶようです。経緯や執筆スタイルなどは別途まとめたいと思いますが、ようやくここまで辿り着けたというと…