プログラマでありたい

おっさんになっても、プログラマでありつづけたい

2014-01-01から1年間の記事一覧

Excel VBA+IEでのスクレイピング

書くと宣言しながら、すっぽかしていたクローラー/スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何…

AWS Lambda Meetup #0に参加した感想

先日開催されたAWS Lambda Meetup #0に参加してきました。もともと聞きに行く予定だったのですが、主催者の@Keisuke69さんから打診を受けて急遽登壇することになりました。 発表資料 発表内容は、Lambda Advent Calendar用にネタ的に作ったクローラー/スク…

Lambdaで作るクローラー/スクレイピング

話題のAWS Lambda Advent Calendar 2014の14日目です。クロスポストで、クローラー/スクレイピング Advent Calendar 2014の14日目でもあります。 re:Inventで発表されて以来、注目のLambdaです。サーバを用意しなくても、バッチを直接実行できるとあって、…

かなりリッチに3,000円〜10,000円の贅沢ワイン

2,000円台のワインに引き続き、3,000円〜10,000円の贅沢ワインです。このクラスになると、レストランで飲むと全て1万円超えです。ヘタしたら3万円くらいになると思います。レストランでは手が出なくても、宅飲みであれば何とかなるのが魅力ですね。 私は年に…

ちょっとプチ贅沢な2,000円台のワイン

ブログタイトルを入力すると、ワインをサジェストされることに気がついた今日ころ頃です。昨年末にワインネタを出したところかなり好評だったので、今年も少し紹介します。今回は2,000円台のワインです。ちょっとプチ贅沢したい時に、いかがでしょうか?この…

クローラー/スクレイピングのWebサービス 「Kimono」のユースケース

クローラー/スクレイピング Advent Calendar 2014の8日目です。あと、全部俺Advent Calendarも開催中です。 クローラー/スクレイピングをするのであれば、是非知っておいて欲しいサービスが「Kimono」です。Kimonoは、KimonoLabsという会社が作ったクローラ…

AWSのアカウント管理の話

aws

AWS Advent Calendar 2014の7日目です。あと、全部俺Advent Calendarも開催中です。 運用絡みで何か書くと宣言したので、AWSのアカウント運用について書いてみます。テクニックや技術より、考え方の面での整理です。 AWSのアカウントの種類 AWSで利用するア…

Ruby+Mechanizeで対話型のスクレイピング

クローラー/スクレイピング Advent Calendar 2014の6日目です。あと、全部俺Advent Calendarも開催中です。 リクエストがあったので、Mechanizeを使ったスクレイピング方法についてです。Mechanizeは、対話型の処理を得意とするスクレイピングの補助ツール…

賃貸物件でも食洗機!!

一度食洗機付きの物件に住んでから、その便利さの虜になっています。そんな中、今年の7月に引っ越しました。当然といえば当然なのですが、引越し先の物件には食洗機がついていませんでした。ということで、食洗機を取り付けられるよう色々動きました。 不動…

Ruby+Nokogiriでスクレイピング入門

クローラー/スクレイピング Advent Calendar 2014の5日目です。あと、全部俺Advent Calendarも開催中です。 Webからデータを取るためにスクレイピングする際は、Rubyを使うことが多いです。理由としては、Nokogiriが手軽で簡単だからの一点です。Rubyによる…

何故JSONPでJavaScriptのクロスドメイン通信ができるのか?

一人Advent Calendarの3日目です。 JSONPを使って外部のAPIを呼び出して、結果を取り込むということは色々なところで行われています。しかし、そもそもJavaScriptを利用した場合、クロスドメイン通信が使えないという前提があります。JSONPだったら、何故そ…

はてなダイアリーから、はてなブログ(独自ドメイン)に移行したらこうなった

全部俺AdventCalendarの2日目です。 今年の4月に、はてなダイアリーからはてなブログ(独自ドメイン)に移行しました。その顛末というか困っているところです。まずは、アクセス数の推移のグラフを見てください。はい。だだ下がりです。 アクセスが下がった…

スクレイピングのお仕事について

今年一番のトピックスは、クローラー本の出版でした。ちょうど、昨年の今頃に企画が舞い込んできて、2月〜7月くらいでせっせと書いていました。企画から執筆中まで、一貫してクローラー本の需要があるのか半信半疑でした。半信半疑というより、売れないだろ…

S3のイベント通知機能(S3 Event Notifications)に対するユースケースを考える

日本のAWS関係者がre:Inventの発表で盛り上がっているなか、風邪ひいて寝込んでました。季節の変わり目には、気をつけましょう。 さて、そんな感じで全然追いつけていませんが、特に面白いなぁと思ったのが、S3 Event NotificationsとAWS Lambdaです。Lambda…

ヤフー「つぶやき感情分析」で、衆議院議員の人気度を見る

ネットを見てると、面白いサービスが出ていました。 ヤフー株式会社は12日、ソーシャルメディア上の投稿を検索できるYahoo!検索の「リアルタイム検索」において、「つぶやき感情分析」の正式版を公開した。 つぶやき感情分析は、Twitter上の投稿を分析し、検…

今どきのサーバ/インフラの構築の仕方。"サーバ/インフラ徹底攻略 (WEB+DB PRESS plus) "

10/30発売の「サーバ/インフラ徹底攻略 (WEB+DB PRESS plus) 」を、@imai_factoryさんに献本頂きました。ありがとうございます。まだパラパラめくっている状態ですが、最近のサーバ/インフラの構築・運用方法の潮流について、これ1冊で解る内容になっていて…

クローラーとAWSが出会ったら?第3回Webスクレイピング勉強会@東京

2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー/スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテー…

『Rubyによるクローラー開発技法』関連書評・イベントまとめ

Rubyによるクローラー開発技法の発売から2ヶ月くらいが経ちました。ニッチすぎるとの予想を覆し、かなり好調な売れ行きです。既に2回目の増刷を迎えております。筆者としては、ありがたい限りです。最近、いろいろな方が書評を書いてくれています。自分用の…

Mac miniを買ったった! (Late 2014 MGEN2J)

mac

2014/10/16に、Mac miniの最新機種が発表されました。1年近く待ち続けていたので、小躍りして買いました。 Mac mini Late 2014のラインナップ まず最初に、2014年版のMac miniのラインナップは何があるのでしょうか?松竹梅の3モデルがあるので、それぞれ仮…

Amazonのランキングの不思議

2014年8月末発売の「Rubyによるクローラー開発技法」が好調です。1ヶ月半くらい経過した今でも、Amazonのランキングで1000〜2000位くらいを維持しています。また2回目の増刷も決まり、望外の売れ行きです。 ところで、自分で本を出して疑問に思うことがあり…

作って覚える転置インデックス、「検索エンジン自作入門」

先行発売で、検索エンジン自作入門を購入しました。まだペラペラと眺めている状況ですが、これが非常に面白いです。 「検索エンジン自作入門」は、集めた文章をいかに整理するかをテーマとして扱っている本です。整理するという意味は、検索エンジンを利用す…

Amazonで在庫がないので、それ以外の書籍ネット販売を見てみた

先週の金曜日から、Amazonでは「Rubyによるクローラー開発技法」が売り切れ状態です。Amazonの予想を超えてやったぜといい気になっている反面、数少ない売れるチャンスを逃し機会損失ではないかと、喜んだり落ち込んだりしています。いつになったら入荷され…

東芝REGZA 47Z7を買って修理した話と、テレビガードと火災保険の関係

先日の引っ越しのタイミングで、新しいテレビを買いました。東芝REGZAのZ7シリーズの47インチです。ヤマダ電機で2代前の型落ちを店頭で安く買いました。今まで録画の設備も持っていなかったのに、いきなりテレビ一体型の録画機能とタイムシフト機能がついて…

Spidering hacksと私

知っている人は気がついていると思いますが、「Rubyによるクローラー開発技法」は、「Spidering hacks」を意識して書かれています。この本はクローラーやWebスクレイピングに関して、非常に広範囲に取り扱っています。ツールの話からスクレイピングの仕方ま…

大人の歯磨き。Panasonic ジェットウォッシャー 白 EW-DJ10-W

30代後半で二児の父ですが、未だに歯医者に行くと懇切丁寧に歯の磨き方の指導を受けます。20代の若い歯科衛生士に、ここを丁寧に磨くんですよと諭されると、「恥の多い生涯を送って来ました」と懺悔せねばならぬ気持ちになってきます。 もともと私は顎が小さ…

『Rubyによるクローラー開発技法』の増刷決定しました

少し遅くなりましたが、ご報告です。先月末(8/23)に発売した「Rubyによるクローラー開発技法」ですが、発売10日程で何と増刷決定しました!! 発売前から、テーマがマニアック過ぎるとか、値段が高過ぎると、主に私の中で心配していましたが、想定外の好調…

本を書く前に準備したこと、執筆中にしていたこと

「Rubyによるクローラー開発技法」は、2013年12月に話を頂き、2月くらいまで企画を検討し、2月〜7月の約5ヶ月間で執筆しました。役に立つかどうか解らないけど、本を書く前に準備したことと、執筆中にしたことを残していこうと思います。次回があれば、もう…

利回りから東京圏と大阪圏の不動産を比較してみた

ブログの方では言っていなかった知れませんが、今年の7月に東京に転勤になりました。当然の事ながら、家を探して引っ越しました。その時からモヤモヤっと思っていたことがあります。マンションの販売価格に較べて、賃料が安いという点です。つまり投資家目線…

個人ブログの存在感は、自分が思っているより大きいのかもしれない。或いは書籍の流通の話

何度か紹介しましたが、先日「Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例」が発売されました。全国の書店の店頭に、ぼちぼちと並び始めています。 と言いたいところですが、タイトルから解るとおりかなりニッチというかマニアックな内…

Rubyによるクローラー開発技法の目次

るびきちさんとの共著である「Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例」が今週末(8/23,24)くらいから、本屋さんの店頭に並ぶようです。経緯や執筆スタイルなどは別途まとめたいと思いますが、ようやくここまで辿り着けたというと…