2016-05-24

クローラー／スクレイピング本が充実

　ふと気がついたのですが、ここ１〜２年で言語ごとのクローラー／スクレイピング本が出てきています。まとめがてらに感想と一緒に紹介してみます

PythonによるWebスクレイピング

　直近で出たスクレイピング本としては、PythonによるWebスクレイピングです。購入だけしてまだ読んでいないのですが、BeautifulSoupとScrapyを利用してスクレイピングしているようです。個人的にはrubyを使ってスクレイピングすることが多いのですが、BeautifulSoupはrubyのnokogiriより使いにくいと思っています。一方でrubyのクローラーフレームワークであるanemoneよりScrapyの方が優れた設計・特性をもっているかなぁと思っています。スクレイピングを始める前にrubyかpythonかの選択に悩んだのですが、BeautifulSoupよりnokogiriが良いやという理由でrubyを選択しました。この本を読みながらじっくりPythonのスクレイピングを学んでみようかなと思います。

　それ以外に興味深い点としては、PDFやMS Word、さらには画像認識とテキスト処理ということでOCRといったことにも取り組んでいます。この辺り興味ありますね。

PythonによるWebスクレイピング

作者: Ryan Mitchell,嶋田健志,黒川利明
出版社/メーカー: オライリージャパン
発売日: 2016/03/18
メディア: 大型本
この商品を含むブログを見る

目次

まえがき
第I部スクレイパーを作る
1章最初のWebスクレイパー
1.1 つなげる
1.2 はじめてのBeautifulSoup
2章高度なHTMLパーシング
2.1 いつもハンマーが必要なわけではない
2.2 BeautifulSoupの別の使い方
2.3 正規表現
2.4 正規表現とBeautifulSoup
2.5 属性へのアクセス
2.6 ラムダ式
2.7 BeautifulSoupを超えて
3章クローリングを開始する
3.1 単一ドメインを走査する
3.2 サイト全体をクローリング
3.3 インターネットをクローリング
3.4 Scrapyでクローリング
4章 APIを使う
4.1 APIはどう働くか
4.2 共通表記
4.3 レスポンス
4.4 Echo Nest
4.5 Twitter
4.6 Google API
4.7 JSONをパースする
4.8 すべてをホームに集める
4.9 APIについてさらに学ぶ
5章データを格納する
5.1 メディアファイル
5.2 データをCSVに格納する
5.3 MySQL
5.4 メール
6章文書を読む
6.1 文書エンコーディング
6.2 テキスト
6.3 CSV
6.4 PDF
6.5 Microsoft Wordと.docx
第II部高度なスクレイピング
7章汚れたデータをクリーニング
7.1 コードでのクリーニング
7.2 事実の後でクリーニング
8章自然言語の読み書き
9章フォームとログインでクロール
10章 JavaScriptのスクレイピング
11章画像処理とテキスト認識
12章スクレイピングの落とし穴を避ける
13章 Webサイトをスクレイパーでテストする
14章リモートでスクレイピング
付録A Python入門
付録B インターネット入門
付録C Webスクレイピングの適法性と倫理
訳者あとがき
索引

JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック

　Node.jsでクローラーといえば、このJS+Node.jsによるWebクローラー/ネットエージェント開発テクニックです。この本の特徴としては、Node.jsのモジュールをいろいろ紹介しているので、Node.js初学者に作りながら学べるという点が大きいです。一方でクローラー特有の要素であるHTMLから要素の指定方法など、もう少し説明が欲しいなぁと思うこともあります。ただ、コンパクトにまとまってバランスの良い１冊であることは間違いありません。
JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック
作者: クジラ飛行机
出版社/メーカー: ソシム
発売日: 2015/08/31
メディア: 単行本
この商品を含むブログ (2件) を見る

第1章開発環境の準備
第2章 Web データの収集
第3章ログインの必要なWebサイトをクロールする
第4章データの整形と保存
第5章形態素解析で日本語を扱う
第6章クローラーのためのデータソース
第7章データの分類と予測と機械学
第8章データの視覚化と応用

Excel VBAでIEを思いのままに操作できるプログラミング術

あまりクローラー／スクレイピング本と認識されいないけど、凄い１冊がExcel VBAでIEを思いのままに操作できるプログラミング術です。ExcelのVBAからIEを呼び出して、IEでDOMを操作して情報を収集するという本です。この本の存在を最近まで知らなかったのですが、私が初めてスクレイピングをした時と同じやり方で感動しました。人にスクレイピングを勧めるにも、プログラムの実行環境をどうするか悩ましい問題です。オフィスワーカーの共通プラットフォームであるエクセルを使うのは、いい選択肢と思います。（IE+DOM操作は面倒くさいですが）
Excel VBAでIEを思いのままに操作できるプログラミング術 Excel 2013/2010/2007/2003対応
作者: 近田伸矢,植木悠二,上田寛
出版社/メーカー: インプレス
発売日: 2013/04/19
メディア: 単行本（ソフトカバー）
この商品を含むブログ (7件) を見る

1 初めてのIE制御
2 理解しておくべき基礎知識
3 IEの動作や外観を制御する
4 HTML画面部品の制御
5 Webサイトを自動操作する
6 Webページ解析のテクニック

Rubyによるクローラー開発技法

　せっかくなので、自分が書いた本も紹介させてもらいます。Rubyによるクローラー開発技法は、私が初めて書いた本です。クローラー本ですが、その周辺技術のHTMLのxPath,CSSセレクタ・正規表現の考え方の他、サーバサイドのことまで書いています。２章以降を担当し400ページ近く書きました。今目次を見返しても、いろいろ書いたなぁと思えるくらい多岐に渡っています。またサンプルも多いので、クローラー／スクレイピングをしようとした際は、たいてい似たパターンの書き方を見つけることが出来るのではないでしょうか。
　おかげ様で発売から2年近く経っても売れ続けています。改訂版を出すとしたら、サーバサイドの部分をAWS Lambda使うパターンを足したいなぁと思います。

Chapter 1 10分クローラーの作成
　1-1 イントロダクション
　1-2 クローラー「GNU Wget」
　1-3 クローラーを作るにあたってのRubyの基礎
　1-4 Rubyでテストサーバを立てる
　1-5 超簡単! 10分で作るクローラー
　1-6 クローラーを拡張する
Chapter 2 クローラー作成の基礎
　2-1 クローラーの目的と構造
　2-2 Anemoneを利用する
　2-3 Anemoneのインストール(Windows編)
　2-4 Anemoneのインストール(Mac編)
　2-5 基本的なクローラーを作成する
　2-6 クローリングができない場合の対処法
　2-7 行儀のよいクローラーを作るには
　2-8 ブラウザタイプのクローラー
Chapter 3 収集したデータを分析する
　3-1 収集したデータを分析する
　3-2 HTML解析と正規表現
　3-3 文字コードの対処法
　3-4 RSSの解析
　3-5 HTMLの解析
　3-6 自然言語を使った日本語の処理
Chapter 4 高度な利用方法
　4-1 データの保存方法
　4-2 クローラーの開発とデバッグ方法
　4-3 クローリングとスクレイピングの分離
　4-4 クローラーを効率的に動かすには
　4-5 Anemoneのオプション一覧
　4-6 APIを利用した収集
Chapter 5 目的別クローラーの作成
　5-1 Google の検索結果を取得する
　5-2 ブログへのクローリング
　5-3 Amazonのデータを取得する
　5-4 Twitter のデータ収集
　5-5 Facebookへのクローリング
　5-6 画像を収集する
　5-7 YouTube から動画を収集する
　5-8 iTunes Store の順位を取得する
　5-9 Google Playの順位を取得する
　5-10 SEOに役立てる
　5-11 Wikipediaのデータを活用する
　5-12 キーワードを収集する
　5-13 流行をキャッチする
　5-14 企業株価情報を収集する
　5-15 為替情報金融指標を収集する
　5-16 郵便番号と緯度経度情報を取得する
　5-17 新刊情報を収集する
　5-18 荷物を追跡する
　5-19 不動産情報を取得する
　5-20 官公庁のオープンデータを活用する
　5-21 新聞の見出しを集める
Chapter 6 クローラーの運用
　6-1 サーバサイドで動かす
　6-2 定期的にデータを収集する
　6-3 収集結果をメールで自動送信する
　6-4 クラウドを活用する
　6-5 さらなる高速化の手法
　6-6 変化に対応する
　6-7 クローラーとそれに付随する技術

感想

　Spidering Hacksからの空白の10年。主要なスクレイピング言語でクローラー／スクレイピング本が揃ったということは結構幸せなことではないかなと思っています。あと1つ足りないと思っているものがあるので、どこかのタイミングで出してみようかなとも思います。

2016-05-20

完全版！！ジュンク堂書店池袋本店2015年コンピュータ書売上げランキング

　2015年度のジュンク堂書店池袋本店のコンピュータ書の売り上げランキング。作って公開するの忘れてました。座談会レポートで一部公開されていますが、全部版です。

2015年総合ランキング

　まずは総合ランキングです。Excel本は凄いけど、カテゴリが違うのではという気もします。人工知能本も一般書ではないのかという気もしますが、ニーズを掘り起こしたという点では凄いですね。あと、やっぱりJava本は強いですね。

総合順位	書名	書影リンク
1	たった1日で即戦力になるExcelの教科書
2	人工知能は人間を超えるか
3	スッキリ解るJava入門第2版
4	リーダブルコード
5	暗号技術入門　第3版
6	機械学習プロフェッショナルシリーズ　深層学習
7	HTML5&CSS3デザインブック
8	伝わるデザインの基本
9	ハッカーの学校
10	インフラ/ネットワークエンジニアのためのネットワーク技術&設計入門
11	スッキリわかる Java入門実践編第2版
12	マスタリングTCP/IP 入門編第5版
13	いちばんやさしいWordPressの教本人気講師が教える本格Webサイトの作り方第2版 WordPress 4.x対応
14	スッキリわかるサーブレット&JSP入門
15	本格ビジネスサイトを作りながら学ぶ WordPressの教科書 Ver.4.x対応版
16	人工知能人類最悪にして最後の発明
17	たのしいRuby 第4版
18	JavaScript本格入門
19	Webエンジニアが知っておきたいインフラの基本
20	よくわかるHTML5+CSS3の教科書【第2版】

2015年1月ランキング

　「ファンタジーな世界観を描く」が気になる

1月順位	タイトル	書影リンク
1	たった1日で即戦力になるExcelの教科書
2	ファンタジーの世界観を描く
3	リーダブルコード
4	伝わるデザインの基本
5	Webエンジニアが知っておきたいインフラの基本
6	スッキリ解るJava入門第2版
7	ジョナサン・アイブ
8	インフラ/ネットワークエンジニアのためのネットワーク技術&設計入門
9	Lean Analytics
10	Python言語によるプログラミングイントロダクション
11	見てわかるUnrealEngine4ゲーム制作超入門
12	Serverspec
13	インフラエンジニア教本
14	http://amzn.to/1TqWj1E:titleろごたいぷっ!
15	マスタリングTCP/IP 入門編第5版
16	オートメーション・バカ
17	Effective Ruby
18	詳細! Swift iPhoneアプリ開発入門ノート
19	関数プログラミング実践入門
20	本格ビジネスサイトを作りながら学ぶ WordPressの教科書 Ver.4.x対応版

2015年2月ランキング

　UnrealEngineが1位ということに超絶驚いた。

2月順位	タイトル	書影リンク
1	見てわかるUnrealEngine4ゲーム制作超入門
2	たった1日で即戦力になるExcelの教科書
3	Unity4入門
4	リーダブルコード
5	デジタルイラストの「背景」描き方事典
6	ろごたいぷっ!
7	伝わるデザインの基本
8	スッキリ解るJava入門第2版
9	Maya実践ハードサーフェスモデリング
10	いちばんやさしいWordPressの教本人気講師が教える本格Webサイトの作り方第2版 WordPress 4.x対応
11	ディープラーニング、ビッグデータ、機械学習　　あるいはその心理学
12	インフラ/ネットワークエンジニアのためのネットワーク技術&設計入門
13	ハッカーの学校
14	融けるデザイン
15	Web API: The Good Parts
16	Webエンジニアが知っておきたいインフラの基本
17	Serverspec
18	絶対に挫折しない iPhoneアプリ開発「超」入門
19	Chef実践入門
20	Androidプログラミングバイブル SDK5/4対応

2015年3月ランキング

この辺りからIoT本とかがランクに。

3月順位	タイトル	書影リンク
1	たった一日で即戦力になるＥｘｃｅｌの教科書
2	人工知能は人間を超えるか
3	リーダブルコード
4	理論から学ぶデータベース実践入門
5	スッキリわかるJava入門　第２版
6	はじめよう！要件定義
7	伝わるデザインの基本
8	ハッカーの学校
9	UnityゲームUI実践ガイド
10	絵で見てわかるＩoT／センサの仕組みと活用
11	人工知能って、そんなことまでできるんですか？
12	実践ドメイン駆動設計
13	コンピューターシステムの理論と実装
14	いちばんやさしいWordPressの教本　4.x対応　第２版
15	Unity5 3Dゲーム開発講座
16	本格ビジネスサイトを作りながら学ぶWordPressの教科書　Ver.4.X対応版
17	MikuMikuDanceスターターパック 2015
18	絶対に挫折しないiＰｈｏｎｅアプリ開発「超」入門　Swift & iOS8.1以降完全対応版
19	Maya実践ハードサーフェスモデリング
20	Amazon Web Services クラウドデザインパターン実装ガイド　改訂版

2015年4月ランキング

　話題になった関数型プログラミング本。情熱は凄い。

4月順位	タイトル	書影リンク
1	スッキリわかるJava入門　第２版
2	たった一日で即戦力になるＥｘｃｅｌの教科書
3	ＳＱＬ実践入門
4	機械学習プロフェッショナルシリーズ　深層学習
5	人工知能は人間を超えるか
6	関数型プログラミングに目覚めた！　ＩＱ１４５の女子高校生の先輩から受けた特訓５日間
7	Android Studioではじめる簡単Androidアプリ開発
8	理論から学ぶデータベース実践入門
9	Ｐｙｔｈｏｎエンジニア養生読本
10	リーダブルコード
11	はじめてのiOSアプリ開発　Swift対応版
12	機械学習プロフェッショナルシリーズ　オンライン機械学習
13	スッキリわかるJava入門　実践編　第２版
14	Photoshopペイントメソッド
15	入門React
16	やさしいＪａｖａ　第５版
17	機械学習プロフェッショナルシリーズ　機械学習のための確率と統計
18	スッキリわかるサーブレット＆ＪＳＰ入門
19	Javaパフォーマンス
20	マスタリングＴＣＰ／ＩＰ　入門編　第５版

2015年5月ランキング

　シェル本というジャンル、根強い人気。

5月順位	タイトル	書影リンク
1	たった一日で即戦力になるＥｘｃｅｌの教科書
2	人工知能は人間を超えるか
3	スッキリわかるJava入門　第２版
4	リーダブルコード
5	機械学習プロフェッショナルシリーズ　深層学習
6	デジタル原型師養成講座
7	シェルプログラミング実用テクニック
8	誰のためのデザイン？　増補・改訂版
9	ＨＴＭＬ５＆ＣＳＳ３デザインブック
10	その数式、プログラムできますか？
11	わかりやすいＪａｖａＥＥ　ウェブシステム
12	インフラ／ネットワークエンジニアのためのネットワーク技術＆設計入門
13	本格ビジネスサイトを作りながら学ぶWordPressの教科書　Ver.4.X対応版
14	スッキリわかるサーブレット＆ＪＳＰ入門
15	スッキリわかるJava入門　実践編　第２版
16	機械学習プロフェッショナルシリーズ　オンライン機械学習
17	Ｐｙｔｈｏｎエンジニア養生読本
18	現場のプロが教えるＨＴＭＬ＋ＣＳＳコーディングの最新常識
19	図解　コレ１枚でわかる最新ＩＴトレンド
20	ハッカーの学校

2015年6月ランキング

　エクストリームプログラミングの改訂版は嬉しかった

6月順位	タイトル	書影リンク
1	Ｄｏｃｋｅｒエキスパート養成読本
2	たった一日で即戦力になるＥｘｃｅｌの教科書
3	人工知能は人間を超えるか
4	エクストリームプログラミング
5	スッキリわかるJava入門　第２版
6	１０年戦えるデータ分析入門
7	リーダブルコード
8	インフラ／ネットワークエンジニアのためのネットワーク技術＆設計入門
9	ＪａｖａＳｃｒｉｐｔ入門教室　第３版
10	人工知能　人類最悪にして最後の発明
11	誰のためのデザイン？　増補・改訂版
12	マスタリングＴＣＰ／ＩＰ　入門編　第５版
13	Ｊｅｎｋｉｎｓ実践入門　改訂版
14	スッキリわかるサーブレット＆ＪＳＰ入門
15	ＨＴＭＬ５＆ＣＳＳ３デザインブック
16	Ｆｉｒｅｗｏｒｋｓレッスンブック　ＣＳ６
17	機械学習プロフェッショナルシリーズ　深層学習
18	伝わるデザインの基本
19	ハッカーの学校
20	シェルプログラミング実用テクニック

2015年7月ランキング

　人工知能本で上位独占

7月順位	タイトル	書影リンク
1	人工知能は人間を超えるか
2	人工知能　人類最悪にして最後の発明
3	リーダブルコード
4	たった一日で即戦力になるＥｘｃｅｌの教科書
5	スッキリわかるJava入門　第２版
6	機械学習プロフェッショナルシリーズ　深層学習
7	おうちで学べるセキュリティのきほん
8	エクストリームプログラミング
9	データ解析の実務プロセス入門
10	Ｄｏｃｋｅｒエキスパート養成読本
11	スッキリわかるJava入門　実践編　第２版
12	Ｕｎｉｔｙで神になる本。
13	ＨＴＭＬ５＆ＣＳＳ３デザインブック
14	１０年戦えるデータ分析入門
15	本格ビジネスサイトを作りながら学ぶWordPressの教科書　Ver.4.X対応版
16	ＣＳＳ３開発者ガイド　第２版
17	スクラム　仕事が４倍速くなる”世界標準”のチーム戦術
18	伝わるデザインの基本
19	インフラ／ネットワークエンジニアのためのネットワーク技術＆設計入門
20	いちばんやさしいWordPressの教本　4.x対応　第２版

2015年8月ランキング

　暗号化本が一番売れているということに、ちょっと希望を見出した

8月順位	タイトル	書影リンク
1	暗号技術入門　第３版
2	最速の仕事術はプログラマーが知っている
3	人工知能は人間を超えるか
4	文系で知っておきたいプログラミングとプログラマーのこと
5	よくわかるＨＴＭＬ５＋ＣＳＳ３の教科書　第２版
6	たった一日で即戦力になるＥｘｃｅｌの教科書
7	機械学習プロフェッショナルシリーズ　深層学習
8	人工知能　人類最悪にして最後の発明
9	スッキリわかるJava入門　第２版
10	Ｕｎｉｔｙ５　３Ｄ／２Ｄゲーム開発実践入門
11	リーダブルコード
12	ヘルシープログラマ
13	おうちで学べるセキュリティのきほん
14	Ｕｎｒｅａｌ　Ｅｎｇｉｎｅ４で極めるゲーム開発
15	機械学習プロフェッショナルシリーズ　確率的最適化
16	機械学習プロフェッショナルシリーズ　異常検知と変化検知
17	ハッカーの学校
18	ファンタジー背景画　パーツ編
19	マスタリングＴＣＰ／ＩＰ　入門編　第５版
20	ＨＴＭＬ５＆ＣＳＳ３デザインブック

2015年9月ランキング

　Node.jsのクローラー本登場。自著のライバルだけど、いい本だと思う。

9月順位	タイトル	書影リンク
1[http://amzn.to/1W5cXaK:title=	暗号技術入門　第３版]
2	データサイエンティスト養成読本　機械学習入門編
3	人工知能は人間を超えるか
4	ＪＳ＋Ｎｏｄｅ.ｊｓによるＷｅｂクローラー／ネットエージェント[開発テクニック]
5	リーダブルコード
6	スッキリわかるJava入門　第２版
7	Ｅｆｆｅｃｔｉｖｅ　Ｍｏｄｅｒｎ　Ｃ＋＋
8	あなたの知らない超絶技巧プログラミングの世界
9	最速の仕事術はプログラマーが知っている
10	ゲームグラフィックス　２０１５
11	たった一日で即戦力になるＥｘｃｅｌの教科書
12	人工知能　人類最悪にして最後の発明
13	機械学習プロフェッショナルシリーズ　深層学習
14	たのしいインフラの歩き方
15	ネットワークエンジニアの教科書
16	人工知能入門
17	ＰＨＰはどのように動くのか？
18	Ｕｎｉｔｙ５　３Ｄ／２Ｄゲーム開発実践入門
19	ＨＴＭＬ５＆ＣＳＳ３デザインブック
20	機械学習プロフェッショナルシリーズ　異常検知と変化検知

2015年10月ランキング

　岩波データサイエンス！！

10月順位	タイトル	書影リンク
1	岩波データサイエンス　Ｖｏｌ．１
2	ＰＨＰはどのように動くのか？
3	暗号技術入門　第３版
4	人工知能は人間を超えるか
5	たった一日で即戦力になるＥｘｃｅｌの教科書
6	スッキリわかるJava入門　第２版
7	プログラマ脳を鍛える数学パズル
8	データサイエンティスト養成読本　機械学習入門編
9	機械学習プロフェッショナルシリーズ　深層学習
10	Ｄｏｃｋｅｒ実践入門
11	人工知能　人類最悪にして最後の発明
12	ITエンジニアのための機械学習理論入門
13	メタプログラミングＲｕｂｙ　第２版
14	リーダブルコード
15	サイバーセキュリティプログラミング
16	ＪＳ＋Ｎｏｄｅ.ｊｓによるＷｅｂクローラー／ネットエージェント[開発テクニック]
17	セキュリティコンテストチャレンジブック
18	スッキリわかるJava入門　実践編　第２版
19	さよなら、インタフェース
20	Ｐｙｔｈｏｎライブラリ厳選レシピ

2015年11月ランキング

　Amazon Web Servers実践入門。いい本だよ！！

11月順位	タイトル	書影リンク
1	人工知能は人間を超えるか
2	Ａｍａｚｏｎ　Ｗｅｂ　Ｓｅｒｖｅｒｓ実践入門
3	深層学習
4	岩波データサイエンス　Ｖｏｌ．１
5	データサイエンティスト養成読本　機械学習入門編
6	たった一日で即戦力になるＥｘｃｅｌの教科書
7	ITエンジニアのための機械学習理論入門
8	暗号技術入門　第３版
9	進化計算と深層学習
10	プログラマ脳を鍛える数学パズル
11	サイバーセキュリティプログラミング
12	機械学習プロフェッショナルシリーズ　深層学習
13	徳丸浩のＷｅｂセキュリティ教室
14	ハッカーの学校
15	ＳｗｉｆｔではじめるiＰｈｏｎｅアプリ開発の教科書　Swift2&Xcode7対応
16	スッキリわかるJava入門　第２版
17	ＨＴＭＬ５＆ＣＳＳ３デザインブック
18	ビジュアル版コンピューター＆テクノロジー解体新書
19	ＨＴＭＬ５＆ＣＳＳ３モダンコーディング
20	リーダブルコード

2015年12月ランキング

　API本は、もう少し色々と出てきて欲しい。

12月順位	タイトル	書影リンク
1	ＡＰＩデザインケーススタディ
2	メタプログラミングＲｕｂｙ　第２版
3	人工知能は人間を超えるか
4	スッキリわかるＪａｖａ入門　第２版
5	入門Ｐｙｔｈｏｎ３
6	ビジュアル版コンピューター＆テクノロジー解体新書
7	たった一日で即戦力になるＥｘｃｅｌの教科書
8	暗号技術入門　第３版
9	プログラマ脳を鍛える数学パズル
10	アニメＣＧの現場　２０１５
11	深層学習
12	あなたの知らない超絶技巧プログラミングの世界
13	Ａｍａｚｏｎ　Ｗｅｂ　Ｓｅｒｖｅｒｓ実践入門
14	インフラエンジニア教本　Ｖｏｌｕｍｅ２
15	インフラ／ネットワークエンジニアのためのネットワーク・デザインパターン
16	リーダブルコード
17	岩波データサイエンス　Ｖｏｌ．１
18	データサイエンティスト養成読本　機械学習入門編
19	ITエンジニアのための機械学習理論入門
20	ランディングページ・デザインメソッド

感想

　今年は、ランキングに載れるように頑張ります。
一方で、技術書の市場の大きさが決まっているなかで、技術の細分化で1冊あたりの売上が下がっている現状。
出版社としても著者としても辛いんだろうなぁと思います。

2016-05-18

cheerio-httpcliを使って、Amazonのほしい物リスト（Wish List）から商品コード（asin）を抜き出す

　40手前の手習いで、cheerio-httpcliの使い方学習中です。
サンプルコードを読んで動作はなんとなく解ったので、次は欲しいデータを取得することで習熟していこうと思います。今回は、公開されたAmazonの欲しい物リスト（wish list）から、Amazonの商品管理コードであるasinを抜き出してみます。

欲しい物リスト（ウィッシュリスト）の構造

　ウィッシュリストは、個々に一意のIDが振られているので（公開設定されているのであれば）ログイン不要で取得できます。例えば、私のウィッシュリストは下記のようなURLになっています。最後のランダムな英数字の部分が、ウィッシュリストのIDです。

http://www.amazon.co.jp/gp/registry/wishlist/3G4653SB32HMZ/

　ウィッシュリストの中身に目を向けてみると、1ページあたり25件づつ表示されます。リストが25件以上ある場合は、ページ番号のボタンで表示されジャンプすることができます。そして最終ページ以外は、「次へ」のボタンがクリックできるようになっています。
f:id:dkfj:20160518074522p:plain f:id:dkfj:20160518074531p:plain

　今回は、一覧中からリンクのaタグを取得し、その中のhref属性からasin、title属性からタイトルを取得します。そして、次のページがある場合は再帰的に取得するようにしてみます。
　一覧中のaタグは複数あるのですが、h5タグの下のclassがa-link-normalのaタグを取るという指定の仕方が良さそうです。
f:id:dkfj:20160518075615p:plain
　「次のページ」は、xPathを取得すると、このような構造になっています。

//*[@id="wishlistPagination"]/span/div/ul/li[7]/a

f:id:dkfj:20160518075626p:plain
id：wishlistPaginationから辿って、直前のliタグがa-lastというクラスを持っているaタグを取ってくるというやり方でできそうです。

cheerio-httpcliを使って、欲しい物リストを取得するコード

　下調べが出来たので、cheerio-httpcliを使って取得するコードを書いてみます。ここまで調べておけば、要素の取得は簡単にできます。

'use strict';

/**
 * Amazonのほしい物リスト（公開）からASINを取得
 *
 */


var client = require('cheerio-httpcli');

var base = 'http://www.amazon.co.jp';
var url = 'http://www.amazon.co.jp/gp/registry/wishlist/3G4653SB32HMZ/';

function getWishList(url) {
  //console.log('getWishList: '+url);
  client.fetch(url).then(function (result) {
    var $ = result.$;
    $('h5 .a-link-normal').each(function () {
      var element = $(this);
      var href = element.attr('href');
      var title = element.attr('title');
      var array = href.match(/(\/dp\/+)(.{10})/);
      var asin = array[2];
      if (asin) console.log(asin);
    });
    var next = hasNextPage($);
    if (next)  getWishList(base+next);
  })
};

function hasNextPage($){
  //console.log($('div[id=wishlistPagination] .a-last a').attr('href'));
  return $('div[id=wishlistPagination] .a-last a').attr('href');
};
getWishList(url);

　しかしまぁ、JavaScriptっぽい書き方でないので、皆さま是非添削してこう書くのだよと教えてください。

感想

　ようやくやりたいことが、サクサクと書けるようになってきました。そろそろ本題に戻って、AWS Lambdaと連携してAPI化等の部分にも触れていこうと思います。

Amazon Web Services クラウドネイティブ・アプリケーション開発技法一番大切な知識と技術が身につく (Informatics&IDEA)

posted with ヨメレバ

NRIネットコム株式会社,佐々木拓郎,佐藤瞬,石川修,高柳怜士,佐藤雄也,岸本勇貴 SBクリエイティブ 2016-04-20

Amazon

Kindle

楽天ブックス

シリーズ目次：
Node.jsでスクレイピングするならば
 AWS Lambdaでcheerio-httpcliを実行する
 Node.jsのWebスクレイピングモジュール　『cheerio-httpcli』の使い方その１　cheerioでhtmlの要素指定
 Node.jsのWebスクレイピングモジュール　『cheerio-httpcli』のサンプルソースを読み解く

2016-05-16

Node.jsのWebスクレイピングモジュール　『cheerio-httpcli』のサンプルソースを読み解く

　不定期連載、Node.jsのcheerio-httpcliによるWebスクレイピング講座です。今回は具体的なcheerio-httpcliの使い方をみていきましょう。cheerio-httpcliが公開されてるGithubリポジトリには、豊富なサンプルがあります。サンプル例としては下記の通りで2016年5月現在で11本もあり、これを読んでると一通りの使い方が解ってきます。ということで、サンプル読みながら紹介してみます。

2ちゃんねる検索サンプル

　1つ目のサンプルは、2ちゃんねる検索のサンプルです。特定のワードを入れて、その検索結果を表示するという形です。

まず2ちゃんねるの検索部分がどうなっているかです。サイト上は、下記のとおりです。シンプルですね。
f:id:dkfj:20160514164719p:plain

　HTMLのソースは次のような形になっています。

<div style="display: inline; margin-left: 2.0em;">
	<form method="get" action="http://find.2ch.net/" style="display: inline;">
		<input type="text" name="q" value="" style="width: 16em; height: 1.00em;" id="fulltext-keyword">
		<input type="hidden" name="ita" value="">
		<button type="submit" value="">【新】全文検索</button>
	</form>
	<form method="get" action="http://dig.2ch.net/" accept-charset="UTF-8" style="display: inline;">
		<input type="text" name="keywords" value="" style="width: 16em; height: 1.00em; display: none;" id="thread-keyword">
		<input type="hidden" name="Bbs" value="">
		<button type="submit" value="">スレタイ検索</button>
	</form>
</div>

※見辛いので、適当にインデントをつけました。

　それでは、cheerio-httpcliのソースを見てみましょう。まず検索部分です。

var word = 'ぬるぽ';


var client = require('../index');

client.fetch('http://www.2ch.net/')
.then(function (result) {
  return result.$('form').eq(0).submit({
    q: word
  });
})

http://www.2ch.net/のフォームの一つ目に、『ぬるぽ』という単語を設定してサブミットボタンを押しています。HTMLのソースをみると、【新】全文検索とスレタイ検索があるので、ここで利用しているのは【新】全文検索の方ですね。検索ワードを入れるinput type="text"の名前が、qなのでそこにwordを入れています。なお、requireの部分は、Git等でソースとサンプルをまとめてダウンロードして展開した以外は、下記のように指定します。

var client = require('cheerio-httpcli');

次に取得した結果に対する処理です。先に実行結果をみてみましょう。検索結果の中から、title,url,timestampをJSON形式で出力しています。

[ { title: '【DMM/角川】艦隊これくしょん〜艦これ〜6208隻目 [無断転載禁止]©2ch.net',
    url: 'http://wc2014.2ch.net/test/read.cgi/gameswf/1463111858/294',
    timestamp: '2016-05-13 21:36:28.08' },

〜中略

  { title: '【テレ玉】TVSアニメ専門スレ45【テレビ埼玉】 [転載禁止]©2ch.net',
    url: 'http://yomogi.2ch.net/test/read.cgi/asaloon/1443865196/142',
    timestamp: '2016-05-06 21:01:38.4' },
  { title: '歴史秘話ヒストリア「愛と悲しみの大奥物語」★2©2ch.net',
    url: 'http://nhk.2ch.net/test/read.cgi/livenhk/1462533366/167',
    timestamp: '2016-05-06 20:35:22.01' } ]
終了します

　これを出力しているコードは下記のとおりです。
htmlのソースと比べると、classがboxのdivタグの中から、aタグを抽出しているようです。

f:id:dkfj:20160514215641p:plain

.then(function (result) {
  var $ = result.$;
  var results = [];
  $('.box').each(function () {
    var $a = $(this).find('a').eq(0);
    results.push({
      title: $a.text().trim(),
      url: $a.attr('href'),
      timestamp: $(this).find('.timestamp').text().trim()
    });
  });
  console.info(results);
})

　aタグの抽出の部分が、黒魔術に見えます。

var $a = $(this).find('a').eq(0);

findでaタグを指定して、その後のeqで絞り込んでいます。cheerioのメソッド説明によると、eqは下記のとおりです。

Reduce the set of matched elements to the one at the specified index. Use .eq(-i) to count backwards from the last selected element.

マッチした一つ目の要素のみ取得しているということのようです。使いこなすと便利そうですね。

　2ちゃんねる検索のサンプルで、検索ワードワードを入れて結果一覧から取得するというスクレイピングの基本的な動作が解りました。特に検索結果からの抽出の部分は参考になります。

要素の多段絞込

　後はサンプルの中から、使いそうな記述の仕方をピックアップします。まず、要素の絞込の仕方です。これは、例えば、特定のタグの下のものを選んで、再度絞り込むというやり方です。一度で抽出するという方法もありますが、2回に別けた方がよい場合もあります。ということで、sync.jsの例を見ていきましょう。sync.jsは同期リクエストのサンプルですが、要素の絞込があったのでピックアップします。

$('.b_algo').each(function () {
    // 各検索結果のタイトル部分とURL、概要を取得
    var $h2 = $(this).find('h2');
    var url = $h2.find('a').attr('href');
〜省略〜

　ソースを見ると解るのですが、まずh2タグを抽出し変数に代入しています。次に、代入した変数から再度絞り込んでいます。こう書くと解りやすいですね。この辺りの書き方が、スクレイピングしていて個々人の癖が出る部分だと思います。

不要な情報の削除

　次はタグの中から不要な情報の削除です。私は、あまりこういった方法を使わないのですが、読んでて成る程なぁと思いました。上手く使えば、分岐処理とかが不要になるので効率的になります。この例は、hatena-keyword.jsというはてなのキーワード抽出のサンプルにあります。

var $ = result.$;
  $('#updatekeywords ul li .name').each(function () {
    // NEW!は邪魔なので削除
    $('.new', $(this)).remove();
    console.info('* ' + $(this).text());
  });

Cookie情報の取得

　ログイン後のセッションを維持するために、Cookieを使う場合が多いです。スクレイピングで、ログイン後のページを参照する場合は、ログインしてCookieを取得するといったことが必要です。そのサンプルも、facebook.jsにあります。

client.fetch('http://www.facebook.com/')
.then(function (result) {
  console.info('ログインフォームを送信します');
  return result.$('#login_form').submit({
    email: username,
    pass: password
  });
})
.then(function (result) {
  console.info('クッキー', result.response.cookies);
  console.info('ユーザー名を取得します');
  console.info(result.$('._2dpb').text());
})

感想

　cheerio-httpcliは、サンプルが充実しています。どのサンプルもシンプルでありながら、スクレイピングに必要な要素が散りばめられています。今回じっくりと読むことで、だいたいの使い方が理解できました。ということで、ぜひ読んで動かしてみてください。

Amazon Web Services クラウドネイティブ・アプリケーション開発技法一番大切な知識と技術が身につく (Informatics&IDEA)

posted with ヨメレバ

NRIネットコム株式会社,佐々木拓郎,佐藤瞬,石川修,高柳怜士,佐藤雄也,岸本勇貴 SBクリエイティブ 2016-04-20

Amazon

Kindle

楽天ブックス

シリーズ目次：
Node.jsでスクレイピングするならば
 AWS Lambdaでcheerio-httpcliを実行する
 Node.jsのWebスクレイピングモジュール　『cheerio-httpcli』の使い方その１　cheerioでhtmlの要素指定

2016-05-15

Kindle Paperwhiteの7,300円引きセール中。6,980円で買えるぞい！！

　2012年11月に買ったKindle Paperwhite。3年以上毎日酷使をしてたのですが、最近故障してしまいました。原因は何となく解っていて、風呂場で無防備に読んでたり、水たまりに落としたりが原因でしょう。ということで、新しいものを買い直そうと検討していました。

Kindleの選択肢

　KindleというかAmazonのモバイルのガジェットとしては、大きく2つの選択肢があります。タブレット系のFireタブレットと、Eインク系のKindleです。前者はAndroidをカスタマイズしたカラーのタブレットで、後者は白黒だけどバッテリーの持ちが良いというのが特徴です。スマホは常に持ち歩いているので、もう一台持つとしてらやはりKindleが良いです。あと補足すると、Kindle端末は本を読むことしかできないのがメリットです。スマホやタブレットだと途中でTwitterやFacebookに切り替えてしまったり、また外部からの通知が来て中断されたりします。Kindle端末は、それが無いのがメリットですね。

　ちなみにFireタブレットの一番安いモデルである、Fireタブレット 8GBは8,980円です。更にAmazonのプライム会員であれば、クーポンコードの『PRIMEFIRE』を入れると4,000円引きの4,980円で買えます。私は、家の風呂でプライムビデオを見る時に重宝しています。

Fire タブレット 8GB、ブラック

出版社/メーカー: Amazon
発売日: 2015/09/30
メディア: エレクトロニクス
この商品を含むブログ (23件) を見る

Kindleの種類

　Kindleは、現行4機種あります。無印の『Kindle』、主力モデルの『Kindle Paperwhite』、少し前の上位機種『Kindle Voyage』、最近発売された最上位機種『Kindle Oasis』。主な違いは、下記のとおりです。

	Kindle	Kindle Paperwhite	Kindle Voyage	Kindle Oasis
値段※	8,980円（4,980円）	14,280円（10,280円）	23,980円	35,980円
画面解像度	167ppi	300ppi	300ppi	300ppi
内蔵ライト	なし	あり-LED 4個使用	あり-LED 6個使用明るさの自動調整機能付き	あり-LED 10個使用明るさの均一性が向上
ページおくり	タッチスクリーン	タッチスクリーン	タッチスクリーンページめくりボタン付き	タッチスクリーンページめくりボタン付き
バッテリー	数週間	数週間	数週間	数か月（バッテリー内蔵カバー装着時）

※カッコ内の値段は、プライム会員向けの価格

　違いが解りにくいのですが、値段の差が大きいですね。簡単にこう考えてみてください。無印とそれ以外は、画面の解析度が倍以上違う。PaperwhiteとVoyageの違いは、ページ送りにボタンが使えるかどうか。VoyageとOasisの違いは、周りの人に凄いと言われるかどうかの違い。
　ということで、私はPaperwhiteで満足できます。

3GモデルかWifiモデルか

　Paperwhiteを買うとして、3GモデルとWifiモデルどちらが良いのでしょうか？これ実は、コンテンツのダウンロードの利便性の問題ではなく、複数のデバイス間のページ同期の問題です。コンテンツのダウンロードは、頻度が少ないのでWifiでも3Gでも、実はそれほど気になることはありません。複数のデバイスで本を読む場合は、ページ同期の問題が出てきます。
　私の場合は、iPhoneのKindleとKindle Paperwhiteを使い分けています。前者は、数分の待ち時間。後者は数十分以上のまとまった時間があるときです。そういった時に、Kindle Paperwhite側が3Gで常に同期していれば無駄な時間がなくなりありがたいです。一方で、Kindel端末でしか読まないよという人にとっては、3Gはほぼ不要でしょう。

結論

　Kindle Paperwhiteの3G版を買い直します。せっかくなので、今度は白色にしてみます。初代に較べてページめくりのスピードも速いらしいので、楽しみです。ちなみに、どうせまた風呂で使うので、3年間の延長保証、2,970円も付けました。落下・水濡れにも対応とのこと。
f:id:dkfj:20160515160508p:plain

　クーポンコード『PAPERW7300』の適用もお忘れなく！！
f:id:dkfj:20160515160757p:plain

Kindle Paperwhite Wi-Fi 、ホワイト、キャンペーン情報つきモデル

出版社/メーカー: Amazon
発売日: 2016/04/26
メディア: エレクトロニクス
この商品を含むブログを見る

See Also:
人生に必要なのは、鼻毛カッターではないだろうか？

2016-05-15

はてなブログにAmazonアソシエイトのMobile Popoverを設定する

　趣味がブログの私は、朝起きてAmazonのアフィリエイトの結果を見るのが日課となっています。儲かる儲からないじゃなくて、どういう反響があったかの確認方法の1つにコンバージョンというのは重要です。
※儲かれば嬉しいけどｗ

　ブログのアクセス解析をみていると、このブログもモバイル経由で見ている人が増えてきています。その割合は、2014年は25〜30%だったのですが、2015年は30〜35%と5%ほど比率が上がっています。その反面、Amazonのコンバージョン率は1.5%くらい下がっています。つまりモバイルユーザに対する訴求がうまく出来ていないということです。

Amazonのモバイル専用ウィジット　Mobile Popover

　恐らくAmazonとしても、その辺りは課題なのだと思います。モバイル向けのコンバージョンを上げる為の施策として、AmazonはMobile Popoverというサービスを展開しています。これ何かというと、モバイルでAmazonのリンクを検知するとポップアップで大きく表示するというものです。一見すると邪魔に思えますが、使ってみるとそれほど違和感がなかったです。
f:id:dkfj:20160515135642j:plain

　ということで、このブログにも設定してみました。

はてなブログにMobile Popoverの設定をする

　このブログは、はてなブログを利用しています。はてなブログの場合、レスポンシブデザインのテーマを利用していない限りPC用とモバイル用を別々に設定します。Mobile Popoverは、当然モバイル用に設定します。まず管理画面のデザイン設定から、モバイルアイコンを選択します。

f:id:dkfj:20160515143233p:plain

　ヘッダーもしくはタイトル下に、Amazonのアソシエイトの管理画面から取得したMobile Popoverのコードを貼り付けます。コードは、こんな感じのものです。
※必ず自分のコードを取得して貼り付けてくださいね。

<script type="text/javascript">
  amzn_assoc_ad_type = "link_enhancement_widget";
  amzn_assoc_tracking_id = "dkfj-22";
  amzn_assoc_placement = "";
  amzn_assoc_marketplace = "amazon";
  amzn_assoc_region = "JP";
</script>
<script src="//z-fe.amazon-adsystem.com/widgets/q?ServiceVersion=20070822&Operation=GetScript&ID=OneJS&WS=1&MarketPlace=JP"></script>

貼り付けるコードは、Amazonアソシエイトの左メニューにあるMobile Popoverから取得できます。
f:id:dkfj:20160515143655p:plain

リンク先のコードをコピペするだけです。
f:id:dkfj:20160515143703p:plain

ブログのカスタマイズ

　ブログの改善という意味では、もっと根本的に検討しないといけないことが沢山あります。一番大きいのは、はてなドメインから独自ドメインに変えてから、検索経由の激減です。

f:id:dkfj:20150102132843p:plain

　ペナルティ的な問題点はなさそうなので、一つ一つ自分で改善してスコアを上げていくしかなさそうな感じです。そういった意味で、ページの表示速度改善などJS,CSS等も検討しないといけないところです。また、https化などもしたいのですが、はてな側の制約を回避する方法も検討する必要があります。独自ドメインということで、自前でサイト構築というのも1つなのですが、過去資産の活用という意味ではリダイレクトを捨てるのも大きな決断が必要です。
　このブログも、最盛期は月あたり8万以上のアクセスがあったのですが、今は毎月2万前後です。抜本的に何とかしたいとなぁというところです。時間がないので、お金払って誰かにお願いするのも1つなのかもしれませんね。

2016-05-13

人生に必要なのは、鼻毛カッターではないだろうか？

　東京ビッグサイトに３日間出勤中です。りんかい線に乗るために座れないよと思ってたら、有楽町線で豊洲まで行けばいいことに気が付きました。そのお陰で得た時間で1つ有益な話をしましょう。それは、鼻毛カッター！

鼻毛カッター

　私が今まで買ったガジェットの中で、『想像以上に満足したもの』のベスト3に入るのが鼻毛カッターです。パナソニックは、少し気取ってエチケットカッターと言っていますが、日立の場合はズバリ鼻毛カッター。鼻にいれて5秒くらいバリバリしてると、綺麗サッパリ剃れます。掃除の為に中に溜まった毛をみると、ビックリするぐらい太いのや、細かい毛まで沢山入っていて爽快です。そんなことを半月に一度ほど楽しんでいます。そんなこんなでもう7年くらい使っています。

blog.takuros.net

鼻毛カッターと衝撃の開発秘話

　そもそも何故私が鼻毛カッターに興味を持ったのか。キッカケは、@naoya_itoさんの記事を見てです。
d.hatena.ne.jp

　そして最近紹介された開発秘話

電動鼻毛カッターの開発秘話に自分の鼻毛でドッグフーディングすると剃った毛がまた生えるまで数週間かかってテストできないと書いててゲラゲラ笑ってたんだけど、克服するため人工鼻毛を開発したところまで読み技術者としての自分を恥じました https://t.co/5rNyJVTM2Z
— Naoya Ito (@naoya_ito) March 23, 2016

twitter.com

　その衝撃の開発秘話です。これは是非よんで欲しいので、敢えて内容は紹介しません。ただ小見出しを見てください。世界のパナソニックのWebサイトでこんなに熱く面白い記事が読めるとは思いませんでした。

鼻毛はなぜ必要なのか。
鼻毛が出ていると仕事ができないと思われる？
鼻毛処理の研究に、人生をかける。
奥から生えている鼻毛も逃さない。
剃り味が良すぎてもダメ。
開発チームから鼻毛が消えた。
人工の鼻毛を開発。
安心して鼻毛を剃ってもらうために。
鼻毛カッターで、体中の毛を剃った。
鼻毛だけじゃない、耳毛も剃れる。
鼻毛の処理方法が間違っていると、化膿する可能性も。
鼻毛処理に掃除機の技術をプラス。
私と鼻毛は「切っても切れない関係」ですね。

　そして、最後の結論が秀逸すぎます

『鼻毛は、コミュニケーションを破壊する魔物。』

人工の鼻毛を開発してまで作った鼻毛カッター。納得の使用感です。

感想

　あなたの人生に、鼻毛カッターは必要ないですか？

パナソニックエチケットカッターグレー ER-GN50-H

出版社/メーカー: パナソニック(Panasonic)
メディア: ヘルスケア&ケア用品
購入: 39人クリック: 151回
この商品を含むブログ (24件) を見る

See Also:
替え刃もあるよ。Panasonicの鼻毛カッター

PythonによるWebスクレイピング

JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック

Excel VBAでIEを思いのままに操作できるプログラミング術

Rubyによるクローラー開発技法

感想

2015年総合ランキング

2015年1月ランキング

2015年2月ランキング

2015年3月ランキング

2015年4月ランキング

2015年5月ランキング

2015年6月ランキング

2015年7月ランキング

2015年8月ランキング

2015年9月ランキング

2015年10月ランキング

2015年11月ランキング

2015年12月ランキング

感想

欲しい物リスト（ウィッシュリスト）の構造

cheerio-httpcliを使って、欲しい物リストを取得するコード

感想

2ちゃんねる検索サンプル

要素の多段絞込

不要な情報の削除

Cookie情報の取得

感想

Kindleの選択肢

Kindleの種類

3GモデルかWifiモデルか

結論

Amazonのモバイル専用ウィジット Mobile Popover

はてなブログにMobile Popoverの設定をする

ブログのカスタマイズ

鼻毛カッター

鼻毛カッターと衝撃の開発秘話

感想

Amazonのモバイル専用ウィジット　Mobile Popover