先日、お仕事のご依頼で
モバイル用のクローラーを作りました。

あちこちから、サイトを集めて来ます。
その一覧を見てるだけでとても面白いです！

「パラメーター付きのURLをグーグルのクローラーは重要視しない」というのを何かの本で読んだけど
自分でクローラー作ってみて、その理由が分かりました。

セッションやUTCがURLに含まれると大変・・・

モバイルはクッキー使えないからなぁ～