クローラー

先日、お仕事のご依頼で
モバイル用のクローラーを作りました。

あちこちから、サイトを集めて来ます。
その一覧を見てるだけでとても面白いです！

「パラメーター付きのURLをグーグルのクローラーは重要視しない」というのを何かの本で読んだけど
自分でクローラー作ってみて、その理由が分かりました。

セッションやUTCがURLに含まれると大変・・・

モバイルはクッキー使えないからなぁ～

asiaドメイン取得しました♪

申請ドメインがオークションになってしまい、取得できるか不安でしたが
なんとか、勝つことが出来ました♪

しかし、このオークションのペースは遅いっすね・・・
あと二つ申請しているドメインもオークションになってしまったのですが
６月中旬からオークションなのです。
一般受付が開始されてから、こんなに時間を要するとは思いませんでした。

DNSの反応が鈍い

自前サーバーで運用中のDNSなんですが
ローカル接続された端末からDNS参照すると、タイムアウトしたり、なんか重かったんです・・・
原因が分からず、諦めて、外部DNS参照してました。

昨日、ふとIPV6が怪しいと思って止めてみたら、タイムアウトしなくなりました
これが原因だったとは・・・

/etc/modprobe.confに
「install ipv6 /sbin/modprobe -n -i ipv6」を追加

設定参照
http://d.hatena.ne.jp/adsaria/20070922
この記事書いてる人は凄い詳しいっすね