このスレッドは未解決です(解決したらこちらで解決済にしてください)
<<戻る

iptablesでGooglebotを許可する方法について このメッセージに返信する
日時: 2009/08/19 16:28
名前: とろ
URL:
iptablesでGooglebotを許可する方法について教えてください

私は個人でWebサーバを運用しています。
サーバは、ここのサイトで公開されている「ファイアウォール構築(iptables)」を参考にして「日本からのアクセスを許可するユーザ定義チェイン」を適用しています。
その為、当然の事ながらGoogleのクロールも遮断することになります。

Googleのクロールからのアクセスは、たとえ外国からであっても除外したいのですが、Googleの「ウェブマスター/サイト所有者 ヘルプ」を参照してみると
--------
Google では、ウェブマスター向けホワイトリストの IP アドレスの公開リストを掲載していません。これは IP アドレス範囲が変更する可能性があるからで、アドレスを直接入力したウェブマスターにとって問題が生じるからです。
--------
との記述があり、Googlebotの確認方法の例として
--------
> host 66.249.66.1

1.66.249.66.in-addr.arpa domain name pointer

crawl-66-249-66-1.googlebot.com.



> host crawl-66-249-66-1.googlebot.com

crawl-66-249-66-1.googlebot.com has address 66.249.66.1
--------
の様に「DNS リバース ルックアップを使用して googlebot.com ドメインに名前があることを確認」との事です。

なので、ドメインを指定して許可をする事が出来れば可能な様に思えます。
この様なことは可能なのでしょうか?
また、可能な場合は、DNSへの負荷も問題になる様に思えますが、何か対処方法はあるのでしょうか?
(個人のサイトなので負荷が問題になる事は無いと思いますけど・・・)
記事編集 編集

Page: | 1 | 2 | 3 |

Page: | 1 | 2 | 3 |

件名※必須
名前※必須
URL
任意のパスワード (投稿後のコメント修正・削除時に使用)
画像認証※必須 投稿キー(画像で表示されている数字を入力)
コメント※必須

※質問を投稿後に自己解決された場合は、原因と行った対処を具体的に書き込み下さるよう、よろしくお願いします。

- WEB PATIO -