このスレッドは解決済です(未解決に戻す場合はこちら)
<<戻る

Googleがクロールしてくれない このメッセージに返信する
日時: 2013/04/12(Fri) 02:07
名前: 田上拡志
URL: http://tagami-hiroshi.jp
いつもお世話になっています、田上拡志です。

GoogleにURL登録をしたのですが、クロールしてくれないという状況です。
下記の(OKWAVEでの)質疑応答によると、
http://okwave.jp/qa/q2596669.html

トップページ以外は、すごく時間がかかるということなのですが、トップページすら
読みに来てくれていません。

iptables.shでは、JPと、USからのアクセスは許可しています。
何か、他に原因はありますでしょうか?

私のiptables.shは次のとおりです。

#!/bin/bash
LAN=eth0
LOCALNET_MASK=`ifconfig $LAN|sed -e 's/^.*Mask:\([^ ]*\)$/\1/p' -e d`
LOCALNET_ADDR=`netstat -rn|grep $LAN|grep $LOCALNET_MASK|cut -f1 -d' '`
LOCALNET=$LOCALNET_ADDR/$LOCALNET_MASK
echo "${LOCALNET}"
/etc/rc.d/init.d/iptables stop

iptables -P INPUT DROP
iptables -P OUTPUT ACCEPT
iptables -P FORWARD DROP

iptables -A INPUT -i lo -j ACCEPT
iptables -A INPUT -s $LOCALNET -j ACCEPT
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

sysctl -w net.ipv4.tcp_syncookies=1 > /dev/null
sed -i '/net.ipv4.tcp_syncookies/d' /etc/sysctl.conf
echo "net.ipv4.tcp_syncookies=1" >> /etc/sysctl.conf

sysctl -w net.ipv4.icmp_echo_ignore_broadcasts=1 > /dev/null
sed -i '/net.ipv4.icmp_echo_ignore_broadcasts/d' /etc/sysctl.conf
echo "net.ipv4.icmp_echo_ignore_broadcasts=1" >> /etc/sysctl.conf

sed -i '/net.ipv4.conf.*.accpet_redirects/d' /etc/sysctl.conf
for dev in `ls /proc/sys/net/ipv4/conf/`
do
sysctl -w net.ipv4.conf.$dev.accpet_redirects=0 > /dev/null
echo "net.ipv4.conf.$dev.accpet_redirects=0" >> /etc/sysctl.conf
done

iptables -A INPUT -f -j LOG --log-prefix '[IPTABLES FRAGMENT] : '
iptables -A INPUT -f -j DROP

iptables -A INPUT ! -s $LOCALNET -p tcp -m multiport --dports 135,137,138,139,445 -j DROP
iptables -A INPUT ! -s $LOCALNET -p udp -m multiport --dports 135,137,138,139,445 -j DROP
iptables -A OUTPUT ! -d $LOCALNET -p tcp -m multiport --sports 135,137,138,139,445 -j DROP
iptables -A OUTPUT ! -d $LOCALNET -p udp -m multiport --sports 135,137,138,139,445 -j DROP

iptables -N LOG_PINGDEATH
iptables -A LOG_PINGDEATH -m limit --limit 1/s --limit-burst 4 -j ACCEPT
iptables -A LOG_PINGDEATH -j LOG --log-prefix '[IPTABLES PINDEATH] : '
iptables -A LOG_PINGDEATH -j DROP
iptables -A INPUT -p icmp --icmp-type echo-request -j LOG_PINGDEATH

iptables -A INPUT -d 255.255.255.255 -j DROP
iptables -A INPUT -d 224.0.0.1 -j DROP

iptables -A INPUT -p tcp --dport 113 -j REJECT --reject-with tcp-reset

ACCEPT_COUNTRY_MAKE(){
for addr in `cat /tmp/cidr.txt|grep ^$1|awk '{print $2}'`
do
iptables -A ACCEPT_COUNTRY -s $addr -j ACCEPT
done
}

DROP_COUNTRY_MAKE(){
for addr in `cat /tmp/cidr.txt|grep ^$1|awk '{print $2}'`
do
iptables -A DROP_COUNTRY -s $addr -m limit --limit 1/s -j LOG --log-prefix '{IPTABLES DENY_CONTRY] : '
iptables -A DROP_COUNTRY -s $addr -j DROP
done
}

. /root/iptables_functions
IPLISTGET

iptables -N ACCEPT_COUNTRY
ACCEPT_COUNTRY_MAKE JP
ACCEPT_COUNTRY_MAKE US

iptables -N DROP_COUNTRY
DROP_COUNTRY_MAKE CN
DROP_COUNTRY_MAKE TW
#DROP_COUNTRY_MAKE RU
iptables -A INPUT -j DROP_COUNTRY

iptables -A INPUT -p tcp --dport 22 -j ACCEPT_COUNTRY
iptables -A INPUT -p tcp --dport 53 -j ACCEPT
iptables -A INPUT -p udp --dport 53 -j ACCEPT
iptables -A INPUT -p tcp --dport 80 -j ACCEPT
iptables -A INPUT -p tcp --dport 443 -j ACCEPT
iptables -A INPUT -p tcp --dport 21 -j ACCEPT
iptables -A INPUT -p tcp --dport 60000:60030 -j ACCEPT_COUNTRY
iptables -A INPUT -p tcp --dport 25 -j ACCEPT
iptables -A INPUT -p tcp --dport 465 -j ACCEPT_COUNTRY
iptables -A INPUT -p tcp --dport 110 -j ACCEPT_COUNTRY
iptables -A INPUT -p tcp --dport 995 -j ACCEPT_COUNTRY
iptables -A INPUT -p tcp --dport 143 -j ACCEPT_COUNTRY
iptables -A INPUT -p tcp --dport 993 -j ACCEPT_COUNTRY
iptables -A INPUT -p udp --dport 1194 -j ACCEPT_COUNTRY

if [ -s /root/deny_ip ]; then
for ip in `cat /root/deny_ip`
do
iptables -I INPUT -s $ip -j DROP
done
fi

iptables -A INPUT -m limit --limit 1/s -j LOG --log-prefix '[IPTABLES INPUT] : '
iptables -A INPUT -j DROP
iptables -A FORWARD -m limit --limit 1/s -j LOG --log-prefix '[IPTABLES FORWARD] : '
iptables -A FORWARD -j DROP

/etc/rc.d/init.d/iptables save

/etc/rc.d/init.d/iptables start
記事編集 編集
Re: Googleがクロールしてくれない このメッセージに返信する
日時: 2013/04/12(Fri) 08:53
名前: stranger
URL: http://ja.528p.com/
iptables -A INPUT -p tcp --dport 80 -j ACCEPT
で制限なしですよね

robots.txtとかsitemap.xmlとか
ロボット対策はしていますか
goolgeに登録していなくてもいろいろなロボットがやってきます
日本国内からも
robots.txtとかsitemap.xmlはnetで調べてね

蛇足
cat access_log|grep bot
のように
apacheのアクセスログを調べてみてのことですか
記事編集 編集
Re: Googleがクロールしてくれない このメッセージに返信する
日時: 2013/04/22(Mon) 23:37
名前: googleで検索
URL:
googleで検索したら貴殿のサイトがでてました。
つまらないことですが、「日記」はdailyでもdairyでもなく、diaryですし、
HELLO WOLRD!!ではなく、HELLO WORLD!!です。
記事編集 編集
Re: Googleがクロールしてくれない このメッセージに返信する
日時: 2013/04/25(Thu) 03:56
名前: 田上拡志
URL:
Strangerさん、ご回答ありがとうございました。
GoogleBotはちゃんと、来るようになりました。
記事編集 編集
Re: Googleがクロールしてくれない このメッセージに返信する
日時: 2013/04/25(Thu) 13:09
名前: Dolphin
URL:
拝見しましたが・・・
"This is Hiroshi Tagami's web site...now consructing...."

"consructing"ではなく、"constructing"だと思うのですが・・・
記事編集 編集
Re: Googleがクロールしてくれない このメッセージに返信する
日時: 2013/04/25(Thu) 21:48
名前: 田上拡志
URL:
Dolphin様、ご指摘ありがとうございます。
そのうち直します。
記事編集 編集
件名※必須
名前※必須
URL
任意のパスワード (投稿後のコメント修正・削除時に使用)
画像認証※必須 投稿キー(画像で表示されている数字を入力)
コメント※必須

※質問を投稿後に自己解決された場合は、原因と行った対処を具体的に書き込み下さるよう、よろしくお願いします。

- WEB PATIO -