助太刀忍者(質問掲示板)

助太刀忍者

No.51129    クロールされなくなった
19日迄は頻繁(週3回~4回)にクロールされていましたが、HPの移動が原因なのか以降グーグルの巡回がピタッと途絶えたままです。今のところ検索順位に大きな変動はありませんが・・・待っていれば、巡回される様になるのでしょうか?
投稿者:No Name Ninja 投稿時間:2011-11-23 20:38:11
投稿者 : No Name Ninja
投稿時間:2012-01-22 14:25:34
同様にクローラーが来てくれないらしく
グーグルのキャッシュが全く更新されない状態で困り果てています
時期的にもお二人が被っている現象の時期と同じだと思います
新規サイトを作成してもトップページが一回クロールされてグーグルのキャッシュに載るだけで、それ以降全くクロールが来ないらしくキャッシュの更新がまったくされず、トップページのみインデックスされてサブページは全くインデックスされない状態です
既にクロールを待って既に2ヶ月くらいになります

この間バックリンクを与える、ブログのエントリー更新によりクローラーを呼び込む等いろいろ手を尽くしてはみたのですが
全くグーグルのキャッシュが更新されません

また、この件と関係があるかどうかは判りませんが、
一時的にではありますが、12月の始めころに(別途大手匿名掲示板に書き込みましたが)新規設置サイトのグーグルのキャッシュに次の様なものがついてしたことがありました

403 Forbidden

--------------------------------------------------------------------------------

nginx
403 Forbidden

--------------------------------------------------------------------------------

nginx
年末ジャンボ宝くじ購入代行
403 Forbidden

--------------------------------------------------------------------------------

nginx


・・・・・・・・・・・・・

「nginx」でぐぐるとロードバランサーの関係らしいのですが
サーバーが勝手に吐き出したものがグーグルのキャッシュに残っていたこともありました

今後も新規サイトをアップしても、トップページのみインデックスされてそれっきりグーグルでのインデックスが全く進まない状況が続くのでしょうか?
投稿者 : No Name Ninja
投稿時間:2011-12-03 14:29:28
参考情報です。
「ここで質問しても仕方ない内容だなあ」と思っていましたが、薄々気になってはいました。なぜなら当方のサイトも移行後クロールされなくなっていたからです。
正確に言うと移行直後の20日に1回クロールされた後、来てくれなくなりました。
ここで私がいっているのはグーグルのクロールです

直接的には、忍者さんの話からそれる点、恐縮ですが、
「Google ウェブマスター ツール」というので当方のサイトの状況を調べたところ、20日の移行直後のクロールで”クロールエラー”なるものがたくさん出ていました。
エラー内容は"404 NOT FOUND"です。
何が NOT FOUND かというと、1年以上前に削除済みの古いページが見つからないという内容でした。もちろん現在サイト内にそのページを参照しているリンクもなく、今さらなぜ昔に削除したページが見つからないというエラーが出たのか不可解です。

クローラを作っている人間ではないので、絶対とは言えませんが、おそらくこのエラーがキッカケでクロールされなくなったのだと思います。
そしてクロールエラーを引き起こした要因は、たぶん忍者さんの移行が何らか絡んでいるんだろうな~という気がします。
(そうでないとしたら、忍者さんを疑ってしまい申し訳ありません)
 
質問者様は、その後いかがでしょうか?

>待っていれば、巡回される様になるのでしょうか?
正直、分かりません。。。

当方は対応の術も見つからず途方にくれるばかりです。
お助け回答になっていない点、申し訳ありません。参考までに。。。