インデックスされない理由の探り方とステータス別の対処法

インデックスされないというのは、SEOをやっていく上でかなりの痛手です。

検索上位を目指して日々ブログを書いているというのに、検索結果に全く表示されないというのではモチベーションを保てませんよね。

今回は、インデックスされない理由の探り方と原因別の対処法を紹介します。

記事が全然インデックスされないという方は、ぜひ参考にしてください。

こちらの3点について詳しく解説します。

インデックスとは

インデックス(index)とは検索エンジンが持つデータベースへ登録されることです。

ユーザーが検索を行うと、検索エンジンは膨大なデータベースの中から適した結果(ページや画像など)を返します。

そのため、インデックスは検索結果に表示されるための大事なプロセスということになります。

例えるなら、インデックスは大きな図書館に本を置いてもらう行為です。図書館職員は利用者のニーズに合わせて最適な本を紹介します。

もちろん、本(コンテンツ)が面白くなければ利用者に勧められることはなく、読める状態でないなら図書館に置いてもらうことすらできません。

インデックスとクロールの関係

インデックスは、「クローラー」と呼ばれるサイトの巡回・情報収集を行うbotが行います。

そして、ページ(記事)が公開されてからインデックスされるまでには、クローラーによる検出と巡回(クロール)を経る必要があります。

当然、クローラーがページを発見できなかったり、ページにアクセスできないとインデックスはされません。

この仕組みはSEOと付き合っていく上でとても大切なことなので、必ず覚えておきましょう。

インデックスの必須条件

以上より、インデックスされるための条件が2つあることが分かります。

1. ユーザーにすすめるに値する良質なコンテンツである
2. クローラーがページにアクセスできる

これらはインデックスのための必須条件です。

このどちらかが欠けていると、永遠にインデックスされることはありません。

インデックスされない理由を探る

インデックスされない理由は低品質コンテンツとクロールの失敗によるものがほとんどです。

しかし、さらに突き詰めれば、metaタグやサイトマップの記述、サーバーなど、様々な要因が考えられます。

そこで、まずはインデックスされない理由がどこにあるかを、Search Consoleを使って調べていきましょう。

URL検査でステータスを確認する

ページのインデックス状況を把握するには、Search Consoleの「カバレッジのステータス」が一番のヒントになります。

カバレッジのステータスは、Search Consoleで画面上部の「URL検査ツール」にURLを打ち込むことで確認できます。

検査すると以下のような画面が表示されます。

カバレッジレポートは更新が遅い

カバレッジレポートからステータスと該当URLを一覧で確認することもできます。

しかし、カバレッジレポートはリアルタイムの情報ではなく、数日に一度ぐらいしか更新されません。

そのため、現在のステータスとは異なる場合もあり、実際はインデックスされていたということもしばしばあります。

確認するときはカバレッジレポート、正確に状況を把握する際はURL検査ツール、といった具合に使い分けるのがオススメです。

各ステータスの意味と原因

ステータスが分かったところで、そのステータスの内容を確認していきましょう。

ステータスは大きく分けて4つのステータスタイプに分類されます。

1. エラー：システム(メタ)的な問題がありインデックスされていない
2. 有効(警告あり)：インデックスはされたが、何らかの問題がある
3. 有効：問題なくインデックスされている
4. 除外：インデックスしない方がいいと判断された、もしくは判断待ち

ここからはSearch Consoleヘルプの情報にもとづき、タイプ毎にステータスの意味を紹介していきます。自分の該当するステータスを確認しましょう。

エラー

「エラー」は、何らかの問題があってインデックスを完遂できなかったという状態です。

インデックス登録をリクエストしたページやサイトマップに記載されたページに対して、クローラーがアクセスできなかった場合に発生します。

ステータス	主な原因
サーバーエラー（5xx）	サーバーの移転作業、サーバーの過負荷などでアクセスに失敗した。または、記事の下書き(プレビュー)を送信した。
リダイレクトエラー	ページのリダイレクトに失敗している。 リダイレクト処理の記述が間違っていることも。
送信されたURLがrobots.txtによってブロックされました	robots.txtにクローラーを拒否する記述があるページを送信した。
送信されたURLにnoindexが追加されています	noindexが付与されたページを送信した。もしくは、インデックスしたくないページがサイトマップに記述されている。
送信されたURLはソフト404エラーのようです	404以外のステータスのページを送信した。 .htaccessの記述ミスなど。
送信されたURLが未認可のリクエスト(401)を返しました	ログインしないとアクセスできないページを送信してしている。
送信されたURLが見つかりませんでした(404)	送信されたページが削除されていた。もしくは、クロール時に非公開になっていた。
送信されたURLが403を返しました	特定のIPからしかアクセスできないページを送信した。
他の 4xx の問題が原因で、送信された URL がブロックされました	その他の理由でクローラーがアクセスできないページを送信した。

※「送信」はインデックスの登録リクエストのことをいいます

有効(警告あり)

「有効(警告あり)」は、インデックスはされたが問題があるという場合のステータスです。緊急性はないものの、早めの対処が求められます。

ステータス	主な原因
robots.txt によりブロックされましたが、インデックスに登録しました	robots.txtでクロールを禁止にしているページが、何らかの理由でクロール(インデックス)できてしまった。
インデックス登録済みページ(コンテンツなし)	クロール時にコンテンツの中身を読み取れなかった。 ユーザーとクローラー相手に別々のコンテンツを表示している。

有効

「有効」は正常にインデックスされた状態を表すステータスです。

インデックスを外したい場合を除けば、何も対処する必要はありません。

ステータス	主な原因
送信して登録されました	正常にクロールとインデックスが完了した。
インデックス登録されましたが、サイトマップに送信していません	インデックスされたが、送信済みのサイトマップからは見つけられなかった。

除外

「除外」は、エラーではないがインデックスはしていないという状態です。

意図的にインデックスを禁止しているページもここに含まれるため、全てに対処が必要な訳ではありません。

ステータス	主な原因
noindexによって除外されました	正常にnoindexタグが機能しており、インデックスされていない。
ページ削除ツールによりブロックされました	URL削除リクエストにより、正常にインデックスが外れている。
robots.txtによりブロックされました	robots.txtの記述により、クローラーのアクセスを禁止している。
未承認のリクエスト（401）が原因でブロックされました	特定のユーザーしかアクセスできないようにしている。
送信されたURLはソフト404エラーのようです	存在しないページが404以外のステータスになっている。 .htaccessの記述ミスなど。
クロール済み – インデックス未登録	コンテンツ内容がインデックスの基準を満たしていない。もしくは、現在インデックスへの登録中である。
検出 – インデックス未登録	クローラーがページの存在を把握しているが、まだクロールされていない。
代替ページ（適切な canonical タグあり	canonicalタグによって他のページを正規ページに指定している。
重複しています。ユーザーにより、正規ページとして選択されていません	同じ内容のページが存在するが、canonicalタグで正規ページが指定されていない。
重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました	canonicalタグを無視して、他のページを正規ページと判断した。
見つかりませんでした（404）	既にページが削除済みである
ページにリダイレクトがあります	他のページにリダイレクトしている。
ソフト404	存在しないページに404以外のステータスコードが指定されている。
重複しています。送信された URL が正規 URL として選択されていません	canonicalタグで指定した正規ページ以外を送信した。
アクセスが許可されていないため、ブロックされました（403）	特定のIPからしかアクセスできないように設定している。
その他の 4xx の問題が原因でブロックされました	その他のサーバーエラーにより、クロールがアクセスできなかった。

たくさんある「重複しています。～」のステータスは、同じサイト内のページを複製した際などに発生するものであり、パクリとはまた別の問題です。

例外ステータス

正確にはステータスではありませんが、例外的に「URLがGoogleに認識されていません」と表示されることもあります。

これはサイトマップに記述がない、内部リンクがない、などの理由でクローラーが発見(検出)できていない状態です。

まずは発見してもらう必要があるので、インデックス登録のリクエストを行いましょう。

インデックスされない時の対処法

原因を突き止めたら、ステータスに合わせて対処していきましょう。

1. クロール済み – インデックス未登録：コンテンツを修正する
2. 検出 – インデックス未登録：クローラビリティの向上
3. 重複しています。：canonicalタグの使用、リダイレクトやページの統合
4. その他のステータス：システム面の対処、クローラーの制御

「クロール済み – インデックス未登録」の対処法

「クロール済み – インデックス未登録」は、クロールが正常に行われた結果、インデックスされなかったという状態です。

つまり、システム面に問題はなく、コンテンツ内容に問題があると考えられます。(ラグなどの例外あり)

だとすれば、対処法はコンテンツの修正(リライト)しかありません。

しかし、やみくもに修正をしても徒労に終わる可能性があります。

インデックスの基準を満たすためには、品質ガイドラインに沿って以下の要素を意識して修正を行いましょう。

• 独自性がある
• 十分な情報量がある
• タイトルと中身が一致している

そして、上記の要素全てを満たすために、キーワードに沿った情報量を増やしましょう。

ボリュームがある記事は、おおむねインデックスされる傾向にあります。

特にサイドバーやフッターがあるブログは、情報量が少ないほど重複率が上がり、独自性(オリジナリティ)が失われます。

これを回避するためにも、十分な文字数を書くようにしましょう。

「検出 – インデックス未登録」の対処法

「検出 – インデックス未登録」はクロールが来ていないという状態です。

そのため、クローラビリティを向上させることが、最も効果的な対処法となります。

具体的には、以下のような施策が有効ですので試してみましょう。

• 不要なページを削除・noindexにする
• 内部リンクを貼り、巡回しやすいサイト設計を行う
• 被リンクを獲得してクロールの絶対数を増やす
• 思い切ってドメインパワーが強い中古ドメインに移し替える

私の感触では、ドメインパワーがインデックスの速さには影響していると感じます。

実際には、ドメインパワーが最初から強い中古ドメインでは、速攻で翌日にはインデックスされましたよ。

上位表示は難しいかもですが、とりあえずインデックスされないことには順位もなにもありません…

中古ドメインについては、記事≫中古ドメインのSEO効果を検証！その驚きの結果は！？ が参考になります。

検出-インデックス未登録については、以下の記事で詳しく解説しています。

≫『検出-インデックス未登録』その 原因と対策を詳しく解説！

「重複しています。」の対処法

「重複しています。」から始まるステータスは、サイト内にURLの違う類似したページがあるという忠告です。

主に複製したページ、ページネーション(ページ分割)されたアーカイブページ、wwwや暗号化の有無などによって発生します。

記事内容が多少似ていても、タイトルタグなどが違うページは該当しません。

正規ページが存在しないとSEOの評価が分散してしまうので、以下の方法を参考に正規化(正規URLの指定)を行いましょう。
※正規ページ：インデックス・評価してほしいメインのページ

canonicalタグを設定する

canonicalタグを使用して正規化を行う方法です。

正規ページを指定することで、どのページをインデックスしてほしいかをクローラーに伝えることができます。

canonicalタグの設定は、All in One SEO PackやSEO SIMPLE PACKなどのプラグインを使えば、簡単に設定できますよ。

指定するページ(URL)は個人の判断にゆだねられますが、ページが多数存在するアーカイブページ(記事一覧)の場合は、1ページ目のURLを正規ページに指定するのが一般的です。

ちなみに、ページの前後関係を表す“rel=next,prev”のタグはサポートが終了しています。特別な理由がない限り、使用するのは控えましょう。

正規化したいページへリンクを送る

「重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました」の場合は、canonicalタグが無視されて他のページが正規ページに指定されています。

Googleは被リンクなどの要素も加味して正規ページを判断するため、正規化したいページへリンクを送るようにしましょう。

もちろん、外部からのリンクが一番望ましいのですが、内部リンクでも十分に効果はあります。

その他のステータスの対処法

その他のステータスについては、そのページがインデックスさせたいページかどうかで対応が異なります。

• インデックスさせたいページ：robots.txtやmetaタグ、.htaccessなどの記入ミスを修正
• インデックスさせたくないページ：サイトマップに記述がないか確認

インデックスさせたいページの場合

ここでは、インデックスさせたいページに関して見ていきましょう。

metaタグなどの記述ミスがないか確認

最も多いのがmetaタグの設定ミスやrobots.txt、.htaccessの記述ミスです。

エラーが出ている場合は、noindexが付いていないか、クロールをブロックする記述がないかを確認しましょう。

サイト全体にnoindexが付いていないか確認

WordPressの表示設定には「検索エンジンでの表示」という項目があり、ここにチェックが入っているとサイト全体にnoindexが付与されてしまいます。

意外とやってしまいがちなミスなので、思い当たる方は確認しておきましょう。ブログ立ち上げ初期の人は特に注意が必要です。

インデックスさせたくないページの場合

前提として、インデックスの拒否はrobots.txtによるクロール制御よりも、noindexのタグを設置した方が確実です。

noindexが付与した上で、以下の対処を行いましょう。

除外ステータスなら問題なし

インデックスさせたくないページ、noindexを付与したページが除外ステータスである場合は、特に対応する必要はありません。

サイトマップから該当ページを除外する

エラーステータスの場合は、該当ページがサイトマップに記載されていないか確認しましょう。

サイトマップにURLの記載があると、自動的にインデックスが申請されてエラーになってしまいます。

確認方法は、ブラウザの検索窓に「https://example.com/サイトマップ名」と入力するだけです。

サイト名はXMLサイトマップなら”sitemap.xml”、RSSフィードなら”feed”などになっていると思います。

また、XML Sitemaps(旧：Google XML Sitemaps)を使用している方は、プラグインの設定を確認してみましょう。

まとめ

SEOでアクセスを稼ぐ上では、インデックスというのは第一の壁となります。

ブログ立ち上げ初期はなかなかインデックスされず焦ることも多いかと思いますが、原因をひとつずつ潰していけば必ずインデックスされる日が来るはずです。

インデックスされなくても嫌にならず、時間をかけてでも確実に対処をしていきましょう。

ブログ部