SEO対策

【本質的な原因と対策】「検出-インデックス未登録」になる理由は?ステータス「除外」について深堀りしてみると…

【本質的な原因と対策】「検出-インデックス未登録」になる理由は?ステータス「除外」について深堀りしてみると…

知れば知るほど謎に満ちていて、分からなくなるのが、検索エンジンであるグーグルの挙動ですね。

振り回されてると感じている人も、多いのではないでしょうか?

その中の1つに、サーチコンソールの「カバレッジ」のステータス「除外」における「検出-インデックス未登録」があります。

個人的には、グーグルにおいても納得のいくような説明はされておらず、推測の域を出ない形にはなりますが、

  • 検出-インデックス未登録とはそもそも何か
  • なぜ「検出-インデックス未登録」になるのか(理由)
  • どうすればインデックスさせられるか(対策)

について話していきます。

私としては、10年以上保有サイトのサーチコンソール周りのデータを記録し続けてきましたので、ある程度知っている部分はありますが、全てを知ってるわけではありません。

あくまで、1つの意見として、参考程度に留めてもらえると幸いです。

【関連記事】

「検出-インデックス未登録」とは?

まず、「検出-インデックス未登録」の意味を話しておきますと…

■グーグルがそのページの存在を検出しながらも、インデックスには登録していないという状態です。

サーチコンソール > カバレッジ > ステータス「除外」

と進めば確認することができます。

「クロール済み-インデックス未登録」との違い

これに対して、もう1つ「クロール済み-インデックス未登録」という状態が同じ「除外」のステータスには存在しています。

こちらは、

■グーグルがそのページの存在を検出し、クロールを行った結果、インデックスに登録していないという状態です。

こちらは、「クロールを行ってる」分、どちらかというと、「内容を確認したが
インデックスする価値がないと判断した」という形になります。

したがって、

  • 競合が強い検索クエリで相対的に評価されなかった
  • YMYLの領域で権威性(E-A-T)が認められないと判断された
  • 品質の低い、またはマッチしないページだと判断された

という可能性が高くなります。

一方、「検出-インデックス未登録」は内容を確認する「クロール」自体が行われていないので、「クロール待ち」という保留状態の意味合いが強いです。

そのため、この2つのステータスには、若干の違いがあります。

インデックス周りのリアルな背景について考察しておく

これから、深堀りしてインデックスについて話をしていく前に、少しインデックスにおける「事情」のようなものについて話しておきます。

インデックスすればするほどコストがかかる

じつは、「インデックスする」ということは、グーグルにとっては、とても大きなコストになっています。

イメージとしては、コストなんてかかってないように思う方も多いかもしれませんが、実際には巨大なデータセンターを複数抱えて、そこにデータとして保存している形で相当なコストがかかっています。

最近ではとくにスマホからでも気軽に情報が発信できるようになり、ネット上における情報量は非常に多くなりました。

もちろん、検索上位を狙って記事をアップしている人もとても多い状態です。

その記事を1つ1つ丁寧にインデックスして、順位付けをしていく…

その方法では、コスト対効果が合わなくなっていると感じています。

たとえば、公式ページの内容をそのまま模写したような記事…そのためにコストを使うのは避けたいという思惑がグーグルにはあると、個人的には考えています。

とくに検索で上位表示をすれば、収益性のある検索クエリなどは、もう十分にすばらしい記事が上がってるのにも関わらず、同じ検索クエリを狙って、日々多くの人が新しい記事を上げ続ける…

そういった状況にグーグルは正直うんざりしているのだと思います。

【ちゃっかりインデックス】新しく生まれた検索ニーズには敏感

しかし、たとえば新しく生まれたばかりの言葉…その質問にうまく答えてくれる記事が存在しないという場合、グーグルは手のひらを返します(あくまで私の推測です)。

作ったばかりのサイトであったとしても、どうやって見つけたのかと疑うほどに素早くインデックスされることも多くあるのです!

このような事柄からも、私は

  • できるだけコストを無駄にかけたくない
  • 同じような記事にはうんざりしている
  • 新しいニーズ・それに対応する記事には敏感に反応する

という性質があると考えています。

この視点を持つことが、「検出-インデックス未登録」などの現象を読み解く上で役に立つと思います。

「検出-インデックス未登録」が起こる原因

では、以上の背景も踏まえて、「検出-インデックス未登録」という状態が起こってしまう原因について、考えていきます。

サイトへの過負荷が予想されるため(グーグル公式)

まずは、グーグル公式の見解から紹介していきます。

以下、「検出-インデックス未登録」に対するグーグルの説明です。

ページは Google により検出されましたが、まだクロールされていません。これは通常、Google が URL をクロールしようとしたものの、サイトへの過負荷が予想されたため、クロールの再スケジュールが必要となった場合です。そのため、レポート上で最終クロール日が空欄になっています。

引用元: インデックス カバレッジ レポート

…正直、よく意味が分かりませんね。

クロールというのは、それほどサイトに負荷がかかるものなのでしょうか?

多く見積もっても、「そのサイトの全ページを1回読み込めば完了するもの」だと思います。

それが過負荷になってしまうことは、サイトであるという機能を達成している以上、起こりにくいと考えます。

そのため、「グーグル上のなんらかの都合でクロールを控えられた」と考える方が自然だと思います。

内部リンクが張られていない(グーグル)

この「検出-インデックス未登録」についての、グーグル側の見解は少なく、あとは次のようなものしか見当たりません。

「サイトマップで送信しただけで内部リンクが張られていない場合、あまり重要でないとみなされインデックスされないこともある」

引用元: 「検出 - インデックス未登録」とSearch Consoleで表示されたときの対処方法

元のソースが英語でしたので、訳して下さってる方のサイトからの引用になります。

「されないこともある」というニュアンスからも、「大きな原因」というイメージではなく、「考えられる原因の1つ」という形だと思います。

内部リンクが張られず、孤立したページは「重要でないとみなされ」インデックスされないというケースもあるということです。

「重要でない」ページなら、コストがもったいないので、クロールもせずに済ますといった感じでしょうか。

この辺りからも、グーグルがほしいもの以外には、できるだけコストをかけたくないという姿勢がうかがえるかと思います。

クロールの「更新」「検出」のバランス(ウワサ)

続いては「ウワサ」編です。

サーチコンソールの「設定 > クロールの統計情報」から確認できる目的別の「更新」と「検出」のバランスを整えることで「検出-インデックス未登録」の状態が改善されるというウワサがあるようです。

たしかに関連性はあるようで、バランスを整えるとインデックス周りに反応がみられますが、確実性がないのでウワサの域は出ないと考えます。

クロールのリソース不足(ウワサ)

こちらもウワサになりますが、クロールのリソース不足が原因という説です。

先に述べたクロールやインデックスの「コスト」のことを考えると、こちらは信ぴょう性が高いように思われます。

「リソース不足」というよりは、効率化を目指してる、見込みの薄いところはクロールをあえてしないようにしている、とも捉えられると思います。

品質が低いコンテンツ・または重複とみられている(ウワサ)

品質が低いコンテンツや重複コンテンツと認識されているというウワサもあります。

しかし、「クロールをしていない」のに品質が低いコンテンツだと決めつけられるのには、やはり抵抗はありますね。

記事数の多いサイト・投稿ペースの早いサイト(個人的観察)

ここからは、個人的な観察による意見になるのですが…

私の経験から言うと、インデックス関係でもたつくのは「記事数の多いサイト・ブログのような形で構成をしっかりと組んでいないサイト」が多い印象です。

とくに大規模なブログで一気にたくさんの記事を投稿した時は、たいてい忘れ去られたようにずっとインデックスされないページができる気がします。

その点、構成をしっかりと練り上げた小規模(30~50ページくらい)のサイトは、全ページがしっかりとインデックスし、それが増減することも少ないように思います。
一方、大規模なブログ式のサイトは、毎月チェックするとインデックス数が月によってかなり増減することも しばしばあります。

アクセスのないページ・ニーズのないページ(個人的観察)

こちらもあくまで「傾向」になるのですが、同じページだったとしても、

  • アクセスの少ないページ
  • もともとの検索ボリュームが少ないページ

のページは、インデックスされにくい傾向にある印象です。

「クロールやインデックスを節約したい」ともしグーグルが考えているのであれば、この辺りの「動きの乏しい範囲」のクロールを制限するということは、理にかなっていると言えます。

一時的なもの(個人的観察)

先ほども言いましたが、毎月チェックするとインデックス数はかなり増減していたりします。

たとえば私の所有しているサイトで、今はもうほとんど記事を足していないものがあります。

700記事ほどのサイトですが、昨年(2021年)のインデックス数は最高で「677」、最低で「497」でした。

これほどの動きがあります。

私の場合、とくに何もせずにこの振れ幅なので、まったく「一時的な何かの理由」でインデックスされたり・されなかったりはあると考えています。

【本質的原因】あなたのサイトに対するGoogleの期待値が低い

今まで、枝葉の原因・理由について話してきました。

ただ、もっと「本質的な原因」について考えてみると、「あなたのサイトに対するグーグルの期待値が低い」ということは、残念ながら言えるかと思います。

もし、グーグル側が余計なクロールを抑えたいと思っていたとしても、クロール自体を止めてるわけではありません。

たとえばYahoo!ニュースなどは、昨日も今日もどんどんクローラーが回ってきているわけです。

「けっして順番待ちになっている状態ではなくて、どんどん あなたのサイトの順番が抜かされている」という状況を考えた場合、やはり期待値による後回しと考えるのが妥当だと思います。

「検出-インデックス未登録」についての対策

ここまでは、「検出-インデックス未登録」の原因・理由についてみてきました。

では、次にこの「対策」について説明していきます。

【本質的対策】あなたのサイトに対するGoogleの期待値を上げる

原因のところで最後に「本質的な原因」について説明しましたが…
対策では、まず「本質的な対策」から話していこうと思います。

こちらは原因との対になっており、「グーグルの期待値を上げる」ということになります。

「期待値を上げる」といっても、じつは様々な要因が絡んでいるので簡単には説明ができないのですが、次のような内容になると思います。

  • 飽和していない検索クエリを狙う
  • 自分の力量にあった(ドメインパワーなど)検索クエリを選ぶ
  • その検索クエリ内で圧倒的に強い記事を書く

「できれば記事のジャンルは揃えた方がいい」など、他にもいろいろな要素があるのですが、こういう形になります。

一言で表すなら、「検索クエリの空いているところを、しっかりした記事で埋めてくれる」。

これがグーグルにとって「都合のいいサイト」になり、期待値はかなり高いと思います。

URL検査(サーチコンソールの機能)

一応、教科書的な回答としては、サーチコンソールの機能にある「URL検査をする」のがまっとうな対策になると思います。

ただ、これに関しての効果は「さほどない」と感じています。

内部リンクを張る

グーグルの方もコメントされていたように、たしかに内部リンクがなく孤立してしまっているページは、クロールもされにくいと思います。

適切に内部からリンクを送ってあげるのは良い施策です。

闇雲に内部リンクを貼るのではなく、あくまで「そのページに興味を持って実際にクリックしてくれるようなリンク」を貼るのが基本です。

「数が多けりゃいい」という発想でなく「実際に訪れる人が多い」形でのリンクを目指しましょう。 検索以外のアクセスを送る(SNS・広告・ニュースレターなど)

内部リンクのみでなく、もっと「検索以外のアクセスを発生するような」リンクを張る方法もあります。

こちらは、かなりおすすめになります。

たとえば、

  • twitter・インスタ・FacebookなどのSNSからアクセスを送る
  • PPCやFacebook広告などを利用し、アクセスを送る
  • ニュースレターなどを利用してアクセスにつなげる

などの方法があります。

個人的には、「アクセスがある(そしてよく読まれている)」ことは、グーグルにとっては、「そこに何かの価値がある」という触手を動かすきっかけとなるため、結果的にインデックスを促進する効果はあると考えています。

しばらく待つ(個人的に推奨)

「検出-インデックス未登録」については、何度かお伝えしたように「クロールもしていない」状態ですので、何かの外部的な(ユーザーにとってはどうすることもできない)要因でそうなってることも考えられます。

そのため、個人的にはアクセスを送ってみたらそのまま「しばらく待つ」という対策をおすすめしたいです。

その間も「記事の更新を止める」のではなく、なるべく「グーグルの期待値を上げる」ような記事を書き続けるのが好ましいと感じています。

リライトする

「インデックスされない」場合の一般的な対処法としては、記事をリライトし、内容を改変してから上に挙げた「URL検査」で再度インデックスを申請するというやり方が一般的です。

しかし、「検出-インデックス未登録」の場合は、「わざわざリライトしてまでインデックスを促す」ことの費用対効果には慎重になる必要があります。

「クロールすらされていない」ので、リライトするにしても、

  • 優先順位や順番は低にする
  • できれば そもそも狙っている検索クエリの見直しから入った方がいい

という形にした方がいいでしょう。

URLの変更を行う

こちらは、かなり積極的にその記事をインデックスをしたい場合の対策になってくるかと思います。

グーグルのサービスは優秀できめ細かくて緻密だと思ってる人もいるかもしれませんが、この「検出-インデックス未登録」のように変なステータスを吐き出す場合もあり、意外に雑な一面もあると思ってます。

そのため、「何かバグのような要因でインデックスされなかった」と感じる場合はURLを設定しなおして もう一度「別記事」として上げると案外うまくいくこともあります。

カニバリゼーションを整理する

少し前にSEO界隈で騒がれたのが、このカニバリ(ゼーション)です。

ある記事と別の記事で狙っている検索クエリがバッティングして、結局どちらの記事も上位されないという形になることです。

原因は「重複」ということになると思いますが、こちらを修正することでインデックスを目指すという方向性も考えられます。

ただ、あくまで「検出-インデックス未登録」は、クロールもしていない状況になるので、本来は「バッティングしてるかどうかの判定」も行われていないはずです。

なので、こちらも対策の優先度は低いと考えられます。

検出-インデックス未登録の原因と対策まとめ

ここまで、「検出-インデックス未登録」の原因と対策について話してきました。

まとめておきますと、

  • 「検出-インデックス未登録」はページの存在を検出しながらもインデックスには登録していない状態
  • 「クロール済み-インデックス未登録」はクロールは済んでいる状態
  • 「検出-インデックス未登録」はクロールが行われていない
  • インデックスやクロールには莫大なコストがかかる
  • 同じような記事にはうんざり…
  • 一方 新しい言葉やニーズには敏感に反応する

■「検出-インデックス未登録」の原因

  • サイトへの過負荷(グーグル公式の説明)
  • 内部リンクが張られていない
  • クロールの「更新」「検出」のバランス
  • クロールのリソース不足
  • 品質が低い・または重複
  • 記事数が多い・投稿ペースが速すぎる
  • アクセスがない・ニーズがない
  • 一時的なもの
  • 【本質的】グーグルの期待値が低い

■「検出-インデックス未登録」の対策

  • 【本質的】グーグルの期待値を上げる
  • URL検査を行う
  • 内部リンクを張る
  • 検索以外のアクセスを送る
  • しばらく待つ
  • リライトする
  • URLの変更を行う
  • カニバリゼーションを整理する

このような形でした。

少しでも参考になれば幸いです。

最後まで読んで頂き、ありがとうございました。

-SEO対策