Yandex 検索ロボットによるページの再クロール。ページはロボットによってクロールされていますが、検索では見つかりません。

2018-11-03T01:15:05+00:00

Yandex の発売新しいツール– 再バイパス探索ロボットサイトのページ。
Yandex のスペシャリストによると、このツール検索ロボットが高速形式でサイトのページにアクセスできるようになります。
同時に、検索ロボットによる訪問ごとに 1 日あたり追加できるページは 10 ページまでです。

検索ロボットによってクロールされるページを追加する方法に関するビデオ説明

このツールはどのように役立ちますか?

あなたが持っている新しいページ、すぐに検索ロボットに報告したいと考えています。
ページ上で何かが変更されたため、その変更についてロボットにすぐに通知したいと考えています。
あなたのページはインデックスから外れました (by 様々な理由）すぐに返却する必要があります。
検索ロボットによってクロールされる理由はさまざまですが、このツールは独自の目的や目標に合わせて使用できます。

それでは見てみましょう クロールするページを追加する方法ヤンデックスロボット。
まず、次の場所に行く必要があります。 ウェブマスターパネル Yandex を使用してから、ウェブマスターのベータ版に切り替えます。
選ぶ必要 Webサイト複数ある場合。開いたページで、選択します ツールアイテムを開くリストで ページを再クロールする。下の写真をご覧ください。

メニュー項目「ページを取り消す」をクリックすると、リンクを入力するフィールドが開きます。
このフィールドにはページへのリンクを最大 10 個挿入する必要があります。次に、ボタンをクリックします送信リンクはロボット訪問のキューに追加されます。

本質的に、サイトのページを再クロールするプロセスはインデックスの再作成であり、その間に検索エンジンのキャッシュ内の情報が更新されます。つまり、そのページは以前はインデックスに存在しなかったと想定されます。この手順一定の頻度（毎週）で自動的に実行されますが、その間隔はサイトごとに異なります。

できるだけ早く結果を得る必要がある状況が発生することがあります。この場合、さまざまなツールを使用して、Yandex と Google でのページの再インデックス作成を高速化できます。今日はそれらについて簡単に説明します。これは、たとえばロボットが現れるのを待たないために必要になります。あるいは、検索結果に表示されるサイトの情報を緊急に置き換える必要がある場合もあります。このメソッドは、サーバーエラーにより誤って削除された URL を返す場合にも役立ちます。

オンラインで出会ったさまざまなヒントトピックについて: インストールなどを積極的に使用してください。ただし、これは、の作成など、プライマリインデックス作成に関するものです。私たちのタスクには、特別で、より効果的で、正しい方法— ウェブマスターパネルを通じて。

この機能はリリースから少し遅れて登場しました。このサービスにまだ登録していない場合は、必ず登録することをお勧めします - webmaster.yandex.ru。サイトへの権利を確認したら、「インデックス作成」-「ページの再クローリング」セクションに進むことができます。

ここで、テキストフィールドに、検索ロボットを誘導するリンクを指定します。以前は 1 日あたりの制限は 10 個でしたが、現在は 20 個 (プロジェクトあたり) です。「送信」をクリックすると、Yandex でインデックスを再作成するための新しいページがフォームの下に表示されます。合計で 3 つのステータスがあります。

キュー内 - リンクが追加されたばかりです。
ロボットがバイパスしました - プロセスが完了しました。更新されるまで待ちます。次回の更新基地。
エラー。

後は、次のアップデートを待つだけです。

Google でページを再クロールする

Google で同様のタスクを実行する場合も同様ですが、より多くの手順が必要になります。あなたのサイトもウェブマスターパネルに追加する必要がありますが、すでに Googleサーチコンソール。ツールの「クロール」セクション - 「Fetch as Google」（Googlebot として表示）を見つけます。

ここで必要なものは次のとおりです。

テキストフィールドに、Google で再インデックスするページのアドレスを入力します (ドメインなし、パスのみ)。
「取得」ボタンをクリックします。新しい URL がリストに追加され、数秒間の検証後にステータスが「完了」と表示されます。
次に、近くにある「インデックス作成のリクエスト」ボタンをクリックします。

この後、ポップアップウィンドウが表示され、Google でページを再クロールするためのオプションの 1 つを選択します。

あなたはできる：

1 つの URL について Google のページを再インデックスします (月あたり最大 500)。
スキャン指定されたページおよびその上のすべての直接リンク (月あたり 10 個)。このオプション投稿のリストまたはを含むセクション/カテゴリに適しています。

もちろん、これだけのことを行っても、Yandex.Webmaster でページを再クロールしたり、 Google検索コンソールはそれを保証しません新情報 URL からのものがインデックスに追加されます。アルゴリズムとコンテンツ要件への準拠は取り消されていません。時間の点では、状況は同じです。ツールを使用するとプロセスが確実にスピードアップしますが、これはプロセスが即座に完了することを意味するものではありません。他のすべての点において、このソリューションはうまく機能し、通常のプロジェクトが検索エンジンの情報を迅速に更新できるようになります。

Web サイトのページのインデックス再作成のトピックに関して追加したいことがあれば、コメントに書き込んでください。おそらくいくつかの詳細を見逃したかもしれません。

Yandex.Webmasterに「優先ページクローリング」が登場しました。このようにして、優先クロールが必要なページについてインデックス作成ロボットに通知できます。

なぜこのツールなのか?

« 優れたサイトマップをお持ちの場合は、このツールがなくても大丈夫です。しかし、それでも、ページの緊急のクロールまたは再クロールが必要な場合にタスクが発生することがあります。そしてこのツールはそれについてのものです」 - Yandexの代表者が説明します。

たとえば、スニペット内のテキストが、ページ自体ですでに更新されている新しいテキストに置き換えられていることを確認する必要があります。または、新しく到着した製品やニュースを含む新しいページの検索を高速化する必要があります。

このツールは、次のような理由で検索から除外されたページを迅速に返す機能も提供します。間違った設定サーバー、robots.txt の制限、またはインデックス作成ロボットのサイトのアクセシビリティに関するその他の問題。

ツールはどのように機能しますか?

新しいウェブマスターの「ツール」セクションに「優先度バイパス」があります。の上この瞬間検証済みサイトごとに 1 日あたり最大 10 ページのクロールをリクエストできます。申請を送信すると、次の 3 つの申請処理ステータスのいずれかが表示されます。

「キューに登録されている」とは、ページがクロールするロボットに与えられていることを意味します。 3日以内に申請は処理されます。
「ロボットがバイパスされました」 - ページはロボットによって訪問され、検索内のページに関するデータは、その後の検索データベースの更新によって更新されます。
「エラー」 - ロボットはページにアクセスできませんでした。

« 間違いなく、このツールはウェブマスターにとって一歩前進です。私の意見では、「優先クロール」は、多くの場合、ロボットが非常に長い間そのようなサイトにアクセスしない可能性があるため、若いサイトや発展途上のサイトに特に役立ちます。
私たちはすでにこれを業務で使用しており、ウェブサイトのページの有効性のテストなど、クライアントに提供し始めています。", - コメント セルゲイ・アンドレーエフ, Rookee社のマーケター。

詳細が必要ですか?

以下に、5 代目 Yandex ウェブマスターの記録を提供します。第2次レポートとして「優先ページクローリング」が発表された。

何年もの間、すべてのウェブマスターと SEO は、新しいサイトがページをインデックスするのは非常に難しいと不満を抱いてきました。これも稀なアップデートによるものです。の検索結果ヤンデックス。

今年Yandexが導入されました 新しいバージョン 彼の ウェブマスター。最初はベータテスト中でしたが、その後完全に移行しました。

新しいウェブマスターのおなじみの addurilka は、「」にあります。 ツール」と呼ばれるようになり、現在はページ逆走と呼ばれています。

ページを再クロールすると、ページが Yandex インデックスに強制的に登録されます

私のブログに新しい記事が掲載されるたびに、ソーシャルメディアで共有されます。ネットワーク、追加する ヤンデックス・アドゥリルカそしてグーグル。

新しい addurilka (ページクローリング) では、URL を一度にバッチで追加できるようになりましたが、1 日あたりの制限があります URLはわずか10個.

以前、ヤンデックスは心理学者として、単にリンクを受け入れ（患者の話に耳を傾け）、ロボットが必ずサイトを訪問してこれらのページを見ることを約束していました。同時に絶対に 約束しなかったページはインデックスに直接移動します。

現在、掘削装置を販売するオンラインストアと連携して、新しい最適化されたサイトページのバッチを Google と Yandex の両方にすぐに追加しました。

これを始める前は、このサイトは新しく、インデックスにはホーム、ニュース、会社概要、連絡先の 4 ページしかありませんでした。商品のカテゴリー、特に商品自体が近い将来指数に含まれるという事実については話がありませんでした。

私が追加したほとんどすべてのページが削除されたときの私の驚きを想像してみてください。 ページをクロールする Yandex 自体がこれを確認して、これらのページがインデックスに登録された時刻を表示します。

以前は Google に問題はありませんでした。ほぼページ 瞬時に飛んだ addurilkaに追加するとインデックスに追加され、Yandexでは2週間待たなければなりませんでした。

作品を確認してみます ページクロールさらにいくつかのページがありますが、これにより、ページをインデックスに迅速に、しかも無料で、また、サードパーティのサービス.

ページの再クロールがあなたにとってうまくいくかどうかについては、コメントに書いてください。

追伸数時間後、この記事がインデックスに含まれているかどうかを確認してみることにしました。そして、なんと！

以下のスクリーンショットでわかるように、ページはすでにインデックスに登録されており、まだ 3 時間 10 分しか経過していませんが、Yandex は次のように切り上げます。大きな側面そして4時間前と書かれています。