Indexation dans les moteurs de recherche Yandex. Un moyen rapide de vérifier l'indexation des pages dans Yandex et Google. Moteurs de recherche étrangers

L'indexation du site est le détail le plus important, nécessaire et primaire dans la mise en œuvre de son optimisation. Après tout, c'est précisément grâce à la présence d'un index que les moteurs de recherche peuvent répondre à toutes les requêtes des utilisateurs de manière extrêmement rapide et précise.

Qu'est-ce que l'indexation de sites ?

L'indexation du site est le processus d'ajout d'informations sur le contenu (contenu) du site à la base de données des moteurs de recherche. C'est l'index qui est la base de données des moteurs de recherche. Pour que le site soit indexé et apparaisse dans les résultats de recherche, un robot de recherche spécial doit le visiter. La totalité de la ressource, page par page, est examinée par le bot selon un certain algorithme. En conséquence, trouver et indexer des liens, des images, des articles, etc. En même temps, dans les résultats de la recherche, ces sites seront plus élevés dans la liste, dont l'autorité est plus élevée que les autres.

Il existe 2 options pour indexer le site PS :

• Autodétermination par le robot de recherche de nouvelles pages ou d'une ressource créée - cette méthode est bonne s'il existe des liens actifs d'autres sites déjà indexés vers le vôtre. Sinon, vous pouvez attendre le robot de recherche indéfiniment ;
• Saisie manuelle de l'URL du site dans le formulaire du moteur de recherche prévu à cet effet - cette option permet au nouveau site de "faire la queue" pour l'indexation, ce qui prendra beaucoup de temps. La méthode est simple, gratuite et nécessite de saisir uniquement l'adresse de la page principale de la ressource. Cette procédure peut être effectuée via le panneau des webmasters Yandex et Google.

Comment préparer un site pour l'indexation ?

Il convient de noter tout de suite qu'il est hautement indésirable d'aménager un site au stade du développement. Les moteurs de recherche peuvent indexer des pages incomplètes avec des informations incorrectes, des fautes d'orthographe, etc. En conséquence, cela affectera négativement le classement du site et la délivrance d'informations à partir de cette ressource dans la recherche.

Listons maintenant les points à ne pas oublier au stade de la préparation d'une ressource pour l'indexation :

• des restrictions d'indexation s'appliquent aux fichiers flash, il est donc préférable de créer un site en HTML ;
• un type de données tel que Java Script n'est pas non plus indexé par les robots de recherche, à cet égard, la navigation sur le site doit être dupliquée avec des liens textuels, et toutes les informations importantes qui doivent être indexées ne sont pas écrites en Java Script ;
• vous devez supprimer tous les liens internes brisés afin que chaque lien mène à une vraie page de votre ressource ;
• la structure du site doit vous permettre de naviguer facilement des pages du bas à la page principale et inversement ;
• il est préférable de déplacer les informations et les blocs inutiles et secondaires vers le bas de la page, et de les masquer également aux robots avec des balises spéciales.

À quelle fréquence l'indexation a-t-elle lieu ?

L'indexation du site, selon un certain nombre de raisons, peut prendre de plusieurs heures à plusieurs semaines, voire un mois entier. La mise à jour de l'indexation ou les moteurs de recherche se produisent à des intervalles différents. Selon les statistiques, en moyenne, Yandex indexe les nouvelles pages et sites pendant une période de 1 à 4 semaines, et Google gère pendant une période allant jusqu'à 7 jours.

Mais avec une préparation préalable appropriée de la ressource créée, ces termes peuvent être réduits au minimum. Après tout, en fait, tous les algorithmes d'indexation PS et la logique de leur travail se résument à donner la réponse la plus précise et la plus à jour à la demande d'un utilisateur. Ainsi, plus un contenu de qualité apparaît régulièrement sur votre ressource, plus il sera indexé rapidement.

Méthodes pour accélérer l'indexation

Vous devez d'abord "notifier" les moteurs de recherche que vous avez créé une nouvelle ressource, comme mentionné dans le paragraphe ci-dessus. En outre, de nombreuses personnes recommandent d'ajouter un nouveau site aux systèmes de partage de signets sociaux, mais je ne le fais pas. Cela a vraiment permis d'accélérer l'indexation il y a quelques années, car les robots de recherche "visitent" souvent ces ressources, mais, à mon avis, il vaut mieux maintenant mettre un lien depuis un réseau social populaire. Bientôt, ils remarqueront un lien vers votre ressource et l'indexeront. Un effet similaire peut être obtenu avec des liens directs vers un nouveau site à partir de ressources déjà indexées.

Une fois que plusieurs pages ont déjà été indexées et que le site a commencé à se développer, vous pouvez essayer de "nourrir" le robot de recherche pour accélérer l'indexation. Pour ce faire, vous devez publier périodiquement de nouveaux contenus à des intervalles de temps approximativement égaux (par exemple, tous les jours, 1 à 2 articles). Bien sûr, le contenu doit être unique, de haute qualité, compétent et non sursaturé de phrases clés. Je recommande également de créer un sitemap XML, dont il sera question ci-dessous, et de l'ajouter au panneau des webmasters des deux moteurs de recherche.

fichiers robots.txt et sitemap

Le fichier texte robots txt comprend des instructions pour les robots des moteurs de recherche. Parallèlement, il permet d'interdire l'indexation de pages sélectionnées du site pour un moteur de recherche donné. Si vous le faites manuellement, il est important que le nom de ce fichier soit écrit uniquement en majuscules et se trouve dans le répertoire racine du site, la plupart des CMS le génèrent eux-mêmes ou à l'aide de plugins.

Un sitemap ou plan du site est une page contenant un modèle complet de la structure du site pour aider les "utilisateurs perdus". Dans ce cas, vous pouvez passer d'une page à l'autre sans utiliser la navigation du site. Il est conseillé de créer une telle carte au format XML pour les moteurs de recherche et de l'inclure dans le fichier robots.txt pour améliorer l'indexation.

Vous pouvez obtenir des informations plus détaillées sur ces fichiers dans les sections correspondantes en cliquant sur les liens.

Comment empêcher un site d'être indexé ?

Vous pouvez gérer, y compris interdire l'indexation d'un site ou d'une page distincte, à l'aide du fichier robots.txt déjà évoqué plus haut. Pour ce faire, créez un document texte portant le même nom sur votre PC, placez-le dans le dossier racine du site et écrivez dans le fichier à partir duquel vous souhaitez masquer le site. De plus, vous pouvez masquer le contenu du site aux robots Google ou Yandex à l'aide du signe *. Cette instruction dans robots.txt interdira l'indexation par tous les moteurs de recherche.

Agent utilisateur : * Interdire : /

Pour les sites WordPress, vous pouvez désactiver l'indexation du site via le panneau de configuration. Pour cela, dans les paramètres de visibilité du site, cochez la case "Recommander aux moteurs de recherche de ne pas indexer le site". Dans le même temps, Yandex écoutera très probablement vos souhaits, mais avec Google, ce n'est pas nécessaire, mais certains problèmes peuvent survenir.

Bonjour, chers lecteurs du site site. Aujourd'hui, je vais vous dire comment trouver et résoudre les éventuels problèmes d'indexation de votre site. Examinons trois points principaux.

1. Le robot doit indexer les pages nécessaires du site avec ;
2. Ces pages doivent être indexées rapidement ;
3. Le robot ne doit pas visiter les pages inutiles du site ;

Tout semble être assez simple. Mais en fait, la plupart des webmasters sont confrontés aux mêmes problèmes lors de la configuration de l'indexation. Regardons-les attentivement.

Pour le moment, dans la plupart des cas, si nous parlons d'une nouvelle page du site dans les résultats de recherche, elle apparaîtra en quelques dizaines de minutes. Si nous parlons de pages déjà indexées, alors cela 3 à 5 jours.

Par conséquent, pour que votre site soit visité rapidement, vous devez retenir trois règles :

1. Tout d'abord, vous devez disposer d'un fichier sitemap valide et régulièrement mis à jour ;
2. Deuxièmement, n'utilisez pas la directive Crawl-delay juste si vous en avez envie. En ce moment, assurez-vous d'aller dans votre fichier robots.txt et vérifiez s'il existe une telle directive. S'il est installé, demandez-vous si vous en avez vraiment besoin.
3. Troisièmement, utilisez le « page crawl » pour visiter les pages les plus importantes de votre site avec une nouvelle page importante.

Nous sauvons le robot des pages inutiles du site

Lorsqu'un robot commence à visiter votre ressource, cela n'a souvent pas toujours un effet positif sur l'indexation des bonnes pages du site. Imaginez une situation, disons que le robot fait 5 requêtes par seconde à votre ressource. Cela semble être un excellent résultat, mais à quoi servent ces cinq visites par seconde si elles appartiennent toutes aux pages de service de votre site ou à des doublons et que le robot ne fait pas du tout attention aux pages vraiment importantes. Ceci est notre prochaine section sur la façon de ne pas indexer les pages inutiles.

1. Nous utilisons la section Yandex Webmaster et contournons les statistiques
2. On récupère les adresses des pages que le robot ne doit pas indexer
3. Nous composons le bon fichier robots.txt

Jetons un coup d'œil à l'outil "Crawl Statistics", il ressemble à ceci. Il y a aussi des graphiques ici. Nous sommes intéressés à faire défiler un peu la page avec le bouton "toutes les pages". Vous verrez tout ce que le robot a visité ces derniers jours.

Parmi ces pages, s'il y a des pages de service, alors elles doivent être interdites dans le fichier robots.txt. Qu'est-ce qu'il faut exactement bannir, point par point.

1. Tout d'abord, comme je l'ai dit plus tôt, filtrer les pages, sélection des marchandises, tri doivent être interdits dans le fichier robots.txt.
2. Deuxièmement, nous devons interdire diverses pages d'action. Par exemple, ajouter pour comparer, ajouter aux favoris, ajouter au panier. La page du panier elle-même est également interdite.
3. Troisièmement, nous interdisons de contourner toutes les rubriques de services comme la recherche sur le site, le panneau d'administration de votre ressource, les sections avec les données de l'utilisateur. Par exemple, les informations de livraison, les numéros de téléphone, etc. sont également interdits dans le fichier robots.txt.
4. ET pages avec identifiants, par exemple, avec les balises utm, il convient également d'interdire le crawling dans le fichier robots.txt à l'aide de la directive Clean-param.

Si vous êtes confronté à la question de savoir s'il faut interdire ou s'il faut ouvrir cette page pour la contourner, répondez-vous à une simple question : si les utilisateurs ont besoin de cette page moteur de recherche? Si cette page ne doit pas être dans la recherche de requêtes, alors elle peut être interdite.

Et un petit cas pratique, j'espère que ça vous motivera. Regardez, sur l'une des ressources, le robot fait presque des milliers de visites par jour vers des pages avec une redirection. En fait, les pages de redirection étaient les pages d'ajout au panier.

Nous apportons des modifications au fichier robots.txt et on peut voir sur le graphique que l'accès à ces pages a pratiquement disparu. Dans le même temps, la dynamique immédiatement positive - en contournant les pages nécessaires sur cette page de la steppe avec le code 200 a considérablement augmenté.

- Pages en double sur le site, comment les trouver et quoi en faire

Et ici, un autre danger vous attend - c'est doublons de page. Par doublons, nous entendons plusieurs pages d'un même site qui sont disponibles à des adresses différentes, mais qui contiennent en même temps un contenu absolument identique. Le principal danger des doublons est que s'ils existent, ils peuvent changer dans les résultats de la recherche. Une page peut accéder à une adresse dont vous n'avez pas besoin, concurrencer la page principale dont vous faites la promotion pour toute requête. De plus, un grand nombre de pages en double rend difficile pour un robot d'indexation de contourner le site. En général, ils apportent beaucoup de problèmes.

Je pense que presque tous les webmasters sont sûrs qu'il n'y a pas de pages en double sur leur ressource. J'ai envie de t'énerver un peu. En fait, il existe des doublons sur presque tous les sites de RuNet. ? J'ai un article détaillé à ce sujet, après l'avoir lu, vous n'aurez plus une seule question.

- Vérification du code de réponse du serveur

En plus du fichier robots.txt, je voudrais vous parler des codes de réponse http corrects. Cela semble aussi être des choses qui ont déjà été dites plus d'une fois. Le code de réponse http lui-même est un statut de page spécifique pour le robot d'indexation.

1. http-200 - la page peut être indexée et la recherche activée.
2. http-404 signifie que la page a été supprimée.
3. http-301 - page redirigée.
4. http-503 - temporairement indisponible.

Quel est l'avantage d'utiliser le bon outil de codes http :

1. Premièrement, vous n'aurez jamais divers liens brisés vers votre ressource, c'est-à-dire les liens qui mènent à des pages qui ne répondent pas avec un code de réponse 200. Si la page n'existe pas, alors le robot comprendra le code de réponse 404.
2. Deuxièmement, cela aidera le robot à planifier pour contourner les pages vraiment nécessaires qui répondent avec un code de réponse 200.
3. Et troisièmement, cela vous permettra d'éviter d'avoir divers déchets dans les résultats de recherche.

À ce sujet, l'écran suivant est également issu de la pratique. Pendant l'indisponibilité de la ressource et du travail technique, le robot reçoit un stub avec un code de réponse http de 200. C'est exactement la description de ce stub que vous voyez dans les résultats de recherche.

Étant donné que la page répond avec un code de réponse 200, elles sont renvoyées. Naturellement, les pages avec un tel contenu ne peuvent être localisées et affichées pour aucune demande. Dans ce cas, le paramètre correct serait une réponse http 503. Si une page ou une ressource est temporairement indisponible, ce code de réponse empêchera les pages d'être exclues des résultats de recherche.

Voici des situations où vos pages importantes et nécessaires de votre ressource deviennent inaccessibles à notre robot, par exemple, ils répondent avec un code 503 ou 404, ou retournent à ce stub à la place.

De telles situations peuvent être suivies à l'aide de l'outil "pages importantes". Ajoutez-y les pages qui génèrent le plus de trafic vers votre ressource. Paramètres pour les notifications au courrier et soit au service et vous recevrez des informations sur ce qui se passe avec cette page. Quel est son code de réponse, quel est son titre, quand elle a été visitée et quel est son statut dans les résultats de recherche.

Vous pouvez vérifier l'exactitude du renvoi de l'un ou l'autre code de réponse à l'aide de l'outil approprié dans Yandex Webmaster (ici). Dans ce cas, nous vérifions le code de réponse des pages inexistantes. Je suis venu avec une page et l'ai conduite dans l'outil, j'ai appuyé sur le bouton de vérification et j'ai obtenu une réponse 404.

Tout est en ordre ici, puisque la page était indisponible, elle a répondu correctement avec un code 404 et elle ne sera plus incluse dans la recherche. Par conséquent, afin d'empêcher les robots de visiter des pages inutiles du site, utilisez activement l'outil de contournement des statistiques, apportez des modifications au fichier robots.txt et assurez-vous que les pages renvoient le bon code de réponse http.

- Résumé

Nous avons donné au robot la bonne page du site avec du contenu. Nous avons réussi à ce qu'il soit indexé rapidement. Nous avons interdit au robot d'indexer les pages inutiles. Ces trois grands groupes de tâches sont interconnectés.. Autrement dit, si le robot ne se limite pas à l'indexation des pages de service, il aura très probablement moins de temps pour indexer les pages nécessaires du site.

Si le robot ne reçoit pas le contenu des pages requises dans son intégralité, il n'inclura pas rapidement ces pages dans les résultats de recherche. Autrement dit, vous devez travailler sur l'indexation de votre ressource dans un complexe, sur ces trois tâches. Et dans ce cas, vous obtiendrez un certain succès afin que les pages souhaitées entrent rapidement dans les résultats de la recherche.

Réponses officielles de Yandex

Les pages en majuscules ont été incluses dans l'index, malgré le fait que le site ne contient pas de telles pages. Si les pages sont en majuscules, il est fort probable que le robot ait trouvé des liens vers celles-ci quelque part sur Internet. Vérifiez d'abord votre site, il est fort probable qu'un lien incorrect soit installé quelque part sur Internet. Le robot est venu, l'a vu et a commencé à télécharger la page en majuscules. Pour eux, pour de telles pages, mieux vaut utiliser les redirections 301.

Le plan du site comporte plusieurs pages. Est-ce normal ? Si nous parlons d'un plan de site, c'est-à-dire d'un format de plan de site spécial dans lequel vous pouvez spécifier des liens vers d'autres fichiers de plan de site, alors bien sûr c'est normal.

Si vous placez des liens vers toutes les sections du catalogue au bas du site, qui s'affiche sur toutes les pages, cela aidera-t-il l'indexation ou nuira-t-il ? En fait, vous n'avez pas du tout besoin de le faire, c'est-à-dire que si les visiteurs de votre site n'en ont pas besoin, vous n'avez pas besoin de le faire spécifiquement. Un simple fichier sitemap suffit. Le robot va se renseigner sur la présence de toutes ces pages, les ajouter à sa base de données.

Dois-je spécifier la fréquence de mise à jour dans le sitemap ? Le fichier sitemap peut être utilisé pour transmettre des informations supplémentaires au robot d'indexation. En plus des adresses elles-mêmes, notre robot comprend également quelques balises supplémentaires. Premièrement, il s'agit de la fréquence de mise à jour, c'est-à-dire la fréquence de la mise à jour. Il s'agit de la priorité d'exploration et de la date de la dernière modification. Il prend toutes ces informations du fichier sitemap lors du traitement du fichier et les ajoute à sa base de données et les utilise plus tard pour ajuster les politiques de contournement.

Est-il possible de se passer d'un sitemap ? Oui, assurez-vous que votre site a une navigation transparente afin que toute page interne ait des liens accessibles. Mais gardez à l'esprit que s'il s'agit d'une nouvelle ressource (de l'auteur : lisez comment lancer un nouveau site) et, par exemple, une page est en profondeur sur votre site, par exemple, en 5 à 10 clics, alors le robot prendra beaucoup de temps pour connaître sa disponibilité. Tout d'abord, téléchargez la page principale du site, obtenez des liens, puis téléchargez à nouveau les pages qu'il a apprises, et ainsi de suite. Le fichier sitemap vous permet de transférer des informations sur toutes les pages vers le robot en une seule fois.

Le robot fait 700 000 requêtes par jour pour des pages inexistantes. Tout d'abord, vous devez comprendre d'où viennent ces pages inexistantes. Peut-être que des liens relatifs sont utilisés de manière incorrecte sur votre site, ou qu'une section a été définitivement supprimée du site et que le robot continue quand même à vérifier ces pages. Dans ce cas, vous devez simplement les désactiver dans le fichier robots.txt. Dans les 12 heures, le robot cessera d'accéder à ces pages.

Si les pages de service sont indexées, comment puis-je les supprimer de la recherche ? Utilisez également robots.txt pour supprimer des pages des résultats de recherche. Autrement dit, peu importe si vous avez défini l'interdiction lors de la création de votre site ou lorsque vous avez lancé la ressource. La page disparaîtra des résultats de recherche d'ici une semaine.

Un sitemap généré automatiquement est-il bon ou non ? Dans la plupart des cas, tous les sitemaps sont générés automatiquement, nous pouvons donc dire que c'est probablement une bonne chose. Vous n'avez pas besoin de faire quelque chose avec vos mains et pouvez vous concentrer sur autre chose.

Comment la page sera indexée si elle est rendue canonique à elle-même. Si l'attribut canonique mène à la page elle-même ? Cette page est-elle considérée comme canonique ? Il sera normalement indexé et inclus dans les résultats de la recherche, c'est-à-dire qu'il est tout à fait correct d'utiliser cette technique.

Que signifie le statut "non canonique" ? O La page commence par l'ensemble d'attributs canoniques, qui mène à une autre page de votre site. Par conséquent, cette page ne pourra pas entrer dans la recherche. Ouvrez le code source de la page, effectuez une recherche, voyez où mène la recherche canonique et vérifiez la page canonique dans la recherche.

Quoi de plus correct qu'une page de panier soit interdite dans robots.txt ou noindex ? Si la page est désactivée à l'aide de la méthode noindex, le robot la visitera périodiquement et vérifiera cette interdiction. Pour empêcher le robot de faire cela, il est préférable d'utiliser un ban dans le fichier robots.txt.

À bientôt! Tout faire et toujours sur les pages du site blog

Aidez le projet - abonnez-vous à notre chaîne Yandex.Zen !

Tout est très simple avec Google. Vous devez ajouter votre site aux outils pour les webmasters à https://www.google.com/webmasters/tools/, puis sélectionnez le site ajouté, entrant ainsi dans la Search Console de votre site. Ensuite, dans le menu de gauche, sélectionnez la section "Numérisation", et dans celle-ci l'élément "Afficher en tant que Googlebot".

Sur la page qui s'ouvre, dans le champ vide, saisissez l'adresse de la nouvelle page que nous souhaitons indexer rapidement (en tenant compte du nom de domaine déjà saisi du site) et cliquez sur le bouton "Scanner" à droite. Nous attendons que la page soit scannée et apparaisse en haut du tableau des adresses précédemment scannée de cette façon. Ensuite, cliquez sur le bouton "Ajouter à l'index".

Hourra, votre nouvelle page est instantanément indexée par Google ! En quelques minutes, vous pourrez le trouver dans les résultats de recherche Google.

Indexation rapide des pages dans Yandex

Dans la nouvelle version des outils pour les webmasters sont devenus disponibles outil similaire pour ajouter de nouvelles pages à l'index. En conséquence, votre site doit également être préalablement ajouté à Yandex Webmaster. Vous pouvez également y accéder en sélectionnant le site souhaité dans le webmaster, puis allez dans la rubrique "Indexation", sélectionnez l'item "Page Recrawl". Dans la fenêtre qui s'ouvre, saisissez les adresses des nouvelles pages que l'on souhaite indexer rapidement (à l'aide d'un lien sur une ligne).

Contrairement à Google, l'indexation dans Yandex ne se produit pas encore instantanément, mais elle essaie de s'y efforcer. Par les actions ci-dessus, vous informerez le robot Yandex de la nouvelle page. Et il sera indexé dans une demi-heure ou une heure - c'est ainsi que ma pratique le montre personnellement. Peut-être que la vitesse d'indexation des pages dans Yandex dépend d'un certain nombre de paramètres (de la réputation de votre domaine, de votre compte et/ou d'autres). Dans la plupart des cas, cela peut être arrêté.

Si vous constatez que les pages de votre site sont mal indexées par Yandex, c'est-à-dire quelques recommandations générales sur la façon d'y faire face :

• La meilleure recommandation, mais aussi la plus difficile, est d'installer le speedbot Yandex sur votre site. Pour ce faire, il est souhaitable d'ajouter chaque jour de nouveaux matériaux au site. De préférence 2-3 matériaux ou plus. Et ajoutez-les pas tous en même temps, mais après un certain temps, par exemple, le matin, l'après-midi et le soir. Il serait même préférable de suivre approximativement le même calendrier de publication (maintenir approximativement le même temps pour l'ajout de nouveaux matériaux). En outre, de nombreuses personnes recommandent de créer un flux RSS du site afin que les robots de recherche puissent lire les mises à jour directement à partir de celui-ci.
• Naturellement, tout le monde ne pourra pas ajouter de nouveaux matériaux au site dans de tels volumes - c'est bien si vous pouvez ajouter 2-3 matériaux par semaine. Dans ce cas, vous ne pouvez pas particulièrement rêver de la vitesse de Yandex, mais essayez de générer de nouvelles pages dans l'index par d'autres moyens. Le plus efficace est considéré comme la publication de liens vers de nouvelles pages dans des comptes Twitter mis à jour. Avec l'aide de programmes spéciaux comme Twidium Accounter, vous pouvez "pomper" le nombre de comptes Twitter dont vous avez besoin et les utiliser pour conduire rapidement de nouvelles pages du site dans l'index des moteurs de recherche. Si vous n'avez pas la possibilité de publier vous-même des liens vers les comptes Twitter mis à niveau, vous pouvez acheter ces publications via des échanges spéciaux. Un message avec votre lien coûtera en moyenne entre 3 et 4 roubles et plus (selon la fraîcheur du compte sélectionné). Mais cette option sera assez chère.
• La troisième option pour une indexation rapide consiste à utiliser le service http://getbot.guru/, qui pour seulement 3 roubles vous aidera à obtenir l'effet souhaité avec un résultat garanti. Bien adapté aux sites avec un calendrier rare pour l'ajout de nouvelles publications. Il y a aussi des tarifs moins chers. Les détails et les différences entre eux sont mieux visualisés sur le site Web du service lui-même. Personnellement, je suis très satisfait des prestations de ce service en tant qu'accélérateur d'indexation.

Bien sûr, vous pouvez également ajouter de nouvelles publications aux signets sociaux, ce qui devrait théoriquement également contribuer à l'indexation rapide du site. Mais l'efficacité d'un tel ajout dépendra aussi du niveau de vos comptes. Si vous avez peu d'activité sur eux et que vous n'utilisez vos comptes que pour ce type de spam, il n'y aura pratiquement aucune sortie utile.

PS avec une vaste expérience est toujours à jour - contactez-nous!

(13 )

Si vous souhaitez savoir si une certaine page est indexée par un moteur de recherche et combien de pages de votre site sont recherchées au total, vous devez vous renseigner sur les quatre moyens les plus simples de vérifier l'indexation d'un site que tous les spécialistes du référencement utilisent.

Lors du processus d'indexation du portail, le robot de recherche l'analyse d'abord, c'est-à-dire qu'il le contourne pour étudier le contenu, puis ajoute des informations sur la ressource Web à la base de données. Ensuite, le système de recherche génère une recherche pour ces bases de données. Ne confondez pas l'exploration avec l'indexation - ce sont deux choses différentes.

Pour comprendre combien de pages supplémentaires de votre projet ne sont pas indexées, vous devez connaître leur nombre total. Cela vous permettra de comprendre à quelle vitesse votre site est indexé. Tu peux le faire de plusieurs façons:

1. Voir le plan du site. Vous le trouverez à : nom_de_votre_site.ru/sitemap.xml. Ici, en gros, toutes les pages hébergées sur la ressource sont affichées. Mais parfois, le plan du site peut ne pas être généré correctement et certaines pages peuvent ne pas s'y trouver.
2. Utilisez un programme spécial. Ces programmes explorent l'intégralité de votre site et diffusent toutes les pages de votre site. Un exemple de ces programmes est Screaming Frog Seo (payant) ou Xenus Links Sleuth (gratuit).

Façons de vérifier l'indexation du site

Nous attirons votre attention sur les 4 façons les plus courantes et les plus simples de vérifier quelles pages sont dans l'index et lesquelles ne le sont pas.

1. Via le panneau du webmaster

Avec cette méthode, les propriétaires de ressources Web vérifient le plus souvent leur présence dans la recherche.

YandexComment

1. Connectez-vous à Yandex.Webmaster.
2. Aller au menu « Indexation des sites ».
3. En dessous, trouvez la ligne "Pages en recherche".

Vous pouvez aussi aller dans l'autre sens :

1. Sélectionner « Indexation des sites ».
2. Allez ensuite à "Histoire".
3. Cliquez ensuite sur l'onglet "Pages en recherche".

Dans les deux cas, vous pouvez étudier la dynamique de croissance ou de déclin du nombre de pages dans un moteur de recherche.

Google

1. Accédez au panneau de configuration du service Outils Google pour les webmasters.
2. Cliquez sur l'onglet Console de recherche.
3. Aller à "IndiceGoogle".
4. Cliquez sur une option "Statut d'indexation".

2. Via les opérateurs de moteurs de recherche

Ils aident à affiner vos résultats de recherche. Par exemple, l'utilisation de l'opérateur "site" vous permet de voir le nombre approximatif de pages qui sont déjà dans l'index. Pour vérifier ce paramètre, dans la barre de recherche Yandex ou Google, saisissez : "site :url_de_votre_site".

Important! Si les résultats de Google et de Yandex diffèrent considérablement, cela signifie que votre site a des problèmes avec la structure du site, les pages de déchets, l'indexation ou des sanctions qui lui ont été imposées.

Pour la recherche, vous pouvez également utiliser des outils supplémentaires, par exemple, pour savoir comment l'indexation des pages a changé sur une certaine période de temps. Pour cela, sous la barre de recherche, cliquez sur l'onglet "Outils de recherche" et sélectionnez une période, par exemple, "Pendant 24 heures".

3. Via des plugins et des extensions

À l'aide de programmes spéciaux, la vérification de l'indexation d'une ressource Web se fera automatiquement. Cela peut être fait à l'aide de plugins et d'extensions, également appelés bookmarklets. Ce sont des programmes javascript qui sont stockés dans le navigateur en tant que signets standard.

L'avantage des plugins et des extensions est que le webmaster n'a pas besoin de ressaisir le moteur de recherche à chaque fois et de saisir les adresses des sites, les opérateurs, etc. Les scripts feront tout automatiquement.

Le plugin le plus populaire utilisé à cette fin est la barre RDS, qui peut être téléchargée depuis l'App Store de n'importe quel navigateur.

Il convient de noter que le plugin a beaucoup plus de fonctionnalités dans Mozilla Firefox que dans les autres navigateurs. La barre RDS fournit des informations sur l'ensemble du site Web et sur ses pages individuelles

Sur une note. Il existe des plugins payants et gratuits. Et le plus gros inconvénient des plugins gratuits est que vous devez régulièrement y saisir du captcha.

Vous ne pouvez pas ignorer le bookmarklet "Vérification de l'indexation". Pour activer le programme, faites simplement glisser le lien vers la barre de votre navigateur, puis lancez votre portail et cliquez sur l'onglet de l'extension. Vous ouvrirez donc un nouvel onglet avec Yandex ou Google, où vous étudierez les informations nécessaires concernant l'indexation de certaines pages.

4. Avec des services spéciaux

J'utilise principalement des services tiers, car ils montrent clairement quelles pages sont dans l'index et lesquelles n'y sont pas.

Service gratuit

https://serphunt.ru/indexing/ - il y a une vérification, à la fois pour Yandex et Google. Vous pouvez consulter gratuitement jusqu'à 50 pages par jour.

Prestation payante

Parmi les payants, j'aime le plus Topvisor - le coût est de 0,024 roubles. pour vérifier une page.

Vous téléchargez toutes les pages de votre site sur le service et il vous montrera lesquelles sont dans l'index du moteur de recherche et lesquelles ne le sont pas.

Conclusion

L'objectif principal du propriétaire de toute ressource Web est de réaliser l'indexation de toutes les pages qui seront disponibles pour les robots de recherche pour la numérisation et la copie d'informations dans la base de données. La mise en œuvre de cette tâche sur un grand site peut être très difficile.

Mais avec la bonne approche intégrée, c'est-à-dire une optimisation SEO compétente, un remplissage régulier du site avec un contenu de haute qualité et une surveillance constante du processus d'inclusion des pages dans l'index des moteurs de recherche, vous pouvez obtenir des résultats positifs. Pour ce faire, nous avons évoqué dans cet article quatre méthodes de vérification de l'indexation d'un site.

Sachez que si des pages commencent à sortir trop brusquement de la recherche, quelque chose ne va pas avec votre ressource. Mais souvent, le problème ne réside pas dans le processus d'indexation, mais dans l'optimisation elle-même. Voulez-vous indexer rapidement et accéder aux meilleurs résultats de recherche ? Offrez à votre public cible un contenu qui surpasse vos concurrents.

Pour un jeune site, une indexation rapide dans les moteurs de recherche est particulièrement importante. Parce qu'il n'a pas encore un certain poids (ou "confiance"). Il est particulièrement important dans les premiers mois de vie du site de le mettre à jour régulièrement. Le contenu doit également être de haute qualité.

Indexation rapide d'un nouveau site dans Yandex

Pour que votre nouveau site soit rapidement indexé dans Yandex, vous devez l'ajouter à Yandex Webmaster. Sélectionnez ensuite le bloc « Indexation » -> « Page Re-Crawl » (voir figure).

Exploration de page dans Yandex Webmaster

Pour un jeune site, assurez-vous d'inclure la page principale dans cette liste. Il arrive souvent que le robot visite la page principale et indexe tous les liens internes à partir de celle-ci. Beaucoup plus de 20 pages peuvent être indexées de cette façon.

Indexation rapide du site dans Google

De même avec Yandex, pour accélérer l'indexation d'un nouveau site dans Google, il faut l'ajouter à Google Webmaster (Google Search Console). Vous devez sélectionner l'onglet "Skinning" -> "Afficher en tant que GoogleBot".

Fonctionnalité Afficher en tant que GoogleBot

Et dans le formulaire qui s'ouvre, insérez l'adresse de la page souhaitée, cliquez sur "Scan". Après cela, vous aurez le résultat du crawl de la page et le bouton magique "Demander l'indexation" apparaîtra.

Fonctionnalité Indexation des requêtes

Cliquez sur le bouton et vous verrez quelque chose comme cette fenêtre :

Comment indexer un site sur Google

Ici, assurez-vous de sélectionner "explorer cette URL et les liens directs". Dans ce cas, le robot essaiera d'explorer tous les liens internes de la page que vous avez spécifiée. Avec une forte probabilité, ils entreront tous dans l'index Google le plus rapidement possible !

Indexer un nouveau site sur un ancien domaine

Dans ce cas, la tâche n'est pas aussi triviale qu'il n'y paraît. Sur les domaines avec historique, il est souvent difficile d'indexer un nouveau site. Ce processus peut prendre des semaines ou des mois. Cela dépend de l'histoire du domaine : si des sanctions lui ont été infligées auparavant et lesquelles.

Le schéma d'actions dans ce cas est simple:

• Ajouter le site au webmaster Yandex et Google
• Demander la réindexation via la fonctionnalité appropriée
• Attendez 2-3 mises à jour.
• Si rien n'a changé, écrivez au support et résolvez ce problème sur une base individuelle.

Méthodes pour accélérer l'indexation d'un jeune site

En plus des méthodes que j'ai indiquées ci-dessus, il y en a plusieurs autres qui fonctionnent :

1. Partage de matériel sur les réseaux sociaux. Je recommande d'utiliser les éléments suivants : Vkontakte, Facebook, Twitter, Google+ (malgré le fait que le réseau social de Google est réellement mort, cela permet d'accélérer l'indexation des nouvelles pages)
2. Mises à jour régulières du site Web. Au fil du temps, le site recueille des statistiques sur la publication de nouveaux documents, il aide à indexer de nouvelles pages. Mettez à jour régulièrement et vous pourrez peut-être "alimenter le fastbot" (dans ce cas, l'indexation de nouvelles pages prendra 1 à 10 minutes).
3. Pour les sites d'actualités : connectez-vous à Yandex News. Ce n'est pas aussi difficile que cela puisse paraître, mais l'effet sera incroyable. Sur tous les sites de Yandex News, il y a un bot rapide.
4. Structure interne compétente du site. Assurez-vous d'utiliser des liens, des matériaux TOP, etc. Augmenter le nombre de liens internes sur la page (dans des limites raisonnables) permettra également d'accélérer l'indexation

Indexation rapide des nouvelles pages de l'ancien site

Questions/réponses sur l'indexation des sites jeunes

Vous avez des questions sur l'indexation des jeunes sites ? Demandez-leur dans les commentaires !

Q : Un nouveau site doit-il être fermé à l'indexation ?
R : Je vous recommande de ne pas exposer votre site aux robots d'exploration tant qu'il n'est pas rempli de contenu de démarrage. Comme le montre ma pratique, il faut beaucoup plus de temps pour réindexer des pages existantes que pour en indexer de nouvelles.

Q : Combien de temps faut-il à Yandex pour indexer un nouveau site ?
R : En moyenne, il s'agit de 1 à 2 mises à jour (de 1 à 3 semaines). Mais les situations peuvent être différentes.

Q : Quels problèmes peut-il y avoir avec l'indexation d'un jeune site ?
R : Le principal problème est probablement le mauvais contenu. Pour cette raison, le site peut ne pas être indexé. Il y a également eu des cas où un site jeune mais volumineux avec des milliers de pages a été déployé. La recherche a encore des souvenirs de portes, donc les jeunes sites avec des milliers de pages ont une « attitude spéciale ».

Q : Combien de pages ouvrir un nouveau site pour indexation et à quelle fréquence le mettre à jour ?
R : Vous pouvez ouvrir un site pour l'indexation à partir d'une page. Il est important de suivre une règle simple : ne placez pas immédiatement des milliers de pages sur le site, car. cela peut être considéré comme du spam des moteurs de recherche, et de nouveaux éléments sont régulièrement ajoutés au site. Laissez 1 matériel en 3 jours, mais régulièrement ! Il est très important!

Q : À quelle fréquence Yandex indexe-t-il les sites ?
R : Selon les informations officielles de Yandex, la fréquence d'indexation peut aller de 2 jours à plusieurs semaines. Et sur les méthodes d'accélération, il est écrit ci-dessus.