Comment passer à la nouvelle version de la Search Console. Comment les robots « voient » le monde ? Comme le voit la page yandex
Les outils pour les webmasters vous permettent de comprendre à quoi ressemble votre page pour Googlebot. Les en-têtes de serveur et le code HTML peuvent aider à identifier les bogues et les conséquences d'une compromission, mais ils peuvent parfois être difficiles à comprendre. Les webmasters se serrent généralement la tête lorsqu'ils doivent faire face à de tels problèmes. Pour vous aider dans de telles situations, nous avons amélioré cette fonctionnalité afin qu'elle puisse désormais afficher la page en utilisant le même algorithme que Googlebot.
Comment la page numérisée est affichée
Lors du traitement d'une page, Googlebot recherche et importe tous les fichiers qui lui sont associés à partir de sources externes. Il s'agit généralement d'images, de feuilles de style, d'éléments JavaScript et d'autres fichiers intégrés à l'aide de CSS ou de JavaScript. Le système les utilise pour afficher la page telle que le Googlebot la voit.
Cette fonctionnalité est disponible dans la section Analyse de votre compte Outils pour les webmasters. Veuillez noter que le traitement de la page et son affichage ultérieur peuvent prendre un certain temps. Après l'avoir terminé, passez votre souris sur la ligne contenant l'URL souhaitée pour afficher le résultat.
Gestion des ressources bloquées par le fichier robots.txt
Lors du traitement du code, Googlebot suit les instructions spécifiées dans le fichier robots.txt. S'ils refusent l'accès à certains éléments, le système n'utilisera pas ces matériaux pour la prévisualisation. Cela se produira également si le serveur ne répond pas ou renvoie une erreur. Ces informations se trouvent dans la section Erreurs d'analyse de votre compte Outils pour les webmasters. De plus, une liste complète de ces échecs sera affichée après la génération de l'image d'aperçu de la page.
Nous vous recommandons de fournir à Googlebot l'accès à tous les éléments intégrés qui apparaissent sur votre site ou votre mise en page. Cela facilitera l'utilisation de View As Googlebot, permettra au robot d'exploration de détecter et d'indexer correctement le contenu de votre site et vous aidera à comprendre comment vos pages sont explorées. Certains extraits de code, tels que les boutons de réseaux sociaux, les scripts d'analyse et les polices, ne définissent généralement pas la mise en page, ce qui signifie qu'ils n'ont pas besoin d'être analysés. Pour plus d'informations sur la façon dont Google analyse le contenu Web, consultez l'article précédent.
Nous espérons que notre innovation vous aidera à résoudre les problèmes de conception de site et à trouver des ressources que Google ne peut pas explorer pour une raison ou une autre. Si vous avez des questions, veuillez nous contacter sur la communauté des webmasters Google Plus ou rechercher une réponse sur
- 18.01.2016 12:00
- 1169 lectures
Le monde est devenu fou avec les nouvelles sur la robotique, il y a des rapports presque tous les jours sur le début de la révolution des robots. Mais à quel point tout ce battage médiatique, ce battage médiatique et parfois ces peurs sont-ils justifiés ? La révolution des robots est-elle vraiment en marche ?
En réponse, vous pouvez voir que dans certains domaines de notre vie, nous assisterons probablement à une reconstitution des robots dans un proche avenir. Mais en réalité, ne vous attendez pas à ce que des dizaines de robots descendent dans la rue ou errent dans nos bureaux dans un avenir très proche.
Et l'une des principales raisons à cela est que les robots n'ont pas la capacité de vraiment voir le monde. Mais avant de parler de la façon dont les robots du futur pourront voir le monde, nous devons d'abord comprendre ce que la vision signifie réellement.
Comment voit-on ?
La plupart des gens ont deux yeux et nous les utilisons pour capter la lumière qui rebondit sur les objets qui nous entourent. Nos yeux convertissent cette lumière en signaux électriques qui sont transmis le long des nerfs optiques et sont immédiatement traités par notre cerveau.
Notre cerveau détermine d'une manière ou d'une autre ce qui nous entoure sur la base de toutes ces impulsions électriques et de notre propre expérience. Tout cela crée une idée du monde et nous permet de naviguer, nous aide à ramasser des choses, nous permet de nous reconnaître à vue et de faire un million d'autres choses que nous tenons pour acquises. Toute activité, de la collecte du flux lumineux dans nos yeux à la compréhension du monde qui nous entoure, c'est ce qui nous donne l'opportunité de voir.
Les chercheurs estiment que jusqu'à 50 % de notre volume cérébral est utilisé pour desservir le processus visuel. Presque tous les animaux ont des yeux et peuvent voir partiellement. De plus, la plupart des animaux et des insectes ont un cerveau beaucoup plus simple que celui des humains. Mais ça marche bien.
Ainsi, certaines formes de vision peuvent être obtenues sans la puissance massive générée par ordinateur du cerveau des mammifères. La capacité de voir est clairement dictée par son utilité essentielle dans le processus d'évolution.
Vision robotique
Par conséquent, il n'est pas surprenant que de nombreux chercheurs en robotique prédisent que si un robot peut voir, nous aurons probablement un boom de la robotique. Et les robots peuvent enfin devenir de véritables assistants humains, ce que beaucoup de gens veulent tant.
Comment apprend-on aux robots à voir ? La première partie de la réponse à cette question est très simple. Nous utilisons un caméscope tout comme votre smartphone pour obtenir un flux constant d'images. La technologie des caméras vidéo pour robots est en elle-même un sujet de recherche sérieux. Mais pour l'instant, imaginons une caméra vidéo standard. Nous transférons ces images sur l'ordinateur, puis il existe différentes options d'action.
Depuis les années 1970, les développeurs améliorent les systèmes de vision industrielle pour les robots, en étudiant les caractéristiques des images. Il peut s'agir de lignes ou de points d'intérêt tels que des coins ou certaines textures. Les programmeurs créent des algorithmes pour trouver ces caractéristiques et les suivre image par image dans le flux vidéo.
Cela réduit considérablement la quantité de données de millions de pixels dans l'image à plusieurs centaines ou milliers de fragments caractéristiques.
Dans un passé récent, lorsque la puissance de calcul était plus limitée, cela était très important. Ensuite, les ingénieurs réfléchissent à ce que le robot est susceptible de voir et à ce qu'il doit faire. Ils créent un logiciel qui reconnaîtra simplement des modèles pour aider le robot à comprendre ce qui l'entoure.
Environnement
Le logiciel ne peut créer qu'une image de base de l'environnement dans lequel le robot fonctionne, ou il peut essayer de faire correspondre les caractéristiques trouvées avec une bibliothèque de primitives du logiciel embarqué.
Essentiellement, les robots sont programmés par les humains pour voir des choses que les humains pensent qu'un robot a besoin de voir. Il existe de nombreux exemples réussis de mise en œuvre de tels systèmes de vision industrielle, mais pratiquement aujourd'hui, il n'y a pas de robots capables de naviguer dans l'environnement uniquement grâce à la vision industrielle.
De tels systèmes ne sont pas encore suffisamment fiables pour être garantis pour empêcher le robot de tomber et de se heurter en se déplaçant. Les voitures autonomes, dont on a parlé ces derniers temps, utilisent des lasers ou des radars en plus des systèmes de vision industrielle.
Au cours des cinq à dix dernières années, la recherche et le développement d'une nouvelle génération de systèmes de vision industrielle ont commencé. Ces études n'ont pas permis la création de systèmes programmés, comme auparavant, mais l'étude de ce qu'ils voient. Des systèmes de vision ont été développés pour les robots, de la même manière que les scientifiques imaginent les principes de la vision chez les animaux. C'est-à-dire qu'ils utilisent le concept de couches neurales, comme dans le cerveau des animaux. Les développeurs créent la structure du système, mais ils ne définissent pas l'algorithme sur la base duquel ce système fonctionne. En d'autres termes, c'est au robot de l'améliorer.
Cette technique est connue sous le nom de machine learning. De telles technologies commencent maintenant à être mises en œuvre en raison du fait qu'une puissance de calcul importante est devenue disponible à un coût raisonnable. Les investissements dans ces technologies s'accélèrent.
Esprit collectif
Apprendre des robots est également important car ils peuvent facilement partager leurs connaissances. Chaque robot n'a pas à tout apprendre à partir de zéro comme un animal nouveau-né. Le nouveau robot peut agir en considérant les actions et en s'appuyant sur l'expérience d'autres robots.
Tout aussi important, les robots qui partagent des expériences peuvent également apprendre ensemble. Par exemple, chacun des milliers de robots peut observer différents chats, partager ces données entre eux via Internet. De cette façon, ils peuvent apprendre à classer tous les chats ensemble. Ceci est un exemple d'apprentissage distribué.
Le fait qu'à l'avenir les robots seront capables d'apprendre de manière collaborative et distribuée a des implications profondes et, bien qu'effrayant certains, capte l'imagination des autres.
Véritable révolution des robots
Aujourd'hui, il y a des tonnes d'utilisations pour les robots qui peuvent voir. Il n'est pas difficile de trouver des domaines dans notre vie où de tels robots peuvent aider.
Les premiers cas d'utilisation de robots qui peuvent voir sont susceptibles d'être dans des industries à faible main-d'œuvre, telles que l'agriculture, ou qui sont intrinsèquement peu attrayantes pour les humains et peuvent être dangereuses. Par exemple, prospecter après des catastrophes naturelles, évacuer des personnes de zones dangereuses ou travailler dans des espaces confinés et difficiles d'accès.
Parfois, les gens ont du mal à maintenir leur attention pendant une longue période d'observation, ce qui peut également être réalisé à l'aide d'un robot qui peut voir. Nos futurs compagnons robotiques domestiques seront bien plus utiles s'ils peuvent nous voir.
Et dans la salle d'opération, apparemment, nous verrons bientôt des robots qui aideront les chirurgiens. Une vision parfaite du robot, leurs fixateurs et leurs bras super précis permettront aux chirurgiens de se concentrer sur la tâche principale - choisir une solution.
La promotion de votre site Web doit inclure l'optimisation des pages pour attirer l'attention des moteurs de recherche. Avant de commencer à créer un site Web convivial pour les moteurs de recherche, vous devez savoir comment les robots voient votre site.
Moteurs de recherche pas vraiment des araignées, mais de petits programmes qui sont envoyés pour analyser votre site après avoir découvert l'url de votre page. Les moteurs de recherche peuvent également accéder à votre site via des liens vers votre site Web laissés sur d'autres ressources Internet.
Dès que le robot accède à votre site Web, il commencera immédiatement à indexer les pages en lisant le contenu de la balise BODY. Il lit également entièrement toutes les balises HTML et les liens vers d'autres sites.
Ensuite, les moteurs de recherche copient le contenu du site dans la base de données principale pour une indexation ultérieure. Ce processus peut généralement prendre jusqu'à trois mois.
Optimisation du moteur de recherche pas si facile. Vous devez créer un site Web convivial pour les moteurs de recherche. Les bots ne font pas attention à la conception de sites Web flash, ils veulent juste des informations. Si vous regardez le site Web à travers les yeux d'un robot de recherche, cela semblerait assez idiot.
Il est encore plus intéressant de regarder à travers les yeux d'une araignée les sites des concurrents. Des concurrents non seulement dans votre domaine, mais simplement des ressources populaires qui peuvent ne pas nécessiter d'optimisation pour les moteurs de recherche. En général, il est très intéressant de voir à quoi ressemblent différents sites à travers les yeux des robots.
Texte seulement
Recherche de robots voir votre site plus comme le font les navigateurs de texte. Ils aiment le texte et ignorent les informations contenues dans les images. Les araignées peuvent lire sur l'image si vous n'oubliez pas d'ajouter une balise ALT avec une description. Les concepteurs de sites Web sont profondément déçus lorsqu'ils créent des sites Web complexes avec de belles images et très peu de texte.
En fait, les moteurs de recherche adorent n'importe quel texte. Ils ne peuvent lire que le code HTML. Si vous avez beaucoup de formulaires ou de javascript ou quoi que ce soit d'autre sur la page qui pourrait empêcher le moteur de recherche de lire le code HTML, l'araignée l'ignorera simplement.
Ce que les robots des moteurs de recherche veulent voir
Lorsqu'un moteur de recherche explore votre page, il recherche un certain nombre de choses importantes. Après avoir archivé votre site, le robot de recherche commencera à le classer selon son algorithme.
Rechercher des araignées protègent et modifient souvent leurs algorithmes afin que les spammeurs ne puissent pas s'y adapter. Il est très difficile de concevoir un site qui se classera bien dans tous les moteurs de recherche, mais vous pouvez gagner un certain avantage en incluant les éléments suivants dans toutes vos pages Web :
- Mots clés
- Balises META
- Titres
- Liens
- Le texte sélectionné
Lire comme un moteur de recherche
Après avoir développé un site, il vous suffit de le développer et de le promouvoir dans les moteurs de recherche. Mais regarder le site uniquement dans le navigateur n'est pas la technique la meilleure et la plus efficace. Il n'est pas très facile d'évaluer son travail avec un esprit ouvert.
Il est bien mieux de regarder votre création à travers les yeux d'un simulateur de recherche. Cela vous donne beaucoup plus d'informations sur les pages et la façon dont l'araignée les voit.
Nous avons créé, à notre humble avis, un bon simulateur de moteurs de recherche. Vous pourrez voir la page Web telle que l'araignée de recherche la voit. Il affichera également le nombre de mots-clés que vous avez entrés, les liens locaux et sortants, etc.