Що таке додати файл sitemap. XML Sitemap: повне керівництво по використанню. Використання декількох карт

Про якому я як то розповідав на своєму прикладі. І його розміщення теж не викликає питань, так як він повинен знаходиться в кореневому каталозі вашого сайту './'. Єдині питання які з ним пов'язані це те навіщо він потрібен для роботи мого сайту і як створити цей файл. Про що далі і піде мова.

Навіщо потрібен файл sitemap.xml

В цілому як це бачу я:

Скріншот фрагмента мого файлу sitemap.xml:

Цей файл створює карту блогу чи сайту з усіма його сторінками на подобі тієї, що деякі роблять для списку своїх статей. Тільки єдиний момент цей файл він потрібен не для користувачів, які зайшли на ваш сайт, а для пошукових систем. Більш того, популярні пошукові системи самі рекомендують створювати і реалізовувати цей sitemap.xml надсилаючи його їм. А все це потрібно лише за тим, щоб дати зрозуміти пошуковим системам про Web-сторінки, які доступні для сканування на вашому сайті. Знову ж таки на відміну від robots.txt який забороняє деякі розділи або сторінки - sitemap.xml створює список сторінок (посилань URL), які обов'язково повинні потрапити в індексацію.

Сам файл являє собою XML-документ, де перераховані посилання, адреси вашого Web-сайту і плюс ще деякі потрібні дані для пошукових систем. Такі, наприклад, як: дата останнього зміни сторінки, частота змін, пріоритетність. Знову ж все це потрібно тільки для ПС для більш грамотного сканування вашого сайту. Сам файл можна в принципі подивитися і на інших блогах, якщо ввести їх адресу, а потім /sitemap.xml або як у мене.

У загальному і цілому цей файл повинен допомагати пошуковикам, визначати місце розташування сторінок на вашому сайті або блозі для більш розумною індексації. Але пам'ятайте що це всього лише додаткова підказка для пошукових систем. І якщо цього файлу не буде на вашому сервері, то це не означає, що пошукачі не будуть індексувати ваші сторінки, і вони не будуть потрапляти в пошук. Все буде, але з цим файлом типу краще.

Створення файлу sitemap.xml

Як я розумію, в питання е створення цього файлу можна піти різними шляхами. Перше - створити цей файл самому вручну використовуючи рекомендації та приклади з офіційного сайту sitemaps.org використовуючи, XML-теги. Зберігши файл з розширенням XML в кодуванні. Після чого скопіювати його собі на сервер в кореневій каталог свого Web-сайту. До речі цей файл має деякі обмеження у вигляді розміру - не більше 10 МБ і 50000 URL-адрес. Хоча є рішення, якщо потрібно зробити файл з великим списком URL.

Є ще другий варіант, це скористатися автоматичним створенням sitemap карти. Для цього є в інтернеті безліч Web-сайтів, які надають таку послугу. Наприклад сайт htmlweb.ru - у якого є генератор sitemap де вам залишиться тільки ввести повну адресу свого сайту і натиснути на кнопку Завантажити XML-карту. Після чого готовий файл зберегти у себе на комп'ютері і переслати собі на Web-сайт в кореневій каталог.

Так до речі після того як ви закачаєте цей файл собі на сервер також необхідно в файлі robots.txt прописати зазвичай в кінці - посилання з повним шляхом до файлу sitemap.xml наприклад як у мене 'Sitemap: https: //www..xml'. Це потрібно для того щоб повідомити пошуковим системам місце розташування цього файлу.

Відповідь очевидна - цей файл повинен бути.

XML Sitemap is a website "s URLs list in XML format. The Sitemap file is designed to inform search engines (such as Google, Bing, Yahoo, Yandex, MSN, and others) about the pages on the website, which should be indexed. Sitemap significantly speeds up site scans.In addition, the Sitemap allows you to transmit information about all pages of your site, including those that search engines can not get with the usual crawl.

Creating a Sitemap is especially useful when:

• On your site new pages are generated automatically and frequently.
• Your site is new, and it indicates a small number of links.
• Your site has a large archive of content pages that are poorly or not at all related to each other.

XML Sitemaps Protocol: What does a Sitemap contain?

In accordance with the XML Sitemaps Protocol and the requirements of search engines, the Sitemap file should contain no more than 50 000 pages and not exceed the size of 10 MB. This means that if your site contains more than 50,000 pages and file size Sitemap than 10 MB, you must create multiple Sitemap.

... https://newtravelers.ru/uk/URL ... ...

In addition to the required URL parameter, the XML Sitemaps protocol provides additional tags for each page:

Lastmod - indicates the date of last modification date.

Date (ISO 8601)

Changefreq - the probable frequency of the page content. Valid values \u200b\u200bare:

• always - every time the page loads
• hourly - every hour
• daily - every day
• weekly - once a week
• monthly - once a month
• yearly - once a year
• never - means that the page content remains unchanged.

Valid value

Priority - the priority of the page relative to other pages on your site. The valid range - from 0,0 to 1,0. This tag lets the search engines know which pages you think are most valuable.

Decimal from 0.0 to 1.0

З цієї статті ви дізнаєтеся, як створити файл Sitemap і надати Google доступ до нього.

Створення і відправка файлів Sitemap

Формати файлів Sitemap

Google підтримує кілька форматів файлів Sitemap, описаних нижче. У всіх форматах слід використовувати стандартний протокол. Google в даний час не підтримує атрибут У файлах Sitemap.

Для всіх форматів діють наступні обмеження: файл Sitemap може містити не більше 50 000 URL, а його розмір в стислому вигляді не повинен перевищувати 50 МБ. Якщо обсяг файлу або кількість перерахованих в ньому адрес перевищують ці ліміти, розбийте його на кілька частин. Ви можете створити файл індексу Sitemap, перерахувавши в ньому всі файли Sitemap, і відправити їх в Google все відразу.

текстовий файл

Якщо у файлі Sitemap є тільки адреси сторінок, ви можете відправити Google звичайний текстовий файл з цими URL (по одному в кожному рядку). приклад:

Http://www.example.com/file1.html http://www.example.com/file2.html

• Необхідно використовувати кодування UTF-8.
• Файл не повинен містити нічого, крім списку URL.
• Цьому текстового файлу можна дати будь-яке ім'я, але необхідно використовувати расшіреніе.txt (наприклад, sitemap.txt).

сайти Google

Якщо сайт був створений і підтверджений за допомогою сервісу "Google Сайти", файл Sitemap створюється автоматично. Його не можна змінити, але можна відправити в Google, щоб отримувати відомості для звітів. Зверніть увагу, що якщо в одному підкаталозі міститься більше 1000 сторінок, файл Sitemap може відображатися некоректно.

• Якщо ваші сторінки розміщені на Google Сайтах, файл Sitemap повинен знаходитися за адресою http://sites.google.com/site/ VashSait / System / feeds / sitemap.
• Якщо сайт створений за допомогою Google Apps , URL файлу Sitemap повинен бути таким: http://sites.google.com/ VashDomen /VashSait / System / feeds / sitemap.

Розширення файлів Sitemap

Google підтримує розширений синтаксис в файлі Sitemap для наведених нижче типів інформації. З його допомогою можна додавати опис відео, зображень та іншої інформації для поліпшення його індексації.

файл Sitemap - це файл з інформацією про сторінки сайту інакше звана карта сайту. За допомогою файлу Sitemap ви можете повідомити пошуковій системі, які сторінки вашого сайту потрібно індексувати, як часто оновлюється інформація на сторінках, а також індексація яких сторінок найбільш важлива.

Тут ви можете сформувати необхідний Google і Yandex XML-код для карти сайту. А також створити візуальну карту сайту онлайн, яку зможете розмістити на одній з ваших сторінок.

Детальніше про XML-форматі файлу Sitemap можна прочитати на sitemaps.org

Новачок Експерт VIP Інформація Структура XML Історія FAQ

Технічні подробиці sitemap

Теги файлу sitemap.xml:

• changefreq - найбільш ймовірна частота зміни контенту зазначеного URL;
• lastmod - фактична дата останнього оновлення URL;
• loc - сам URL;
• priority - пріоритетність зазначеної сторінки по відношенню до інших сторінок сайту;
• url - цей тег служить батьківським для зазначених перших чотирьох тегів;
• urlset - цей тег об'єднує теги перших п'яти типів.

Особливістю застосування формату XML є необхідність заміни всіх службових символів на їх безпечне подання. Нижче наведена таблиця символів, які зустрічаються в URL і підлягають обов'язковій заміні:

• & - амперсанд;
• " - одиничні лапки;
• " - подвійні лапки;
• > - знак "більше";
• < - знак "менше".

Файл Sitemap має обмеження на розмір індексного файлу в 10 мегабайт. Для того щоб це обмеження не торкнулося власників невеликих веб-сайтів, передбачена можливість стиснення файлів, які призначені для Sitemap за допомогою відкритого архівного формату gz (gzip-архіватор).

Можна вказати місце розташування файлу Sitemap, Використовуючи файл robots.txt. Для цього просто додайте в файл robots.txt наступний рядок:

Sitemap: http: //ДОМЕН.ru/sitemap.xml
URL повинен бути повним URL для файлу Sitemap.

Для передачі пошуковим системам нового Sitemap використовуйте рядок виду:
Пошукова система / ping? Sitemap \u003d http: //ДОМЕН.ru/sitemap.xml
Для Google: http://www.google.com/webmasters/sitemaps/ping?sitemap\u003dhttp://ДОМЕН.ru/sitemap.xml

Для перевірки коректності складання карти вашого сайту слід попередньо перевірити його на правильність. Найпростіше це зробити за допомогою однієї з утиліт, розташованих на веб-сайтах або xml.org. При цьому вам знадобиться XML-схема даних індексного файлу Sitemap. Щоб вказати в XML файлі посилання на схему перевірки встановіть прапорець " Додавати посилання на XSD схему для перевірки". Після цього при відкритті Sitemap.xml файлу в браузері, при наявності помилок в структурі, ви отримаєте відповідне повідомлення.

Історія розвитку Sitemap

Скільки себе пам'ятає Інтернет, веб-майстри завжди намагалися догодити пошуковим павукам - допомогти їм зібрати детальну інформацію про структуру сайту, що просувається.

Першим, найдавнішим і цілком природним способом було створення спеціальної сторінки, на якій містилися всі посилання сайту. Називалися і називаються такі сторінки картами сайту. Принцип їх роботи простий: пошуковий робот при візиті на цю сторінку автоматично пройде по опублікованим там посиланнях і занесе їх в індекс.

Подібна схема була зручна до пори до часу. Пізніше, коли сайти перестали собою представляти виключно статичні сторінки з малою кількістю сторінок, виникла нова проблема, пов'язана з неефективністю методу публікації класичного варіанту карти сайту, тому що місць для посилань не вистачало, сторінки виходили великими за розміром, незручними.

На деяких сайтах число сторінок перевалило за 1 000, природно, що абсолютно всі посилання розмістити на карті сайту стало неможливо. Коефіцієнт проіндексованості таких сайтів став знижуватися. Світ потребував новому ефективному вирішенні виниклої проблеми.

І проблема була вирішена. У червні 2005 року компанією Google був створений новий зручний формат опису нових сторінок сайту для поліпшення якості їх індексації пошуковими системами.

Стандарт отримав назву Sitemaps 0.84. За основу був прийнятий принцип текстової бази даних XML, що дозволяє компактно в текстовому файлі описати структуру сайту, включаючи нові і опубліковані раніше сторінки сайту з можливістю вказівки додаткової META-інформації. ефективне рішення Sitemaps, запропоноване Google, Стало користуватися скаженою популярністю.

Популярність позначилася і на думці інших пошукових систем до нового підходу створення карт сайту. Так в листопаді 2006 року до підтримки стандарту приєдналися такі пошукові гіганти, як MSN і Yahoo, А в квітні і Ask.com. На радощах формат Sitemaps отримав нову версію Sitemap 0.90, Яка розширює функціональні можливості.

У травні 2007 року було офіційно оголошено про підтримку підключення стандарту Sitemaps у файлі robots.txt пошуковими системами Ask, Google і Yahoo, Т. Е. Знайти карту сайту Sitemap стало простіше: досить вказати його місце розташування в цьому файлі, а за джерело інформації для Sitemap використовувати RSS-стрічки або звичайні текстові файли.

2 червня 2008, через 3 роки після оголошення протоколу Google на блозі Яндекса для вебмайстрів з'явилося повідомлення про підтримку цього протоколу Яндексом.

Як зробити, щоб на вашому сайті завжди була свіжа карта? Для цього створено безкоштовний сервіс підтримки карти сайту.

Також Ви можете придбати готовий універсальний

Які потрібні для пошукових роботів. Хтось скаже, що вона і не потрібна, адже всі розділи вже відображаються. Однак необхідність такої сторінки існує в тому випадку, якщо на сайті міститься п'ятдесят сторінок і більше. Для пошукачів і для користувачів вона буде служити путівником, що допомагає зрозуміти, де міститься та чи інша інформація.

XML- і HTML-файли

Так як використовується не тільки для пошукових роботів, але і для користувачів, які відвідують сайт, зазвичай складають дві карти: в XML- і HTML-форматах.

Щоб створити Sitemap для пошукових роботів, використовують XML-файл. Завдяки йому роботи заносять в свою пошукову базу нові При відсутності карти на багатосторінковому сайті велика кількість сторінок може не індексуватися на протязі іноді дуже довгого часу.

Для створення карти сайту для користувачів використовується HTML-файл. Важливість цієї карти полягає в тому, що від її зручності безпосередньо залежить, чи знайде користувач потрібну йому інформацію чи ні. Тому таку карту створюють для тих інтернет-проектів, у яких всі розділи і їх підрозділи не поміщаються в головному меню.

Як створити Sitemap XML

Існує три способи вирішення даного завдання:

Купівля генератора для карти сайту.

Створити Sitemap за допомогою онлайн-сервісів.

Ручне написання файлу.

Для істотної економії часу пропонується придбання генераторів. Тому якщо двадцять - тридцять доларів для покупки ліцензії є для веб-майстра дрібної тратою грошей, то купити його, особливо для великого інтернет-ресурсу, все-таки не завадить, так як не потрібно буде тоді створювати сайт вручну.

Для сайту, що містить кілька сотень сторінок, рекомендуються онлайн-сервіси, де для того, щоб створити Sitemap, необхідно буде лише вказати адресу інтернет-ресурсу і завантажити результат.

Найвірнішим варіантом є ручне створення карти. Для цього потрібно знати такі теги, як url, urlset, loc, lastmod, changefreg і priority. При цьому перші три тега вважаються обов'язковими, а без останніх трьох можна і обійтися.

Створення Sitemap в Joomla

Щоб на сайті створити Sitemap, Joomla і Wordpress мають спеціальні доповнення, як і більшість відомих систем адміністрування, завдяки яким карта сайту створюється вручну або автоматично. Для великих інтернет-проектів, у яких постійно оновлюються матеріали, таке доповнення дуже зручно.

В "Джумла" воно називається Xmap, в Wordpress - Google XML Sitemaps.

Автоматичне створення карти сайту

Автоматично створити Sitemap допомагають безкоштовні онлайн-сервери, якщо сторінок сайту налічується не більше п'ятисот. Ось як легко проводиться генерація карти сайту:

Зайшовши на один з таких інтернет-ресурсів, потрібно знайти пункт «Генерація Sitemap», натиснути на кнопку «Створити» і створити файл Sitemap автоматично.

Знайти «URL сайту» і ввести там адресу сайту, для якого створюється карта.

Можливо, система зажадає введення перевірочного коду. Його потрібно також ввести і натиснути «Старт».

Готову карту завантажити на сайт.

Ручний спосіб створення карти

Такий спосіб є, з одного боку, найважчим, віднімають дорогоцінний час, але з іншого боку, це найвірніший спосіб, що застосовується в тих випадках, коли інші варіанти не підходять. Так, наприклад, якщо є багато сторінок, в занесенні в карту сайту яких немає особливої \u200b\u200bнеобхідності, але автоматично вони, звичайно, туди потрапляють, ручний спосіб позбавить карту від «передозування» таких сторінок. Іншою причиною, по якій вибирають цей спосіб, є погана навігація сайту.

Для реалізації ручного створення карти необхідно:

Зібрати сторінки для включення їх в карту.

В excel-файл вставити всі адреси в третій стовпчик.

У 1-му і 2-му стовпчиках вставити і url і loc.

В 4-му і 5-му стовпчиках вставити закривають url і loc.

Застосувати функцію «зчепити» для з'єднання п'яти стовпчиків.

В зробити sitemap.xml.

Додати в цей файл теги і urlset і / urlset.

Вставити між ними з'єднаний стовпчик.

Одержаний файл необхідно перевірити. Зробити це можна, наприклад, в "Яндексі", в панелі веб-майстра.

Як створити Sitemap для "Яндекса" і Google

Після створення сайту її додають на сайт. З цією метою файл з картою сайту потрібно назвати Sitemap.xml і додати його в кореневу директорію. Щоб скоріше знайшли її, в Google і "Яндекс" є спеціальні інструменти. Вони називаються «Інструменти для веб-майстрів» (в Google) і «Яндекс-вебмастер» (в "Яндексі").

Додавання Sitemap в Google

Додавання Sitemap в "Яндекс"

Так само і в «Яндекс-вебмастер» потрібно спочатку авторизуватися. Потім перейти на індексування / файли Sitemap, вказати там шлях файлу і натиснути кнопку «Додати».

Пошукові роботи сьогодні візьмуть тільки ті файли, які містять не більше п'ятдесяти тисяч url.

При перевищенні карти десяти мегабайт краще розбити її на кілька файлів. Завдяки цьому перевантаження сервера не буде.

Щоб створити Sitemap xml правильно, при декількох файлах потрібно їх всіх прописати в файлі індексу, використовуючи теги sitemapindex, sitemap, loc і lastmod.

Всі сторінки потрібно прописувати або з префіксом «www» або без його використання.

Необхідна кодування файлу - це UTF8.

Також в файлі потрібно додати вказівку простору імен мови.

Як створити карту сайту для користувачів

Оскільки така карта створюється для користувачів, вона повинна бути максимально проста і наочна. Незважаючи на це, необхідно якісно донести всю інформацію про структуру використовуваного сайту.

HTML-карти в основному мають звичну для користувача структуру, що складається з розділів і підрозділів, виділених певним чином, наприклад, стилями CSS і графічними елементами.

Щоб створити Sitemap для великого інтернет-проекту, як і у випадку з XML-картою, тут також рекомендується розбивання. У цьому випадку воно здійснюється у вигляді окремих вкладок, які позбавляють карту від громіздкість.

Підвищити функціонал сторінки дозволить мову JavaScript, який в цій карті допускається використовувати, так як вона створюється не для роботів-пошуковиків, а для користувачів.

Порядок для файлу карти сайту

Бажано, щоб в створеному файлі, що містить Sitemap, завжди були чистота і порядок, особливо якщо у сайту є велика кількість сторінок. Оскільки роботи-пошуковики переглядають карти сайту дуже швидко, для перегляду всього файлу великого інтернет-ресурсу може просто не вистачити часу.

Тому якщо звикнути додавати сторінки в карту сайту не внизу, а у верхній її частині, то, з одного боку, можна не сумніватися, що пошуковий робот встигне переглянути адреси нових сторінок, а з іншого боку, таким чином набагато легше буде контролювати всі сторінки.