Submit your sitemap to Google
Google doesn’t check a sitemap every time a site is crawled; a sitemap is checked only the
first time that we notice it, and thereafter only when you ping us to let us know that it’s
changed. Alert Google about a sitemap only when it’s new or updated; don’t submit
or ping unchanged sitemaps multiple times.
If you have updated pages in the sitemap, mark
them with the field.
Other XML files have a similar field, such as for Atom XML.
You can also learn how to .
There are a few different ways to make your sitemap available to Google:
-
Submit a sitemap using the
Sitemaps report. -
Use the ping tool. Send a GET request in your browser or the command line
to this address, specifying the full URL of the sitemap. Be sure that the sitemap file is
accessible:https://www.google.com/ping?sitemap=FULL_URL_OF_SITEMAP
Example:
https://www.google.com/ping?sitemap=https://example.com/sitemap.xml
-
Insert the following line anywhere in your robots.txt file, specifying the
path to your sitemap. We will find it the next time we crawl your robots.txt file:Sitemap: https://example.com/my_sitemap.xml
- Use WebSub
if you use Atom/RSS for your sitemap and want to broadcast your changes to other search
engines in addition to Google.
Submitting a sitemap is merely a hint: it doesn’t guarantee that Google will download the
sitemap or use the sitemap for crawling URLs on the site.
Зачем указывать свою организацию на карте
Каждому владельцу сайта стоит указать свою метку на Яндекс.Картах. Это связано с тем, что:
- Людям значительно проще сделать заказ, когда им облегчают жизнь. Они сразу знают куда идти, и не приходится искать дополнительные сведения.
- Клиенты могут случайно зацепиться взглядом за название вашей компании и запомнить его на будущее, пока просматривают территорию в поисках совершенно другого места.
- Не стоит забывать о психологическом факторе: если указаны полные сведения в контактах, да еще и отмечено местоположение, значит этой фирме нечего скрывать.
Пользоваться этим сервисом клиентам легко и, что самое главное — удобно. Особенно, если вы добавите на свой сайт интерактивный план местности. Такую живую проекцию можно перемещать. Менять на ней способ отображения, например, выбрать схему или снимок со спутника. Масштабировать, видеть на ней отзывы и сообщения других людей.
Кроме того, по сравнению со статичной картинкой, на которой видно только местоположение, с помощью интерактивной карты:
- Не приходится уходить с сайта в поисках дополнительной информации;
- Легко проложить наиболее удобный маршрут;
- Можно подсчитать время, которое потребуется на поездку;
- Можно увидеть актуальную информацию о пробках и авариях;
- Яндекс оперативно обновляет информацию о произошедших изменениях пути, будь — то новое здание или строительство.
Проще говоря, у сервиса множество преимуществ. Его использование также не станет проблемой. О том, как добавить Яндекс карту на сайт, читайте далее.
XML карта сайта – для поисковых роботов
Для облегчения индексации создается еще одна карта в формате XML. Это просто список все страниц и разделов сайта, которые предназначены для индексации. Формат XML легче понимается поисковыми алгоритмами и поэтому индексация проходит проще, быстрее и глубже. XML-карта – это еще один полюс в копилку поисковой оптимизации. Своего рода выражение уважения к поисковой системе и ее виртуальным сотрудникам – роботам. Язык XML совсем не сложен и такие карты для поисковых роботов может сделать любой веб-мастер, знакомый с азами HTML. Остается выучить кое-какие новые операторы. XML-карты можно без проблем создавать на различных бесплатных SEO-сервисах.
Что такое карта сайта
Карта сайта (Sitemap) — это файл со списком всех страниц сайта, о которых должны знать как поисковые роботы, так и пользователи. По виду она напоминает оглавление книги, только вместо разделов — ссылки.
Существует 2 основных типа карты сайта: HTML и XML.
HTML Sitemap — это веб-страница, на которой перечислены ссылки на наиболее важные разделы и страницы сайта. Вот несколько хороших примеров в формате HTML: Эльдорадо, Apple, Olx.
Карта сайта в формате HTML предназначена в основном для пользователей, а не для роботов, и помогает быстро перемещаться по основным разделам сайта.
XML Sitemap — это XML-файл (например, sitemap.xml), расположенный в корневом каталоге ресурса. В нем указывают URL-адреса, даты изменения страниц и другие параметры, которые важны для поисковых систем. Поскольку все параметры помечены специальными тегами, XML-файлы визуально очень похожи на HTML-код сайта:
Хоть синтаксис XML Sitemap выглядит запутано, карта сайта очень важна для SEO. Этот файл помогает краулерам получить целостное представление о сайте, лучше понять его структуру, быстро обнаружить новый контент и многое другое.
В этой статье мы рассмотрим преимущества, которые XML-карта может дать сайту, поговорим о различных ее типах и, наконец, выясним, как создать правильную карту сайта. В конце этой статьи есть бонус — , где собраны рекомендации по созданию файла Sitemap.
Как загрузить карту сайта в Google и Яндекс
Все зависит от платформы, которая использовалась для создания карты сайта. В некоторых случаях придется добавить файл Sitemap вручную на свой сайт. А если динамическая карта сайта создана на CMS, она скорее всего уже есть на сайте. Обычно, когда Sitemap автоматически добавляется на сайт, ее можно найти по адресу: yoursite.com/sitemap.xml.
Если вы использовали один из сервисов для создания XML Sitemap, вам придется вручную загрузить его в корневой каталог сайта. Сделать это можно с помощью хостинг-панели cPanel или программы «FTP-клиент», например, Total Commander или FileZilla. Перед загрузкой необходимо проверить карту сайта, особенно если файл был создан вручную. Воспользуйтесь одним из бесплатных сервисов, подобных этому, чтобы убедиться, что карта сайта работает так, как вы задумали. Проверить карту также можно на сервисе Яндекс.Вебмастер — с помощью инструмента «Анализ файлов Sitemap».
Также рекомендуется продублировать ссылку на файл Sitemap в robots.txt — ее можно найти в корневом каталоге сервера.
Загружаем карту сайта в Google Search Console
Давайте рассмотрим, как отправлять файл Sitemap в Google. Как только на вашем сайте появится действующая карта сайта, можете смело отправлять ее в Google Search Console (GSC). Для этого перейдите в раздел «Файлы Sitemap», нажмите «Добавить файл Sitemap», введите URL-адрес карты сайта и нажмите кнопку «Отправить».
В столбце «Статус» будет показано, смог ли Google обработать ваш файл Sitemap. Если все прошло удачно, вы увидите «Успешно». Если карта сайта была проанализирована, но Google нашел ошибки, будет статус «Обнаружены проблемы». Наконец, если Google не смог просканировать карту сайта, вы увидите «Не получено».
Обязательно исправьте все ошибки карты сайта, чтобы получить статус «Успешно». Я создала отдельное руководство с описанием распространенных ошибок в файлах Sitemap, чтобы помочь в этом вопросе.
В этом же отчете о файле Sitemap вы увидите количество выявленных URL — в идеале оно должно совпадать с общим количеством URL, которые добавлены в файл Sitemap.
Наконец, щелкнув на значок рядом с количеством обнаруженных URL-адресов, вы попадете в отчет об индексировании, который даст лучше понять, как Google сканирует и индексирует сайт. Изучение отчета поможет удалить некачественные страницы из карты сайта и добавить пропущенные.
Загружаем карту сайта в Яндекс.Вебмастер
А теперь разберемся с Яндекс.Вебмастером. Перейдите во вкладку «Файлы Sitemap», введите в строку «Добавить файл Sitemap» ссылку карты сайта, а затем нажимайте «Добавить».
Далее вы увидите статус файла. «Ок» — файл успешно загружен в базу. «Редирект» — указанный URL перенаправляет на другой адрес. «Ошибка» — сайт сформирован неправильно. И, наконец, статус «Не проиндексирован» сообщает, что Яндекс не смог получить доступ к файлу.
В Яндекс, как и в Google, можно посмотреть количество ссылок в файле Sitemap.
Виды структуры сайта
Линейная
Линейная структура выглядит в виде цепочки. Подойдет для одностраничных сайтов (якорного меню) и визиток.
Например:
- Главная
- О компании
- Услуги
- Контакты
Линейно-разветвленная
Линейно-разветвленная структура, представляет из себя цепочку переходов, иногда с правом выбора. Подойдет для небольших сайтов — в основном визиток.
Пример:
- Главная
- О компании
- Наши работы
- Отзывы о нас
- Услуги
- Создание
- Продвижение
- Контакты
Дерево
Древовидная структура состоит из множества уровней и разделов (имеет много ветвлений). Самая распространенная, популярная и оптимальная для многостраницных сайтов.
Решето, сеть
Структура в виде сети, создается по принципу древовидной, но при этом все проектируется так, чтобы посетитель мог перескочить со страницы глубокого уровня вложенности, на любой другой, к примеру, на 1-й или второй уровень
При разработке такой структуры важно тщательно продумывать ее, чтобы не запутать посетителей
Что такое карта сайта для WordPress и для чего она нужна
С помощью карты сайта веб-мастера могут проинформировать поисковые системы о страницах своего сайта, которые доступны (и недоступны) для сканирования.
Раньше sitemap составлялись вручную в формате HTML, и их главной целью было улучшение навигации по сайту. Сегодня они создаются в формате XML, и их целью является улучшение поисковой оптимизации. Они позволяют поисковым системам интеллектуально сканировать сайт.
XML карта ресурса – это документ, содержащий информацию о страницах и записях вашего сайта, о дате их изменения и о приоритете страниц.
Помимо улучшения опыта взаимодействия пользователя карта сайта также помогает:
- Уменьшить зависимость от внешних ссылок при нахождении поисковыми системами вашего сайта;
- Улучшает качество сканирования и индексирования контента;
- Классифицировать контент сайта.
Отключение ViewState
Все элементы управления ASP.NET при необходимости могут сохранять свое состояние в состоянии представления, которое сериализуется как скрытое поле формы в отрисованном HTML-коде. Состояние просмотра используется элементами управления для запоминания их программно измененного состояния при обратной передаче, например данных, привязанных к веб-элементу управления данными. Хотя состояние просмотра позволяет запоминать сведения при обратной отправке, это увеличивает размер разметки, которая должна быть отправлена клиенту и может привести к серьезному увеличению масштаба страницы, если они не внимательно отслеживаются. Веб-элементы управления данными, особенно GridView, особенно известны для добавления десятков дополнительных килобайт разметки на страницу. Хотя такое увеличение может быть незначительным для пользователей широкополосной связи или интрасети, состояние просмотра может добавить несколько секунд к круговой поездке для пользователей с телефонным подключением.
Чтобы увидеть влияние состояния представления, перейдите на страницу в браузере, а затем просмотрите источник, отправленный веб-страницей (в Internet Explorer перейдите в меню «Вид» и выберите параметр «Источник»). Вы также можете включить трассировку страниц, чтобы просмотреть выделение состояния представления, используемое каждым из элементов управления на странице. Сведения о состоянии представления сериализуются в скрытом поле формы с именем , расположенном в элементе сразу после открывающего тега. Состояние представления сохраняется только в том случае, если используется веб-форма; Если страница ASP.NET не содержит декларативный синтаксис в ней не будет скрытого поля формы в отрисованной разметке.
Поле формы, созданное главной страницей, добавляет примерно 1800 байт в созданную разметку страницы. Это дополнительное расширение связано в основном с элементом управления Repeater, так как содержимое элемента управления SiteMapDataSource сохраняется для просмотра состояния. Хотя дополнительный 1800 байт может показаться не столь большим, чтобы получить удовольствие от использования GridView со многими полями и записями, состояние представления может легко набухать на 10 или более.
Состояние просмотра можно отключить на уровне страницы или элемента управления, задав для свойства значение , тем самым уменьшая размер отрисоченной разметки. Так как состояние представления для веб-элемента управления данными сохраняет данные, привязанные к веб-элементу управления данными, при отключении состояния представления для веб-элемента управления данными данные должны быть привязаны к каждой и каждой обратной отправке. В ASP.NET версии 1.x эта ответственность упала на плечи разработчика страницы. ASP.NET Однако при необходимости веб-элементы управления данными будут повторно привязываться к системе управления версиями данных при необходимости.
Чтобы уменьшить состояние просмотра страницы, задайте для свойства элемента управления Repeater значение . Это можно сделать с помощью окно свойств в конструкторе или декларативно в представлении источника. После внесения этого изменения декларативная разметка repeater должна выглядеть следующим образом:
После этого изменения размер состояния просмотра страницы сократился до всего 52 байта, экономия на 97 % в размере состояния просмотра! В руководствах по этой серии мы отключим состояние представления веб-элементов управления данными по умолчанию, чтобы уменьшить размер отрисоченной разметки. В большинстве примеров свойство будет задано и сделано без упоминания. Единственное состояние представления времени будет обсуждаться в сценариях, где его необходимо включить, чтобы веб-элемент управления данными предоставлял ожидаемые функциональные возможности.
Что обязательно должно быть в карте сайта
А теперь давайте разберемся в параметрах, требованиях и тегах карты сайта.
Требования к sitemap.xml
- Кодировка файла — UTF-8. Распространенный стандарт кодирования символов Юникода, позволяющий более компактно хранить и передавать информацию.
- Максимальное количество ссылок в одном файле — 50 000.
- Размер файла — до 50 мегабайт.
- Ссылки соответствует одному хосту — домен и главное зеркало: example.com или store.example.com.
- Обращение на сервер возвращает ответ «The HTTP 200 ОК».
Таблица тегов
Ниже мы подготовили таблицу тегов, которые встречаются в описании карты.
| Тег | Обязательный параметр | Описание |
| Да | Главная директива карты сайта, которая отражает стандарт протокола. Он показывает поисковым роботам, какие данные содержатся в sitemap и в каком приоритете нужно индексировать страницы.
Пример: |
|
| Да | Родительский тег для URL-адреса. Под ним расположены данные для индексации каждой страницы — они являются дочерними тегами.
В общей sitemap, которая содержит несколько карт, вы встретите тег |
|
| Да | Здесь содержится полная ссылка на страницу сайта — каноничный URL.
Может начинаться с «http» или «https» |
|
| Присваивается автоматически | Дочерний тег сообщает дату последнего обновления страницы в формате UTC: ГГГГ-ММ-ДД.
Например, 2021-20-04 |
|
| Нет | Тег, в котором содержится информация о частоте изменений страницы. Значения тега:
|
|
| Нет | Дочерний тег, показывающий приоритет страницы среди прочих. Значения от 0 до 1,0 — от неважных страниц к наиболее приоритетным.
Этот инструмент будет полезен в случае, если у вас большое количество страниц и вы хотите указать поисковому роботу, какую задачу нужно выполнить первой — выделить главные и важные страницы для индексирования. Но есть несколько нюансов. Во-первых, алгоритм того, как роботы учитывают тег, абсолютно непрозрачен. Во-вторых, по умолчанию каждой странице присваивается значение приоритетности 0,5. Поэтому нет ничего страшного в том, что вы не будете использовать данный тег в своей карте |
|
| Нет | Тег используется в тех случаях, когда необходимо указать альтернативную страницу на другом языке.
Например: Подробности можно изучить в |
|
| Нет | Дочерний элемент тега . Отражает полную ссылку на изображение | |
| Нет | ||
| Нет | Подпись к картинке | |
| Нет | Место съемки фотографии: город, страна | |
| Нет | Название ролика, до 100 символов | |
| Нет | Место размещения плеера | |
| Нет | Превью видео, от 120 х 90 пикселей | |
| Нет | Описание видео, до 2 000 символов | |
| Нет | Список платформ, где может воспроизводиться видеоролик | |
| Нет | Категория для видео | |
| Нет | Общий тег, в котором указывается издание | |
| Нет | Название издания | |
| Нет | Язык в формате ISO 639 | |
| Нет | Название статьи | |
| Нет | Ключевые слова по теме статьи | |
| Да | В завершении данных, содержащихся в конкретной директиве указывается соответствующий тег со знаком слэш: , , , , и так далее |
Определение карты сайта
Отправной точкой в системе навигации сайта, построенной на основе карты, является поставщик карты сайта. ASP.NET распространяется с единственным поставщиком карты сайта XmlSiteMapProvider, который может извлекать информацию о карте сайта из XML-файла. Если требуется получить карту сайта из другого расположения или в специальном формате, придется создать собственный поставщик карты сайта — эта тема рассматривается в следующей статье.
Поставщик XmlSiteMapProvider ищет файл Web.sitemap в корне виртуального каталога. Подобно всем поставщикам карт сайта, его задача заключается в извлечении данных карты сайта и создании соответствующего объекта SiteMap. Затем этот объект SiteMap может быть сделан доступным другим элементам управления посредством SiteMapDataSource.
Чтобы проверить его в действии, создайте файл Web.sitemap и определите структуру веб-сайта с помощью элементов <siteMap> и <siteMapNode>. Чтобы добавить карту сайта в Visual Studio, выберите пункт меню Website —> Add New item, укажите шаблон Site Map и щелкните на кнопке Add.
Базовая структура файла карты сайта, имеет следующий вид:
Допустимая карта сайта должна начинаться с корневого узла <siteMap>, за которым следует элемент <siteMapNode>, представляющий домашнюю страницу по умолчанию. В корневой элемент <siteMapNode> можно вкладывать любое требуемое количество уровней других элементов <siteMapNode>.
Каждый узел карты сайта должен содержать заголовок, описание и URL-адрес, как показано в следующем примере:
В этом примере для указания URL-адреса использован синтаксис относительного пути ~/, который указывает на корневую папку веб-приложения. Этот стиль не обязателен, но настоятельно рекомендуется, поскольку он гарантирует правильную интерпретацию ссылок карты сайта независимо от текущей папки.
Теперь элемент <siteMapNode> можно использовать для создания карты сайта. Единственное дополнительное ограничение заключается в том, что нельзя создавать два узла карты сайта, имеющие одинаковый URL-адрес.
В самой системе навигации ограничение на дублирование URL-адресов отсутствует. Просто это ограничение накладывается поставщиком карты сайта XmlSiteMapProvider, поскольку он применяет URL-адрес в качестве уникального ключа. Если создать собственный поставщик карты сайта или воспользоваться сторонним поставщиком, можно разрешить дублированные URL-адреса и затребовать отдельного указания информации о ключах. Однако соблюдение правила о том, что каждый сайт должен начинаться с одного корневого узла, является обязательным, поскольку оно реализовано в базовом классе SiteMapProvider. (Как вскоре будет показано, по-прежнему можно применять различные варианты отображения дерева карты сайта, однако начинать всегда нужно с одного домашнего узла.)
Ниже приведен пример карты сайта:
В этом примере все узлы содержат URL-адреса — т.е. на них можно щелкать (в результате чего пользователи переходят к определенным страницам). Однако если эти узлы должны служить просто категориями для организации других ссылок, атрибут url можно опустить. Узел по-прежнему будет находиться среди привязанных элементов управления, но не будет отображаться в виде ссылки.
Составление файла sitemap.xml
Составлять карту сайта можно 3 способами:
- Вручную;
- Автоматически, с помощью специальных сервисов;
- Автоматически, с помощью готовых решений в виде плагинов к CMS и т.п.
Процесс приготовления карты сайта следующий:
- Составляем карту сайта одним из способов, перечисленных выше;
- Размещаем файл на сайте;
- Указываем путь к карте сайта для поисковых роботов в файле robots.txt (Кстати, есть отдельная статья о том, как правильно составить файл robots.txt);
- Указываем Sitemap в панели вебмастеров Яндекс и Google.
Итак, как составлять файл карты сайта?
Разберем пример составления файла вручную. Если вы хотите добавить в карту сайта 5 страниц вашего сайта:
Вот так должна выглядеть карта сайта в формате XML:
|
http://site.ru/url-o_kompanii/ http://site.ru/url-uslugi/ http://site.ru/url-produkty/ http://site.ru/url-dostavka/ http://site.ru/url-kontakty/ |
При необходимости добавляем необязательные теги из памятки, которую я привел выше. Дополнительные теги прописываются в контейнере , после указания URL-адреса страницы в теге . Например:
|
<?xml version=»1.0″ encoding=»UTF-8″?> http://site.ru/ 2005-01-01 monthly 0.8 |
в последний раз изменилась 1 января 2005 года. Обновляется с частотой раз в месяц. И приоритет у данной страницы 0.8 (максимально возможный 1).
Рекомендую пользоваться текстовыми редакторами, которые поддерживают синтаксис языка XML, например, Notepad++. Вот так выглядит XML-код в данном редакторе:
Особенно удобен функционал подсветки парных тегов.
Сервисы для генерации Sitemap
В случае, если на вашем сайте много полезных страниц и вы не хотите тратить время на составление файла вручную, то вам помогут следующие сервисы:
Поясню вкратце все настройки:
Плагины для CMS
Существует огромное количество плагинов и готовых решений для систем управления сайтов. Например:
|
CMS |
Плагин |
|
WordPress |
|
|
Bitrix |
|
|
Joomla |
|
|
ModX |
Расположение файла
В отличие от файла robots.txt, файл sitemap.xml может располагаться в любом месте вашего сайта. Например, в корневой папке сайта файл будет доступен по следующему адресу:
http://ВАШ_САЙТ/sitemap.xml
Если вы разместили файл в папке /files/, то он будет доступен по такому адресу:
http://ВАШ_САЙТ/files/sitemap.xml
После успешной загрузки файла, обязательно укажите поисковым роботам как найти этот файл. Делается это очень просто. В файле robots.txt (подробная инструкция по составлению) в директиве Sitemap пропишите полный адрес к файлу. Например, файл robots.txt может выглядеть следующим образом:
Важно! В отличии от robots.txt файлов Sitemap может быть несколько. В таком случае необходимо указывать в robots и вебмастерах полный адрес ко всем файлам Sitemap
Search Console и панель Яндекс.Вебмастера
Остался последний этап. Указать путь к карте сайта в панелях вебмастеров поисковых систем.
В Search Console (панель вебмастера Google):
- Сканирование
- Файлы Sitemap
- Добавление/Проверка файла Sitemap
В панели Яндекс\.Вебмастер:
- Настройка индексирования
- Файлы Sitemap
- «Проверить» и «Добавить»
Следует отметить ограничения в XML-карте сайта:
- В одном файле можно указать не более 50000 URL-адресов
- Вес файла не более 10 мегабайт (поисковые системы не индексируют документы, превышающие размер в 10 мегабайт). При необходимости файл можно сжать с помощью архиватора .gzip.
- Кодировка файла только в UTF-8
Simple Wp Sitemap
Плагин Simple Wp Sitemap предназначен для создания обеих карт сайта — XML и HTML. Отличительной его особенностью есть то, что файлы sitemap.xml и sitemap.html создаются динамически и не являются «частью» сайта. То есть физической страницы на карту не создается. Это, вроде как, позволяет избежать ошибок отсутствия или случайного удаления соответствующих файлов. Выглядит, правда, карта сайта немного простовато:
Кстати, вы можете добавлять в нее другие страницы, которые не являются частью вашего WordPress сайта. Точно также можно ненужные материалы исключать. Плагин Simple Wp Sitemap поддерживает кэширование. Число установок — более 10 тыс., минимальная поддерживаемая версия системы — 4.0, оценка плагина — 5.
