Что нужно сделать если сайт имеет проблемы с индексацией? Следует провести аудит проекта и выяснить причины, по которым некоторые веб-страницы не попадают в индекс.
Одной из частых причин, приводящих к плохой индексации сайта поисковыми системами, является отсутствие карты сайта. Карта сайта – это внутренний индекс, оглавление или каталог всех веб-страниц, для которых желательно продвижение в поиске.
Как работает карта сайта
Файл sitemap.xml представляет собой самую обыкновенную веб-страницу, на которой перечислена полная структура ресурса. При разработке сайта, убедитесь, что карта сайта представлена в виде внутренних гиперссылок.
Дело в том, что несмотря на заверения поисковых компаний, что якобы проблема с чтением скриптов и графики преодолена, все еще наблюдаются случаи, когда исполнение карты сайта в графическом варианте мешает поисковым роботам полностью индексировать ресурс.
Конечно, карта сайта с рисунками страниц выглядит эффектно и привлекательно для посетителей. Возможен вариант. Сделайте гибридную карту, состоящую как из красивых картинок, так и из текстовых анкоров. Тогда и люди будут довольны и поисковые роботы смогут свободно делать свою работу.
Есть еще один существенный момент, о котором не следует забывать. Карта сайта всегда работает в паре с управляющим пакетным файлом robots.txt. Что это такое? В файле robots.txt собраны настройки или команды, согласно которым поисковые роботы будут осуществлять обходы сайта.
Вот именно – никакого волюнтаризма со стороны поисковых машин. Робот будет регистрировать только страницы, которые веб-мастер сам разрешит к индексации. Вот что можно указать в файле robots.txt.
- Какие страницы/разделы нужно индексировать, а какие нельзя;
- Пауза, которую должен выдерживать робот между загрузкой страниц;
- Каким поисковым машинам можно индексировать сайт.
Поэтому, чтобы добиться нормальной работы интернет-ресурса, веб-мастеру или администратору проекта необходимо проверять состояние карты сайта и правильность настроек управляющего файла robots.txt.
Две карты сайта
Для большего удобства можно разработать не одну карту сайта, а две:
- Для живых посетителей создается карта в формате HTML – обычная веб-страница с древовидной структурой ресурса;
- Для поисковых роботов карта сайта в формате XML – список всех страниц, предназначенных к индексации.
Как создать карту сайта?
К счастью, в наше время с разработкой карты сайта проблем нет. Практически любая система управления контентом создает карту сайта в автоматическом режиме. От веб-мастера требуется только проконтролировать правильность результата на соответствие задуманному.
Все еще существуют в интернете сайты, созданные в простых или визуальных HTML-редакторах. Такие программы не имеют встроенной функции по формированию карт сайта, и веб-мастеру приходится делать работу вручную.
Для создания карты сайта достаточно базовых знаний HTML и XML, но существует масса способов автоматизировать рутинные процессы:
- Модули CMS для формирования карт сайта;
- Онлайн-сервисы платного или бесплатного создания карты сайта в двух форматах.
Все делается элементарно просто. Заходите на сайт сервиса по созданию карт сайта и вводите адрес проекта в указанную форму. Через пару минут карта готова к скачиванию и установке на сервер хостинг-провайдера.
Будьте осторожны. Владельцы бесплатных сервисов хотят как-то оправдать свои бесплатные услуги и могут тайком встроить в ваши карты обратные ссылки рекламного характера. С вашего ресурса будет постоянно утекать драгоценная ссылочная масса. А вы, как говорится, ни сном ни духом. Так что, перед установкой такой карты просмотрите ее на наличие сторонних вставок и удалите все, что вам покажется излишним.
Автоматическая генерация карты сайта модулем системы управления является более приоритетным, так как при создании на сайте новых разделов или страниц, не нужно вручную добавлять ссылки на созданные страницы в карту, к тому же об этом можно забыть.
Как карта сайта повышает юзабилити и конверсию
С вопросом индексации разобрались. Теперь обратите внимание на HTML-карту сайта, сделанную для людей. Зачем она нужна? Разве не достаточно панелей навигации и внутренней перелинковки?
Выходит, что недостаточно. Вполне может оказаться, что при разработке навигации не были предусмотрены интересы и потребности определенной части целевой аудитории.
Многие люди не любят пользоваться поиском по сайту (порядка 80% всех посетителей никогда не обращаются к внутреннему поиску). В таком случае человек кликает по ссылке и переходит на карту сайта.
Просматривая все оглавление полностью, пользователь может заинтересоваться какими-то материалами, о которых не знал и даже не мог подумать. Получается, что подробная карта сайта, кроме всего прочего, еще и увеличивает количество просмотренных страниц. А это положительный поведенческий фактор.