Основы технической оптимизации сайтов

FatCat 5.11.2021 - 13:46

Эта статья описывает техническую сторону оптимизации сайтов, а именно ее главные ошибки и недоработки, а также способы их устранения. Большинство случаев аудита веб-сайтов наглядно демонстрируют одинаковые технические недочеты, которыми грешат многие вебмастера. Совершаемые ошибки по-разному сказываются на качестве продвижения: одни мешают поисковым роботам нормально индексировать страницы, другие открывают лазейки для недобросовестных конкурентов, третьи могут нанести удар по позициям в выдаче через неопределенное время. Далее приведены наиболее часто встречающиеся технические недочеты оптимизации и методы их исправления.

Одновременная доступность домена по двум адресам

Бывает так, что один проект доступен по разным ссылкам, например, с www и без, но склейка двух вариантов сайта между собой отсутствует. Это приводит к проблеме дублированного контента. Для поисковых роботов — это два разных ресурса, а контент на одном из них считается неуникальным и, логично, оказывается в дополнительных результатах поиска. А так как владелец такого сайта может быть недоволен выбором поисковика адреса сайта на роль дубля, необходимо с самого начала склеить основной домен с дополнительным зеркалом или с каждым алиасом домена.

Проверка на наличие ошибки

Проверьте доступность ресурса по обоим адресам — с www и без. Если сайт висит на обоих, а в файле robots.txt отсутствует директива Host, значит основной домен для продвижения не выбран, что грозит проблемами.

Способ исправления ошибки

Чтобы исключить проблему дублированного контента поставьте 301 редирект с неосновного домена на тот, который вы выберите в качестве основного. Тогда, при переходе по адресу, например [URL=https://myownproject.com/data]https://myownproject.com/data[/URL], пользователь будет перенаправлен на основной домен [URL=https://www.myownproject.com/data]https://www.myownproject.com/data[/URL]. Более подробно об этом читайте в руководстве по настройке 301 редиректа от Саши Алаева.

Открытие главной страницы по нескольким адресам

Главная страница вашего сайта должна загружаться только при переходе по основной ссылке [URL=https://myownproject.com/]https://myownproject.com/[/URL]. При ее открытии по другим адресам, например, [URL=https://myownproject.com/data/index.php]https://myownproject.com/data/index.php[/URL], снова появляется проблема дублированного контента, которая в некоторых случаях запросто «поможет» сайту упасть в поисковой выдаче вниз.

Проверка на наличие ошибки

Поиск возможных дублей осуществляется простым перебором: вводите адрес главной страницы сайта с окончаниями index.php или index.html. Если она откроется, а редирект на основной домен не прописан, можно заключить — этот технический недочет присутствует. Дополнительный поиск дублей можно провести прямо через популярные поисковики. Для этого вводите в кавычках TITLE главной страницы и изучайте результаты выдачи.

Способ исправления ошибки

Чтобы привести сайт в порядок в этом случае — снова используйте 301 редирект. На этот раз он должен вести с дублей главной страницы на ее основной и единственный адрес. Другой способ — заставить все дубли выдавать 404-ю ошибку несуществующей страницы, для чего потребуется удалить их все из результатов поиска с помощью панели для вебмастеров.

Присутствие на сайте битых ссылок

Битыми ссылками называют неоткрывающиеся или попросту несуществующие страницы сайта. Любой, кто пытается зайти на такую страницу, получит ошибку 400 или 404 (зависит от настроек конкретного сайта) — в обоих случаях таким образом сервер указывает на отсутствие страницы в принципе.

Проверка на наличие битых ссылок

Чтобы отыскать битые ссылки на сайте потребуется сторонняя программа-спайдер. Она просканирует весь ресурс и выдаст отчет о найденных ошибках. Самые популярных приложения такого типа — Netpeak Spider, Xenu Link Sleuth, Screaming Frog SEO Spider.

Способы исправления ошибок

Но найти битые ссылки — это только 50% работы по их устранению. Исправление обнаруженных недочетов обычно занимает больше времени. Для начала необходимо разобраться, по какой вообще причине некоторые ссылки стали битыми. Если она кроется в опечатке, то ее можно быстро исправить, обратившись к коду сайта. При отсутствии страницы на сервере вообще нужно удалить существующий URL и поставить заглушку, содержащую подходящее сообщение. Если перелинковка потеряла актуальность — обновить ее, избавиться от битых ссылок или актуализировать их конечные адреса. Тонкостей здесь много, поэтому лучше обратитесь к подробной инструкции по поиску битых ссылок от Игоря Бакалова.

Неправильная обработка ошибки 404

Довольно распространенная недоработка, когда при попытке открыть несуществующий документ, пользователь попадает на главную или любую другую страницу ресурса с кодом ошибки 200, а не 404. И это опять создает риск дублирования контента сайта.

Проверка на наличие ошибки

Чтобы обнаружить наличие такой проблемы попробуйте открыть любую несуществующую страницу сайта, введя соответствующий URL в адресной строке. Норма: в HTTP заголовке — HTTP/1.1 404 Not Found. Не норма: вместо ошибки 404 — 200 или 304.

Способ исправления

Для устранения проблемы необходимо воспользоваться настройками используемой CMS или править файл .htaccess. Цель — выдавать несуществующим страницам правильный код, благодаря чему поисковой робот не станет их индексировать.

Дополнительные технические ошибки оптимизации

Встречаются и другие, не такие распространенные технические недочеты, но достойные упоминания. Это:

• Ошибки в CMS. Приводят к возниковению дублей, ошибкам в .htaccess, неправильным кодам страниц и добавлению параметров сессий в URL.
• Низкая скорость отдачи страниц. С некоторых пор скорость отдачи страниц пользователю сайта получила роль одного из факторов ранжирования: забота о пользователях теперь увеличивает доверие со стороны поисковых систем.
• Открытые логи сервера. Приводят к росту числа неинформативных, но индексируемых поисковиками страниц, что в дальнейшем снижает доверие к ресурсу и понижает приоритет индексации.