Техническая оптимизация
Техническая оптимизация сайта - это програмная настройка ресурса для полного и верного сканирования роботами поисковых систем с целью лучшего индексирования и ранжирования в поиске.
Sitemap.xml
Никакого ручного добавления (автоматом), лучше структурировать: XML-формат файла Schema.
Карта сайта нужна для краулеров, для индексации страниц, у которых нет ссылок с главной или плохо перелинкованы.
Определить структуру виртуально — в сайтмэп можно уточнить разделы для поисковых систем — что к чему относится. Незаменимо при 1 каталоге.
Обычно находится по ссылке домен/sitemap.xml
https://topseoboss.com/sitemap.xml
Устранение дублей страниц
Делаем чистый url
Убираем / слэш в конце url, ставим автоматную переадресацию на без /
Добавляем сертификат SSL протокол https, а http редиректим
Делаем без www, /index.html, /index.php, /index, /main - со всех должен стоять 301
И обязательно на каждой странице уточняем каноническую
Robots.txt
User-agent: * - это все роботы, т.е. общие директивы
Disallow: /папка - мы закрываем доступ к этим директориям, всё логично. Технические папки движка. Также сюда попадает админка /admin и поиск /search
Запрещаем технические строки вроде ?from=webmaster - они могут добавляться при переходах из сервисов
Для User-Agent: Yandex мы добавляем директиву очистки параметров, которые добавляются из директа
Clean-Param: yandex-source&utm_source&utm_medium&utm_campaign
Для User-Agent: Googlebot директивы те же, что и общие - закрыто явно только то, что Disallow
https://topseoboss.com/robots.txt
301, 302, 404
Переадресации 301 постоянная, 302 временная.
Ошибка 404 — несуществующая страница.
Все известные удаленные стр - обязательно переадресуем на главную или на предыдущий уровень путем 301 редиректа.
Если у вас эти стр появятся вновь, то делаем 302 редирект - временный. При нем гугл бот переобходит постоянно и ждет появления - удобно при смене позиций по геолокациям - например если вы артист и выступаете в разных странах с одной программой.
Get параметры
Настраиваются в Роботс. Для Гугла достаточно прописать rel=canonical. Для Яндекса еще 2 варианта - добавление директивы Clean-param или Disallow: подробности в официальном источнике - как найти и отключить ненужные гет параметы.
Метрики и аналитики
Обязательно устанавливаем аналитики с вэбмастерами от Гугла и Яндекса! Самое важное - обязательно нужно их связать между собой.
Микроразметки
Желательно, чтоб была возможность редактирования постранично.