Sitemap (карта сайта) – специальный файл в формате .xml, который представляет собой каталог (список ссылок) на разделы и страницы сайта. Файл Sitemap указывает поисковым системам на те страницы, которые доступны для сканирования и индексации. Наличие этого файла рекомендуется для любых сайтов, т.к. поисковый робот может по каким-либо причинам пропустить какие-либо важные страницы. Для каждой страницы указывается её URL-адрес (обязательно), а также её приоритет, дата последнего изменения и вероятная частота модификации (если не указаны, то прнимаются значения по умолчанию).
Файл Sitemap обычно располагают в корневой директории сайта. О его наличии и местоположении поисковый робот узнаёт из файла robots.txt, в котором должна быть прописана строка следующего вида: Sitemap:{sitemap_location} где {sitemap_location} указывает путь к файлу (например: https://www.yoursite.ru/sitemap.xml). Файл не должен содержать более 50000 URL-адресов и его размер не должен превышать 10 Мбайт (10 485 760 байт). Если для вашего сайта требуется больше страниц, его придётся разделить на несколько файлов.
Программа SitemapCreator
Для не очень больших сайтов время сканирования составит не более 5-10 мин., для интернет-поталов и крупных интернет-магазинов может составить 1.5-2 часа. Как показывает Диспетчер задач, программа загружает процессор не более чем на 10%, производительность программы определяется скоростью интернет-соединения.
Если у вас установлен брандмауэр, нужно разрешить доступ к сети (однократно или создать правило).
Программа сканирует сайт за три прохода - собирает ссылки с главной страницы (уровень 0), страницы по ссылкам с главной страницы (уровень 1), страницы по ссылкам со страниц уровня 1 (уровень 2). Этого достаточно для создания карты для большинства сайтов. Результат будет сохранен в папке "Загрузки" текущего пользователя.
