Проверка битых ссылок на сайте — поиск программой Xenu’s Link Sleuth
На каждом сайте могут появляться так называемые «битые ссылки» (англ. «broken links»), которые ведут на несуществующие веб-страницы как на этом сайте, так и на других сайтах в Интернете.
В каких случаях появляются такие ссылки?
«Битая» или «мертвая ссылка» может появиться после изменения структуры сайта (удаления или изменения адресов страниц или целых разделов), при этом на какой-то из страниц остается ссылка, указывающая на старый адрес страницы. Такие ссылки могут быть как «внутренними» (ведущими на несуществующие страницы этого же сайта), так и «внешними» (ведущими на несуществующие страницы другого сайта). И в том и в другом случае, задача вебмастера — найти и исправить такие ссылки, чтобы не вводить в заблуждение посетителей.
Как же можно найти «битые ссылки»?
Если на сайте немного страниц и на каждой находится не более 2-3 ссылок, их можно периодически проверять вручную. Но если на сайте сотни страниц, на каждой из которых имеются с десяток ссылок, такая проверка может превратиться в проблему. В этом случае поиск битых ссылок лучше делать специальной программой. Об одной из таких программ с названием Xenu’s Link Sleuth я и хочу вам рассказать.
Программа Xenu’s Link Sleuth позволяет найти битые ссылки, изображения, фреймы, дополнительные модули (plug-ins), фоновые рисунки (backgrounds), графические карты сайта (local image maps), таблицы стилей (style sheets), скрипты и Java-апплеты. Программа выводит список проверенных ссылок с сортировкой по различным параметрам. Также она позволяет создавать отчет с результатами проверки.
Преимущества программы:
- Программа бесплатна (freeware)
- Простой и удобный пользовательский интерфейс
- Возможна повторная проверка битых ссылок (это удобно при временной недоступности проверяемого сайта)
- Простой формат отчета
- Размер исполняемого файла программы меньше 1Мб
- Возможность проверки защищенных сайтов по протоколу SSL («https://»)
- Определение и вывод редиректов (т.е. переходов на другие страницы)
- Возможно формирование карты проверяемого сайта
Системные требования: Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7, (для работы требуется библиотека WININET.DLL, входящая в состав Internet Explorer). Также программа работает под Red Hat 8 и Ubuntu с помощью wine, и под Mac с помощью Crossover.
Запуск программы
После клика на значке программы появляется ее главное меню.
Для проверки сайта нажимаем клавиши Ctrl+N или жмем на крайнюю слева кнопку «Check URL». Открывается окно, где мы указываем адрес сайта, который необходимо проверить на «битые ссылки». Если адрес сайта заканчивается названием каталога, не забудьте добавить в конце строки символ ‘/’ или будет проверен весь родительский каталог. Например:
Правильно: https://rufri.ru/portfolio/
Неправильно: https://rufri.ru/portfolio
Настройки программы:
- Local file — выбрать для проверки сохраненную веб-страницу.
- Check external links — дополнительно к «внутренним» будут проверяться все «внешние» ссылки.
- Consider URL’s beginning with this as «internal» — добавить список ссылок, которые программа будет считать «внутренними». Ввод каждой такой ссылки завершается нажатием на кнопку «Add».
- Do not check any URL’s beginning with this — добавить список ссылок или разделов, которые программа НЕ будет проверять. Ввод каждой такой ссылки завершается нажатием на кнопку «Add».
- More options — открыть окно с дополнительными настройками (см. ниже).
После зажатия на кнопку «OK» начнется поиск битых ссылок на сайте, который может занять, в зависимости от числа страниц сайта, скорости их загрузки и числа ссылок на каждой из них, от нескольких секунд до нескольких часов.
На экране появляется список найденных на сайте ссылок, каждая из которых выделяется определенным цветом:
- серая — ссылка находится в очереди на проверку или исключена из проверки в соответствии с заданными настройками
- зеленая — ссылка доступна
- красная — найдена «мертвая» ссылка или ссылка временно недоступна.
Перемещаться по списку можно с помощью клавиш управления курсором (Вверх, Вниз, PageUp, PageDown) или находящейся справа полосы прокрутки.
Внизу окна в строке статуса выводится общее количество найденных и обработанных ссылок и время, прошедшее с начала проверки.
По окончанию проверки выводится соответствующее сообщение и запрос на формирование отчета:
Дополнительные настройки программы:
- Parallel Threads — число параллельно запрашиваемых страниц (рекомендуется 1 — 3, слишком большое значение может привести к значительной нагрузке на сервер и замедлению скорости загрузки страниц)
- Ask for password or certificate when needed — при необходимости запрашивать пароли и сертификаты (используется для защищенных сайтов и разделов)
- Treat redirections as errors — считать редиректы ошибками
- Report — информация, которую необходимо выводить в отчет (можно указывать пункты согласно рисунку)
- Broken links, ordered by links — показывать «битые» ссылки, отсортированные по адресу ссылки
- Broken links, ordered by page — показывать «битые» ссылки, отсортированные по адресу страницы
- Broken local links — показывать»битые» локальные ссылки
- Redirected URLs — показыватьссылки с редиректами
- Site Map — строить HTML-карту сайта (при большом количестве проверяемых страниц может привести к значительным задержкам времени при формировании отчета)
- Statistics — выводить в отчет различную статистическую информацию
Полученный отчет открывается в вашем браузере и состоит из разделов, которые были заданы в настройках программы:
Если было задан вывод статистической информации, то добавляется соответствующий блок.
В статистике указано количество проверенных страниц с группировкой по их типам (HTML-страницы, изображения, скрипты, файлы и т.п.), суммарные размеры страниц. Также указывается количество найденных ссылок с группировкой по их типам:
- ok — страница найдена;
- skip external — страница пропущена как «внешняя»;
- forbidden request — доступ к странице запрещен;
- not found — страница не найдена.
Полученный отчет можно сохранить для дальнейшей обработки в Excel.