Предлагаю вашему вниманию программу WebMaster Utility - комплекс утилит для вебмастера и оптимизатора.
Состав утилит:
-Построение карты сайта (SiteMap)
-Отправка SiteMap поисковикам
-Комплексный анализ показателей сайта (пр,ТиЦ,Ссылок на сайт и т.д)
-Анализ контента сайта
-Поиск конкурентов сайта\Проверка позиций
Возможности программы:
-Автоматическое построение карты сайта (SiteMap)
-Архивирование файлов SiteMap в архив .gz
-Создание индексного файла SiteMap, разбитие SiteMap на части
-Шаблонное построение файла SiteMap
-Собственный список поисковиков для рассылки SiteMap
-Импорт\Экспорт обработчиков комплексного анализа показателей сайта
-Использование своего списка proxy серверов (проверка серверов)
-Встроенный редактор стоп-слов
-Встроенный редактор Pascal скриптов, для создания своих обработчиков получения значений, выполнения анализа (возможно создание собственных
параметров, алгоритмов анализа при наличии навыков программирования на Object Pascal, Pascal)
-Поиск конкурентов по указанному запросу (поиск с учетом региона)
-Проверка позиций сайта (проверка с учетом региона поиска)
-Использование собственных шаблонов обработчиков
-Автоматическое обновление программы (обновляются только необходимые части, исправление ошибок, пополнение сервисов и т.д)
Подробнее о программе вы можете посмотреть на странице программы http://forwebm.net/webmprog/
Online справка программы - http://forwebm.net/webmprog/help/
Список и описание обновлений программы - http://forwebm.net/webmprog/update/
Скриншоты программы - http://forwebm.net/webmprog/screenshots/
На странице программы доступна для скачивания демо-версия программы с частично ограниченным функционалом.
Все обновления программы WebMaster Utility предоставляются бесплатно, но частично ограниченны в работе для не активированного приложения.
Приятной работы!
Спустя 1 месяц, 23 дня, 15 часов, 44 минуты, 5 секунд (3.05.2010 - 17:49) iGenek написал(а):
Доступно очередное обновление программы!
Добавлен сервис Мониторинга показателей сайта
Справку по новому сервису можно посмотреть здесь http://forwebm.net/webmprog/help/?topic=20
Добавлен сервис Мониторинга показателей сайта
Справку по новому сервису можно посмотреть здесь http://forwebm.net/webmprog/help/?topic=20
Спустя 21 день, 17 часов, 1 минута, 35 секунд (25.05.2010 - 10:50) iGenek написал(а):
Добавлено приложение WebMaster Utility Monitor
Приложение позволяет в фоновом режиме выполнять обновление сайтов в сервисах программы по указанному расписанию.
Приложение позволяет в фоновом режиме выполнять обновление сайтов в сервисах программы по указанному расписанию.
Спустя 1 месяц, 1 день, 13 часов, 7 минут, 34 секунды (26.06.2010 - 23:58) iGenek написал(а):
Доступно очередное обновление программы!
1) Добавлен сервис Мониторинг позиций сайта в поисковиках
2) Добавлен сервис Проверка прокси серверов
======================================
Справку по новому обновлению можно посмотреть здесь
http://forwebm.net/webmprog/update/?vw=7
1) Добавлен сервис Мониторинг позиций сайта в поисковиках
2) Добавлен сервис Проверка прокси серверов
======================================
Справку по новому обновлению можно посмотреть здесь
http://forwebm.net/webmprog/update/?vw=7
Спустя 9 дней, 13 часов, 56 минут, 23 секунды (6.07.2010 - 13:54) iGenek написал(а):
Доступно очередное обновление программы!
1) Добавлен сервис Проверка установленной ссылки на сайт
======================================
Сервис не имеет ограничений в не активированном приложении.
1) Добавлен сервис Проверка установленной ссылки на сайт
======================================
Сервис не имеет ограничений в не активированном приложении.
Спустя 9 дней, 23 часа, 7 минут, 45 секунд (16.07.2010 - 13:02) iGenek написал(а):
Доступно очередное обновление программы (v1.2.2)!
1. Добавлен сервис "Массовая проверка показателей сайта"
Возможности:
- Многопоточная проверка страниц
- Динамическое добавление, удаление анализируемых показателей
- Возможность ручного просмотра значения показателя
- Использование списка прокси серверов
2. Изменен принцип использования прокси.
- Добавлена поддержка выбора типа используемого прокси
- Изменена панель прокси серверов по умолчанию в настройках программы
3. Изминения в сервисе "Мониторинг показателей сайта"
- Изменен принцип установки прокси сервера. Теперь прокси сервер устанавливается списком и активируется в настройках сервиса.
- Добавлен интервал задержки перед внешним соединением получения данных.
4. Изменения в сервисе "Комплексный анализ показателей"
- Изменен принцип использования прокси сервера. Теперь прокси сервер указывается списком и активируется в настройках сервиса.
- Добавлен интервал задержки перед внешними соединениями
- Полностью перестроена структура использования анализируемых параметров
- Удалены окна управления списком пользовательских параметров, добавлена возможность выбирать параметр из списка стандартных операций
- Оптимизирована скорость загрузки сервиса, выполнения анализа
.....
Подробнее смотрите на странице обновления: http://forwebm.net/webmprog/update/?vw=9
1. Добавлен сервис "Массовая проверка показателей сайта"
Возможности:
- Многопоточная проверка страниц
- Динамическое добавление, удаление анализируемых показателей
- Возможность ручного просмотра значения показателя
- Использование списка прокси серверов
2. Изменен принцип использования прокси.
- Добавлена поддержка выбора типа используемого прокси
- Изменена панель прокси серверов по умолчанию в настройках программы
3. Изминения в сервисе "Мониторинг показателей сайта"
- Изменен принцип установки прокси сервера. Теперь прокси сервер устанавливается списком и активируется в настройках сервиса.
- Добавлен интервал задержки перед внешним соединением получения данных.
4. Изменения в сервисе "Комплексный анализ показателей"
- Изменен принцип использования прокси сервера. Теперь прокси сервер указывается списком и активируется в настройках сервиса.
- Добавлен интервал задержки перед внешними соединениями
- Полностью перестроена структура использования анализируемых параметров
- Удалены окна управления списком пользовательских параметров, добавлена возможность выбирать параметр из списка стандартных операций
- Оптимизирована скорость загрузки сервиса, выполнения анализа
.....
Подробнее смотрите на странице обновления: http://forwebm.net/webmprog/update/?vw=9
Спустя 25 дней, 6 часов, 31 минута, 5 секунд (11.08.2010 - 19:33) iGenek написал(а):
Доступно очередное обновление программы! v1.2.5
1. Добавлен сервис "Синонимайзер текста"
Возможности:
1). Высокая скорость обработки текста (даже с очень большими словарями)
2). Удобный и простой интерфейс сервиса
3). Морфологический разбор слов для вспомогательной корректировки
4). Морфологический разбор слов в процессе обработки текста (автотрансформация слова в нужную форму)
5). Черный список слов (слова игнорируемые при анализе)
6). Использование общего программного списка стоп-слов
7). Разбитие текста по предложениям
8). Создание любого количества баз словарей
9). Импорт и экспорт слов виз базы
10). Простое управление базами
11). Подсветка обработанных слов (словосочетания не подсвечиваются)
12). Возможность замены транслитом указанный шаг слов
13). Возможность указания шага замен слов
14). Возможность отключения морфологии для поиска 100% совпадающих слов в базе
Подробнее о сервисе смотрите в справке сервиса http://forwebm.net/webmprog/help/?topic=29
2. Добавлена возможность сортирвоки данных в сервисе Мониторинг показателей сайта
Возможность отсортировать список сайтов по выбранным данным (по возрастанию, убыванию)
1. Добавлен сервис "Синонимайзер текста"
Возможности:
1). Высокая скорость обработки текста (даже с очень большими словарями)
2). Удобный и простой интерфейс сервиса
3). Морфологический разбор слов для вспомогательной корректировки
4). Морфологический разбор слов в процессе обработки текста (автотрансформация слова в нужную форму)
5). Черный список слов (слова игнорируемые при анализе)
6). Использование общего программного списка стоп-слов
7). Разбитие текста по предложениям
8). Создание любого количества баз словарей
9). Импорт и экспорт слов виз базы
10). Простое управление базами
11). Подсветка обработанных слов (словосочетания не подсвечиваются)
12). Возможность замены транслитом указанный шаг слов
13). Возможность указания шага замен слов
14). Возможность отключения морфологии для поиска 100% совпадающих слов в базе
Подробнее о сервисе смотрите в справке сервиса http://forwebm.net/webmprog/help/?topic=29
2. Добавлена возможность сортирвоки данных в сервисе Мониторинг показателей сайта
Возможность отсортировать список сайтов по выбранным данным (по возрастанию, убыванию)
Спустя 1 месяц, 10 дней, 19 часов, 4 минуты, 19 секунд (22.09.2010 - 14:37) iGenek написал(а):
Обновление программы WebMaster Utility от v1.2.6
1. Добавлен сервис "Управление SiteMap"
Возможности:
1). Многопоточный обход сайта
2). Высокая скорость сканеров
3). Индивидуальные параметры каждого из сайтов
4). Автоматическое/Полуавтоматическое генерирование файлов SiteMap
5). Автоматическая/Полуавтоматическая загрузка сгенерированных файлов на сервер
6). Назначение очереди выполнения сканирования сайтов
7). Назначение завершающих событий
8). Удобный и простой интерфейс
9). Мощный инструмент редактирования базы ссылок сайта
10). Изменении параметров сканера в процессе сканирования без остановок
11). Поддержка всеформатных ссылок
Сервис оптимизирован для работы с сайтами, содержащими большое количество страниц!
В демо режиме доступно сканирование до 1000 страниц!
Подробнее о сервисе смотрите в справке сервиса (http://forwebm.net/webmprog/help/?topic=3)
2. Добавлена поддержка сайтов на кириллице
- Доступна полная поддержка сайтов на кириллице (пример: президент.рф)
3. Изменение алгоритмов программы
- Оптимизированы алгоритмы парсеров html страниц.
- Обновлены алгоритмы обработки внешних запросов.
1. Добавлен сервис "Управление SiteMap"
Возможности:
1). Многопоточный обход сайта
2). Высокая скорость сканеров
3). Индивидуальные параметры каждого из сайтов
4). Автоматическое/Полуавтоматическое генерирование файлов SiteMap
5). Автоматическая/Полуавтоматическая загрузка сгенерированных файлов на сервер
6). Назначение очереди выполнения сканирования сайтов
7). Назначение завершающих событий
8). Удобный и простой интерфейс
9). Мощный инструмент редактирования базы ссылок сайта
10). Изменении параметров сканера в процессе сканирования без остановок
11). Поддержка всеформатных ссылок
Сервис оптимизирован для работы с сайтами, содержащими большое количество страниц!
В демо режиме доступно сканирование до 1000 страниц!
Подробнее о сервисе смотрите в справке сервиса (http://forwebm.net/webmprog/help/?topic=3)
2. Добавлена поддержка сайтов на кириллице
- Доступна полная поддержка сайтов на кириллице (пример: президент.рф)
3. Изменение алгоритмов программы
- Оптимизированы алгоритмы парсеров html страниц.
- Обновлены алгоритмы обработки внешних запросов.
Спустя 1 минута, 52 секунды (22.09.2010 - 14:39) iGenek написал(а):
Обновление программы WebMaster Utility от v1.2.6
1. Добавлен сервис "Управление SiteMap"
Возможности:
1). Многопоточный обход сайта
2). Высокая скорость сканеров
3). Индивидуальные параметры каждого из сайтов
4). Автоматическое/Полуавтоматическое генерирование файлов SiteMap
5). Автоматическая/Полуавтоматическая загрузка сгенерированных файлов на сервер
6). Назначение очереди выполнения сканирования сайтов
7). Назначение завершающих событий
8). Удобный и простой интерфейс
9). Мощный инструмент редактирования базы ссылок сайта
10). Изменении параметров сканера в процессе сканирования без остановок
11). Поддержка всеформатных ссылок
Сервис оптимизирован для работы с сайтами, содержащими большое количество страниц!
В демо режиме доступно сканирование до 1000 страниц!
Подробнее о сервисе смотрите в справке сервиса (http://forwebm.net/webmprog/help/?topic=3)
2. Добавлена поддержка сайтов на кириллице
- Доступна полная поддержка сайтов на кириллице (пример: президент.рф)
3. Изменение алгоритмов программы
- Оптимизированы алгоритмы парсеров html страниц.
- Обновлены алгоритмы обработки внешних запросов.
1. Добавлен сервис "Управление SiteMap"
Возможности:
1). Многопоточный обход сайта
2). Высокая скорость сканеров
3). Индивидуальные параметры каждого из сайтов
4). Автоматическое/Полуавтоматическое генерирование файлов SiteMap
5). Автоматическая/Полуавтоматическая загрузка сгенерированных файлов на сервер
6). Назначение очереди выполнения сканирования сайтов
7). Назначение завершающих событий
8). Удобный и простой интерфейс
9). Мощный инструмент редактирования базы ссылок сайта
10). Изменении параметров сканера в процессе сканирования без остановок
11). Поддержка всеформатных ссылок
Сервис оптимизирован для работы с сайтами, содержащими большое количество страниц!
В демо режиме доступно сканирование до 1000 страниц!
Подробнее о сервисе смотрите в справке сервиса (http://forwebm.net/webmprog/help/?topic=3)
2. Добавлена поддержка сайтов на кириллице
- Доступна полная поддержка сайтов на кириллице (пример: президент.рф)
3. Изменение алгоритмов программы
- Оптимизированы алгоритмы парсеров html страниц.
- Обновлены алгоритмы обработки внешних запросов.
Спустя 4 дня, 21 час, 1 минута, 42 секунды (27.09.2010 - 11:41) iGenek написал(а):
Обновление программы WebMaster Utility от v1.2.7
Изменения:
- Обновление алгоритма парсера ссылок сервиса "Управление SiteMap"
- Обработка ситуации "Вы робот?" при использовании малого количества прокси серверов при частом обращении к поисковикам
***Не действительно в сервисах с выполнением "только по скрипту", таких как: (Проверка позиций сайта - поиск конкурентов)
- Добавлен инструмент отслеживания ошибок обработки параметров (позволяет быстро исправить повреждения в случае возникновения ошибки при обработке параметров)
- Частичные обновления (оптимизация сервисов в целом)
- Изменение внешнего вида уведомления о доступности обновления
Изменения:
- Обновление алгоритма парсера ссылок сервиса "Управление SiteMap"
- Обработка ситуации "Вы робот?" при использовании малого количества прокси серверов при частом обращении к поисковикам
***Не действительно в сервисах с выполнением "только по скрипту", таких как: (Проверка позиций сайта - поиск конкурентов)
- Добавлен инструмент отслеживания ошибок обработки параметров (позволяет быстро исправить повреждения в случае возникновения ошибки при обработке параметров)
- Частичные обновления (оптимизация сервисов в целом)
- Изменение внешнего вида уведомления о доступности обновления
Спустя 1 месяц, 4 дня, 2 часа, 8 минут, 41 секунда (31.10.2010 - 14:50) iGenek написал(а):
Обновление программы WebMaster Utility от v1.3.0
Изменения:
1) Устранены баги некоторых сервисов
2) Добавлена поддержка английской версии программы
- Русская и английская версия программы представляют собой подобие 2 разных программ (общими для обоих версий остались Глобальные настройки, Кэш и часть сервисов программы (не требующих указания разных данных)
- Добавлена поддержка английской морфологии в сервис "Синонимайзер текста"
- Добавлена начальная база синонимов английских слов (17861 слов) для сервиса "Синонимайзер текста"
*** Данные о проверки позиций, показателей для разных версий программы могут сильно различаться! (в русской версии программы больший уклон на русский сигмент)
P.S Просьба сильно не пинать за корректность перевода
,буду признателен за указание на места, где по вашему имеется ошибка!
Изменения:
1) Устранены баги некоторых сервисов
2) Добавлена поддержка английской версии программы
- Русская и английская версия программы представляют собой подобие 2 разных программ (общими для обоих версий остались Глобальные настройки, Кэш и часть сервисов программы (не требующих указания разных данных)
- Добавлена поддержка английской морфологии в сервис "Синонимайзер текста"
- Добавлена начальная база синонимов английских слов (17861 слов) для сервиса "Синонимайзер текста"
*** Данные о проверки позиций, показателей для разных версий программы могут сильно различаться! (в русской версии программы больший уклон на русский сигмент)
P.S Просьба сильно не пинать за корректность перевода
,буду признателен за указание на места, где по вашему имеется ошибка! Спустя 10 дней, 52 минуты, 17 секунд (11.11.2010 - 15:42) iGenek написал(а):
Доступно обновление программы: v1.3.1
Изменения:
1) Обновление алгоритма парсера whois данных сайта.
==========================
2) Добавление "примечаний" к сайтам сервиса "Мониторинг показателей сайта"
==========================
3) Добавлена поддержка Яндекс XML API для выполнения запросов к Яндекс.
==========================
Описание обновления
Изменения:
1) Обновление алгоритма парсера whois данных сайта.
==========================
2) Добавление "примечаний" к сайтам сервиса "Мониторинг показателей сайта"
==========================
3) Добавлена поддержка Яндекс XML API для выполнения запросов к Яндекс.
==========================
Описание обновления
Спустя 16 дней, 21 час, 54 минуты, 43 секунды (28.11.2010 - 13:37) iGenek написал(а):
Доступно обновление программы от v1.3.2
Изменения:
- Поддержка многопоточности в сервисе "Мониторинг показателей сайта"
- Поддержка многопоточности в сервисе "Мониторинг позиций сайта"
!!Важно
Крайне не рекомендуется использовать многопоточный анализ данных без как минимум 5-7 рабочих, не забаненых поисковиками прокси серверов! Для Яндекса также желательно использование XML при многопоточной проверки данных.
(Поддержка многопоточности включается в настройках нужного сервиса, по умолчанию - выключена)
- Поддержка ссылок сайта в кодировки UTF-8 (включая с + кириллическими доменами)
Пример:
http://site.zone/страница_на_русском
http://сайт.зона/страница_на_русском
Поддержка ссылок в UTF-8 доступна как в сервисе Генерация карты сайта, так и в любом другом.
- Устранены некоторые (частичные) баги
- Возможность группового добавления прокси (импорт из файла) серверов в разделе управления списком прокси нужного сервиса.
Изменения:
- Поддержка многопоточности в сервисе "Мониторинг показателей сайта"
- Поддержка многопоточности в сервисе "Мониторинг позиций сайта"
!!Важно
Крайне не рекомендуется использовать многопоточный анализ данных без как минимум 5-7 рабочих, не забаненых поисковиками прокси серверов! Для Яндекса также желательно использование XML при многопоточной проверки данных.
(Поддержка многопоточности включается в настройках нужного сервиса, по умолчанию - выключена)
- Поддержка ссылок сайта в кодировки UTF-8 (включая с + кириллическими доменами)
Пример:
http://site.zone/страница_на_русском
http://сайт.зона/страница_на_русском
Поддержка ссылок в UTF-8 доступна как в сервисе Генерация карты сайта, так и в любом другом.
- Устранены некоторые (частичные) баги
- Возможность группового добавления прокси (импорт из файла) серверов в разделе управления списком прокси нужного сервиса.
Спустя 23 дня, 23 часа, 6 минут, 17 секунд (22.12.2010 - 12:43) iGenek написал(а):
Доступно обновление программы от v1.3.4
Изменения:
- Добавлен сервис "Генератор файлов robots.txt"
Скрин:
http://forwebm.net/webmprog/pics/_275.gif
Сервис предоставляет возможность легко создавать и редактировать файлы robots.txt не мучаясь с ручным написанием кода. Все манипуляции доступно совершать напрямую из дерева структуры кода.
Как дополнительный инструмент сервиса - имеется возможность заранее проверить необходимую страницу на потенциальный запрет для индексации прямо в редакторе файла (строка, запрещающая индексацию после проверки подсвечивается темно синим цветом).
Проверку запрета можно произвести как по всему файлу (например как это происходит при учете robots.txt в сервисе "Управление SiteMap", так и проверить по необходимому (выделенному фрагменту файла)).
Сервис не имеет ограничений в не активированном приложении!
Изменения:
- Добавлен сервис "Генератор файлов robots.txt"
Скрин:
http://forwebm.net/webmprog/pics/_275.gif
Сервис предоставляет возможность легко создавать и редактировать файлы robots.txt не мучаясь с ручным написанием кода. Все манипуляции доступно совершать напрямую из дерева структуры кода.
Как дополнительный инструмент сервиса - имеется возможность заранее проверить необходимую страницу на потенциальный запрет для индексации прямо в редакторе файла (строка, запрещающая индексацию после проверки подсвечивается темно синим цветом).
Проверку запрета можно произвести как по всему файлу (например как это происходит при учете robots.txt в сервисе "Управление SiteMap", так и проверить по необходимому (выделенному фрагменту файла)).
Сервис не имеет ограничений в не активированном приложении!
Спустя 2 дня, 3 часа, 38 минут, 21 секунда (24.12.2010 - 16:21) iGenek написал(а):
Доступно обновление программы v1.3.5
Добавлены 3 новых инструмента:
1) Инструмент "Просмотр заголовков ответа сервера (headers)"
2) Инструмент "Whois"
2) Инструмент "Ping / TraceRoute"
Подробнее о обновлении http://forwebm.net/webmprog/update/?vw=23
Добавлены 3 новых инструмента:
1) Инструмент "Просмотр заголовков ответа сервера (headers)"
2) Инструмент "Whois"
2) Инструмент "Ping / TraceRoute"
Подробнее о обновлении http://forwebm.net/webmprog/update/?vw=23
Спустя 4 дня, 37 минут, 9 секунд (28.12.2010 - 16:58) iGenek написал(а):
Доступно обновление программы v1.3.5.1
Изменения:
- Добавлен новый показатель "Регистратор домена"
Показатель доступен в любом сервисе, где имеется возможность создания новых показателей. Определен как "строковый показатель". Отображает данные о регистраторе в соответствии с данными о регистраторе, которые предоставляет whois.
- Добавлена поддержка добавления группы сайтов в сервис "Мониторинг показателей сайта"
Добавление группы сайтов доступно из меню "Сайты" сервиса.
- Добавлена поддержка добавления доменов с несуществующими сайтами в сервис "Мониторинг показателей сайта"
- Внесены поправки в алгоритм проверки обновлений программы. (в версии v1.3.5 возможно отображение пустого текста при выводе информации о доступности обновлений. Последствий не несет, после обновления - текст вновь будет отображаться как раньше)
Изменения:
- Добавлен новый показатель "Регистратор домена"
Показатель доступен в любом сервисе, где имеется возможность создания новых показателей. Определен как "строковый показатель". Отображает данные о регистраторе в соответствии с данными о регистраторе, которые предоставляет whois.
- Добавлена поддержка добавления группы сайтов в сервис "Мониторинг показателей сайта"
Добавление группы сайтов доступно из меню "Сайты" сервиса.
- Добавлена поддержка добавления доменов с несуществующими сайтами в сервис "Мониторинг показателей сайта"
- Внесены поправки в алгоритм проверки обновлений программы. (в версии v1.3.5 возможно отображение пустого текста при выводе информации о доступности обновлений. Последствий не несет, после обновления - текст вновь будет отображаться как раньше)
Спустя 8 дней, 2 часа, 21 минута, 56 секунд (6.01.2011 - 19:20) iGenek написал(а):
Доступно обновление программы v1.3.5.3
Изменения:
- Добавлена поддержка выбора источника(ов) данных для получения информации о сайте.
Данная опция позволяет использовать от 1 до нескольких источников для получения данных о сайте.
*** Если выбран один источник - данные обрабатываются на указанном источнике, если не выбран ни один источник -
данные обрабатываются стандартным для текущих данных источником, если выбрано несколько источников - данные
обрабатываются всеми выбранными источниками, затем выбирается максимальный результат (увеличивает расход трафика).
** Кэш для каждого источника разный!
Изменения:
- Добавлена поддержка выбора источника(ов) данных для получения информации о сайте.
Данная опция позволяет использовать от 1 до нескольких источников для получения данных о сайте.
*** Если выбран один источник - данные обрабатываются на указанном источнике, если не выбран ни один источник -
данные обрабатываются стандартным для текущих данных источником, если выбрано несколько источников - данные
обрабатываются всеми выбранными источниками, затем выбирается максимальный результат (увеличивает расход трафика).
** Кэш для каждого источника разный!
Спустя 2 месяца, 15 дней, 17 часов, 10 минут, 45 секунд (22.03.2011 - 12:31) iGenek написал(а):
Доступно обновление программы: v1.3.5.5
Изменения:
- Добавлена возможность настройки правил анализа файла robots.txt при сканировании сайта в сервисе "Управление SiteMap"
Настройка правила доступна из окна добавления/изменения параметров сайта.
Настройка устанавливается для каждого сайта в отдельности.
Вид окна настройки правил сканирования:
Правило позволяет установить список роботов, учет которых будет вестись при анализе запрета индексации при обходе сайта.
- Если Выбрано: "Использовать для анализа весь файл"
Будет анализироваться все содержимое файла robots.txt (все блоки роботов). При запрете индексации будет учтен первый из всех запретов.
Весь файл также будет анализироваться при любом другом типе анализа, если список роботов пуст.
- Если выбрано: "Анализировать всех роботов, кроме тех что в списке"
При таком типе анализа будут участвовать в анализе запрета все блоки роботов
(
например:
User-Agent: yandex
disallow: /
allow: /page
и так до следующего блока или конца файла..
)
кроме роботов, указанных в списке.
- Если выбрано "Анализировать роботов только из списка"
Будут учитываться блоки роботов только тех, которые указаны в списке.
Изменения:
- Добавлена возможность настройки правил анализа файла robots.txt при сканировании сайта в сервисе "Управление SiteMap"
Настройка правила доступна из окна добавления/изменения параметров сайта.
Настройка устанавливается для каждого сайта в отдельности.
Вид окна настройки правил сканирования:
Правило позволяет установить список роботов, учет которых будет вестись при анализе запрета индексации при обходе сайта.
- Если Выбрано: "Использовать для анализа весь файл"
Будет анализироваться все содержимое файла robots.txt (все блоки роботов). При запрете индексации будет учтен первый из всех запретов.
Весь файл также будет анализироваться при любом другом типе анализа, если список роботов пуст.
- Если выбрано: "Анализировать всех роботов, кроме тех что в списке"
При таком типе анализа будут участвовать в анализе запрета все блоки роботов
(
например:
User-Agent: yandex
disallow: /
allow: /page
и так до следующего блока или конца файла..
)
кроме роботов, указанных в списке.
- Если выбрано "Анализировать роботов только из списка"
Будут учитываться блоки роботов только тех, которые указаны в списке.