Частые вопросы по работе генератора Sitemap. Как создать XML Sit
[/] Рус Eng (499) 403-36-10 Москва (499) 403-36-10 Москва (044) 362-20-12 Киев Пн—Пт, 11:00—19:00 Служба поддержки Индивидуальное обслуживание Купить пин-код со скидкой Помощь вебмастеру Sitemap-генератор RSS-генератор YML-генератор Проверка сайта Мой генератор Создание Sitemap Частые вопросы Вход для пользователей Регистрация Напомнить пароль Частые вопросы по работе генератора Sitemap Список Частых Вопросов и Ответов по работе генератора (Sitemap FAQ) Рекомендации по настройкам генератора Индексация кириллических доменов и зоны РФ Порядок предоставляемых услуг и объем выделения технических ресурсов регламентируется Публичной офертой . Пожалуйста, ознакомьтесь с этой информацией Посмотрите ознакомительную видео-инструкцию по работе с нашим сервисом. Если у Вас возникают проблемы с индексацией сайта: Почему не индексируется сайт: возможные причины Для пользователей услуги «Обновляемый Sitemap» Подключение шлюза на Ваш веб-сайт Если у Вас возникли вопросы по оплате: Оплата средствами WebMoney Оплата через платежную систему QIWI Оплата банковской картой Содержание справки Какие виды URL сайтов понимает робот? | страница: → Какие протоколы передачи данных поддерживаются роботом? | страница: → Какие форматы документов обрабатывает робот? | страница: → Какие кодировки веб-страниц поддерживаются роботом? | страница: → Какой лимит на кол-во индексируемых страниц в бесплатном генераторе Sitemap? | страница: → Будут ли учтены запреты индексации, прописанные в robots.txt? | страница: → Индексация скрытых страниц (Deep Web) | страница: → Как робот обрабатывает внутрихостовые серверные редиректы? | страница: → Обрабатывает ли робот канонические ссылки (rel=canonical)? | страница: → Обрабатывает ли робот AJAX-ссылки (hashbang) | страница: → Формирование даты документов из ответа сервера (аттрибут lastmod) | страница: → Обработка и удаление phpsessid и sessionID (идентификаторы сессий PHP- и ASP-приложений) | страница: → Как происходит добавление изображений в Sitemap? | страница: → Как работает фильтрация разнородного содержимого? | страница: → Какую информацию содержит отчет, создаваемый при обходе веб-сайта сканером? | страница: → У меня очень большой сайт, что будет когда количество проиндексированных страниц превысит максимально допустимый размер файла XML Sitemap в 50 000 URL? | страница: → Как использовать Фильтры данных? | страница: → Как работает функция «Получить на e-mail»? | страница: → Сколько времени созданные файлы Sitemaps доступны для скачивания по отправленным ссылкам? | страница: → Как проверить текущее состояние обработки сайта? | страница: → От чего зависит скорость индексации моего сайта? | страница: → Могу ли я преждевременно остановить процесс индексации сайта? | страница: → Как сообщить поисковым системам о моем файле Sitemap? | страница: → Выбор оптимальной скорости индексации и уровня нагрузки на Ваш веб-сервер | страница: → Индексация сайта глазами поискового робота | страница: → Каким требованиям должна отвечать главная страница домена, чтобы сканер мог проиндексировать мой сайт? Страница должна быть доступна, возвращать HTML-код и содержать ссылки на внутренние страницы. Дальнейшее сканирование сайта происходит на основе ссылок, которые будут найдены на главной странице. Главная страница так же может содержать внутрихостовый серверный редирект, который будет обработан. Какие виды URL сайтов понимает робот? Международные домены (gTLD) Интернационализованные домены (IDN) Национальные домены (ccTLD) При запуске, сервис принимает в обработку только такие формы URL, которые представляют собой доменное имя. При этом домен может быть любого уровня. С января 2011 введена поддержка индексации кириллических доменов , включая зону .РФ! Примеры URL: http://mydomain.com http://sub.mydomain.ru http://ваш-домен.рф Какие протоколы передачи данных поддерживаются роботом? Mysitemapgenerator поддерживает протоколы HTTP и HTTPS . Обратите внимание на то, что согласно спецификации протокола XML Sitemaps, индексация сайта и формирование данных проводятся только в указаном протоколе передачи данных. Какие форматы документов обрабатывает робот? Поддерживаются следующие типы документов: Обработка и индексация: HTML (основной робот), WAP WML/xHTML (мобильный робот) Обработка: Adobe PDF, Microsoft office DOC/DOCX, RTF, TXT. Какие кодировки веб-страниц поддерживаются роботом? Список поддерживаемых кодировок: windows-1251, uft-8, koi8-r. В режиме турбо так же поддерживаются: utf-16, utf-32. Кроме того, в большинстве случаев наш робот сумеет автоматически определить кодировку, даже если Ваш сервер не выдает соответствующую информацию или выдает ее не правильно. Какой лимит на кол-во индексируемых страниц в бесплатном генераторе Sitemap? В бесплатной версии генератора будет проиндексировано 500 страниц сайта. Редиректы и "битые" ссылки не учитываются. Будут ли учтены запреты индексации, прописанные в robots.txt? Опционально. При отмеченной опции генератор учитывает инструкции Allow и Disallow общей секции User-agent: * «Персональные» секции User-agent: Google или User-agent: Yandex учитываются при выборе соответствующего варианта идентификации краулера в качестве поискового робота . Так же, Вы можете создать секцию User-agent: Mysitemapgenerator, которая будет учитываться при выборе прямой идентификации наших роботов (Mysitemapgenerator-HTTP или Mysitemapgenerator-Mobile - для Sitemap mobile ). Индексация скрытых страниц (Deep Web) Deep Web («невидимая паутина» - рус.) – веб-страницы, неиндексируемые поисковыми системами по причине отсутствия на них гиперссылок с доступных страниц. Например – это страницы, генерируемые через интерфейсы HTML-форм или содержимое фреймов. Если Вы хотите обнаружить и включить такие страницы в Sitemap, отметьте нужные опции: «индексировать формы» (сабмит происходит без заполнения); «индексировать фреймы» (содержимое