Гугл Вебмастер - удаление страниц из индекса и robots.txt
После входа в аккаунт Гугл вебмастера под «Файлы Sitemap», можно увидеть какие и сколько карт веб-ресурса были съедены Гошей. В графе «Ссылки на…» вижно общее количество страничек, которые нашел Гугл и которые ссылаются на ваше вебдетище. Для просмотра полного перечня ссылающихся страничек нужно кликнуть по ссылке «Дополнительно». Пункт в этом разделе под названием «Доступ для сканера» открывает страничку с одноименным названием. На этой странице находится 3 вкладки. Первая закладка, где можно проверить txt файл robots даст возможность проверить работоспособность файла robots.txt. В верхнем окошке данной странички виден контент txt файла robots, а в окошко под наименованием «URL-адреса» можно вставить гиперссылки на странички Вашего вебдетища, которые вы желаете проверить на досягаемость для поисковых роботов Гугл при этом, помимо основного робота можно выбрать и специализированного робота. Кликните по кнопке «Проверить» и внизу окошка будет виден результат проверки, по выбранному типу поискового бота. Ежели результат не совпадает с тем, что хотелось получить, то придется продолжать править txt файл robots до того момента, покуда все не начнет работать как нужно. На страничке 2-ой вкладки можно использовать услуги мастера создания txt файла robots. Вы выбираете требуемое действие и поискового бота, для коего этого действие выбирается. Далее Вы выбираете файл или директорию, на которую распространится это действие. У вас есть возможность загрузить созданный файл, чтобы проверить его работоспособность на первой вкладке. В документе третьей вкладки Гугл веб-мастер «Удалить URL» можно создать запрос удаления адреса, целого каталога, всего веб-ресурса или любой странички из кеша Гугл. Для этого следует жмакнуть «Создать запрос на удаление», а после этого выбрать то, что нужно удалить.