На заглавную  |  Контактная информация и обратная связь  |  Поиск    Главная  |  Статьи  |  Downloads  |  Форум  |  FAQ  |  Версия для КПК   December 11 2017 13:02:55  
WEB Design & PHP перейти на главную Статьи Ответы на часто задаваемые вопросы Загрузки Форум
PHP-Fusion Украинская поддержка Статьи Ответы на часто задаваемые вопросы Загрузки Форум
 
 Навигация
Новости
Статьи

FAQ
Поиск

Учебник по HTML
Карта сайта
Ссылки
Обратная связь


Альтернативная карта сайта
RSS новости
Версия для КПК
 
 Спонсоры проекта

Синельниковский информационно-развлекательный портал



Кондиционеры в Киеве


 
 Рассылка новостей
Только для зарегистрированных пользователей
 
 Ваш IP адрес
54.92.194.75
 
 Рекомендуем посетить
 
 Загрузки
Новые файлы
Professional Download ...
База игр
Мод "проверочный код +...
Мод "login redirect"
Мод "register.php + но...
Errors mod
unactivated users v3.0
Мод "index.php + мод п...
Мод "проверочный код в...
Менеджер смайлов
Переработанный плагин ...
Панель статистики (форум)
Гостевая книга
Панель "навигация + св...
Система баннеро-обмена
See bot info
Обновление для версии ...
PHP-Fusion 6.01.12
Руководство пользовате...
Обновление для версии ...

Toп 20 файлов
Колекция кнопочек, ука... [5494]
Плагин интернет магази... [4577]
Button Panel v1.0 [4198]
Professional Download ... [3752]
Black_Tomato [3695]
BlueIce-Skaidon [3648]
Карта сайта для PHP-Fu... [3625]
"Koмпьютерная" тема дл... [3622]
PHP-Fusion 6.01.12 [3457]
Панель "навигация + св... [3327]
Rss парсер для PHP-Fusion [3309]
slideshows_random_phot... [3163]
ZoneCopper [3103]
Руководство пользовате... [3100]
MP3 Архив v.2.0 [3094]
FT03 [3018]
F-Liquid [3014]
Голосование для всех (... [2945]
Работающий TinyMCE.. [2904]
Переработанный плагин ... [2813]
 
 Рекомендуем посетить
 
Для просмотра нажмите стрелку слева Кнопки партнеров
Регистрация и вход
 
 

Файл robots.txt и его назначение

Что такое robots.txt и для чего он нужен



Файл robots.txt размещается в корневой директории сайта и описывает исключения для поисковых ботов. Придерживающийся стандартов бот проверяет сначала url "/robots.txt", если файл существует, то бот анализирует его содержимое на предмет наличия запретов к посещению определённых частей сайта. Имя файла не должно содержать заглавных букв. Записи в файле разделяются одной или несколькими пустыми строками. Комментарии в файле robots.txt начинаются знаком “#” и заканчиваются окончанием строки (строки, содержащие только комментарии игнорируются ботами и не являются разделителями записей).

User-agent
Имя бота, к которому применяются правила исключений на сайте. Можно прописать несколько строк с User-agent, в этом случае правила, описанные в данной записи будут применяться указанными ботами. Для описывания правил ботам, для которых отдельная запись не составлена применяют следующий параметр: «*» (в файле robots.txt может быть только одна запись User-agent: *).

Disallow
В данном поле прописывается полный или частичный путь к месту на сайте, посещение которого запрещено для бота. В каждой записи должно присутствовать как минимум одно поле Disallow. Пустое поле Disallow подразумевает разрешение боту посещать все директории и файлы сайта. Не допускается использование в данном поле регулярных выражений и символов подстановки.


Примеры для http://site.ru/
(Показывает как можно сочетать директивы в файле robots.txt но не несущий смысловой нагрузки)


User-agent: Yandex
Disallow: /test/
Disallow: /print.html


# Запрещает ботам Яндекса посещать папку http://site.ru/test/
# и файл http://site.ru/print.html

User-agent: Aport
User-agent: Googlebot
Disallow: /temp/img/

# Запрещает посещение ботами Google и Апорт http://site.ru/temp/img/

User-agent: StackRambler
Disallow:

# Для бота поисковой системы Рамблер разрешено посещение всех
# страниц и папок сайта

User-Agent: *
Disallow: /lesson.php?action=test

# Запрещает посещение всеми ботами, для которых не сделана
#отдельная запись,
# динамических страниц, начинающихся с http://site.ru/lesson.php?action=test
# например: http://site.ru/lesson.php?action=test&id=13
# чувствительно к порядку переменных в ссылке


Некоторые поисковые системы поддерживают дополнительные поля в файле robots.txt. Яндексом поддерживается директива Host, служащая для назначения основного зеркала:


User-agent: Yandex
Disallow: /test/
Host: site.ru

# разрешено посещение всех страниц и папок на сайте, кроме http://site.ru/test/
# основным зеркалом назначено http://site.ru/

User-agent: *
Disallow:

# всем ботам, кроме бота Яндекса, разрешено посещение всех страниц и
# папок на сайте


Запретить сайт к индексации полностью можно с помощью такого файла robots.txt


User-agent: *
Disallow: /


Наиболее актуальные для Рунета, на мой взгляд, боты:
(думаю, даже расшифровывать не требуется)
Yandex
Googlebot
StackRambler
Aport


Более полным списком не вижу смысла загромождать топик, кому интересно - обращайтесь в личку - вышлю.

Рекомендации по запрету к индексации
Что не следует указывать в файле robots.txt:
- папки с административными файлами
- файлы, о которых посторонним вообще знать не стоит
Прописывание путей к данным частям сайта может породить нездоровый интерес и попытки совершения зловредных действий, рады которым Вы уж точно не будете. К тому же есть и альтернативные способы запрета посещения и индексации ботами страниц.

Стоит запретить к индексации:
- документы "для печати"
- папки со скриптами
- папки с картинками (если у Вас не предвидится целевой аудитории с поиска по картинкам)
- сервисные страницы, такие как, например, страница с формой отправки письма администрации, схема проезда

Ошибки, допускаемые при составлении robots.txt
Как не надо делать:
Имя файла содержит заглавные буквы – Robots.txt или ROBOTS.TXT
Файл robots.txt размещается не в корневой директории
Пустая строка после поля User-agent
Отсутствие директивы Disallow
Использование в поле Disallow символов подстановки или регулярных выражений, например: "?", "*"
Больше одной строки "Disallow: *"


Пример ничего не запрещающего robots.txt
(основное зеркало site.ru)


User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: site.ru

Статья любезно предоставленна администратором сайта SEO Way - очерки о поиске


 

Украинская Баннерная Сеть
 
 Категории новостей
Для просмотра нажмите стрелку слева Наш банер
RSS новости php fusion  Новости RSS
 Просьба...
Убедительная просьба!
Свои вопросы касательно
PHP-Fusion,
задавать в форум,
а не в миничат!

Миничат для флуда,
а если хотите получить ответ,
то к Вам убедительная просьба
- - - -

Пишите в форум!!!

 
Для просмотра нажмите стрелку слева 
Смена Темы
Нажмите (F5) для обновления
 Мини-чат
Вам необходимо залогиниться.

maf
06/06/2013 15:10
Зачем на амеров пинять - сами то что полезного сделали хоть раз? Или абы только потрындеть?

kot2007
18/05/2013 11:31
Почитав про USA http://www.php-fusion.co.
uk/news.php?readmore=572 , згадав про цей сайт... А тут вже все пилом припало і павутиною заросло smiley


maf
30/11/2012 00:33
? вам поговорить или проспамиться? ваша ссылка в ноиндексе ))

Dino
12/11/2012 23:47
Гых... народу, скажем, не густо %)

jikaka
13/02/2012 10:22
smiley

Архив чата
 
 Категории статей
 Последние статьи
Создание и раскрутка...
Шаблоны сайтов или о...
Как выбрать камеру в...
Устройство тем в Php...
Файл robots.txt и ег...
Выбор ключевых слов ...
Работа с кодировками
Индекс цитирования
PHP 5 -что изменилось?
 
 Партнеры проекта