Мини-чат
Для добавления необходима авторизация
Суббота, 16.12.2017, 12:10


Главная| Регистрация | Вход
Не дорого
Реклама
Не дорого
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Страница 1 из 11
[Форум] Общение, Юмор, uCoz Скрипты, и вопросы. » Для uCoz... » Помощь в uCoz'е » Составление файла ROBOTS.TXT (Очень поможет)
Составление файла ROBOTS.TXT
casperДата: Четверг, 18.10.2012, 14:28 | Сообщение # 1
Группа:
Награды на форуме:

За создание сайта За 20 постов За 30 постов За 40 постов За 50 Постов За 60 Постов За 80 постов За 95 постов За 200 постов За 350 постов
Сообщений: 444
Награды: 0
Репутация: 45
Статус:
Формат файла robots.txt
Robots.txt — простой текстовый файл1, который должен находиться в корневой директории сервера. Имя файла должно быть в нижнем регистре (ROBOTS.TXT, Robots.txt — неправильно).

В файле содержатся записи, отделяемые одной или несколькими пустыми строками (разделяемыми CR, CRNL, NL или r, rn, n). Каждая запись, в свою очередь, состоит из строк следующего вида:

имя_поля[необязательные пробелы]:[необязательные пробелы]значение[необязательные пробелы]

Поле является нечувствительным к регистру (case insensitive).

Каждая запись начинается одной или несколькими строками, где имя_поля=User-agent, после чего следует одна или несколько строк, где имя_поля=Disallow, имена полей, которые отличаются от двух указанных, игнорируются2.

Знак «#» означает, что пробелы перед ним и все символы до конца строки являются комментарием. Строки, содержащие только комментарий, игнорируются и не могут использоваться для разделения записей.
User-agent

* Значением этого поля является имя робота, к которому применяются правила доступа;
* Если строк с User-agent несколько, то для всех роботов применяются одинаковые правила, которые содержаться в текущей записи;
* Если значение поля равно «*», то правила применяются к любому роботу, для которого нет отдельной записи. В файле robots.txt может быть только одна запись с User-agent: *.

Disallow

* В записи должно быть хотя бы одно поле Disallow;
* в поле Disallow указывается частичный или полный путь (URL), который не будет посещен;
* пустое значение (Disallow: ) интерпретируется как разрешение на посещение любой страницы;
* регулярные выражения и символы подстановки запрещены3.

Практика

В процессе обработки сайта роботы имеют массив ссылок для посещения и набор правил исключения из файла robots.txt. Для каждой ссылки выделяется путь (http://www.site.com/path/to/file.html), после чего к этому пути применяются по очереди правила исключения. Пусть в файле есть строка Disallow: /path/to, она сравнивается с соответствующей подстрокой ссылки:
http://www.site.com/path/to/file1.html — посещение запрещено;
http://www.site.com/path/to/file2.html — посещение запрещено;
http://www.site.com/path/file3.html — посещение разрешено.

Чтобы запретить роботу посещение динамических страниц, можно использовать частичный путь. Например, чтобы запретить посещение страниц для печати вида http://www.site.com/index.php?action=print&id=1, но разрешить посещение страниц вида http://www.site.com/index.php?action=view&id=1, необходимо в robots.txt написать следующее:
Disallow: /index.php?action=print
Однако следует учитывать порядок параметров в ссылке. Так, следующие страницы робот посетит: http://www.site.com/index.php?id=1&action=print http://www.site.com/?action=print&id=1
Пример файла robots.txt

User-agent: *
Disallow: /news
# запретить всем роботам индексировать ссылки,
#которые начинаются с /news

User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng

User-agent: Yandex
Disallow:
#Яндексу разрешить все.

Следует заметить, что файл robots.txt не является панацеей, так как его правила исключения используют только «культурные» роботы, а наряду с ними существует целый список роботов, сервисов и программ, которые не следуют правилам исключения, либо игнорируют существование файла robots.txt на сайте.

Кроме этого в файл исключений не стоит добавлять пути к файлам, о существовании которых не следует знать посторонним людям. Файл robots.txt доступен всем, поэтому присутствие там строк, вроде Disallow: /admin, только подзадорит некоторых посетителей к совершению вредоносных действий.
Примечания

1. В некоторых случаях используется динамическое формирование файла robots.txt, для сайтов с зеркалами.

2. Некоторые системы поддерживают дополнительные поля. Яндекс, например, использует поле Host для определения основного зеркала сайта.

3. Некоторые системы разрешают использование регулярных выражений. Так Гугл, который имеет поиск по изображениям, файлам PDF и другим, поддерживает в поле Disallow символы «*» (любая последовательность символов) и «$» (окончание строки ссылки). Это позволяет запретить индексирование определенного типа файлов:
User-agent: Googlebot
Disallow: *.pdf$
#Запрет индексации файлов PDF

По мнению автора это избыточное расширение, так как с тем же успехом можно вынести все документы PDF в отдельный каталог и запретить его индексирование:
User-agent: *
Disallow: /pdf/





Хочеш Бан?... Хочеш Бан?!.... Хочеш Бан?!!..... Хочеш БАНАН?!!!
 
[Форум] Общение, Юмор, uCoz Скрипты, и вопросы. » Для uCoz... » Помощь в uCoz'е » Составление файла ROBOTS.TXT (Очень поможет)
Страница 1 из 11
Поиск:


Статистика Форума
Последние обновленные темы Самые популярные темы Самые активные Новые участники
КАК РАЗБЛОКИРОВАТЬ ALTEL ... Ответов [ 6 ]
Как поднять ТИЦ Ответов [ 2 ]
Ничего Интересного Ответов [ 2 ]
Называние вашего сайта са... Ответов [ 2 ]
Мини профл Ответов [ 1 ]
PDA Шаблон Ответов [ 0 ]
Набор Модераторов Ответов [ 4 ]
Меню Ответов [ 1 ]
Кнопка купить Ответов [ 1 ]
Скрипт СНЕГ на сайт (Оч. ... Ответов [ 2 ]
Фото Приколы Ответов [ 200 ]
Black admin Ответов [ 8 ]
3D на асфальте... Ответов [ 7 ]
КАК РАЗБЛОКИРОВАТЬ ALTEL ... Ответов [ 6 ]
Ссылки для раскрутки сайт... Ответов [ 4 ]
Кнопки для сайта Ответов [ 4 ]
Набор Модераторов Ответов [ 4 ]
Набор Дизайнеров Ответов [ 4 ]
Города Ответов [ 4 ]
Тест Скрипта Post scriptu... Ответов [ 4 ]
casper Постов [ 444 ]
devil_kiss Постов [ 7 ]
JaZz-CSs Постов [ 7 ]
pro_kzS1ko Постов [ 3 ]
startsmart Постов [ 3 ]
Abatik Постов [ 2 ]
Onlines Постов [ 2 ]
0_o Постов [ 1 ]
DonaldDack Постов [ 1 ]
roman Постов [ 1 ]
deonisegribДата [ 03.11.2017 ]
ТиХиЙДата [ 23.08.2017 ]
SkifДата [ 13.07.2017 ]
NisusДата [ 06.06.2017 ]
Sanek86rusДата [ 22.01.2017 ]
grigorev2015taz777Дата [ 21.01.2017 ]
dima_grigorev_93_93Дата [ 19.01.2017 ]
kotlov_06Дата [ 18.12.2016 ]
VLaD_1kkkДата [ 28.10.2016 ]
aleks97640Дата [ 07.09.2016 ]
Теги для пойска:
aim bot для cs Counter-Stirke asasins creed новости зомби Crysis - PC Game Torrent crysis 3 скачать Игры Новости игровые новости смотреть новости видео online diz-cs бесплатно сервера читы Лого игровые онлайн 257 duel для Publik плагины для cs смотреть cs16 CDHACK 7.1 для cs чит аамо Garena RUS Check mesters by casper garena shells hack admin.amxx admin_sql.amxx admincmd. AIM BOT + SPEEDHACK Плагин Extra Extra Items shield force - При выстреле в зомби - он превращ Antiblock Anti-Infection Armor (Броня для люд видео о cs 1467_Battle_Hardened cs видео фото AMX команды для админа Comand AmmoChange на Admin chemax CheMax Rus 7.9 addon display (Rus) Current zp server DODJE funny (Funny crazy!) zombie Effect de_dust2 приколы asult dust Counter-Strike Alien de_desktop fy_pool_day скчать карты cs16patch_full_v37 CSrun v7 - программа для запуска се DeathRun 3.0.3 Server скачать DRInviso дает меню для Т by Ollz ru Funny Voice - программа для изменен c1.6 v35 No-Steam AP AdminChat Big HuD Msg плагины скачать плагины для cs Classic server by deO читы для cs Скрипты скачать для cs Bunny Hop скачать $E Agent Smith (Urban CT) МОДЕЛИ ИГРОКОВ Coloured Bind Maker CS Flame Nades Admin_lightning Soft софт Counter strike 1.6 cs скачать Скрипты для CS взлом для моды Анти КАК
http://m4a1-m4a1.clan.su/ © Все права защищены! | Sitemap-forum | Используются технологии uCoz Советуем просматривать сайт через браузер Opera или Mozilla Firefox