Не все поисковые роботы одинаково полезны. А некоторые способны резко повысить нагрузку на сервер хостинга, создаваемую сайтом, до таких пределов, что сайт приходится закрывать.
Но этого можно избежать простыми методами. Собственно об этом статья - http://www.ho.ua/ru/robots.html
Снижение нагрузки от спам- и поисковых роботов
Модераторы: hoadmin, dobs, ArniXXX, hostess, bj
-
- HO Support
- Сообщения: 457
- Зарегистрирован: Пт окт 13, 2006 11:14
- Откуда: Киев
- Контактная информация:
Снижение нагрузки от спам- и поисковых роботов
HO Support team
-
- Сообщения: 925
- Зарегистрирован: Сб мар 14, 2009 00:23
- Откуда: пгт. Войтовцы
- Контактная информация:
Re: Снижение нагрузки от спам- и поисковых роботов
Как вариант, для блокировки доступа к сервисным страницам сайта
Главная страница сайта не блокируется, при первом же движении мыши записывает в куки ключ доступа.
При переходе на эти самые сервисные страницы проверяем следующие параметры:
не является ли клиент поисковым ботом, если да, то разрешаем доступ;
проверяем ключ доступа, который был записан ранее, если совпадает, то идем дальше;
проверяем версию протокола (опционально), если версия 1.1, о идем дальше;
проверяем реферер, если страница была запрошена с нашего сайта, то разрешаем доступ, если два предыдущих условия также выполнились.
Код для вставки на главную страницу (после тега body):
Добавить с .htaccess
Таким образом блокирую перебор паролей, рассылку спама и пт.
Не панацея, но вполне работоспособно, ИМХО
Главная страница сайта не блокируется, при первом же движении мыши записывает в куки ключ доступа.
При переходе на эти самые сервисные страницы проверяем следующие параметры:
не является ли клиент поисковым ботом, если да, то разрешаем доступ;
проверяем ключ доступа, который был записан ранее, если совпадает, то идем дальше;
проверяем версию протокола (опционально), если версия 1.1, о идем дальше;
проверяем реферер, если страница была запрошена с нашего сайта, то разрешаем доступ, если два предыдущих условия также выполнились.
Код для вставки на главную страницу (после тега body):
Код: Выделить всё
<script type="text/javascript>
// Анти-бот
var trig = false;
var cookie_var = "blablabla";
function init_process(){
if ( trig == false ){
trig = true;
document.cookie="access_key=" + cookie_var + "; path=/";
};
};
var doc = document.getElementsByTagName('body')[0];
doc.onmousemove = function(){ init_process(); };
</script>
Код: Выделить всё
RewriteEngine on
# Доступ ботам поисковых систем
RewriteCond %{HTTP_USER_AGENT} !^.*Google.*$ [NC]
RewriteCond %{HTTP_USER_AGENT} !^.*Yandex.*$ [NC]
# Проверка ключа Cookie
RewriteCond %{HTTP_COOKIE} !^.*access_key=blablabla.*$ [OR]
# Проверка версии протокола (только 1.1)
RewriteCond %{SERVER_PROTOCOL} !^.*1.1$ [OR]
# Проверка переменной referer (только со своего сайта)
RewriteCond %{HTTP_REFERER} !^http://www.ho.ua/.*$
RewriteRule ^(index.html|a.html)$ - [F]
Не панацея, но вполне работоспособно, ИМХО
Fusion Player — модуль для CMS PHP-Fusion (demo video: посмотреть)
Не использую пиратского ПО
IP-PBX Asterisk українською. Зроби краще!
«ХО» – мое все.
А ты перевел свой домен на DNSSEC?
Slackware user
Не использую пиратского ПО
IP-PBX Asterisk українською. Зроби краще!
«ХО» – мое все.
А ты перевел свой домен на DNSSEC?
Slackware user