воскресенье, 7 июня 2009 г.

Зашёл в гости какой-то бот

Буквально недавно наблюдал вот такую картину на своём домашнем серваке:

Загрузка более 88%! На картинке 49-ть одновременных коннектов к апачу(в реале - ещё больше).

Лень разбираться, кто это и зачем, но такое бывает очень часто. На сервере около сотни сайтов. Вот скажите мне, если бы всё это лежало у хостера на аккаунте, как бы на вас хостер посмотрел? И почему-то я уверен, что банально бы в даун вся ваша связка ушла бы от такого сканирования, а вы бы и не знали. Только потом, удивлялись бы, почему ваши белые и пушистые сайты вылетают из индекса.

Кстати, при загрузке более 5% - сайты начинают открываться с заметным затруднением, поэтому для меня это барьер, через который я стараюсь не переходить.

8 комментариев:

  1. Ну так обычно ставится ограничение на количество коннектов с одного ip. А сейчас может и дальше техника ушла, можно ведь и связку ip + user agent проверять, как счетчики это делают. :)

    ОтветитьУдалить
  2. Ставь nginx, это хоть как-то снимет часть нагрузки.

    ОтветитьУдалить
  3. Ну кроме средств борьбы с наглоботами через robots.txt еще есть разные ddos deflate решения

    А вообще тебе про nginx правильно сказали

    ОтветитьУдалить
  4. 1. про nginx уже написали
    2. http://ru2.php.net/apc (если у тя Debian based дистр. то он из пакета быстро ставится).

    ОтветитьУдалить
  5. А еще найти списки IP нежелательных ботов и занести их в черный список.
    Есть чудопоисковики которые сканят сайты за один присест. Если на сайте сотня страниц - ничего. А если пару тысяч то запросы идут до 3-х за секунду и скапливаются.

    Еще вариант качают сайт. У меня так каждые выходные сайт выкачивали, сервак ложился. Забанить пришлось, с киевского провайдера какойто перец качал.

    ОтветитьУдалить
  6. Народ, большинство рекомендаций - я знаю. Не парьтесь, такие нагрузки бывают кратковременно, и в течение 5-и минут со всего сервера лишь 3-и 500 ошибки. Это я вам как пример показал, сравнения, домашнего сервака и хостинг аккаунта.

    ОтветитьУдалить
  7. Тогда еще совет - не держать 100 сайтов на одном серваке. Все яйца в одной корзине - опасно. А еще если и линковать их между собой - вообще ж*па.

    ОтветитьУдалить

Внимание! Все ссылки проходят фейс контроль. Все ссылки REL=NOFOLLOW. Удаляются все комментарии, кроме: анонимных или с ссылками на личные финансовые блоги.