1. Главная
  2. Форумы
  3. Техподдержка Drupal
  4. Масштабируемость, нагрузка и быстродействие

Mail.ru нагружает не по детски.

Главные вкладки

Аватар пользователя Urfin Urfin 18 февраля 2011 в 0:54

Посмотрел статистику "Активных посетителей". Скажите это нормально?
Хиты | Посетитель | Общее время генерации страницы
2578 | 217.69.134.176 | 47 минут 45 секунд
Паук mail.ru оказался самым активным посетителем Smile Может его заблокировать?
У меня счетчик статистики этого сервиса установлен. Он так хавает ресурсы?

Комментарии

Аватар пользователя Urfin Urfin 20 февраля 2011 в 1:12

Проблема в том, что майловский паук грузит сайт. Почти час в сутки на генерацию непонятно для чего - много, ИМХО. Счетчик тут не при чем. Выяснил. Заблокировал этот IP. Посмотрю на рейтинги в поисковиках. Хотя не думаю, что они упадут.

Shift-Web Whois сказал майловский паук. Хотя я не ручаюсь за это.

Аватар пользователя Shift-Web Shift-Web 20 февраля 2011 в 4:34

"Urfin" wrote:
Проблема в том, что майловский паук грузит сайт. Почти час в сутки на генерацию непонятно для чего - много, ИМХО. Счетчик тут не при чем. Выяснил. Заблокировал этот IP. Посмотрю на рейтинги в поисковиках. Хотя не думаю, что они упадут.
Shift-Web Whois сказал майловский паук. Хотя я не ручаюсь за это.

Мэйл.ру, апорт и рамблер(ещё пару десятков "поисковиков") вообще пользы не приносят(>в большинстве ситуаций<). Смотрите на показатели трафика. Если он существенный и даёт посетителей, то имеет смысл как то выкручиваться. Если с них нет профита да они ещё и сайт тушат -- забаньте нахрен Smile

У мэйл ру до сих пор своей базы поисковой нормальной нет -- это не поисковик. К слову. Та же Нигма использует одновременно несколько поисковиков - собсно Нигма выступает в роли прослойки.

Думайте сами.

Аватар пользователя Urfin Urfin 20 февраля 2011 в 13:49

А че тут думать? Основные заходы с гугла и яндекса. Есть и бинг, но мало. С майла очень редко кто заходит, а если уж и зайдет то по прямой ссылке, которые я оставляю на своей страничке в моем мире.
Забанил сразу же после того как выложил этот пост.
Следите за дальнейшим развитием событий.

Аватар пользователя Raistlin Raistlin 26 февраля 2011 в 13:24

А вы пробовали? Я не знаю, воспримет он его или нет, но прежде чем применять кардинальные методы сначала необходимо убедитсья что на вашей стороне все в порядке.

Аватар пользователя Shift-Web Shift-Web 26 февраля 2011 в 15:54

"Raistlin" wrote:
А вы пробовали? Я не знаю, воспримет он его или нет, но прежде чем применять кардинальные методы сначала необходимо убедитсья что на вашей стороне все в порядке.

Майл не понимает кроу'л-дилэй. Он вообще нихрена не понимает Biggrin

Аватар пользователя Shift-Web Shift-Web 26 февраля 2011 в 18:57

"Raistlin" wrote:
Откуда такие сведения?

А почему нужно полагаться на то, что "это" вообще каким-то законам "физики" должно подчинаяться?

У все нормальных ПС есть документация по тем же роботсам, сайтмапам, мета-тегам. Майл.ру -- это шляпа какая-то. Тут даже к бабке ходить не нужно

Аватар пользователя Raistlin Raistlin 26 февраля 2011 в 19:14

Есть стандарты. Сначала сделать нужно в соответствии, а если уже выяснен баг - принимать кардинальные меры.

Аватар пользователя Shift-Web Shift-Web 26 февраля 2011 в 19:25

"Raistlin" wrote:
Есть стандарты. Сначала сделать нужно в соответствии, а если уже выяснен баг - принимать кардинальные меры.

Нахрен он нужен? ))) Ранжирования никакого, базы своей похоже нет, законам физики видимо не подчиняется, сайты тушит, трафика не приносит. Чё выявлять то?

Аватар пользователя Raistlin Raistlin 26 февраля 2011 в 19:42

Вы хотите сделать как правильно? Или будете действовать топроными способами? Решать вам. Я просто высказал мысли.

Аватар пользователя Shift-Web Shift-Web 26 февраля 2011 в 20:55

"Raistlin" wrote:
Вы хотите сделать как правильно? Или будете действовать топроными способами? Решать вам. Я просто высказал мысли.

Покажите мне директиву для роботса, которая будет относиться к UA их кроулера. Если покажете -- продолжим дискуссию.

"Raistlin" wrote:
Вы хотите сделать как правильно?

А как тут правильно? Я знаю как сделать это правильно под яндекс, под гугл, под рамблер, под апорт в конце концов, даже под яху и бинг. Танцевать с бубном вокруг того, что даже описания не имеет внятного как то простите недальновидно что ли ...

Нет .. базару ноль. Можно было бы провести анализ поведения робота поисковой системы, заготовить пару тестовых разделов с разными опциями и уже делать выводы о том как она работает и какие реакции у неё вызывают традиционные общепринятые "указания", если бы она имела какую то публичную концепцию. А так .. это пукалка с названием "поиск", которая нагружает сайт и доставляет неудобства.

Банить естественно нет смысла сразу, но если начинает мешать, то проще убить.

Как то тупо сидеть и ждать, когда это чудо вдруг посчитает нужным проиндексировать(???) сайт задрочив его варварским наскоком тупого парсера(???).

Аватар пользователя Shift-Web Shift-Web 26 февраля 2011 в 22:15

"Raistlin" wrote:
Заняло 1 минуту времени чтобы найти это. Вы меня за идиота держите?

Нет Biggrin Оказывается таки в какой то заднице справка есть Smile Респект Вы это сделали! Biggrin

"Raistlin" wrote:
Заняло 1 минуту времени чтобы найти это. Вы меня за идиота держите?

У меня это к сожалению не получилось даже за 15 минут.

http://go.mail.ru/search?mailru=1&drch=l&q=robots.txt+mail.ru&rch=l

http://www.google.com/search?sourceid=chrome&ie=UTF-8&q=robots.txt+mail.ru

http://yandex.ru/yandsearch?text=robots.txt%20mail.ru&lr=213

Это что нормально?

Аналогия:

http://www.google.com/search?sourceid=chrome&ie=UTF-8&q=robots.txt+mail....

http://yandex.ru/yandsearch?text=robots.txt+yandex&lr=213

http://go.mail.ru/search?mailru=1&drch=l&q=robots.txt+yandex&rch=l <<< яркий пример адекватного поиска

Аватар пользователя Shift-Web Shift-Web 26 февраля 2011 в 22:32

Raistlin, и всё таки. Вы считаете, что стоит с этим заморачиваться? Нет, я конечно не отрицаю, что по какому то запросу может нести посетителей в каких то очень интересных обстоятельствах, тем не менее ...

Аватар пользователя Raistlin Raistlin 26 февраля 2011 в 22:40

Пока не забанили - лучше так заморочаться. мыл.ру - третье место по поиску в РФ и довольно таки растет. Решать каждому и самостоятельно, ИМХО. Я бы заморочался.

Аватар пользователя Shift-Web Shift-Web 26 февраля 2011 в 22:47

"Raistlin" wrote:
Пока не забанили - лучше так заморочаться. мыл.ру - третье место по поиску в РФ и довольно таки растет. Решать каждому и самостоятельно, ИМХО. Я бы заморочался.

Ну ладно. Пусть будет. Вроде понимает(хотя бы написано, что понимает) всё что нужно через *, только видимо перед Crawl-delay нужно пустой дисэлау, чтобы он раскурил. Щас посмотрю логи, прям интересно стало

Аватар пользователя Shift-Web Shift-Web 26 февраля 2011 в 23:37
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:42        /taxonomy/term/28
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:44        /top-banalnostei-klientskoi-optimizatsii
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:45        /yandex-xml-i-google-ajax-search-api-indeksnye-seo-pokazateli
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:46        /komponent-parsera-katalogov-yandex-i-dmoz
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:47        /vychisleniye-google-pagerank-i-yandex-tits-servis-seo-analiza
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:50        /ajax-otpravka-prijom-dannykh-PHPLiveX-osnova-servisa-seo-analiza
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:51        /SEO-analizator-service
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:52        /obzor-semanticheskikh-tekhnologii
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:53        /nastrojka-nodewords-modul-drupal-ustanovka-meta-tegov-stranits
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:55        /apdejt-PageRank-253-dnya-somnenij
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:56        /ikonka-sajta-favicon-ico-privlekatelnost-snippeta-yandex
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:58        /node/101
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:20:59        /ne-stoit-speshit-perehodit-na-drupal-7-seo
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:00        /nerelevantnyi-content-na-tematicheskom-saite
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:01        /windows-to-debian
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:02        /seo-i-drupal-v-2011
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:04        /archive/all/2011/2
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:05        /archive/all/2011/1
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:08        /nastrojka-page-title-modul-drupal-izmenenie-zagolovkov-stranic
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:09        /nastrojka-xml-sitemap-modul-drupal
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:12        /trast-seo-faktory
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:13        /dublikaty-plohie-url-adresa
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:14        /infografika-trendy-verstki-2011
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:22        /archive/all/2010
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:23        /archive/all/2011/2/2
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:24        /archive/all/2011/2/3
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:25        /archive/all/2011/2/4
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:26        /archive/all/2011/2/5
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:28        /archive/all/2011/2/10
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:29        /archive/all/2011/1/7
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:30        /archive/all/2011/1/8
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:31        /archive/all/2011/1/9
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:32        /archive/all/2011/1/11
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:33        /archive/all/2011/1/12
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:34        /archive/all/2011/1/13
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:35        /archive/all/2011/1/15
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:36        /archive/all/2011/1/18
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:38        /archive/all/2011/1/19
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:39        /archive/all/2011/1/21
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:40        /archive/all/2011/1/23
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:42        /archive/all/2011/1/25
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:43        /%5Bnode-url%5D
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:44        /tracker
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:45        /about
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:47        /blog
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:48        /license
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:50        /sitemap
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:55        /archive
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:58        /taxonomy/term/11
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:21:59        /node/86
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:00        /node/20
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:02        /node/19
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:03        /node/80
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:04        /blog/1
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:06        /node/91
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:07        /javascript-optimizator-service
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:08        /taxonomy/term/25
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:10        /taxonomy/term/20
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:11        /css-optimizator-service
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:12        /taxonomy/term/16
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:13        /taxonomy/term/14
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:14        /taxonomy/term/13
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:17        /taxonomy/term/21
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:18        /taxonomy/term/12/all
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:19        /perekluchenie-css-jquery-cookies
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:20        /yandex-xml-poisk-drupal
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:22        /validniy-css3-vendornye-prefiksy
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:23        /taxonomy/term/10/all
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:24        /archive/all/2010/12
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:27        /idealniy-schetchik-kompaktnyi-script
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:28        /jquery-page-scroller-pluggin
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:30        /taxonomy/term/23/all
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:32        /rdf-semantichnaya-karta-drupal-modul
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:35        /pervie-shagi-v-semantic-web
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:38        /video/Hermanos-Inglesos-feat-MeMe-Wanderland
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:39        /open-graph-protocol-opisanie-socialnih-media
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:40        /vliyanie-sminy-dizaina-glavnogo-zerkala-na-seo
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:43        /rdfa-vvedenie
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:44        /spider-trap
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:45        /node/29
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:48        /pagerank-calc
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:49        /istoriya-html
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:50        /internal-optimization
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:52        /taxonomy/term/23
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:53        /taxonomy/term/24
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:54        /relevantnost-v-tegah
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:55        /taxonomy/term/26
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:22:59        /google-noindex-experiment
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:01        /taxonomy/term/18
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:02        /traffik-kriterii-poleznosti
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:05        /vvedenie-v-seo
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:08        /yandex-and-nofollow
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:09        /taxonomy/term/22
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:10        /taxonomy/term/27
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:13        /semantika-i-logika-verstki
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:14        /specialnie-karti-saita-google
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:15        /rss-v-kachestve-sitemap
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:18        /XSS-cumulus-iframe-swfobject
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:19        /Google-Quality-Rater-Guidelines
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:20        /blochnaya-verstka-vs-tablichnaya
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:24        /archive/all/2010/3
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:28        /rukovodstvo-rdfa-dlya-html
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:30        /archive/all/2010/4
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:32        /razgonyaem-sait-pod-seo
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:33        /archive/all/2010/5
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:35        /archive/all/2010/6
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:38        /www.shift-web.ru/archive/all/2010/3
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:39        /archive/all/2010/12/25
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:40        /archive/all/2010/12/11
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:43        /archive/all/2010/12/12
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:45        /archive/all/2010/12/17
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:47        /yakorya-i-mikroformati-dlya-ssilok
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:49        /archive/all/2010/12/19
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:50        /struktura-html-dokumenta-2-head-sekcia
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:51        /struktura-html-dokumenta-1-doctype-definition
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:53        /zagolovki-h1-h6-i-verstanie-logotipa
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:54        /doctype-ponyatie-validnosti-html-i-xhtml
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:55        /struktura-html-dokumenta-3-vidy-verstki-tablichnaya-i-blochnaya
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:56        /delaem-favicon
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:57        /interview-s-dizzy
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:58        /interview-s-shuiskim
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:23:59        /kommercheskaya-poiskovaya-sistema-igde
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:00        /nabor-nujnyh-meta-tegov
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:01        /http-headers-x-robots
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:02        /dorabotka-skripta-schetchika-twitter
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:04        /archive/all/2010/4/10
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:05        /archive/all/2010/5/14
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:07        /archive/all/2010/6/15
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:08        /archive/all/2010/4/20
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:09        /meta-noarchive-noodp-nosnippet-nodyr
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:10        /archive/all/2010/4/5
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:12        /archive/all/2010/4/16
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:14        /archive/all/2010/4/27
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:15        /interview-s-administraciey-cy-pr
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:16        /kak-i-na-chem-rabotat
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:17        /archive/all/2010/4/1
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:18        /archive/all/2010/4/4
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:19        /archive/all/2010/3/30
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:20        /archive/all/2010/5/29
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:21        /archive/all/2010/5/28
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:25        /archive/all/2010/4/8
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:27        /archive/all/2010/4/7
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:28        /archive/all/2010/4/9
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:29        /archive/all/2010/5/17
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:30        /archive/all/2010/5/1
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:32        /archive/all/2010/4/30
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:33        /archive/all/2010/5/22
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:34        /archive/all/2010/5/6
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:35        /revolution-void-increase-the-dosage
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:36        /archive/all/2010/6/13
Mail.Ru/1.0     217.69.134.175  2011-02-10      05:24:38        /archive/all/2010/5/13

Ну по сути да, вроде канает, но набеги всё равно варварские(понять бы как у него очередь и реиндекс работает). Попробую поставить для него 6 секунд, отпишусь о результатах.

p.s.: дилэй стоял 1

Ещё один неадекват. Кстати, с апортом проблемы были чаще, чем с майл.

Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:09        /archive/all/2010/6/13
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:13        /archive/all/2010/6/15
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:18        /archive/all/2010/5/1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:19        /archive/all/2010/5/3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:20        /archive/all/2010/5/5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:21        /archive/all/2010/5/6
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:22        /archive/all/2010/5/13
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:23        /archive/all/2010/5/14
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:24        /archive/all/2010/5/17
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:25        /archive/all/2010/5/21
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:26        /archive/all/2010/5/22
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:27        /archive/all/2010/5/27
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:28        /archive/all/2010/5/28
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:30        /archive/all/2010/5/29
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:31        /archive/all/2010/5/30
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:32        /archive/all/2010/4/1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:33        /archive/all/2010/4/3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:35        /archive/all/2010/4/5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:36        /archive/all/2010/4/7
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:39        /archive/all/2010/4/10
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:40        /archive/all/2010/4/12
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:41        /archive/all/2010/4/13
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:42        /archive/all/2010/4/16
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:43        /archive/all/2010/4/17
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:44        /archive/all/2010/4/21
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:49        /archive/all/2010/4/22
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:50        /archive/all/2010/4/27
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:52        /archive/all/2010/4/30
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:53        /archive/all/2010/3/27
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:31:54        /archive/all/2010/3/30
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:00        /archive/all/2010/6
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:02        /archive/all/2010/4
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:03        /archive/all/2010/3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:04        /archive/all/2010/5?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:05        /archive/all/2010/4?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:06        /archive/all/2010/4?page=2
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:09        /archive/all/2010
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:13        /archive/all/2010?page=5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:15        /video/Hermanos-Inglesos-feat-MeMe-Wanderland
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:18        /blog/1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:19        /node/29
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:20        /blog/3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:22        /archive/all
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:23        /archive/all?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:24        /archive/all?page=2
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:28        /archive/all?page=5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:30        /blog/1?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:31        /archive/all?page=6
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:38        /tracker?page=2
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:41        /?1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:42        /?13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:43        /?596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:44        /archive?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:48        /archive?page=2
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:49        /archive?page=3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:50        /archive?page=4
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:51        /user
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:32:56        /archive?page=5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:02        /http-headers-x-robots
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:08        /idealniy-schetchik-kompaktnyi-script
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:10        /struktura-html-dokumenta-3-vidy-verstki-tablichnaya-i-blochnaya
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:25        /interview-s-shuiskim
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:26        /XSS-cumulus-iframe-swfobject
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:27        /rss-v-kachestve-sitemap
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:28        /spider-trap
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:29        /sitemap-index-file
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:32        /semantika-i-logika-verstki
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:42        /doctype-ponyatie-validnosti-html-i-xhtml
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:43        /?1c8a36bee2aac8049c82392547a
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:49        /?13aa0fd394986ee43bcd65158ae
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:50        /yandex-and-nofollow?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:52        /tracker?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:55        /?page=5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:56        /obzor-semanticheskih-tehnologij-internet-pautiny
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:58        /tracker?page=3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:33:59        /archive?page=6
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:00        /blog?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:01        /?page=1&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:02        /?page=2&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:03        /?page=3&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:04        /?page=4&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:05        /?page=1&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:06        /?page=2&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:07        /?page=3&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:08        /?page=4&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:09        /?page=1&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:10        /?page=2&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:11        /?page=3&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:12        /?page=4&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:13        /?page=5&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:17        /?page=5&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:18        /?page=5&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:19        /?page=6&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:20        /?page=6&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:22        /?page=6&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:23        /node?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:24        /node?page=2
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:25        /node?page=3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:26        /node?page=4
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:27        /node?page=5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:28        /node?page=6
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:29        /node?page=7
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:30        /archive/all/2010/7
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:31        /archive/all/2010/12/misc/servlet_13752.png
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:32        /archive/all/2010/misc/servlet_13752.png
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:33        /archive/all/misc/servlet_13752.png
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:35        /archive/all?page=7
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:36        /archive/misc/servlet_13752.png
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:37        /node
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:38        /node?page=1&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:39        /node?page=2&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:40        /node?page=3&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:41        /node?page=4&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:42        /node?page=5&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:43        /node?page=6&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:44        /node?page=7&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:45        /node?page=1&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:46        /node?page=2&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:47        /node?page=3&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:48        /node?page=4&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:49        /node?page=5&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:50        /node?page=6&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:51        /node?page=7&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:52        /node?page=1&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:53        /node?page=2&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:54        /node?page=3&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:55        /node?page=4&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:56        /node?page=5&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:57        /node?page=6&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:58        /node?page=7&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:34:59        /archive?page=7
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:35:01        /node?1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:35:02        /node?13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:35:03        /node?596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:35:04        /archive/all/2010/7/8
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:35:05        /?page=7&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:35:06        /?page=7&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)      194.67.18.208   2011-02-23      03:35:07        /?page=7&596ad284f8df5e3e79c96a94d8f=

Рама.

StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      17:54:40        /crss/node/122
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      17:54:40        /archive?page=7
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      17:54:42        /taxonomy/term/26/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      17:54:42        /taxonomy/term/22/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      17:54:42        /taxonomy/term/27/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:20:17        /taxonomy/term/25/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:20:18        /taxonomy/term/19/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:20:18        /taxonomy/term/18/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:20:18        /taxonomy/term/23/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:20:18        /taxonomy/term/10/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:26:50        /taxonomy/term/12/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:26:50        /taxonomy/term/13/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:26:50        /taxonomy/term/20/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:26:50        /taxonomy/term/14/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:26:50        /taxonomy/term/21/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:31:29        /taxonomy/term/24/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:31:29        /taxonomy/term/15/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:31:29        /taxonomy/term/17/feed
StackRambler/2.0 (MSIE incompatible)    81.19.66.84     2011-02-23      18:31:29        /archive/all/2011/2/17

Гугл.

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.57    2011-02-23      10:34:13        /yakorya-i-mikroformati-dlya-ssilok
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.206   2011-02-23      10:36:15        /node/80
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.231   2011-02-23      10:46:09        /ikonka-sajta-favicon-ico-privlekatelnost-snippeta-yandex
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.79    2011-02-23      11:15:14        /googlenews.xml
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.231   2011-02-23      11:34:48        /dublikaty-plohie-url-adresa
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.198   2011-02-23      11:38:56        /rukovodstvo-rdfa-dlya-html
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.198   2011-02-23      11:38:59        /vliyanie-sminy-dizaina-glavnogo-zerkala-na-seo
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.59    2011-02-23      11:54:01        /taxonomy/term/10/all
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.207   2011-02-23      12:04:03        /node/101
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.205   2011-02-23      12:12:22        /sitemap
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.77    2011-02-23      12:50:09        /rdfa-vvedenie
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.231   2011-02-23      12:58:00        /pagerank-calc
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.173   2011-02-23      13:00:14        /taxonomy/term/24
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.231   2011-02-23      13:03:37        /struktura-html-dokumenta-2-head-sekcia
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)        66.249.72.58    2011-02-23      13:28:15        /blog

Яндекс.

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)        77.88.42.27     2011-02-23      20:31:20        /license
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)        77.88.42.27     2011-02-23      22:17:01        /xslrdf.rdf
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)        77.88.42.27     2011-02-23      22:28:57        /video/Hermanos-Inglesos-feat-MeMe-Wanderland
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)        77.88.42.27     2011-02-23      22:29:08        /taxonomy/term/20
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)        77.88.42.27     2011-02-23      22:41:42        /archive
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)        77.88.42.27     2011-02-23      22:45:08        /archive/all/2011/1/9

Вот в принципе и сабж. Простая вырезка и можно смотреть как этот кроул диллэй работает. Яндексу, гуглу, бингу и яху на него чхать вообще(но они не нагибают).

Рамблеру срать, но грабит он как маньяк. Апорт тоже ниадекват. Делаем вывод -- перестраховаться трудно. Если страниц много, то будет нагибать неподетски если придёт индексировать(ибо жрать по 3-4 страницы с в одну и ту же секунду какбэ не хорошо).

Майл походу тупо идёт по порядку по ссылкам, которые нашёл на странице(в логе видно). Рамблер больший приоритет отдаёт RSS, один фиг индексирует кое как.

Аватар пользователя Raistlin Raistlin 27 февраля 2011 в 0:42

Угу. Яху вообще индексировать может знатно. Одновременно на сайт могут навалиться 200-300 ботов с РАЗНЫХ IP. Указывать делэй для каждого бота, тогда все понимают.

Аватар пользователя Shift-Web Shift-Web 27 февраля 2011 в 0:53

"Raistlin" wrote:
Угу. Яху вообще индексировать может знатно. Одновременно на сайт могут навалиться 200-300 ботов с РАЗНЫХ IP. Указывать делэй для каждого бота, тогда все понимают.

Хотите сказать, что нужны индивидуальные инструкции? Т.е. "под звездой" не хотят понимать?

С Яху жестоко, такого не наблюдал.

Аватар пользователя Raistlin Raistlin 27 февраля 2011 в 14:26

Не всегда, но даже яндекс глючит. У одного клиента лог ошибок за ночь оказался размером в 28 гигабайт - яндекс повесился и долбился на одну и ту же несуществующую страницу всю ночь... Поэтому лучше указывать конкретно для каждого бота.

Аватар пользователя Shift-Web Shift-Web 27 февраля 2011 в 16:43

"Raistlin" wrote:
Поэтому лучше указывать конкретно для каждого бота.

Не думаю, что это оправдано для малостраничников. Ещё тут есть подводные камни с порядком, они не все однозначно роботс понимают.

Аватар пользователя Shift-Web Shift-Web 27 февраля 2011 в 17:50

"Raistlin" wrote:
Для малостраничников вообще роботс неоправдан, ИМХО

Нифига подобного Wink Скорее наоборот, если не затрагивать вопрос нагрузки.

Аватар пользователя petrovnn petrovnn 10 ноября 2015 в 11:47

Недавно на меня тоже навалился индексер предположительно мейла.
Хостинг спокойно держит (у меня мощный)

Как я сделал вывод, мною горячо любимая, но местами кривоватая статистика Liveinternet отображает визиты паука мейла как "переходы без ссылки", и в разделе "просмотров в минуту", отчего портит статистику по количеству просмотров на посетителя.

В категорию «переходы без ссылки» у меня почему-то попали одноклассники (они вроде не связаны с мейлом или связаны?) и "переходы без ссылки" посыпались на сайт с мейла и однокамерников одноклассников практически одновременно, и всплески и падения у них происходят синхронно. И соотношение посещений с этих двух ресурсов ровно пропорционально.

На этом графике видно, паук приходит на сайт и поселяется там примерно на 1-2 часа, скачивая 15-20 страниц в минуту. Обычно приходит 1-2 раза в сутки

Блокировать не стал, для меня это не критично, пока просто наблюдаю

UPD
да, и в статистике гугл-аналитика таких косяков с зачетом просмотров робота за просмотры посетителей у меня нет

Аватар пользователя Onza Onza 25 апреля 2011 в 16:43

Возможно ли на VPS принудительно органичить долбежку некоторых роботов по юзер-агенту напрмиер одним запросом в 10 секунд? Ибо сервер держит три многостраничных сайта и во время нашествия яху и апорта, которые пытаются получить все и сразу, VPS почти всегда уходит в даун. По моим наблюдениям, на crawl-delay им положить.