Mail.ru нагружает не по детски.

Mail.ru нагружает не по детски.

Прислано: Urfin

чт, 17/02/2011 - 21:54

Другие статьи по теме:

Посмотрел статистику "Активных посетителей". Скажите это нормально?
Хиты | Посетитель | Общее время генерации страницы
2578 | 217.69.134.176 | 47 минут 45 секунд
Паук mail.ru оказался самым активным посетителем :) Может его заблокировать?
У меня счетчик статистики этого сервиса установлен. Он так хавает ресурсы?

Urfin's blog
Для комментирования войдите или зарегистрируйтесь

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Применить"

Опубликовано RxB в чт, 17/02/2011 - 22:02.

Проблема то в чём?

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в пт, 18/02/2011 - 04:47.

Эм ... возможно стоит айпи посмотреть? Это скорее всего не mail.ru

Для комментирования войдите или зарегистрируйтесь

Опубликовано Ветер в пт, 18/02/2011 - 10:45.

Вы уж определитесь сначала кто "нагружает" счетчик или паук.

Для комментирования войдите или зарегистрируйтесь

Опубликовано sashken в пт, 18/02/2011 - 11:12.

У меня вот так:
7050 217.69.134.165 1 час 3 минуты

Для комментирования войдите или зарегистрируйтесь

Опубликовано Urfin в сб, 19/02/2011 - 22:12.

Проблема в том, что майловский паук грузит сайт. Почти час в сутки на генерацию непонятно для чего - много, ИМХО. Счетчик тут не при чем. Выяснил. Заблокировал этот IP. Посмотрю на рейтинги в поисковиках. Хотя не думаю, что они упадут.

Shift-Web Whois сказал майловский паук. Хотя я не ручаюсь за это.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в вс, 20/02/2011 - 01:34.

"Urfin" написал(а):

Мэйл.ру, апорт и рамблер(ещё пару десятков "поисковиков") вообще пользы не приносят(>в большинстве ситуаций<). Смотрите на показатели трафика. Если он существенный и даёт посетителей, то имеет смысл как то выкручиваться. Если с них нет профита да они ещё и сайт тушат -- забаньте нахрен :)

У мэйл ру до сих пор своей базы поисковой нормальной нет -- это не поисковик. К слову. Та же Нигма использует одновременно несколько поисковиков - собсно Нигма выступает в роли прослойки.

Думайте сами.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Urfin в вс, 20/02/2011 - 10:49.

А че тут думать? Основные заходы с гугла и яндекса. Есть и бинг, но мало. С майла очень редко кто заходит, а если уж и зайдет то по прямой ссылке, которые я оставляю на своей страничке в моем мире.
Забанил сразу же после того как выложил этот пост.
Следите за дальнейшим развитием событий.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в пт, 25/02/2011 - 12:19.

robots.txt поправить не судьба? Crawl-delay?

Для комментирования войдите или зарегистрируйтесь

Опубликовано Ветер в сб, 26/02/2011 - 09:40.

А вы уверены что этот паук воспримет это?

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в сб, 26/02/2011 - 10:24.

А вы пробовали? Я не знаю, воспримет он его или нет, но прежде чем применять кардинальные методы сначала необходимо убедитсья что на вашей стороне все в порядке.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в сб, 26/02/2011 - 12:54.

"Raistlin" написал(а):

Майл не понимает кроу'л-дилэй. Он вообще нихрена не понимает :D

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в сб, 26/02/2011 - 13:45.

Откуда такие сведения?

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в сб, 26/02/2011 - 15:57.

"Raistlin" написал(а):

Откуда такие сведения?

А почему нужно полагаться на то, что "это" вообще каким-то законам "физики" должно подчинаяться?

У все нормальных ПС есть документация по тем же роботсам, сайтмапам, мета-тегам. Майл.ру -- это шляпа какая-то. Тут даже к бабке ходить не нужно

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в сб, 26/02/2011 - 16:14.

Есть стандарты. Сначала сделать нужно в соответствии, а если уже выяснен баг - принимать кардинальные меры.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в сб, 26/02/2011 - 16:25.

"Raistlin" написал(а):

Есть стандарты. Сначала сделать нужно в соответствии, а если уже выяснен баг - принимать кардинальные меры.

Нахрен он нужен? ))) Ранжирования никакого, базы своей похоже нет, законам физики видимо не подчиняется, сайты тушит, трафика не приносит. Чё выявлять то?

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в сб, 26/02/2011 - 16:42.

Вы хотите сделать как правильно? Или будете действовать топроными способами? Решать вам. Я просто высказал мысли.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в сб, 26/02/2011 - 17:55.

"Raistlin" написал(а):

Покажите мне директиву для роботса, которая будет относиться к UA их кроулера. Если покажете -- продолжим дискуссию.

"Raistlin" написал(а):

Вы хотите сделать как правильно?

А как тут правильно? Я знаю как сделать это правильно под яндекс, под гугл, под рамблер, под апорт в конце концов, даже под яху и бинг. Танцевать с бубном вокруг того, что даже описания не имеет внятного как то простите недальновидно что ли ...

Нет .. базару ноль. Можно было бы провести анализ поведения робота поисковой системы, заготовить пару тестовых разделов с разными опциями и уже делать выводы о том как она работает и какие реакции у неё вызывают традиционные общепринятые "указания", если бы она имела какую то публичную концепцию. А так .. это пукалка с названием "поиск", которая нагружает сайт и доставляет неудобства.

Банить естественно нет смысла сразу, но если начинает мешать, то проще убить.

Как то тупо сидеть и ждать, когда это чудо вдруг посчитает нужным проиндексировать(???) сайт задрочив его варварским наскоком тупого парсера(???).

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в сб, 26/02/2011 - 19:00.

http://go.mail.ru/help_robots.html

Заняло 1 минуту времени чтобы найти это. Вы меня за идиота держите?

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в сб, 26/02/2011 - 19:15.

"Raistlin" написал(а):

Заняло 1 минуту времени чтобы найти это. Вы меня за идиота держите?

Нет :D Оказывается таки в какой то заднице справка есть :) Респект Вы это сделали! :D

"Raistlin" написал(а):

Заняло 1 минуту времени чтобы найти это. Вы меня за идиота держите?

У меня это к сожалению не получилось даже за 15 минут.

http://go.mail.ru/search?mailru=1&drch=l&q=robots.txt+mail.ru&rch=l

http://www.google.com/search?sourceid=chrome&ie=UTF-8&q=robots.txt+mail.ru

http://yandex.ru/yandsearch?text=robots.txt%20mail.ru&lr=213

Это что нормально?

Аналогия:

http://www.google.com/search?sourceid=chrome&ie=UTF-8&q=robots.txt+mail....

http://yandex.ru/yandsearch?text=robots.txt+yandex&lr=213

http://go.mail.ru/search?mailru=1&drch=l&q=robots.txt+yandex&rch=l <<< яркий пример адекватного поиска

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в сб, 26/02/2011 - 19:18.

Млин!!! заходим на go.mail.ru кликаем внизу "Помощь". Все!

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в сб, 26/02/2011 - 19:19.

А, да. дальше надо кликнуть "Для владельцев сайтов" и на "инструкции по использованию robots.txt"...

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в сб, 26/02/2011 - 19:25.

"Raistlin" написал(а):

Млин!!! заходим на go.mail.ru кликаем внизу "Помощь". Все!

Вау :) Вы меня прямо пристыдили :D

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в сб, 26/02/2011 - 19:32.

Raistlin, и всё таки. Вы считаете, что стоит с этим заморачиваться? Нет, я конечно не отрицаю, что по какому то запросу может нести посетителей в каких то очень интересных обстоятельствах, тем не менее ...

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в сб, 26/02/2011 - 19:40.

Пока не забанили - лучше так заморочаться. мыл.ру - третье место по поиску в РФ и довольно таки растет. Решать каждому и самостоятельно, ИМХО. Я бы заморочался.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в сб, 26/02/2011 - 19:47.

"Raistlin" написал(а):

Ну ладно. Пусть будет. Вроде понимает(хотя бы написано, что понимает) всё что нужно через *, только видимо перед Crawl-delay нужно пустой дисэлау, чтобы он раскурил. Щас посмотрю логи, прям интересно стало

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в сб, 26/02/2011 - 20:37.

Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:42	/taxonomy/term/28
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:44	/top-banalnostei-klientskoi-optimizatsii
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:45	/yandex-xml-i-google-ajax-search-api-indeksnye-seo-pokazateli
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:46	/komponent-parsera-katalogov-yandex-i-dmoz
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:47	/vychisleniye-google-pagerank-i-yandex-tits-servis-seo-analiza
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:50	/ajax-otpravka-prijom-dannykh-PHPLiveX-osnova-servisa-seo-analiza
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:51	/SEO-analizator-service
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:52	/obzor-semanticheskikh-tekhnologii
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:53	/nastrojka-nodewords-modul-drupal-ustanovka-meta-tegov-stranits
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:55	/apdejt-PageRank-253-dnya-somnenij
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:56	/ikonka-sajta-favicon-ico-privlekatelnost-snippeta-yandex
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:58	/node/101
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:20:59	/ne-stoit-speshit-perehodit-na-drupal-7-seo
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:00	/nerelevantnyi-content-na-tematicheskom-saite
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:01	/windows-to-debian
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:02	/seo-i-drupal-v-2011
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:04	/archive/all/2011/2
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:05	/archive/all/2011/1
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:08	/nastrojka-page-title-modul-drupal-izmenenie-zagolovkov-stranic
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:09	/nastrojka-xml-sitemap-modul-drupal
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:12	/trast-seo-faktory
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:13	/dublikaty-plohie-url-adresa
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:14	/infografika-trendy-verstki-2011
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:22	/archive/all/2010
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:23	/archive/all/2011/2/2
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:24	/archive/all/2011/2/3
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:25	/archive/all/2011/2/4
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:26	/archive/all/2011/2/5
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:28	/archive/all/2011/2/10
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:29	/archive/all/2011/1/7
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:30	/archive/all/2011/1/8
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:31	/archive/all/2011/1/9
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:32	/archive/all/2011/1/11
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:33	/archive/all/2011/1/12
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:34	/archive/all/2011/1/13
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:35	/archive/all/2011/1/15
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:36	/archive/all/2011/1/18
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:38	/archive/all/2011/1/19
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:39	/archive/all/2011/1/21
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:40	/archive/all/2011/1/23
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:42	/archive/all/2011/1/25
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:43	/%5Bnode-url%5D
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:44	/tracker
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:45	/about
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:47	/blog
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:48	/license
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:50	/sitemap
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:55	/archive
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:58	/taxonomy/term/11
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:21:59	/node/86
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:00	/node/20
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:02	/node/19
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:03	/node/80
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:04	/blog/1
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:06	/node/91
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:07	/javascript-optimizator-service
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:08	/taxonomy/term/25
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:10	/taxonomy/term/20
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:11	/css-optimizator-service
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:12	/taxonomy/term/16
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:13	/taxonomy/term/14
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:14	/taxonomy/term/13
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:17	/taxonomy/term/21
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:18	/taxonomy/term/12/all
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:19	/perekluchenie-css-jquery-cookies
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:20	/yandex-xml-poisk-drupal
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:22	/validniy-css3-vendornye-prefiksy
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:23	/taxonomy/term/10/all
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:24	/archive/all/2010/12
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:27	/idealniy-schetchik-kompaktnyi-script
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:28	/jquery-page-scroller-pluggin
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:30	/taxonomy/term/23/all
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:32	/rdf-semantichnaya-karta-drupal-modul
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:35	/pervie-shagi-v-semantic-web
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:38	/video/Hermanos-Inglesos-feat-MeMe-Wanderland
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:39	/open-graph-protocol-opisanie-socialnih-media
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:40	/vliyanie-sminy-dizaina-glavnogo-zerkala-na-seo
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:43	/rdfa-vvedenie
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:44	/spider-trap
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:45	/node/29
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:48	/pagerank-calc
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:49	/istoriya-html
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:50	/internal-optimization
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:52	/taxonomy/term/23
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:53	/taxonomy/term/24
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:54	/relevantnost-v-tegah
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:55	/taxonomy/term/26
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:22:59	/google-noindex-experiment
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:01	/taxonomy/term/18
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:02	/traffik-kriterii-poleznosti
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:05	/vvedenie-v-seo
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:08	/yandex-and-nofollow
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:09	/taxonomy/term/22
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:10	/taxonomy/term/27
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:13	/semantika-i-logika-verstki
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:14	/specialnie-karti-saita-google
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:15	/rss-v-kachestve-sitemap
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:18	/XSS-cumulus-iframe-swfobject
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:19	/Google-Quality-Rater-Guidelines
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:20	/blochnaya-verstka-vs-tablichnaya
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:24	/archive/all/2010/3
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:28	/rukovodstvo-rdfa-dlya-html
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:30	/archive/all/2010/4
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:32	/razgonyaem-sait-pod-seo
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:33	/archive/all/2010/5
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:35	/archive/all/2010/6
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:38	/www.shift-web.ru/archive/all/2010/3
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:39	/archive/all/2010/12/25
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:40	/archive/all/2010/12/11
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:43	/archive/all/2010/12/12
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:45	/archive/all/2010/12/17
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:47	/yakorya-i-mikroformati-dlya-ssilok
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:49	/archive/all/2010/12/19
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:50	/struktura-html-dokumenta-2-head-sekcia
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:51	/struktura-html-dokumenta-1-doctype-definition
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:53	/zagolovki-h1-h6-i-verstanie-logotipa
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:54	/doctype-ponyatie-validnosti-html-i-xhtml
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:55	/struktura-html-dokumenta-3-vidy-verstki-tablichnaya-i-blochnaya
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:56	/delaem-favicon
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:57	/interview-s-dizzy
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:58	/interview-s-shuiskim
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:23:59	/kommercheskaya-poiskovaya-sistema-igde
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:00	/nabor-nujnyh-meta-tegov
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:01	/http-headers-x-robots
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:02	/dorabotka-skripta-schetchika-twitter
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:04	/archive/all/2010/4/10
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:05	/archive/all/2010/5/14
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:07	/archive/all/2010/6/15
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:08	/archive/all/2010/4/20
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:09	/meta-noarchive-noodp-nosnippet-nodyr
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:10	/archive/all/2010/4/5
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:12	/archive/all/2010/4/16
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:14	/archive/all/2010/4/27
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:15	/interview-s-administraciey-cy-pr
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:16	/kak-i-na-chem-rabotat
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:17	/archive/all/2010/4/1
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:18	/archive/all/2010/4/4
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:19	/archive/all/2010/3/30
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:20	/archive/all/2010/5/29
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:21	/archive/all/2010/5/28
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:25	/archive/all/2010/4/8
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:27	/archive/all/2010/4/7
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:28	/archive/all/2010/4/9
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:29	/archive/all/2010/5/17
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:30	/archive/all/2010/5/1
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:32	/archive/all/2010/4/30
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:33	/archive/all/2010/5/22
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:34	/archive/all/2010/5/6
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:35	/revolution-void-increase-the-dosage
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:36	/archive/all/2010/6/13
Mail.Ru/1.0	217.69.134.175	2011-02-10	05:24:38	/archive/all/2010/5/13

Ну по сути да, вроде канает, но набеги всё равно варварские(понять бы как у него очередь и реиндекс работает). Попробую поставить для него 6 секунд, отпишусь о результатах.

p.s.: дилэй стоял 1

Ещё один неадекват. Кстати, с апортом проблемы были чаще, чем с майл.

Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:09	/archive/all/2010/6/13
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:13	/archive/all/2010/6/15
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:18	/archive/all/2010/5/1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:19	/archive/all/2010/5/3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:20	/archive/all/2010/5/5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:21	/archive/all/2010/5/6
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:22	/archive/all/2010/5/13
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:23	/archive/all/2010/5/14
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:24	/archive/all/2010/5/17
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:25	/archive/all/2010/5/21
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:26	/archive/all/2010/5/22
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:27	/archive/all/2010/5/27
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:28	/archive/all/2010/5/28
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:30	/archive/all/2010/5/29
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:31	/archive/all/2010/5/30
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:32	/archive/all/2010/4/1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:33	/archive/all/2010/4/3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:35	/archive/all/2010/4/5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:36	/archive/all/2010/4/7
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:39	/archive/all/2010/4/10
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:40	/archive/all/2010/4/12
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:41	/archive/all/2010/4/13
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:42	/archive/all/2010/4/16
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:43	/archive/all/2010/4/17
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:44	/archive/all/2010/4/21
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:49	/archive/all/2010/4/22
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:50	/archive/all/2010/4/27
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:52	/archive/all/2010/4/30
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:53	/archive/all/2010/3/27
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:31:54	/archive/all/2010/3/30
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:00	/archive/all/2010/6
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:02	/archive/all/2010/4
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:03	/archive/all/2010/3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:04	/archive/all/2010/5?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:05	/archive/all/2010/4?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:06	/archive/all/2010/4?page=2
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:09	/archive/all/2010
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:13	/archive/all/2010?page=5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:15	/video/Hermanos-Inglesos-feat-MeMe-Wanderland
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:18	/blog/1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:19	/node/29
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:20	/blog/3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:22	/archive/all
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:23	/archive/all?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:24	/archive/all?page=2
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:28	/archive/all?page=5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:30	/blog/1?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:31	/archive/all?page=6
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:38	/tracker?page=2
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:41	/?1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:42	/?13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:43	/?596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:44	/archive?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:48	/archive?page=2
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:49	/archive?page=3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:50	/archive?page=4
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:51	/user
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:32:56	/archive?page=5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:02	/http-headers-x-robots
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:08	/idealniy-schetchik-kompaktnyi-script
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:10	/struktura-html-dokumenta-3-vidy-verstki-tablichnaya-i-blochnaya
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:25	/interview-s-shuiskim
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:26	/XSS-cumulus-iframe-swfobject
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:27	/rss-v-kachestve-sitemap
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:28	/spider-trap
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:29	/sitemap-index-file
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:32	/semantika-i-logika-verstki
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:42	/doctype-ponyatie-validnosti-html-i-xhtml
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:43	/?1c8a36bee2aac8049c82392547a
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:49	/?13aa0fd394986ee43bcd65158ae
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:50	/yandex-and-nofollow?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:52	/tracker?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:55	/?page=5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:56	/obzor-semanticheskih-tehnologij-internet-pautiny
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:58	/tracker?page=3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:33:59	/archive?page=6
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:00	/blog?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:01	/?page=1&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:02	/?page=2&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:03	/?page=3&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:04	/?page=4&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:05	/?page=1&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:06	/?page=2&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:07	/?page=3&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:08	/?page=4&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:09	/?page=1&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:10	/?page=2&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:11	/?page=3&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:12	/?page=4&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:13	/?page=5&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:17	/?page=5&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:18	/?page=5&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:19	/?page=6&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:20	/?page=6&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:22	/?page=6&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:23	/node?page=1
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:24	/node?page=2
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:25	/node?page=3
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:26	/node?page=4
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:27	/node?page=5
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:28	/node?page=6
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:29	/node?page=7
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:30	/archive/all/2010/7
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:31	/archive/all/2010/12/misc/servlet_13752.png
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:32	/archive/all/2010/misc/servlet_13752.png
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:33	/archive/all/misc/servlet_13752.png
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:35	/archive/all?page=7
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:36	/archive/misc/servlet_13752.png
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:37	/node
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:38	/node?page=1&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:39	/node?page=2&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:40	/node?page=3&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:41	/node?page=4&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:42	/node?page=5&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:43	/node?page=6&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:44	/node?page=7&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:45	/node?page=1&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:46	/node?page=2&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:47	/node?page=3&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:48	/node?page=4&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:49	/node?page=5&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:50	/node?page=6&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:51	/node?page=7&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:52	/node?page=1&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:53	/node?page=2&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:54	/node?page=3&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:55	/node?page=4&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:56	/node?page=5&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:57	/node?page=6&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:58	/node?page=7&596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:34:59	/archive?page=7
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:35:01	/node?1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:35:02	/node?13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:35:03	/node?596ad284f8df5e3e79c96a94d8f=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:35:04	/archive/all/2010/7/8
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:35:05	/?page=7&1c8a36bee2aac8049c82392547a=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:35:06	/?page=7&13aa0fd394986ee43bcd65158ae=
Mozilla/5.0 (compatible; AportWorm/3.2; +http://www.aport.ru/help)	194.67.18.208	2011-02-23	03:35:07	/?page=7&596ad284f8df5e3e79c96a94d8f=

Рама.

StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	17:54:40	/crss/node/122
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	17:54:40	/archive?page=7
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	17:54:42	/taxonomy/term/26/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	17:54:42	/taxonomy/term/22/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	17:54:42	/taxonomy/term/27/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:20:17	/taxonomy/term/25/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:20:18	/taxonomy/term/19/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:20:18	/taxonomy/term/18/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:20:18	/taxonomy/term/23/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:20:18	/taxonomy/term/10/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:26:50	/taxonomy/term/12/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:26:50	/taxonomy/term/13/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:26:50	/taxonomy/term/20/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:26:50	/taxonomy/term/14/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:26:50	/taxonomy/term/21/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:31:29	/taxonomy/term/24/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:31:29	/taxonomy/term/15/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:31:29	/taxonomy/term/17/feed
StackRambler/2.0 (MSIE incompatible)	81.19.66.84	2011-02-23	18:31:29	/archive/all/2011/2/17

Гугл.

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.57	2011-02-23	10:34:13	/yakorya-i-mikroformati-dlya-ssilok
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.206	2011-02-23	10:36:15	/node/80
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.231	2011-02-23	10:46:09	/ikonka-sajta-favicon-ico-privlekatelnost-snippeta-yandex
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.79	2011-02-23	11:15:14	/googlenews.xml
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.231	2011-02-23	11:34:48	/dublikaty-plohie-url-adresa
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.198	2011-02-23	11:38:56	/rukovodstvo-rdfa-dlya-html
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.198	2011-02-23	11:38:59	/vliyanie-sminy-dizaina-glavnogo-zerkala-na-seo
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.59	2011-02-23	11:54:01	/taxonomy/term/10/all
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.207	2011-02-23	12:04:03	/node/101
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.205	2011-02-23	12:12:22	/sitemap
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.77	2011-02-23	12:50:09	/rdfa-vvedenie
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.231	2011-02-23	12:58:00	/pagerank-calc
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.173	2011-02-23	13:00:14	/taxonomy/term/24
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.231	2011-02-23	13:03:37	/struktura-html-dokumenta-2-head-sekcia
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	66.249.72.58	2011-02-23	13:28:15	/blog

Яндекс.

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	77.88.42.27	2011-02-23	20:31:20	/license
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	77.88.42.27	2011-02-23	22:17:01	/xslrdf.rdf
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	77.88.42.27	2011-02-23	22:28:57	/video/Hermanos-Inglesos-feat-MeMe-Wanderland
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	77.88.42.27	2011-02-23	22:29:08	/taxonomy/term/20
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	77.88.42.27	2011-02-23	22:41:42	/archive
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	77.88.42.27	2011-02-23	22:45:08	/archive/all/2011/1/9

Вот в принципе и сабж. Простая вырезка и можно смотреть как этот кроул диллэй работает. Яндексу, гуглу, бингу и яху на него чхать вообще(но они не нагибают).

Рамблеру срать, но грабит он как маньяк. Апорт тоже ниадекват. Делаем вывод -- перестраховаться трудно. Если страниц много, то будет нагибать неподетски если придёт индексировать(ибо жрать по 3-4 страницы с в одну и ту же секунду какбэ не хорошо).

Майл походу тупо идёт по порядку по ссылкам, которые нашёл на странице(в логе видно). Рамблер больший приоритет отдаёт RSS, один фиг индексирует кое как.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в сб, 26/02/2011 - 21:42.

Угу. Яху вообще индексировать может знатно. Одновременно на сайт могут навалиться 200-300 ботов с РАЗНЫХ IP. Указывать делэй для каждого бота, тогда все понимают.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в сб, 26/02/2011 - 21:53.

"Raistlin" написал(а):

Хотите сказать, что нужны индивидуальные инструкции? Т.е. "под звездой" не хотят понимать?

С Яху жестоко, такого не наблюдал.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в вс, 27/02/2011 - 11:26.

Не всегда, но даже яндекс глючит. У одного клиента лог ошибок за ночь оказался размером в 28 гигабайт - яндекс повесился и долбился на одну и ту же несуществующую страницу всю ночь... Поэтому лучше указывать конкретно для каждого бота.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в вс, 27/02/2011 - 13:43.

"Raistlin" написал(а):

Поэтому лучше указывать конкретно для каждого бота.

Не думаю, что это оправдано для малостраничников. Ещё тут есть подводные камни с порядком, они не все однозначно роботс понимают.

Для комментирования войдите или зарегистрируйтесь

Опубликовано Raistlin в вс, 27/02/2011 - 14:17.

Для малостраничников вообще роботс неоправдан, ИМХО

Для комментирования войдите или зарегистрируйтесь

Опубликовано Shift-Web в вс, 27/02/2011 - 14:50.

"Raistlin" написал(а):

Для малостраничников вообще роботс неоправдан, ИМХО

Нифига подобного ;) Скорее наоборот, если не затрагивать вопрос нагрузки.

Для комментирования войдите или зарегистрируйтесь

Опубликовано petrovnn в пт, 25/03/2011 - 13:28.

Недавно на меня тоже навалился индексер предположительно мейла.
Хостинг спокойно держит (у меня мощный)

Как я сделал вывод, мною горячо любимая, но местами кривоватая статистика Liveinternet отображает визиты паука мейла как "переходы без ссылки", и в разделе "просмотров в минуту", отчего портит статистику по количеству просмотров на посетителя.

В категорию «переходы без ссылки» у меня почему-то попали одноклассники (они вроде не связаны с мейлом или связаны?) и "переходы без ссылки" посыпались на сайт с мейла и ~~однокамерников~~ одноклассников практически одновременно, и всплески и падения у них происходят синхронно. И соотношение посещений с этих двух ресурсов ровно пропорционально.

На этом графике видно, паук приходит на сайт и поселяется там примерно на 1-2 часа, скачивая 15-20 страниц в минуту. Обычно приходит 1-2 раза в сутки

Блокировать не стал, для меня это не критично, пока просто наблюдаю

UPD
да, и в статистике гугл-аналитика таких косяков с зачетом просмотров робота за просмотры посетителей у меня нет

Для комментирования войдите или зарегистрируйтесь

Опубликовано Onza в пн, 25/04/2011 - 12:43.

Возможно ли на VPS принудительно органичить долбежку некоторых роботов по юзер-агенту напрмиер одним запросом в 10 секунд? Ибо сервер держит три многостраничных сайта и во время нашествия яху и апорта, которые пытаются получить все и сразу, VPS почти всегда уходит в даун. По моим наблюдениям, на crawl-delay им положить.