13 мая 2011 в 11:51
Здравствуйте.
Моя проблема вызвана чрезмерной нагрузкой моего сайта на CPU!
Вследствие чего хостер запретил доступ поисковым ботам на мой сайт НАЗВАНИЕ_САЙТА.net.
Их ответ был такой
"В таком варианте обеспечивать индексацию ботами мы не можем, нагрузки слишком большая и 13 часов набора "кеша" никак ситуацию не решили. Как только я закрыл доступ к сайту для ботов, нагрузка сразу пошла вниз. Сайт надо приводить в порядок и существенно снижать нагрузку по CPU.
У вас например 39315!!!! активных блоков.
Только определение какие блоки где и как вывести может создавать значительную часть нагрузки.
К сожалению разблокировать доступ для ботов мы не можем, пока вами не будет устранены проблемы с нагрузкой.
Начните с блоков. Как закончите - сообщите, посмотрим какая нагрузка."
Ну вот собственно и все.
Прошу помощи, консультаций в плане решения моей проблемы.
Почитал на этом сайте, что советуют отключить - отключил модули
Pathauto (хоть и не хотел). Правильно ли сделал?!? Можно включить обратно?
Content translate
Xmlsitemap (это отключил Хостер, поскольку все сжирал именно этот модуль). А КАК ЖЕ МНЕ БЕЗ КАРТЫ САЙТА?!?
BBCODE
У меня сейчас около 70К записей.
Используется
Друпал 6.20 (дистрибутив Pressflow)
Модули
Ad
Biblio
ССК
Block Cache Alter (им я выбираю что кешировать, а что нет) ЯДРО НЕ ПАТЧИЛ
Boost
CacheRouter (сохраняет в файл подпапки сайта по умолчанию)
Chaos tools
Archive
Blod
Contact
Forum
Locale
Menu
Phpfilter
Statistics (+number) - выводит кол-во прочтений материалов
Throttle
Upload
FEEDS (auto content)
Image +GD + Amage Magic
Image Gallery
Nodewords
Featured Content Slider Block
Related Items
JavaScript Aggregator
Path alias cache
Send by e-mail
Noindex External Links
reCAPTCHA
Tagadelic
Views
Advanced Forum More Styles
Avatar Selection
CSS Gzip
DB Maintenance
DHTML Menu
Global Redirect
Google CSE
IMCE
Node_Type_Filter
Site map
Site Verification
Thickbox
Token
вроде бы все.
Комментарии
Откуда и зачем столько блоков, если не секрет?
*взял попкорн*
Попкорн отдай, тебе не нужен
Кстати, страницы грузятся по 6 секунд.
Я понятия не имею откуда столько блоков))))).
Я в друпале разбираюсь на уровне включить/выключить модуль.
инферно рыдает в углу от зависти.
Думаю что не о блоках друпала речь идет
да. это пять!
Хостинг???? Кто, чего и сколько.
А в чем тогда?!? Вы так загадочно говорите)))
Хостинг - it-patrol.
Кстати, на сайт в основном заходят боты и гости.
Юзеров онлайн не более трех паралельно. Обычно - 1,2 или 0.
положи откуда взял
Епть, 39000 блоков, да у вас не сайт наверное, а новогодняя елка.
[telepatmode on]я бы сказал что юзер не знает как кеш блоков работает
[/telepatmode]
я кстати видел как таблица кеша блоков сжирает на сайте до 600000 записей и как все это тормозит - особо при удалении/вставке.
это был ответ поддержки патруля, со слов ТС
Насколько помница, для ботов на патруле был сильно ущемлен канал.
вот и хуйто
DISCLAIMER: я не сотрудник ит-патроль и никагда им не был если че.
Да, они для ботов перекрыли кислород. Зато хоть смилостивились, не запретили доступ для ботов бирж ссылок, где я торгую...
Темы небось с друпал.орга качали и рассматривали?
Да, точно.
Всего поменял порядка 20-ти тем. Все с друпал.орга. Включал, смотрел, менял на другие.
Я так понял попкорн здесь главная тема))).
Что самое интересное, я не понимаю, то ли вы с меня прикалываетесь, то ли удивляетесь.
Я разбираюсь в друпале на уровне включить/выключить модуль и добавить записи.)))
а теперь поройдите в админку и выключите их
и все равно, объясните пожалуйста кто нить: 20 тем , это более 1900 блоков в теме. Это кэш или так реально бывает?
итого цифру 39000 можно смело поделить на 20, после чистки
Все темы выключены
кроме одной. она то и работает. скрины выше.
п.с.: когда-то давно я перебирал много тем путем включения и отключения, а также удаления ненужных.
Внимательно читаем
темы не имеют механизма удаления как модули
АААА... Слушайте, может в этом и проблема. Раз вы говорите.
А как их можно удалить?!?
В админке "темы" я их отключил (скрины выше), затем удалил по ФТП их.
Или они записались в БД MySQL?
Если да, то как называется таблица, которую надо почистить?!?
таблицу blocks чистить надо?
Они живут в таблице blocks и boxes
спасибо в любом случае. буду пробовать.
это вы спрашиваете или даете консультацию?!? в конце вашего вопроса "?".
Если я очищу таблицу, сайт будет работать, новые таблицы создадутся заново?!?
После такого вопроса сайт врядли будет работать
Простите меня, ламера))).
не простим. привяжем витой парой к позорному столбу и выпорем оптоволокном.
Проблема была в другом! РЕШЕНО!!!!!!!!!!!!!!!
Оказывается, все дело в том, что раньше мой сайт был на Друпал 5.х. Я обновился до 6.х Друпал, затем с Друпала перекочевал на его дистриб. Прессфлоу 6.х, а блоки Друпала 5.х остались(((((((((((((((((((((((((((((((((((((((
Всего более 60.000 блоков.
После удаления менее 16.000 стало.
Удаляем дальше....))))
После чистки блоков почитай про Block Cache Alter с патчами.
Слушайте... а как вы блоки очистили?
А то у меня тоже - с 5ки на 6ку + за три года немеряно тем попробовано-отключено. Для меня вообще шок, что темы создают блоки, которые в таблицах остаются! Я то думала, блоки всегда одни и те же...
Разобралась.
Открываете базу сайта, идете в таблицу Блокс... и широко раскрываете глаза от удивления - она содержит ВСЕ блоки от ВСЕХ когда-либо использованных на сайте тем... В т.ч. тех, которые были поставлены, а потом выключены за пару минут...
Например, у меня там 2 500 записей для 38 блоков (судя по бокс). Удалить их просто, т.к. одно из полей имя темы, ИМХО удалить можно все, что сейчас не используется, оставить набор для одной-двух тем. Что самое забавное - удаление блока в админке не приводит к удалению записи в базе... Записи расположены хронологически, от исторически старых к новым. Т.е. по факту, они не несут ВООБЩЕ никакой пользы - если в начале существования вашего сайта у вас было 5 блоков включены, то они все есть в таблице. Если вы переключите тему на старую через пару лет, создастся еще один набор записей в таблице по числу новых блоков.
Короче, маразм.
Я под глубоким впечатлением от этого топика... спасибо ТС и техподдержке Ит-Патрол, что вывели на такую интересную тему!
Итак: почистила себе таблицу блокс, пришлось все делать руками... Оставила три темы: основную, админка + гарланд на всякий случай. Все остальное - снесла к чертям. Конечно, глубокой ночью сложно проверять статистику... но визуально сайт стал лучше работать и в админке резко пошла вниз нагрузка. Буду смотреть завтра, совпадение это или вправду подействовало
Валентина, так как у вас скоро Казах-эффект, то в качестве рекламы и облегчения жизни патруля я вам могу немного помочь, бесплатно. Стукните мне, лучше в скайп
Интересно... не сталкивался с данной проблемой видно потому что эксперементировал с темами в основном на тестовом сайте. Но пару лишних тем почистить не помешат в блоках.
Да, ситуация в Д7 изменилась?
Не, все так же...
Очень интересная тема. Почистил таблицу Block, и добавил эту тему в закладки.
а вы не пробовали ставить минимальное время обращения робота к вашему сайту? (в файле robots.txt есть директива crawl-delay)
Некоторые роботы чхать хотели на эту дириктиву