Новые комментарии и постраничная разбивка

Всем добрый день! Собственно, я сразу перейду к делу.
На сайтах сообществ регулярно возникает проблема следующего рода: число комментариев к посту часто разрастается до 700 и более. Начинается проблема с быстродействием рендеринга (выцепить из базы даже 1000 комментариев - не проблема). Пока Отработают все хуки, шаблоны и фильтры... Эту проблему замечательно может решить постраничная разбивка, комментариев по 200-300. Она отлично работает даже на древовидных комментариях, но возникает проблема: Drupal считает новые комментарии для всего поста сразу, т.е. если часть новых комментариев на одной странице, а часть - на другой, то пользователь, зайдя на вторую страницу с первой, потеряет все метки новых комментариев.

Решал ли кто-нибудь подобную проблему? Есть ли смысл хранить метки новых комментариев в сессии пользователя и расставлять их скриптом на стороне клиента, или это глупо?

Всем спасибо!

Drupal стал медленнее работать

После месяца работы сайт на d7 стал работать очень медленно, сейяас devel пишет
Page execution time was 2739.59 ms. Memory used at: devel_boot()=1.09 MB, devel_shutdown()=10.81 MB, PHP peak=11.25 MB.

месяц назад:
Page execution time was 100.23 ms

Время запросов к БД возросло не значительно - Executed 283 queries in 15.81 ms, кол-во тоже

За это время изменилось:
кол-во модулей до 20 сторонних
кол-во нод > 40 000
кол-во полей для основного типа материала (объявление) > 20

В чем проблема такого значительно снижения производительности?

Тормозят сайты на Drupal. Win Server + IIS - помогите оптимизировать

Доброго времени суток!

Есть Web сервер на Windows Server 2008. VDS
Характеристики сервера - 1024 Mb ОЗУ, 2x2600 mHz проц.
На сервере развернуть IIS 7.5 на нем настроен PHP и развернут Drupal.
на Drupal-е используется мультисайтовость и развернуто ~40 веб сайтов с посещаемостью около 100 человек в сутки.

Сайты теперь тормозят. Смотрю нагрузку на VDS-е - почти под 100% загружен проц всегда. Хотя посещаемость довольно низкая. Если кто то заходит на сайт то загрузка страницы одной на секунд 5 загружает одно ядро проца на 100%.

Подскажите пожалуйста - такая нагрузка на сервер это нормально? Если нет, где что можно подправить чтобы оптимизировать нагрузку? Ну или что вообще сделать чтобы такая конфигурация работала быстро..

Просто есть другой сайт на ASP.NET с посещаемостью около 6000 человек в сутки на таком же VDS. И там все работает быстро.

1.5М зарег. юзеров - справится ли друпал?

Здравствуйте,
Я учавствую в разработке одного проекта, в котором заказчик хочет добавить 1.5М юзеров в базу и хотел бы с вами посоветоваться: стоит ли продолжать разработку на друпале?

Тестирование производительности Drupal 6 и Drupal 7

Провёл по возможности честное и приближенное к реальности тестирование d6 и d7:

1. в d6 сделал новостям такие же поля, как в d7 по умолчанию (title, body, tags, image), для чего пришлось поставить модули cck, filefield, imagefield, image api, imagecache
2. добавил новостям текстовое поле source
3. создал по 20 новостей с заполненными всеми полями
4. сделал меню из 6 пунктов + 3 развёрнутых подпункта
5. добавил меню в виде блока и сделал одинаковый набор блоков на обоих версиях (поиск, вход, меню, навигация)
6. загрузил русскую локализацию (в d7 пришлось фиксить ядро, иначе php не хватало времени для загрузки локализации)
7. отключил логи в апаче и mysql (иначе они портят тесты кэша)
8. выгрузил все программы какие смог
9. после каждого теста перегружал apache и mysql
10. тестировал на большем количество запросов (1000 запросов по очереди в один поток)

Результаты в мс (среднее значение):

страница	d6.20	d7.0
node	144	114
node/1	60	68
cache	11	15
нормированное время	1	1,07

*кэш от конкретной страницы почти не зависит, поэтому для него приведена просто одна цифра*

Тестировалось на winxp, php 5.2.9, eaccelerator (xampp).

Накануне более "тупо" тестировал drupal 5,6,7, там цифры для drupal 7 получилась менее утешительные, результаты тут: http://edhel.krasu.ru/drupal-5-6-7-perfomance.

мини тест pressflow

Залил контент, добавил нужных модулей и чуток потестировал pressflow-6.20.97

настройка Performance
Caching mode : Disabled
Page compression : Enabled
Block cache : Disabled
Optimize CSS files : Disabled
Optimize JavaScript files : Disabled

модуль трэйсера - Tracker 2

Сервер без нагрузки, кэш очищен.
Первая строчка - первое открытие друпалом, следующая строчка просто рефрэш страницы.

главная страница

529.05 ms. 397 queries 124.87 milliseconds. devel_it()=2.82 MB, devel_shutdown()=29.31 MB.
477.19 ms. 403 queries 79.42 milliseconds. devel_it()=2.81 MB, devel_shutdown()=28.98 MB.
514.61 ms. 392 queries 97.94 milliseconds. Memory usage:Memory used at: devel_it()=2.82 MB, devel_shutdown()=27.79 MB.
409.51 ms. 392 queries 69.31 milliseconds. devel_it()=2.82 MB, devel_shutdown()=27.8 MB.
392.5 ms. 392 queries 69.25 milliseconds. devel_it()=2.82 MB, devel_shutdown()=27.8 MB.
391.05 ms. 392 queries 68.32 milliseconds. devel_it()=2.82 MB, devel_shutdown()=27.8 MB.
---pressflow---
503.62 ms. 396 queries 125.31 milliseconds. devel_it()=2.98 MB, devel_shutdown()=28.97 MB.
398.83 ms. 391 queries 75.63 milliseconds. Memory used at: devel_it()=2.98 MB, devel_shutdown()=27.46 MB.
411.62 ms. 391 queries 71.07 milliseconds.
393.17 ms. 391 queries 70.42 milliseconds.
444.57 ms. 405 queries 81.94 milliseconds.

Оптимизация сайта (более 80 модулей, более 2500 просмотров в сутки)

Статистика по модулю Devel:

Average memory per page: 24.8 MB
Average ms per page: 8,358.12

Путь # accesses Max Memory (MB) Avg Memory (MB) ms (Max) ms (Avg) Query ms (Max) Query ms (Avg) Query Count (Max) Query Count (Avg)
1 574 25.25 21.92 4,583.0 1,117.0 1,245.0 246.0 373 294
node 119 41.00 20.55 39,437.0 2,893.0 1,092.0 125.0 406 176

Размер главной страницы 24.9 KB (с дополнительными обращениями к серверу 284.2 KB)- время загрузки на сторону клиента 4.16s (с дополнительными обращениями к серверу 7.86s, onload: 6.65s), 31 запрос к серверу

Прошу гуру оптимизации прокомментировать эту статистику.
Еще хотелось бы узнать, что за мистическая страница 1? На сайте ее нет.

[Производительность] Куча SQL-запросов от drupal_lookup_path

Добрый день.

В общем у меня вопрос общего характера. Озаботился я что довольно несложный сайт загружается довольно долго (от одной до двух секунд). Прошёлся профайлером (xdebug) и немного опечалился. Обычная страница делает 311 sql-запросов. Это очень много. Очень.

Выяснилось что большинство запросов (171 штука) происходит от функции drupal_lookup_path. Посмотрел её. Ещё больше опечалился. Ребята на каждый запрос к этой функции делают sql-запрос, вместо того чтобы при первом обращении скачать всю таблицу альясов и потом работать уже с ней в памяти. Или хотябы прикрутить несколько стратегий, например если кол-во памяти ограничено, а кол-во альясов велико. Прийдётся переписывать.

Вопрос простой - это нормально что в ядре друпала такой говнокод?

Влияет ли на количество запросов к базе блок это или поле?

У меня в неком типе материала в поле через nodereference выведена нода, созданная webform. Ноды на самом деле выбирались одна из трех, но с течением времени я поняла, что можно и одну - стандартную. Теперь возник вопрос, что легче для сервера (меньше обращений к базе данных): выбор ноды в поле или прикрепление блока с нодой к типу материала.

Может быть кто-нибудь уже решил для себя этот вопрос? Заранее благодарна за все ответы.

Книга «Реактивные веб-сайты»

Нашел только что книгу «Реактивные веб-сайты».
Она еще не напечатана, но рукопиь распространяется в электронном виде бесплатно - http://speedupyourwebsite.ru/books/reactive-websites/
Нам в частности помимо прочего это издание может быть интересно главой 8 "Практическое приложение" пунктом "Разгоняем Drupal".
Описано несколько методов оптимизации самого движка и сервера.
Прочитать и опробовать еще не успел (только беглым взглядом)... Кто что думает по этому поводу?

Загрузка страницы модулей - 117 секунд! (Решено)

Здравствуйте!
У меня огромная проблема. Страница с описанием модулей на локальном сервере загружается 117 секунд! Установлен eAccelerator. Кеширование выключено.

Установленные дополнительные модули:
CCK
Views
Date
Devel - некоторые модули
ImageCache
Administration menu
FCKEditor
Menu breadcrumb
Transliteration
WebForm
+2 легких самописных модуля

Есть ли у кого соображения, отчего этого возникло и как исправить.

node import и много нод

Друпал 6.15, node import разный, в последнее время dev.
CSV на 50000 нод, данных в нодах не очень много, файлик на 30 мб.

Когда запускаю на хостинге (php через suPHP, т.е. как CGI) - быстро грузим, потом

PHP Fatal error: Maximum execution time of 60 seconds exceeded in /home/blabla/public_html/sites/all/modules/node_import/node_import.inc on line 1775

Лимиты все убрал,все разрешил... В php_info пишут про execution time - 6000c
Ошибка не пропала (предполагаю что дело в CGI)

Стал пробовать на локальной машине, поставил xammp c 5.2.9 PHP, все достаточно сносно, но при загрузке опять вываливаются ошибки (либо просто httpd жрет ресурсы очень, результата не видно...)

Как прогрузить?
Хотелось бы чтото типа batch
Во всем остальном node import устраивает

http://host-tracker.com/ против сайта на Друпале

Приветствую.

В общем, такая ситуация:

есть сайт http://host-tracker.com/ при помощи которого можно оценить, с какой скоростью "отдается" сайт, если бы его запрашивали Земляне =), с разных частей света.

я сейчас ваяю сайт на Друпале 6.15 (кому интересно, http://new.verish.net) вот и решил проверить, какая будет реакция...

Реакция отрицательно удивила: Хост-Трекер (у него около 55-60 разных точек откуда он пробивает искомые сайты) чуть-чуть подумал, выдал мне 6 "ОКеев" (с 6-ти точек сайт открылся) и после этого нарисовал мне все остальные ошибки...

При этом, проверяю другой статичный сайт, который находится на том же хостинге но не использует Друпал (http://Verish.net) - там - все оки, все ответы получены...

Хостер не держит, руки у меня не так заточены? =)

Выслушаю любое мнение, по существу =)

Заранее благодарен

Сайт постоянно превышает лемит CPU.Скажите я лоханулся с хостингом?

У меня сайт на хостинге 1gb.ua .Сайт постоянно подвергаю модификациям.Изменяю вывод views,расположение блоков, и т.д.
Так вот мой сайт постоянно превышает рариф виртуального хостинга.
«Cайт превышает предел тарифного плана хостинга.
Попробуйте зайти позже.
Site exceeds CPU load allowed by purchased hosting plan.
Please try again later.»
Это притом что я единственный пользователь на данный момент.
Тариф хостинга :
Процессорная нагрузка (от Xeon 3.4 гГц) - 3.5 %
Установленные модули:
filefield\
imagefield\
autoassignrole\
captcha\
recaptcha\
authcache\
css_gzip\
cacherouter\
javascript_aggregator\
email\
pathauto\
views\
adsense\
nodewords\
page_title\
geshifilter\
fivestar\
link\
votingapi\
xmlsitemap\
tagadelic\
imce\
fckeditor\
og\
privatemsg\
cck\
token\
admin_menu\
/********************************************************
Скажите я лоханулся с хостингом?

Проблемы с откликом. Где искать грабли?

На сервере, кроме девелоперского друпала стоит самописный движок сайта + ipb форум. Однако в отличии от сйта и форума, отклик от друпала гораздо больше. Мерил прогой httpwatch. Кеширование на друпале не включено.

Итак, первая странность: если к сайту не обращаться час, полтора, то первая загрузка страницы 2,5-3,5 сек по htppwatch (2,2 сек ожидание), по девелу - 2,3 с.
Сразу же перегружаем страницу - 0,5 по htppwatch (0,45 сек ожидание), 316.97 ms по девелу.
У форума время ожидания 0,1 мс и почти сразу отрисовка.
Итого две странности
1. такое впечатление, что пхп засыпает на 1-2 сек увеличивается отклик после ожидания час полтора.
2. у друпала сначала приличное время ожидания а потом вываливает все. В отличии от того же ipb
И все это при одной вьюхе с параметром по типу материала и публикации.
Подскажите как улучшить отклик? Как объяснить странности?