Импорт более 3 миллионов терминов
Прислано: chewie
ср, 20/01/2010 - 14:36
Будут ли проблемы с сайтом на друпал если будут импортированы более 3 миллионов терминов в одном словаре?
3-х уровневая иерархия. Сайт крутится на VPS. При создании ноды эти термины выбираются через 
hierarchical_select. Кто сталкивался с таким количество терминов. Все ли будет нормально?
Спасибо.
- chewie's blog
- Для комментирования войдите или зарегистрируйтесь
Веселье начинается уже где-то от 10 000 терминов.
Проблемы, как минимум, будут с:
1. Страницы taxonomy/term/tid
2. Страница admin/content/node
VPS ваш загнётся, вы даже и не заметите. Про Hierarchical Select можете забыть... По крайней мере полгода назад его лучше было не использовать для такого количества. Чтобы оценить масштабы бедствия можете взять у меня на блоге базу КЛАДРа, там около 198000 терминов и поставить Hierarchical Select.
Описана ситуация на мускуле, с PostGRE может будет чуть лучше
- Для комментирования войдите или зарегистрируйтесь
а как посчитать имеющиеся термины?
- Для комментирования войдите или зарегистрируйтесь
SELECT count(*) FROM term_data WHERE 1
- Для комментирования войдите или зарегистрируйтесь
Проблемы будут при использовании методов что есть в ДРУПАЛ по умолчанию.
Если работать со словарем самостоятельно, то это ничего страшного.
Очевидно жеж что вывод на страницу всех 10 000 терминов это абсурд.
- Для комментирования войдите или зарегистрируйтесь
пол часа назад один мой винт похоже загнулся %( (правда ему 6 лет)
действительно веселье началось
- Для комментирования войдите или зарегистрируйтесь
в свое время задача такая мной уже решалась - не все так страшно, как кажется... для начала установите модуль leftandright[/module] - он значительно облегчит работу с "тяжелыми" словарями, а потом нужно поколдовать над Hierarchical Select - и он тоже залетает...
- Для комментирования войдите или зарегистрируйтесь
у меня код ничего не выводит (которой количество терминов выводит)
- Для комментирования войдите или зарегистрируйтесь
это чистый SQL-запрос, выполнять в phpMyAdmin либо в консоле мускульной, если у вас таблицы с префиксами, то префикс надо дописать
- Для комментирования войдите или зарегистрируйтесь
спасибо, щас посчитаю
- Для комментирования войдите или зарегистрируйтесь
мда, всего то 2544
- Для комментирования войдите или зарегистрируйтесь
"We currently have this running on a demo site which contains a taxonomy with over two million terms."
Прикол,а меня тут было убеждали,что 100000 терминов приводит к моментальной смерти :)
- Для комментирования войдите или зарегистрируйтесь
Демо сайт не работает
Прикол,а меня тут было убеждали,что 100000 терминов приводит к моментальной смерти :)
Все верно, моментальная смерть друпала "из коробки" неизбежна.
Уже проверял. После > 10 000 терминов и сайт дохлый. Проверял уже на локалхосте, приходилось увеличить лимит памяти пхп до 500М. И даже этого было мало. Скорее всего и средненький выделенный сервер тоже загнется.
Без кастомизаций функций (патчей и все такое) не будет друпал держать такое количество терминов (во всяком случае с иерархиями)
- Для комментирования войдите или зарегистрируйтесь
Localhost (тот что под виндовс) - это не показатель,на Unix совсем другая картина
- Для комментирования войдите или зарегистрируйтесь
у меня hierarchical_select с 4мя тысячами терминов бывает сильно подтупивает, а тут на несколько порядков больше.. Я бы выбрал другое решение, ну или реально серьёзно доработать hierarchical_select, давно пора))
- Для комментирования войдите или зарегистрируйтесь
Комментарии