node import и много нод

Прислано: Fanny@drupal.org

ср, 27/01/2010 - 19:12

Другие статьи по теме:

Друпал 6.15, node import разный, в последнее время dev.
CSV на 50000 нод, данных в нодах не очень много, файлик на 30 мб.

Когда запускаю на хостинге (php через suPHP, т.е. как CGI) - быстро грузим, потом

PHP Fatal error: Maximum execution time of 60 seconds exceeded in /home/blabla/public_html/sites/all/modules/node_import/node_import.inc on line 1775

Лимиты все убрал,все разрешил... В php_info пишут про execution time - 6000c
Ошибка не пропала (предполагаю что дело в CGI)

Стал пробовать на локальной машине, поставил xammp c 5.2.9 PHP, все достаточно сносно, но при загрузке опять вываливаются ошибки (либо просто httpd жрет ресурсы очень, результата не видно...)

Как прогрузить?
Хотелось бы чтото типа batch
Во всем остальном node import устраивает

Комментарии


Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Применить"
Опубликовано cosmos в чт, 28/01/2010 - 07:32.
cosmos

а разделить файлик нельзя на 2 части хотя бы


Опубликовано Dan в чт, 28/01/2010 - 08:13.
Dan

Руками в БД быстрее будет.


Опубликовано Fanny@drupal.org в чт, 28/01/2010 - 23:32.
Fanny@drupal.org

cosmos написал(а):

а разделить файлик нельзя на 2 части хотя бы

Ну во первых это не поможет, в идеальных условиях удалось прогрузить порядка 6000 нод, т.е. нужно будет бить где то на 8 частей, что не приемлемо.

Да и в принципе разделять не хорошо.


Опубликовано Fanny@drupal.org в чт, 28/01/2010 - 23:35.
Fanny@drupal.org

"Dan" написал(а):

Руками в БД быстрее будет.

Тут видимо одних рук мало (вы же не про набивать?! =)). Тут наверняка еще и голова нужна будет.

Если есть наработки в виде php подпорки, чтобы прогрузить весь файл в БД - было бы интересно. Естественно не просто прогрузить, а ноды создать.


Опубликовано Dan в пт, 29/01/2010 - 01:12.
Dan

"Fanny@drupal.org" написал(а):

Если есть наработки в виде php подпорки, чтобы прогрузить весь файл в БД

Поиск. Вопрос поднимался. Там всего несколько таблиц. Даже совершенно не зная друпала это можно сделать натравив diff на дампы БД.


Опубликовано cosmos в пт, 29/01/2010 - 08:46.
cosmos

вот я всегда говрил что хранить много данных в нодах нельзя
это ТОРМОЗИТ!


Опубликовано RxB в пт, 29/01/2010 - 08:53.
RxB

ОМГ


Опубликовано Dan в пт, 29/01/2010 - 12:39.
Dan

"cosmos" написал(а):

вот я всегда говрил что хранить много данных в нодах нельзя
это ТОРМОЗИТ!

Правильно. Данные надо хранить в архивах, а архивы - на магнитной ленте.
К сожалению, у меня трава кончилась и ответить смешнее я не смог.


Ссылки партнёров