[ОБНОВЛЕНО 14.08.2010] Импорт материалов из XLS

ваш случай - обычный csv файл , зачем было огород городить? node_import бы справился

вы попробуйте вот такой прайс автоматически обработать! (см аттач)

Была бы цель, а способ найдется. Хотя дергать фотки непорседственно из прайса - мазохизм. XLSX или ODF в этом плане удобнее был бы.

По делу:
- node_import по-другому работает с таксономией;
- зачем заставлять клиента совершать лишние движения с сохранением в CSV (как, кстати, сейчас дела обстоят с загрузкой CSV в cp1251)?

Прикольно, спасибо! Возьму на заметку.

P.S. А для указанного "навороченного" прайса надо индивидуальный парсер писать. И проблема, ИМХО, только в вырезании картинок.

индивидуальный парсер ... и вот у нас 20 поставщиков и у каждого свой формат прайслиста, сколько парсеров написать придется?

дергать картинки из ODS как раз несложно, спецификация открытая на формат (xml), мне пришлось один раз, и что самое приятно - они просто лежат файлами отдельными внутри документа openoffice, надо только в документе найти соотвествие между именем файла и местом где он используется.

Я имел в виду, что из XLS мазохизм. Из ODS, ODF и XLSX как раз приятно - это же архив с xml файлами и всеми вложениями.

Вообще для случая как у вас просто деваться больше некуда. 20 абсолютно разных форматов листов.. Тут либо пресеты какие-то делать для одного парсера, либо пытаться договориться с поставщиками. Кстати, спасибо за пример, вечером поэкспериментирую с объединенными ячейками.

Выражаю благодарность за ваш общественно полезный труд!
Будет время обязательно посмотрю ваш модуль.

То что импорт можно провидить прямо из Excel файла - это очень удобно, т.к. Open Office медленный и не такой удобный.

С другой стороны при использовании модуля Node Import, есть возможность также использовать модуль Node export - ведь забивать товары ценами (для одного сайта) могут люди из разных городов. И это все может происходить непосредстсвенно на сайте, а не через импорт табличного файла.

В один прекрасный момент возникнет надобность все эти данные получить в таблицу.

А как это сделано?
xls разве можно построчно парсить?

Спасибо скажу и я, однако же если бы он был заточен под Уберкарт, с поддержкой атрибутов и прочего - это была бы реальная бомба. Просто мечтаю :)

А ты выложи прайс с атрибутами, глядишь кто-то и заточит, так как видение сабжа программистом может очень отличаться от реальности

Распарсить xls можно сразу целиком весь, что собственно и делается. Полученная информация складывается в кеш. На эти операции много ресурсов и времени не требуется (phpexcel ограничивает размер файла семью мегабайтами, но даже такой объем сложно представить).
А вот добавление - процесс тяжелый, как раз он выполняется пошагово.

Пару лет назад писал импорт из xls в друпал 5 и уберкарт, но там ни о какой универсальности речи не шло. Заранее предопределенная схема прайса, известные поля товаров и тд и тп. Как следствие никаких настроек. Если вам чем-то поможет, исходниками могу поделиться.

Этот материал помещен на главную. Значит модератор здесь все таки есть... А кто это?

Если сможешь зайти сюда http://drupal.ru/node/48391/revisions то увидешь, у меня не работает

Есть подозрение, что они: http://drupal.ru/ru_team =)

- что является ключем(как определяет что это не другая нода)?

Заголовок (title).

Спасибо, надо будет потестить!

фактически все прайс-листы объединяет одна особенность - товары идут построчно. всю малину портят загноловки , пустые клеточки итд. мечтаю об интеллектуальном парсере - вот это была бы бомба

Здравствуйте, совсем недавно стала осваивать друпал в качестве пользователя, может быть глупый вопрос, но спросить больше не у кого. Пытаюсь подключить этот модуль, но на странице подключения модулей, рядом с модулем rimport пишется "Зависит от: Taxonomy (включен), Cck (отсутствует)". CCK у меня подключен, причем все имеющиеся галочки. В чем может быть проблема?

Здравствуйте. Проблема в моей ошибке. Скачайте, пожалуйста, еще раз архив с модулем и замените файлы. Возможно потребуется очистить кеш.

Кроме того, сегодня еще одна ошибка обнаружилась, в некоторых случаях при разборе таксономии возникает бесконечная рекурсия и, как следствие, вылет по таймауту. Причину пока не понял.

Полезный модуль.

Разве node_import умеет работать в режиме обновления?

Не умеет, но можно научить.

Node import в последней редакции умеет обновлять (она не на друпалорге), но у него есть другие траблы. А именно он как то откровенно паршиво работает с количеством на складе. Проблему пока разрешить не удалось, если кто сможет помочь, буду признателен.

Потестил это модуль, после выбора файла и нажатия кнопки "отправить" моментально выдает ошибку страницы и все.

Может это у меня какие проблемы с сайтом? а то ни один из модулей импорта не хочет работать..

>>(она не на друпалорге)
А где?

«Потестил это модуль, после выбора файла и нажатия кнопки "отправить" моментально выдает ошибку страницы и все.
Может это у меня какие проблемы с сайтом? а то ни один из модулей импорта не хочет работать..»

А можно текст ошибки? Если ни один модуль импорта не работает, то, возможно, дело просто в отсутствии прав на запись в папку, т.е. модули не могут файлик закачать.

Нема текста ошибки, выдает стандартную браузерную "страница не найдена".

"прокаченый" ноде импорт в нескольких версиях под уберкарт растет тут:
http://www.ubercart.org/project/node_import_uc_stock

PS
Ребята, если кто будет тестить и все нормально заработает, дайте знать. Для меня очень важно пофиксить проблемы и заставить все это работать.

Комментарии чисто по коду -
вместо мешанины хтмла лучше использовать Form API, и t("Русский текст"); - так обычно не делают, в t оборачивается английский текст.

На мой английский медведь в детстве наступил, поэтому русский.
Form API - согласен конечно, мешанина - не соответствует стандартам кодирования, принятым в Drupal. Но лично для меня реализовать форму выбора полей\колонок на Form API слишком проблематично. Зато есть к чему стремиться.
Спасибо за замечания.

надо обязательно посмотреть! Огромное спасибо за OpenSource! Стоит такая же задача, но взяться за ее решение смелости не хватает, может с Вами заодно толк выйдет

Попробовал вчера. По инструкции положил PHPExcel в папку sites/all/rimport/phpexcel Сразу же ругается на отсутствие файла PHPExcel.php У меня этот файл находится в папке sites/all/modules/rimport/phpexcel/Classes/ (Напишите, пожалуйста, какие файлы где должны находиться для правильной работы модуля) Если перенести его в /rimport/phpexcel/ начинает работать, но появляются следующие ошибки:

warning: rename(c:\windows\tempbook1.xls,c:\windows\temp2010.08.23.xls) [function.rename]: No such file or directory in .../public_html/sites/all/modules/rimport/rimport.module on line 187.

warning: Invalid argument supplied for foreach() in .../public_html/sites/all/modules/rimport/rimport.module on line 303.

У вас, судя по всему, какая-то другая версия PHPExcel. В той, которую я качал папки Classes нет вообще, а файлик PHPExcel.php лежал в корне архива.

Все правильно с phpExcell, проблема с правами на запись в каталог или сам каталог неправильно указали в настройках.

2reyholh Еще раз спасибо, что сделали свой труд достоянием общественности!

Думаю логику надо пересмотреть. Хотя конечно все субъективно. Вы избаляясь отлишних пробелов удаляете пустые ячейки что может нарушить структуру файла. Ведь совсем не обязательно все ячейки должны иметь значения, возможно некоторые могут быть пыстыми, в этом случае Ваш модуль беспощадно исказит структуру файла и правильный маппинг будет просто невозможен.

Если я не ошибаюсь то для этого понадовиться исправить всего одну строку №205 в файле rimport.module

Совершенно верно, столкнулся уже с этим. Огорчает полное отстутствие вразумительного описания API PHPExcel.
Спасибо.

В следующей версии исправлю и это.

я был почти прав. Ошибка кроется в этих трех строках(204-206)

$cellIterator = $row->getCellIterator();
$cellIterator->setIterateOnlyExistingCells(true);
foreach($row->getCellIterator() as $cell){

Для того чтобы принимать во внимание пустые строки необходимо исправить строку 205
$cellIterator->setIterateOnlyExistingCells(false);
а так же исправить строку 206

foreach($row->getCellIterator() as $cell){
 
на 
 
foreach($cellIterator as $cell){

кстати релиз на d.org будет?

На d.org - нет, не будет. Ну не от меня, по крайней мере.
Во-первых не соблюдаются стандарты кодирования, во-вторых я с английским никак.

теперь, если принять во внимание мои лополнения, то получается еще один нюанс - очистка о пустых строк перестает работать. И еще у меня почему то не работает импорт терминов таксономии.

А на что ругается? Какие ошибки или как вообще выглядит "не работает"?

Архиважный модуль. Спасибо. Мне без него просто никак :)
Вот только не могу победить 2 момента:
- при импорте ноде не назначается термин (хотя в словаре он появляется).
- не подцепляются cck-переменные.

Интересно. Подробнее опишите, пожалуйста.

Вот, вроде нащупал, почему CCK не подцепляется.
На свежеразвернутый Друпал в типе материала page (дефолтном) создал текстовое ССК поле. Все нормально, при импорте дает ее выбрать.
Если создать другой тип материала - связь с ССК теряется.

Дальше пока не продвигаюсь, ибо импорт "зацикливается":

rimport step 3

* warning: Invalid argument supplied for foreach() in Z:\home\n2\www\sites\all\modules\rimport\rimport.module on line 403.
* warning: Invalid argument supplied for foreach() in Z:\home\n2\www\sites\all\modules\rimport\rimport.module on line 508.

Добавление материалов, пожалуйста подождите...

В этих строках модуль пытается читать массив строк из прайса.
И отсюда сразу вопросы:
- корректно ли загрузился сам xls файл?
- создался ли для него файл кеша (представляет из себя php файл с var_export()'ом массива строк/ячеек прайса)?
- подключился ли этот файл?

Вообще конечно зря я не сделал обработку ошибок, это еще один из серьезных минусов модуля и причина по которой нельзя на Д.орг выкладывать.

У меня тоже ошибки со строкой 187.

Можете ответить на вопрос: в режиме Обновление ваш модуль может удалять файлы фотографий из указанной директории?

А теперь не замечание, а пожелание:
обновление как я понял ведется по заголовку материала. Это хорошо если нет 2-х товаров с одинаковыми названиями, а если ваш модуль использовать не для товаров а для людей, в одном городе ведь может быть 2 человека с именем Иванов Иван Иванович. Идея пропатченого Node Import мне кажется лучше там можно указать обновление по ключевому полю.

Да, в режиме обновление могут удаляться. Вот только связано это не с модулем, а с тем как выполняется node_save() для файловых полей. Судя по всему, даже если указано тоже имя файла, Друпал удаляет старый и только потом привязывает к ноде новый с тем же именем.

Про уникальность по имени я прекрасно понимаю. Список того что переделать/доделать достаточно большой лежит. Вот только сроков конкретных обещать не могу.

Может вопрос глупый, но этот модуль работает с уберкарт?

Нет.

А почему не работает?
Что мешает импортировать уберкартовские ноды?

С полями CCK должен работать адекватно, с атрибутами не работает никак.

Вот у меня много нод и поудалялось, когда я с вашим модулем поэкспериметировал. Думаю вы сами понимаете, что эта особенность не самая приятная.

Ваш модуль стоит дописать. Может быть я и сам это сделаю, когда нормально выучу PHP в Drupal. Так что автор если будете отвечать на вопросы которые я пишу в разделе Программирование может и быстрее это проблема решится.

Дописывать определенно надо. Теперь я знаю какие ошибки и что не правильно, а так же чего не хватает, за что вам всем спасибо.
Если вопросы лично ко мне будут, то лучше в личку написать или, если по этому модулю, сюда - отвечу обязательно.

Есть ли какие-нибудь продвижения?