Как обойти лимит на количество импортируемых их CSV товаров?
При импорте товаров из CSV зависает процесс на 86% и далее не двигается. Из 30000 позиций успешно импортируются только 2500. Где-то стоит ограничение на объем данных в MySQL или скрипте. Помогите, пожалуйста, найти и исправить, где это?
20 ответов
Попробуйте следующее:
1. Сократите ваш импортируемый файл до 2000 записей и попробуйте залить на сайт
2. Увеличьте файл до 7000 тыссяч записей и снова попробуйте.
3.Импортируйте частями по 5к записей = 6 импортов.
Спасибо, так и делаем. Однако, это не удобно. Нужно именно одним большим файлом импортировать. Поэтому и вопрос: где чего подкрутить, чтобы позволяло больший объем данных импортировать за раз?
А в логах-то пишет что-нибудь?
А где их посмотреть можно?
./wa-log/ и далее... Поставьте приложение Логи, оно бесплатное и достаточно удобное.
export: Invalid category count. Expected 13 but get 582
Ну вот... Уже что-то ))) Разработчики подтянутся - уже какая-то инфа есть :)
А вообще я импортировал гораздо большие объемы чем 2500. Не уверен что до 30к дотягивал, но по 15к наименований артикулов точно было, и все в один прием. Правда это еще в 5 версии было.
Сергей, в любом случае надо смотреть в сторону файла/БД имхо. Потому как, насколько мне известно, импорт работает с.о: он не грузит весь файл, а съедает его по кусочкам. Таких кусочков, опять же насколько я понимаю (но могу ошибаться, т.к.ответа от разработчиков не получил) может быть не более 500. И если у вас некоторое количество этих кусочков нормально съедается, то на каком-то происходит затык. Ну вот такая моя теория навскидку...
А это
export: Invalid category count. Expected 13 but get 582
не означает ли, что при экспорте система "ожидала" 13 категорий, а у нас их 582, включая подкатегории?
Не скажу, не знаю... Эта запись во время импорта формируется? Там вроде export фигурирует....
Да. Во время импорта.
а в настройках импорта стоит галка "игнорировать принадлежность к категории"?
Да, всегда ставим.
Суть в том, что на другом хостинге этот файл импортировался быстро, а после переезда на новый, видимо, сталкивается с ограничениями.
Надо ж... Ну тогда пас :) На серверное окружение в последнюю очередь бы подумал... Весь бы CSV-файл перекопал и базу сначала :) Но это мои тараканы :)
Посмотреть в консоли на предмет некорректных ответов от сервера. маловероятно, но если стоит очень маленький лимит памяти (memory_limit < 16MB) может её не хватать.
Посмотреть логи импорта.
Отправить файл в поддержку для воспроизведения ошибки.
У вас сервер на Апаче или NGINX?
В общем, вся суть подвисания импорта/экспорта в выставленных таймаутах ожидания ответа от скриптов.
Это таймауты просто нужно увеличить. Таймуаты - send_timiout и read_timeout. У нас стоят по 900мс (15 мин). Этого достаточно, чтобы импортировать примерно 15-30 тыс позиций (9 тысяч товаров у нас грузит примерно за 6-8 минут).
Не претендую на истину, но сомневаюсь я... Импорт/экспорт, как и прочие долгоиграющие операции, выполняются не за один заход. Вот сколько раз у вас бегунок "дёргается", столько запросов и происходит. Т.е. весь процесс разбит на части, и каждая часть, по рекомендациям WA не более 10% от общей массы. Если предположить что WA следуют своим рекомендациям, то получается что если импорт виснет из-за тайм-аута, то этот тайм аут должен стоять в настройках, если взять за основу ваш пример, менее минуты.
Было б здорово, если б разработчики опровергли мою теорию. Ну или подтвердили :)
Что мешает проверить?
У нас при 400ms виснет. При 450 грузится. Поставили с запасом 900.
Я не силен в конфигах сервера, но у нас работает. И именно тайм-ауты помогли избежать зависания.
До этого писали в ТП. Они ничего внятного сначала не отвечали и только спустя несколько дней посоветовали увеличить тайминги.
Можно настроить тайминги только на операции импорта/экспорта через локейшены.
А Вы не могли бы объяснить где именно эти тайминги можно поменять? Буду очень благодарна. На ТП вообще никакой надежды.
Добрый день всем!
Не совсем в тему вопрос. Подскажите как вы загружаете большое количество товаров с распределением по категориям и картинками сразу? Вопрос с картинками важен, так как не понимаю как делать это массово не цеплять же к каждому товару потом в отдельности?