Как обойти лимит на количество импортируемых их CSV товаров?

При импорте товаров из CSV зависает процесс на 86% и далее не двигается. Из 30000 позиций успешно импортируются только 2500. Где-то стоит ограничение на объем данных в MySQL или скрипте. Помогите, пожалуйста, найти и исправить, где это?

3 ответа

  • 1
    Manakhov Sergey 19 июня 2015 02:16 #

    Попробуйте следующее:

    1. Сократите ваш импортируемый файл до 2000 записей и попробуйте залить на сайт

    2. Увеличьте файл до 7000 тыссяч записей и снова попробуйте.

    3.Импортируйте частями по 5к записей = 6 импортов.

    • +1
      Сергей Сергей 19 июня 2015 02:17 #

      Спасибо, так и делаем. Однако, это не удобно. Нужно именно одним большим файлом импортировать. Поэтому и вопрос: где чего подкрутить, чтобы позволяло больший объем данных импортировать за раз?

      • +1

        А в логах-то пишет что-нибудь?

        • +1
          Сергей Сергей 19 июня 2015 02:21 #

          А где их посмотреть можно?

          • +1

            ./wa-log/ и далее... Поставьте приложение Логи, оно бесплатное и достаточно удобное.

            • +1
              Сергей Сергей 19 июня 2015 02:26 #

              export: Invalid category count. Expected 13 but get 582

              • +1

                Ну вот... Уже что-то ))) Разработчики подтянутся - уже какая-то инфа есть :)

                А вообще я импортировал гораздо большие объемы чем 2500. Не уверен что до 30к дотягивал, но по 15к наименований артикулов точно было, и все в один прием. Правда это еще в 5 версии было.


              • +1

                Сергей, в любом случае надо смотреть в сторону файла/БД имхо. Потому как, насколько мне известно, импорт работает с.о: он не грузит весь файл, а съедает его по кусочкам. Таких кусочков, опять же насколько я понимаю (но могу ошибаться, т.к.ответа от разработчиков не получил) может быть не более 500. И если у вас некоторое количество этих кусочков нормально съедается, то на каком-то происходит затык. Ну вот такая моя теория навскидку...

      • +1

        Посмотреть в консоли на предмет некорректных ответов от сервера. маловероятно, но если стоит очень маленький лимит памяти (memory_limit < 16MB) может её не хватать.

        Посмотреть логи импорта.

        Отправить файл в поддержку для воспроизведения ошибки.

  • 1
    Константин Егоров 24 июня 2015 07:30 #

    У вас сервер на Апаче или NGINX?

    В общем, вся суть подвисания импорта/экспорта в выставленных таймаутах ожидания ответа от скриптов.

    Это таймауты просто нужно увеличить. Таймуаты - send_timiout и read_timeout. У нас стоят по 900мс (15 мин). Этого достаточно, чтобы импортировать примерно 15-30 тыс позиций (9 тысяч товаров у нас грузит примерно за 6-8 минут).

    • +1

      Не претендую на истину, но сомневаюсь я... Импорт/экспорт, как и прочие долгоиграющие операции, выполняются не за один заход. Вот сколько раз у вас бегунок "дёргается", столько запросов и происходит. Т.е. весь процесс разбит на части, и каждая часть, по рекомендациям WA не более 10% от общей массы. Если предположить что WA следуют своим рекомендациям, то получается что если импорт виснет из-за тайм-аута, то этот тайм аут должен стоять в настройках, если взять за основу ваш пример, менее минуты.

      Было б здорово, если б разработчики опровергли мою теорию. Ну или подтвердили :)

      • +1
        Константин Егоров Константин Егоров 25 июня 2015 04:19 #

        Что мешает проверить?

        У нас при 400ms виснет. При 450 грузится. Поставили с запасом 900.

        Я не силен в конфигах сервера, но у нас работает. И именно тайм-ауты помогли избежать зависания.

        До этого писали в ТП. Они ничего внятного сначала не отвечали и только спустя несколько дней посоветовали увеличить тайминги.

        Можно настроить тайминги только на операции импорта/экспорта через локейшены.

        • +1
          Ольга Чурбанова Ольга Чурбанова 6 августа 2015 05:50 #

          А Вы не могли бы объяснить где именно эти тайминги можно поменять? Буду очень благодарна. На ТП вообще никакой надежды.

  • 1

    Добрый день всем!

    Не совсем в тему вопрос. Подскажите как вы загружаете большое количество товаров с распределением по категориям и картинками сразу? Вопрос с картинками важен, так как не понимаю как делать это массово не цеплять же к каждому товару потом в отдельности?

Добавить ответ

Чтобы добавить комментарий, зарегистрируйтесь или войдите