Крашится парсинг

[ma4ypic4y]

При парсинге с одной url более 2.5k точек появляется зависание и падает вкладка парсинга с сообщением "oops.." (иногда пишется out of memory). Тестировал на разных устройствах win/mac, но всегда отваливается на 2300 +-200 точек.
В параметрах указываю:

С чем это может быть связано?

[interlark]

Связано с переполнением RAM, нужно перезапускать парсер и продолжать работу с последней успешно собранной страницы. Руки не доходят сделать в виду отсутствия свободного времени, а пул реквестов на ревью никто ещё не присылал.

[interlark]

@andbaish, какой URL?

[andbaish]

@andbaish, какой URL?

Ваш парсер может максимально 10 000 парсить так как после 845 страницы 2гис не предоставляет данные.

Проверил вручную и через парсер методом описанным здесь "нужно перезапускать парсер и продолжать работу с последней успешно собранной страницы"

Поэтому лимит 30000 даст максимально 10000 можно ли это как то магическим образом увеличить?

[interlark]

@andbaish, интересное наблюдение -- Я ещё не находил таких запросов, которые бы выдавали 10к записей в ответ.
Тут уж ничего не поделать, в любой в поисковой выдаче есть ограничения, тут выход - конкретизировать запрос.
У Google, насколько помню, 30 страниц, у Циана 70 страниц, и т. д.
Про 845 страниц у 2GIS, пока что, поверю на слово.