Оптимизации потребляемой памяти

[qtLex]

Описание

Оптимизации потребляемой памяти

• Коллекция occurrences не использовалась. Удалил
• Уменьшение потребляемой памяти за счет применения intern() у строк

[nixel2007]

намерил что-нибудь в цифрах?

[qtLex]

Выигрыш сейчас около 200 мБ. Дамп снимал на момент начала анализа файлов.

Было в ветке feature/reduce-memory-consume

После дропа occurrences и расстановки intern()

Сильно удалось уменьшить дублирование строк. Основная часть была в описании параметров и возвращаемых значений. Остаток в основном в mdclases.

ЗЫ. Тесты на ssl 3.1

[qtLex]

Еще попробую выполнить, предложенную тобой, замену ConcurrentHashMap на ConcurrentSkipListMap.

[nixel2007]

Смотри на вкладке object sizes. Там можно посмотреть, сколько занимает конкретно мапа, а не вся память

[qtLex]

Я там тоже смотрел

[qtLex]

@nixel2007

private final Map<Symbol, Set<SymbolOccurrence>> occurrencesToSymbols = new ConcurrentSkipListMap<>();

Если использовать ConcurrentSkipListMap вместо ConcurrentHashMap выигрыш получился приблизительно в 0,5мБ

Ты писал о выигрыше в 200мБ. Я правильно понимаю, что необходимо еще поменять использование ConcurrentHashMap.newKeySet() для хранения Set<SymbolOccurrence>, Реализовав схожую коллекцию, но с ConcurrentSkipListMap в основе?

Как я понял из обсуждения в телеграмме сейчас экспериментируешь с кастомной реализацией intern. Есть ли смысл в этом pr пока не закончены эти эсперементы?

[nixel2007]

@qtLex я пушнул c4dc4b7 в отдельный бранч, посмотри, плз.

Есть ли смысл в этом pr пока не закончены эти эсперементы?

да, есть, я просто потом все String#intern заменю на вызов StringInterner#intern

[nixel2007]

Производительность после замены мапы не упала?

[qtLex]

Подчистил от лишних вызовов intern. На памяти не сказалось.

Производительность после замены мапы не упала?

Перенес изменения из c4dc4b7. По памяти выигрыш есть. Померил немного без жесткого ограничения по памяти. Просадки не увидел. Гонял УХ

До

После

По пробовал с меньшим количеством памяти. Время анализа увеличивается пропорционально для обоих вариантов.

[nixel2007]

спасибо огромное!