TikTokCommentsFetcher

Script that fetches comments from a TikTok post

Документация

Требования:

1. Проставить значения переменных окружения EMAIL, PASSWORD и COMMENTS_LIMIT. EMAIL и PASSWORD - данные для входа в почту gmail (комментарии нельзя смотреть без входа в аккаунт). COMMENTS_LIMIT - ограничение на количество комментариев (если пост очень популярный, все комментарии могут грузиться долго).
2. Запускать лучше на Linux или MacOS, на Windows может сходу не работать, надо будет немного подправить скрипт.

Вход:

Ссылка на пост.

Выход:

CSV файл со столбцами: id, ник, ссылка на профиль, текст комментария. Дополнительно можно выводить, например, количество лайков комментария и ответы на него.

Скорость парсинга

Скорость скачивания можно оценить так: 100 комментов - моментально. 2000 комментов - минута. 5к комментов - 10 минут.

Скорость упирается не в язык программирования, технологии и подход к парсингу, а в ограничения веб версии тиктока. Тикток напрямую борется с выгрузкой комментариев, поэтому:

1. они подгружаются динамически, по 20 штук
2. следующие можно подгрузить только когда уже погрузил предыдущие. Поэтому нельзя распараллелить выгрузку в пределах одного поста.
3. После скачивания 1000 комментариев тикток даёт следующие 20 примерно с задержкой в 1 секунду. Дальше задержка становится 5 секунд и тд

Таким образом, ускорить подгрузку комментариев к посту нельзя, потому что все упирается в то, насколько быстро сам тикток отдает новые комментарии. А подгружать комментарии параллельно от лица разных пользователей нельзя, потому что комментарии даются только последовательно.

Технологии

Python, selenium.

Устройство скрипта

1. логинимся через gmail в тикток
2. открываем пост
3. открываем комментарии
4. грузим комментарии, проматываясь вниз
5. Пишем все загруженные комментарии в csv файл