Any way to workaround 5TB limitation?

[svladykin]

Is there any way to workaround it specifically on GCS?

I understand that it is GCS limitation that a single object can be 5TB max.
Is it possible to upload a backup split in multiple pieces?

[AlexAkulov]

В принципе, это можно сделать, но тут вопрос захочешь ли загружать бэкапы больше 5ТБ, потому-что такие бэкапы могут несколько суток заливаться.

[svladykin]

Ок, а какая рекомендованная стратегия бекапирования если у меня база больше 10ТБ ?
Я думал в сторону GCS + инкрементный аплоад. Один раз можно и потерпеть долгую заливку.

[AlexAkulov]

Я рассуждаю так: бэкапы могут нам потребоваться в двух случаях.
Первый - это деструктивные операции. Такие DROP, ALTER и т.д. после которых ты захочешь откатиться назад. Тут тебе поможет clickhouse-backup, просто переодически создаёшь бэкап и оставляешь его локально. В случае чего можно будет откатиться на нужное состояние.
Второе - это выход из строя оборудования. Если сломается диск то ты теряешь базу вместе с бэкапами. Когда база маленькая, то можно просто копировать бэкап на соседний сервер или в облачное хранилище. Но когда большая то проще стновится иметь реплику. Диск сломался на одной тачке, ок у тебя есть реплика. Если ты хочешь пересраховаться от того, что сломается целый ДЦ, то можно попробовать поднять тачку с КХ в другом ДЦ и всё время синхронизировать её с помощью clickhouse-copier. По сути это получается тоже самое, что аплоад бэкапа, только круче и размазаоно по времени.

Вот в этом таске я писал тоже самое.
#38

[AlexAkulov]

Done in v1.0.0-beta1