Skip to content

Batsy66/1c_logs_to_ch

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Функционал

Перекладываем логи из файлов в БД Clickhouse, с возможностью подключения к 1с с помощью ODBC- коннектора.

Необходимое ПО

  • Для загрузки журналов регистрации - docker
  • Для подключения 1С к базе - odbc-connector

Необходимый доступ

Необходимо предоставить доступ к каталогам хранения логов на серверах 1с

Запуск приложения

  • Настройки приложения прописываем в файле .env *(более подробное описание настроек в разделе Описание проекта )
  • В консоли (cmd/PowerShell) последовательно выполняем
cd <Каталог проекта>
docker compose -f "docker-compose.yml" up -d --build 

Описание проекта

clickhouse-server

Используется для хранения параметров ClickHouse сервера

docker-entrypoint-initdb.d

Используется для хранения скриптов, которые будут запущены после старта сервера. Выполняются по очереди.

1_create_db.sql - создаёт БД, если не существует

2_create_users.sql - создаёт пользователей и выдает права

3_create_errors_logs.sql - создаёт таблицу для хранения ошибок трансформации

users.d

Используется для хранения настроек пользователей

users.xml - первоначальные настройки пользователей, которые будут скопированы во время запуска сервера СУБД

vector
  • config
    • Конфигурационный файл
  • vector.toml
    • Файл настроек Vector, используется при запуске Vector. Определяет механизм трансформации, входные потоки и выходные.
  • transform.vrl
    • Отвечает за базовую трансформацию логов:
  • transform.lua
    • Файл трансформации логов, отвечает за второстепенную обработку логов и ремап.
  • Docker-compose.yml
    • Запускает СУБД Clickhouse, создаёт БД, пользователей и таблицы для записи логов
    • Запускает ITL систему VECTOR, которая трансформирует файлы с доступного каталога в записи БД Clickhouse
  • .env
Секция **LOCAL VAR** содержит поля, которые нужно менять при запуске нескольких экземлпяров приложения

Ссылки

About

From 1C logs to Clickhouse

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages