Merge branch 'develop'

.gitignore

@@ -1,5 +1,10 @@
 .idea/
 .gradle/
 build/
+bin/
+lib/
 
 *.iml
+.classpath
+.project
+.settings/

README.md

@@ -21,19 +21,20 @@
 
 1. Для шага подготовки требуется любой агент с меткой `agent`.
 1. Для запуска шага анализа SonarQube требуется агент с меткой `sonar`.
-1. Для запуска шага валидации EDT требуется агент с меткой `edt` (для собственно валидации) и агент с меткой `oscript` (для трансформации результатов с помощью библиотеки [stebi](https://github.com/Stepa86/stebi)).
+1. Для запуска шагов, работающих с EDT (валидация, трансформация формата исходников) требуется агент с меткой `edt` и агент с меткой `oscript` (для трансформации результатов с помощью библиотеки [stebi](https://github.com/Stepa86/stebi)).
 1. Для запуска шагов, работающих с 1С (подготовка, синтаксический контроль и т.д.) требуется агент с меткой, совпадающей со значением в поле `v8version` файла конфигурации.
-1. В качестве ИБ используется файловая база, создаваемая в `./build/ib` на основании конфигурации из хранилища без пользователей. При необходимости вы можете создать пользователей на фазе инициализации ИБ.
-1. Stage "Дымовые тесты" пока пустой.
-1. Запуск `vrunner` на текущий момент происходит из локального каталога `oscript_modules`. Предполагается наличие в корне репозитория файла `packagedef`, в котором бы была указана зависимость от `vanessa-runner`
+1. В качестве ИБ используется файловая база, создаваемая в каталоге `./build/ib`. При необходимости вы можете создать пользователей на фазе инициализации ИБ.
+1. Шаг "Дымовые тесты" пока пустой.
 
 ## Возможности
 
-1. Все шаги можно запустить на базе docker-образов из форка репозитория onec-docker. См. [памятку по слоям и последовательности сборки](https://github.com/firstBitSemenovskaya/onec-docker/blob/feature/first-bit/Layers.md)
-1. Подготовка информационной базы по версии из хранилища конфигурации.
+1. Все шаги можно запустить на базе docker-образов из форка репозитория onec-docker. См. [памятку по слоям и последовательности сборки](https://github.com/firstBitSemenovskaya/onec-docker/blob/feature/first-bit/Layers.md).
+1. Поддержка как формата выгрузки из Конфигуратора, так и формата EDT.
+1. Подготовка информационной базы по версии из хранилища конфигурации, из исходных файлов конфигурации, комбинированный режим (основная ветка - из хранилища, остальные - из исходников).
 1. Запуск ИБ в режиме выполнения обработчиков обновления БСП.
 1. Дополнительные шаги инициализации данных в ИБ.
-1. Трансформация кода из формата конфигуратора в формат EDT (только если включен шаг `edtValidate`).
+1. Трансформация кода из формата конфигуратора в формат EDT.
+1. Трансформация кода из формата EDT в формат конфигуратора.
 1. Запуск BDD сценариев с сохранением результатов в формате Allure.
 1. Запуск синтаксического контроля средствами конфигуратора и сохранение результатов в виде отчета jUnit.
 1. Запуск валидации проекта средствами EDT и конвертация отчета в формате generic issues.
@@ -99,22 +100,41 @@ pipeline1C()
 
 В библиотеке применяется принцип "соглашения по конфигурации" (convention over configuration): конфигурационный файл
 содержит ряд настроек "по умолчанию". При соблюдении определенных правил структуры репозитория можно сократить
-количество переопределений конфигурационного файла до минимума.
+количество переопределений конфигурационного файла до минимума. Ниже представлены имеющиеся соглашения и способы их переопределения.
 
 * Общее:
-  * Исходники конфигурации ожидаются в каталоге `src/cf`.
-  * TODO: Имена "секретов" (jenkins credentials) по умолчанию высчитываются как `GROUP_REPO_KEY`, где `GROUP` и `REPO` - это группа проектов и имя проектов (например, `firstBitSemenovskaya` и `jenkins-lib`), а `KEY` - ключ секрета:
-    * `STORAGE_PATH` - путь к хранилищу конфигурации;
-    * `STORAGE_USER` - параметры авторизации в хранилище вида "username with password".
-  * Все "шаги" по умолчанию выключены.
+  * В качестве маски версии платформы используется строка "8.3" (`v8version`).
+  * Исходники конфигурации ожидаются в каталоге `src/cf` (`srcDir`).
+  * Формат исходников - выгрузка из Конфигуратора (`sourceFormat`).
+  * Ветка по умолчанию (для комбинированного режима загрузки конфигурации) - "main" (`defaultBranch`).
+  * Имена "секретов" (jenkins credentials, `secrets`) по умолчанию высчитываются из пути к git-репозиторию (без учета домена, с заменой `/` на `_`) с прибавлением ключа секрета. Например, для репозитория https://github.com/firstBitSemenovskaya/jenkins-lib секрет с адресом хранилища будет выглядеть как `firstBitSemenovskaya_jenkins-lib_STORAGE_PATH`. Ключи секретов:
+    * `STORAGE_PATH` - путь к хранилищу конфигурации (для `secrets` -> `storagePath`);
+    * `STORAGE_USER` - параметры авторизации в хранилище вида "username with password" (для `secrets` -> `storage`).
+  * Все "шаги" по умолчанию выключены (`stages`).
+  * Если в корне репозитория существует файл `packagedef`, то в шагах, работающих с информационной базой, будет выполнена попытка установки локальных зависимостей средствами `opm`.
+  * Если после установки локальных зависимостей в каталоге `oscript_modules/bin` сушествует файл `vrunner`, то для выполнения команд работы с информационной базой будет использоваться он, а не глобально установленный `vrunner` из `PATH`.
   * Результаты в формате `allure` ожидаются в каталоге `build/out/allure` или его подкаталогах.
 * Инициализация:
-  * Если включен шаг `initSteps`, то будет выполняться запуск ИБ с целью запуска обработчиков обновления из БСП. (`initInfobase` -> `runMigration`)
+  * Информационная база инициализируется только в том случае, если в сборочной линии включены шаги, работающие с базой (например, `bdd` или `syntaxCheck`).
+  * Информационная база инициализируется конфигурацией из хранилища конфигурации (`initInfobase` -> `initMethod`).
+  * Если выбран метод инициализации ИБ из хранилища конфигурации и в каталоге исходников есть файл `VERSION` (артефакт от работы утилиты `gitsync`), то из хранилища будет загружена версия конфигурации с номером из файла `VERSION`.
+* Первичный запуск информационной базы:
+  * Если информационная база нужна для запуска в режиме "Предприятие" (например, для шагов `bdd` или `smoke`), то будет запущен шаг "Миграция ИБ".
+  * После загрузки конфигурации в ИБ будет выполняться запуск ИБ с целью запуска обработчиков обновления из БСП (`initInfobase` -> `runMigration`).
   * Если в настройках шага инициализации не заполнен массив дополнительных шагов миграции (`initInfobase` -> `additionalInitializationSteps`), но в каталоге `tools` присутствуют файлы с именами, удовлетворяющими шаблону `vrunner.init*.json`, то автоматически выполняется запуск `vrunner vanessa` с передачей найденных файлов в качестве значения настроек (параметр `--settings`) в порядке лексиграфической сортировки имен файлов.
 * BDD:
   * Если в конфигурационном файле проекта не заполнена настройка `bdd` -> `vrunnerSteps`, то автоматически выполняется запуск `vrunner vanessa --settings tools/vrunner.json`.
 * Синтаксический контроль:
-  * Если в репозитории существует файл `tools/vrunner.json`, то синтаксический контроль конфигурации с помощью конфигуратора будет выполняться с передачей файла в параметры запуска `vrunner syntax-check --settings tools/vrunner.json`.
-  * TODO: Значение параметра `--mode` из конфигурационного файла vrunner имеют приоритет над `syntaxCheck` -> `checkModes`. Значение из `jobConfiguration.json` передается только в том случае, если параметр отсутствует в конфигурационном файле `vrunner`.
+  * Если в репозитории существует файл `tools/vrunner.json`, то синтаксический контроль конфигурации с помощью конфигуратора будет выполняться с передачей файла в параметры запуска `vrunner syntax-check --settings tools/vrunner.json` (`syntaxCheck` -> `vrunnerSettings`).
+  * Применяется группировка ошибок по метаданным (`syntaxCheck` -> `groupErrorsByMetadata`).
+  * Выгрузка результатов в формат `jUnit` осуществляется в файл `./build/out/jUnit/syntax.xml` (`syntaxCheck` -> `pathToJUnitReport`).
+  * Если в репозитории существует файл `./tools/syntax-check-exception-file.txt`, то команде запука синтаксического контроля конфигурации данный файл будет передаваться как файл с исключениями сообщений об ошибках (параметр `--exception-file`) (`syntaxCheck` -> `exceptionFile`).
+  * Конфигурационный файл по умолчанию уже содержит ряд "режимов проверки" для синтаксического контроля конфигурации (`syntaxCheck` -> `checkModes`).
 * Трансформация результатов валидации EDT:
-  * По умолчанию из результатов анализа исключаются замечания, сработавшие на модулях с включенным запретом редактирования (желтый куб с замком)
+  * По умолчанию из результатов анализа исключаются замечания, сработавшие на модулях с включенным запретом редактирования (желтый куб с замком) (параметры `resultsTransform` -> `removeSupport` и `resultsTransform` -> `supportLevel`).
+* Анализ SonarQube:
+  * Предполагается наличие единственной настройки `SonarQube installation` (`sonarqube` -> `sonarQubeInstallation`).
+  * Используется `sonar-scanner` из переменной окружения `PATH` (`sonarqube` -> `useSonarScannerFromPath`).
+  * Если использование `sonar-scanner` из переменной окружения `PATH` выключено, предполагается наличие настроенного глобального инструмента `SonarQube Scanner` с идентификатором инструмента `sonar-scanner` (`sonarqube` -> `sonarScannerToolName`).
+  * Версия из корня конфигурации передается утилите `sonar-scanner` как значение параметра `sonar.projectVersion=$configurationVersion`.
+  * Если выполнялась валидация EDT, результаты валидации в формате `generic issues` передаются утилите `sonar-scanner` как значение параметра `sonar.externalIssuesReportPaths`.

resources/globalConfiguration.json

@@ -1,6 +1,9 @@
 {
   "$schema": "schema.json",
+  "v8version": "8.3",
   "srcDir": "src/cf",
+  "sourceFormat": "designer",
+  "defaultBranch": "main",
   "secrets": {
     "storagePath": "UNKNOWN_ID",
     "storage": "UNKNOWN_ID"
@@ -14,6 +17,7 @@
     "smoke": false
   },
   "initInfobase": {
+    "initMethod": "fromStorage",
     "runMigration": true,
     "additionalInitializationSteps": []
   },
@@ -30,6 +34,7 @@
   "syntaxCheck": {
     "groupErrorsByMetadata": true,
     "pathToJUnitReport": "./build/out/jUnit/syntax.xml",
+    "exceptionFile": "./tools/syntax-check-exception-file.txt",
     "checkModes": [
       "-ThinClient",
       "-WebClient",

resources/schema.json

@@ -8,7 +8,16 @@
     },
     "srcDir" : {
       "type" : "string",
-      "description" : "Путь к корневому каталогу с исходниками конфигурации"
+      "description" : "Путь к корневому каталогу с исходниками конфигурации, в случае хранения исходников в формате EDT, необходимо указать путь к проекту"
+    },
+    "sourceFormat" : {
+      "type" : "string",
+      "description" : "Формат исходников конфигурации",
+      "enum" : [ "edt", "designer" ]
+    },
+    "defaultBranch" : {
+      "type" : "string",
+      "description" : "Имя ветки по умолчанию"
     },
     "secrets" : {
       "type" : "object",
@@ -61,6 +70,11 @@
       "id" : "urn:jsonschema:ru:pulsar:jenkins:library:configuration:InitInfobaseOptions",
       "description" : "Настройки шага инициализации ИБ",
       "properties" : {
+        "initMethod" : {
+          "type" : "string",
+          "description" : "\n    Способ инициализации информационной базы.\n    Поддерживается три варианта:\n        * fromStorage - инициализация информационной базы из хранилища конфигурации;\n        * fromSource - инициализация информационной базы из исходников конфигурации;\n        * defaultBranchFromStorage - инициализация основной ветки из хранилища конфигурации, остальных - из исходников конфигурации.\n    По умолчанию содержит значение \"fromStorage\".",
+          "enum" : [ "fromStorage", "fromSource", "defaultBranchFromStorage" ]
+        },
         "runMigration" : {
           "type" : "boolean",
           "description" : "Запустить миграцию ИБ"
@@ -127,6 +141,10 @@
             "type" : "string"
           }
         },
+        "exceptionFile" : {
+          "type" : "string",
+          "description" : "Путь к файлу с указанием пропускаемых ошибок.\n    Формат файла: в каждой строке файла указан текст пропускаемого исключения или его часть\n    Кодировка: UTF-8\n    "
+        },
         "vrunnerSettings" : {
           "type" : "string",
           "description" : "Путь к конфигурационному файлу vanessa-runner.\n    По умолчанию содержит значение \"./tools/vrunner.json\".\n    "

src/ru/pulsar/jenkins/library/IStepExecutor.groovy

@@ -19,6 +19,8 @@ interface IStepExecutor {
 
     String readFile(String file, String encoding)
 
+    boolean fileExists(String file)
+
     void echo(message)
 
     int cmd(String script, boolean returnStatus)
@@ -27,12 +29,24 @@ interface IStepExecutor {
 
     void tool(String toolName)
 
+    def withCredentials(List bindings, Closure body)
+
+    def string(String credentialsId, String variable)
+
+    def usernamePassword(String credentialsId, String usernameVariable, String passwordVariable)
+
     void withSonarQubeEnv(String installationName, Closure body)
 
     EnvironmentAction env()
 
+    def dir(String path, Closure body)
+
     void createDir(String path)
 
+    void deleteDir()
+
+    void deleteDir(String path)
+
     def withEnv(List<String> strings, Closure body)
 
     def archiveArtifacts(String path)