Merge branch 'develop'

firstBitMarksistskaya · Dec 9, 2021 · b65f3f5 · b65f3f5
2 parents c046dc9 + 0e2e9d0
commit b65f3f5
Show file tree

Hide file tree

Showing 35 changed files with 562 additions and 118 deletions.
diff --git a/.gitignore b/.gitignore
@@ -3,6 +3,7 @@
 build/
 bin/
 lib/
+out/
 
 *.iml
 .classpath

diff --git a/README.md b/README.md
@@ -112,29 +112,37 @@ pipeline1C()
     * `STORAGE_USER` - параметры авторизации в хранилище вида "username with password" (для `secrets` -> `storage`).
   * Все "шаги" по умолчанию выключены (`stages`).
   * Если в корне репозитория существует файл `packagedef`, то в шагах, работающих с информационной базой, будет выполнена попытка установки локальных зависимостей средствами `opm`.
-  * Если после установки локальных зависимостей в каталоге `oscript_modules/bin` сушествует файл `vrunner`, то для выполнения команд работы с информационной базой будет использоваться он, а не глобально установленный `vrunner` из `PATH`.
+  * Если после установки локальных зависимостей в каталоге `oscript_modules/bin` существует файл `vrunner`, то для выполнения команд работы с информационной базой будет использоваться он, а не глобально установленный `vrunner` из `PATH`.
   * Результаты в формате `allure` ожидаются в каталоге `build/out/allure` или его подкаталогах.
+  * Каждый шаг имеет свой таймаут в минутах (от 10 до 240 в зависимости от "тяжёлости" шага сборки), но может быть переопределен в секции настроек `timeout`. 
 * Инициализация:
   * Информационная база инициализируется только в том случае, если в сборочной линии включены шаги, работающие с базой (например, `bdd` или `syntaxCheck`).
   * Информационная база инициализируется конфигурацией из хранилища конфигурации (`initInfobase` -> `initMethod`).
   * Если выбран метод инициализации ИБ из хранилища конфигурации и в каталоге исходников есть файл `VERSION` (артефакт от работы утилиты `gitsync`), то из хранилища будет загружена версия конфигурации с номером из файла `VERSION`.
 * Первичный запуск информационной базы:
   * Если информационная база нужна для запуска в режиме "Предприятие" (например, для шагов `bdd` или `smoke`), то будет запущен шаг "Миграция ИБ".
   * После загрузки конфигурации в ИБ будет выполняться запуск ИБ с целью запуска обработчиков обновления из БСП (`initInfobase` -> `runMigration`).
-  * Если в настройках шага инициализации не заполнен массив дополнительных шагов миграции (`initInfobase` -> `additionalInitializationSteps`), но в каталоге `tools` присутствуют файлы с именами, удовлетворяющими шаблону `vrunner.init*.json`, то автоматически выполняется запуск `vrunner vanessa` с передачей найденных файлов в качестве значения настроек (параметр `--settings`) в порядке лексиграфической сортировки имен файлов.
+  * Если в настройках шага инициализации не заполнен массив дополнительных шагов миграции (`initInfobase` -> `additionalInitializationSteps`), но в каталоге `tools` присутствуют файлы с именами, удовлетворяющими шаблону `vrunner.init*.json`, то автоматически выполняется запуск `vrunner vanessa` с передачей найденных файлов в качестве значения настроек (параметр `--settings`) в порядке лексикографической сортировки имен файлов.
 * BDD:
   * Если в конфигурационном файле проекта не заполнена настройка `bdd` -> `vrunnerSteps`, то автоматически выполняется запуск `vrunner vanessa --settings tools/vrunner.json`.
+* Дымовые тесты:
+  * Если в репозитории существует файл `tools/vrunner.json`, то запуск дымовых тестов будет выполняться с передачей файла в параметры запуска `vrunner xunit --settings tools/vrunner.json` (`smoke` -> `vrunnerSettings`).
+  * Если установка локальных зависимостей `opm` установит пакет `add`, то будет использоваться обработка `xddTestRunner.epf` из локальных зависимостей.
+  * Если в репозитории существует файл `tools/xUnitParams.json`, то этот путь к файлу будет передан в параметр запуска `vrunner xunit --xddConfig ./tools/xUnitParams.json` (`smoke -> xUnitParams`).
+  * Если используемый конфигурационный файл (`vrunner.json`) не содержит настройку `testsPath`, то запускается полный комплект дымовых тестов, расположенных в `$addRoot/tests/smoke`.
+  * По умолчанию включено формирование отчета в формате `jUnit` (`smoke` -> `publishToJUnitReport`) и выключено формирование отчета в формате Allure (`smoke` -> `publishToAllureReport`).
 * Синтаксический контроль:
   * Если в репозитории существует файл `tools/vrunner.json`, то синтаксический контроль конфигурации с помощью конфигуратора будет выполняться с передачей файла в параметры запуска `vrunner syntax-check --settings tools/vrunner.json` (`syntaxCheck` -> `vrunnerSettings`).
   * Применяется группировка ошибок по метаданным (`syntaxCheck` -> `groupErrorsByMetadata`).
   * Выгрузка результатов в формат `jUnit` осуществляется в файл `./build/out/jUnit/syntax.xml` (`syntaxCheck` -> `pathToJUnitReport`).
-  * Если в репозитории существует файл `./tools/syntax-check-exception-file.txt`, то команде запука синтаксического контроля конфигурации данный файл будет передаваться как файл с исключениями сообщений об ошибках (параметр `--exception-file`) (`syntaxCheck` -> `exceptionFile`).
+  * Если в репозитории существует файл `./tools/syntax-check-exception-file.txt`, то команде запуска синтаксического контроля конфигурации данный файл будет передаваться как файл с исключениями сообщений об ошибках (параметр `--exception-file`) (`syntaxCheck` -> `exceptionFile`).
   * Конфигурационный файл по умолчанию уже содержит ряд "режимов проверки" для синтаксического контроля конфигурации (`syntaxCheck` -> `checkModes`).
 * Трансформация результатов валидации EDT:
   * По умолчанию из результатов анализа исключаются замечания, сработавшие на модулях с включенным запретом редактирования (желтый куб с замком) (параметры `resultsTransform` -> `removeSupport` и `resultsTransform` -> `supportLevel`).
 * Анализ SonarQube:
   * Предполагается наличие единственной настройки `SonarQube installation` (`sonarqube` -> `sonarQubeInstallation`).
   * Используется `sonar-scanner` из переменной окружения `PATH` (`sonarqube` -> `useSonarScannerFromPath`).
   * Если использование `sonar-scanner` из переменной окружения `PATH` выключено, предполагается наличие настроенного глобального инструмента `SonarQube Scanner` с идентификатором инструмента `sonar-scanner` (`sonarqube` -> `sonarScannerToolName`).
-  * Версия из корня конфигурации передается утилите `sonar-scanner` как значение параметра `sonar.projectVersion=$configurationVersion`.
+  * Если разработка ведется с использованием подсистемы [БСП "Обновление версии ИБ"](https://its.1c.ru/db/bsp315doc#content:4:1:issogl1_обновление_версии_иб), то в значение параметра `sonar.projectVersion=$configurationVersion` утилиты `sonar-scanner` можно передавать версию из созданного общего модуля.
+  Для этого необходимо заполнить параметр (`sonarqube` -> `infoBaseUpdateModuleName`). Если параметр не заполнен, версия передается из корня конфигурации.
   * Если выполнялась валидация EDT, результаты валидации в формате `generic issues` передаются утилите `sonar-scanner` как значение параметра `sonar.externalIssuesReportPaths`.
diff --git a/resources/globalConfiguration.json b/resources/globalConfiguration.json
@@ -16,6 +16,19 @@
     "edtValidate": false,
     "smoke": false
   },
+  "timeout": {
+    "smoke": 240,
+    "bdd": 120,
+    "createInfoBase": 60,
+    "designerToEdtFormatTransformation": 60,
+    "edtToDesignerFormatTransformation": 60,
+    "edtValidate": 240,
+    "initInfoBase": 60,
+    "resultTransformation": 10,
+    "sonarqube": 90,
+    "syntaxCheck": 240,
+    "zipInfoBase": 60
+  },
   "initInfobase": {
     "initMethod": "fromStorage",
     "runMigration": true,
@@ -29,7 +42,8 @@
   "sonarqube": {
     "sonarQubeInstallation": "",
     "useSonarScannerFromPath": true,
-    "sonarScannerToolName": "sonar-scanner"
+    "sonarScannerToolName": "sonar-scanner",
+    "infoBaseUpdateModuleName" : ""
   },
   "syntaxCheck": {
     "groupErrorsByMetadata": true,
@@ -50,6 +64,12 @@
     ],
     "vrunnerSettings": "./tools/vrunner.json"
   },
+  "smoke": {
+    "vrunnerSettings": "./tools/vrunner.json",
+    "xddConfigPath": "./tools/xUnitParams.json",
+    "publishToAllureReport": false,
+    "publishToJUnitReport": true
+  },
   "resultsTransform": {
     "removeSupport": true,
     "supportLevel": 0

diff --git a/resources/schema.json b/resources/schema.json
@@ -65,6 +65,57 @@
         }
       }
     },
+    "timeout" : {
+      "type" : "object",
+      "id" : "urn:jsonschema:ru:pulsar:jenkins:library:configuration:TimeoutOptions",
+      "description" : "Настройка таймаутов для шагов",
+      "properties" : {
+        "edtToDesignerFormatTransformation" : {
+          "type" : "integer",
+          "description" : "Таймаут шага трансформации исходников из формата EDT в формат Конфигуратора, в минутах.\n    По умолчанию содержит значение 60.\n    "
+        },
+        "createInfoBase" : {
+          "type" : "integer",
+          "description" : "Таймаут шага создания информационной базы, в минутах.\n    По умолчанию содержит значение 60.\n    "
+        },
+        "initInfoBase" : {
+          "type" : "integer",
+          "description" : "Таймаут шага инициализации информационной базы, в минутах.\n    По умолчанию содержит значение 60.\n    "
+        },
+        "zipInfoBase" : {
+          "type" : "integer",
+          "description" : "Таймаут шага архивирования информационной базы, в минутах.\n    По умолчанию содержит значение 60.\n    "
+        },
+        "designerToEdtFormatTransformation" : {
+          "type" : "integer",
+          "description" : "Таймаут шага трансформации исходников из формата Конфигуратора в формат EDT, в минутах.\n    По умолчанию содержит значение 60.\n    "
+        },
+        "edtValidate" : {
+          "type" : "integer",
+          "description" : "Таймаут шага валидации EDT, в минутах.\n    По умолчанию содержит значение 240.\n    "
+        },
+        "resultTransformation" : {
+          "type" : "integer",
+          "description" : "Таймаут шага трансформации результатов EDT, в минутах.\n    По умолчанию содержит значение 10.\n    "
+        },
+        "bdd" : {
+          "type" : "integer",
+          "description" : "Таймаут шага проверки сценариев поведения, в минутах.\n    По умолчанию содержит значение 120.\n    "
+        },
+        "syntaxCheck" : {
+          "type" : "integer",
+          "description" : "Таймаут шага синтаксического контроля, в минутах.\n    По умолчанию содержит значение 240.\n    "
+        },
+        "smoke" : {
+          "type" : "integer",
+          "description" : "Таймаут шага дымовых тестов, в минутах.\n    По умолчанию содержит значение 240.\n    "
+        },
+        "sonarqube" : {
+          "type" : "integer",
+          "description" : "Таймаут шага статического анализа SonarQube, в минутах.\n    По умолчанию содержит значение 90.\n    "
+        }
+      }
+    },
     "initInfobase" : {
       "type" : "object",
       "id" : "urn:jsonschema:ru:pulsar:jenkins:library:configuration:InitInfobaseOptions",
@@ -118,6 +169,10 @@
         "sonarScannerToolName" : {
           "type" : "string",
           "description" : "Имя настроенной утилиты sonar-scanner.\nПрименяется, если useSonarScannerFromPath установлено в false."
+        },
+        "infoBaseUpdateModuleName" : {
+          "type" : "string",
+          "description" : "Имя общего модуля (например, ОбновлениеИнформационнойБазыXXX), в котором указана версия библиотеки.\n    Версия должна задаваться в виде присвоения `Описание.Версия = \"ваш номер версии\";`\n    "
         }
       }
     },
@@ -151,6 +206,29 @@
         }
       }
     },
+    "smoke" : {
+      "type" : "object",
+      "id" : "urn:jsonschema:ru:pulsar:jenkins:library:configuration:SmokeTestOptions",
+      "description" : "Настройки дымового тестирования",
+      "properties" : {
+        "vrunnerSettings" : {
+          "type" : "string",
+          "description" : "Путь к конфигурационному файлу vanessa-runner.\n    По умолчанию содержит значение \"./tools/vrunner.json\".\n    "
+        },
+        "xddConfigPath" : {
+          "type" : "string",
+          "description" : "Путь к конфигурационному файлу для xddTestRunner.\n    По умолчанию содержит значение \"./tools/xUnitParams.json\".\n    "
+        },
+        "publishToAllureReport" : {
+          "type" : "boolean",
+          "description" : "Выполнять публикацию результатов в отчет Allure.\n    По умолчанию выключено.\n    "
+        },
+        "publishToJUnitReport" : {
+          "type" : "boolean",
+          "description" : "Выполнять публикацию результатов в отчет JUnit.\n    По умолчанию включено.\n    "
+        }
+      }
+    },
     "resultsTransform" : {
       "type" : "object",
       "id" : "urn:jsonschema:ru:pulsar:jenkins:library:configuration:ResultsTransformOptions",

diff --git a/src/ru/pulsar/jenkins/library/IStepExecutor.groovy b/src/ru/pulsar/jenkins/library/IStepExecutor.groovy
@@ -17,6 +17,8 @@ interface IStepExecutor {
 
     FileWrapper[] findFiles(String glob, String excludes)
 
+    String readFile(String file)
+
     String readFile(String file, String encoding)
 
     boolean fileExists(String file)
@@ -73,5 +75,7 @@ interface IStepExecutor {
 
     def allure(List<String> results)
 
+    def junit(String testResults, boolean allowEmptyResults)
+
     def installLocalDependencies()
 }
diff --git a/src/ru/pulsar/jenkins/library/StepExecutor.groovy b/src/ru/pulsar/jenkins/library/StepExecutor.groovy
@@ -33,7 +33,7 @@ class StepExecutor implements IStepExecutor {
     }
 
     @Override
-    String readFile(String file, String encoding) {
+    String readFile(String file, String encoding = 'UTF-8') {
         steps.readFile encoding: encoding, file: file
     }
 
@@ -174,6 +174,11 @@ class StepExecutor implements IStepExecutor {
         ])
     }
 
+    @Override
+    def junit(String testResults, boolean allowEmptyResults) {
+        steps.junit testResults: testResults, allowEmptyResults: allowEmptyResults
+    }
+
     @Override
     def installLocalDependencies() {
         steps.installLocalDependencies()

diff --git a/src/ru/pulsar/jenkins/library/configuration/ConfigurationReader.groovy b/src/ru/pulsar/jenkins/library/configuration/ConfigurationReader.groovy
@@ -56,15 +56,17 @@ class ConfigurationReader implements Serializable {
         def nonMergeableSettings = Arrays.asList(
             "secrets",
             "stageFlags",
-            "initInfobaseOptions",
+            "timeoutOptions",
+            "initInfoBaseOptions",
             "bddOptions",
             "sonarQubeOptions",
+            "smokeTestOptions",
             "syntaxCheckOptions",
             "resultsTransformOptions"
         ).toSet()
 
         mergeObjects(baseConfiguration, configurationToMerge, nonMergeableSettings)
-        mergeInitInfobaseOptions(baseConfiguration.initInfobaseOptions, configurationToMerge.initInfobaseOptions);
+        mergeInitInfoBaseOptions(baseConfiguration.initInfoBaseOptions, configurationToMerge.initInfoBaseOptions);
         mergeBddOptions(baseConfiguration.bddOptions, configurationToMerge.bddOptions);
 
         return baseConfiguration;
@@ -91,7 +93,7 @@ class ConfigurationReader implements Serializable {
     }
 
     @NonCPS
-    private static void mergeInitInfobaseOptions(InitInfobaseOptions baseObject, InitInfobaseOptions objectToMerge) {
+    private static void mergeInitInfoBaseOptions(InitInfoBaseOptions baseObject, InitInfoBaseOptions objectToMerge) {
         if (objectToMerge == null || objectToMerge.additionalInitializationSteps == null) {
             return
         }

diff --git a/...y/configuration/InitInfobaseMethod.groovy → ...y/configuration/InitInfoBaseMethod.groovy b/...y/configuration/InitInfobaseMethod.groovy → ...y/configuration/InitInfoBaseMethod.groovy
@@ -2,7 +2,7 @@ package ru.pulsar.jenkins.library.configuration
 
 import com.fasterxml.jackson.annotation.JsonProperty
 
-enum InitInfobaseMethod {
+enum InitInfoBaseMethod {
 
     @JsonProperty("fromStorage")
     FROM_STORAGE,
-Original file line number
+Diff line change
@@ Expand Up / @@ -3,6 +3,7 @@ @@
     build/
     bin/
     lib/
+    out/
     *.iml
     .classpath
@@ Expand Down @@