9099]) -. Post .-> E([Microservice : llm-docsum-tgi
9000]) -. Post .-> F{{TGI Service
8008}} + end + Megaservice --> |Output| G[Response] + end + subgraph Legend + X([Microservice]) + Y{{Service from industry peers}} + Z[Gateway] + end +``` + +The proposed design for the video and audio summary features involves the following components: + +#### 1. DocSum Gateway: +- **User Interface**: Update the user interface to upload video and audio files in various formats to summarize alongside text. + +#### 2. Text Transcription, Video, and Audio Ingestion and Preprocessing: +- **Audio Extraction Microservice**: Extract audio from video files for transcription. + + Signature of audio extraction microservice: + ```python + @traceable(run_type="tool") + @register_statistics(names=["opea_service@audio_extraction"]) + def audio_extraction(input: VideoDoc) -> AudioDoc: + ``` +- **Audio-to-Text Transcription**: Use the Audio-Speech-Recognition microservice from OPEA, which aims to generate a transcript for an input audio using an audio-to-text model (Whisper). + + Transcript generation microservice: + - opea/whisper:latest + - opea/asr:latest + +- **Text Transcription**: Apply existing text summarization techniques that do not require any data preprocessing. + +#### 3. Summarization: +- **Text Summarization**: Apply existing text summarization techniques to the generated transcripts. +- **Audio Summarization**: Use audio summarization techniques that extract the Transcription, then use text summarization steps. +- **Visual Summarization**: Use visual summarization techniques that extract the AudioDoc and then use Audio Summarization to create Transcription, then use text summarization steps. + +#### 4. Integration and Output: +- **Summary Generation**: Combine text, audio, and visual summaries to create comprehensive document summaries from different document formats. + +### Use-case Stories + +#### 1. Corporate Training: +**Scenario**: A company conducts regular training sessions and records them as videos. Employees need to review these training videos to stay updated. + +**Solution**: The video summary feature can generate concise summaries of training videos, highlighting key points and important segments. Employees can quickly review the summaries to understand the training content without watching the entire video. + +#### 2. Educational Content: +**Scenario**: An online education platform offers video lectures on various subjects. Students often need to review these lectures for exams. + +**Solution**: The video summary feature can create summaries of video lectures, providing students with a quick overview of the main topicscovered. This helps students to revise efficiently and focus on important concepts. + +#### 3. Marketing and Advertising: +**Scenario**: A marketing team produces promotional videos for their products. They need to analyze the effectiveness of these videos. + +**Solution**: The video summary feature can generate summaries of promotional videos, highlighting key messages and visual elements. The marketing team can use these summaries to evaluate the impact of their videos and make data-driven decisions. + +#### 4. Research and Development: +**Scenario**: Researchers record their experiments and presentations as videos. They need to document and share their findings with colleagues. + +**Solution**: The video summary feature can create summaries of research videos, capturing essential information and visual data. Researchers can share these summaries with their peers, facilitating knowledge sharing and collaboration. + +#### 5. Podcast and Audio Content: +**Scenario**: A company produces a series of educational podcasts. Employees need to review these podcasts to stay informed about industry trends and best practices. + +**Solution**: The audio summary feature can generate concise summaries of podcast episodes, highlighting key points and important segments. Employees can quickly review the summaries to understand the podcast content without listening to the entire episode. + +By implementing the video and audio summary features, the Document Summarization Application will become a more powerful and versatile tool, capable of handling both text and multimedia content. This enhancement will significantly improve user experience, efficiency, and applicability across various domains. + + diff --git a/docs-ua/community/rfcs/24-06-21-OPEA-001-Guardrails-Gateway.md b/docs-ua/community/rfcs/24-06-21-OPEA-001-Guardrails-Gateway.md new file mode 100644 index 00000000..2c7bd3ae --- /dev/null +++ b/docs-ua/community/rfcs/24-06-21-OPEA-001-Guardrails-Gateway.md @@ -0,0 +1,174 @@ +# 24-06-21-OPEA-001-Guardrails-Gateway + +Guardrails Gateway + +## Автори + +[zhxie](https://github.com/zhxie), [Forrest-zhao](https://github.com/Forrest-zhao), [ruijin-intel](https://github.com/ruijin-intel) + +## Статус + +Під розглядом + +## Мета + +Розгортання опціональних захисних екранів на шлюзі в середовищі розгортання. + +## Мотивація + +- Зменшити затримки при передачі даних мережею та кодуванні/декодуванні протоколів. +- Підтримати бар'єри з підтримкою стану (stateful guardrails). +- Покращення спостережливості. +- Використовуйте OpenVINO для інструкцій з прискорення ШІ, включаючи AVX, AVX512 і AMX. + +## Проектна пропозиція + +### Висновок на місці + +Робочий процес, подібний до LangChain, представлений нижче. + +```mermaid +graph LR + Entry(Entry)-->Gateway + Gateway-->Embedding + Embedding-->Gateway + Gateway-->Retrieve + Retrieve-->Gateway + Gateway-->Rerank + Rerank-->Gateway + Gateway-->LLM + LLM-->Guardrails + Guardrails-->LLM + LLM-->Gateway +``` + +Всі сервіси використовують RESTful API виклики для зв'язку. Існують накладні витрати на мережеву передачу та кодування/декодування протоколів. Попередні дослідження показали, що кожне перемикання додає 3 мс затримки, яка може бути ще більшою, якщо mTLS увімкнено з міркувань безпеки при розгортанні між вузлами. + +Бар'єри, що вмикаються, в шлюзах працюють в архітектурі, наведеній нижче. + +```mermaid +graph LR + Entry(Entry)-->Gateway["Gateway\nGuardrails"] + Gateway-->Embedding + Embedding-->Gateway + Gateway-->Retrieve + Retrieve-->Gateway + Gateway-->Rerank + Rerank-->Gateway + Gateway-->LLM + LLM-->Gateway +``` + +Шлюз може розміщувати кілька захисних бар'єрів без додаткової передачі даних по мережі або кодування/декодування протоколів. У реальних умовах розгортання може бути багато меж безпеки з усіх точок зору, і шлюз є найкращим місцем для забезпечення меж безпеки системи. + +Шлюз складається з 2 основних компонентів, часу виконання виводу та захисних бар'єрів. + +```mermaid +graph TD + Gateway---Runtime[Inference Runtime API] + Runtime---OpenVINO + Runtime---PyTorch + Runtime---Others[...] + Gateway---Guardrails + Guardrails---Load[Load Model] + Guardrails---Inference + Guardrails---Access[Access Control] +``` + +Уніфікований API середовища виконання виводу надає загальний інтерфейс для середовищ виконання виводу. Будь-яке середовище виконання виводу може бути інтегроване у систему, включаючи OpenVINO. Бар'єри використовують середовище виконання виводу і вирішують, чи є запит/відповідь дійсними. + +### Бар'єри з підтримкою стану + +Традиційний робочий процес від входу до виходу представлений нижче. + +```mermaid +flowchart LR + Entry(Entry)-->GuardrailsA + GuardrailsA["Guardrails\nAnti-Jailbreaking"]-->Embedding + Embedding-->Retrieve + Retrieve-->Rerank + Rerank-->LLM + LLM-->GuardrailsB["Guardrails\nAnti-Profanity"] +``` + +Бар'єрний сервіс забезпечує певний захист для LLM, наприклад, захист від злому, отруєння для вхідної сторони, антитоксичність, перевірку фактів для вихідної сторони та виявлення PII як для вхідної, так і для вихідної сторони. + +Охоронні бар'єри також можна розділити на 2 типи: без та з підтримкою стану. Бар'єри, що включають в себе захист від втечі з в'язниці, антитоксичність і виявлення PII, вважаються без підтриски стану, оскільки вони не покладаються на швидкий вхід і вихід відповіді, в той час як захист від галюцинацій вважається з підтримкою стану, він потребує як входу, так і виходу для забезпечення відносності між ними. + +[Guardrails Microservice](https://github.com/xuechendi/GenAIComps/tree/pii_detection/comps/guardrails) надає певні засоби захисту як мікросервіс, але через обмеження мікросервісу він не може відстежувати запити на відповіді, що призводить до труднощів у впровадженні охорони без підтримки стану. + +Бар'єри, що вмикаються, в шлюзах працюють в архітектурі, наведеній нижче. + +```mermaid +flowchart LR + Entry(Entry)-->GuardrailsA + subgraph Gateway + GuardrailsA["Guardrails\nAnti-Jailbreaking"]-->GuardrailsC + GuardrailsB-->GuardrailsC + end + GuardrailsC["Guardrails\nAnti-Hallucination"]-->Embedding + Embedding-->Retrieve + Retrieve-->Rerank + Rerank-->LLM + LLM-->GuardrailsB["Guardrails\nAnti-Profanity"] +``` + +В якості альтернативного варіанту, шлюз також впроваджує охоронну зданність, незалежно від того, чи є він з або без підтримки стану. + +### Спостережливість + +Envoy - найпопулярніший хмарний проксі-сервер, який містить вбудований журнал доступу, статистику та метрики, а також може бути інтегрований у платформу спостереження, включаючи OpenTelemetry і Prometheus, місцево. + +Бар'єри в шлюзі будуть використовувати ці можливості спостереження для задоволення потенційних нормативних вимог і вимог до відповідності. + +### Розгортання мультисервісів + +Припустимо, сервіси вбудовування та LLM працюють на основі ШІ і потребують бар'єрного захисту. + +Опціональний шлюз може бути розгорнутий як шлюз або як додаткова послуга. + +```mermaid +graph LR + Entry(Entry)-->Embedding + subgraph SidecarA[Sidecar] + Embedding + end + Embedding-->Retrieve + Retrieve-->Rerank + Rerank-->LLM + subgraph SidecarB[Sidecar] + LLM + end +``` + +Шлюз також може працювати з мікросервісами бар'єрів. + +```mermaid +graph LR + Entry(Entry)-->GuardrailsC["Guardrails\nAnti-Hallucination"] + GuardrailsC["Guardrails\nAnti-Hallucination"]-->GuardrailsA["Guardrails\nAnti-Jailbreaking"] + GuardrailsA-->Embedding + Embedding-->Retrieve + Retrieve-->Rerank + Rerank-->GuardrailsB["Guardrails\nAnti-Jailbreaking"] + GuardrailsB-->LLM + LLM-->GuardrailsD["Guardrails\nAnti-Profanity"] + subgraph Gateway + GuardrailsD-->GuardrailsC + end +``` + +## Розглянуті альтернативи + +[Guardrails Microservice](https://github.com/xuechendi/GenAIComps/tree/pii_detection/comps/guardrails): передбачив певні засоби захисту, однак він підтримує лише засоби захисту без підтримки стану. + +## Сумісність + +N/A + +## Miscs + +- Зробити + + - [ ] Визначення API для розгортання мета-сервісів і розгортання Kubernetes + - [ ] Фреймворк виводу Envoy і захисні екрани HTTP-фільтр diff --git a/docs-ua/community/rfcs/24-07-11-OPEA-Agent.md b/docs-ua/community/rfcs/24-07-11-OPEA-Agent.md new file mode 100644 index 00000000..9c8a4571 --- /dev/null +++ b/docs-ua/community/rfcs/24-07-11-OPEA-Agent.md @@ -0,0 +1,278 @@ +## Status + +v0.1 team sharing completed(07/10/24) + +## Objective + +This RFC introduces a new concept of an "Hierarchical Agent," which includes two parts. + +* 'Agent’: Agent refers to a framework that integrates the reasoning capabilities of large language models (LLMs) with the ability to take actionable steps, creating a more sophisticated system that can understand and process information, evaluate situations, take appropriate actions, communicate responses, and track ongoing situations, finally output with result meeting defined goals. + +Single Agent Example: + +  + + behind the scene + +  + + +* ‘Multi Agent' system: Multi Agents refer to a design that leveraging a Hierarchical Agent Teams to complete sub-tasks through individual agent working groups. Benefits of multi-agents’ design: (1) Grouping tools/responsibilities can give better results. An agent is more likely to succeed on a focused task than if it must select from dozens of tools. (2) Each agent will have their own assets including prompt, llm model, planning strategy and toolsets. (3) User can easily use yaml files or few lines of python to build a 'Hierarchical Multi Agent' megaservice by cherry-picking ready-to-use individual agents. (4) For small tasks which can be perfectly performed by single Agent, user can directly use 'Agent' microservice with simple/easy resource management. + +Multi Agent example: + +``` +curl ${ip_addr}:${SUPERVISOR_AGENT_PORT}/v1/chat/completions -X POST \ +-d "{'input': 'Generate a Analyst Stock Recommendations by taking an average of all analyst recommendations and classifying them as Strong Buy, Buy, Hold, Underperform or Sell.'}" +``` + + +## Motivation + +This RFC aims to provide low-code / no-code agents as new microservice / megaservice for Enterprise users who are looking for using their own tools with LLM. Tools includes domain_specific_search, knowledgebase_retrieval, enterprise_servic_api_authorization_required, proprietary_tools, etc. + +## Persona + +We use the listed terms to define different persona mentioned in this document. + +* OPEA developer: OPEA developers describe who will follow current OPEA API SPEC or expand OPEA API SPEC to add new solutions. OPEA developers are expected to use this RFC to understand how this microservice communicates with other microservices and chained in megaflow. OPEA developer develops OPEA agent codes and add new Agent Implementation by extending current Agent library with advanced agent strategies. + +* Enterprise User (Devops): Devops describe who will follow OPEA yaml configuration format to update settings according to their real need, or tune some of the configuration to get better performance, who will also use their updated configuration to launch all microservices and get functional endpoint and API calling. Devops are expected to use this RFC to understand the keywords, how these keywords works and rules of using this microservice. Devops are expected to follow customer tool template to provide their own tools and register to Agent microservice. + +* End user: End user describe who writes application which will use OPEA exposed endpoints and API to fulfill task goals. End users are expected to use this RFC to understand API keywords and rules. + + +## Design Proposal + ### Execution Plan + v0.8 (PR ready or merge to opea - agent branch) + * Agent component v0.1 + * Support chat-completion API + * Agent example - Insight Assistant v0.1 (IT demo) + * hierarchical multi agents + * includes: research(rag, data_crawler); writer(format); reviewer(rule) + * Agent debug system + +V0.9 +* Agent component v0.1 + * Support assistants API + * K8s helm chart +* Agent Example - Insight Assistant v0.1 + * Shared demo with IT + * Establish IT collaboration effort + +V1.0 +* Performance benchmark +* Scaling +* Concurrency + + ### Part 1. API SPEC + Provide two types of API for different client application. + 1. openAI chat completion API. + > Reference: https://platform.openai.com/docs/api-reference/chat/create + + Advantage and limitation: + * Most common API, should be working with any existing client uses openAI. + * will not be able to memorize user historical session, human_in_loop agent will not work using this API. + + ``` + "/v1/chat/completions": { + "model": str, + "messages": list, + "tools": list, + } + ``` + + 2. openAI assistant API + > Reference: https://platform.openai.com/docs/api-reference/assistants + + Advantage and limitation: + * User can create a session thread memorizing previous conversation as long-term memory. And Human-In-Loop agent will only works use this API. + * User client application may need codes change to work with this new API. + * openAI assistant API is tagged with ‘beta’, not stable + + ``` + # assistants API is used to create agent runtime instance with a set of tool / append addition instructions + - "/v1/assistants": { + "instructions": str, + "name": str, + "tools": list + } + + # threads API is to used maintain conversation session with one user. It can be resumed from previous, can tracking long term memories. + - "/v1/threads/ ": { # empty is allowed } + + + # threads messages API is to add a task content to thread_1 (the thread created by threads API) + - "/v1/threads/thread_1/messages": { + "role": str, + "content": str + } + + # threads run API is to start to execute agent thread using run api + + - "/v1/threads/thread_1/runs": { + 'assistant_id': str, + 'instructions': str, + } + ``` + + ### Part 2. 'Agent' genAI Component definition + + 'Agent' genAI Component is regarded as the resource management unit in “Agent” design. It will be launched as one microservice and can be instantiated as ‘Agent’, ‘Planner’ or ‘Executor’ according to configuration. Tools will be registered to 'Agent' microservice during launch or runetime. + +  + + #### SPEC for any agent Role - agent, planner, executor + ``` + "/v1/chat/completions": { + "model": str, + "messages": list, + "tools": list, + } + "/v1/assistants": { + "instructions": str, + "name": str, + "tools": list + } + "/v1/threads/: {} + "/v1/threads/thread_1/runs": { + 'assistant_id': str, + 'instructions': str, + } + "/v1/threads/thread_1/messages": { + "role": str, + "content": str + } + ``` + + #### Agent Role microservice definition - 'Agent': + A complete implementation of Agent, which contains LLM endpoint as planner, strategy algorithm for plan execution, Tools, and database handler to keep track of historical state and conversation. + + configuration: + ``` + strategy: choices([react, planexec, humanInLoopPlanExec]) + require_human_feedback: bool + llm_endpoint_url: str + llm_engine: choices([tgi, vllm, openai]) + llm_model_id: str + recursion_limit: int + tools: file_path or dict + + # Tools definition + [tool_name]: + description: str + callable_api: choices([http://xxxx, xxx.py:func_name]) + env: str + pip_dependencies: str # sep by , + args_schema: + query: + type: choices([int, str, bool]) + description: str + return_output: str + ``` + + #### Agent Role microservice definition - 'Planner': + Agent without tools. Planner only contains LLM endpoints as planner, certain strategies to complete an optimized plan. + + configuration: + ``` + strategy: choices([react, planexec, humanInLoopPlanExec]) + require_human_feedback: bool + llm_endpoint_url: str + llm_engine: choices([tgi, vllm, openai]) + llm_model_id: str + recursion_limit: int + require_human_feedback: bool + ``` + + #### Agent Role microservice definition - 'Executor': + Tools executors. Executor is used to process input with registered tools. + + Configuration: + ``` + [tool_name]: + description: str + callable_api: choices([http://xxxx, xxx.py:func_name]) + env: str + pip_dependencies: str # sep by , + args_schema: + query: + type: choices([int, str, bool]) + description: str + return_output: str + ``` + + > Any microservcice follow this spec can be registered as role in Part3-graph-based + +### Part3. 'Multi Agent' system overview + +We planned to provide multi-agent system in two phases. + +* Phase I: Hierarchical Multi Agents + 1. In this design, only top-layer Agent will be exposed to OPEA mega flow. And only ‘Agent’ microservice will be used to compose Hierarchical Multi Agents system. + 2. Users are only allowed to use yaml files to provide tools configuration, high-level instructions text and hierarchical relationship between agents. + 3. This design simplifies the agent configuration, using simple yaml definition can still be used to compose a multi agent system to handle complex tasks. + > Detailed configuration please refer to Part3.1 +  + + +* Phase II: Graph-Based Multi Agent + 1. In this design, we provide user a new SDK to compose a graph-based multi agents system with conditional edge to define all strategic rules. + 2. Enterprise user will be able to use python code to wrap either ‘agent’, ‘planner’ or tools as ‘Role’ and add conditional edges between them for complex task agent design. + 3. This design provides user enough flexibility to handle very complex tasks and also provide flexibility to handle resource management when certain tools are running way slower than others. + > Detailed configuration please refer to Part3.2 +  + +#### Part3.1 Hierarchical Multi Agents +__Example 1__: ‘Single Agent megaservice’ +Only 1 agent is presented in this configuration. + + +3 tools are registered to this agent through custom_tools.yaml + + + + + +__Example 2__: ‘Hierarchical Multi Agents’ +3 agents are presented in this configuration, 1st layer supervisor agent is the gateway to interact with user, and 1st layer agent will manage 2nd layer worker agents. + + + +Users are expected to register 2nd layer workerAgents to 1st layer supervisor agent through supervisor_agent_custom_tools.yaml file. + + + + + +> User can follow this way to add more layers: + + +__Example 3__: ‘Multi Steps Agent megaservice’: + +User can also chain agent into a multi-step mega service. audioAgent_megaservice.yaml + + +#### Part3.2 Graph-Based Multi Agent +In Phase II, we propose to provide a graph-based multi agents system, which enterprise user will be able to define edges and conditional edges between agent nodes, planner nodes and tools for complex task agent design. + + + +The user can build and launch the graph-based message group by the combination of docker image and yaml file: + + +The yaml file contains the basic config information for each single “Role” in the agent architecture. The user can build a MessageGroup to define the link connection information and the data flow via “edges” and “conditional_edges”. The “edges” mean the output of the head_node is the input of the tail_node. The “conditional_edges” means there is a decision-making among the candidate tail_nodes based on the output of the head_node. The logic of this selection part is defined by the state component “Should_Continue”. + + +Appending agents/roles in MessageGroup. +Define the role class define the action of the role add edges recompile the messagegroup + + +#### Part 4. Agent Debug System + +TBD + +#### Part 5. Benchmark + +TBD + diff --git a/docs-ua/community/rfcs/24-08-02-OPEA-AIAvatarChatbot.md b/docs-ua/community/rfcs/24-08-02-OPEA-AIAvatarChatbot.md new file mode 100644 index 00000000..f2e52371 --- /dev/null +++ b/docs-ua/community/rfcs/24-08-02-OPEA-AIAvatarChatbot.md @@ -0,0 +1,233 @@ +# 24-08-02-OPEA-AIAvatarChatbot + +Людиноподібний чат-бот зі штучним інтегрованим інтелектом RAG, інтегрований з OPEA AudioQnA + + +## Автори + +[ctao456](https://github.com/ctao456), [alexsin368](https://github.com/alexsin368), [YuningQiu](https://github.com/YuningQiu), [louie-tsai](https://github.com/louie-tsai) + +## Статус + +v0.1 - Команда ASMO поділилася 28 червня 2024 р. +[GenAIComps pr #400](https://github.com/opea-project/GenAIComps/pull/400) (на розгляді) +[GenAIExamples pr #523](https://github.com/opea-project/GenAIExamples/pull/523) (на розгляді) + +## Мета + +* "Цифрові люди стануть вирішальною силою в індустрії". З огляду на прориви в галузі ШІ та нейронної графіки, різко зріс попит на людино-комп'ютерну взаємодію та розмовні додатки ШІ. Щоб задовольнити цей попит, нам потрібні обчислення, керовані намірами, де взаємодія з комп'ютером буде такою ж природною, як і взаємодія з людиною. Проте всі існуючі програми OPEA (ChatQnA, AudioQnA, SearchQnA тощо) є текстовими і не містять інтерактивних візуальних елементів. + +* Варто також зазначити, що більшості існуючих програм OPEA бракує мультимодальних функцій, тобто вони не обробляють аудіо- та візуальні дані. У той час як підприємства все частіше шукають мультимодальні рішення зі штучним інтелектом, які можуть обробляти як аудіо, так і візуальні дані, щоб створювати чат-ботів із синхронізацією губ та обличчям, які будуть більш привабливими та схожими на людей. + +* У зв'язку з вищезазначеними причинами, ми представляємо новий мікросервіс, анімацію, який генерує анімовані аватари з аудіо та зображень/відео; і новий мегасервіс, AvatarChatbot, який інтегрує мікросервіс анімації з існуючим сервісом AudioQnA для створення людиноподібного аудіо чат-бота зі штучним інтелектом. + + + + + + + +Чат-бот буде: +* Вміти розуміти та відповідати на текстові та аудіо запити користувачів, використовуючи бекенд модель LLM +* Синхронізувати фрагменти аудіо-відповіді з кадрами зображення/відео, щоб створити високоякісне відео, на якому аватар розмовляє в режимі реального часу +* Представляти відповіді користувача у вигляді анімованого аватара у зручному для користувача інтерфейсі +*Використовувати мультимодальне генерування з доповненим пошуком (RAG) для генерування більш точних відповідей у доменній області у версії 0.2 + +Нові мікросервіси включають: +* анімацію + +Нові мегасервіси включають: +* AvatarChatbot + +## Мотивація + +* Підприємства в медичній, фінансовій, освітній, розважальній та інших галузях все частіше використовують чат-боти зі штучним інтелектом для покращення обслуговування клієнтів та якості обслуговування. Проте існуючі програми OPEA (ChatQnA, AudioQnA, SearchQnA тощо) є текстовими і не містять інтерактивних візуальних елементів. +* Підприємства шукають мультимодальні рішення ШІ, які можуть обробляти як аудіо, так і візуальні дані, щоб створювати чат-ботів із синхронізованою мімікою та обличчям, які будуть більш привабливими та схожими на людей. +* Цей RFC має на меті заповнити ці прогалини шляхом введення нового мікросервісу, анімації, який може бути легко інтегрований з існуючими мікро- і мегасервісами в OPEA, щоб розширити можливості платформи в області мультимодального ШІ, взаємодії людини з комп'ютером і цифрової людської графіки. + +Загалом, цей проект додає до платформи OPEA новий блок мікросервісів, який анімацію зовнішнього вигляду чат-бота, та інтегрує його з існуючими трубопроводами чат-ботів, такими як [ChatQnA](https://github.com/opea-project/GenAIExamples/tree/2e312f44edbcbf89bf00bc21d9e9c847405ecae8/ChatQnA), [AudioQnA](https://github.com/opea-project/GenAIExamples/tree/2e312f44edbcbf89bf00bc21d9e9c847405ecae8/AudioQnA), [SearchQnA](https://github.com/opea-project/GenAIExamples/tree/2e312f44edbcbf89bf00bc21d9e9c847405ecae8/SearchQnA), тощо, створювати нові мегасервіси з чат-ботами, які можуть взаємодіяти з користувачами у більш людський спосіб. + +Схожі роботи включають [Nvidia Audio2Face](https://docs.nvidia.com/ace/latest/modules/a2f-docs/index.html), [Lenovo Deepbrain AI Avatar](https://www.deepbrain.io/ai-avatars), [BitHuman](https://www.bithuman.io/) тощо. + +## Проектна пропозиція + + +### Дизайн Avatar Chatbot + + + + +Наразі у вищезгаданому дизайні відсутня функція RAG з використанням мікросервісів `embedding` та `dataprep`, включаючи завантаження відповідних документів/посилань, зберігання їх у базі даних та їх вилучення для моделі LLM. Ці функції будуть додані у версії 0.2. + +Блок-схема: AvatarChatbot Мегасервіс + +```mermaid +%%{ init : { "theme" : "base", "flowchart" : { "curve" : "stepBefore" }}}%% +flowchart TB + style Megaservice stroke:#000000 + subgraph AvatarChatbot + direction LR + A[User] --> |Input query| B[AvatarChatbot Gateway] + B --> |Invoke| Megaservice + subgraph Megaservice["AvatarChatbot Megaservice"] + direction LR + subgraph AudioQnA["AudioQnA"] + direction LR + C([ASR
3001]) + E([LLM
3007]) + G([TTS
3002]) + C ==> E ==> G + end + subgraph AvatarAnimation["Avatar Animation"] + direction LR + I([Animation
3008]) + end + G ==> I + end + end + subgraph Legend + direction LR + L([Microservice]) + N[Gateway] + end +``` + +Мегасервіс AvatarChatbot - це новий сервіс, який інтегрує існуючий сервіс AudioQnA з новим мікросервісом анімації. Сервіс AudioQnA - це конвеєр, який приймає аудіовхід користувача, перетворює його на текст, генерує відповідь LLM і перетворює відповідь на аудіовихід. Мікросервіс анімації - це новий сервіс, який приймає аудіо-відповідь від служби AudioQnA, генерує відповідь у вигляді анімованого аватара і надсилає її назад користувачеві. Шлюз AvatarChatbot викликає внутрішній мегасервіс AvatarChatbot для створення відповіді. + +#### анімаційний мікросервіс +Мікросервіс анімації - це новий сервіс, який генерує анімовані відеоролики аватарів з аудіо та зображення/відео вхідних даних. Мікросервіс анімації отримує звуковий відгук від сервісу AudioQnA, синхронізує фрагменти мелоспектрограми звукового відгуку з кадрами зображення/відео і генерує високоякісне відео, на якому аватар розмовляє в реальному часі. Мікросервіс анімації наразі використовує модель [Wav2Lip](https://github.com/Rudrabha/Wav2Lip) для синхронізації губ та модель [GFPGAN](https://github.com/TencentARC/GFPGAN) для відновлення обличчя. + +Користувач може створити власний Docker-образ за допомогою `Dockerfile_hpu` і створити Docker-контейнер на екземплярі Gaudi2 для запуску анімаційного мікросервісу. Потім вони можуть перевірити роботу сервісу, надіславши POST-запит до API сервера, надаючи при цьому аудіо та зображення/відео вхідні дані. Мікросервіс анімації згенерує анімовану відео-відповідь аватара і збереже її у вказаному вихідному шляху. + +В розробці підтримка альтернативних моделей SoTA, таких як [SadTalker] (https://github.com/OpenTalker/SadTalker) та [LivePortrait] (https://github.com/KwaiVGI/LivePortrait). + +#### Мегасервіс AvatarChatbot +Мегасервіс AvatarChatbot - це новий сервіс, який об'єднує існуючі мікросервіси, що входять до складу сервісу AudioQnA, з новим мікросервісом анімації. Сервіс AudioQnA - це конвеєр, який приймає вхідний аудіосигнал користувача, перетворює його на текст, генерує відповідь LLM і перетворює відповідь на вихідний аудіосигнал. Мікросервіс анімації - це новий сервіс, який приймає аудіо-відповідь від служби AudioQnA, генерує відповідь у вигляді анімованого аватара і надсилає її назад користувачеві. Мегапотік виглядає наступним чином: +asr -> llm -> tts -> animation + +```mermaid +--- +config: + flowchart: + nodeSpacing: 100 + rankSpacing: 100 + curve: linear + themeVariables: + fontSize: 42px +--- +flowchart LR + %% Colors %% + classDef blue fill:#ADD8E6,stroke:#ADD8E6,stroke-width:2px,fill-opacity:0.5 + classDef thistle fill:#D8BFD8,stroke:#ADD8E6,stroke-width:2px,fill-opacity:0.5 + classDef orange fill:#FBAA60,stroke:#ADD8E6,stroke-width:2px,fill-opacity:0.5 + classDef orchid fill:#C26DBC,stroke:#ADD8E6,stroke-width:2px,fill-opacity:0.5 + classDef invisible fill:transparent,stroke:transparent; + style AvatarChatbot-Megaservice stroke:#000000 + + %% Subgraphs %% + subgraph AvatarChatbot-Megaservice["AvatarChatbot Megaservice"] + direction LR + ASR([ASR
3001]):::blue + LLM([LLM 'text-generation'
3007]):::blue + TTS([TTS
3002]):::blue + animation([Animation
3008]):::blue + end + subgraph UserInterface["User Interface"] + direction LR + invis1[ ]:::invisible + USER1([User Audio Query]):::orchid + USER2([User Image/Video Query]):::orchid + UI([UI server
]):::orchid + end + subgraph ChatQnA GateWay + direction LR + invis2[ ]:::invisible + GW([AvatarChatbot GateWay
]):::orange + end + subgraph + direction LR + X([OPEA Microservice]):::blue + Y{{Open Source Service}}:::thistle + Z([OPEA Gateway]):::orange + Z1([UI]):::orchid + end + + %% Services %% + WHISPER{{Whisper service
7066}}:::thistle + TGI{{LLM service
3006}}:::thistle + T5{{Speecht5 service
7055}}:::thistle + WAV2LIP{{Wav2Lip service
3003}}:::thistle + + %% Connections %% + direction LR + USER1 -->|1| UI + UI -->|2| GW + GW <==>|3| AvatarChatbot-Megaservice + ASR ==>|4| LLM ==>|5| TTS ==>|6| animation + + direction TB + ASR <-.->|3'| WHISPER + LLM <-.->|4'| TGI + TTS <-.->|5'| T5 + animation <-.->|6'| WAV2LIP + + USER2 -->|1| UI + UI <-.->|6'| WAV2LIP +``` + + +#### Кінцевий Інтерфейс користувача +Інтерфейс користувача - Gradio. Користувачеві пропонується завантажити зображення або відео як джерело аватара. Користувач також задає своє питання усно через мікрофон, натиснувши на кнопку "запис". Бекенд AvatarChatbot обробляє вхідний аудіосигнал і генерує відповідь у вигляді анімованого аватара, який відповідає своїм унікальним голосом. Відповідь відображається в інтерфейсі Gradio. Користувач може бачити анімований аватар, який промовляє відповідь в режимі реального часу, і може взаємодіяти з аватаром, ставлячи додаткові запитання. + + + + + +### Демонстрація в реальному часі +Демонстрація чат-бота AI Avatar на Intel® Gaudi® 2, введення зображення (вгорі) та відеовведення (внизу) + + + + + + + +## Сумісність + +Новий мегасервіс AvatarChatbot і мікросервіс анімації сумісні з існуючими репозиторіями OPEA GenAIExamples і GenAIComps. Їх можна розгорнути на апаратному забезпеченні Intel® Xeon® і Intel® Gaudi®. + +## Miscs + +Час наскрізного виведення для AvatarChatbot Megaservice (asr -> llm -> tts -> animation): + +На SPR: + + ~30 секунд для AudioQnA на SPR, + + ~40-200 секунд для AvatarAnimation на SPR + +На Gaudi 2: +~5 секунд для AudioQnA на Gaudi, +~10-50 секунд для AvatarAnimation на Gaudi, залежно від: +1) Незалежно від того, чи є вхідними даними зображення або багатокадрове відео з фіксованою частотою кадрів +2) Використано модель LipSync Animation DL: Wav2Lip_only або Wav2Lip+GFPGAN або SadTalker +3) Роздільна здатність і частота кадрів в секунду отриманого відео в форматі mp4 + +Всі звіти про затримки станом на 2 серпня 2024 р. diff --git a/docs-ua/community/rfcs/24-08-07-OPEA-GenAIStudio.md b/docs-ua/community/rfcs/24-08-07-OPEA-GenAIStudio.md new file mode 100644 index 00000000..b882d827 --- /dev/null +++ b/docs-ua/community/rfcs/24-08-07-OPEA-GenAIStudio.md @@ -0,0 +1,173 @@ +# 24-08-07 OPEA-001 OPEA GenAIStudio + +## Автори + +[ongsoonee](https://github.com/OngSoonEe) +[chinyixiang](https://github.com/chinyixiang) + +## Статус + +На розгляді + +## Зміст RFC + +### Мета + +Мета цього RFC - запропонувати створення GenAI Studio, платформи, призначеної для полегшення розробки користувацьких додатків на основі великих мовних моделей (LLM), використовуючи ідеї, отримані на етапі експериментів на ігровому майданчику. GenAI Studio дозволить користувачам створювати, оцінювати та порівнювати свої LLM-додатки за допомогою зручного інтерфейсу без коду/з низьким вмістом коду. Платформа також надає можливість експортувати розроблений додаток як готовий до розгортання пакет для негайної інтеграції на підприємстві. Ця ініціатива спрямована на спрощення переходу від концепції до виробництва, забезпечуючи безперебійний процес розгортання корпоративних додатків "з нуля". + +### Мотивація + +Цей RFC описує створення Enterprise GenAI Assembly Framework, спрощеної платформи для користувачів OPEA. Ключові цілі фреймворку включають: +- Збірка та конфігурація: Спростіть процес складання та конфігурації компонентів GenAI, таких як GenAIComps, за допомогою інтерактивного інтерфейсу для створення функціональних додатків. +- Бенчмаркінг та оцінка: Проведення порівняльне тестування та оцінку програми для налаштування та оптимізації, включаючи використання засобів [GenAIEval](https://github.com/opea-project/GenAIEval). +- Створення пакету розгортання підприємства: Надання інструментів для створення готових до розгортання корпоративних пакетів, включно з інтеграцією [GenAIInfra](https://github.com/opea-project/GenAIInfra). + +Фреймворк призначений для демократизації розробки, оцінки і розгортання додатків GenAI для користувачів OPEA, сприяючи інноваціям і підвищенню операційної ефективності в корпоративному ландшафті ШІ з OPEA. + +### Ціннісна пропозиція +#### Поточний підхід + + +Днів/тижнів до 1-го робочого рішення + +#### Підхід GenAI Studio + + +Рішення Day-0, яке пропонує користувачам фундаментальний скелет, що дозволяє їм зосередитися на бізнес-кейсах, а не на створенні базового фреймворку. + +### Особа +OPEA - це фреймворк, призначений для оптимізації автоматизації процесів на підприємстві за допомогою низки мікросервісів. GenAI Studio розширює можливості OPEA, дозволяючи користувачам розробляти, розгортати та оптимізувати рішення на основі штучного інтелекту. Цей сценарій демонструє, як різні особи - розробники OPEA, корпоративні користувачі (DevOps) та кінцеві користувачі - можуть використовувати GenAI Studio для ефективного створення та розгортання готових рішень для підприємств. + +Сценарії: + +1. Особа Розробник + - Мета:Розробка та інтеграція додатку GenAI для конкретного бізнес-кейсу в рамках мікросервісної архітектури OPEA. + - Використання Studio: + - Розробник OPEA використовує GenAI Studio для створення моделі GenAI, яка допомагає покращити бізнес-кейс використання. + - Просунуті інструменти розробки Studio дозволяють розробнику точно налаштовувати модель на основі специфічних даних підприємства, забезпечуючи оптимальну продуктивність. + - Після розробки Studio автоматично генерує готовий до використання корпоративний пакет розгортання, який включає всі необхідні компоненти, такі як конфігурації та інструменти управління ресурсами, що забезпечує безперешкодну інтеграцію з існуючою інфраструктурою OPEA. + - Цей пакет розроблений таким чином, щоб його можна було легко розгорнути на сайті замовника, мінімізуючи потребу в додатковій конфігурації та налаштуванні. + +2. Особа Користувач на підприємстві + - Мета: Оптимізація та розгортання додатку GenAI з мікросервісами OPEA для задоволення конкретних потреб підприємства. + - Використання Studio: + - Користувач на підприємстві використовує GenAI Studio для тестування та оптимізації згенерованого пакета розгортання. + - За допомогою інструментів бенчмаркінгу Studio вони оцінюють продуктивність ШІ-моделі як з точки зору висновків, так і з точки зору обчислень, щоб переконатися, що вона відповідає операційним вимогам підприємства. + - Studio надає інформацію про розподіл ресурсів, допомагаючи DevOps точно налаштувати розгортання для досягнення найкращої продуктивності. Після оптимізації пакет розгортання легко запускається, дозволяючи підприємству негайно отримати вигоду від удосконалень ШІ. + +3. Особа Кінцевий користувач + - Мета: Впровадження і використання рішень OPEA зі штучним інтелектом для конкретних бізнес-завдань. + - Використання Studio: + - Кінцевий користувач отримує доступ до GenAI Studio, щоб вивчити готовий до використання пакет розгортання, наданий командою DevOps. + - Студія пропонує інструменти для оцінки продуктивності рішення в реальних сценаріях, щоб переконатися, що воно відповідає цілям бізнесу. + - Після мінімального налаштування кінцевий користувач може розгорнути рішення зі штучним інтелектом у своєму середовищі, автоматизуючи складні робочі процеси та оптимізуючи використання ресурсів для більш ефективного досягнення бізнес-цілей. + +Generative AI Studio дозволяє розробникам, корпоративним користувачам і кінцевим користувачам створювати, оптимізувати і розгортати корпоративні рішення на основі штучного інтелекту без особливих зусиль. Надаючи інструменти для створення готових до використання пакетів розгортання та тестування продуктивності, студія гарантує, що рішення на основі штучного інтелекту не лише потужні, але й прості у розгортанні та обслуговуванні, що робить їх високоефективними для бізнес-застосунків. + +### Стратегія та обсяг робіт + +Не вигадуйте колесо - використовуйте вже існуючі напрацювання OPEA, відкриті джерела та фундаментальні напрацювання EasyData. +- GMC на конфігурацію/розгортання +- Langflow/flowise.ai для налаштування додатку +- Пакети для оцінки продуктивності (VictoriaMetric, OpenTelemetry (Otel), Tempo, Loki, Grafana) +- Istio для управління навантаженням + +Обсяг розробки/оптимізації моделі + +| Обсяг роботи | Статус | +| --- | --- | +| Prompt engineering, RAG | За обсягом | +| Model Finetune | Пряма ціль | +| Model Pre-train | Поза сферою дії | + +### Архітектура високого рівня GenAI Studio + + +### Проєктна пропозиція + +### Проєктний простір +Надання інтерактивного користувацького інтерфейсу для створення, налаштування, тестування і генерації остаточного пакета розгортання. Користувач може використовувати файл даних yaml для створення та модифікації студійного проекту, як альтернативу графічному інтерфейсу. + +#### Частина 1: Побудова та конфігурація додатку +Користувач може створити додаток GenAI з такою конфігурацією, як +- вибір моделі +- встановлення параметрів моделі (temp, top-p, top-k, max response) +- системна інструкція + +Забезпечує 2 режими конфігурації +- Режим Wizard: Користувач отримує покрокову інструкцію щодо створення додатку +  +- Режим робочого процесу Drag-n-Drop: Дозволяє користувачеві створити власний потік з доступних компонентів (використовуючи Flowise AI) + - Utilize Flowise AI - https://docs.flowiseai.com/ + - Примітка: Потребує подальшої доцільності навчання в області + - Простота налаштування або додавання нових компонентів інтерфейсу + - Підключення та інтеграція з Мегасервісом (HelmChart, DockerCompose, GMC) + + + +#### Частина 2: Порівняльний аналіз та оцінка +A. Продуктивність виведення +- Загальний бенчмаркінг + - GLUE/SuperGLUE + - GPQA + - SQuAD + - ImageNet + - MLPerf +- Галюцинація +- Вертикальний/доменний бенчмаркінг (з базовою інформацією) +- Доопрацювання - наступний етап + +B. Модель обчислювальної продуктивності +- токенів на секунду (TPS) +- затримка 1-го токена +- пропускна здатність +- продуктивність RAG + +C. Моніторинг ресурсів - завантаження процесора, пам'яті + + +Включення компонентів для оцінки продуктивності обчислень +- VictoriaMetric: як сховище метрик для використання ресурсів +- OpenTelemetry (Otel): механізм трасування датчиків +- Tempo: сховище трас для OpenTelemetry +- Loki: зберігання логів для pod/Kubernetes +- Grafana: візуалізація метрик, трасування та логів +- Prometheus + +#### Частина 3: Розгортання на підприємстві +Створіть базу корпоративного пакета розгортання на основі програми з функціями корпоративних об'єктів, включно з функціями: +- Інтерфейс додатку +- Керування користувачами (вхід, створення, покращення, видалення) +- Керування сеансами (наприклад, сеансами чату) +- налаштування параметрів виведення (top-p, top-k, температура) +- Vector Store +- Генерація токенів +- Доступ до API + +Додатки: +- QnA +- AudioChat +- VisualChat +- Translation +- CodeGen +- CodeTrans +- Summarizer + +Конфігурація розгортання - Зразок інтерфейсу +- ОС +- Хмара/ OnPrem +- Кластер /одна машина +- Вибір функцій (API доступ, Керування користувачами тощо) +- Моніторингова панель для управління ресурсами + + + +Згенерований пакунок розгортання зазвичай складається з таких частин: +- Плейбуки Ansible - Плейбуки Ansible будуть використовуватися для налаштування та ініціалізації важливих служб, таких як K8s, база даних SQL, локальний реєстр образів тощо. +- Коди інтерфейсу додатку +- Внутрішні коди серверів додатків +- Інші образи компонентів мікросервісу OPEA можна отримати з реєстру OPEA безпосередньо під час налаштування. + + +### Сумісність +Цей RFC вимагатиме проведення техніко-економічного обґрунтування щодо інструментів, які слід використовувати для проектування режиму Drag-n-Drop Workflow у Частині 1. Flowise AI є хорошим кандидатом, але його потрібно запускати як окремий сервіс, що додасть складності до UI/UX дизайну. diff --git a/docs-ua/community/rfcs/24-08-20-OPEA-001-AI_Gateway_API.md b/docs-ua/community/rfcs/24-08-20-OPEA-001-AI_Gateway_API.md new file mode 100644 index 00000000..afc36425 --- /dev/null +++ b/docs-ua/community/rfcs/24-08-20-OPEA-001-AI_Gateway_API.md @@ -0,0 +1,107 @@ +## RFC Title + +AI Gateway API + +## RFC Content + +### Author + +[daixiang0](https://github.com/daixiang0), [zhixie](https://github.com/zhxie), [gyohuangxin](https://github.com/gyohuangxin), [Forrest-zhao](https://github.com/Forrest-zhao), [ruijin-intel](https://github.com/ruijin-intel) + +### Status + +Under Review + +### Objective + +Design the API for AI Gateway. + +### Motivation + +- Introduce gateway to do mTLS, traffic control, observability and so on +- Introduce AI Gateway API to use existing gateway sloutions rather than implement our own one. + +### Design Proposal + +The AI gateway is at the front of all microservices: + +```mermaid +graph TD; + A(AI Gateway)-->Retrival; + A-->Rerank; + A-->LLM; + A-->Guardrails; + A-->B(Any microservice); +``` + +#### API overall + +To make the most of current resources, we choose to follow [Kubernetes Gateway API](https://gateway-api.sigs.k8s.io/) since it is the gateway API standard that all gateways support. + +Since AI specific features of Kubernetes Gateway API are still [under discussion](https://docs.google.com/document/d/1FQN_hGhTNeoTgV5Jj16ialzaSiAxC0ozxH1D9ngCVew/edit), We design AI Gateway API including following two parts: + +- **Kubernetes Gateway API** for features it already supports +- **Extension API for** all other features + +#### API workflow + +```mermaid +graph LR; + A(Config using AI Gateway API)-->B(Convert to specific gateway API) +``` + +AI Gateway is not a brand-new gateway implementation, only does one thing: Convert. + +#### Extension API + +```yaml +apiVersion: extension.gateway.opea.dev/v1 +kind: Gateway +metadata: + name: extension-exmaple +spec: + gatewayClassName: envoy + extensions: + - name: extension-1 + config: + extension-1-config: aaa + - name: extension-2 + config: + extension-2-config: bbb +``` + +- gatewayClassName: specific gateway implement +- name: the name of extension feature, support multiple extensions +- config: the content of extension config, following specified gateway API + +#### Extension API example + +```yaml + +apiVersion: extension.gateway.opea.dev/v1 +kind: Gateway +metadata: + name: envoy-extension-exmaple +spec: + gatewayClassName: envoy + extensions: + - name: token-ratelimit + config: + name: envoy.filters.http.guardrails + typed_config: + "@type": type.googleapis.com/envoy.extensions.filters.http.guardrails.v3.Guardrails + inference: + runtime: envoy.inference_runtime.openvino + typed_config: + "@type": type.googleapis.com/envoy.extensions.inference_runtime.openvino.v3.OpenvinoConfig + backend: CPU + plugins: + - /usr/lib/libopenvino_tokenizers.so + model_path: /home/zhihao/envoy/.project/openvino/models/OTIS-Official-Spam-Model.xml + source: RESPONSE + action: ALLOW +``` + +**Guardrail** is AI specific feature, here we use Extension API to config Envoy to use CPU to inference with specified model to do response check. + +The config field follows the Envoy API. diff --git a/docs-ua/community/rfcs/24-08-21-GenAIExample-002-Edge_Craft_RAG.md b/docs-ua/community/rfcs/24-08-21-GenAIExample-002-Edge_Craft_RAG.md new file mode 100644 index 00000000..76e097f3 --- /dev/null +++ b/docs-ua/community/rfcs/24-08-21-GenAIExample-002-Edge_Craft_RAG.md @@ -0,0 +1,189 @@ +# Edge Craft RAG + +This RFC describes a solution of a tunable RAG for edge scenarios. + +## RFC Content + +### Author + +[myqi](https://github.com/myqi) + +### Status + +Under Review + +### Objective + +Edge industry users are facing obstacles to build an "out-of-the-box" RAG +application to meet both quality and performance requirements. Total Cost of +Ownership(TCO) and pipeline optimization techniques are the two main reasons +to block this process. + +#### Total Cost of Ownership + +The HW requirement of a typical edge use case is a single host with one of the +following combinations: +- Intel(R) Core(TM) Ultra Processor +- Intel(R) Core(TM) Processor + Intel(R) Iris(R) Xe Graphics +- Intel(R) Core(TM) Processor + Intel(R) Arc(TM) A-Series Graphics +- Intel(R) Xeon(R) Processor + Intel(R) Arc(TM) A-Series Graphics + +The scenarios with these hardware options block the edge users from using large +parameter size LLMs on-prem as well as sophisticated RAG pipeline for their data. +Thus, the RAG pipeline at edge needs to be highly curated for underlying hardwares +and suitable models accordingly. + +#### RAG Pipeline Optimization Techniques + +Tuning RAG pipeline is a systematic problem. First, the quality depends on the +result of each stage in the pipeline as well as the end-to-end outcome. Second, +optimization could be a trade-off among the metrics. It is difficult to decide one +answer is better than another if it is slightly not accurate in number but more +relevant to the query. Third, the optimization techniques may not intuitively +reflect to metrics improvements. E.g., recrusive retrieval may contribute to +improving the recall and context relevancy, or may not. + +### Motivation + +Edge Craft RAG (EC-RAG) is a customizable, tunable and production-ready +Retrieval-Augmented Generation system for edge solutions. It is designed to +curate the RAG pipeline to meet hardware requirements at edge with garanteed +quality and performance. + +From quality perspective, EC-RAG is tunable in the indexing, retrieving, +reranking and generation stages for particular edge use cases. From performance +perspective, the pipeline is consolidated in a single service to eliminate the +overhead of inter-service communication on a single host. Meanwhile, the inferencing +stages like embedding, reranking and generation are optimized for Intel(R) Iris(R) +Xe Graphics and Intel(R) Arc(TM) A-Series Graphics. + +### Design Proposal + +EC-RAG is composed of the following components: +- UI for doc loading and interactive chatbot. +- Gateway +- Mega-service with a single micro-services for the tunable* EC-RAG pipeline. +- LLM serving microservice optimized for Intel(R) Iris(R) Xe Graphics and Intel(R) Arc(TM) A-Series +Graphics +- VectorDB microservice optimized for Intel(R) Iris(R) Xe Graphics and/or Intel(R) Arc(TM) A-Series +- Docker compose file to launch the UI, Mega/Micro-services + +> [!NOTE] +> *Advanced tuning EC-RAG will need a tool co-piloting with the pipeline which will be described in +> a separate doc + +Below diagram illustrates the overall components of EC-RAG: + + +The EC-RAG pipeline will expose 3 types of REST API endpoint: +- **/v1/data** for indexing +- **/v1/settings** for configuration +- **/v1/chatqna** for inferencing + +#### /v1/data + +| Description | Action | Endpoint | Data Schema | +| ------------- | ------ | ------------- | ------------------ | +| Upload a file | POST | /v1/data | FastAPI.UploadFile | +| List files | GET | /v1/data | | +| Remove | DELETE | /v1/data/{id} | | + +#### /v1/settings/pipelines + +| Description | Action | Endpoint | Data Schema | +| ------------------ | ------ | ----------------------------- | ------------------ | +| Setup a pipeline | POST | /v1/settings/pipelines | Pipeline object | +| Get/list pipelines | GET | /v1/settings/pipelines(/{id}) | Pipeline object(s) | | +| Update pipelines | PATCH | /v1/settings/pipelines/{id} | Pipeline object | +| Remove a pipeline | DELETE | /v1/settings/pipelines/{id} | | + +### /v1/settings/models + +| Description | Action | Endpoint | Data Schema | +| --------------- | ------ | -------------------------- | --------------- | +| Load models | POST | /v1/settings/models | Model object | +| Get/list models | GET | /v1/settings/models(/{id}) | Model object(s) | +| Update models | PATCH | /v1/settings/models/{id} | Model object | +| Remove a model | DELETE | /v1/settings/models/{id} | | + +### Pipeline configuration example + +```json +{ + "name": "rag_demo", + "node_parser" : { + "chunk_size": 250, + "chunk_overlap": 48, + "type": "simple" + }, + "indexer": { + "type": "faiss_vector", + "model": { + "model_id": "BAAI/bge-small-en-v1.5", + "model_path": "./bge_ov_embedding", + "device": "auto" + } + }, + "retriever": { + "type": "vectorsimilarity", + "top_k": 30 + }, + "postprocessors": [ + { + "type": "reranker", + "rerank_top_n": 5, + "model": { + "model_id": "BAAI/bge-reranker-large", + "model_path": "./bge_ov_reranker", + "device": "auto" + } + } + ], + "generator": { + "model": { + "model_id": "qwen2-7b-instruct", + "model_path": "./qwen2-7b-instruct/INT4_compressed_weights", + "device": "auto" + }, + "prompt_path" : "./data/default_prompt.txt" + }, + "active": "True" +} +``` + +#### UI + +The EC-RAG UI is gradio. The user is able to select the models as well as input +parameters in different stages for the pipeline. The chatbox is also integrated +in the UI. + +EC-RAG UI - Model Condiguration + + +EC-RAG UI - Chatbot with settings + + +### Compatibility + +EC-RAG megaservice and microservice are compatible with the existing OPEA +GenAIExamples and GenAIComps repos. The EC-RAG leverages the LLM microservice +and the VectorDB microservice from GenAIComps. + +### Miscellaneous + +The EC-RAG will be developed in 2 phases. + +#### Phase 1 + +The UI, gateway, and EC-RAG pipeline will be finished without Vector DB as +persistent DB. Instead, FAISS will be used for vector search and keep vector +store in memory. + +In this phase, the LLM inferencing will happen in the pipeline until the LLM +serving microservice supports Intel(R) Iris(R) Xe Graphics and Intel(R) Arc(TM) +A-Series Graphics. + +#### Phase 2 + +The vector DB will be enabled in this phase as well as LLM inferencing on +Intel(R) Iris(R) Xe Graphics and Intel(R) Arc(TM) A-Series Graphics. diff --git a/docs-ua/community/rfcs/Edge_Craft_RAG.png b/docs-ua/community/rfcs/Edge_Craft_RAG.png new file mode 100644 index 00000000..5d047311 Binary files /dev/null and b/docs-ua/community/rfcs/Edge_Craft_RAG.png differ diff --git a/docs-ua/community/rfcs/Edge_Craft_RAG_screenshot_1.png b/docs-ua/community/rfcs/Edge_Craft_RAG_screenshot_1.png new file mode 100644 index 00000000..6242f117 Binary files /dev/null and b/docs-ua/community/rfcs/Edge_Craft_RAG_screenshot_1.png differ diff --git a/docs-ua/community/rfcs/Edge_Craft_RAG_screenshot_2.png b/docs-ua/community/rfcs/Edge_Craft_RAG_screenshot_2.png new file mode 100644 index 00000000..dfb1c32d Binary files /dev/null and b/docs-ua/community/rfcs/Edge_Craft_RAG_screenshot_2.png differ diff --git a/docs-ua/community/rfcs/README.md b/docs-ua/community/rfcs/README.md new file mode 100644 index 00000000..ea79bd02 --- /dev/null +++ b/docs-ua/community/rfcs/README.md @@ -0,0 +1,11 @@ +# RFC Archive + +Ця папка використовується для архівування всіх RFC, створених спільнотою OPEA. Користувачі можуть або безпосередньо додавати RFC до цієї папки, або надсилати їх на сторінку `Issues` кожного репозиторію OPEA з шаблоном рядка `[RFC]: xxx` у заголовку. Останній буде автоматично збережено до цієї папки за допомогою інструменту архівації. + +Угода про імена файлів дотримується такого правила: + + yy-mm-dd-[OPEA Project Name]-[index]-title.md + +Наприклад, + +24-04-29-GenAIExamples-001-Using_MicroService_to_implement_ChatQnA.md diff --git a/docs-ua/community/rfcs/assets/avatar1.jpg b/docs-ua/community/rfcs/assets/avatar1.jpg new file mode 100644 index 00000000..4486c866 Binary files /dev/null and b/docs-ua/community/rfcs/assets/avatar1.jpg differ diff --git a/docs-ua/community/rfcs/assets/avatar2.jpg b/docs-ua/community/rfcs/assets/avatar2.jpg new file mode 100644 index 00000000..8fc98638 Binary files /dev/null and b/docs-ua/community/rfcs/assets/avatar2.jpg differ diff --git a/docs-ua/community/rfcs/assets/avatar3.png b/docs-ua/community/rfcs/assets/avatar3.png new file mode 100644 index 00000000..b85822a9 Binary files /dev/null and b/docs-ua/community/rfcs/assets/avatar3.png differ diff --git a/docs-ua/community/rfcs/assets/avatar4.png b/docs-ua/community/rfcs/assets/avatar4.png new file mode 100644 index 00000000..337c5345 Binary files /dev/null and b/docs-ua/community/rfcs/assets/avatar4.png differ diff --git a/docs-ua/community/rfcs/assets/avatar6.png b/docs-ua/community/rfcs/assets/avatar6.png new file mode 100644 index 00000000..329367ec Binary files /dev/null and b/docs-ua/community/rfcs/assets/avatar6.png differ diff --git a/docs-ua/community/rfcs/assets/avatars-chatbot.png b/docs-ua/community/rfcs/assets/avatars-chatbot.png new file mode 100755 index 00000000..c03f2bd7 Binary files /dev/null and b/docs-ua/community/rfcs/assets/avatars-chatbot.png differ diff --git a/docs-ua/community/rfcs/assets/avatars-ui.png b/docs-ua/community/rfcs/assets/avatars-ui.png new file mode 100755 index 00000000..fa882765 Binary files /dev/null and b/docs-ua/community/rfcs/assets/avatars-ui.png differ diff --git a/docs-ua/community/rfcs/assets/design.png b/docs-ua/community/rfcs/assets/design.png new file mode 100644 index 00000000..1368137d Binary files /dev/null and b/docs-ua/community/rfcs/assets/design.png differ diff --git a/docs-ua/community/rfcs/assets/image_wav2lipgfpgan_cut.gif b/docs-ua/community/rfcs/assets/image_wav2lipgfpgan_cut.gif new file mode 100644 index 00000000..aea95f3f Binary files /dev/null and b/docs-ua/community/rfcs/assets/image_wav2lipgfpgan_cut.gif differ diff --git a/docs-ua/community/rfcs/assets/ui_latest_1.png b/docs-ua/community/rfcs/assets/ui_latest_1.png new file mode 100644 index 00000000..0e933425 Binary files /dev/null and b/docs-ua/community/rfcs/assets/ui_latest_1.png differ diff --git a/docs-ua/community/rfcs/assets/ui_latest_2.png b/docs-ua/community/rfcs/assets/ui_latest_2.png new file mode 100644 index 00000000..047f958b Binary files /dev/null and b/docs-ua/community/rfcs/assets/ui_latest_2.png differ diff --git a/docs-ua/community/rfcs/assets/ui_latest_3.png b/docs-ua/community/rfcs/assets/ui_latest_3.png new file mode 100644 index 00000000..c4a428ac Binary files /dev/null and b/docs-ua/community/rfcs/assets/ui_latest_3.png differ diff --git a/docs-ua/community/rfcs/assets/video_wav2lipgfpgan_cut.gif b/docs-ua/community/rfcs/assets/video_wav2lipgfpgan_cut.gif new file mode 100644 index 00000000..1ddc34f4 Binary files /dev/null and b/docs-ua/community/rfcs/assets/video_wav2lipgfpgan_cut.gif differ diff --git a/docs-ua/community/rfcs/opea_architecture.png b/docs-ua/community/rfcs/opea_architecture.png new file mode 100644 index 00000000..2b13a374 Binary files /dev/null and b/docs-ua/community/rfcs/opea_architecture.png differ diff --git a/docs-ua/community/rfcs/opea_workflow.png b/docs-ua/community/rfcs/opea_workflow.png new file mode 100644 index 00000000..8cd1106d Binary files /dev/null and b/docs-ua/community/rfcs/opea_workflow.png differ diff --git a/docs-ua/community/rfcs/rfc_template.txt b/docs-ua/community/rfcs/rfc_template.txt new file mode 100644 index 00000000..93dbd438 --- /dev/null +++ b/docs-ua/community/rfcs/rfc_template.txt @@ -0,0 +1,42 @@ +# RFC Template + +Помістіть заголовок «RFC Template» з назвою вашого RFC, за яким слідує +короткий опис функції, до якої ви хочете долучитися + +## Author(s) + +Перелічіть усіх учасників цього RFC. + +## Status + +Змініть статус PR на "На розгляді" | "Відхилено" | "Прийнято". + +## Objective + +Перелічить, яку проблему це вирішить? Які цілі та нецілі цього RFC? + +## Motivation + +Перелічіть, чому ця проблема є цінною для вирішення? Чи існує якась пов'язана робота? + +## Design Proposal + +Це серце документа, що використовується для розробки філософії дизайну і детальної пропозиції. + +## Alternatives Considered + +Перелічіть інші альтернативи, якщо вони є, та відповідні плюси/мінуси кожної пропозиції. + +## Compatibility + +Перелічіть можливі несумісні зміни в інтерфейсі або робочому процесі, якщо такі існують. + +## Miscellaneous + +Перелічіть іншу інформацію, яка може бути важливою для користувача та розробника, наприклад + +- Вплив на продуктивність, таку як швидкість, пам'ять, точність. +- Інженерний вплив, наприклад, розмір двійкового коду, час запуску, час збірки, час тестування. +- Вплив на безпеку, наприклад, вразливість коду. +- Список справ або поетапний план. + diff --git a/docs-ua/deploy/index.rst b/docs-ua/deploy/index.rst new file mode 100644 index 00000000..55fdda5c --- /dev/null +++ b/docs-ua/deploy/index.rst @@ -0,0 +1,94 @@ +.. _GenAIInfra: + +Розгортання GenAI +################# + +GenAIInfra - це контейнеризація та хмарний набір для OPEA, +включаючи артефакти для розгортання :ref:`GenAIExamples` у хмарному середовищі, +щоб корпоративні користувачі могли розгортати їх у власній хмарі. + +Ми створюємо цю документацію на основі вмісту в +:GenAIInfra_blob:`GenAIInfra
6000]) + RET([Retrieval 'LangChain Redis'
7000]) + RER([Rerank 'TEI'
8000]) + LLM([LLM 'text-generation TGI'
9000]) + end + + direction TB + TEI_EM{{TEI embedding service
8090}} + VDB{{Vector DB
8001}} + %% Vector DB interaction + TEI_EM -.->|d|VDB + + DP([OPEA Data Preparation
6007]) + LLM_gen{{TGI/vLLM/ollama Service}} + + direction TB + RER([OPEA Reranking
8000]) + TEI_RER{{TEI Reranking service
8808}} + + subgraph User Interface + direction TB + a[User Input Query] + Ingest[Ingest data] + UI[UI server
Port: 5173] + end + + subgraph ChatQnA GateWay + direction LR + GW[ChatQnA GateWay
Port: 8888] + end + + %% Data Preparation flow + %% Ingest data flow + direction LR + Ingest[Ingest data] -->|a| UI + UI -->|b| DP + DP -.->|c| TEI_EM + + %% Questions interaction + direction LR + a[User Input Query] -->|1| UI + UI -->|2| GW + GW ==>|3| ChatQnA-MegaService + EM ==>|4| RET + RET ==>|5| RER + RER ==>|6| LLM + + + %% Embedding service flow + direction TB + EM -.->|3'| TEI_EM + RET -.->|4'| TEI_EM + RER -.->|5'| TEI_RER + LLM -.->|6'| LLM_gen + + subgraph Legend + X([Microservice]) + Y{{Service from industry peers}} + Z[Gateway] + end + +Додаток або трубопровід GenAI в OPEA зазвичай складається з набору мікросервісів для створення мегасервісу, доступ до якого здійснюється через шлюз. Мікросервіс - це компонент, призначений для виконання певної функції або завдання. Мікросервіси є будівельними блоками, що пропонують основні послуги. Мікросервіси сприяють модульності, гнучкості та масштабованості системи. Мегасервіс - це архітектурна конструкція більш високого рівня, що складається з одного або декількох мікросервісів, що забезпечує можливість збирати наскрізні додатки. +Шлюз слугує інтерфейсом для доступу користувачів. Шлюз спрямовує вхідні запити до відповідних мікросервісів у межах архітектури мегасервісу. Для отримання додаткової інформації див. `GenAI Components
-
+
-
+
+
+What is OPEA?
+ +Learn about the OPEA architecture, features, and benefits.
+
+ -
+
+
+
Getting Started
+ +Start building GenAI solutions or contribute to the community.
+
+ -
+
+
+
OPEA Community
+ +Join the OPEA community with your contributions and solution ideas.
+
+ -
+
+
+
Browse GenAI Solutions
+ +Select from several turnkey enterprise solutions that can be customized for your needs.
+
+ -
+
+
+
Deploy GenAI Solutions
+ +Select from several deployment strategies that best match your enterprise needs.
+
+ -
+
+
+
Browse GenAI Microservices
+ +Use modular building blocks to build robust GenAI solutions.
+
+
GenAIExamples
+ +- ChatQnA + - Додно інструкції ChatQnA для AIPC([26d4ff](https://github.com/opea-project/GenAIExamples/commit/26d4ff11ffd323091d80efdd3f65e4c330b68840)) + - Адаптовано формат відповіді Vllm ([034541](https://github.com/opea-project/GenAIExamples/commit/034541404e23ce3927c170237817e98f9323af26)) + - Оновлено версію tgi([5f52a1](https://github.com/opea-project/GenAIExamples/commit/5f52a10ffef342ef7ab84e9cf7107903d1e578e4)) + - Оновлено README.md([f9312b](https://github.com/opea-project/GenAIExamples/commit/f9312b37137ac087534d5536c767b465bac1b93b)) + - Оновлено ChatQnA docker compose для Dataprep Update([335362](https://github.com/opea-project/GenAIExamples/commit/335362ab1191b1bcaa2c3bef06fb559bdd3d3f3f)) + - [Doc] Додано дійсну інформацію про мікросервіс([e878dc](https://github.com/opea-project/GenAIExamples/commit/e878dc131171068d4d48686ed3909363403c6818)) + - Оновлення для запуску ChatQnA + Conversational UI на Gaudi([89ddec](https://github.com/opea-project/GenAIExamples/commit/89ddec9b2d473b6c0b427e264e0ed07e5d0045f5)) + - Виправлено помилки на ПК з Windows([ba6541](https://github.com/opea-project/GenAIExamples/commit/ba65415b78d237d180cf9f3654d72b106b7b8a2e)) + - [Doc]Додано ChatQnA Flow Chart([97da49](https://github.com/opea-project/GenAIExamples/commit/97da49f61e9ae4aff6780b1ae52c7f66550f3608)) + - Додано захісні бар'єри в трубопроводі ChatQnA([955159](https://github.com/opea-project/GenAIExamples/commit/9551594164980fea59667f6679c84ba5cadf6410)) + - Виправлено незначні помилки для chatqna в docker-compose([b46ae8](https://github.com/opea-project/GenAIExamples/commit/b46ae8bdcc1abfe04563cffc004a87d2884e111b)) + - Підтримка vLLM/vLLM-on-Ray/Ray Serve для ChatQnA([631d84](https://github.com/opea-project/GenAIExamples/commit/631d841119ee6d3247551ef713ea40041c77d6b6)) + - Додано приклад ChatQnA використовуючи Qdrant retriever([c74564](https://github.com/opea-project/GenAIExamples/commit/c745641ba103d9f88af01f871f31384f16d02360)) + - Оновлено TEI version v1.5 для кращої ефективності([f4b4ac](https://github.com/opea-project/GenAIExamples/commit/f4b4ac0d3a762805fe2e1f1a09c8311cadc2114d)) + - Оновлено ChatQnA функцію завантаження([598484](https://github.com/opea-project/GenAIExamples/commit/5984848bb065917f60324c9a35ce98a1503ef1c1)) + - Додано автоматичне скорочення для вбудовування і переранжування([8b6094](https://github.com/opea-project/GenAIExamples/commit/8b60948c7b9ab96c4d12dd361b329ff72b2e0e0b)) + +- Розгортання + - Додано маніфест файли Kubernetes для розгортання DocSum([831463](https://github.com/opea-project/GenAIExamples/commit/83146320aa14fbea5fcd795a7b5203be43e32a14)) + - Оновлено маніфест файли Kubernetes для CodeGen([2f9397](https://github.com/opea-project/GenAIExamples/commit/2f9397e012b7f3443d97f9cca786df5aa6d72437)) + - Додано маніфест файли Kubernetes для розгортання CodeTrans([c9548d](https://github.com/opea-project/GenAIExamples/commit/c9548d7921f73ac34b0867969de8ba7fe0c21453)) + - Оновлено READMEs для прикладів трубопроводів kubernetes([c37d9c](https://github.com/opea-project/GenAIExamples/commit/c37d9c82b0df8a7a84462bdede93f0425470e4e0)) + - Оновлено всі приклади файлів yaml для GMC у GenAIExample([290a74](https://github.com/opea-project/GenAIExamples/commit/290a74fae918da596dbb2d17ab87f828fef95e0d)) + - Doc: виправлено незначні помилки у документації GMC([d99461](https://github.com/opea-project/GenAIExamples/commit/d9946180a2372652136bd46a21aab308cda31d7e)) + - README для встановлення 4-х робочих місць з використанням helm chart([6e797f](https://github.com/opea-project/GenAIExamples/commit/6e797fae8923b520147419b87a193ccfb0d1de11)) + - Додано маніфест файли Kubernetes для розгортання ChatQnA([665c46](https://github.com/opea-project/GenAIExamples/commit/665c46ffae23b3dc3b4c6c7d6b7693886e913294)) + - Додано нові приклади SearchQnA для GenAIExample([21b7d1](https://github.com/opea-project/GenAIExamples/commit/21b7d11098ca22accf2cd530a051403b95c5b4ba)) + - Додано нові приклади Translation для GenAIExample([d0b028](https://github.com/opea-project/GenAIExamples/commit/d0b028d1997e1842d9cab48585a7f0b55de9b14b)) + +- Інші приклади + - Оновлено переранжування шляху до докер-файлу мікросервісу([d7a5b7](https://github.com/opea-project/GenAIExamples/commit/d7a5b751d92b7714a8c3308c64f4a8b473710383)) + - Оновлено версію tgi-gaudi([3505bd](https://github.com/opea-project/GenAIExamples/commit/3505bd25a4f3494028cde45694f304dba665310b)) + - Вдосконаленог README для Examples([f73267](https://github.com/opea-project/GenAIExamples/commit/f732674b1ef28e5c2589d3b8e0124ebedaf5d502)) + - Оновлено READMEs([8ad7f3](https://github.com/opea-project/GenAIExamples/commit/8ad7f36fe2007160ba68b0e100f4471c46669afa)) + - [CodeGen] Додано flowchart кодового генератора([377dd2](https://github.com/opea-project/GenAIExamples/commit/377dd2fa9eac012b6927abee3ef5f6339549a4eb)) + - Оновлено назву зображення audioqna([615f0d](https://github.com/opea-project/GenAIExamples/commit/615f0d25470624534c541161c6e647f78b448af1)) + - Додано автоусічення до gaudi tei([8d4209](https://github.com/opea-project/GenAIExamples/commit/8d4209a01541d078e41174ef13c5f5f9686be282)) + - Оновлено кітайську версію visualQnA([497895](https://github.com/opea-project/GenAIExamples/commit/49789595e5f6f00e96426b2dc5034d0a68c0aea1)) + - Виправлено Typo для Translation Example([95c13d](https://github.com/opea-project/GenAIExamples/commit/95c13d9558acb85343f2d39fc9ef1d68aacfbb56)) + - FAQGen Megaservice([8c4a25](https://github.com/opea-project/GenAIExamples/commit/8c4a2534c1313a4a20948190489dedcf3c302eea)) + - Code-gen-react-ui([1b48e5](https://github.com/opea-project/GenAIExamples/commit/1b48e54a3d2e5ede8c3268c30766fa5182d3486c)) + - Додано документацію sum react-ui([edf0d1](https://github.com/opea-project/GenAIExamples/commit/edf0d14c95c9869b416d07c9af80ace2bc3691cb)) + +- CI/UT + - Фронтенд зазнав невдачі з невідомою проблемою таймауту([7ebe78](https://github.com/opea-project/GenAIExamples/commit/7ebe781ccb0d0396872c3aa9c195118ca07fc0b3)) + - Додавання порівняльного тесту Chatqna([11a56e](https://github.com/opea-project/GenAIExamples/commit/11a56e09ef86e88b29662130eba1913d40cb8aba)) + - Збільшено таймаут з'єднання tgi([ee0dcb](https://github.com/opea-project/GenAIExamples/commit/ee0dcb3d37ab64c89962fb41fc8b4d4916b05002)) + - Оптимізовано gmc маніфест тестів 2e2([15fc6f](https://github.com/opea-project/GenAIExamples/commit/15fc6f971154f19822ac8d9b168141a381c93114)) + - Додано docker compose yaml печать для тесту([bb4230](https://github.com/opea-project/GenAIExamples/commit/bb42307af952a8ca8c80dec329d84e1fe94943f3)) + - Рефактор перекладу тесту ci([b7975e](https://github.com/opea-project/GenAIExamples/commit/b7975e79d8c75899961e5946d8ad0356065f20c5)) + - Рефактор searchqna тесту ci([ecf333](https://github.com/opea-project/GenAIExamples/commit/ecf33388359a9bc20ff63676f169cc4d8129b1e7)) + - Переклад UT для UI([284d85](https://github.com/opea-project/GenAIExamples/commit/284d855bf410e5194c84523450397f0eb70ad0ee)) + - Удосконалення тесту codetrans e2e([450efc](https://github.com/opea-project/GenAIExamples/commit/450efcc139f26268b31a456db3f17024a37f896f)) + - Дозволено gmc e2e робочому потоку отримувати секрети([f45f50](https://github.com/opea-project/GenAIExamples/commit/f45f508847823f3f6a1831d1a402932294b2a287)) + - Додано перевірку посилань в робочому потоку gmc e2e([62ae64](https://github.com/opea-project/GenAIExamples/commit/62ae64f13c8127cd7afd7d58d06c6cf9c51fafbf)) + - SearchQnA UT([268d58](https://github.com/opea-project/GenAIExamples/commit/268d58d4a971d7d8340e72caf90a4fc14650612d)) +GenAIComps
+ +- Ядра + - Підтримка https для мікросервісу([2d6772](https://github.com/opea-project/GenAIComps/commit/2d6772456fb24cd344fc25e3eb4591d1a42eda71)) + - Збільшено таймаут запиту на мегасервіс для підтримки високої паралельності([876ca5](https://github.com/opea-project/GenAIComps/commit/876ca5080b47bfb9ea484f916561f2c68e3d37a0)) + - Додано динамічний DAG([f2995a](https://github.com/opea-project/GenAIComps/commit/f2995ab5f55c8917b865a405fb9ffe99b70ff86d)) + +- LLM + - Додаткова збірка контейнера мікросервісу vllm([963755](https://github.com/opea-project/GenAIComps/commit/9637553da6da07988df5d9007d9a736fe0ca4c47)) + - Уточнено інструкцію vllm([6e2c28](https://github.com/opea-project/GenAIComps/commit/6e2c28b17850964e5c07d5f418211722a9b09212)) + - Представлено 'entrypoint.sh' для деякіх контейнерів([9ecc5c](https://github.com/opea-project/GenAIComps/commit/9ecc5c3b02bae88e148bfecafdd24be995d6b4c3)) + - Підтримка llamaindex для отримання мікросервісу і видалення langchain([61795f](https://github.com/opea-project/GenAIComps/commit/61795fd46a5c3047a3f08517b73cad52100396c8)) + - Оновлено tgi з text-generation-inference:2.1.0([f23694](https://github.com/opea-project/GenAIComps/commit/f236949f62e26695ff0f6e7d4fbce8441fb2d8e4)) + - Виправлено вимоги([f4b029](https://github.com/opea-project/GenAIComps/commit/f4b029805a310ce5bd4b0f03a9439ede149cb3ab)) + - Додано vLLM на мікросервіс Ray([ec3b2e](https://github.com/opea-project/GenAIComps/commit/ec3b2e841f23d1ee5dc4d89a57d34e51cf5a5909)) + - Оновлено code/readme/UT для Ray Serve і VLLM([dd939c](https://github.com/opea-project/GenAIComps/commit/dd939c554add6a86577e50fc46ac93a7429ab6d9)) + - Дозволено мікросервісу Ollama бути сумісним з різними моделями([2458e2](https://github.com/opea-project/GenAIComps/commit/2458e2f1ec7f7e383429a54047814347e18c363d)) + - Оптимізація продуктивності LLM і доопрацювання коду([6e31df](https://github.com/opea-project/GenAIComps/commit/6e31df2f0503eb075472ef5cd9cfc0f81112d804)) + +- Підготовка даних + - Підтримка get/delete файла в мікросервісі Dataprep([5d0842](https://github.com/opea-project/GenAIComps/commit/5d08426c82f999d8a5b58fda042fa610473b0c9c)) + - Dataprep | PGVector : додано підтримку для нових змін в utils.py([54eb7a](https://github.com/opea-project/GenAIComps/commit/54eb7aba5b5a46f6bf9602254e1b331b58109c24)) + - Вдосконалено мікросервіс dataprep, додаванням роздільників([ef97c2](https://github.com/opea-project/GenAIComps/commit/ef97c24792bd5711b5e5a000eafcd7fabcfc914b)) + - Зупинено python-bidi==0.4.2 для dataprep/redis([b4012f](https://github.com/opea-project/GenAIComps/commit/b4012f610960514b6351dc94bdc346675e57b356)) + - Підтримка видалення даних для Redis vector db([967fdd](https://github.com/opea-project/GenAIComps/commit/967fdd2f27fe1e7c99c6e6c28161c8f0f3bf2436)) + +- Інші компоненти + - Видалено ingest у мікросервісі Ретрівер([d25d2c](https://github.com/opea-project/GenAIComps/commit/d25d2c4ec3146bcba26b8db3fc7fe4adeafff748)) + - мікросервіс Qdrant retriever([9b658f](https://github.com/opea-project/GenAIComps/commit/9b658f4f8b83575c9acc8c9f4f24db2c0a5bf52f)) + - Оновлено сервіс milvus для dataprep і ретрівера([d7cdab](https://github.com/opea-project/GenAIComps/commit/d7cdab96744a0a1c914b9acd9a2515a29c1ed997)) + - Спеціальні аргументи архітектури для деяких контейнерів([1dd7d4](https://github.com/opea-project/GenAIComps/commit/1dd7d41b4daaa8cb567b50143c5cd4b5119d6f4b)) + - Оновлено сумісного з драйверами образу([1d4664](https://github.com/opea-project/GenAIComps/commit/1d4664bc20793e41e83d4cb10869f0072e7506f3)) + - Виправлено помилку Llama-Guard-2([6b091c](https://github.com/opea-project/GenAIComps/commit/6b091c657228fcbc14824cd672ecbae4e4d487b6)) + - Вбудовування: адаптивне визначення аргументів моделі вбудовування у mosec([f164f0](https://github.com/opea-project/GenAIComps/commit/f164f0d7768c7f2463e11679785b9c7d7e93a19c)) + - Спеціальні аргументи архітектури для langchain guardrails([5e232a](https://github.com/opea-project/GenAIComps/commit/5e232a9ac2adc8296e6503f6f7b26cc3a5ea5602)) + - Виправлено видачу вимог на встановлення для переранжування/fastrag([94e807](https://github.com/opea-project/GenAIComps/commit/94e807bbf15a9677209f8d28d0cc3251adfc75cc)) + - Оновлення для усунення попереджень при створенні Docker-файлів([3e5dd0](https://github.com/opea-project/GenAIComps/commit/3e5dd0151699880f579ffddaa76293ede06cad2a)) + - Запущено Agent component([c3f6b2](https://github.com/opea-project/GenAIComps/commit/c3f6b2ebb75f6e6995e8b39adebe73051810856f)) + - Додано шлюз FAQGen в ядро для підтримки FAQGen Example([9c90eb](https://github.com/opea-project/GenAIComps/commit/9c90ebf573621e894fa368848a79550701a338a6)) + - Prompt registry([f5a548](https://github.com/opea-project/GenAIComps/commit/f5a5489b0a42d01259f39b9016ea68429d2271e9)) + - Мікросервіс історії чату для збереження даних чату([30d95b](https://github.com/opea-project/GenAIComps/commit/30d95b73dd20e1800e684bf7417a97b4e4cdc4df)) + - Вирівняти вихід asr і вхід llm без використання оркестратора([64e042](https://github.com/opea-project/GenAIComps/commit/64e042146f4a7ea40e70a7fc5431d7f32e8ee02c)) + - Doc: додано відсутній у README.md кодовий блок([2792e2](https://github.com/opea-project/GenAIComps/commit/2792e28334760d94908aa521be1bedcec8848ad3)) + +- CI/UT + - Виправлено копію тесту ci([33f37c](https://github.com/opea-project/GenAIComps/commit/33f37cebd4bba515b21203f94af2616faade2baa)) + - Створено і внесено нові докер-образи до реєстру([80da5a](https://github.com/opea-project/GenAIComps/commit/80da5a86abafeceaf196bacc17e3922dd3173be8)) + - Оновлена збірка образу для gaudi([fe3d22](https://github.com/opea-project/GenAIComps/commit/fe3d22acabdee2fbf72ced0fae3832e7ca1fa3e4)) + - Додано guardrails ut([556030](https://github.com/opea-project/GenAIComps/commit/55603000eba4823678b3e79623186fa591a2f06f)) +GenAIEvals
+ +- Оновлено lm-eval до 0.4.3([89c825](https://github.com/opea-project/GenAIEval/commit/89c8255f3f41a545ace25c61db3160cbece3047f)) +- Додано показники токсичності / упередженості / галюцинацій([48015a](https://github.com/opea-project/GenAIEval/commit/48015a1cb0c200aa1e7929367acd68d971ae544c)) +- Підтримка стрес-тестування([59cb27](https://github.com/opea-project/GenAIEval/commit/59cb275ca870bc1ff4514a1e3b8c67ca9e48c71e)) +- Додано метрики, що пов'язані з rag([83ad9c](https://github.com/opea-project/GenAIEval/commit/83ad9c1eddde42b11be82b745f4d217af3acccfa)) +- Додано приклад китайського бенчмарку CRUD([9cc6ca](https://github.com/opea-project/GenAIEval/commit/9cc6ca611e4d00e2e6f4d441cb171896c8ab0f23)) +- Додано точність англійського бенчмарку MultiHop([8aa1e6](https://github.com/opea-project/GenAIEval/commit/8aa1e6ed81f8209db03f653f0579215d36d24af3)) +GenAIInfra
+ +- GMC + - Увімкнено збірку образів на push для gmc([f8a295](https://github.com/opea-project/GenAIInfra/commit/f8a2954a3b1557190bdf1e90271f4a110ff91fb3)) + - Переглянуто робочий процес для підтримки запуску gmc в натуральній формі([a2dc96](https://github.com/opea-project/GenAIInfra/commit/a2dc9610664025ab8447da2d9baa83226c483296)) + - Увімкнено встановлення системи GMC за допомогою push([af2d0f](https://github.com/opea-project/GenAIInfra/commit/af2d0f522c726b8c892e6c8c7b1f984737ec5c10)) + - Покращено режим перемикання для необхідного обслуговування маршрутизатора GMC([f96b0e](https://github.com/opea-project/GenAIInfra/commit/f96b0e537ff2afcfcab184aa167c07df5955045f)) + - Оптимізовано скріпти GMC e2e([27a062](https://github.com/opea-project/GenAIInfra/commit/27a0627b41402b718ec15e29d13475a1505eb726)) + - Оптимізовано простори імен додатків і виправлено помилки у тесті gmc e2e([9c97fa](https://github.com/opea-project/GenAIInfra/commit/9c97fad977450ceeae0b2c4c1bf52593ea298707)) + - Додано GMC в README([b25c0b](https://github.com/opea-project/GenAIInfra/commit/b25c0bb01e29b1cc02cd1c6c0604fc03d793e786)) + - Gmc: додана підтримка authN & authZ на фейковий токен JWT([3756cf](https://github.com/opea-project/GenAIInfra/commit/3756cf8bc0d7494562db61f8913ea51a663ce7db)) + - GMC: адаптовані нові common/маніфести([b18531](https://github.com/opea-project/GenAIInfra/commit/b185311a4ea6a799968b752d0955368a0ec9653a)) + - Додано новий приклад searchQnA як на xeon, так і на gaudi([883c8d](https://github.com/opea-project/GenAIInfra/commit/883c8da01508239354c0ba1320a57d0e64a1dec2)) + - Підтримка режиму перемикання в GMC для команди MI6([d11aeb](https://github.com/opea-project/GenAIInfra/commit/d11aebb028313c12fe4f25d9f617b061c0dda57f)) + - Додано приклад перекладу до GMC([6235a9](https://github.com/opea-project/GenAIInfra/commit/6235a9ff561f1378b10dc19a80d9fde1cc77fbc5)) + - Gmc: додана підтримка authN & authZ на keycloak([3d139b](https://github.com/opea-project/GenAIInfra/commit/3d139b53f83d44eab985e902fc8699f87a21413b)) + - GMC: підтримка нового компонента([4c5a51](https://github.com/opea-project/GenAIInfra/commit/4c5a51a0e536b7ff58ff0112cdc8310395e5d391)) + - GMC: покращено README([d57b94](https://github.com/opea-project/GenAIInfra/commit/d57b94b19c5c432bc3154bb11d2b7edcde3603a1)) + +- HelmChart + - Helm chart: змінена значення за замовчанням global.modelUseHostPath([8ffc3b](https://github.com/opea-project/GenAIInfra/commit/8ffc3bc258c816aa01a83059ef908d7a0d0d6ee4)) + - Helm chart: Додано readOnlyRootFilesystem до securityContext([9367a9](https://github.com/opea-project/GenAIInfra/commit/9367a9ce96c9e89098408e0c9078368571c38ef2)) + - Оновлено chatqna з додатковими залежностями([009c96](https://github.com/opea-project/GenAIInfra/commit/009c960a9cdb28a9a8fb22f15b470a97e53a1bdf)) + - Оновлено codegen з додатковими залежностями([d41dd2](https://github.com/opea-project/GenAIInfra/commit/d41dd27b49b733e76b2e41cc6a25bc2b2ab942eb)) + - Make endpoints configurable by user([486023](https://github.com/opea-project/GenAIInfra/commit/4860235e1774982ed5b827cbb36b4b3b8639f9fb)) + - Додано компонент підготовки даних([384931](https://github.com/opea-project/GenAIInfra/commit/384931799641c5e0faa89b080426b95ea55d1263)) + - Номер порту мікросервісу не налаштовується([fbaa6a](https://github.com/opea-project/GenAIInfra/commit/fbaa6aba1cf7d6167ffdcb465a57da05bce26b3e)) + - Додано MAX_INPUT_TOKENS до tgi([2fcbb0](https://github.com/opea-project/GenAIInfra/commit/2fcbb0d563d04ac8e21df14ecd2c9c05db72c1af)) + - Додано скрипт для генерації yaml-файлів з helm-charts([6bfe31](https://github.com/opea-project/GenAIInfra/commit/6bfe31528f6be24e5922dfcc6aea0ad18fd61869)) + - Helm: підтримка додавання додаткового env із зовнішньої конфігураційної карти([7dabdf](https://github.com/opea-project/GenAIInfra/commit/7dabdf0b378f710e41fadf1fd4ef47b69bee2326)) + - Helm: виводити конфігуровані елементи dataprep у файл значень([83fc1a](https://github.com/opea-project/GenAIInfra/commit/83fc1a0b6af09ea64466e61d742d09b03eea82c5)) + - Helm: оновлено версію до 0.8.0([b3cbde](https://github.com/opea-project/GenAIInfra/commit/b3cbde027932f530eed13393df3beae2d8e2febb)) + - Додано компоненти whisper і asr([9def61](https://github.com/opea-project/GenAIInfra/commit/9def61adc506ec61faeed1769ebaed0e3ef9ee95)) + - Додано компоненти tts і speecht5 до helm chart([9d1465](https://github.com/opea-project/GenAIInfra/commit/9d146529a2f000f169308358a3d724861078d320)) + - Оновлення скрипта для створення маніфесту комп'ютера([ab53e9](https://github.com/opea-project/GenAIInfra/commit/ab53e952965fc670694ee2ae91b76d0e34cc8bae)) + - Helm: видалено Probes, що не використовувалися([c1cff5](https://github.com/opea-project/GenAIInfra/commit/c1cff5fe3c93262b600641694929349f59b86405)) + - Helm: додано підтримку tei-gaudi([a456bf](https://github.com/opea-project/GenAIInfra/commit/a456bfb393f9428c17441ba3da1b1ad99a65d213)) + - Helm redis-vector-db: додано відсутності в файлі значень([9e15ef](https://github.com/opea-project/GenAIInfra/commit/9e15ef1c523592e58f4e1f8e2a5d0029997c13a6)) + - Helm: порожній рядок замість нуля у файлах значень([6151ac](https://github.com/opea-project/GenAIInfra/commit/6151ac7ccc53cd41e2e3ca43a5c6a7369eceaa1b)) + - Додано компонент маніфест файлів k8s([68483c](https://github.com/opea-project/GenAIInfra/commit/68483c5dbb0365fbad3b34792313d511e7ef898d)) + - Додано helm тест для chart redis-vector-db([236381](https://github.com/opea-project/GenAIInfra/commit/23638193f2819b513dbc8fb1c055cfa45b809e5a)) + - Додано helm тест для chart tgi([9b5def](https://github.com/opea-project/GenAIInfra/commit/9b5def0c26ae97a4c8a6e52a42c44917e9d79352)) + - Додано helm тест для chart tei([f5c7fa](https://github.com/opea-project/GenAIInfra/commit/f5c7fafd1bbea8f64663283e5131d8334fe4aec5)) + - Додано helm тест для chart teirerank([00532a](https://github.com/opea-project/GenAIInfra/commit/00532a51b8e1dff47e89a144814ac92627d8b01f)) + - Helm test: Зробити curl невдалим, якщо повернуто http_status > 400([92c4b5](https://github.com/opea-project/GenAIInfra/commit/92c4b5e21209caaeb288adad076e59acefaf411a)) + - Додано helm тест для chart embedding-usvc([a98561](https://github.com/opea-project/GenAIInfra/commit/a98561f9c817fa52a99742ee1ab1ac267a650d2f)) + - Додано helm тест для chart llm-uservice([f4f3ea](https://github.com/opea-project/GenAIInfra/commit/f4f3ea0e58bd09cbd45cb7267c989fa665171d21)) + - Додано helm тест для chart reranking-usvc([397208](https://github.com/opea-project/GenAIInfra/commit/397208985ba90ff71ec4eeaa0d3ca8f4187c6218)) + - Додано helm тест для chart retriever-usvc([6db408](https://github.com/opea-project/GenAIInfra/commit/6db408ab719846fe370c557ca1cc88d4cbe0fc18)) + - Helm: Підтримка автоматичного встановлення діаграм залежностей([dc90a5](https://github.com/opea-project/GenAIInfra/commit/dc90a59803fb1e7730af96b0df09ef8d0a3950ce)) + - Helm: підтримка усунення залежності helm([fbdb1d](https://github.com/opea-project/GenAIInfra/commit/fbdb1da9bb40b810eb6615685883445c1c952f29)) + - Helm: оновлення tgi chart([c3a1c1](https://github.com/opea-project/GenAIInfra/commit/c3a1c1a093f0f523ab92a8d714cb03730a8c3d3f)) + - Helm/manifest: оновлення tei config для tei-gaudi([88b3c1](https://github.com/opea-project/GenAIInfra/commit/88b3c108e5b5e3bfb6d9346ce2863b69f70cc2f1)) + - Додано CodeTrans helm chart([5b05f9](https://github.com/opea-project/GenAIInfra/commit/5b05f9572879b0d9b939f0fbd2cd1eddc07fdb05)) + - Helm: оновлення chatqna до останньго([7ff03b](https://github.com/opea-project/GenAIInfra/commit/7ff03b5593434b5571e683d52c8a22ab6764a461)) + - Додано DocSum helm chart([b56116](https://github.com/opea-project/GenAIInfra/commit/b5611662df4109fd17dcf769c1684a5e01317f56)) + - Додано підтримку docsum для helm тесту([f6354b](https://github.com/opea-project/GenAIInfra/commit/f6354b96f6ec3ac4968b4f9f1eb029762fe5e1c0)) + - Helm: оновлення codegen до останньго([419e5b](https://github.com/opea-project/GenAIInfra/commit/419e5bfc857095bbcea56747e3f4feefc6d81311)) + - Виправлення codegen helm chart readme([b4b28e](https://github.com/opea-project/GenAIInfra/commit/b4b28e98929c37dc44baaa3fd969e598b3c13836)) + - Вимкнення runAsRoot для speecht5 і whisper([aeef78](https://github.com/opea-project/GenAIInfra/commit/aeef78254ce2a85779b6ff13fb14fcdd5bb0af52)) + - Використано попередній образ тtei-gaudi([e4d3ff](https://github.com/opea-project/GenAIInfra/commit/e4d3ff6c13f210872dfc4ddc788fa735eac2b44b)) + +- Інші + - Вдосконалення тесту e2e для GenAIInfra для виправлення деяких помилок([602af5](https://github.com/opea-project/GenAIInfra/commit/602af53742900630a34a4eed9f37980483aa21b3)) + - Fix помилок для маршрутизатора при обробці відповіді від мікросервісів трубопроводу([ef47f9](https://github.com/opea-project/GenAIInfra/commit/ef47f9db525c16b54d493549b8372946988fce2a)) + - Покращено приклади e2e тесту codegen і codetrans([07494c](https://github.com/opea-project/GenAIInfra/commit/07494c0e6ba09030cc8ea464ef783c983b9d5cf7)) + - Видалено залежності загальних мікросервісів([f6dd87](https://github.com/opea-project/GenAIInfra/commit/f6dd87baf8d569db519e69661ae0d2cdd466fa69)) + - Додано скріпти для KubeRay and Ray Cluster([7d3d13](https://github.com/opea-project/GenAIInfra/commit/7d3d13f51f2cfed7be1e92f13f12ef2ff478e1f7)) + - Ввімкнуто CI для загальних компонентів([9e27a0](https://github.com/opea-project/GenAIInfra/commit/9e27a0d424cb3eacbf2cde636426e644ae739212)) + - Вимкнено загальний тест компонентів([e1cd50](https://github.com/opea-project/GenAIInfra/commit/e1cd50269eebc010bd5f5043a1b4bc8c62a53231)) + - CI для common: уникнути помилкової помилки в результатах тестування helm([876b7a](https://github.com/opea-project/GenAIInfra/commit/876b7a4142e2e1e7a25f25ac279f043c844f1687)) + - Додано вхід init для трубопроводу, щоб зберегти інформацію про параметри([e25a1f](https://github.com/opea-project/GenAIInfra/commit/e25a1f86e85c452243aacf90a67e47777caf4703)) + - Налаштовано версію CI gaudi([d75d8f](https://github.com/opea-project/GenAIInfra/commit/d75d8f2e1c356ca26fa09a2e9911de3aff87aa27)) + - Виправлено CHART_MOUNT і HFTOKEN для CI([10b908](https://github.com/opea-project/GenAIInfra/commit/10b908abf3b728c9652302efcb071bdc7f8e6426)) + - Змінено тег tgi, оскільки драйвер gaudi оновлено до версії 1.16.1 ([6796ef](https://github.com/opea-project/GenAIInfra/commit/6796ef2560645c59cdf7b09af9a2d8aa0cb0d5a5)) + - Оновлено README для нових маніфестів([ec32bf](https://github.com/opea-project/GenAIInfra/commit/ec32bf04459fdbb4c8f99ebd1bac3216ad2e5283)) + - Підтримка декількох служб маршрутизаторів в одному просторі імен([0ac732](https://github.com/opea-project/GenAIInfra/commit/0ac73213b501fb5949a5ac8bf7f52d5a4acef580)) + - Покращено умови запуску робочого процесу, щоб бути більш точними([ab5c8d](https://github.com/opea-project/GenAIInfra/commit/ab5c8d8c07d8f8353315b7ebaf1eb745bf7b28e5)) + - Видалено непотрібний компонент DocSumGaudi, який спричиняв би помилку([9b973a](https://github.com/opea-project/GenAIInfra/commit/9b973aceb25c307f2c7692c9364ebac9040b9a5d)) + - Видалено скрипти chart_test і додано скрипт до статусу дампів([88caf0](https://github.com/opea-project/GenAIInfra/commit/88caf0df947866ffe609cf60805282970f887429)) +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
diff --git a/docs-ua/release_notes/v0.9.md b/docs-ua/release_notes/v0.9.md
new file mode 100644
index 00000000..2b94fbc3
--- /dev/null
+++ b/docs-ua/release_notes/v0.9.md
@@ -0,0 +1,371 @@
+# OPEA Release Notes v0.9
+## Що нового в OPEA v0.9
+
+- Розширення функціональності
+ - Надано телеметричні функції для метрики і відстеження за допомогою Prometheus, Grafana та Jaeger
+ - Ініціалізовано два приклади агентів: AgentQnA і DocIndexRetriever
+ - Підтримка автентифікації та авторизації
+ - Додано компонент Nginx для посилення безпеки бекенда
+ - Введено мікросервіс з виявлення токсичності
+ - Підтримка експериментального мікросервісу з точного налаштування
+
+- Вдосконалення
+ - Приведено формат мікросервісу у відповідність до стандартів OpenAI (доповнення чату, доопрацювання... і т.д.)
+ - Посилено порівняльний аналіз і оцінку ефективності для прикладів GenAI, наприклад: TGI, розподіл ресурсів, ...тощо.
+ - Увімкнено підтримку запуску образів контейнерів від імені користувача, який не є root-користувачем
+ - Використано Llama-Guard-2-8B як модель Guardrails за замовчуванням, bge-large-zh-v1.5 як модель вбудовування за замовчуванням, mistral-7b-grok як модель CodeTrans за замовчуванням
+ - Додано ProductivitySuite для управління доступом і підтримки контексту користувача
+
+- Розгортання
+ - Підтримка контейнерної платформи Red Hat OpenShift (RHOCP)
+ - GenAI Microservices Connector (GMC) успішно протестовано на графічних процесорах Nvidia
+ - Додано підтримку Kubernetes для прикладів AudioQnA і VisualQnA
+
+- OPEA Docker Hub: https://hub.docker.com/u/opea
+- GitHub IO: https://opea-project.github.io/latest/index.html
+
+- Дякуємо за зовнішній внесок від [Sharan Shirodkar](https://github.com/sharanshirodkar7), [Aishwarya Ramasethu
+](https://github.com/aramasethu), [Michal Nicpon](https://github.com/michalnicp) і [Jacob Mansdorfer](https://github.com/jmansdorfer)
+
+## Докладніше
+
+GenAIExamples
+ +- ChatQnA + - Оновлено порт у set_env.sh([040d2b7](https://github.com/opea-project/GenAIExamples/commit/040d2b7)) + - Виправлено незначну проблему у README файла докеру ChatQnA Gaudi ([a5ed223](https://github.com/opea-project/GenAIExamples/commit/a5ed223)) + - Оновлено порт chatqna dataprep-redis([02a1536](https://github.com/opea-project/GenAIExamples/commit/02a1536)) + - Додано підтримку .md-файлу при завантаженні файлів у chatqna-ui([7a67298](https://github.com/opea-project/GenAIExamples/commit/7a67298)) + - Додано функцію видалення ChatQnA та оновлено відповідний README([09a3196](https://github.com/opea-project/GenAIExamples/commit/09a3196)) + - Виправлено проблему-528([45cf553](https://github.com/opea-project/GenAIExamples/commit/45cf553)) + - Виправлено помилку vLLM і vLLM-on-Ray UT([cfcac3f](https://github.com/opea-project/GenAIExamples/commit/cfcac3f)) + - Встановлено OLLAMA_MODEL env для docker container([c297155](https://github.com/opea-project/GenAIExamples/commit/c297155)) + - Оновлено захісні бар'єри шляху до файлу докера([06c4484](https://github.com/opea-project/GenAIExamples/commit/06c4484)) + - Видалено ray serve([c71bc68](https://github.com/opea-project/GenAIExamples/commit/c71bc68)) + - Вдосконалено docker_compose для параметрів dataprep([3913c7b](https://github.com/opea-project/GenAIExamples/commit/3913c7b)) + - Виправлено захісні бар'єри chatqna([db2d2bd](https://github.com/opea-project/GenAIExamples/commit/db2d2bd)) + - Підтримка трубопроводу ChatQnA без мікросервісу переранжування([a54ffd2](https://github.com/opea-project/GenAIExamples/commit/a54ffd2)) + - Оновлено кількість реплік мікросервісів для OPEA v0.9([e6b4fff](https://github.com/opea-project/GenAIExamples/commit/e6b4fff)) + - Оновлено set_env.sh([9657f7b](https://github.com/opea-project/GenAIExamples/commit/9657f7b)) + - Додано env для chatqna vllm([f78aa9e](https://github.com/opea-project/GenAIExamples/commit/f78aa9e)) + +- Розгортання + - Оновлено маніфести для v0.9([ba78b4c](https://github.com/opea-project/GenAIExamples/commit/ba78b4c)) + - Оновлено маніфест K8S для ChatQnA/CodeGen/CodeTrans/DocSum([01c1b75](https://github.com/opea-project/GenAIExamples/commit/01c1b75)) + - Оновлено маніфест бечмарку для виправлення помилок ([4fd3517](https://github.com/opea-project/GenAIExamples/commit/4fd3517)) + - Оновлено env для маніфесту([4fa37e7](https://github.com/opea-project/GenAIExamples/commit/4fa37e7)) + - Оновлено маніфести для v0.9([08f57fa](https://github.com/opea-project/GenAIExamples/commit/08f57fa)) + - Додано приклад AudioQnA через GMC([c86cf85](https://github.com/opea-project/GenAIExamples/commit/c86cf85)) + - Додано підтримку k8s для audioqna([0a6bad0](https://github.com/opea-project/GenAIExamples/commit/0a6bad0)) + - Оновлено маніфест для FaqGen([80e3e2a](https://github.com/opea-project/GenAIExamples/commit/80e3e2a)) + - Додано підтримку kubernetes для VisualQnA([4f7fc39](https://github.com/opea-project/GenAIExamples/commit/4f7fc39)) + - Додано мікросервіс dataprep до прикладу chatQnA і тест e2e([1c23d87](https://github.com/opea-project/GenAIExamples/commit/1c23d87)) + +- Документація + - [doc] Оновлено файл README.md([c73e4e0](https://github.com/opea-project/GenAIExamples/commit/c73e4e0)) + - doc fix: Оновлено README.md, щоб видалити специфічний опис параграфа-1([5a9c109](https://github.com/opea-project/GenAIExamples/commit/5a9c109)) + - doc: виправлено розмітку в файлі docker_image_list.md([9277fe6](https://github.com/opea-project/GenAIExamples/commit/9277fe6)) + - doc: виправлено розмітку в файлі Translation/README.md([d645305](https://github.com/opea-project/GenAIExamples/commit/d645305)) + - doc: виправлено розмітку в файлі SearchQnA/README.md([c461b60](https://github.com/opea-project/GenAIExamples/commit/c461b60)) + - doc: fix FaqGen/README.md markdown([704ec92](https://github.com/opea-project/GenAIExamples/commit/704ec92)) + - doc: виправлено розмітку в файлі DocSum/README.md([83712b9](https://github.com/opea-project/GenAIExamples/commit/83712b9)) + - doc: виправлено розмітку в файлі CodeTrans/README.md([076bca3](https://github.com/opea-project/GenAIExamples/commit/076bca3)) + - doc: fix CodeGen/README.md markdown([33f8329](https://github.com/opea-project/GenAIExamples/commit/33f8329)) + - doc: виправлено розмітку в файлі ChatQnA/README.md([015a2b1](https://github.com/opea-project/GenAIExamples/commit/015a2b1)) + - doc: виправлено заголовки в файлах markdown([21fab71](https://github.com/opea-project/GenAIExamples/commit/21fab71)) + - doc: пропустили H1 посеред документу([4259240](https://github.com/opea-project/GenAIExamples/commit/4259240)) + - doc: вилучено використання HTML для таблиць у README([e81e0e5](https://github.com/opea-project/GenAIExamples/commit/e81e0e5)) + - Оновлено readme ChatQnA з інструкціями OpenShift([ed48371](https://github.com/opea-project/GenAIExamples/commit/ed48371)) + - Перетворено HTML до формату markdown([14621f8](https://github.com/opea-project/GenAIExamples/commit/14621f8)) + - Виправлено опечатку {your_ip} на {host_ip}([ad8ca88](https://github.com/opea-project/GenAIExamples/commit/ad8ca88)) + - Виправлено опечатку у README-файлі ([abc02e1](https://github.com/opea-project/GenAIExamples/commit/abc02e1)) + - Виправлено помилки скрипту в MD-файлі([acdd712](https://github.com/opea-project/GenAIExamples/commit/acdd712)) + - Незначні покращення документації в CodeGen README([17b9676](https://github.com/opea-project/GenAIExamples/commit/17b9676)) + - Уточнено головний README-файл([08eb269](https://github.com/opea-project/GenAIExamples/commit/08eb269)) + - [Doc]Додано мікро/мега сервіс WorkFlow для DocSum([343d614](https://github.com/opea-project/GenAIExamples/commit/343d614)) + - Оновлено README для розгортання k8s([fbb81b6](https://github.com/opea-project/GenAIExamples/commit/fbb81b6)) + +- Інші приклади + - Очищено застарілий код VisualQnA([87617e7](https://github.com/opea-project/GenAIExamples/commit/87617e7)) + - Використання докер-образу офіційного релізу TGI для процесорів Intel([b2771ad](https://github.com/opea-project/GenAIExamples/commit/b2771ad)) + - Ддано VisualQnA UI([923cf69](https://github.com/opea-project/GenAIExamples/commit/923cf69)) + - Виправлено ім'я контейнеру([5ac77f7](https://github.com/opea-project/GenAIExamples/commit/5ac77f7)) + - Додано докер VisualQnA для обох Gaudi і Xeon використовуючи сервіс TGI ([2390920](https://github.com/opea-project/GenAIExamples/commit/2390920)) + - Видалено LangSmith для Прикладів([88eeb0d](https://github.com/opea-project/GenAIExamples/commit/88eeb0d)) + - Змінено мовну змінну, щоб вона відповідала виділенню мови([f08d411](https://github.com/opea-project/GenAIExamples/commit/f08d411)) + - Видалено застарілу папку([7dd9952](https://github.com/opea-project/GenAIExamples/commit/7dd9952)) + - Оновлено env для маніфесту([4fa37e7](https://github.com/opea-project/GenAIExamples/commit/4fa37e7)) + - Приклад AgentQnA([67df280](https://github.com/opea-project/GenAIExamples/commit/67df280)) + - Виправлено тег tgi xeon([6674832](https://github.com/opea-project/GenAIExamples/commit/6674832)) + - Додано новий приклад DocIndexRetriever([566cf93](https://github.com/opea-project/GenAIExamples/commit/566cf93)) + - Доано параметри env для тесту chatqna xeon([5d3950](https://github.com/opea-project/GenAIExamples/commit/5d3950)) + - Комбінований додаток ProductivitySuite з REACT UI і Keycloak Authen([947cbe3](https://github.com/opea-project/GenAIExamples/commit/947cbe3)) + - змінено модель tgi генератора коду([06cb308](https://github.com/opea-project/GenAIExamples/commit/06cb308)) + - змінено підказку searchqna([acbaaf8](https://github.com/opea-project/GenAIExamples/commit/acbaaf8)) + - незначне виправлення невідповідності токену hf([ac324a9](https://github.com/opea-project/GenAIExamples/commit/ac324a9)) + - виправлено переклад gaudi env([4f3be23](https://github.com/opea-project/GenAIExamples/commit/4f3be23)) + - Незначні виправлення для CodeGen Xeon і Gaudi Kubernetes codegen.yaml ([c25063f](https://github.com/opea-project/GenAIExamples/commit/c25063f)) + +- CI/CD/UT + - оновлено логічний deploy_gmc в робочому процесі cd([c016d82](https://github.com/opea-project/GenAIExamples/commit/c016d82)) + - виправлено ghcr.io/huggingface/text-generation-inference tag([503a1a9](https://github.com/opea-project/GenAIExamples/commit/503a1a9)) + - Додано GMC e2e в робочий процес CD([f45e4c6](https://github.com/opea-project/GenAIExamples/commit/f45e4c6)) + - Виправлено тест CI у проблемі з виявленням зміненого файлу([5dcadf3](https://github.com/opea-project/GenAIExamples/commit/5dcadf3)) + - оновлено ім'я робочого процесу cd([3363a37](https://github.com/opea-project/GenAIExamples/commit/3363a37)) + - Змінено теги мікросервісу в робочому процесі CD([71363a6](https://github.com/opea-project/GenAIExamples/commit/71363a6)) + - Виправлено процес ручного заморожування образів([c327972](https://github.com/opea-project/GenAIExamples/commit/c327972)) + - відкритий тест бар'єрів chatqna([db2d2bd](https://github.com/opea-project/GenAIExamples/commit/db2d2bd)) + - Додано робочий процес збирання, сканування і розгортання gmc([a39f23a](https://github.com/opea-project/GenAIExamples/commit/a39f23a)) + - Вдосконалено інфраструктури CI/CD([c26d0f6](https://github.com/opea-project/GenAIExamples/commit/c26d0f6)) + - Виправлено опечатку в робочому процесі ІГ([e12baca](https://github.com/opea-project/GenAIExamples/commit/e12baca)) + - Виправлено проблеми CI у ChatQnA Qdrant ([e71aba0](https://github.com/opea-project/GenAIExamples/commit/e71aba0)) + - видалено помилку, що продовжувалася: true, щоб зупинити тест, якщо збірка образу завершилася невдало([6296e9f](https://github.com/opea-project/GenAIExamples/commit/6296e9f)) + - Виправлено опечатки в робочому процесі CD([039014f](https://github.com/opea-project/GenAIExamples/commit/039014f)) + - Зафіксовано базові образи([c9f9aca](https://github.com/opea-project/GenAIExamples/commit/c9f9aca)) + - підтримка декількох тестових випадків для ChatQnA([939502d](https://github.com/opea-project/GenAIExamples/commit/939502d)) + - повернено дію до pull_request_target([1c07a38](https://github.com/opea-project/GenAIExamples/commit/1c07a38)) + - Додано робочий процес збору BoM і робочий процес публікації зображень([e93146b](https://github.com/opea-project/GenAIExamples/commit/e93146b)) + - Виправлено залишені помилки у рефакторі структури CI/CD([a6385bc](https://github.com/opea-project/GenAIExamples/commit/a6385bc)) + - Додавання маніфесту тесту e2e , який можна скласти, для робочого процесу cd([d68be05](https://github.com/opea-project/GenAIExamples/commit/d68be05)) + - Додано секрети для тесту CI([3c9e2aa](https://github.com/opea-project/GenAIExamples/commit/3c9e2aa)) + - Зібрано докер-образи Пробочого процесу CD([8c384e0](https://github.com/opea-project/GenAIExamples/commit/8c384e0)) + - виправлено кутову проблему в тесті CI([64bfea9](https://github.com/opea-project/GenAIExamples/commit/64bfea9)) + - Перейменувано файли робочих процесів github([ebc165a](https://github.com/opea-project/GenAIExamples/commit/ebc165a)) + - Покращено маніфест тесту chaqna([a072441](https://github.com/opea-project/GenAIExamples/commit/a072441)) + - Refactor збирає робочі процеси образів за допомогою спільного action.yml([e22d413](https://github.com/opea-project/GenAIExamples/commit/e22d413)) + - Автоматичне створення проблеми в GenAIInfra при зміні файлів docker compose([8bdb598](https://github.com/opea-project/GenAIExamples/commit/8bdb598)) + - Додано власника компонентів([ab98795](https://github.com/opea-project/GenAIExamples/commit/ab98795)) + - Виправлено попередження сканування коду([ac89855](https://github.com/opea-project/GenAIExamples/commit/ac89855)) + - Перевірка url списку докер-образів([cf021ee](https://github.com/opea-project/GenAIExamples/commit/cf021ee)) + - змінено суфікс простору імен на випадковий рядок([46af6f3](https://github.com/opea-project/GenAIExamples/commit/46af6f3)) + - маніфест chatqna k8s: Виправлено проблему із образом retriever-redis v0.9([7719755](https://github.com/opea-project/GenAIExamples/commit/7719755)) + - Додавання Trivy і SBOM дій([f3ffcd5](https://github.com/opea-project/GenAIExamples/commit/f3ffcd5)) + - оптимізувано формат журналу логів CI([dfaf479](https://github.com/opea-project/GenAIExamples/commit/dfaf479)) + +GenAIComps
+ +- Ядра + - Уточнено параметр в api_protocol.py([0584b45](https://github.com/opea-project/GenAIComps/commit/0584b45)) + - Повернено значення за замовчуванням max_new_tokens до 1024([f2497c5](https://github.com/opea-project/GenAIComps/commit/f2497c5)) + - Виправлено метод розкладу Orchestrator([76877c1](https://github.com/opea-project/GenAIComps/commit/76877c1)) + - виправлено неправильний ідентефікатор([9b0edf2](https://github.com/opea-project/GenAIComps/commit/9b0edf2)) + - Дозволено потокові вузли нижче за потоком([90e367e](https://github.com/opea-project/GenAIComps/commit/90e367e)) + - Додано шлюз пошуку в ядро для підтримки мегасервісу IndexRetrivel([56daf95](https://github.com/opea-project/GenAIComps/commit/56daf95)) + - додно документацію про телеметрію([2a2a93](https://github.com/opea-project/GenAIComps/commit/2a2a93)) + +- LLM/вбудовування/переранжування/відновлення + - Використання habana docker 1.16.1 усюди([5deb383](https://github.com/opea-project/GenAIComps/commit/5deb383)) + - додавання entrypoint.sh до faq-generation comp([4a7b8f4](https://github.com/opea-project/GenAIComps/commit/4a7b8f4)) + - Виправлено образ у docker compose yaml для використання вбудованого тегу докер-образу з README-файлу([72a2553](https://github.com/opea-project/GenAIComps/commit/72a2553)) + - Удосконалено власний мікросервіс LLM([b16b14a](https://github.com/opea-project/GenAIComps/commit/b16b14a)) + - Виправлено проблему з qdrant у Retriever([7aee7e4](https://github.com/opea-project/GenAIComps/commit/7aee7e4)) + - Змінено /root/ на /home/user/([4a67d42](https://github.com/opea-project/GenAIComps/commit/4a67d42)) + - Виправлено проблему embeddings_langchain-mosec([87905ad](https://github.com/opea-project/GenAIComps/commit/87905ad)) + - виправлено застарілість HuggingFaceEmbedding на користь HuggingFaceInferenceAPIEmbedding([2891cc6](https://github.com/opea-project/GenAIComps/commit/2891cc6)) + - вирівняно формат відповіді vllm-ray до формату відповіді tgi([ac4a777](https://github.com/opea-project/GenAIComps/commit/ac4a777)) + - створено нові образи для llms([ed99d47](https://github.com/opea-project/GenAIComps/commit/ed99d47)) + - Вхідні дані мікросервісу LLM не мають назви вхідної моделі([761f7e0](https://github.com/opea-project/GenAIComps/commit/761f7e0)) + - Виправлено скрипти збірки OpenVINO vLLM і оновлено модульний тестовий приклад([91d825c](https://github.com/opea-project/GenAIComps/commit/91d825c)) + - Уточнено інструкції для запуску прикладу retriever за допомогою qdrant([eb51018](https://github.com/opea-project/GenAIComps/commit/eb51018)) + - Додано команди для перезапуску служби ollama і додано налаштування проксі під час запуску docker([8eb8b6a](https://github.com/opea-project/GenAIComps/commit/8eb8b6a)) + - Vllm і vllm-ray виправлення помилок (додано opea для vllm, оновлено версію setuptools)([0614fc2](https://github.com/opea-project/GenAIComps/commit/0614fc2)) + - видалено застарілий імпорт langchain і перейдено на langchain-huggingface([055404a](https://github.com/opea-project/GenAIComps/commit/055404a)) + - [Enhence] Збільшено таймаут прямого включення mosec_embedding для підтримки випадків високого рівня паралелізму([b61f61b](https://github.com/opea-project/GenAIComps/commit/b61f61b)) + - Виправлено проблеми з оновленням моделі вбудовування і переранжування до bge-large-zh-v1.5([da19c5d](https://github.com/opea-project/GenAIComps/commit/da19c5d)) + - перефактовано запит/відповідь на вбудовування/ранжування/llm, посилаючись на формат openai([7287caa](https://github.com/opea-project/GenAIComps/commit/7287caa)) + - узгоджено формат виводу мікросервісу VLLM з інтерфейсом користувача([c1887ed](https://github.com/opea-project/GenAIComps/commit/c1887ed)) + - виправлено докер-команд vllm([c1a5883](https://github.com/opea-project/GenAIComps/commit/c1a5883)) + - Оновлено докер-файл Embedding Mosec для використання BAAI/bge-large-zh-v1.5([bbdc1f0](https://github.com/opea-project/GenAIComps/commit/bbdc1f0)) + - знято обмеження на довжину вбудовування([edcd1e8](https://github.com/opea-project/GenAIComps/commit/edcd1e8)) + - Support SearchedDoc input type in LLM for No Rerank Pipeline ([3c29fb4](https://github.com/opea-project/GenAIComps/commit/3c29fb4)) + - Додано local_embedding, що повертає довжину 768, для узгодження з прикладом chatqna([a234db](https://github.com/opea-project/GenAIComps/commit/a234db)) + - Покращено LLM для No Rerank([fe8ef3](https://github.com/opea-project/GenAIComps/commit/fe8ef3f)) + - Видалено надлишкові залежності з компиляторів 'vllm-ray'([068527d](https://github.com/opea-project/GenAIComps/commit/068527d)) + +- LVM/TTS/ASR + - Перероблено TTS, SpeechT5Model, щоб останній аудіофрагмент закінчувався правильним розділовим знаком([20fc8ca](https://github.com/opea-project/GenAIComps/commit/20fc8ca)) + - Підтримка llava-next за допомогою TGI([e156101](https://github.com/opea-project/GenAIComps/commit/e156101)) + - whisper: Виправно помилку збірки контейнера([d5b8cdf](https://github.com/opea-project/GenAIComps/commit/d5b8cdf)) + - підтримка довгоформової генерації whisper ([daec680](https://github.com/opea-project/GenAIComps/commit/daec680)) + - Підтримка декількох джерел зображень для мікросервісу LVM([ed776ac](https://github.com/opea-project/GenAIComps/commit/ed776ac)) + - виправлено збірку ffmpeg на hpu([ac3909d](https://github.com/opea-project/GenAIComps/commit/ac3909d)) + - Підтримка потокового виводу для мікросервісу LVM([c5a0344](https://github.com/opea-project/GenAIComps/commit/c5a0344)) + - Додано мікросервіс LVM video-llama під lvms([db8c893](https://github.com/opea-project/GenAIComps/commit/db8c893)) + - додано torchvision до вимог([1566047](https://github.com/opea-project/GenAIComps/commit/1566047)) + - Використнано базові образи Gaudi з Dockerhub([33db504](https://github.com/opea-project/GenAIComps/commit/33db504)) + - оновлено файл requirements.txt для tts і asr([5ba2561](https://github.com/opea-project/GenAIComps/commit/5ba2561)) + +- DataPrep + - Виправлено проблеми з Dataprep qdrant і додано тестовий скрипт([a851abf](https://github.com/opea-project/GenAIComps/commit/a851abf)) + - Покращено надійність Dataprep Redis([04986c1](https://github.com/opea-project/GenAIComps/commit/04986c1)) + - Вирішення помилки тестового прикладу([075e84f](https://github.com/opea-project/GenAIComps/commit/075e84f)) + - Додано підтримку Unified Port, GET/DELETE кінцевих точок у pgvector Dataprep([8a62bac](https://github.com/opea-project/GenAIComps/commit/8a62bac)) + - Оновлено модель вбудовування mosec dataprep у config.py([8f0f2b0](https://github.com/opea-project/GenAIComps/commit/8f0f2b0)) + - об'єднано порт в один мікросервіс.([f8d45e5](https://github.com/opea-project/GenAIComps/commit/f8d45e5)) + - Оновлено Pinecone в OPEA([7c9f77b](https://github.com/opea-project/GenAIComps/commit/7c9f77b)) + - Покращено Refine Dataprep Code & UT([867e9d7](https://github.com/opea-project/GenAIComps/commit/867e9d7)) + - Підтримка видалення для векторної бази даних Milvus у Dataprep([767a14c](https://github.com/opea-project/GenAIComps/commit/767a14c)) + - Redis-dataprep: Зроблено підключення Redis узгодженим([cfaf5f0](https://github.com/opea-project/GenAIComps/commit/cfaf5f0)) + - Оновлено Dataprep з налаштуванням параметрів([55b457b](https://github.com/opea-project/GenAIComps/commit/55b457b)) + - Виправлено потенційну помилку Dataprep у get_file([04ff8bf](https://github.com/opea-project/GenAIComps/commit/04ff8bf)) + - Додано залежність для обробки pdf2image та OCR processing([9397522](https://github.com/opea-project/GenAIComps/commit/9397522)) + - Виправлено проблему завантаження даних для структурованих файлів([40f1463](https://github.com/opea-project/GenAIComps/commit/40f1463)) + - Виправлено deps #568([c541d1d](https://github.com/opea-project/GenAIComps/commit/c541d1d)) + +- Інші компоненти + - Видалено 'langsmith' за перегляд коду([dcf68a0](https://github.com/opea-project/GenAIComps/commit/dcf68a0)) + - Покращено компонент Nginx([69f9895](https://github.com/opea-project/GenAIComps/commit/69f9895)) + - Додано ведення журналу для уніфікованого налагодження([fab1fbd](https://github.com/opea-project/GenAIComps/commit/fab1fbd)) + - Додано компонент Nginx для переадресації сервісів([60cc0b0](https://github.com/opea-project/GenAIComps/commit/60cc0b0)) + - Виправлено закінчення рядків на LF([fecf4ac](https://github.com/opea-project/GenAIComps/commit/fecf4ac)) + - Додано помічник API для агента([f3a8935](https://github.com/opea-project/GenAIComps/commit/f3a8935)) + - doc: прибрано використання невідомої мови виділення([5bd8bda](https://github.com/opea-project/GenAIComps/commit/5bd8bda)) + - Оновлено README.md([b271739](https://github.com/opea-project/GenAIComps/commit/b271739)) + - doc: виправлено кілька заголовків H1([77e0e7b](https://github.com/opea-project/GenAIComps/commit/77e0e7b)) + - Додано RagAgentDocGrader до agent comp([368c833](https://github.com/opea-project/GenAIComps/commit/368c833)) + - Оновлено Milvus docker-compose.yaml([d3eefea](https://github.com/opea-project/GenAIComps/commit/d3eefea)) + - prompt_registry: Уніфікація порту кінцевої точки API([27a01ee](https://github.com/opea-project/GenAIComps/commit/27a01ee)) + - Незначне оновлення заголовка SPDX([4712545](https://github.com/opea-project/GenAIComps/commit/4712545)) + - Модифікація плагіна токсичності PR ([63650d0](https://github.com/opea-project/GenAIComps/commit/63650d0)) + - Додаткові інструкції зі збірки контейнера([be4833f](https://github.com/opea-project/GenAIComps/commit/be4833f)) + - Додано залежність Uvicorn([b2e2b1a](https://github.com/opea-project/GenAIComps/commit/b2e2b1a)) + - Підтримка запуску від імені користувача Non-Root у всіх опублікованих образів контейнерів([1eaf6b7](https://github.com/opea-project/GenAIComps/commit/1eaf6b7)) + - Оновлено readme і видалено порожне readme([a61e434](https://github.com/opea-project/GenAIComps/commit/a61e434)) + - Доопрацювано README захисних бар'єрів і оновлено модель([7749ce3](https://github.com/opea-project/GenAIComps/commit/7749ce3)) + - Додано власника коду([fb0ea3d](https://github.com/opea-project/GenAIComps/commit/fb0ea3d)) + - Видалено непотрібну langsmith залежність([cc8cd70](https://github.com/opea-project/GenAIComps/commit/cc8cd70)) + - doc: додано .gitignore([d39fee9](https://github.com/opea-project/GenAIComps/commit/d39fee9)) + - Додано оцінку результатів для захисних бар'єрів([62ca5bc](https://github.com/opea-project/GenAIComps/commit/62ca5bc)) + - Додано стратегію виявлення ML до виявлення захисних бар'єрів PII([de27e6b](https://github.com/opea-project/GenAIComps/commit/de27e6b)) + - Додано функції завдання зі списку доналаштування, скасування завдання, пошук завдання доналаштування([7bbbdaf](https://github.com/opea-project/GenAIComps/commit/7bbbdaf)) + - оновлено фінішні налаштування api до формату openai([1ff81da](https://github.com/opea-project/GenAIComps/commit/1ff81da)) + - Додано компонент доопрацювання ([ad0bb7c](https://github.com/opea-project/GenAIComps/commit/ad0bb7c)) + - Додано мікросервіс виявлення токсичності([97fdf54](https://github.com/opea-project/GenAIComps/commit/97fdf54)) + - Виправлено файл readme для searchqna([66cbbf3](https://github.com/opea-project/GenAIComps/commit/66cbbf3)) + - Виправлено опечатки і додано визначення для мікросервісу виявлення токсичності([9b8798a](https://github.com/opea-project/GenAIComps/commit/9b8798a)) + +- CI/CD/UT + - Виправлено помилку збірки образу tts([8b9dcdd](https://github.com/opea-project/GenAIComps/commit/8b9dcdd)) + - Додано робочий процес CD([5dedd04](https://github.com/opea-project/GenAIComps/commit/5dedd04)) + - Виправлено проблему з виявленням зміненого файлу в тесті CI([cd83854](https://github.com/opea-project/GenAIComps/commit/cd83854)) + - додано sudo в видалення wf([1043336](https://github.com/opea-project/GenAIComps/commit/1043336)) + - адаптовано GenAIExample уточнення структури тесту([7ffaf24](https://github.com/opea-project/GenAIComps/commit/7ffaf24)) + - Зафіксовано базові образи([61dba72](https://github.com/opea-project/GenAIComps/commit/61dba72)) + - Виправлено попередження перевірки збирання образів([2b14c63](https://github.com/opea-project/GenAIComps/commit/2b14c63)) + - Модифіковано валідацію перевірки результатів.([8a6079d](https://github.com/opea-project/GenAIComps/commit/8a6079d)) + - Дії щодо виправлення вимог([2207503](https://github.com/opea-project/GenAIComps/commit/2207503)) + - Додано валідацію виявлення результату([cf15b91](https://github.com/opea-project/GenAIComps/commit/cf15b91)) + - Перевірка помилки збірки і змінінено порт 8008 на 5025/5026([5159aac](https://github.com/opea-project/GenAIComps/commit/5159aac)) + - Зафіксовано вимоги([5d9a855](https://github.com/opea-project/GenAIComps/commit/5d9a855)) + - Виправлено проблеми vllm-ray([0bd8215](https://github.com/opea-project/GenAIComps/commit/0bd8215)) + - Стандартизовано збірку образів([a56a847](https://github.com/opea-project/GenAIComps/commit/a56a847)) + - очистка локальних образів перед тестуванням([f36629a](https://github.com/opea-project/GenAIComps/commit/f36629a)) + - оновленяя файлів тестування([ab8ebc4](https://github.com/opea-project/GenAIComps/commit/ab8ebc4)) + - Виправлено помилку валідації без виходу([f46f1f3](https://github.com/opea-project/GenAIComps/commit/f46f1f3)) + - Оновлено шлях запуску CI Microservice([3ffcff4](https://github.com/opea-project/GenAIComps/commit/3ffcff4)) + - Додано приклад тесту E2E([ec4143e](https://github.com/opea-project/GenAIComps/commit/ec4143e)) + - Додано уніфіковані порти для мікросервісу історії чату([2098b91](https://github.com/opea-project/GenAIComps/commit/2098b91)) + - додано секрети для тестування([cafcf1b](https://github.com/opea-project/GenAIComps/commit/cafcf1b)) + - [tests] нормалізувано вбудовування і переранжування імені докер-образу кінцевої точки([e3f29c3](https://github.com/opea-project/GenAIComps/commit/e3f29c3)) + - виправлено asr ut на hpu([9580298](https://github.com/opea-project/GenAIComps/commit/9580298)) + - оновлено список сбірки образів([7185d6b](https://github.com/opea-project/GenAIComps/commit/7185d6b)) + - Додано перевірку шляху до докер-файлів у compose.yaml і змінено назву робочого процесу.([c45f8f0](https://github.com/opea-project/GenAIComps/commit/c45f8f0)) + - покращено збірку докер-образу([75d6bc9](https://github.com/opea-project/GenAIComps/commit/75d6bc9)) + - образ збірки рефактору зі спільним action.yml([ee5b0f6](https://github.com/opea-project/GenAIComps/commit/ee5b0f6)) + - Виправлено помилка з відсутністтю '='([eb5cc8a](https://github.com/opea-project/GenAIComps/commit/eb5cc8a)) + - виправлено зафіксований робочий процес([945b9e4](https://github.com/opea-project/GenAIComps/commit/945b9e4)) + +GenAIEvals
+ +- видалено непотрібний код([1004d5b](https://github.com/opea-project/GenAIEval/commit/1004d5b)) +- Уніфікувано інструмент бенчмарку на основі бібліотеки stresscli([71637c0](https://github.com/opea-project/GenAIEval/commit/71637c0)) +- Виправлено помилку з ідентифікатором списку запитів за межами діапазону([7b719de](https://github.com/opea-project/GenAIEval/commit/7b719de)) +- Додано скрипт бечмарку GMC chatqna([6a390da](https://github.com/opea-project/GenAIEval/commit/6a390da)) +- Додано підказки для тестових прикладів для генератора коду([ebee50c](https://github.com/opea-project/GenAIEval/commit/ebee50c)) +- doc: виправлено мову кодового блоку в README([85aef83](https://github.com/opea-project/GenAIEval/commit/85aef83)) +- Виправлено проблему з метрикою CRUD([82c1654](https://github.com/opea-project/GenAIEval/commit/82c1654)) +- Додано бенчмаркові скрипти stresscli([9998cd7](https://github.com/opea-project/GenAIEval/commit/9998cd7)) +- видалено непотрібний код([1004d5b](https://github.com/opea-project/GenAIEval/commit/1004d5b)) +- підвищено точність багатохопових наборів даних([dfc2c1e](https://github.com/opea-project/GenAIEval/commit/dfc2c1e)) +- doc: додано оптимізацію платформи Kubernetes README([7600db4](https://github.com/opea-project/GenAIEval/commit/7600db4)) +- doc: виправлено оптимізацію платформи README на основі відгуку PR#73([8c7eb1b](https://github.com/opea-project/GenAIEval/commit/8c7eb1b)) +- оновлення для faq по бенчмарку([d754a84](https://github.com/opea-project/GenAIEval/commit/d754a84)) +- підтримка e2e і статистика першого токену P90 ([b07cd12](https://github.com/opea-project/GenAIEval/commit/b07cd12)) + +GenAIInfra
+ +- GMC + - оновлено GMC e2e і документація([8a85364](https://github.com/opea-project/GenAIInfra/commit/8a85364)) + - Виправлено декілька помилок для файлів yaml GMC([112295a](https://github.com/opea-project/GenAIInfra/commit/112295a)) + - Налаштовано робочий процес CD для GMC([3d94844](https://github.com/opea-project/GenAIInfra/commit/3d94844)) + - GMC: Додано підтримку GPU для GMC([119941e](https://github.com/opea-project/GenAIInfra/commit/119941e)) + - authN-authZ: додано підтримку oauth2-проксі для автентифікації та авторизації разом з GMC([488a1ca](https://github.com/opea-project/GenAIInfra/commit/488a1ca)) + - Підтримка вихідного потоку для всього трубопроводу в маршрутизаторі GMC([c412aa3](https://github.com/opea-project/GenAIInfra/commit/c412aa3)) + - реорганізовано k8s файли маніфестів для GMC і приклади([d39b315](https://github.com/opea-project/GenAIInfra/commit/d39b315)) + - GMC: управління ресурсами([81060ab](https://github.com/opea-project/GenAIInfra/commit/81060ab)) + - Увімкнено тест встановлення helm GMC в CI([497ff61](https://github.com/opea-project/GenAIInfra/commit/497ff61)) + - Додано helm chart для розгортання самого GMC([a76c90f](https://github.com/opea-project/GenAIInfra/commit/a76c90f)) + - Додавання декількох кінцевих точок для трубопроводу GMC за допомогою gmcrouter([da4f091](https://github.com/opea-project/GenAIInfra/commit/da4f091)) + - GMC: виправлено небезпечні цитування([aa2730a](https://github.com/opea-project/GenAIInfra/commit/aa2730a)) + - fix: оновлено документацію для authN-authZ з oauth([54cd66f](https://github.com/opea-project/GenAIInfra/commit/54cd66f)) + - Посібник з усунення несправностей для валідації webhook([b47ec0c](https://github.com/opea-project/GenAIInfra/commit/b47ec0c)) + - Виправлено помилки роутера на max_new_tokens і yaml-файлі dataprep gaudi ([5735dd3](https://github.com/opea-project/GenAIInfra/commit/5735dd3)) + - Додано мікросервіс dataprep до прикладу chatQnA([d9a0271](https://github.com/opea-project/GenAIInfra/commit/d9a0271)) + - Додано підтримку HPA до ChatQnA([cab7a88](https://github.com/opea-project/GenAIInfra/commit/cab7a88)) + +- HelmChart + - Додано ручний тестовий потік e2e helm([3b5f62e](https://github.com/opea-project/GenAIInfra/commit/3b5f62e)) + - Додано скрипт для генерації маніфестів з helm charts([273cb1d](https://github.com/opea-project/GenAIInfra/commit/273cb1d)) + - ui: оновлено readme-файл для chatqna helm chart та ім'я env([a1d6d70](https://github.com/opea-project/GenAIInfra/commit/a1d6d70)) + - Оновлено readme-файл для helm chart ([656dcc6](https://github.com/opea-project/GenAIInfra/commit/656dcc6)) + - helm: fix tei/tgi/docsum([a270726](https://github.com/opea-project/GenAIInfra/commit/a270726)) + - helm: оновлено data-prep до останьго зміненого([625899b](https://github.com/opea-project/GenAIInfra/commit/625899b)) + - helm: Оновлення маніфесту для вирішення проблем, що виникають у користувачів([4319660](https://github.com/opea-project/GenAIInfra/commit/4319660)) + - helm: підтримка локального вбудовування([73b5b65](https://github.com/opea-project/GenAIInfra/commit/73b5b65)) + - ui: додано helm chart/маніфести для діалогового інтерфейсу([9dbe550](https://github.com/opea-project/GenAIInfra/commit/9dbe550)) + - helm: Додано K8S prob до retriever-usvc([af47b3c](https://github.com/opea-project/GenAIInfra/commit/af47b3c)) + - Ввімкнено секрети Google у робочому процесі helm chart e2e([7079049](https://github.com/opea-project/GenAIInfra/commit/7079049)) + - Helm/Manifest: Додано K8S probe([d3fc939](https://github.com/opea-project/GenAIInfra/commit/d3fc939)) + - Увімкнено тести helm/common в CI([fa8ef35](https://github.com/opea-project/GenAIInfra/commit/fa8ef35)) + - Helm: Додано підтримку графічного процесора Nvidia у ChatQnA([868103b](https://github.com/opea-project/GenAIInfra/commit/868103b)) + - різні зміни([b1182c4](https://github.com/opea-project/GenAIInfra/commit/b1182c4)) + - tgi: Оновлення версії tgi на xeon до latest-intel-cpu([c06bcea](https://github.com/opea-project/GenAIInfra/commit/c06bcea)) + - Виправлення опечаток у README([faa976b](https://github.com/opea-project/GenAIInfra/commit/faa976b)) + - Підтримка HF_ENDPOINT([cf28da4](https://github.com/opea-project/GenAIInfra/commit/cf28da4)) + - Встановлено model-volume default до tmp volume([b5c14cd](https://github.com/opea-project/GenAIInfra/commit/b5c14cd)) + - Ввімкнути використання PV як каталогу кешу моделі([c0d2ba6](https://github.com/opea-project/GenAIInfra/commit/c0d2ba6)) + - Додано ручний потік тесту e2e на helm ([3b5f62e](https://github.com/opea-project/GenAIInfra/commit/3b5f62e)) + - helm/manifest: Оновлення до версії v0.9([182183e](https://github.com/opea-project/GenAIInfra/commit/182183e)) + +- Інші + - Перейменовано робочі процеси, щоб їх було легше читати([cb31d05](https://github.com/opea-project/GenAIInfra/commit/cb31d05)) + - Додно ручне завдання для заморожування тегів образів і версій після заморожування коду([c0f5e2f](https://github.com/opea-project/GenAIInfra/commit/c0f5e2f)) + - tgi: повернуто версію xeon до 2.2.0([076e81e](https://github.com/opea-project/GenAIInfra/commit/076e81e)) + - Ініціовано коміт для Intel Gaudi Base Operator([c2a13d1](https://github.com/opea-project/GenAIInfra/commit/c2a13d1)) + - Додано приклад AudioQnA і тест e2e([1b50b73](https://github.com/opea-project/GenAIInfra/commit/1b50b73)) + - Реорганізовано і перейменовано робочі процеси CI, щоб відповідати правилам([2bf648c](https://github.com/opea-project/GenAIInfra/commit/2bf648c)) + - Виправлено помилки у робочому процесі ci([779e526](https://github.com/opea-project/GenAIInfra/commit/779e526)) + - Додано тест e2e для chatqna з увімкненим режимом перемикання([7b20273](https://github.com/opea-project/GenAIInfra/commit/7b20273)) + - Валідація реалізації webhook([df5f6f3](https://github.com/opea-project/GenAIInfra/commit/df5f6f3)) + - Покращено процес створення образів вручну([e983c32](https://github.com/opea-project/GenAIInfra/commit/e983c32)) + - Додано процес побудови образу за ручною подією([833dcec](https://github.com/opea-project/GenAIInfra/commit/833dcec)) + - CI: змінено chart e2e для підтримки заміни тегів([739788a](https://github.com/opea-project/GenAIInfra/commit/739788a)) + - Додано тест e2e для chatQnA з мікросервісом dataprep([c1fd27f](https://github.com/opea-project/GenAIInfra/commit/c1fd27f)) + - Виправлено помилку chart робочого процесу e2e([86dd739](https://github.com/opea-project/GenAIInfra/commit/86dd739)) + - Вдосконалено робочий процес тестування e2e та сценарії chart([70205e5](https://github.com/opea-project/GenAIInfra/commit/70205e5)) + - Перейменовано робочі процеси, щоб їх було легше читати([cb31d05](https://github.com/opea-project/GenAIInfra/commit/cb31d05)) + - Виправлено тег образу TGI для платформи NV([629033b](https://github.com/opea-project/GenAIInfra/commit/629033b)) + - authN-authZ: змінено папку і підтримку розділення([0c39b7b](https://github.com/opea-project/GenAIInfra/commit/0c39b7b)) + - виправлено помилки ручного робочого процесу helm([bd46dfd](https://github.com/opea-project/GenAIInfra/commit/bd46dfd)) + - оновлено робочий процес ручного заморожування тегів([c565909](https://github.com/opea-project/GenAIInfra/commit/c565909)) + - Оновлено README([9480afc](https://github.com/opea-project/GenAIInfra/commit/9480afc)) + - покращено робочі процеси cd і додано релізний документ([a4398b0](https://github.com/opea-project/GenAIInfra/commit/a4398b0)) + - Додано документацію і скрипти для підтримки платформи NVIDIA([cad2fc3](https://github.com/opea-project/GenAIInfra/commit/cad2fc3)) + +GenAIExamples
+ +- Розгортання + - Додано підтримку ui/nginx у маніфесті K8S для ChatQnA/CodeGen/CodeTrans/Docsum([ba94e01](https://github.com/opea-project/GenAIExamples/commit/ba94e01)) + - K8S manifest: Оновлено ChatQnA/CodeGen/CodeTrans/DocSum([0629696](https://github.com/opea-project/GenAIExamples/commit/0629696)) + - Оновлення шляху монтування в xeon k8s([2a6af64](https://github.com/opea-project/GenAIExamples/commit/2a6af64)) + - Додано маніфест Nginx - k8s в CodeTrans([6a679ba](https://github.com/opea-project/GenAIExamples/commit/6a679ba)) + - Додано Nginx - докер в CodeTrans([cc84847](https://github.com/opea-project/GenAIExamples/commit/cc84847)) + - переглянуті інші зміни в докері, що стосуються компонування файлів([4b0bc26](https://github.com/opea-project/GenAIExamples/commit/4b0bc26)) + - Додано маніфест chatQnA UI([758d236](https://github.com/opea-project/GenAIExamples/commit/758d236)) + - Повернуто модель LLM для GMS в kubernetes([f5f1e32](https://github.com/opea-project/GenAIExamples/commit/f5f1e32)) + - [ChatQnA] Оновлено маніфести retrieval & dataprep([6730b24](https://github.com/opea-project/GenAIExamples/commit/6730b24)) + - [ChatQnA]Оновлено маніфести([3563f5d](https://github.com/opea-project/GenAIExamples/commit/3563f5d)) + - [ChatQnA] Оновлення маніфестів бенчмаркінгу([36fb9a9](https://github.com/opea-project/GenAIExamples/commit/36fb9a9)) + - [ChatQnA] udate OOB & Tuned маніфести([ac34860](https://github.com/opea-project/GenAIExamples/commit/ac34860)) + - Додано nginx і UI до маніфесту ChatQnA([05f9828](https://github.com/opea-project/GenAIExamples/commit/05f9828)) + - [ChatQnA] Оновлено OOB з маніфестами обгорток([933c3d3](https://github.com/opea-project/GenAIExamples/commit/933c3d3)) + - [Translation] Підтримка маніфестів і nginx([1e13031](https://github.com/opea-project/GenAIExamples/commit/1e13031)) + - оновлено маніфест бенчмарку V1.0([e5affb9](https://github.com/opea-project/GenAIExamples/commit/e5affb9)) + - оновлено назву образу([e2a74f7](https://github.com/opea-project/GenAIExamples/commit/e2a74f7)) + - K8S manifest: Онлвлено ChatQnA/CodeGen/CodeTrans/DocSum([0629696](https://github.com/opea-project/GenAIExamples/commit/0629696)) + - Змінено шлях до мегасервісу відповідно до нової файлової структури([5ab27b6](https://github.com/opea-project/GenAIExamples/commit/5ab27b6)) + - Додано ui/nginx підтримку в маніфесті K8S для ChatQnA/CodeGen/CodeTrans/Docsum([ba94e01](https://github.com/opea-project/GenAIExamples/commit/ba94e01)) + - Yaml: додано коментарі, щоб вказати ідентифікатори пристроїв gaudi([63406dc](https://github.com/opea-project/GenAIExamples/commit/63406dc)) + - додано встановлення tgi bf16 на CPU k8s.([ba17031](https://github.com/opea-project/GenAIExamples/commit/ba17031)) + +- Документація + - [ChatQnA] Оновлено README для ModelScope([aebc23f](https://github.com/opea-project/GenAIExamples/commit/aebc23f)) + - Оновлено README.md([4bd7841](https://github.com/opea-project/GenAIExamples/commit/4bd7841)) + - [ChatQnA] Оновлено README для трубопроводу без реранжування([6b617d6](https://github.com/opea-project/GenAIExamples/commit/6b617d6)) + - [ChatQnA] Оновлено README бенчмарку для з/без переранжування([4a51874](https://github.com/opea-project/GenAIExamples/commit/4a51874)) + - Виправлено readme для nv gpu([43b2ae5](https://github.com/opea-project/GenAIExamples/commit/43b2ae5)) + - [ChatQnA] новлено README бенчмарку щоб виправити довжину вхідних даних([55d287d](https://github.com/opea-project/GenAIExamples/commit/55d287d)) + - Вдосконалено ChatQnA README для TGI([afc3341](https://github.com/opea-project/GenAIExamples/commit/afc3341)) + - Додано модель за замовчуванням для VisualQnA README([07baa8f](https://github.com/opea-project/GenAIExamples/commit/07baa8f)) + - Оновлено readme для маніфестів деяких прикладів([adb157f](https://github.com/opea-project/GenAIExamples/commit/adb157f)) + - doc: використовувати таблицю markdown у supported_examples([9cf1d88](https://github.com/opea-project/GenAIExamples/commit/9cf1d88)) + - doc: видалено невірну мову блоку коду([c6d811a](https://github.com/opea-project/GenAIExamples/commit/c6d811a)) + - додано AudioQnA readme з моделями, що підтримуються([f4f4da2](https://github.com/opea-project/GenAIExamples/commit/f4f4da2)) + - додано більше власників коду([7f89797](https://github.com/opea-project/GenAIExamples/commit/7f89797)) + - doc: виправлено заголовки([7a0fca7](https://github.com/opea-project/GenAIExamples/commit/7a0fca7)) + - [Codegen] Доопрацювано readme, щоб підказати користувачам, як змінити модель.([814164d](https://github.com/opea-project/GenAIExamples/commit/814164d)) + - Оновлено README.md і видалено деякі дані з відкритим кодом([2ef83fc](https://github.com/opea-project/GenAIExamples/commit/2ef83fc)) + - Додано шаблон проблеми([84a781a](https://github.com/opea-project/GenAIExamples/commit/84a781a)) + - doc: виправлено заголовки та відступи([67394b8](https://github.com/opea-project/GenAIExamples/commit/67394b8)) + - Додано модель за замовчуванням у readme для FaqGen і DocSum([d487093](https://github.com/opea-project/GenAIExamples/commit/d487093)) + - Змінено документацію до kubernetes для команд curl у README([4133757](https://github.com/opea-project/GenAIExamples/commit/4133757)) + - Оновлено дані випуску v0.9 RAG([947936e](https://github.com/opea-project/GenAIExamples/commit/947936e)) + - Пояснено модель за замовчуванням у README'ах ChatQnA і CodeTrans([2a2ff45](https://github.com/opea-project/GenAIExamples/commit/2a2ff45)) + - Оновлено список докер-образів([a8244c4](https://github.com/opea-project/GenAIExamples/commit/a8244c4)) + - перероблено налаштування мережевого порту для AWS([bc81770](https://github.com/opea-project/GenAIExamples/commit/bc81770)) + - Add validate microservice details link([bd811bd](https://github.com/opea-project/GenAIExamples/commit/bd811bd)) + - [ChatQnA] Додано Nginx в Docker Compose і README([6c36448](https://github.com/opea-project/GenAIExamples/commit/6c36448)) + - [Doc] Оновлено CodeGen і Translation READMEs([a09395e](https://github.com/opea-project/GenAIExamples/commit/a09395e)) + - [Doc] Покращено READMEs([372d78c](https://github.com/opea-project/GenAIExamples/commit/372d78c)) + - Видалено маркетингові матеріали([d85ec09](https://github.com/opea-project/GenAIExamples/commit/d85ec09)) + - doc PR на головну замість v1.0r([dc94026](https://github.com/opea-project/GenAIExamples/commit/dc94026)) + - Оновлено README.md для Multiplatforms([b205dc7](https://github.com/opea-project/GenAIExamples/commit/b205dc7)) + - Вдосконалено швидкий запуск ChatQnA([3b70fb0](https://github.com/opea-project/GenAIExamples/commit/3b70fb0)) + - Оновлено supported_examples([96d5cd9](https://github.com/opea-project/GenAIExamples/commit/96d5cd9)) + - [Doc] покращення документації([e0b3b57](https://github.com/opea-project/GenAIExamples/commit/e0b3b57)) + - Виправлено помилки README([bceacdc](https://github.com/opea-project/GenAIExamples/commit/bceacdc)) + - doc: виправлео непрацююче посилання на зображення і розмітку([d422929](https://github.com/opea-project/GenAIExamples/commit/d422929)) + - doc: дадено документу змістовну назву([a3fa0d6](https://github.com/opea-project/GenAIExamples/commit/a3fa0d6)) + - doc: Виправлено невірний readme для reorg([d2bab99](https://github.com/opea-project/GenAIExamples/commit/d2bab99)) + - doc: виправлено неправильний шлях до файлів зображень png ([d97882e](https://github.com/opea-project/GenAIExamples/commit/d97882e)) + - оновлено документ відповідно до коментарів([f990f79](https://github.com/opea-project/GenAIExamples/commit/f990f79)) + - Update README with new examples([2d28beb](https://github.com/opea-project/GenAIExamples/commit/2d28beb)) + - README: виправлено непрацюючі посилання([ff6f841](https://github.com/opea-project/GenAIExamples/commit/ff6f841)) + - Оновлено README.md файлами pdf([87e51d5](https://github.com/opea-project/GenAIExamples/commit/87e51d5)) + - Додано таблицю з переліком портів, кінцевих точок, фреймворків, моделей, сервісів і апаратного забезпечення для кожного мікросервісу в ChatQnA([1a934af](https://github.com/opea-project/GenAIExamples/commit/1a934af)) + - Оновлено документ SearchQnA і файл compose.yaml([5c67204](https://github.com/opea-project/GenAIExamples/commit/5c67204)) + - Оновлено недійсні посилання([7b2194f](https://github.com/opea-project/GenAIExamples/commit/7b2194f)) + - AgentQnA: Fix erroneous link in the README([1144fae](https://github.com/opea-project/GenAIExamples/commit/1144fae)) + - Виправлено посилання на Xeon відповідно до його торгової марки([e1b8ce0](https://github.com/opea-project/GenAIExamples/commit/e1b8ce0)) + - Введено метод get у файл nke-10k-2023.pdf([a2745b2](https://github.com/opea-project/GenAIExamples/commit/a2745b2)) + - прийнято технічний стиль написання текстів([558ea3b](https://github.com/opea-project/GenAIExamples/commit/558ea3b)) + - Покращено чат ChatQnA відповідно до відгуків([375ea7a](https://github.com/opea-project/GenAIExamples/commit/375ea7a)) + - Виправлено значення змінної BACKEND_SERVICE_ENDPOINT в інструкціях VideoQnA([79e947e](https://github.com/opea-project/GenAIExamples/commit/79e947e)) + - [Doc] Покращено ChatQnA README([7eaab93](https://github.com/opea-project/GenAIExamples/commit/7eaab93)) + +- Функціональність і виправлення помилок + - Виправлено помилку рефактору([7c13f2c](https://github.com/opea-project/GenAIExamples/commit/7c13f2c)) + - Введено метод get до файлу nke-10k-2023.pdf([a2745b2](https://github.com/opea-project/GenAIExamples/commit/a2745b2)) + - Інтегрувано бекенд visualQnA([fa12083](https://github.com/opea-project/GenAIExamples/commit/fa12083)) + - Включено nginx для VisualQnA([def19b4](https://github.com/opea-project/GenAIExamples/commit/def19b4)) + - Додано Налаштування й Оновлення системи Опція підказки([1d1e1f9](https://github.com/opea-project/GenAIExamples/commit/1d1e1f9)) + - Папка рефакторингу для підтримки різних постачальників([d73129c](https://github.com/opea-project/GenAIExamples/commit/d73129c)) + - Додано приклад налаштування переранжування([71857f5](https://github.com/opea-project/GenAIExamples/commit/71857f5)) + - видалено журнали для бенчмарку([e0bc5f2](https://github.com/opea-project/GenAIExamples/commit/e0bc5f2)) + - оновлено збірку образів для 2 нових прикладів([0869029](https://github.com/opea-project/GenAIExamples/commit/0869029)) + - Виправлено вміст збірки образів comps/nginx([22d066a](https://github.com/opea-project/GenAIExamples/commit/22d066a)) + - react-ui: Додано підтримку відображення китайської мови([8c40204](https://github.com/opea-project/GenAIExamples/commit/8c40204)) + - [VisualQnA] Оновлено compose.yaml для виправлення проблеми з URL кінцевої точки в інтерфейсі користувача([fbaa024](https://github.com/opea-project/GenAIExamples/commit/fbaa024)) + - Додано визначення мегасервісу без обгорток мікросервісів([ebe6b47](https://github.com/opea-project/GenAIExamples/commit/ebe6b47)) + - Додано приклад налаштування інструкції([4c78f8c](https://github.com/opea-project/GenAIExamples/commit/4c78f8c)) + - виправлено ім'я токену([1e47444](https://github.com/opea-project/GenAIExamples/commit/1e47444)) + - Змінено обробку виявлених попереджень на лише підказки([e6f5d13](https://github.com/opea-project/GenAIExamples/commit/e6f5d13)) + - Завжди завантажуйте артефакти сканування([6f3e54a](https://github.com/opea-project/GenAIExamples/commit/6f3e54a)) + - Оновлено ChatQnA env ([32afb65](https://github.com/opea-project/GenAIExamples/commit/32afb65)) + - Yinghu5 patch 1([beda609](https://github.com/opea-project/GenAIExamples/commit/beda609)) + - Оновлено команду запуску ollama([10c81f1](https://github.com/opea-project/GenAIExamples/commit/10c81f1)) + - тег щотижневого оновлення образів([035f39f](https://github.com/opea-project/GenAIExamples/commit/035f39f)) + - Виправлено конфлікт портів у llava-tgi-service у VisualQnA([993688a](https://github.com/opea-project/GenAIExamples/commit/993688a)) + - Видалено 'vim' з усіх файлів Docker([1874dfd](https://github.com/opea-project/GenAIExamples/commit/1874dfd)) + - посилено дію публікації образу([5fde666](https://github.com/opea-project/GenAIExamples/commit/5fde666)) + - Оновлено порт в set_env.sh для кінцевої точки TGI([e5ec38c](https://github.com/opea-project/GenAIExamples/commit/e5ec38c)) + - переміщено скрипти оцінки([f04f061](https://github.com/opea-project/GenAIExamples/commit/f04f061)) + - Обробка неконтрольованого шляху даних для версії MultimodalQnA v1.0([872e93e](https://github.com/opea-project/GenAIExamples/commit/872e93e)) + - Вирівняно параметри для "max_token, repetition_penalty,presence_penalty,frequency_penalty"([2f03a3a](https://github.com/opea-project/GenAIExamples/commit/2f03a3a)) + - Видалено непотрібні папки([88829c9](https://github.com/opea-project/GenAIExamples/commit/88829c9)) + - виправлено помилку шляху для reorg([264759d](https://github.com/opea-project/GenAIExamples/commit/264759d)) + - виправлено помилку reorg([504228e](https://github.com/opea-project/GenAIExamples/commit/504228e)) + - Додано гіперпосиланя валідації шляхів зображень([0611707](https://github.com/opea-project/GenAIExamples/commit/0611707)) + - Додано приклад gaudi для налаштування моделі переранжування([edcc50f](https://github.com/opea-project/GenAIExamples/commit/edcc50f)) + - Додано VideoRAGQnA як приклад використаання MMRAG в Example([2dd69dc](https://github.com/opea-project/GenAIExamples/commit/2dd69dc)) + - Агент example для версії v1.0([262a6f6](https://github.com/opea-project/GenAIExamples/commit/262a6f6)) + - Виправлено проблеми з інструкціями VisualQnA([bc4bbfa](https://github.com/opea-project/GenAIExamples/commit/bc4bbfa)) + - Зроблено реакцію ui cogen на використання часу виконання змінних середовища([b84c989](https://github.com/opea-project/GenAIExamples/commit/b84c989)) + - додано збірку образів для нових прикладів([3f2e7b7](https://github.com/opea-project/GenAIExamples/commit/3f2e7b7)) + - виправлено проблему побудови образу при push([88fde62](https://github.com/opea-project/GenAIExamples/commit/88fde62)) + - [ChatQnA] Add no_wrapper benchmarking and update legacy manifests([06696c8](https://github.com/opea-project/GenAIExamples/commit/06696c8)) + - Додано imagePrompt для відображення підказки до зображення за замовчуванням([e48532e](https://github.com/opea-project/GenAIExamples/commit/e48532e)) + - BUGFIX: перейменовано videoragqna в videoqna для узгодження з іншими прикладами([e102291](https://github.com/opea-project/GenAIExamples/commit/e102291)) + - Виправлено проблему з обмеженням мегасервісу при високій паралельності([4112fd0](https://github.com/opea-project/GenAIExamples/commit/4112fd0)) + +- CI/CD/UT + - Додано нові тестові приклади для VisualQnA([995a62c](https://github.com/opea-project/GenAIExamples/commit/995a62c)) + - Покращення докер-образів робочого процесу cd([675ea4a](https://github.com/opea-project/GenAIExamples/commit/675ea4a)) + - оптимізовано сканування зображень у робочому процесі cd([dba908a](https://github.com/opea-project/GenAIExamples/commit/dba908a)) + - Вдосконалено вивід результатів сканування коду і видалено файл opea_release_data.md([21e215c](https://github.com/opea-project/GenAIExamples/commit/21e215c)) + - Виправлено інші проблеми репозиторію([412a0b0](https://github.com/opea-project/GenAIExamples/commit/412a0b0)) + - [DocIndexRetriever] Додано тест xeon і виправлено тест gaudi([62dbb6d](https://github.com/opea-project/GenAIExamples/commit/62dbb6d)) + - переглянуто більше змін у файлах docker compose([4b0bc26](https://github.com/opea-project/GenAIExamples/commit/4b0bc26)) + - виправлено опечатку у тестовому скрипті в AgentQnA([10fe3c6](https://github.com/opea-project/GenAIExamples/commit/10fe3c6)) + - Виправлено тести InstructionTuning і RerankFinetuning([be8e283](https://github.com/opea-project/GenAIExamples/commit/be8e283)) + - Виправлено проблеми([0bb0abb](https://github.com/opea-project/GenAIExamples/commit/0bb0abb)) + - print image build test commit([3ce3955](https://github.com/opea-project/GenAIExamples/commit/3ce3955)) + - Виправлено помилки у тесті SearchQnA([daf2a4f](https://github.com/opea-project/GenAIExamples/commit/daf2a4f)) + - [ProductivitySuite] Виправлено проблеми CD([d55a33d](https://github.com/opea-project/GenAIExamples/commit/d55a33d)) + +GenAIComps
+ +- Ядра + - Оптимізовано мегапотік, видаливши обгортку мікросервісів([0bb69ac](https://github.com/opea-project/GenAIComps/commit/0bb69ac)) + - Виправлено захісні бар'єри логіки обробки для розриву рядка і цитати([e38ed6d](https://github.com/opea-project/GenAIComps/commit/e38ed6d)) + - виправлено невідповідність формату відповіді з/без потоковими захисними бар'єрами([b6c0785](https://github.com/opea-project/GenAIComps/commit/b6c0785)) + +- Доопрацювання / попередня підготовка + - Додано доопрацьований посібник з розгортання моделі у readme([2931147](https://github.com/opea-project/GenAIComps/commit/2931147)) + - Додано підтримку попередньої підготовки LLM([58e9972](https://github.com/opea-project/GenAIComps/commit/58e9972)) + - оновлення контейнерів для доопрацювання композиту([f4d123c](https://github.com/opea-project/GenAIComps/commit/f4d123c)) + - увімкнено налаштування вбудовування([7e1a2e5](https://github.com/opea-project/GenAIComps/commit/7e1a2e5)) + - оноввлено документацію з налаштування([7d2cd6b](https://github.com/opea-project/GenAIComps/commit/7d2cd6b)) + - Підтримка налаштування моделі переранжування([7d9265f](https://github.com/opea-project/GenAIComps/commit/7d9265f)) + - вилучено Оновлення формату контрольних точок([8369fbf](https://github.com/opea-project/GenAIComps/commit/8369fbf)) + - Обмеження в налаштуваннях моделей([a924579](https://github.com/opea-project/GenAIComps/commit/a924579)) + - оновлено формат завантаження_навчальних_файлів([3367b76](https://github.com/opea-project/GenAIComps/commit/3367b76)) + - доопрацювано код логування([5b3053f](https://github.com/opea-project/GenAIComps/commit/5b3053f)) + - Додано доопрацьований посібник з розгортання моделі у readme([2931147](https://github.com/opea-project/GenAIComps/commit/2931147)) + +- LVM/Video RAG + - Виправлено проблему коду lvms videl-llama([38abaab](https://github.com/opea-project/GenAIComps/commit/38abaab)) + - Виправлено проблему з потоковою передачею LVM([fb4b8d2](https://github.com/opea-project/GenAIComps/commit/fb4b8d2)) + - Додавання схеми до ініціалізації Redis і покращення LVM-TGI для мультимодального мікросервісу Retriever([23cc3ea](https://github.com/opea-project/GenAIComps/commit/23cc3ea)) + - Оновлено ретривери і lvm для мультимодальних rag на відео([1513998](https://github.com/opea-project/GenAIComps/commit/1513998)) + - BUG FIX: LVM security fix([3e548f3](https://github.com/opea-project/GenAIComps/commit/3e548f3)) + - Додано підтримку Megaservice для випадку використання MMRAG VideoRAGQnA([2c48bc8](https://github.com/opea-project/GenAIComps/commit/2c48bc8)) + - Додано локальний мікросервіс Rerank для VideoRAGQnA([5fb4a38](https://github.com/opea-project/GenAIComps/commit/5fb4a38)) + - Додано підтримку Megaservice для MMRAG - MultimodalRAGQnAWithVideos випадку використання([99be1bd](https://github.com/opea-project/GenAIComps/commit/99be1bd)) + - Виправлення у PR 496 для додавання функції format_video_name([54aa943](https://github.com/opea-project/GenAIComps/commit/54aa943)) + - Компонент Prediction Guard LVM([1249c4f](https://github.com/opea-project/GenAIComps/commit/1249c4f)) + - Виправлено побудову образів компонентів vLLM([161c338](https://github.com/opea-project/GenAIComps/commit/161c338)) + +- LLM/Rerank/Retrieval + - Виправлено помилку потоку vllm llamaindex([ca94c60](https://github.com/opea-project/GenAIComps/commit/ca94c60)) + - Підтримка індексу Llama для llms native([2e41dcf](https://github.com/opea-project/GenAIComps/commit/2e41dcf)) + - Компонент Prediction Guard LLM([391c4a5](https://github.com/opea-project/GenAIComps/commit/391c4a5)) + - оновлено vllm до останньої версії для hpu([599a58f](https://github.com/opea-project/GenAIComps/commit/599a58f)) + - Вирівнено параметри для "max_token, repetition_penalty,presence_penalty,frequency_penalty"([3a31295](https://github.com/opea-project/GenAIComps/commit/3a31295)) + - оптимізувано переранжування з бекенд рефом([d76751a](https://github.com/opea-project/GenAIComps/commit/d76751a)) + - додано мікросервіс VDMS retriever для v0.9 Milestone([445c9b1](https://github.com/opea-project/GenAIComps/commit/445c9b1)) + - Виправлено помилку Retriever README([1d761fa](https://github.com/opea-project/GenAIComps/commit/1d761fa)) + - unify default reranking model with BAAI/bge-reranker-base([48d4e53](https://github.com/opea-project/GenAIComps/commit/48d4e53)) + - Виправлено проблеми оновлення Ollama langchain([8adbcce](https://github.com/opea-project/GenAIComps/commit/8adbcce)) + - vllm langchain: Додано документ Retriever Support([0f2c2b1](https://github.com/opea-project/GenAIComps/commit/0f2c2b1)) + - Підтримка індексу Llama для vLLM([8e3f553](https://github.com/opea-project/GenAIComps/commit/8e3f553)) + - Зміни в comps/llms/text-generation/README([18092f3](https://github.com/opea-project/GenAIComps/commit/18092f3)) + - Виправлено проблеми безпеки([a672569](https://github.com/opea-project/GenAIComps/commit/a672569)) + +- DataPrep/vector stores + - Виправлено помилку завантаження json-файлу([2fbce3e](https://github.com/opea-project/GenAIComps/commit/2fbce3e)) + - Виправлено помилку завантаження json-файлу([89197e5](https://github.com/opea-project/GenAIComps/commit/89197e5)) + - Виправлено сторінку вибірки dataprep([01886fe](https://github.com/opea-project/GenAIComps/commit/01886fe)) + - Мультимодальний dataprep([6d4b668](https://github.com/opea-project/GenAIComps/commit/6d4b668)) + - Покращено Dataprep Milvus MS([7686cfa](https://github.com/opea-project/GenAIComps/commit/7686cfa)) + - dataprep: Виправлено помилку при завантаженні docx зі вставленим зображенням([b873cf8](https://github.com/opea-project/GenAIComps/commit/b873cf8)) + - додано: Сховище векторів шляхів і ретрівер як компонент LangChain([2c2322e](https://github.com/opea-project/GenAIComps/commit/2c2322e)) + - додавання lancedb до векторних магазинів langchain([2360e5a](https://github.com/opea-project/GenAIComps/commit/2360e5a)) + - додано підтримку dataprep для моделей на основі CLIP для прикладу VideoRAGQnA у версії 1.0([f84d91a](https://github.com/opea-project/GenAIComps/commit/f84d91a)) + +- Інші компоненти + - Виправлено помилку з кодом визначення наміру([4c0f527](https://github.com/opea-project/GenAIComps/commit/4c0f527)) + - Очищено деякі непотрібні скрипти та команди Docker-файлу.([824a7e2](https://github.com/opea-project/GenAIComps/commit/824a7e2)) + - Оновлено власників коду([5537b7f](https://github.com/opea-project/GenAIComps/commit/5537b7f)) + - doc: виправлено рівні заголовків у змісті markdown([a8a46bc](https://github.com/opea-project/GenAIComps/commit/a8a46bc)) + - [Reorg] Папка Reorg для підтримки різних постачальників([bea9bb0](https://github.com/opea-project/GenAIComps/commit/bea9bb0)) + - уніфікувано модель переранжування за замовчуванням з BAAI/bge-reranker-base([48d4e53](https://github.com/opea-project/GenAIComps/commit/48d4e53)) + - feedback_management: Видалено 'vim' з докер-файлу([b2e64d2](https://github.com/opea-project/GenAIComps/commit/b2e64d2)) + - переключено на використання висхідного 'tgi-gaudi' на HuggingFace([90cc44f](https://github.com/opea-project/GenAIComps/commit/90cc44f)) + - Використано Pip '--no-cache-dir' зі всіма Dockerfiles([f1f866f](https://github.com/opea-project/GenAIComps/commit/f1f866f)) + - Змінено тег зображення([2093558](https://github.com/opea-project/GenAIComps/commit/2093558)) + - додано власників коду([0379aeb](https://github.com/opea-project/GenAIComps/commit/0379aeb)) + - Вилучено ревізію для вбудовування TEI([d609071](https://github.com/opea-project/GenAIComps/commit/d609071)) + - BUGFIX: виправлено SearchedMultimodalDoc в docarray([ed44b44](https://github.com/opea-project/GenAIComps/commit/ed44b44)) + - Компонент мікросервісу управління зворотним зв'язком([72123b2](https://github.com/opea-project/GenAIComps/commit/72123b2)) + - підвищено версію до v1.0([9a1af76](https://github.com/opea-project/GenAIComps/commit/9a1af76)) + - Додано Scan Container([0d49244](https://github.com/opea-project/GenAIComps/commit/0d49244)) + - Видалено 'vim' зі всіх докер-файлів([25174c0](https://github.com/opea-project/GenAIComps/commit/25174c0)) + - Оновлено збірку образів yaml([b541fd8](https://github.com/opea-project/GenAIComps/commit/b541fd8)) + - ollama: Оновлено проксі curl([f510b69](https://github.com/opea-project/GenAIComps/commit/f510b69)) + - час виконання вбудовування на NeuralSpeed([0292355](https://github.com/opea-project/GenAIComps/commit/0292355)) + - додано мікросервіс для виявлення намірів([84a7e57](https://github.com/opea-project/GenAIComps/commit/84a7e57)) + - Update README.md for Multiplatforms([ef90fbb](https://github.com/opea-project/GenAIComps/commit/ef90fbb)) + - doc: виправлено рівні заголовків([f8f8854](https://github.com/opea-project/GenAIComps/commit/f8f8854)) + - Компонент вбудовування Prediction Guard([191061b](https://github.com/opea-project/GenAIComps/commit/191061b)) + - [ChatQnA] Підтримка K8S Python Client для експорту маніфестів ChatQnA E2E([af4e0f8](https://github.com/opea-project/GenAIComps/commit/af4e0f8)) + - Додано підтримку Megaservice для випадку використання MMRAG VideoRAGQnA([2c48bc8](https://github.com/opea-project/GenAIComps/commit/2c48bc8)) + - замінено langchain/langchain:останнім з python:3.11-slim([6ce6551](https://github.com/opea-project/GenAIComps/commit/6ce6551)) + - Підтримка для інтерфейсу користувача MultimodalRAGWithVideos в GenAIExamples([7664578](https://github.com/opea-project/GenAIComps/commit/7664578)) + - Видалено виправлену версію у файлі requirements.txt([f416f84](https://github.com/opea-project/GenAIComps/commit/f416f84)) + - Оновлено README.md для зламаного/відсутнього readme([00227b8](https://github.com/opea-project/GenAIComps/commit/00227b8)) + - додано підтримку вбудовування моделей на основі CLIP для прикладу VideoRAGQnA у версії 0.9([2a53e25](https://github.com/opea-project/GenAIComps/commit/2a53e25)) + - такий самий PR, як у #694, але на головній гілці([4b5d85b](https://github.com/opea-project/GenAIComps/commit/4b5d85b)) + - doc: виправлено заголовки([f6ae4fa](https://github.com/opea-project/GenAIComps/commit/f6ae4fa)) + - Виправлено всі мікросервіси, на які вплинуло оновлення версії langchain([04385c9](https://github.com/opea-project/GenAIComps/commit/04385c9)) + - оновлено фіксація версії для файла requirements-runtime.txt([1e4c382](https://github.com/opea-project/GenAIComps/commit/1e4c382)) + - додано розділ для дописувачів до основного readme([2ba3516](https://github.com/opea-project/GenAIComps/commit/2ba3516)) + - Оновлено номер тестового порту для вбудовування svc([574fecf](https://github.com/opea-project/GenAIComps/commit/574fecf)) + - Включено GraphRAG з Neo4J([29fe569](https://github.com/opea-project/GenAIComps/commit/29fe569)) + - Покращено READMEs після reorg([7e40475](https://github.com/opea-project/GenAIComps/commit/7e40475)) + - Підтримка експорту megaservice yaml до файлу docker compose([cff0a4d](https://github.com/opea-project/GenAIComps/commit/cff0a4d)) + - Перейменовано videoragqna на videoqna для узгодження з іншими прикладами([2b68323](https://github.com/opea-project/GenAIComps/commit/2b68323)) + - Оновлено назви прикладу в MultimodalQnA і оновлено назви образів([2ca56f3](https://github.com/opea-project/GenAIComps/commit/2ca56f3)) + - Виправлено проблеми Reorg([a3da7c1](https://github.com/opea-project/GenAIComps/commit/a3da7c1)) + - Переміщено neuralspeed переранжування вбудовування і vllm-xft до каталогу([98c62a0](https://github.com/opea-project/GenAIComps/commit/98c62a0)) + - виправлено помилку генератора тексту ragagent([42cde68](https://github.com/opea-project/GenAIComps/commit/42cde68)) + - Додано мікросервіс Bias Detection([812c85c](https://github.com/opea-project/GenAIComps/commit/812c85c)) + - оновлено README.md для таблиці в markdown([849cac9](https://github.com/opea-project/GenAIComps/commit/849cac9)) + - оновлено версію залежності([4eee716](https://github.com/opea-project/GenAIComps/commit/4eee716)) + +- CI/CD/UT + - додано PREDICTIONGUARD_API_KEY для CI([94eb60f](https://github.com/opea-project/GenAIComps/commit/94eb60f)) + - оновлено тест CI досягнення логу([960f66c](https://github.com/opea-project/GenAIComps/commit/960f66c)) + - збільшено таймаут CI([6c24078](https://github.com/opea-project/GenAIComps/commit/6c24078)) + - покращено сканування зображень і публікація cd([341f97a](https://github.com/opea-project/GenAIComps/commit/341f97a)) + - додано відновлення доналаштування контрольної точки ut([c718602](https://github.com/opea-project/GenAIComps/commit/c718602)) + - Виправлення помилок([2a91903](https://github.com/opea-project/GenAIComps/commit/2a91903)) + - Оптимізовано вміст сповіщень([8a11413](https://github.com/opea-project/GenAIComps/commit/8a11413)) + - Додано файл компіляції ([7a21d09](https://github.com/opea-project/GenAIComps/commit/7a21d09)) + - Видалено дубльований код([8325d5d](https://github.com/opea-project/GenAIComps/commit/8325d5d)) + - Виправлено помилку зі створенням образу.([3ce387a](https://github.com/opea-project/GenAIComps/commit/3ce387a)) + - Виправлення помилок([12fd97a](https://github.com/opea-project/GenAIComps/commit/12fd97a)) + - покращено роботу з публікації зображень([9007212](https://github.com/opea-project/GenAIComps/commit/9007212)) + - Перевірка Dockerflie([2705e93](https://github.com/opea-project/GenAIComps/commit/2705e93)) + - Зроблено метод сканування необов'язковим([ae71eee](https://github.com/opea-project/GenAIComps/commit/ae71eee)) + - Модифіковано вихідні повідомлення([3e87c3b](https://github.com/opea-project/GenAIComps/commit/3e87c3b)) + - невелике виправлення для виявлення CI([1785149](https://github.com/opea-project/GenAIComps/commit/1785149)) + - Додано кейси OPEA з клієнтським доступом OpenAI до мікросервісу UT([1b69897](https://github.com/opea-project/GenAIComps/commit/1b69897)) + - Оптимізовано обсяг тесту CI([4165c7d](https://github.com/opea-project/GenAIComps/commit/4165c7d)) + - Виправлено CI yaml([3ac391a](https://github.com/opea-project/GenAIComps/commit/3ac391a)) + - Переміщено шлях до тестового скрипта fintuning([267fb02](https://github.com/opea-project/GenAIComps/commit/267fb02)) + - Додано тест E2E для виявлення зміщення захисних бар'єрів([e29865e](https://github.com/opea-project/GenAIComps/commit/e29865e)) + - Додано перевірку гіперпосилань і шляхів([ccdd2d0](https://github.com/opea-project/GenAIComps/commit/ccdd2d0)) + - Оновлено ручний тест([2794abd](https://github.com/opea-project/GenAIComps/commit/2794abd)) + - Оптимізовано перевірку файлів([61b8fa9](https://github.com/opea-project/GenAIComps/commit/61b8fa9)) + - Додано PREDICTIONGUARD_API_KEY для CI([94eb60f](https://github.com/opea-project/GenAIComps/commit/94eb60f)) + - Оновлено дії ci([b4a7f26](https://github.com/opea-project/GenAIComps/commit/b4a7f26)) + - оновлено складання збірки образів([3d00a33](https://github.com/opea-project/GenAIComps/commit/3d00a33)) + - Додавання контейнера для виявлення упередженості до CI([6617e22](https://github.com/opea-project/GenAIComps/commit/6617e22)) + - оновлено робочий процес cd([3c5fc80](https://github.com/opea-project/GenAIComps/commit/3c5fc80)) + - оновлення встановлення процесора torch([0458443](https://github.com/opea-project/GenAIComps/commit/0458443)) + - Виправлено помилку([887ca75](https://github.com/opea-project/GenAIComps/commit/887ca75)) + - тимчасово видалено перевірку докер-файлів([2d5130f](https://github.com/opea-project/GenAIComps/commit/2d5130f)) + - Виправлено помилки([2a91903](https://github.com/opea-project/GenAIComps/commit/2a91903)) + - додано відновлення налаштування контрольної точки ut([c718602](https://github.com/opea-project/GenAIComps/commit/c718602)) + - Оптимізовано вміст сповіщень([8a11413](https://github.com/opea-project/GenAIComps/commit/8a11413)) + +GenAIEvals
+ +- Точність + - додано скріпти audioqna asr wer eval([cf8bd83](https://github.com/opea-project/GenAIEval/commit/cf8bd83)) + - оновлено документацію llm-as-judge([102fcdd](https://github.com/opea-project/GenAIEval/commit/102fcdd)) + - [v1.0] Додано підтримку метрики докерів([cff0a36](https://github.com/opea-project/GenAIEval/commit/cff0a36)) + - виправити проблему через зміну ragas([6abbe40](https://github.com/opea-project/GenAIEval/commit/6abbe40)) + - Додано README для тесту codegen acc([77bb66c](https://github.com/opea-project/GenAIEval/commit/77bb66c)) + - Оновлено ввод chatqna для виправлення довжини вводу([4f46a12](https://github.com/opea-project/GenAIEval/commit/4f46a12)) + - Підтримка bigcode eval для codegen v0.1([02b60b5](https://github.com/opea-project/GenAIEval/commit/02b60b5)) + - Додавання скриптів FaqGen Accuracy & Refine Ragas([4df6438](https://github.com/opea-project/GenAIEval/commit/4df6438)) + - оновлено rag_eval readme([425b423](https://github.com/opea-project/GenAIEval/commit/425b423)) + - виправлено версію з великим кодом, коли python>=3.11([1d3a502](https://github.com/opea-project/GenAIEval/commit/1d3a502)) + - додано скрипт налаштування аккаунта([a6fd418](https://github.com/opea-project/GenAIEval/commit/a6fd418)) + +- Продуктивність + - [ChatQnA] Підтримка налаштування реплік для ChatQnA([484b69a](https://github.com/opea-project/GenAIEval/commit/484b69a)) + - Виправлено скрипт переранжування бенчмарку([8edda1c](https://github.com/opea-project/GenAIEval/commit/8edda1c)) + - Список сервісів підтримки для збору метрик у benchmark.py([58502c5](https://github.com/opea-project/GenAIEval/commit/58502c5)) + - Підтримка файлу тесту для трубопроводу з/без переранжування([17d35e3](https://github.com/opea-project/GenAIEval/commit/17d35e3)) + - Оновлено конфігурацію в benchmark README([514a6d6](https://github.com/opea-project/GenAIEval/commit/514a6d6)) + - Підтримка P50, P90, P99 для затримки наступного токена([6ac555c](https://github.com/opea-project/GenAIEval/commit/6ac555c)) + - Підтримка бенчмарку рівня мікросервісу([626d269](https://github.com/opea-project/GenAIEval/commit/626d269)) + - Підтримка stresscli для генератора коду([907dc19](https://github.com/opea-project/GenAIEval/commit/907dc19)) + - Узгодження параметрів мікросервісу llm з наскрізним тестом([476a327](https://github.com/opea-project/GenAIEval/commit/476a327)) + - Виправлено проблему з еталонним рівнем мікросервісу([211b560](https://github.com/opea-project/GenAIEval/commit/211b560)) + - Додано частину с бечмарком в README([ac52f79](https://github.com/opea-project/GenAIEval/commit/ac52f79)) + - Додано бечмарк CRAG([a9b087f](https://github.com/opea-project/GenAIEval/commit/a9b087f)) + - [ChatQnA] Підтримка налаштування реплік для ChatQnA([484b69a](https://github.com/opea-project/GenAIEval/commit/484b69a)) + - додано файл для з/без переранжування([17d35e3](https://github.com/opea-project/GenAIEval/commit/17d35e3)) + - додано bench-target як префікс вихідної папки([3f0ceaf](https://github.com/opea-project/GenAIEval/commit/3f0ceaf)) + +- Інше + - doc: dbghfdktyj заголовки і відступи([65a0a5b](https://github.com/opea-project/GenAIEval/commit/65a0a5b)) + - doc: додано розділ README до нового FaqGen([52a540d](https://github.com/opea-project/GenAIEval/commit/52a540d)) + - додано власників кодів([047c479](https://github.com/opea-project/GenAIEval/commit/047c479)) + - doc: виправлено рівень заголовку([d5dbbf0](https://github.com/opea-project/GenAIEval/commit/d5dbbf0)) + - doc: віправлено приклад JSON([7318fb8](https://github.com/opea-project/GenAIEval/commit/7318fb8)) + - Оновлено власників кодів([4db9fb3](https://github.com/opea-project/GenAIEval/commit/4db9fb3)) + - doc: оновлено документ з оптимізації платформи([d982681](https://github.com/opea-project/GenAIEval/commit/d982681)) + - видалено приклади([340f507](https://github.com/opea-project/GenAIEval/commit/340f507)) + - Додано перевірку гіперпосилань і шляхів([df58fe5](https://github.com/opea-project/GenAIEval/commit/df58fe5)) + - Видалено непотрібний файл([0af532a](https://github.com/opea-project/GenAIEval/commit/0af532a)) + +GenAIInfra
+ +- GMC + - GMC: Додано CR для перемикання режиму на одній графічній карті NV([02412e7](https://github.com/opea-project/GenAIInfra/commit/02412e7)) + - Оновлено GMC README відповідно до поточних змін.([6f7a24e](https://github.com/opea-project/GenAIInfra/commit/6f7a24e)) + - виправлено збої GMC в e2e ([5a2b306](https://github.com/opea-project/GenAIInfra/commit/5a2b306)) + - Додано модульний тест для нової функції в маршрутизаторі GMC([0343a2f](https://github.com/opea-project/GenAIInfra/commit/0343a2f)) + - GMC: додано UT для узгодження фільтрів([6442127](https://github.com/opea-project/GenAIInfra/commit/6442127)) + - Увімкнено процес збирання gmc на push([19fe1a2](https://github.com/opea-project/GenAIInfra/commit/19fe1a2)) + - Doc: Виправлено деякі опечатки для більш плавного запуску GMC([59000c5](https://github.com/opea-project/GenAIInfra/commit/59000c5)) + - Покращено продуктивність маршрутизатора GMC([68a2011](https://github.com/opea-project/GenAIInfra/commit/68a2011)) + - GMC: покращено лог([a18404e](https://github.com/opea-project/GenAIInfra/commit/a18404e)) + +- HelmChart + - e2e helm chart: Додано інтерфейс користувача для codegen/codetrans/docsum([267d828](https://github.com/opea-project/GenAIInfra/commit/267d828)) + - helm: Додано підтримку захисних бар'єрів llama_guard([8206a8c](https://github.com/opea-project/GenAIInfra/commit/8206a8c)) + - Увімкнено випадки захисних бар'єрів в тестах helm e2е([491c2e2](https://github.com/opea-project/GenAIInfra/commit/491c2e2)) + - helm chart: додано nginx, щоб уникнути проблеми з CORS([353f3a5](https://github.com/opea-project/GenAIInfra/commit/353f3a5)) + - helm-chart/common: Додавання конфігурації журналювання для сервісних компонентів([b80ae50](https://github.com/opea-project/GenAIInfra/commit/b80ae50)) + - helm-chart/data-prep: Додано відсутню конфігурацію для dataprep-redis([b70b914](https://github.com/opea-project/GenAIInfra/commit/b70b914)) + - helm: використано тег останнього зображення на головній гілці([65b04dc](https://github.com/opea-project/GenAIInfra/commit/65b04dc)) + - helm/manifest: Оновлено до релізу v0.9([182183e](https://github.com/opea-project/GenAIInfra/commit/182183e)) + - Додано підтримку topologySpreadConstraints([af9e1b6](https://github.com/opea-project/GenAIInfra/commit/af9e1b6)) + - Додано додаткові опції TGI([bf10bdd](https://github.com/opea-project/GenAIInfra/commit/bf10bdd)) + - Додати підтримку механізму виведення vLLM([0094f52](https://github.com/opea-project/GenAIInfra/commit/0094f52)) + - Видалено невикористані значення і змінено значення за замовчуванням GenAIExamples([26f9b16](https://github.com/opea-project/GenAIInfra/commit/26f9b16)) + - 'ghcr.io/huggingface/text-generation-inference:sha-e4201f4-intel-cpu' є процесором intel ([c84ac4c](https://github.com/opea-project/GenAIInfra/commit/c84ac4c)) + +- Документація + - додано власника коду([59ce505](https://github.com/opea-project/GenAIInfra/commit/59ce505)) + - doc: виправлено заголовки і відступи([c10bca1](https://github.com/opea-project/GenAIInfra/commit/c10bca1)) + - doc: виправлено заголовки, орфографію, міждокументні посилання([22d012e](https://github.com/opea-project/GenAIInfra/commit/22d012e)) + - doc: виправлено посилання на зображення([0a3e006](https://github.com/opea-project/GenAIInfra/commit/0a3e006)) + - Додано документи для всіх 3 варіантів використання прикладів ChatQnA і змінено моделі для випадку з перемикачем([987870f](https://github.com/opea-project/GenAIInfra/commit/987870f)) + - doc: реструктуровано каталог authN-authZ([b9bc034](https://github.com/opea-project/GenAIInfra/commit/b9bc034)) + - Оновлено README([9480afc](https://github.com/opea-project/GenAIInfra/commit/9480afc)) + - doc: виправлено помилки markdown([a339a87](https://github.com/opea-project/GenAIInfra/commit/a339a87)) + - Doc: виправлено непрацюючі посилання([032ddbc](https://github.com/opea-project/GenAIInfra/commit/032ddbc)) + - Покращено репозиторій використання helm chart в README([0de5535](https://github.com/opea-project/GenAIInfra/commit/0de5535)) + - Створено troubleshooting.md([d55ded4](https://github.com/opea-project/GenAIInfra/commit/d55ded4)) + +- Інші + - Виправлено помилку CI #417([56d7d5d](https://github.com/opea-project/GenAIInfra/commit/56d7d5d)) + - вимкнено тест hpa-значень в chart e2e в CI([9b38302](https://github.com/opea-project/GenAIInfra/commit/9b38302)) + - Додано модульний тест для експортера пропускної здатності пам'яті([43adcc6](https://github.com/opea-project/GenAIInfra/commit/43adcc6)) + - Увімкнено модульний тест для експортера пропускної здатності пам'яті у CI([923c1f3](https://github.com/opea-project/GenAIInfra/commit/923c1f3)) + - додано спостережуваність для OPEA([8d304ac](https://github.com/opea-project/GenAIInfra/commit/8d304ac)) + - виправлено поганий коміт в #383([406bbc2](https://github.com/opea-project/GenAIInfra/commit/406bbc2)) + - Додано dataprep CR для платформи NV([fa9788d](https://github.com/opea-project/GenAIInfra/commit/fa9788d)) + - Додано експортер пропускної здатності пам'яті для навантаження ШІ([9107af9](https://github.com/opea-project/GenAIInfra/commit/9107af9)) + - authN-authZ: оновлено конфігурацію([0f5cef1](https://github.com/opea-project/GenAIInfra/commit/0f5cef1)) + - E2E: виключити завершення роботи подів, коли wait_util_all_pod_ready([39fb55e](https://github.com/opea-project/GenAIInfra/commit/39fb55e)) + - Додано захісні бар'єри шлюзу([b22fc52](https://github.com/opea-project/GenAIInfra/commit/b22fc52)) + - Виправлено #314([f9204f0](https://github.com/opea-project/GenAIInfra/commit/f9204f0)) + - v0.9 реліз charts([b2328b8](https://github.com/opea-project/GenAIInfra/commit/b2328b8)) + - Реструктуризрвано каталог зразка конфігурації та оновлено тест e2e([326a637](https://github.com/opea-project/GenAIInfra/commit/326a637)) + - Покращено ut([96cd929](https://github.com/opea-project/GenAIInfra/commit/96cd929)) + - поліпшено робочі процеси cd і додано релізний документ([a4398b0](https://github.com/opea-project/GenAIInfra/commit/a4398b0)) + - Додано підтримку HPA до ChatQnA([cab7a88](https://github.com/opea-project/GenAIInfra/commit/cab7a88)) + - Додано декількадокументів підтримки і скриптів платформиe NVIDIA([cad2fc3](https://github.com/opea-project/GenAIInfra/commit/cad2fc3)) + - Розкрито параметри експортера пропускної здатності пам'яті у маніфестах k8s і докері для конфігурування користувачем([2517e79](https://github.com/opea-project/GenAIInfra/commit/2517e79)) + - Оновлено версію образу для прикладів ChatQnA([593458c](https://github.com/opea-project/GenAIInfra/commit/593458c)) + - Оновлено верхній рівень README([b224b65](https://github.com/opea-project/GenAIInfra/commit/b224b65)) + - Увімкнено автентифікацію на основі OIDC в apisix([ee907d6](https://github.com/opea-project/GenAIInfra/commit/ee907d6)) + - Вдосконалення HPA([8d86fff](https://github.com/opea-project/GenAIInfra/commit/8d86fff)) + - authn-authz: виправлено проблему з CORS та доопрацьовано документ([994250c](https://github.com/opea-project/GenAIInfra/commit/994250c)) + - Додано перевірку гіперпосилань і шляхів([d8cd3a1](https://github.com/opea-project/GenAIInfra/commit/d8cd3a1)) + +Please visit the latest OPEA Project documentation
+ +