Highlights
- Pro
Pinned Loading
-
arxiv_crawler
arxiv_crawler Public这是一个高效,快捷的arXiv论文爬虫,它可以将指定时间范围,指定主题,包含指定关键词的论文信息爬取到本地,并且将其中的标题和摘要翻译成中文。
-
Redis-vLLM-Server
Redis-vLLM-Server Public archive这个项目利用redis实现了客户端和服务端解耦的llm服务,并且在服务端进行了请求批量化以最大程度利用vllm的超线性加速: vllm batch=1000相较于batch=10时有约5倍吞吐量提升。 使用此项目可以在32卡上将树搜索加速到极限吞吐量的70%(70% * 32 * vllm batch1000吞吐量)
Python 4
-
-
volcengine/verl
volcengine/verl PublicveRL: Volcano Engine Reinforcement Learning for LLM
Something went wrong, please refresh the page to try again.
If the problem persists, check the GitHub status page or contact support.
If the problem persists, check the GitHub status page or contact support.