AIBrix v0.4.0 发布：P/D 解耦与专家并行支持、KVCache v1 连接器、KV 事件同步与多引擎支持
AIBrix项目作为大模型推理的可扩展且高性价比的技术方案，项目于2025 年 2 月 21 日正式开源，并通过vLLM 官方博客官宣，为 vLLM 推理引擎提供可扩展且高性价比的...
admin
腾讯一念LLM新版本发布：硬刚核心调度，满血版DeepSeek推理吞吐提升48%
作者：袁镱博士，腾讯公司专家工程师，负责无量系统和一念 LLM 等机器学习训练和推理框架研发。一念LLM 取“一念三千”之意，寓意“一念之间，用大模型生成世间万象”。Github开...
AIBrix 深度解读：字节跳动大模型推理的云原生实践
AIBrix 项目目前已经开源，本文为AIBrix 技术解析。详见：🔗 vLLM 博客：https://blog.vllm.ai/2025/02/21/aibrix-release...
AI热门开源项目排行
1、Stanford Alpaca简介：提供了用于训练斯坦福大学Alpaca模型的代码和文档，以及生成相关数据。Alpaca模型是一种大型语言模型，专注于提供更高效的文本生成和处理...