AI00 Server是一个基于RWKV的推理API服务器。
支持VULKAN推理加速，可以在所有支持VULKAN的GPU上运行。不用N卡！！！A卡甚至集成显卡都可加速！！！
无需臃肿的pytorch、CUDA等运行环境，小巧身材，开箱即用！
兼容OpenAI的ChatGPT API接口。
100% 开源可商用，采用MIT协议。
如果您正在寻找一个快速、高效、易于使用的LLM API服务器，那么AI00 RWKV Server是您的最佳选择。它可以用于各种任务，包括聊天机器人、文本生成、翻译和问答。
立即加入AI00 RWKV Server社区，体验AI的魅力！
===
v0.1.8 重大更新
支持int8量化，7B 模型在8G以上显卡可以达到 30tokens/S 以上
1080ti + 32G 内存 ，100tokens 3秒
AMD 集成显卡也无压力运行：
（这是运行全量未量化模型时的资源占用）
我们一直在寻找有兴趣帮助我们改进项目的人。如果你对以下任何一项感兴趣，请加入我们！
- 💀编写代码
- 💬提供反馈
- 🔆提出想法或需求
- 🔍测试新功能
- ✏翻译文档
- 📣推广项目
- 🏅其他任何会对我们有所帮助的事
无论你的技能水平如何，我们都欢迎你加入我们。你可以通过以下方式加入我们：
- 加入我们的 Discord 频道
- 加入我们的 QQ 群
- 在 GitHub 上提交问题或拉取请求
- 在我们的网站上留下反馈
我们迫不及待地想与你合作，让这个项目变得更好！希望项目对你有帮助！
还没有评论，来说两句吧...