关于 gpu 的文章

腾讯玄武实验室再次用实力震撼了整个科技界。他们以不到4万元的成本，成功地在CPU上运行起了拥有6710亿参数的DeepSeek R1大模型。这一壮举不仅打破了传统认知，更为广大开发...

"中国变化太快了！"——当蚂蚁集团用国产AI芯片训练出性能对标国际顶尖大模型的消息传出时，这个来自海外AI开发者社群的惊叹，道出了全球科技界最震撼的转折点。在英伟达GPU构筑的算力...

以大模型为代表的人工智能技术飞速发展，对智算中心的计算能力提出了更高要求，万卡甚至十万卡的集群成为训练基础大模型的入场门槛。随着运算规模的不断增长以及芯片运算速度的提升，训练任务的...

AIBrix 项目目前已经开源，本文为AIBrix 技术解析。详见：🔗 vLLM 博客：https://blog.vllm.ai/2025/02/21/aibrix-release...

本地部署和私有化大模型的必要性！当你每天和它聊天，让它帮你分析判断你人生中种种人和事，它越来越懂你的时候，出现那种钢铁侠对贾维斯一样的依赖时，它说"记忆已满"！！！ 堪比断崖式分手...

在人工智能技术高速发展的今天，大模型已成为企业数字化转型的核心引擎，但其复杂性和开放性也带来了前所未有的安全挑战：从运行环境漏洞、供应链投毒到提示注入攻击，每一次风险都可能演变为重...

让每一句人机对话都安全可信，让每一次智能交互都风险可控——这是属于AI时代的安全承诺。 —— 启明星辰前言：在当今数字化浪潮中，数据已成为核心生产要素，但数据流通中的安全风险与效率...

DeepSeek于2025年2月18日发布的最新论文名为《Native Sparse Attention: Hardware-Aligned and Natively Traina...

在人工智能领域，人们对训练模型的固有印象就是对算力的需求极大。因此，长期以来，诸如英伟达H100 GPU等高算力芯片几乎成为行业标配，使得国内芯片厂商难以施展拳脚，也制约了我国人工...

查看GPU的温度、功耗、显存占用，除了 nvidia 自带的 nvidia-smi 工具之外，还有个更好用的工具 nvitop 。安装方法：$ pip install nvitop...