马斯克开源Grok-1，直面OpenAI

据资料显示，Grok-1是一个混合专家（Mixture-of-Experts，MoE）大模型，其架构重点在于提高大模型的训练和推理效率。此前，MoE模型是Google发布的1.5万亿参数预训练模型Switch Transformer的核心技术，对预训练模型从亿级参数到万亿级参数的跨越起了重要推动作用。

“是否开源”是近期马斯克与OpenAI争议的焦点，3月1日，马斯克向旧金山高等法院提起诉讼，以违反合同为由，状告OpenAI联合创始人兼CEO萨姆·阿尔特曼、总裁格雷格·布罗克曼以及OpenAI多个实体。不过被告名单没有出现疑似已离开OpenAl的OpenAI联合创始人兼首席科学家伊尔亚·苏茨克维。这份诉讼文件共46页、1.4万余字，其中痛斥OpenAI违背初衷，提到一些OpenAI曾不为人知的内幕细节，质疑阿尔特曼等人“中饱私囊”，并检举揭发了OpenAI五大“罪状”。

目前，xAI已经将Grok-1的权重和架构在GitHub上开源，截至3月19日下午5点，Grok-1项目已收获了31200颗星，而这一数字在昨天是3400。xAI是马斯克去年刚刚成立的明星AI创企，其目的之一就是与OpenAI、谷歌、微软等对手在大模型领域进行竞争，其团队来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等诸多知名企业和研究机构。

为了了解对Grok-1所做的性能改进，xAI利用数学和推理能力的机器学习基准对其进行了评估。在测试中，Grok-1的成绩非常优秀，超过了计算类别中的所有其他模型，包括ChatGPT-3.5和Inflection-1。

此外，xAI根据去年5月底公布的2023年匈牙利全国高中数学期末考试题对他们的模型（以及Claude-2和GPT-4模型）进行了人工评分。结果，Grok以C级（59%）通过考试，Claude-2也取得了类似的成绩（55%），而GPT-4则以68%的成绩获得了B级。