在短短一周内,世界见证了两家科技巨头最具突破性的人工智能进步。OpenAI 推出了令人惊叹的 AI 视频生成器Sora,而 Google 则推出了Gemini 1.5 模型,能够支持多达 100 万个令牌上下文窗口。
今天,谷歌又发布了Gemma(https://ai.google.dev/gemma/),这是一个轻量级、最先进的开源模型系列,基于用于创建 Gemini 模型的研究和技术而构建。
杰玛是什么?
Gemma以拉丁语gemma命名,意为“宝石”,Gemma 从其前身 Gemini 中汲取灵感,反映了其在科技界的价值和稀有性。
它们是文本到文本、仅限解码器的大型语言模型,提供英语版本,具有开放权重、预训练变体和指令调整变体。
Gemma 从今天开始在全球范围内提供两种尺寸(2B 和 7B),支持多种工具和系统,并在开发人员笔记本电脑和工作站上运行。
2 种型号尺寸和功能
Gemma 模型有 20 亿和 70 亿参数大小可供选择。2B 模型旨在在移动设备和笔记本电脑上运行,而 7B 模型旨在在台式计算机和小型服务器上运行。
调整模型
Gemma 也有两个版本:调整版和预训练版。
预训练:这就像没有任何微调的基本模型。该模型未针对 Gemma 核心数据训练集之外的任何特定任务或指令进行训练。
指令调整:该模型针对人类语言交互进行了微调,从而提高了其执行目标任务的能力。
与竞争对手相比如何?
由于 Gemma 体积小,因此能够直接在用户的笔记本电脑上运行。下图显示了 Gemma (7B) 的语言理解和生成性能与 LLaMA 2 (7B)、LLaMA 2 (13B) 和 Mistral (7B) 等类似大小的开放模型的比较。
它是做什么用的?
以下是 Gemma 的一些可能的用例:
内容创作与传播
文本生成
聊天机器人和对话式人工智能
文本摘要
研究与教育
自然语言处理 (NLP) 研究:作为 NLP 研究的基础,试验技术、开发算法并为该领域的进步做出贡献。
语言学习工具:支持交互式语言学习体验、帮助语法纠正或提供写作练习。
知识探索:通过生成摘要或回答有关特定主题的问题,帮助研究人员探索大量文本。
以前需要极大模型的任务现在可以通过最先进的较小模型来完成。这开启了开发人工智能应用程序的全新方式,我们很快就能在智能手机上看到设备内的人工智能聊天机器人——无需互联网连接。
那有多令人兴奋?
不过这样好吗?
一些Reddit 用户分享了他们使用 Gemma 的经验,但到目前为止,效果看起来并不好。看一下这个例子,当被问及体重问题时,给出了错误的答案。
我自己还没有真正尝试过,但重要的是要记住,像这样的较小模型预计会有一些缺陷,有时可能会给出错误的答案。
自己尝试一下
您今天就可以开始与 Gemma 合作,免费访问 Kaggle(Colab 笔记本的免费套餐),并为首次使用 Google Cloud 的用户提供 300 美元的积分。
如果您有兴趣开始使用 Gemma,请查看这些指南,了解从文本生成到 Gemma 模式下的部署:
使用 Gemma 生成文本:使用模型构建基本文本生成示例。
使用 LoRA 调整来调整 Gemma:在 Gemma 2B 模型上执行 LoRA 微调。
使用分布式训练调整 Gemma 模型:使用带有 JAX 后端的 Keras 来微调具有 LoRA 和模型并行性的 Gemma 7B 模型。
将 Gemma 部署到生产环境:使用 Vertex AI 将 Gemma 部署到生产环境。
下载模型
目前, HuggingFace上提供了开放模型。
https://huggingface.co/models?other=gemma&sort=trending&search=google
Gemma 模型也可以从Kaggle Models下载。
https://www.kaggle.com/models/google/gemma
最后的想法
虽然 Gemma 模型可能很小并且缺乏复杂性,但它们可以在速度和使用成本方面弥补这一点。
从更大的角度来看,谷歌不是追逐消费者眼前的兴奋,而是为企业培育市场。他们设想,当开发人员使用 Gemma 创建创新的新消费者应用程序时,公司会为 Google Cloud 服务付费。
此外,尽管 Gemini 的反响平平,谷歌仍然表明它还有更多的技巧。
当然,对于任何强大的技术,真正的考验是它的效果如何。谷歌的过去引发了这样的问题:这些模型在现实世界中是否会像它们承诺的那样表现良好。密切关注这一点很重要,但也希望谷歌能够吸取过去的教训,提供真正可以与竞争对手相媲美甚至更好的模型。
我迫不及待地想接触 Gemma,我一定会分享我对这个新人工智能模型的初步想法和发现。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...