Grok 是一款模仿《银河系漫游指南》的人工智能
Grok 是一款模仿《银河系漫游指南》的人工智能,旨在回答几乎所有问题,甚至还能建议要问什么问题!Grok 的设计目的是用一点智慧来回答问题,并且具有叛逆性,因此如果您讨厌幽默,请不要使用它!
Grok 的一个独特且基本的优势是它通过 𝕏 平台实时了解世界。它还将回答大多数其他人工智能系统拒绝的尖锐问题。Grok 仍然是一个非常早期的测试版产品,我们在 2 个月的训练中所能做到的最好的产品,因此请期望它在您的帮助下每周都能快速改进。
我们为何构建 Grok?
在 xAI 中,我们希望创建人工智能工具来帮助人类寻求理解和知识。通过创建和改进 Grok,我们的目标是收集反馈并确保我们正在构建能够最大程度地造福全人类的人工智能工具。我们认为,设计对各种背景和政治观点的人都有用的人工智能工具非常重要。我们还希望在遵守法律的前提下,为用户提供人工智能工具。我们与 Grok 的目标是公开探索和演示这种方法。
Grok 的旅程
为 Grok 提供动力的引擎是 Grok-1,它是我们在过去四个月内开发的前沿法学硕���。Grok-1 在这段时间经历了多次迭代。在宣布 xAI 后,我们训练了一个具有 330 亿个参数的原型 LLM (Grok-0)。这个早期模型在标准 LM 基准上接近 LLaMA 2 (70B) 的功能,但仅使用其一半的训练资源。在过去的两个月里,我们在推理和编码能力方面取得了显著的进步,最终诞生了 Grok-1,这是一种最先进的语言模型,功能更加强大,在 HumanEval 编码任务上实现了 63.2%,在 MMLU 上实现了 73%。
Grok 的技术细节
我们在模型卡中总结了 Grok-1 的重要技术细节。
xAI 的工程
在深度学习研究的前沿,必须像数据集和学习算法一样谨慎地构建可靠的基础设施。为了创建 Grok,我们构建了一个基于 Kubernetes、Rust 和 JAX 的自定义训练和推理堆栈。
xAI 的研究
我们为 Grok 提供了搜索工具和实时信息的访问权限,但与所有受过下一个令牌预测训练的法学硕士一样,我们的模型仍然可以生成错误或矛盾的信息。我们认为,实现可靠推理是解决当前系统局限性的最重要的研究方向。在这里,我们想重点介绍 xAI 最令我们兴奋的几个有前途的研究方向:
- 通过工具辅助进行可扩展的监督。
- 与安全性、可靠性和接地性的形式验证相集成。
- 长上下文理解和检索。
- 对抗鲁棒性。
- 多式联运能力。
抢先体验 Grok
我们在美国为有限数量的用户提供试用 Grok 原型的机会,并提供宝贵的反馈,这将帮助我们在更广泛的发布之前改进其功能。您可以在此处加入 Grok 候补名单。此次发布只是 xAI 的第一步。展望未来,我们有一个令人兴奋的路线图,并将在未来几个月内推出新的功能和特性。
感谢 xAI 团队的努力,我们将继续不断改进 Grok,让它成为一个更好的人工智能助手。