当前位置:首页-文章-行业新闻-正文

清华系公司智谱 AI 开源 ChatGLM-6B 大模型,千亿基座对话模型开启内测

由清华技术成果转化的公司智谱 AI 宣布开源了 GLM 系列模型的新成员 —— 中英双语对话模型 ChatGLM-6B,支持在单张消费级显卡上进行推理使用。这是继此前开源 GLM-130B 千亿基座模型之后,智谱 AI 再次推出大模型方向的研究成果。 此外,基于千亿基座的 ChatGLM

由清华技术成果转化的公司智谱 AI 宣布开源了 GLM 系列模型的新成员 —— 中英双语对话模型 ChatGLM-6B,支持在单张消费级显卡上进行推理使用。这是继此前开源 GLM-130B 千亿基座模型之后,智谱 AI 再次推出大模型方向的研究成果。

此外,基于千亿基座的 ChatGLM 线上模型目前也在 chatglm.cn 进行邀请制内测,用户需要使用邀请码进行注册,也可以填写基本信息申请内测。

根据介绍,ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型,并针对中文进行了优化。该模型基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。

ChatGLM-6B 使用了和 ChatGLM 相同的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的ChatGLM-6B 虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。

ChatGLM-6B 具备以下特点:

  • 充分的中英双语预训练:ChatGLM-6B在1:1比例的中英语料上训练了1T的token量,兼具双语能力。

  • 优化的模型架构和大小:吸取GLM-130B训练经验,修正了二维RoPE位置编码实现,使用传统FFN结构。6B(62亿)的参数大小,也使得研究者和个人开发者自己微调和部署ChatGLM-6B成为可能。

  • 较低的部署门槛:FP16 半精度下,ChatGLM-6B 需要至少 13 GB 的显存进行推理,结合模型量化技术,这一需求可以进一步降低到 10GB(INT8) 和 6GB(INT4),使得 ChatGLM-6B 可以部署在消费级显卡上。

  • 更长的序列长度:相比 GLM-10B(序列长度1024),ChatGLM-6B序列长度达2048,支持更长对话和应用。

  • 人类意图对齐训练:使用了监督微调(Supervised Fine-Tuning)、反馈自助(Feedback Bootstrap)、人类反馈强化学习(Reinforcement Learning from Human Feedback)等方式,使模型初具理解人类指令意图的能力。输出格式为markdown,方便展示。

基于以上特点,ChatGLM-6B在一定条件下具备较好的对话与问答能力。ChatGLM-6B 的对话效果展示如下:

清华系公司智谱 AI 开源 ChatGLM-6B 大模型,千亿基座对话模型开启内测 - 第1张

不过由于 ChatGLM-6B 模型的容量较小,不可避免地存在一些局限和不足,包括:

  • 相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时,ChatGLM-6B可能会生成不正确的信息,也不太擅长逻辑类问题(如数学、编程)的解答。

  • 可能会产生有害说明或有偏见的内容:ChatGLM-6B只是一个初步与人类意图对齐的语言模型,可能会生成有害、有偏见的内容。

  • 较弱的多轮对话能力:ChatGLM-6B的上下文理解能力还不够充分,在面对长答案生成和多轮对话的场景时,可能会出现上下文丢失和理解错误的情况。

相比起ChatGLM-6B,ChatGLM 参考了 ChatGPT 的设计思路,在千亿基座模型 GLM-130B 中注入了代码预训练,通过有监督微调(Supervised Fine-Tuning)等技术实现人类意图对齐。ChatGLM 线上模型的能力提升主要来源于独特的千亿基座模型GLM-130B。它采用了不同于BERT、GPT-3以及T5的GLM架构,是一个包含多目标函数的自回归预训练模型。

GLM 团队表示,2022年11月,斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测,GLM-130B是亚洲唯一入选的大模型。在与OpenAI、Google Brain、微软、英伟达、Meta AI的各大模型对比中,评测报告显示GLM-130B在准确性和公平性指标上与GPT-3 175B (davinci) 接近或持平,鲁棒性、校准误差和无偏性则优于 GPT-3 175B。 

清华系公司智谱 AI 开源 ChatGLM-6B 大模型,千亿基座对话模型开启内测 - 第2张

由ChatGLM生成的对话效果展示:

清华系公司智谱 AI 开源 ChatGLM-6B 大模型,千亿基座对话模型开启内测 - 第3张

清华系公司智谱 AI 开源 ChatGLM-6B 大模型,千亿基座对话模型开启内测 - 第4张

清华系公司智谱 AI 开源 ChatGLM-6B 大模型,千亿基座对话模型开启内测 - 第5张

不过 GLM 团队也坦言,整体来说 ChatGLM 距离国际顶尖大模型研究和产品(比如 OpenAI 的 ChatGPT 及下一代 GPT 模型)还存在一定的差距。该团队表示,将持续研发并开源更新版本的 ChatGLM 和相关模型。“欢迎大家下载 ChatGLM-6B,基于它进行研究和(非商用)应用开发。GLM 团队希望能和开源社区研究者和开发者一起,推动大模型研究和应用在中国的发展。”

更多详情可查看官方博客

本文原创,作者:admin,其版权均为一念悟道所有。
如需转载,请注明出处:https://www.jiayezz.com/6278.html