当前位置:首页-文章-行业新闻-正文

百川智能发布 70 亿参数开源中英文大模型 baichuan-7B

6月15日,搜狗创始人王小川创立的百川智能公司宣布推出 70 亿参数量的中英文预训练大模型——baichuan-7B。 baichuan-7B 是由百川智能开发的一个开源的大规模预训练模型。基于 Transformer 结构,在大约 1.2 万亿 tokens 上训练的 70 亿参数模型,支持中英双

6月15日,搜狗创始人王小川创立的百川智能公司宣布推出 70 亿参数量的中英文预训练大模型——baichuan-7B。

baichuan-7B 是由百川智能开发的一个开源的大规模预训练模型。基于 Transformer 结构,在大约 1.2 万亿 tokens 上训练的 70 亿参数模型,支持中英双语,上下文窗口长度为 4096。

百川智能发布 70 亿参数开源中英文大模型 baichuan-7B - 第1张

目前 baichuan-7B 大模型已在 Hugging Face、GitHub 以及 Model Scope 平台发布。baichuan-7B 代码采用 Apache-2.0 协议,模型权重采用了免费商用协议,只需进行简单登记即可免费商用。

据介绍,baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 中文权威评测榜单上,超过了 ChatGLM-6B 等其他大模型,并且在 MMLU 英文权威评测榜单上,领先 LLaMA-7B。

百川智能发布 70 亿参数开源中英文大模型 baichuan-7B - 第2张

百川智能发布 70 亿参数开源中英文大模型 baichuan-7B - 第3张

本文原创,作者:admin,其版权均为一念悟道所有。
如需转载,请注明出处:https://www.jiayezz.com/6361.html