百川智能发布Baichuan2,文理兼备全面领先LLaMA2

来源:TechWeb   发布时间:2023-09-07 13:20:30   阅读量:6154  

,在北京市科学技术委员会、中关村科技园区管理委员会、北京市海淀区政府的指导下,百川智能召开主题为“百川汇海,开源共赢”的大模型发布会,中科院院士张钹亲临现场并发表致辞。会上,百川智能宣布正式开源微调后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat与其4bit量化版本,并且均为免费可商用。

百川智能此次还开源了模型训练的Check Point,并宣布将发布 Baichuan 2 技术报告,详细介绍Baichuan 2 的训练细节,帮助大模型学术机构、开发者和企业用户更深入的了解其训练过程,更好地推动大模型学术研究和社区的技术发展。

文理兼备性能优异,全面领先 LlaMA2

Baichuan 2-7B-Base 和 Baichuan 2-13B-Base,均基于 2.6万亿高质量多语言数据进行训练,在保留了上一代开源模型良好的生成与创作能力,流畅的多轮对话能力以及部署门槛较低等众多特性的基础上,两个模型在数学、代码、安全、逻辑推理、语义理解等能力有显著提升。其中Baichuan 2-13B-Base相比上一代13B模型,数学能力提升49%,代码能力提升46%,安全能力提升37%,逻辑推理能力提升25%,语义理解能力提升15%。

本次开源的两个模型在各大评测榜单上的表现优秀,在MMLU、CMMLU、GSM8K等几大权威评估基准中,以绝对优势领先LLaMA2,相比其他同等参数量大模型,表现也十分亮眼,性能大幅度优于LLaMA2等同尺寸模型竞品。

更值得一提的是,根据MMLU等多个权威英文评估基准评分 Baichuan2-7B以70亿的参数在英文主流任务上与130亿参数量的LLaMA2持平。

7B参数模型的Benchmark成绩

13B参数模型的Benchmark成绩

Baichuan2-7B和Baichuan2-13B不仅对学术研究完全开放,开发者也仅需邮件申请获得官方商用许可后,即可以免费商用。

国内首创全程开源模型训练Check Point,助力学术研究

大模型训练包含海量高质量数据获取、大规模训练集群稳定训练、模型算法调优等多个环节。每个环节都需要大量人才、算力等资源的投入,从零到一完整训练一个模型的高昂成本,阻碍了学术界对大模型训练的深入研究。

本着协作和持续改进的精神,百川智能本次开源了模型训练从220B到2640B全过程的 Check Ponit。这对于科研机构研究大模型训练过程、模型继续训练和模型的价值观对齐等极具价值,将极大推动国内大模型的科研进展,开源训练模型过程对国内开源生态尚属首次。

技术报告揭示训练细节,繁荣开源生态

当前大部分开源模型在开源过程中只是对外公开自身的模型权重,很少提及训练细节,企业、研究机构、开发者们只能在开源模型的基础上做有限的微调,很难进行深入研究。

百川智能自成立之初,就将通过开源方式助力中国大模型生态繁荣作为公司的重要发展方向。成立不到四个月,便相继发布了Baichuan-7B、Baichuan-13B两款开源免费可商用的中文大模型,以及一款搜索增强大模型Baichuan-53B,两款开源大模型在多个权威评测榜单均名列前茅,目前下载量超过500万次。

不仅如此,在今年创立的大模型公司中,百川智能是唯一一家通过《生成式人工智能服务管理暂行办法》备案,可以正式面向公众提供服务的企业。凭借行业领先的基础大模型研发和创新能力,此次开源的两款Baichuan 2大模型,得到了上下游企业的积极响应,腾讯云、阿里云、火山方舟、华为、联发科等众多知名企业均参加了本次发布会并与百川智能达成了合作。

未来,百川智能将在开源大模型领域持续深耕,将更多的技术能力、前沿创新开放出来,与更多的合作伙伴们共同助力中国大模型生态蓬勃发展。

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

为你推荐

火速护盘!当天制定回购方案,当天下场买股!上市公司真金白银看好后市

火速护盘!当天制定回购方案,当天下场买股!上市公司真金白银看好后市

4月25日,不少上市公司在下跌中果断实施回购。25日晚间,恒瑞医药、建霖家居、劲嘉股份等公司纷纷公告在盘中实施了回购;威...更多

2022-04-26 01:11:00
人弃我取时间已到!券商首席一致看多,A股迎接反攻时刻?

人弃我取时间已到!券商首席一致看多,A股迎接反攻时刻?

4月25日,上证指数重挫逾5%,失守3000点,创下2020年7月以来新低。盘后,券商中国记者采访了多位券商策略、宏观分...更多

2022-04-26 01:11:00
实实在在赚钱了!2021年收入增34%,这家公司要冲击“纯SaaS业务模

实实在在赚钱了!2021年收入增34%,这家公司要冲击“纯SaaS业务模

4月25日,新三板挂牌公司和创科技晒出了2021年“成绩单”,2021年实现收入1.45亿元,同比增长34%;经营现金流...更多

2022-04-26 01:00:00
高玩不买单了水冷头一哥EKWB裁员1/4:业绩持续暴跌

高玩不买单了水冷头一哥EKWB裁员1/4:业绩持续暴跌

虽然AIO一体式水冷很方便,但分体式水冷依然是目前散热最好、效果最炫的方案,只不过价格很贵,只有高玩才会折腾。然而这个高...更多

2022-04-26 00:38:00
IEEE发布首个供应链金融区块链国际标准蚂蚁集团牵头制定

IEEE发布首个供应链金融区块链国际标准蚂蚁集团牵头制定

,IEEE计算机协会区块链和分布式记账标准委员会召开全体会议,《基于区块链的供应链金融标准》正式发布。这是IEEE发布的...更多

2022-04-26 00:37:00
外媒预计在建设P3晶圆厂后三星电子还将在平泽建设P4晶圆厂

外媒预计在建设P3晶圆厂后三星电子还将在平泽建设P4晶圆厂

,据国外媒体报道,此前有报道称,三星电子2020年年中开始在韩国平泽建设的P3晶圆厂,将在下月开始设备的安装,设备的进入...更多

2022-04-26 00:35:00
万华化学首季净利降近两成2021年分红超78亿

万华化学首季净利降近两成2021年分红超78亿

25日盘后,万华化学披露2022年第一季度报告。一季度,公司在营业收入增超30%的情况下,净利润回落近两成。具体来看,一...更多

2022-04-26 00:35:00
盈利下滑、应收账款和现金流状况恶化!泽达易盛股价较高点已跌超八成

盈利下滑、应收账款和现金流状况恶化!泽达易盛股价较高点已跌超八成

董事长、财务总监协助调查,股价暴跌,业绩下滑,笼罩在泽达易盛头上的疑云久久不散。3月17日晚,泽达易盛发布重大事项公告,...更多

2022-04-26 00:34:00