开普云近期发布了中文基座大模型“开悟”。目前,团队已经从中采样了3000万篇各领域文章向开悟“投喂”,基于自建的服务器完成了基于71亿参数Bloom模型的继续预训练,并利用10万组政务问答、内容创作领域数据进行了监督微调,开悟已应用于数字人政务智能问答与内容创作等场景,效果显著优于当前开源社区中同参数量级模型。
近期,开普云将从数据资产中采样更多的内容,启用更大规模训练集群,以万亿级词元训练百亿级参数基座模型,并丰富监督微调数据覆盖更多任务类型,实现模型的多任务指令跟随能力。开普云将根据模型上线应用情况,启动人类反馈强化学习环节训练,强化模型的应用安全。
同样做数据起家的开普云,开悟大模型对标拓尔思的拓天,但开普云的市值仅仅为拓尔思的八分之一!能否迎来补涨?各位可以发表见解!