首页> IT业界 > > 正文

2457亿参数的巨量模型,意味着什么?

2021-10-08 14:00:23 来源:光明网
光明网讯2457亿个参数是什么概念?近期,人工智能研究院在京发布全球最大规模人工智能巨量模型“源1.0”。据悉,“源”的单体模型参数量达2457亿,超越美国OpenAI组织研发的GPT-3,成为全球最大规模的AI巨量模型。

源1.0模型参数规模为2457亿,训练采用的中文数据集达5000GB,相比GPT3模型1750亿参数量和570GB训练数据集,源1.0参数规模领先40%,训练数据集规模领先近10倍。如此大规模的人工智能巨量模型诞生,意味着什么?

浪潮研究院介绍,“源1.0”在语言智能方面表现优异,获得中文语言理解评测基准CLUE榜单的零样本学习和小样本学习两类总榜冠军。在零样本学习榜单中,“源1.0”超越业界最佳成绩18.3%,在文献分类、新闻分类,商品分类、原生中文推理、成语阅读理解填空、名词代词关系6项任务中获得冠军;在小样本学习的文献分类、商品分类、文献摘要识别、名词代词关系等4项任务获得冠军。在成语阅读理解填空项目中,源1.0的表现已超越人类得分。

在对“源1.0”进行的“图灵测试”中,将源1.0模型生成的对话、小说续写、新闻、诗歌、对联与由人类创作的同类作品进行混合并由人群进行分辨,测试结果表明,人群能够准确分辨人与“源1.0”作品差别的成功率已低于50%。

浪潮人工智能研究院首席研究员吴韶华表示,一方面,巨量模型可以推动产业界做一些杀手级应用,另一方面,对于前沿技术的探索也有重要意义。“人们一直在追求一种更通用、更好的模型,能够用于各种各样的场景,来解决各类问题,实现真正的通用智能。”

全球范围内,巨量模型的发展也备受关注。斯坦福大学李飞飞教授等人工智能领域知名学者近期在论文中表示,这类巨量模型的意义在于突现和均质。突现意味着通过巨大模型的隐含的知识和推纳可带来让人振奋的科学创新灵感出现;均质表示巨量模型可以为诸多应用任务泛化支持提供统一强大的算法支撑。

浪潮信息副总裁刘军将巨量模型比喻为“珠穆朗玛峰”,能够实现“见所未见”,对于科学发现和产业实践都有巨大价值。他认为,生命从简单进化到复杂,这种智能水平本身就是一种模型,如果把模型比作元宇宙中的生命,大模型的这种综合系统能力可能会决定未来数字世界和智能世界里的智能水平。

“2457亿这个参数够不够多呢?实际上还不够多,人的神经元的突触超过100万亿,所以,我们距离这个水平还有很远的路要走。”在刘军看来,未来,人类需要更大的模型、更大的数据、更大的算力,这样才可以拥有更大的智能。

源1.0中文巨量模型的发布,使得中国学术界和产业界可以使用一种通用巨量语言模型的方式,大幅降低针对不同应用场景的语言模型适配难度;同时提升在小样本学习和零样本学习场景的模型泛化应用能力。浪潮人工智能研究院表示,“源1.0”将面向学术研究单位和产业实践用户进行开源、开放、共享,降低巨量模型研究和应用的门槛,有效推进AI产业化和产业AI化的进步,切实为国家在人工智能研究创新和产业发展作出贡献。(战钊)

[ 责编:蔡琳]

标签: 2457亿 参数 巨量 模型