国研经济研究院:讯飞星火大模型大幅超越ChatGPT
- 2023-10-26 10:10:36149
10月24日消息,在今天上午安徽合肥举行的第六届世界声博会暨2023科大讯飞全球1024开发者节现场,科大讯飞董事长刘庆峰宣布正式发布星火大模型3.0。
据介绍,根据国务院发展研究中心国研经济研究院的横评报告,讯飞星火大模型综合能力超越ChatGPT,甚至在部分行业优于GPT-4,处于国内领先、国际一流的地位。
数据显示,截至今年8月份,我国已发布的大模型达156个,其中10亿级参数规模以上大模型超过80个,在大模型数量上已接近美国。
但是如此多的AI大模型,实际行业应用能力究竟如何呢?
对此国研经济研究院开展了一项大模型行业应用能力测评研究,通过评估各大模型在不同行业的表现,对比我国大模型与国际一流大模型之间的优劣势。
根据测评结果显示,星火大模型3.0版在医学、法律、教育、零售、汽车工程、计算机和工业设计行业的综合准确率均优于GPT3.5版,并且与GPT4.0各有优劣。
尤其是在教育、医疗、法律行业表现突出,在医疗、法律行业分别超越GPT4 5.3%和4.1%,在教育行业的表现与GPT4差距小于1%。
此外,刘庆峰还表示,中国的大模型不能只用中文,星火大模型3.0的中文能力已经超越ChatGPT,英文能力与ChatGPT相当。