2月20日晚,据复旦大学自然语言处理实验室消息,国内第一个对话式大型语言模型MOSS已由邱锡鹏教授团队发布至公开平台,邀公众参与内测。
市场方面,复旦复华(600624)21日开盘即涨停,收报6.78元,总市值46.42亿元。
复旦复华随后表示,MOSS为复旦大学研发,与公司无关。目前公司的主营业务为生物医药、软件和园区三大板块,未参与MOSS研发。
【资料图】
据了解,MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。
据悉,MOSS开发的过程也包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。不同之处在于,复旦团队采用了不同的技术路线,通过让MOSS和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。
2月20日,复旦团队发布国内首个类ChatGPT模型MOSS,复旦MOSS公开后,引起不少网友关注,由于瞬时访问压力过大,MOSS服务器昨晚还被网友挤崩溃了。
2月21日,MOSS官网发布公告称,MOSS还是一个非常不成熟的模型,距离ChatGPT还有很长的路需要走。我们一个学术研究的实验室无法做出和ChatGPT能力相近的模型,MOSS只是想在百亿规模参数上探索和验证ChatGPT的技术路线,并且实现各种对话能力。“我们最初的想法只是想将MOSS进行内测,以便我们可以进一步优化,没有想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。”公告还解释名称源于《流浪地球》。据了解,在MOSS完成初步验证后,团队会将MOSS的经验、代码、模型参数开源供大家参考。
根据复旦大学计算机科学技术学院官网的介绍,邱锡鹏教授于复旦大学获得理学学士和博士学位。研究方向为自然语言处理、深度学习,发表CCF-A/B类论文70余篇。主持开发了开源自然语言处理工具FudanNLP、FastNLP,获得了学术界和产业界的广泛使用。指导学生多次获得中国人工智能学会优博、中国中文信息学会优博、微软学者、百度奖学金、上海市计算机学会优博等。
邱锡鹏的研究方向是,围绕自然语言处理的机器学习模型构建、学习算法和下游任务应用,包括:自然语言表示学习、预训练模型、信息抽取、中文NLP、开源NLP系统、可信NLP技术、对话系统等。
邱锡鹏的知乎账号显示,他于2月21日凌晨关注了问题“复旦团队发布国内首个类ChatGPT模型MOSS,将为国内大语言模型的探索和应用带来哪些影响?”,但未做任何回复。
据上观新闻,邱锡鹏表示:“尽管MOSS还有很大改善空间,但它的问世证明了在开发类ChatGPT产品的路上,国内科研团队有能力克服技术上的重要挑战。”MOSS研发项目得到了上海人工智能实验室的有力支持。后期,这项工作将通过开源方式和业界社区分享。