发布时间:2024-02-15│ 来源:金灵
当地时刻4月12日,微软宣告开源体系结构DeepSpeed Chat,协助用户练习类似于ChatGPT的模型。与现有体系比较,DeepSpeed Chat的速度快15倍以上,可提高模型的练习和推理功率。
关于想要开发类似于ChatGPT模型的研究人员而言,难题之一是市面上缺少支撑端到端的RLHF体系结构。为此,微软开源其体系结构DeepSpeed Chat,协助数据科学家和研究者更易于运用ChatGPT类型的模型。
据介绍,DeepSpeed Chat能够简化ChatGPT类型模型的练习进程、强化推理体会。其间的DeepSpeed-RLHF体系能够在推理和练习两种形式之间进行切换,使杂乱的RLHF练习速率更快、易于大规模推行。
依据微软,DeepSpeed-HE比现有体系快15倍以上,且本钱更低。在微软云Azure上,该体系只需9小时即可练习一个OPT-13B模型,只需18小时即可练习一个OPT-30B模型,且这两种练习别离花费不到300美元和600美元(OPT为脸书母公司Meta发布的言语模型)。
此外,面关于具有1750亿参数的模型,DeepSpeed-HE的练习时刻只需不到一天的时刻。
关于微软开源DeepSpeed Chat,海外闻名科技社区Hacker News的用户总结道,微软不只向OpenAI出资了100亿美元,一起还为大众供给一种免费东西,帮他们研制OpenAI同款产品。也有用户觉得,微软挑选开源DeepSpeed Chat,是为了在业界取得抢先优势。
还有用户觉得这一体系结构远景可期,“我能预见,未来每家公司都会有自己的‘AI模型助理’,其能够定时对企业界部数据来进行练习或更新。公司的电子邮件、slack/team音讯、文档等或许都将成为AI模型的数据来历。”
微柔和OpenAI的协作能够追溯到2019年,在这一年OpenAI取得了微软10亿美元的出资,并对微软独家授权部分AI技能,两边协作替微软云Azure开发人工智能技能。
本年2月初,微软推出搭载ChatGPT同源功用的新版必应(Bing),使得该软件的全球下载量在一夜之间陡增10倍,并蹿升至苹果App Store使用商铺最受喜欢的免费使用榜中的第十位。
(原标题:《人人都能GPT!微软开源DeepSpeed Chat帮用户练习模型》)