效果可达OpenAI等效模型96% 国产开源AI语言模型TigerBot发布
作者:网络整理 • 更新时间:2023-06-08 18:56:14 •阅读
IT之家6月8日消息,国产多模态大语言模型TigerBot近日正式发布,包括70亿参数和1800亿参数两个版本,目前已在GitHub上开源。
图源TigerBot的GitHub页面据悉,TigerBot带来的创新主要在于:
一种提出指令以完成监督微调的创新算法提高了模型的可学习性
使用集成和概率建模方法来实现可控的事实和创造力
突破deep-speed in parallel training等主流框架内存和通信问题
此外,该模型还针对中文更不规则的分布,从tokenizer到训练算法做了更合适的优化。
虎博科技官网研究员陈烨表示:“该模型仅使用少量参数即可快速理解人类提出什么样的问题。根据OpenAI InstructGPT论文在NLP公开数据集上的自动评估,TigerBot-7B达到了同等规模OpenAI模型综合性能的96%。”
图源TigerBot 的GitHub 页面声称TigerBot-7B-base 的性能“优于OpenAI 的等效和可比模型”,开源代码包括双卡推理180B 模型的基本训练和推理代码、量化和推理代码。数据包括100G预训练数据,有监督微调1G或100万条数据。
东辰网的朋友可以在这里找到GitHub的开源项目。
本文由网络整理发布,不代表东辰网立场,转载联系作者并注明出处:https://www.ktwxcd.com/sszx/64164.html