效果可达OpenAI等效模型96% 国产开源AI语言模型TigerBot发布

IT之家6月8日消息，国产多模态大语言模型TigerBot近日正式发布，包括70亿参数和1800亿参数两个版本，目前已在GitHub上开源。

图源TigerBot的GitHub页面据悉，TigerBot带来的创新主要在于：

一种提出指令以完成监督微调的创新算法提高了模型的可学习性

使用集成和概率建模方法来实现可控的事实和创造力

突破deep-speed in parallel training等主流框架内存和通信问题

此外，该模型还针对中文更不规则的分布，从tokenizer到训练算法做了更合适的优化。

虎博科技官网研究员陈烨表示：“该模型仅使用少量参数即可快速理解人类提出什么样的问题。根据OpenAI InstructGPT论文在NLP公开数据集上的自动评估，TigerBot-7B达到了同等规模OpenAI模型综合性能的96%。”

图源TigerBot 的GitHub 页面声称TigerBot-7B-base 的性能“优于OpenAI 的等效和可比模型”，开源代码包括双卡推理180B 模型的基本训练和推理代码、量化和推理代码。数据包括100G预训练数据，有监督微调1G或100万条数据。

东辰网的朋友可以在这里找到GitHub的开源项目。