AI 理财能力：阿联酋打造的猎鹰

据东辰网6月13日消息，众所周知，阿联酋一直在科技和教育行业投入大量资金。最近，阿联酋技术与创新研究所(TII) 创建了一个具有400 亿个参数的语言模型Falcon-40B，在Hugging Face 的OpenLLM 排行榜中排名第一并继续占据主导地位，击败了LLaMA、StableLM 和RedPajama 等之前的竞争者。

据阿联酋技术与创新研究所（TII）消息人士透露，Falcon-40B 使用了384 个GPU 进行了2 个月的训练，并用近5 亿个Token 进行了训练。为了提升训练过程的质量，团队还建立了一套工作流程，筛选出“最优质的数据”用于AI模型训练。在多个基准测试中优于LLaMA、Vicuna 和Alpaca。

此外，团队还采用了“Multiqery attention”机制来提升模型的效率。 “multiple query attention”机制是指模型可以对每个Token进行多次查询，以更好地表示同一序列中不同token之间的关系，从而在加速模型运行效率的同时降低模型的复杂度，以及然后提高模型的整体可维护性。

“2023 年将是人工智能之年。猎鹰模型对我们来说是一个里程碑，但这仅仅是个开始，”阿联酋科学、技术与创新研究所首席执行官Ray O. Johnson 博士说。

东辰网注意到猎鹰模型已经在huggingface上开源了。当前的开源版本包括Falcon-7B-Instruct 和Falcon-40B-Instruct。东辰网的朋友可以访问这里。