，国产多模态大语言模型TigerBot近日正式发布，包含70亿参数和1800亿参数两个版本，目前已经在GitHub开源。
图源TigerBot的GitHub页面
据悉，TigerBot带来的创新主要在于:
提出指令完成监督微调的创...
，国产多模态大语言模型 TigerBot 近日正式发布，包含 70 亿参数和 1800 亿参数两个版本，目前已经在 GitHub 开源。
据悉，TigerBot 带来的创新主要在于:
-
提出指令完成监督微调的创新算法提升模型可学习性
-
运用 ensemble 和 probabilistic modeling 的方法实现可控事实性和创造性
-
在并行训练上突破 deep-speed 等主流框架中的内存和通信问题
此外，该模型还针对中文语言更不规则的分布，从 tokenizer 到训练算法上做了更适合的优化。
据称，其中 TigerBot-7B-base 的表现“优于 OpenAI 同等可比模型” ，开源代码包括基本训练和推理代码，双卡推理 180B 模型的量化和推理代码。数据包括 100G 预训练数据，监督微调 1G 或 100 万条数据。
IT之家小伙伴们可以在这里找到 GitHub 的开源项目。
免责声明：本文内容来源于第三方或整理自互联网，本站仅提供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。
