英伟达开源3400亿参数模型Nemotron-4 340B
时间:2024-06-15 00:00:00来自:第一财经字号:T  T

当地时间6月14日,英伟达开源Nemotron-4340B(3400亿参数)系列模型。据英伟达介绍,开发人员可使用该系列模型生成合成数据,用于训练大型语言模型(LLM),用于医疗保健、金融、制造、零售和其他行业的商业应用。

Nemotron-4340B包括基础模型Base、指令模型Instruct和奖励模型Reward。英伟达使用了9万亿个token(文本单位)进行训练。Nemotron-4340B-Base在常识推理任务,如ARC-c、MMLU和BBH基准测试中,可以和Llama-370B、Mixtral8x22B和Qwen-272B模型媲美。

本站郑重声明:所载数据、文章仅供参考,使用前请核实,风险自负。
© 2008 北京济安金信科技有限公司 北京合富永道财经文化传媒有限公司
京ICP备12044478号 版权所有 复制必究
本站由 北京济安金信科技有限公司 提供技术支持