5月27日消息,摩尔线程、无问芯穹联合宣布,双方已经正式完成MT-infini-3B 3B(30亿参数)规模大模型的实训,基于摩尔线程国产全功能GPU MTT S4000组成的千卡集群,以及无问芯穹的AIStudio PaaS平台。
本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。
据悉,这次的MT-infini-3B模型训练总共用时13.2天,全程稳定无中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。
目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型,在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。
无问芯穹正在打造“M种模型”和“N种芯片”之间的“M x N”中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署,已与摩尔线程达成深度战略合作。
摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,夸娥千卡集群已与无穹Infini-AI顺利完成系统级融合适配,完成LLama2 700亿参数大模型的训练测试。
T-infini-3B的训练,则是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。
就在日前,基于摩尔线程的夸娥千卡集群,憨猴集团也成功完成了7B、34B、70B不同参数量级的大模型分布式训练,双方还达成战略合作。
经双方共同严苛测试,兼容适配程度高,训练效率达到预期,精度符合要求,整个训练过程持续稳定。
凡注有"环球传媒网 - 环球资讯网 - 环球生活门户"或电头为"环球传媒网 - 环球资讯网 - 环球生活门户"的稿件,均为环球传媒网 - 环球资讯网 - 环球生活门户独家版权所有,未经许可不得转载或镜像;授权转载必须注明来源为"环球传媒网 - 环球资讯网 - 环球生活门户",并保留"环球传媒网 - 环球资讯网 - 环球生活门户"的电头。
- 摩尔线程国产GPU重大里程碑!千卡集群完成32024-05-30
- 全球通讯!摩尔线程国产GPU重大里程碑!千2024-05-30
- 【全球新要闻】国家发改委:5月29日国内成2024-05-30
- 【世界快播报】阿里影业发布2024财年业绩:2024-05-30
- 淅川法院老城法庭:六一普法进校园 携手共2024-05-29
- 西平县应急管理局集中学习《法治建设应知2024-05-29
- 探秘动物城 一起“趣”成长——西平县柏2024-05-29
- 【天天聚看点】驻马店市驿城区古城街道:高2024-05-29
- 驻马店开发区城市管理局:全力“护绿” 加2024-05-29
- 全球焦点!西平县应急管理局机关党支部开2024-05-29
- 邓州法院:买卖合同引纠纷 耐心调解促履行2024-05-29
- 保险公司代位求偿 社旗法院倾力调解促当庭2024-05-29
- 每日简讯:南阳市宛城区法院组织开展观看“2024-05-29
- 最新快讯!邓州法院:爱心敲门 情暖童心2024-05-29
- 全球关注:邓州市张楼乡中心幼儿园举办“童2024-05-29
- 遂平县司法局开展“三夏”帮扶慰问活动 每2024-05-29
- 全球视讯!邓州市小杨营镇:战“三夏”优环2024-05-29
- 邓州市高集镇:优服务好保障 助力“三夏”2024-05-29
- 驻马店开发区关王庙乡:倡导新型婚育文化 2024-05-29
- 驻马店市第二十五小学参加“河南省中小学心2024-05-29
- 西平县重渠丁寨小学开展课外兴趣小组活动2024-05-29
- 新消息丨西峡法院:成立山茱萸法庭 服务药2024-05-29
- 全球速递!息县人民法院:调解共赢 实质2024-05-29
- 深度剖析新锐茶饮荷田水铺:听名字就有点苦2024-05-29
- 港股市场正回暖 上市储备企业数量持续增加2024-05-29
- 推动房企高质量发展 大名城稳健经营资产持2024-05-29
- 以便捷“收旧”推动积极“换新” 多地加快2024-05-29
- 内乡县畜牧局机关党支部召开“以案促改”组2024-05-29
- 环球热头条丨西峡农商银行:“增信赋能”让2024-05-29
- 新野县沙堰镇:落实人人持证工作 助力乡村2024-05-29
- 西平县农业农村局渔业发展服务中心党支部组织开展“学习党纪党规及水产养殖质量安全”主题党日活动
- 亲子育儿小妙招|如何培养有幸福感的孩子?
- 天天资讯:建材行业碳达峰试点企业标杆项目现场经验交流会在重庆召开
- 驻马店市驿城区水屯镇:颗粒归仓绘“丰”景 全力以赴战“三夏”
- 田间变身课堂 党员助力农忙——羊山新区双井街道机关党员助力“三夏”生产 环球焦点
- 当前简讯:浙江在全国首创“国外技术壁垒红绿灯”数字大脑
- 新资讯:西平县宋集镇:借力“戏剧舞台”开展平安建设集中宣传活动
- 驻马店市第二十小学开展“社会主义核心价值观记心间”主题班会活动
- 世界快播: 20多个省份实现医保个人账户省内异地家庭共济
- 当前播报:驻马店市第二十五小学举行“第四届诗词大赛”活动
资讯
- 西平县专探乡召开2024年“三夏”生产暨秸秆禁烧工作动员会
- 鼎力公司2024年度职工技术比武大赛开幕
- 国企改革进入关键年 确保年底前完成70%以上改革主体任务|世界观察
- 环球热推荐:西平县司法局开展“典”亮校园 “青春与法同行”宣传活动
- 中国银行邓州支行组织召开银企对接会
- 焦点资讯:驻马店市第二人民医院:提升群众健康意识 助力“农忙”安全
- 西平县二郎镇认真落实“数据+” 劳动力务工信息大排查活动稳步推进
- 固始县将遗产管理人制度引入不动产非公证继承
- 邓州市高集镇卫生院:开展骨质疏松义诊活动 优化辖区居民健康环境 全球焦点
- 环球短讯!“康养福地·厚重鲁山” 河南鲁山县亮相《300秒看家乡》