这篇文章详细介绍了华为在混合专家（MoE）模型训练领域的技术突破。文章首先回顾了MoE模型的发展历程，从三十年前加拿大学者的理论奠基，到硅谷巨头的工程实践，再到如今中国科技企业的创新优化。
华为提出的MoGE架构解决了传统MoE模型负载不均衡和效率瓶颈的问题。文章重点阐述了华为团队开发的Adaptive Pipe & EDPB优化方案，该方案通过三个关键技术解决了MoE训练的两大难题：通信等待和负载不均。
第一项技术是DeployMind仿真平台，它能在1小时内模拟百万次训练场景，快速找到最优并行策略。第二项技术Adaptive Pipe实现了98%以上的通信掩盖，通过分层All-to-All通信和自适应调度大幅减少计算等待时间。第三项技术EDPB全局负载均衡则通过专家预测动态迁移、数据重排和虚拟流水线优化，使训练吞吐再提升25.5%。
这些创新技术被形象地比喻为城市交通优化方案：建立"行人地下通道"解决人车混行，部署"智能可变车道"实现动态负载均衡。在Pangu Ultra MoE 718B模型的实测中，该方案带来了72.6%的训练吞吐提升。
文章最后强调，这是华为技术披露系列的第九期内容，旨在分享技术细节，促进业界协作，推动昇腾生态发展。这些创新不仅解决了MoE模型训练的实际问题，也展现了中国科技企业在AI领域的突破能力。
9秒完成上海中考作文"相互成全"，你能得几分？
6月14日，上海中考语文科目考试结束后，备受关注的作文题目"相互成全"正式公布。题目要求考生根据《现代汉语词典》对"成全"的解释，以"相互成全"为题完成一篇600字左右的文章。解放日报·上观新闻记者第一时间邀请本地AI参与同题作文创作，测试...
2025-06-16 19:00
阿里云领投硅基流动A轮融资 半年完成两轮融资 开源大模型推动业务爆发
近日，AI初创企业硅基流动（SiliconFlow）宣布完成数亿元人民币A轮融资。本轮融资由阿里云领投，创新工场等老股东超额跟投，华兴资本担任独家财务顾问。硅基流动创始人袁进辉表示，随着阿里巴巴通义千问Qwen、DeepSeek等开源大模型...
每日经济新闻｜2025-06-11 11:16
美团酒旅战略升级：低调布局转向主动出击
美团近日首次公开了其在旅游AI领域的最新进展，推出国内首个面向酒店商家的AI工具"美团既白"。这款工具将从高效获客、长效经营和重塑服务三个维度，帮助酒店从业者实现从经验决策到数据决策的转变，提升客户入住体验。一直以来，美团在AI领域的布局都...
每日经济新闻｜2025-06-07 13:56
AI盛会再掀热潮，具身智能成新焦点
第七届北京智源大会于6月6日正式开幕，这场被誉为"AI春晚"的盛会再次成为行业焦点。与往年不同，今年的主角从大语言模型转向了具身智能和机器人2.0领域。宇树机器人、天工机器人等企业带来的展示吸引了众多观众围观，现场气氛热烈。大会反映出AI产...
每日经济新闻｜2025-06-07 12:48
华为昇腾鲲鹏联手，大模型训练效率飙升
这篇文章详细介绍了华为在MoE（混合专家）模型训练优化方面的技术突破。文章首先回顾了MoE模型的发展历程，从三十多年前加拿大提出的原始架构，到硅谷科技巨头的工程突破，再到如今中国企业的创新优化。华为提出的MoGE架构解决了传统MoE模型负载...
虎嗅APP｜2025-06-06 11:24
医疗大模型热销背后：医院应用遇冷
2025年6月3日，国产大模型DeepSeek在医疗领域掀起热潮。短短三个多月，全国已有上千家医院完成该模型的本地化部署。医院普遍期待通过大模型提升预问诊、临床诊断、影像分析等环节的效率。例如上海华山医院接入后，患者排队时间减少40分钟，满...
第一财经资讯｜2025-06-04 21:14
蚂蚁集团数据安全总监杨小芳：AI安全与创新如何双赢
随着生成式人工智能技术的快速发展，AI在提升效率和创新应用方面展现出巨大潜力，但同时也带来了新的安全挑战。近期AI换脸诈骗、大模型失控等事件频发，引发了社会各界对技术滥用、隐私保护和伦理风险的广泛讨论。《每日经济新闻》记者专访了蚂蚁集团大模...
2025-06-04 14:00
上海财大推出Fin-eval 6.0：金融大模型评估新标准
上海财经大学前沿人工智能实验室最新发布了Fin-eval 6.0评估基准，这是一项专门用于测试大型语言模型在金融领域专业能力和安全性的重要工具。该基准在原有Fineval评估集基础上进行了全面升级，新增了金融严谨性和金融多模态两个关键评估维...
2025-06-02 07:42
华为发布千亿级大模型，实力领跑AI赛道
华为近日在人工智能领域取得重大突破，推出了参数规模高达7180亿的全新模型——盘古Ultra MoE。这一准万亿级MoE模型完全基于昇腾AI计算平台训练完成，标志着国产AI基础设施自主创新能力迈上新台阶。华为团队通过创新性的Depth-Sc...
每日经济新闻｜2025-06-01 22:00
"R1低调升级，性能碾压大模型"
DeepSeek近期发布了R1-0528版本，虽然官方将其定位为小版本升级，但实际带来的性能提升远超预期。该版本已在官网、APP和小程序全量上线，API接口也已开放。此次升级在编程能力上表现尤为突出，不仅保持了原有价格优势，还在Extend...
字母榜｜2025-05-31 19:28
腾讯混元大模型正式发布：知识库+智能体开发平台全面开放
在2025腾讯云AI产业应用峰会上，腾讯首次全面展示了大模型战略布局。腾讯集团高级执行副总裁汤道生表示，AI技术正加速渗透各行各业，未来每个企业都将成为AI公司，每个人也将成为AI赋能的"超级个体"。腾讯正通过技术创新推动AI在各领域的实际...
2025-05-29 13:05
数坤科技马春娥谈医疗大模型 全科数字医生与医疗场景融合潜力巨大
在5月16日举办的"创业投资与民营经济绽放女性力量"闭门沙龙上，数坤科技创始人马春娥分享了人工智能技术在医疗健康领域的创新应用。作为国内领先的医疗AI企业，数坤科技自2017年成立以来，已开发出超100款数字医生产品，覆盖全国4000多家公...
2025-05-28 13:45
本信息来自互联网，不代表导读网立场，如若转载，请注明出处：http://www.frfey.com/news/72861/
