MoEの並列化戦略を示した図 オープンソースのMoEシステムフレームワークをまとめた表 DeepSpeed-MoE [3] では、MoEに特化した並列化手法が提案されています。 expertごとに計算を分散させることで、大規模なMoEを効率的に学習できるようになりました。