Megablocks

MegaBlocks 是一个轻量级的混合专家（MoE）训练库，提供高效的无丢弃 MoE 与标准 MoE 层，专注于大规模语言模型的稀疏训练加速。