2021年6月北京智源研究院（BAAI）推出了悟道1.0的后续版本悟道2.0作为中国第一个超大规模智能模型系统。悟道是一个语言模型旨在在人类层面的思维上超越OpenAI的GPT-3和谷歌的LaMDA。经过4.9TB的图像和文本训练并在9个基准上超过了最先进（SOTA）水平悟道比任何同行都更接近于实现通用人工智能（AGI）和人类水平的思维。
悟道接受了4.9TB高质量英文和中文图像和文本的训练：
1.2TB中文文本数据
2.5TB中文图形数据
1.2TB英文文本数据
悟道是基于开源的MoE系统FastMoE进行训练的。MoE是一种机器学习技术其工作原理如下：
将预测建模任务划分为子任务针对每个子任务训练专家（学习者）模型开发门控模型该门控模型基于要预测的输入来学习咨询哪个专家并组合预测。FastMoE使悟道能够并行咨询不同的专家模型并切换到预测结果最好的模型。例如如果输入是英文文本悟道将使用预测模型该模型可以在英文文本中生成回应。
