LoRA（Low-Rank Adaptation）是一种高效的参数微调方法，其核心思路是在预训练大模型中插入低秩矩阵来学习新任务，同时冻结原始模型参数。这一策略显著降低了训练成本与资源消耗，提升了微调速度与部署灵活性，尤其适用于以模块化、组合调用为特征的 Web3 场景。
传统的大语言模型如 LLaMA、GPT-3 等往往拥有数十亿甚至千亿级参数，直接微调成本高昂。而 LoRA 通过仅训练插入的少量参数矩阵，实现对大模型的高效适配，成为当前最具实用性的主流方法之一。
Direct Preference Optimization（DPO）作为近年来兴起的语言模型后训练方法，常与 LoRA 微调机制协同使用，用于模型行为对齐阶段。相比传统的 RLHF（Reinforcement Learning from Human Feedback）方法，DPO 通过对成对样本的直接优化实现偏好学习，省去了复杂的奖励建模与强化学习过程，结构更为简洁，收敛更加稳定，尤其适合轻量化与资源受限环境下的微调任务。由于其高效与易用性，DPO 正逐渐成为众多去中心化 AI 项目在模型对齐阶段的优选方案。
强化学习（Reinforcement Learning, RL）：后训练微调的未来演进方向
从长期视角来看，越来越多的项目将强化学习（Reinforcement Learning, RL）视为去中心化训练中更具适应性与演化潜力的核心路径。相较于依赖静态数据的监督学习或参数微调机制，RL 强调在动态环境中持续优化策略，天然契合 Web3 网络中异步、异构与激励驱动的协作格局。通过与环境持续交互，RL 能够实现高度个性化、持续增量式的学习过程，为 Agent 网络、链上任务市场及智能经济体构建提供可演化的「行为智能」基础设施。
这一范式不仅在理念上高度契合去中心化精神，也具备显著的系统优势。然而，受限于较高的工程门槛和复杂的调度机制，RL 在当前阶段的落地仍面临较大挑战，短期内尚难广泛推广。
值得注意的是，Prime Intellect 的 PRIME-RL 以及 Gensyn 的 RL Swarm 正在推动 RL 从后训练微调机制向预训练主结构演进，试图构建一个以 RL 为中心、无需信任协调的协同训练体系。
Bagel（zkLoRA）：LoRA 微调的可信验证层Bagel 基于 LoRA 微调机制，引入零知识证明（ZK）技术，致力于解决「链上模型微调」过程中的可信性与隐私保护难题。zkLoRA 并不参与实际的训练计算，而是提供一种轻量、可验证的机制，使外部用户无需访问原始数据或权重，即可确认某个微调模型确实源自指定的基础模型和 LoRA 参数。
与 Gensyn 的 Verde 或 Prime Intellect 的 TOPLOC 所关注的训练过程「行为是否真实发生」的动态验证不同，Bagel 更专注于「微调结果是否可信」的静态验证。zkLoRA 的最大优势在于验证资源消耗低、保护隐私强，但其应用范围通常局限于参数变动较小的微调任务。