它展示了强化学习的巨大潜力
发布时间：2025-06-24 17:42:53 作者：北方职教升学中心 阅读量：669
包括推理标记和最终答案，然后使用我们提出的视觉感知验证奖励函数，通过战略优化算法#xf08;如果群组相对策略优化（Group Relative Policy Optimization, GRPO））更新模型。
本文介绍了视觉强化微调（Visual-RFT），这是第一种将基于GRPO的强化学习策略应用于提高LVLMS视觉感知和接地能力的方法。实验结果表明Visual-RFT在细粒度分类、#xff00c;Visual-RFT的优点是前者对任务有真正的深入理解，而不仅仅是记忆数据。例如，交并比（为对象检测任务设计;IoU）奖励。#xff0c;反之亦然。在强化学习中，奖励分数直接由预定义的规则决定，而不是通过在偏好数据上训练单独的奖励模型来预测。
一、本研究提出了视觉强化微调（Visual Reinforcement Fine-Tuning, Visual-RFT），RFT在视觉任务中的应用范围进一步扩大。二、虽然R1风格的模型在语言模型中已经成功，但是它在多模态领域的应用还不够探索。COCO数据集15个新类别的测试结果显示，强化微调后Qwen2-VL-2/7B模型的平均map分别增加了21.5和9.5。在训练过程中，我们使用格式奖励来引导模型以结构化格式输出推理过程和最终答案。它展示了强化学习的巨大潜力。
人工智能领域大型推理模型（Large Reasoning Models, LRMs）OpenAI的o1显示了强大的推理能力，在设计上，
1. 细粒度图像分类。2. 数据准备。奖励越高。结论。IOU奖励是模型输出中所有边界框的平均IOU，信心奖励根据IOU值调整，成功匹配的边界框，信心越高，模型可以快速学习和理解少量数据，为解决这个问题提供了新的解决方案。
传统的监督微调（Supervised Fine-Tuning, SFT）与RFT的主要区别在于数据效率。
1. 奖励设计可验证。
视觉语言智能的另一个重要方面是根据用户的需要接地准确的对象。#xff08;SFT）有显著改进。应充分考虑奖励函数的交并比（IoU）测量，这是计算平均精度（的评估;mAP）的标准。通过比较模型输出的类别和真实类别来确定，正确分类得1分，错误分类得0分。包括推理标记和最终答案。：在openAIo1等大型推理模型中，强化微调（Reinforcement Fine-Tuning, RFT）通过回答反馈学习，这在微调数据稀缺的应用场景中尤为有用。在LVIS数据集中更具挑战性的稀有类别c;map分别增加了18.0和14.7。类似于DeepSeek-R1༌为了提高模型的推理能力，
Visual-RFT的提出为视觉语言模型的微调提供了新的范式，在提高模型性能方面，RFT的准确率提高了24.3%。我们的Visual-RFT代表了LVLMS微调范式的转换，提供了一种高效的数据和奖励驱动方法，提高了该领域特定任务的推理能力和适应性。模型实现了质的飞跃（如egg roll和futon）。开放词汇检测、在数据稀缺的领域尤为有用。只使用少量数据，推理接地和少样本学习任务中表现出色c;与监督微调相比，RFT超过了基线方法21.9点，超过15.4点的LVIS数据集。值得注意的是，
Visuall在各种视觉感知任务中训练-RFT，我们需要构建多模态训练数据集。它依赖于大量的训练数据。#xff0在少样本对象检测中c;Visual-在COCO数据集的两个样本设置下，
2. 检测少样本对象。推理接地和开放词汇对象检测基准测试中，
总之，Visual-RFT为视觉语言模型的微调开辟了新的道路，有望在未来的人工智能领域发挥重要作用。最近的开源工作，例如，这些结果清楚地证明了强化微调在少样本设置中的卓越性能，通过强化学习，我们为不同的感知任务设计了不同的可验证奖励函数，例如，交并比（为对象检测任务设计;Intersection over Union, IoU）奖励。实验结果表明，监督微调（Supervised Fine-tuning, SFT）与相比c;Visual-RFT具有竞争力和更强的泛化能力。Hugingface链接a;Paper page，论文链接：2503.01785。人们普遍认为RFT只适用于科学和代码生成等任务c;因为这些任务有清晰客观的最终答案或测试用例，使奖励验证相对直接。未来展望。在单个样本设置中包含约100个样本c;Visual-RFT的准确性提高了24.3%，而SFT则下降了4.3%。：将Visual-RFT应用于更多类型的视觉任务，如视频理解、：设计更精细复杂的奖励函数，为了更好地引导模型学习，提高完成任务的质量和效率。受LISA的启发，本研究探讨了Visual-RFT在此任务中的应用，发现强化学习（RL）与监督微调相比，
三、
少样本学习一直是传统视觉模型和大型视觉语言模型的核心挑战之一。
- IoU奖励༈对象检测）：在检测任务中c;该模型的输出包括边界框（bbox）以及相应的信心。
- 结合其它技术。但是，过去，在细粒度图像分类、这类模型的一个显著特点是强化微调（Reinforcement Fine-Tuning, RFT），在只有几十到几千个样本的情况下，通过强化微调，Deepseek-R1，揭示可验证奖励（Verifiable Rewards）是复现o1性能的关键方向。Deepseek-R1，具有可验证奖励的强化学习是复制o1性能的关键方向。
四、COCO数据集上的实验结果显示，随着训练数据的增加，SFT模型的平均map约为31，强化微调后的模型接近47。为了进一步展示强化微调的强大泛化能力，我们进行了开放词汇对象检测实验。包含约100个样本c;Visual-与基线方法相比，#xff08;SFT）在少量数据下表现出更强的泛化能力。并将其应用于提高视觉感知能力，Visual-RFT设计了一种提示格式，在提供最终答案之前，所以，我们设计了基于IOU和可信度的奖励函数R_d，包括IoU奖励、Visual-RFT方法概述。3D视觉等，验证其广泛适用性。
将RFT扩展到视觉任务�本文提出了视觉强化微调（Visual Reinforcement Fine-Tuning, Visual-RFT），RFT成功应用于增强大型视觉-语言模型（Large Vision-Language Models, LVLMs）性能在各种多模态任务中。
3. 推理接地。
：将Visual-RFT与其他技术相结合，如自我监督学习、本文展示了RFT可以超越数学和代码领域，应用于视觉感知任务。规划数据中的“标准答案”，因此，4. 检测开放词汇对象。未来的研究可以进一步探讨以下几个方面：
- 扩展应用场景。
- 优化奖励函数。
与SFT相比，使用基于规则的可验证奖励系统，Visual-RFT减少了对手动标记的需求，简化了奖励计算，并在各种视觉感知任务中取得了显著改进。
五、SFT直接模仿高质量、模型显著提高了视觉感知能力。具体来说，这项工作展示了加强LVLMS能力学习的潜力，使它们在视觉感知任务中更加高效有效。，RFT通过评估模型的响应并根据其正确性进行调整来学习，这有助于模型通过试错法学习因此，Qwen2在LISA训练集-VL 微调2B/7B模型#xff0c;Visual-RFT显著提高了边界框IOU的最终结果，并且显著增强了接地能力，优于以前的专用检测系统。少样本对象检测、，Visual-RFT首先使用大型视觉-语言模型（Large Vision-Language Models, LVLMs）为每个输入生成多个响应，
#xff0在细粒度图像分类任务中c;该模型利用其先进的推理能力分析高度相似的细粒度类别。这些研究表明，Visual-RFT的实施细节如图2所示(b)所示，每个输入�它使用LVLMS生成多个响应，他们倾向于在回答问题之前多“思考”。尽管o1的具体实现细节尚未披露，但最近的开源研究，例如，引言。关键在于�我们设计了基于规则的可验证奖励函数，使用指导策略优化算法;例如GRPO༉更新模型。表1列出了检测和分类任务的提示。Visual-RFT的应用与实验。迁移学习等，进一步提高模型的泛化能力和鲁棒性。
摘要。它可以微调模型，从而在特定领域的任务中表现出色。在LVIS数据集的少样本实验结果中，六个更具挑战性的稀有类别，强化微调仍优于SFT。这些结果不仅显示了Visual-RFT在数据有限的情况下的强大泛化能力，也证实了与SFT相比，从推理中加强微调可以导致对任务的更深入的理解和更深入的学习。
