微调

越脏越安全？哈佛团队研究：10%毒性训练让大模型百毒不侵

最近，一项关于 4chan 的“毒性”实验颠覆了 AI 社区的集体直觉： ——原来，适度地喂模型吃“毒”，反而能让它更容易“解毒”。长期以来，大模型训练的默认路线是“干净数据优先”。 OpenAI、Anthropic、Google DeepMind 等公司，都花费巨资雇佣标注团队，把网络文本里的暴力、歧视、骚扰言论清洗得一干二净——因为没人愿意让自己的模型变成“种族主义诗人”或“厌女主义讲师”。

6/16/2025 3:00:00 AM

RAG与微调，大语言模型的“大脑升级”，该选哪条路？（小白科普）

最近在做项目时，我发现有些甲方对RAG和模型微调分区的不太清楚，明明大语言模型（LLM）加挂RAG就可以解决的问题，却坚持要微调，但是具体沟通后发现，其实只是不太了解二者的实际用途。其实，Retrieval-Augmented Generation (RAG) 和微调 (Fine-Tuning) 是两种最常用的LLM的“大脑升级”技术，虽然它们都能提升模型的性能，但工作原理和适用场景却大相径庭。今天，我就来深入聊聊这两种技术，弄清楚在不同情况下，到底该选 RAG 还是微调。

5/21/2025 3:00:00 AM

贝塔街的万事屋

DeepSeek定制训练：微调与推理技术应用

一. 前言介绍本文内容：模型加载与预处理：详细讲解如何加载预训练模型、分词器，并处理输入数据集。 LoRA配置：介绍如何使用LoRA技术配置模型，并高效进行微调，节省计算资源。

4/30/2025 9:19:32 AM

7B级形式化推理与验证小模型，媲美满血版DeepSeek-R1，全面开源！

研究团队构成：香港科技大学、中国科学院软件研究所、西安电子科技大学和重庆大学。团队核心成员：香港科技大学的研究助理教授曹嘉伦，主要研究领域包括 AI&SE、人工智能测试、形式化验证等；中国科学院软件研究所副研究员陆垚杰，主要研究领域包括大语言模型及其应用。随着 DeepSeek-R1 的流行与 AI4Math 研究的深入，大模型在辅助形式化证明写作方面的需求日益增长。

3/8/2025 3:46:00 PM

机器之心

DeepSeek开源模型重塑法证审计，个人本地做RAG+微调，25年多试试

全球82亿人口，网民55.6亿，而ChatGPT坐拥3.5亿全球月活，渗透率算下来也有6%左右了。但这还是DeepSeek-R1开源之前的故事。 1/20 开源以来，DeepSeek-R1属实又硬拉高了一大波全球 AI的渗透率，或者换句话说，是解锁了更多的应用场景。

2/21/2025 2:37:21 PM

韦东东

微调已死，强化微调万岁

编辑 | 言征出品 | 51CTO技术栈（微信号：blog51cto）OpenAI第二天的直播，奥特曼没有出镜，几位OpenAI的研究员带了一场AI模型的定制魔法秀！ “这不是标准的微调......它利用强化学习算法，将我们从高级高中水平带到专家级博士水平。 ”1.12个样本，就能让定制o1超过满血o1标准的微调已经过时了，这次 OpenAI 打破了 AI 定制的界限。

12/10/2024 9:07:17 AM

言征

OpenAI 活动第二弹：“强化微调”打造领域专家 AI 模型，阿尔特曼称其为今年最大惊喜

OpenAI 启动了为期 12 天的“shipmas”新品发布周期，将推出一系列新功能、新产品以及相关演示。本次活动第二日，OpenAI 推出了强化微调（Reinforcement Fine-Tuning），帮助开发者和机器学习工程师打造针对特定复杂领域任务的专家模型。

12/7/2024 7:15:37 AM

故渊

在家中完成LLM微调高效指南（上）

编辑 | 言征出品 | 51CTO技术栈（微信号：blog51cto）LLM在生成文本和理解信息方面非常有效，但它们最终受限于训练数据的语料库。例如，如果你让一个通用的预训练模型回答与你的业务特定流程或操作有关的问题，最好的结果是它拒绝，最坏的情况是它会信誓旦旦地给出一个看似合理但错误的答案。当然，你可以通过自己训练一个模型来解决这个问题，但所需的资源往往超出实际可行的范围。

11/11/2024 1:33:28 PM

言征

微调 GPT-4o AI 模型新维度，OpenAI 开放图片视觉微调功能

OpenAI 公司昨日（10 月 1 日）发布博文，宣布为 GPT-4o 模型引入视觉微调（vision fine-tuning）功能，除了文本之外还支持微调图像。OpenAI 表示自开放微调 GPT-4o 以来，数十万开发者使用数据集（仅文本）微调了该模型，从而提高了驾驭某些特定任务的能力。OpenAI 在博文中展示了一些合作伙伴的微调案例：Garb ：通过视觉微调，提升了交通标志定位准确性 20% 和限速标志定位 13%。Automat：成功率从 16.60% 提升至 61.67%，并在信息提取任务中 F1 分

10/2/2024 2:00:13 PM

故渊

《Python机器学习》作者科普长文：从头构建类GPT文本分类器，代码开源

学起来吧！近日，机器学习研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又分享了一篇长文，主题为《从头开始构建一个 GPT 风格的 LLM 分类器》。文章展示了如何将预训练的大型语言模型（LLM）转化为强大的文本分类器。AI在线对文章内容进行了不改变原意的编译、整理：为什么要关注分类呢？首先，针对分类任务，对预训练模型进行微调是一个简单有效的 LLM 知识入门方式。其次，文本分类有许多商业应用场景，比如：垃圾邮件检测、情感分析、客户反馈分类、主题分类等等。阅读完本文，你将找到以下

9/28/2024 2:24:00 PM

机器之心

OpenAI 开放 GPT-4o 定制功能，企业可更轻松打造专属 AI 助手

OpenAI 推出了一项新功能，允许企业客户使用自己的数据来定制其最强大的 AI 模型 GPT-4o。此举旨在应对日益激烈的 AI 企业应用竞争，并满足企业对 AI 投资回报的更高要求。所谓定制，即业界所称的“微调（fine-tuning）”。通过微调，现有 AI 模型可以针对特定任务或领域进行优化。例如，一家滑板公司可以微调 AI 模型，使其成为能够回答有关轮子和滑板护理问题的客服聊天机器人。此前，OpenAI 仅允许用户微调其较小的模型，如 GPT-4o mini。而此次开放 GPT-4o 和 GPT-4 的微

8/21/2024 6:53:18 AM

远洋

OpenAI 新动态：改善微调 API，扩展定制模型计划

感谢OpenAI 公司近日发布新闻稿，宣布改善微调（fine-tuning）API，并进一步扩展定制模型计划。IT之家翻译新闻稿中关于微调 API 的相关改进内容如下基于 Epoch 的 Checkpoint Creation在每次训练 epoch（将训练数据集中的所有样本都过一遍（且仅过一遍）的训练过程）过程中，都自动生成一个完整的微调模型检查点，便于减少后续重新训练的需要，尤其是在过拟合（overfitting，指过于紧密或精确地匹配特定数据集，以至于无法良好地拟合其他数据或预测未来的观察结果的现象）的情况下。

4/5/2024 9:33:50 AM

故渊