AIGC宇宙 AIGC宇宙

RAG

基于Gemini与Qdrant构建生产级RAG管道:设计指南与代码实践

一、RAG技术的核心价值与应用场景在人工智能领域,检索增强生成(Retrieval-Augmented Generation, RAG)正成为解决大语言模型(LLM)知识更新滞后、生成内容不可追溯等问题的关键技术。 传统的微调(Fine-Tuning)方法将知识固化在模型参数中,难以应对动态领域的快速变化;而RAG通过将检索与生成解耦,实现了知识的实时更新与可追溯性,尤其适用于政策频繁变动、对准确性要求极高的场景,如医疗、法律和航空管理。 本文以构建机场智能助理为例,结合Google的Gemini多模态模型与Qdrant向量数据库,详细阐述如何设计并实现一个高可靠、可扩展的生产级RAG管道。
6/3/2025 2:55:00 AM
大模型之路

一文教你玩转 RAG 大模型应用开发

Part.1.RAG这么火,你会用吗? 自从大模型技术走向市场以来,“幻觉”现象总是对用户造成困扰,而RAG(Retrieval-Augmented Generation,检索增强生成)技术正在成为解决这一难题的利器。 国内众多科技大厂在实践RAG技术时都取得了阶段性的成果。
5/30/2025 1:00:00 AM
三笠

RAG系列:问题优化 - 意图识别&同义改写&多视角分解&补充上下文

在实际业务场景中,知识库不会只有单一领域的知识,可能会存在多个领域的知识,如果对用户问题不提前做领域区分,在对基于距离的向量数据库进行检索时,可能会检索出很多与用户问题不属于同一个领域的文档片段,这样的上下文会存在较多的噪音或者不准确的信息,从而影响最终的回答效果。 另一方面知识库中涵盖的知识表达形式也是有限的,但用户的提问方式却是千人千面的,用户遣词造句的方式以及描述问题的角度可能会与向量数据库中存储的文档片段存在差异,这就可能导致用户问题和知识库之间不能很好匹配,从而降低检索效果。 为了解决此问题,我们可以对用户问题进行查询增强,比如对用户问题进行意图识别、同义改写、多视角分解以及补充上下文,通过这几个查询增强方式来更好地匹配知识库中的文档片段,提升检索效果和回答效果。
5/27/2025 12:40:00 AM
燃哥讲AI

基于图的 RAG 方法总结(GraphRAG、 GraphReader、LightRAG、HippoRAG和KAG)

在自然语言处理领域,检索增强生成(RAG)技术通过结合外部知识库与语言模型,显著提升了模型在知识密集型任务中的表现。 近年来,基于图结构的 RAG 方法成为研究热点,通过引入知识图谱的实体关系建模能力,有效解决了传统 RAG 在多跳推理、长文本理解和全局语义捕捉中的局限性。 本文详细分析五种代表性方法:GraphRAG、GraphReader、LightRAG、HippoRAG和KAG ,从实现细节、优缺点及适用场景展开对比。
5/27/2025 12:15:00 AM
Goldma

RAG系列:基于 DeepSeek + Chroma + LangChain 开发一个简单 RAG 系统

创建 Next 项目首先,使用 npx create-next-app@latest 根据提示完成 Next 项目的创建:复制创建好项目之后,在 src/app 目录下新建 rag 目录,本次 demo 的代码都将放在这里。 知识库构建接下来,我们将构建知识库,主要目标是将准备好的 pdf 通过向量化存到向量数据库中,以便后续的检索。 由于本次 RAG 系统的开发都要依赖 LangChain 框架,所以我们先在项目中安装 LangChain 框架和核心依赖:复制文档加载LangChain 的 DocumentLoaders[1] 提供了种类丰富的文档加载器,可加载文件系统的文件也可以加载线上文件,包括 csv、docx、pdf、pptx、html、github、youtube等等。
5/22/2025 6:48:50 AM
赖祥燃

RAG与微调,大语言模型的“大脑升级”,该选哪条路?(小白科普)

最近在做项目时,我发现有些甲方对RAG和模型微调分区的不太清楚,明明大语言模型(LLM)加挂RAG就可以解决的问题,却坚持要微调,但是具体沟通后发现,其实只是不太了解二者的实际用途。 其实,Retrieval-Augmented Generation (RAG) 和微调 (Fine-Tuning) 是两种最常用的LLM的“大脑升级”技术,虽然它们都能提升模型的性能,但工作原理和适用场景却大相径庭。 今天,我就来深入聊聊这两种技术,弄清楚在不同情况下,到底该选 RAG 还是微调。
5/21/2025 3:00:00 AM
贝塔街的万事屋

深度解析大模型技术演进脉络:RAG、Agent与多模态的实战经验与未来图景

作者 | jaymie大模型作为产业变革的核心引擎。 通过RAG、Agent与多模态技术正在重塑AI与现实的交互边界。 三者协同演进,不仅攻克了数据时效性、专业适配等核心挑战,更推动行业从效率革新迈向业务重构。
5/20/2025 8:30:00 AM
腾讯技术工程

大模型应用的能力分级

对大模型应用的能力分级就像给学生打分一样,能让我们更清楚它的本事有多大。 能力分级能帮我们设定目标,知道AI现在能干什么,未来还要学什么。 有了统一的分级方式,大家就能公平比较不同AI的水平,推动技术进步。
4/2/2025 1:25:00 AM
曹洪伟

RAG检索全攻略:Embedding与Rerank模型的终极指南

在构建基于检索增强生成(RAG)的系统时,Embedding Model和Rerank Model扮演着至关重要的角色。 比如你正在搭建一个智能搜索引擎,Embedding Model就像是帮你快速找到相关书籍的“图书管理员”,而Rerank Model则像是一位经验丰富的“资深书评人”,负责从一堆书里精准挑选出最符合你需求的那几本。 两者配合,就像一对完美搭档,确保RAG系统既能找到大量信息,又能精准提炼出最关键的内容。
3/26/2025 11:05:13 AM

三种RAG部署方案:自购GPU硬件 vs 大模型一体机 vs 云端GPU

春节以后这一个半月,算了下我前后也做了 20 的企业知识库落地咨询,其中无论是线上还是线下,被问到最多的一个问题是:要快速落地本地部署的知识库,应该购买什么硬件? 要回答这个问题,其实需要明确很多前置定语,自购 GPU 硬件、大模型一体机、以及选择云端 GPU 都有各自适用的情形。 这篇试图说清楚三种部署方式的主要特点对比,并在文末给些选择建议参考。
3/24/2025 1:17:11 PM
韦东东

RAG(五)BGE-M3,最流行的开源text embedding模型

项目地址: embedding? Text Embedding 是一种将文本数据映射到高维向量空间的技术,这些向量能够捕捉文本的语义信息。 通过将文本嵌入到向量空间中,我们可以利用向量之间的距离或相似性来衡量文本之间的语义相关性。
3/21/2025 7:00:00 AM
Glodma

RAG(三)GraphRAG进阶:GraphReader-- 基于图的Agent,让大模型“读懂”长文本

上一篇论文介绍了GraphRAG,今天来看一篇算是其进阶版的方法--GraphReader。 对于其研究动机,简单来说,LLMs具有强大的规划和反思能力,但在解决复杂任务时,如函数调用或知识图谱问答(KGQA),以及面对需要多次推理步骤的问题时,仍然面临困难。 特别是当涉及到长文本或多文档的处理时,现有的方法往往难以充分利用这些模型的能力来捕捉全局信息,并有效地进行决策。
3/13/2025 12:24:34 PM
Glodma

企业实施RAG过程中:常见误解与澄清,内含项目升级预告

春节之后的一个月的时间内,微信和小红书上数了下大概有 150 多个过来咨询 RAG 在企业落地的网友,一路聊下来按照对方的诉求大概分为三类,第一种是最多的就是年后返工公司领导让落地 RAG,但是一时没有头绪的过来咨询的;第二种是看过我公众号上的相关案例后,想外包给我来做具体实施的;第三种有点出乎意料的是,相关的媒体来交流行业观察的。 第一种类型也是最开始比较多的,最初我也是问啥答啥,但是大概聊了五六个之后发现情况有点不对,大部分其实是比较基础的问题,或者我认为问大模型能比问我更快扫盲的,再加上后来确实肉眼可见的人在变多,我索性和每个人说如果是咨询的话 200 块每小时(现在涨到了 500),这样就大部分人就索性不问了,虽说前后也是有十几个人很干脆的问完问题后直接发了红包,不过不得不说收费确实是个很好的互相筛选。 以上是碎碎念,言归正传,这篇给大家介绍下我目前几个项目实践踩坑过程中总结出的些经验。
3/4/2025 10:53:59 AM
韦东东

一文读懂大模型 RAG:检索、增强与生成的技术详解

大模型(Large Language Model,LLM)的浪潮已经席卷了几乎各行业,但当涉及到专业场景或行业细分领域时,通用大模型往往面临专业知识不足的问题。 相对于成本昂贵的“Post-Training”或“Supervised Fine-Tuning”(监督微调,SFT),基于RAG的技术方案成为了一种更优选择。 本文笔者将从RAG所解决的问题及模拟场景入手,详细总结相关技术细节,与大家分享~一、初识:RAG所解决的问题及模拟场景1.
3/4/2025 9:10:00 AM
小喵学AI

无需联网!DeepSeek-R1+本地化RAG,打造私有智能文档助手

1、写在前面官方开源的版本除了满血的 671b 外,还有 1.5b,7b,8b,14b,32b,70b 六个蒸馏后的尺寸,笔者使用 Ollama 在电脑本地部署了 7b 的模型,在终端中测试了虽然回答没有满血版的那么惊艳,但凑活能用。 作为一款高阶模型开源,确实要 salute 一下。 不过进一步的问题是,我们面对这样的强思维链模型,除了在官网间或 Chat 一下,如何进一步的将其变成工作或生活场景的生产力工具?
2/21/2025 3:56:42 PM
韦东东

DeepSeek开源模型重塑法证审计,个人本地做RAG+微调,25年多试试

全球82亿人口,网民55.6亿,而ChatGPT坐拥3.5亿全球月活,渗透率算下来也有6%左右了。 但这还是DeepSeek-R1开源之前的故事。 1/20 开源以来,DeepSeek-R1属实又硬拉高了一大波全球 AI的渗透率,或者换句话说,是解锁了更多的应用场景。
2/21/2025 2:37:21 PM
韦东东

“RAG界的DeepSeek”开源-企业复杂私域知识理解与推理框架PIKE-RAG

PIKE-RAG框架的设计目标是提供一个灵活且可扩展的RAG系统,应对工业应用中复杂多样的任务需求。 框架的核心是通过有效的知识提取、理解和组织,以及构建连贯的推理逻辑,解决了RAG系统在工业应用中的局限性。 下面来看下PIKE-RAG框架及其实现过程,供参考。
2/17/2025 3:00:00 AM
余俊晖

使用 DeepSeek R1 和 Ollama 搭建一个 RAG 系统(包含完整代码)

你有没有想过,能不能像跟人聊天一样,直接问 PDF 文件或技术手册问题? 比如你有一本很厚的说明书,不想一页页翻,只想问它:“这个功能怎么用? ”或者“这个参数是什么意思?
2/10/2025 11:27:37 AM
wayn