RAG下向量检索与关键词检索差异与场景区别
在RAG（检索增强生成）中，向量检索和关键词检索是两种核心的检索算法，它们的底层逻辑、适用场景和优劣势截然不同。以下从技术原理、算法差异到应用场景的对比分析：一、核心差异二、算法原理对比1. 关键词检索（Keyword Search）o 核心算法：如BM25（改进的TF-IDF）...
Elasticsearch遇上BERT:使用Elasticsearch和BERT构建搜索引擎
作者：Hironsan编译：ronghuaiyang导读强强联合，看看是否能有1+1＞2的效果。在这篇文章中，我们使用一个预先训练好的BERT模型和Elasticsearch来构建一个搜索引擎。Elasticsearch最近发布了带有矢量字段的文本相似性搜索。另一方面，你可以使用BERT将文本转换为...
智能问答:基于 BERT 的语义模型
背景飞书智能问答应用于员工服务场景，致力于减少客服人力消耗的同时，以卡片的形式高效解决用户知识探索性需求。飞书智能问答整合了服务台、wiki 中的问答对，形成问答知识库，在综合搜索、服务台中以一问一答的方式将知识提供给用户。...
Bert不完全手册5. 推理提速?训练提速!内存压缩!Albert
Albert是A Lite Bert的缩写，确实Albert通过词向量矩阵分解，以及transformer block的参数共享，大大降低了Bert的参数量级。在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但...
Bert模型的参数大小计算
《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》...
RAG是什么
1. RAG 的工作流程（分步骤拆解）RAG 的实现通常分为 数据准备、检索、增强生成 三个阶段：(1) 数据准备阶段● 目标：构建可检索的外部知识库。● 关键步骤：○ 数据收集：从文档、数据库、网页等渠道获取原始数据（如 PDF、HTML、JSON）。...
BERT庖丁解牛
BERT: Pre-training of Deep Bidirectional Transformers for Language Understandin。 微信公众号的标题容不下一篇论文的标题，真是差评啊。BERT的全称是Bidirectional Encoder Representation...
内存用量1/20，速度加快80倍，QQ提全新BERT蒸馏框架，未来将开源
机器之心发布机器之心编辑部腾讯 QQ 团队研究员对 BERT 进行了模型压缩，在效果损失很小的基础上，LTD-BERT 模型大小 22M，相比于 BERT 模型内存、存储开销可降低近 20 倍，运算速度方面 4 核 CPU 单机可以预测速度加速 80 余倍。相关代码和更多结果将在近期开源。BERT...
大模型知识点-向量的含义是什么?
在大模型中，向量（Vector） 是高维空间中的数值表示，用于将非结构化数据（如文本、图像、音频等）转换为计算机可处理的数学形式。向量通过捕捉数据的语义、语法或特征信息，使模型能够进行高效的数学运算和模式识别。下面详细解释一下。一、向量在大模型中的含义...