The Garden / Blog

Blogs, page 12

2026-04-06 · blog

Small-Token

梳理 RAG 系统中短 Token 的识别与过滤：从 jieba 分词原理到停用词表、IDF 筛选、信息熵与标点比例等方法，再到 Query 过滤、降权、改写与短 Token 命中判定策略。专题系列 · 12 min read