1、文本切分:500-100字符/chunk,设10%-20%重叠防信息割裂。
2、PDF解析:要做结构感知,用LayoutLM画出边缘线再提取文字或者用GPT-4V/Llama Pass把PDF转成文字再提取文字,核心就是让机器看清楚文档结构,避开基础库乱码
3、存储格式:坚持Markdown,主流的大模型利用了github上大量的md文件加入了训练,对此格式敏感,理解度高。对后续的检索和生成的准确性会大幅度提升
三者环环相扣,从文本切分的语意完整 到 PDF结构准确性 再到 数据存储的格式适配性。把这三个基础环境做扎实RAG的效果就会有很大提升
RAG数据清洗三大关键点
| Title | RAG数据清洗三大关键点 |
|---|---|
| Framework | RAG |
| User | wy8817399@vip.qq.com |
| Id | 71 |
| Created | 3/19/26, 3:06 AM |
| Modified | 3/19/26, 3:06 AM |
| Published | Yes |
Content