RAG数据清洗三大关键点

Title RAG数据清洗三大关键点
Framework RAG
User wy8817399@vip.qq.com
Id 71
Created 3/19/26, 3:06 AM
Modified 3/19/26, 3:06 AM
Published Yes
Content

1、文本切分:500-100字符/chunk,设10%-20%重叠防信息割裂。

2、PDF解析:要做结构感知,用LayoutLM画出边缘线再提取文字或者用GPT-4V/Llama Pass把PDF转成文字再提取文字,核心就是让机器看清楚文档结构,避开基础库乱码

3、存储格式:坚持Markdown,主流的大模型利用了github上大量的md文件加入了训练,对此格式敏感,理解度高。对后续的检索和生成的准确性会大幅度提升

三者环环相扣,从文本切分的语意完整 到 PDF结构准确性 再到 数据存储的格式适配性。把这三个基础环境做扎实RAG的效果就会有很大提升