RAG Assistant
Hệ thống AI hỏi đáp tài liệu cục bộ với OCR và tìm kiếm tương đồng vector.
// BỐI CẢNH & MỤC TIÊU DỰ ÁN
RAG Assistant là giải pháp hỗ trợ hỏi đáp trực tiếp trên tài liệu người dùng tải lên, vận hành trên máy chủ cục bộ mà không phụ thuộc vào API AI thương mại bên ngoài.
Hệ thống tự động xử lý tài liệu tải lên, phân tách văn bản thành các đoạn ngữ nghĩa, sinh vector embeddings và đưa ngữ cảnh phù hợp nhất vào mô hình ngôn ngữ lớn để trả lời câu hỏi chính xác.
Sơ đồ kiến trúc & Quy trình xử lý
Tải lên & Trích xuất
Nhận file PDF/DOCX/Ảnh, trích xuất text qua PyPDF hoặc Tesseract OCR.
Phân đoạn & Embedding
RecursiveCharacterTextSplitter chia nhỏ 1000 ký tự và mã hóa vector qua nomic-embed-text.
Lập chỉ mục FAISS
Lưu trữ vector trong FAISS Index để tìm kiếm vector tương đồng nhanh chóng.
Truy xuất & Trả lời
Truy xuất top chunks liên quan và cấp ngữ cảnh vào Ollama Qwen2.5:7B qua REST API.
Các vấn đề trọng tâm và cách tiếp cận
Trích xuất văn bản từ nhiều định dạng khác nhau
Phối hợp giữa PyPDF cho tài liệu số chuẩn và Tesseract OCR cho các tài liệu dạng scan hình ảnh.
Cân bằng kích thước Chunk và Overlap
Thiết lập cấu hình phân đoạn 1000 ký tự với overlap 150 để giữ nguyên vẹn ngữ nghĩa câu mà không bị đứt đoạn ý giữa các chunk.