Model Bahasa Besar (LLMs) seperti GPT-4 dan Claude sangat berkuasa, tetapi mengalami batasan asas: pengetahuan mereka dibekukan pada masa latihan. Retrieval-Augmented Generation (RAG) menyelesaikan masalah ini.

Masalah: Batasan LLM

1. Pengetahuan statik.
2. Halusinasi: menjana maklumat yang munasabah tetapi palsu.
3. Tiada akses kepada data peribadi.

Apakah RAG?

Cara RAG Berfungsi

Fasa 1: Pengindeksan

Fasa 2: Pengambilan + Penjanaan

Membina Saluran RAG dengan LangChain

Pemasangan

pip install langchain langchain-openai langchain-community chromadb

Langkah 1: Muat Dokumen

from langchain_community.document_loaders import (
    PyPDFLoader,
    WebBaseLoader,
    DirectoryLoader,
    TextLoader,
)

pdf_loader = PyPDFLoader("docs/manual.pdf")
pdf_docs = pdf_loader.load()

web_loader = WebBaseLoader("https://docs.example.com/guide")
web_docs = web_loader.load()

dir_loader = DirectoryLoader("./knowledge_base", glob="**/*.md", loader_cls=TextLoader)
md_docs = dir_loader.load()

all_docs = pdf_docs + web_docs + md_docs

Langkah 2: Pecahkan Dokumen kepada Chunks

from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200,
    separators=["\n\n", "\n", ". ", " ", ""],
)

chunks = text_splitter.split_documents(all_docs)
print(f"Original documents: {len(all_docs)}, Chunks: {len(chunks)}")

Langkah 3: Cipta Embeddings dan Vector Store

from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores import Chroma

embedding_model = OpenAIEmbeddings(model="text-embedding-3-small")

vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embedding_model,
    persist_directory="./chroma_db",
)

Langkah 4: Cipta Retriever

retriever = vectorstore.as_retriever(
    search_type="similarity",
    search_kwargs={"k": 4},
)

relevant_docs = retriever.invoke("How does authentication work?")
for doc in relevant_docs:
    print(doc.page_content[:200])
    print("---")

Langkah 5: Bina Rantaian RAG

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="gpt-4o", temperature=0)

prompt = ChatPromptTemplate.from_template("""
Answer the question based only on the provided context.
If the context does not contain enough information, say you don't know.

Context:
{context}

Question: {question}

Answer:
""")

def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

rag_chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

response = rag_chain.invoke("How does authentication work in the system?")
print(response)

Teknik RAG Lanjutan

Multi-Query Retrieval, Contextual Compression, Hybrid Search, dan Conversational RAG adalah teknik lanjutan utama untuk meningkatkan kualiti jawapan.

Amalan Terbaik

1. Pilih saiz chunk yang betul.
2. Gunakan metadata dokumen.
3. Nilai kualiti menggunakan RAGAS.
4. Uruskan kemas kini dokumen.
5. Tambah re-ranker.

Kesimpulan

RAG telah menjadi seni bina standard untuk membina aplikasi AI. LangChain memudahkan pelaksanaan dengan banyak.

Langkah seterusnya:

• Eksperimen secara tempatan: Mulakan dengan ChromaDB.
• Terokai LangSmith: LangSmith.
• Cuba model embedding yang berbeza.
• Semak dokumentasi: Dokumentasi LangChain.