[LangChain] 🔀 Ensemble Retriever로 RAG 검색 정확도 높이기: BM25 + Vector 하이브리드 검색

from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_core.documents import Document

# 샘플 문서
docs = [
    Document(page_content="쿠버네티스(Kubernetes)는 컨테이너 오케스트레이션 플랫폼입니다."),
    Document(page_content="Docker는 컨테이너 기반 가상화 기술로 애플리케이션을 패키징합니다."),
    Document(page_content="Helm은 쿠버네티스 패키지 매니저로 차트를 통해 배포를 관리합니다."),
    Document(page_content="Prometheus는 시계열 데이터베이스 기반의 모니터링 솔루션입니다."),
    Document(page_content="Istio는 서비스 메시로 마이크로서비스 간 통신을 관리합니다."),
]

# BM25 리트리버 (키워드 기반)
bm25_retriever = BM25Retriever.from_documents(docs)
bm25_retriever.k = 3  # 반환할 문서 수

# FAISS 리트리버 (의미 기반)
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = FAISS.from_documents(docs, embeddings)
faiss_retriever = vectorstore.as_retriever(search_kwargs={"k": 3})

# Ensemble Retriever 구성
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever],
    weights=[0.4, 0.6],  # BM25 40%, FAISS 60%
)

# 검색 실행
results = ensemble_retriever.invoke("쿠버네티스 패키지 관리 도구는?")
for doc in results:
    print(doc.page_content)

from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import TextLoader
from langchain.chains import RetrievalQA
from langchain_openai import ChatOpenAI

# 1. 문서 로딩 및 분할
loader = TextLoader("knowledge_base.txt", encoding="utf-8")
raw_docs = loader.load()

splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
)
docs = splitter.split_documents(raw_docs)

# 2. BM25 리트리버
bm25_retriever = BM25Retriever.from_documents(docs)
bm25_retriever.k = 5

# 3. FAISS 벡터스토어
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = FAISS.from_documents(docs, embeddings)
faiss_retriever = vectorstore.as_retriever(
    search_type="mmr",           # 다양성 확보 (Maximum Marginal Relevance)
    search_kwargs={"k": 5, "fetch_k": 20, "lambda_mult": 0.7}
)

# 4. Ensemble Retriever
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever],
    weights=[0.3, 0.7],
)

# 5. RAG 체인 구성
llm = ChatOpenAI(model="gpt-4o-mini", temperature=0)
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=ensemble_retriever,
    return_source_documents=True,
)

# 6. 질의
response = qa_chain.invoke({"query": "서비스 메시의 역할은 무엇인가요?"})
print(response["result"])
print("\n--- 참조 문서 ---")
for doc in response["source_documents"]:
    print(f"- {doc.page_content[:100]}...")

from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings

# ChromaDB 벡터스토어 생성
embeddings = OpenAIEmbeddings()
vectorstore = Chroma.from_documents(
    docs,
    embeddings,
    collection_name="my_collection",
    persist_directory="./chroma_db",  # 디스크 저장
)
chroma_retriever = vectorstore.as_retriever(search_kwargs={"k": 4})

# Ensemble 구성
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, chroma_retriever],
    weights=[0.5, 0.5],
)

# 세 개의 검색기를 결합할 수도 있습니다
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever, chroma_retriever],
    weights=[0.3, 0.4, 0.3],
)

from langchain.retrievers.multi_query import MultiQueryRetriever

# MultiQuery로 질문을 다각도로 확장
multi_query_retriever = MultiQueryRetriever.from_llm(
    retriever=faiss_retriever,
    llm=ChatOpenAI(temperature=0),
)

# MultiQuery + BM25를 Ensemble로 결합
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, multi_query_retriever],
    weights=[0.4, 0.6],
)

# FAISS 검색 타입별 특성
faiss_retriever = vectorstore.as_retriever(
    search_type="mmr",           # 다양성 + 관련성 균형
    # search_type="similarity",  # 순수 유사도 (기본값)
    # search_type="similarity_score_threshold",  # 최소 점수 필터
    search_kwargs={
        "k": 5,
        "fetch_k": 20,           # mmr에서 후보 풀 크기
        "lambda_mult": 0.5,      # 0=다양성 최대, 1=유사도 최대
    }
)

# BM25 리트리버를 파일에서 직접 로딩 (메모리 효율)
from langchain_community.retrievers import BM25Retriever

# 청크 크기를 고려한 k 설정
bm25_retriever = BM25Retriever.from_documents(
    docs,
    bm25_params={"k1": 1.5, "b": 0.75}  # BM25 하이퍼파라미터 조정
)
bm25_retriever.k = 10

# 검색 결과 품질 간단 확인
def evaluate_retrieval(retriever, test_queries):
    for query, expected_keyword in test_queries:
        results = retriever.invoke(query)
        hit = any(expected_keyword in doc.page_content for doc in results)
        print(f"{'✅' if hit else '❌'} [{query}] → {len(results)}개 반환")

test_cases = [
    ("쿠버네티스 설치 방법", "Kubernetes"),
    ("컨테이너 패키징", "Docker"),
]
evaluate_retrieval(ensemble_retriever, test_cases)