RAG
초급 과정

if current_lines and next_length > chunk_size:
    chunks.append(" ".join(current_lines))

    # 마지막 문장 하나를 다음 청크에도 남긴다.
    current_lines = current_lines[-overlap_lines:]

model = SentenceTransformer("intfloat/multilingual-e5-small")

question_embedding = model.encode(f"query: {question}")
chunk_embeddings = model.encode(
    [f"passage: {chunk}" for chunk in chunks]
)

scores = util.cos_sim(question_embedding, chunk_embeddings)[0]

context = "\n\n".join(retrieved_chunks)

prompt = f"""
너는 사내 규정 질의응답 도우미다.
아래 [참고 문서]에 있는 내용만 근거로 답변하라.

[참고 문서]
{context}

[질문]
{question}
""".strip()

from pathlib import Path

source_file = Path("data/company_rules.txt")
document = source_file.read_text(encoding="utf-8")
chunks = split_sentences_with_overlap(document)

# 이후 흐름은 1장과 같다: 임베딩 → 검색 → LLM 답변
retrieved_chunks = [chunk for _, chunk in results[:3]]

from pypdf import PdfReader

reader = PdfReader(pdf_file)
for page in reader.pages:
    text = page.extract_text() or ""
    print(text)

for page_number, page in enumerate(reader.pages, start=1):
    page_text = page.extract_text() or ""
    for chunk in split_lines_with_overlap(page_text):
        documents.append({"page": page_number, "content": chunk})

# 검색 결과에 페이지 번호를 붙여 LLM으로 전달한다.
context = "\\n\\n".join(
    f"[페이지 {document['page']}]\\n{document['content']}"
    for document in retrieved_documents
)

client = chromadb.PersistentClient(path="chroma_db")
# 학습용: 이전 인덱스를 지우고 새로 만듭니다.
client.delete_collection(name="manual_pdf")
collection = client.create_collection(name="manual_pdf")

collection.add(
    ids=[...],
    embeddings=embeddings,
    documents=[...],
    metadatas=[{"source": source, "page": page}],
)

question_embedding = model.encode(
    f"query: {question}",
    normalize_embeddings=True,
).tolist()

results = collection.query(
    query_embeddings=[question_embedding],
    n_results=3,
)

while True:
    question = input("\n질문: ").strip()  # exit / 종료를 입력하면 끝
    if question.lower() in {"exit", "quit", "종료"}:
        break

    results = collection.query(
        query_embeddings=[model.encode(f"query: {question}", normalize_embeddings=True).tolist()],
        n_results=3,  # top-3: 가장 가까운 청크 3개
    )
    # LLM 호출 전에 1등·2등·3등 후보를 화면에 출력한다.
    print(retrieved_documents)
    answer = ask_llm(question, retrieved_documents)

print("\n[벡터 DB 검색 후보]")
for rank, item in enumerate(retrieved_documents, start=1):
    print(f"{rank}등 · 거리 {item['distance']:.3f}")

# 이 후보들을 LLM에 보내기 전에 사람이 먼저 확인할 수 있다.

"반드시 제공된 참고 문서만 근거로 한국어로 답변하라. "
"참고 문서에 질문의 직접적인 답이 있으면, "
"그 내용을 쉬운 말로 요약해 답변하라. "
"참고 문서가 여러 개면 답을 포함한 문서를 우선해서 사용하라. "

keywords = re.findall(r"[가-힣A-Za-z0-9]+", question)

def keyword_score(document):
    # True는 1, False는 0처럼 더해진다.
    return sum(keyword in document for keyword in keywords)

results.sort(key=lambda item: item["score"], reverse=True)

# 키워드 검색
keyword_results.sort(key=lambda item: item["score"], reverse=True)

# 의미 검색
question_embedding = model.encode(f"query: {question}", normalize_embeddings=True).tolist()
semantic_results = collection.query(
    query_embeddings=[question_embedding],
    n_results=TOP_K,
)

hybrid_candidates = {}

for item in semantic_candidates:
    hybrid_candidates[item["id"]] = {**item, "found_by": ["의미"]}

for item in keyword_candidates:
    if item["id"] in hybrid_candidates:
        hybrid_candidates[item["id"]]["found_by"].append("키워드")
    else:
        hybrid_candidates[item["id"]] = {**item, "found_by": ["키워드"]}