檢索增強生成如何改變知識管理（第 1 部分）

1. 簡介

每個公司都有無數的文件——產品指南、員工資訊、合約、內部政策等等。在分散的文件中快速找到答案既費時又低效。

想像一下由大型語言模型驅動的代理，您可以用簡單易懂的語言進行查閱，並立即從您的內部文檔中提取準確的答案。它可以提高生產力、降低成本並簡化繁瑣的流程。

為了實際展示這一點，我們為一家名為Insurellm的虛構保險公司建立了一個原型。透過模擬真實場景（從保單到索賠文件），我們的檢索增強聊天機器人可以快速、準確地處理各種查詢。

2.以使用者為中心的方法

1. 探索問題

  • 用戶痛點：
    員工很難在數千份文件中找到他們需要的資訊。有時他們需要查看公司政策，或者可能需要產品和服務詳細資訊。即使他們找到了正確的文檔，它並不總是最新的，並且搜尋它會花費很長時間。
  • 目標：
    建立一個快速、準確的聊天機器人，可以根據公司最新的內部文件回答問題。

2.用戶研究

  • 訪談：
    我們發現人們希望透過自然語言進行互動並立即獲得最新、正確的資訊。
  • 功能期望：
    基於對話的介面讓他們可以輕鬆查看有關政策、產品等的重要細節，同時保持最新狀態。

3. 原型

  • 我們的團隊透過整合 LangChain、Chroma、OpenAIEmbeddings 和 Gradio 介面創建了一個原型：
  • 使用者輸入他們的問題，系統尋找文件中最相關的部分，LLM 根據找到的內容給出答案。

4. 測試與回饋

  • 使用者互動：
    • 我們與 Gradio 建立了一個網路介面，以便測試人員只需用自然語言輸入問題即可。
  • 回饋:
    • 聊天機器人可以立即提供有關產品和合約的答案，非常方便。根據數據，它可以為內部員工和外部用戶提供服務。但是，每當文件更新時，我們都需要重新運行向量化以確保系統獲取最新的資訊。

3. 其他要點

什麼是 RAG？

RAG（檢索增強生成）意味著在生成任何文字回應之前，系統會從向量資料庫中檢索與使用者查詢最相關的文字區塊，然後將這些文字區塊提供給 LLM。這使得最終的答案更加紮實和準確。

為什麼它有用？

  • 提高準確性：
    從真實文件中提取資訊可以降低模型「編造」的風險。
  • 保持最新狀態：
    如果文件發生變化，只需重新向量化，使用者就可以存取新的資訊。
  • 可追溯性：
    您可以清楚地看到答案來自哪個文件。

商業應用程式

  • 客戶支援聊天機器人：
    自動處理客戶查詢，減輕人工工作量。
  • 內部知識管理：
    員工可以快速找到公司政策、產品資訊或常見問題。
  • 專業代理商：
    在醫療保健或法律等領域，引用準確的指南或法規可確保正確性和可信度。

4. 關鍵技術與方法

  1. 為什麼我們要對其進行向量化？
    文本在語意上不易比較。將文字轉換為數字向量可以讓系統透過數學相似性（例如餘弦相似性）快速找到相關片段。

2.為什麼要使用LangChain內存？
這會保存對話歷史記錄，從而允許模型參考先前的問答以獲得更準確、更符合情境的回應。

3. 色度向量資料庫
一個儲存文字嵌入的開源向量資料庫，可以實現快速、可靠的文檔檢索。

4.可視化（t-SNE + Plotly）
提供了一種清晰的方法來了解高維嵌入如何分佈以及不同文件類型如何聚類。

結論

整個過程如下：使用者輸入問題→系統查詢 Chroma 向量資料庫以尋找最相關的文字→LLM 讀取該文字並產生答案→使用者看到結果。

在這個研究計畫中，我們關注日常工作者的需求，旨在減少搜尋時間並提高人們獲取資訊的速度。透過使用 RAG、向量化和對話記憶模組，我們建立了檢索增強聊天機器人的原型。該系統可用於客戶支援、內部知識管理等，同時不斷擴大文件覆蓋範圍並改進模型。它可以幫助企業削減知識管理成本並提高服務品質和客戶體驗。

返回網誌