這是我參與創(chuàng)作者計劃的第1篇文章

大家好，因為對AI大模型很感興趣，相信很多兄弟們跟我一樣，所以最近花時間了解了一些，有一些總結(jié) 分享給大家，希望對各位有所幫助；

本文主要是目標是 講解如何在本地 搭建一個簡易的AI問答系統(tǒng)，主要用java來實現(xiàn)，也有一些簡單的python知識；網(wǎng)上很多例子都是以 ChatGPT來講解的，但因為它對國內(nèi)訪問有限制，OpeAi連接太麻煩，又要虛擬賬號注冊賬號啥的，第一步就勸退了，所以選擇了 llama和qwen替代，但是原理都是一樣的；

?

相關(guān)概念了解：

（一）大語言模型 LLM

大型語言模型（LLM，Large Language Models），是近年來自然語言處理（NLP）領域的重要進展。這些模型由于其龐大的規(guī)模和復雜性，在處理和生成自然語言方面展現(xiàn)了前所未有的能力。

?

關(guān)于LLM的一些關(guān)鍵點：

1.定義：

?大模型通常指的是擁有大量參數(shù)的深度學習模型，這些模型可能包含數(shù)十億至數(shù)萬億的參數(shù)。

?LLM是大模型的一個子類，專門設計用于處理和理解自然語言，它們能夠模仿人類語言的生成和理解過程。

2.架構(gòu)：

?LLM通?；赥ransformer架構(gòu)，這是一種使用自注意力機制（self-attention mechanism）的序列模型，它由多個編碼器和解碼器層組成，每個層包含多頭自注意力機制和前饋神經(jīng)網(wǎng)絡。

3.訓練：

?這些模型在大規(guī)模文本數(shù)據(jù)集上進行訓練，這使得它們能夠?qū)W習到語言的復雜結(jié)構(gòu)，包括語法、語義、上下文關(guān)系等。

?訓練過程通常涉及大量的計算資源，包括GPU集群和海量的數(shù)據(jù)存儲。

4.應用：

?LLM可以應用于各種自然語言處理任務，包括但不限于文本生成、問答、翻譯、摘要、對話系統(tǒng)等。

?它們還展示了在few-shot和zero-shot學習場景下的能力，即在少量或沒有額外訓練數(shù)據(jù)的情況下，模型能夠理解和執(zhí)行新任務。

5.發(fā)展趨勢：

?學術(shù)研究和工業(yè)界都在探索LLM的邊界，包括如何更有效地訓練這些模型，以及如何使它們在不同領域和任務中更具適應性。

?開源和閉源模型的競爭也在加劇，推動了模型的持續(xù)創(chuàng)新和改進。

6.學習路徑：

?對于那些希望深入了解LLM的人來說，可以從學習基本的Transformer模型開始，然后逐漸深入到更復雜的模型，如GPT系列、BERT、LLaMA、Alpaca等，國內(nèi)的有 qwen（通義千問）、文心一言、訊飛星火、華為盤古、言犀大模型（ChatJd）等 。

7.社區(qū)資源：

?Hugging Face等平臺提供了大量的開源模型和工具，可以幫助研究人員和開發(fā)者快速上手和應用LLM。

LLM的出現(xiàn)標志著NLP領域的一個新時代，它們不僅在學術(shù)研究中產(chǎn)生了深遠的影響，也在商業(yè)應用中展現(xiàn)出了巨大的潛力。

?

（二）Embedding

在自然語言處理（NLP）和機器學習領域中，"embedding" 是一種將文本數(shù)據(jù)轉(zhuǎn)換成數(shù)值向量的技術(shù)。這種技術(shù)將單詞、短語、句子甚至文檔映射到多維空間中的點，使得這些點在數(shù)學上能夠表示它們在語義上的相似性或差異。

?

Embeddings 可以由預訓練模型生成，也可以在特定任務中訓練得到。常見的 embedding 方法包括：

1. Word2Vec：由 Google 提出，通過上下文預測目標詞（CBOW）或通過目標詞預測上下文（Skip-gram）來訓練詞向量。

2. GloVe：全球向量（Global Vectors for Word Representation），通過統(tǒng)計詞共現(xiàn)矩陣來優(yōu)化詞向量。

3. FastText：Facebook 研究院提出的一種方法，它基于詞 n-gram 來構(gòu)建詞向量，適用于稀少詞和未見過的詞。

4. BERT：基于 Transformer 架構(gòu)的預訓練模型，可以生成上下文相關(guān)的詞嵌入，即“動態(tài)”詞嵌入。

5. ELMo：利用雙向 LSTM 語言模型生成的詞嵌入，同樣考慮了上下文信息。

6. Sentence Transformers：這是 BERT 的一種變體，專門設計用于生成句子級別的嵌入。

?

Embeddings 的主要優(yōu)點在于它們能夠捕捉詞匯之間的復雜關(guān)系，如同義詞、反義詞以及詞義的細微差別。此外，它們還能夠處理多義詞問題，即一個詞在不同上下文中可能有不同的含義。

?

在實際應用中，embeddings 被廣泛用于多種 NLP 任務，如文本分類、情感分析、命名實體識別、機器翻譯、問答系統(tǒng)等。通過使用 embeddings，機器學習模型能夠理解和處理自然語言數(shù)據(jù)，從而做出更加準確和有意義的預測或決策。

?

（三）向量數(shù)據(jù)庫

向量數(shù)據(jù)庫是一種專門設計用于存儲和查詢高維向量數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)。這種類型的數(shù)據(jù)庫在處理非結(jié)構(gòu)化數(shù)據(jù)，如圖像、文本、音頻和視頻的高效查詢和相似性搜索方面表現(xiàn)出色。與傳統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)（DBMS）不同，向量數(shù)據(jù)庫優(yōu)化了對高維空間中向量的存儲、索引和檢索操作。

以下是向量數(shù)據(jù)庫的一些關(guān)鍵特點和功能：

1.高維向量存儲： 向量數(shù)據(jù)庫能夠高效地存儲和管理大量的高維向量數(shù)據(jù)，這些向量通常是由深度學習模型（如BERT、ResNet等）從原始數(shù)據(jù)中提取的特征。

2.相似性搜索： 它們提供了快速的近似最近鄰（Approximate Nearest Neighbor, ANN）搜索，能夠在高維空間中找到與查詢向量最相似的向量集合。

3.向量索引： 使用特殊的數(shù)據(jù)結(jié)構(gòu)，如樹形結(jié)構(gòu)（如KD樹）、哈希表、圖結(jié)構(gòu)或量化方法，以加速向量的檢索過程。

4.混合查詢能力： 許多向量數(shù)據(jù)庫還支持結(jié)合向量查詢和結(jié)構(gòu)化數(shù)據(jù)查詢，這意味著除了向量相似性搜索之外，還可以進行SQL風格的查詢來篩選結(jié)構(gòu)化屬性。

5.擴展性和容錯性： 高效的數(shù)據(jù)分布和復制策略，使得向量數(shù)據(jù)庫可以水平擴展，以處理海量數(shù)據(jù)，并且具備數(shù)據(jù)冗余和故障恢復能力。

6.實時更新： 允許動態(tài)添加和刪除向量數(shù)據(jù)，支持實時更新，這對于不斷變化的數(shù)據(jù)集尤其重要。

7.云原生設計： 許多現(xiàn)代向量數(shù)據(jù)庫采用云原生架構(gòu)，可以輕松部署在云端，利用云服務的彈性計算資源。

向量數(shù)據(jù)庫在多個領域得到應用，包括推薦系統(tǒng)、圖像和視頻檢索、自然語言處理（NLP）以及生物信息學。一些知名的向量數(shù)據(jù)庫項目包括FAISS（由Facebook AI Research開發(fā)）、Pinecone、Weaviate、Qdrant、Milvus等。

?

（四）RAG

文章題目中的 "智能問答" 其實專業(yè)術(shù)語 叫 RAG；

在大模型（尤其是大型語言模型，LLMs）中，RAG 指的是“Retrieval-Augmented Generation”，即檢索增強生成。這是一種結(jié)合了 檢索（Retrieval）和生成（Generation）技術(shù)的人工智能方法， 主要用于增強語言模型在處理需要外部知識或?qū)崟r信息的任務時的表現(xiàn)；

?

RAG 是 "Retrieval-Augmented Generation" 的縮寫，即檢索增強生成。這是一種結(jié)合了檢索（Retrieval）和生成（Generation）兩種技術(shù)的人工智能模型架構(gòu)。RAG 最初由 Facebook AI 在 2020 年提出，其核心思想是在生成式模型中加入一個檢索組件，以便在生成過程中利用外部知識庫中的相關(guān)文檔或片段。

在傳統(tǒng)的生成模型中，如基于Transformer的模型，輸出完全依賴于模型的內(nèi)部知識，這通常是在大規(guī)模語料庫上進行預訓練得到的。然而，這些模型可能無法包含所有特定領域或最新更新的信息，尤其是在處理專業(yè)性較強或時效性較高的問題時。

RAG 架構(gòu)通過從外部知識源檢索相關(guān)信息來增強生成過程。當模型需要生成響應時，它會首先查詢一個文檔集合或知識圖譜，找到與輸入相關(guān)的上下文信息，然后將這些信息與原始輸入一起送入生成模型，從而產(chǎn)生更加準確和豐富的內(nèi)容。

?

工作原理

1.檢索（Retrieval）：

?當模型接收到一個輸入或查詢時，RAG 首先從外部知識庫或數(shù)據(jù)源中檢索相關(guān)信息。 這通常涉及到使用向量數(shù)據(jù)庫和近似最近鄰搜索算法來找到與輸入最相關(guān)的文檔片段或知識條目。

1.生成（Generation）：

?一旦檢索到相關(guān)的信息，這些信息會被整合到生成模型的輸入中，作為上下文或提示（prompt）。 這樣，當模型生成輸出時，它就能利用這些額外的信息來提供更準確、更詳細和更相關(guān)的響應。

?

基本流程：

?

RAG的優(yōu)勢：

1.減少知識局限性：LLMs 通常受限于其訓練數(shù)據(jù)，而 RAG 可以讓模型訪問實時或最新的信息，從而克服這一限制。

2.減少幻覺：幻覺是指模型生成不存在于其訓練數(shù)據(jù)中的不真實信息。RAG 通過提供事實依據(jù)，可以減少這種現(xiàn)象。

3.提高安全性：RAG 可以通過控制檢索的范圍和類型，避免模型生成潛在的有害或敏感信息。

4.增強領域?qū)I(yè)性：對于特定領域的查詢，RAG 可以從專業(yè)的知識庫中檢索信息，從而使模型的回答更具專業(yè)性

?

RAG 可以應用于多種場景，包括但不限于：

?問答系統(tǒng)：RAG 能夠檢索到與問題最相關(guān)的答案片段，然后基于這些片段生成最終的回答。

?對話系統(tǒng)：在對話中，RAG 可以幫助模型引用歷史對話或外部知識來生成更自然、更有信息量的回復。

?文檔摘要：RAG 能夠從大量文檔中提取關(guān)鍵信息，生成總結(jié)或概述。

?文本補全：在文本補全任務中，RAG 可以參考相關(guān)文檔來提供更準確的建議。

?

RAG 架構(gòu)的一個重要組成部分是檢索組件，它通常使用向量相似度搜索技術(shù)，如倒排索引或基于神經(jīng)網(wǎng)絡的嵌入空間搜索。這使得模型能夠在大規(guī)模文檔集合中快速找到最相關(guān)的部分。

?

AI 應用開發(fā)框架

（一）Langchain

官網(wǎng)：https://www.langchain.com/langchain?

LangChain不是一個大數(shù)據(jù)模型，而是一款可以用于開發(fā)類似AutoGPT的AI應用的開發(fā)工具，LangChain簡化了LLM應用程序生命周期的各個階段，且提供了 開發(fā)協(xié)議、開發(fā)范式，并 擁有相應的平臺和生態(tài)；

?

LangChain 是一個由 Harrison Chase 創(chuàng)立的框架，專注于幫助開發(fā)者使用語言模型構(gòu)建端到端的應用程序。它特別設計來簡化與大型語言模型（LLMs）的集成，使得創(chuàng)建由這些模型支持的應用程序變得更加容易。LangChain 提供了一系列工具、組件和接口，可以用于構(gòu)建聊天機器人、生成式問答系統(tǒng)、摘要工具以及其他基于語言的AI應用。

LangChain 的核心特性包括：

1.鏈式思維（Chains）： LangChain 引入了“鏈”（Chain）的概念，這是一系列可組合的操作，可以按順序執(zhí)行，比如從獲取輸入、處理數(shù)據(jù)到生成輸出。鏈條可以嵌套和組合，形成復雜的邏輯流。

2.代理（Agents）： 代理是更高級別的抽象，它們可以自主地決定如何使用不同的鏈條來完成任務。代理可以根據(jù)輸入動態(tài)選擇最佳行動方案。

3.記憶（Memory）： LangChain 支持不同類型的內(nèi)存，允許模型保留歷史對話或操作的上下文，這對于構(gòu)建有狀態(tài)的對話系統(tǒng)至關(guān)重要。

4.加載器和拆分器（Loaders and Splitters）： 這些工具幫助讀取和處理各種格式的文檔，如PDF、網(wǎng)頁、文本文件等，為模型提供輸入數(shù)據(jù)。

5.提示工程（Prompt Engineering）： LangChain 提供了創(chuàng)建和管理提示模板的工具，幫助引導模型生成特定類型的內(nèi)容。

6.Hub： LangChain Hub 是一個社區(qū)驅(qū)動的資源庫，其中包含了許多預構(gòu)建的鏈條、代理和提示，可以作為構(gòu)建塊來加速開發(fā)過程。

7.與外部系統(tǒng)的集成： LangChain 支持與外部數(shù)據(jù)源和API的集成，如數(shù)據(jù)庫查詢、知識圖譜、搜索引擎等，以便模型能夠訪問更廣泛的信息。

8.監(jiān)控和調(diào)試工具： 為了更好地理解和優(yōu)化應用程序，LangChain 提供了日志記錄和分析功能，幫助開發(fā)者追蹤模型的行為和性能。

?

（二）LangChain4J

上面說的 LangChain 是基于python 開發(fā)的，而 LangChain4J 是一個旨在為 Java 開發(fā)者提供構(gòu)建語言模型應用的框架。受到 Python 社區(qū)中 LangChain 庫的啟發(fā)，LangChain4J 致力于提供相似的功能，但針對 Java 生態(tài)系統(tǒng)進行了優(yōu)化。它允許開發(fā)者輕松地構(gòu)建、部署和維護基于大型語言模型的應用程序，如聊天機器人、文本生成器和其他自然語言處理（NLP）任務。

主要特點：

1.模塊化設計：LangChain4J 提供了一系列可組合的模塊，包括語言模型、記憶、工具和鏈，使得開發(fā)者可以構(gòu)建復雜的語言處理流水線。

2.支持多種語言模型：LangChain4J 支持與各種語言模型提供商集成，如 Hugging Face、OpenAI、Google PaLM 等，使得開發(fā)者可以根據(jù)項目需求選擇最合適的模型。

3.記憶機制：它提供了記憶組件，允許模型記住先前的對話歷史，從而支持上下文感知的對話。

4.工具集成：LangChain4J 支持集成外部工具，如搜索API、數(shù)據(jù)庫查詢等，使得模型能夠訪問實時數(shù)據(jù)或執(zhí)行特定任務。

5.鏈式執(zhí)行：通過鏈式執(zhí)行，可以將多個語言處理步驟鏈接在一起，形成復雜的處理流程，例如先分析用戶意圖，再查詢數(shù)據(jù)庫，最后生成回復。

?

主要功能：

1.LLM 適配器：允許你連接到各種語言模型，如 OpenAI 的 GPT-3 和 GPT-4，Anthropic 的 Claude 等。

2.Chains 構(gòu)建：提供一種機制來定義和執(zhí)行一系列操作，這些操作可以包括調(diào)用模型、數(shù)據(jù)檢索、轉(zhuǎn)換等，以完成特定的任務。

3.Agent 實現(xiàn)：支持創(chuàng)建代理（agents），它們可以自主地執(zhí)行任務，如回答問題、完成指令等。

4.Prompt 模板：提供模板化的提示，幫助指導模型生成更具體和有用的回答。

5.工具和記憶：允許模型訪問外部數(shù)據(jù)源或存儲之前的交互記錄，以便在會話中保持上下文。

6.模塊化和可擴展性：使開發(fā)者能夠擴展框架，添加自己的組件和功能。

?

本地問答系統(tǒng)搭建環(huán)境準備

（一）用 Ollama 啟動一個本地大模型

1.下載安裝 Ollma

2.ollama 是一個命令行工具，用于方便地在本地運行 LLaMA 系列模型和其他類似的 transformer 基礎的大型語言模型。該工具簡化了模型的下載、配置和推理過程，使得個人用戶能夠在自己的機器上直接與這些模型交互，而不需要直接接觸復雜的模型加載和推理代碼；

3.下載地址：https://ollama.com/，下載完成后，打開 Ollma，其默認端口為11334，瀏覽器訪問：http://localhost:11434 ，會返回：Ollama is running，電腦右上角展示圖標；

1.下載 大模型

2.安裝完成后，通過命令行下載大模型，命令行格式：ollma pull modelName，如：ollma pull llama3；

3.大模型一般要幾個G，需要等一會；個人建議至少下載兩個， llama3、 qwen（通義千問），這兩個都是開源免費的，英文場景 用 llama3，中文場景用 qwen；

?

下載完成后，通過 ollma list 可以查看 已下載的大模型；

?

1.啟動 大模型

確認下載完成后，用命令行 ：ollma run 模型名稱，來啟動大模型；啟動后，可以立即輸入內(nèi)容與大模型進行對話，如下：

?

（二）啟動 本地向量數(shù)據(jù)庫 chromadb

Chroma 是一款 AI 原生開源矢量數(shù)據(jù)庫，它內(nèi)置了入門所需的一切，可在本地運行，是一款很好的入門級向量數(shù)據(jù)庫。

1.安裝：pip install chromadb ;

2.啟動：chroma run ：

?

用java 實現(xiàn) 本地AI問答功能

（一）核心maven依賴：

    8
    8
    UTF-8
    0.31.0



    
    
        dev.langchain4j
        langchain4j-core
        ${langchain4j.version}
    
    
        dev.langchain4j
        langchain4j
        ${langchain4j.version}
    
    
        dev.langchain4j
        langchain4j-open-ai
        ${langchain4j.version}
    

    
        dev.langchain4j
        langchain4j-embeddings
        ${langchain4j.version}
    
    
        dev.langchain4j
        langchain4j-chroma
        ${langchain4j.version}
    

    
    
        dev.langchain4j
        langchain4j-ollama
        ${langchain4j.version}
    

    
    
        io.github.amikos-tech
        chromadb-java-client
        0.1.5
    
    

?

（二）代碼編寫：

1. 加載本地文件作為本地知識庫：

public static void main(String[] args) throws ApiException {
    //======================= 加載文件=======================
    Document document = getDocument("笑話.txt");
    
}


private static Document getDocument(String fileName) {
        URL docUrl = LangChainMainTest.class.getClassLoader().getResource(fileName);
        if (docUrl == null) {
            log.error("未獲取到文件");
        }

        Document document = null;
        try {
            Path path = Paths.get(docUrl.toURI());
            document = FileSystemDocumentLoader.loadDocument(path);
        } catch (URISyntaxException e) {
            log.error("加載文件發(fā)生異常", e);
        }
        return document;
    }

1.拆分文件內(nèi)容：

//======================= 拆分文件內(nèi)容=======================
//參數(shù)：分段大?。ㄒ粋€分段中最大包含多少個token）、重疊度（段與段之前重疊的token數(shù)）、分詞器（將一段文本進行分詞，得到token）
DocumentByLineSplitter lineSplitter = new DocumentByLineSplitter(200, 0, new OpenAiTokenizer());
List segments = lineSplitter.split(document);
log.info("segment的數(shù)量是: {}", segments.size());

//查看分段后的信息
segments.forEach(segment -> log.info("========================segment: {}", segment.text()));

?

1.文本向量化 并存儲到向量數(shù)據(jù)庫：

//提前定義兩個靜態(tài)變量
private static final String CHROMA_DB_DEFAULT_COLLECTION_NAME = "java-langChain-database-demo";
private static final String CHROMA_URL = "http://localhost:8000";


//======================= 文本向量化=======================
OllamaEmbeddingModel embeddingModel = OllamaEmbeddingModel.builder()
        .baseUrl("http://localhost:11434")
        .modelName("llama3")
        .build();

//======================= 向量庫存儲=======================
Client client = new Client(CHROMA_URL);

//創(chuàng)建向量數(shù)據(jù)庫
EmbeddingStore embeddingStore = ChromaEmbeddingStore.builder()
        .baseUrl(CHROMA_URL)
        .collectionName(CHROMA_DB_DEFAULT_COLLECTION_NAME)
        .build();

segments.forEach(segment -> {
    Embedding e = embeddingModel.embed(segment).content();
    embeddingStore.add(e, segment);
});

?

1.向量庫檢索：

//======================= 向量庫檢索=======================
String qryText = "北極熊";
Embedding queryEmbedding = embeddingModel.embed(qryText).content();

EmbeddingSearchRequest embeddingSearchRequest = EmbeddingSearchRequest.builder().queryEmbedding(queryEmbedding).maxResults(1).build();
EmbeddingSearchResult embeddedEmbeddingSearchResult = embeddingStore.search(embeddingSearchRequest);
List> embeddingMatcheList = embeddedEmbeddingSearchResult.matches();
EmbeddingMatch embeddingMatch = embeddingMatcheList.get(0);
TextSegment textSegment = embeddingMatch.embedded();
log.info("查詢結(jié)果: {}", textSegment.text());

1.與LLM交互

//======================= 與LLM交互=======================
PromptTemplate promptTemplate = PromptTemplate.from("基于如下信息用中文回答:n" +
        "{{context}}n" +
        "提問:n" +
        "{{question}}");
Map variables = new HashMap();
//以向量庫檢索到的結(jié)果作為LLM的信息輸入
variables.put("context", textSegment.text());
variables.put("question", "北極熊干了什么");
Prompt prompt = promptTemplate.apply(variables);

//連接大模型
OllamaChatModel ollamaChatModel = OllamaChatModel.builder()
        .baseUrl("http://localhost:11434")
        .modelName("llama3")
        .build();

UserMessage userMessage = prompt.toUserMessage();
Response aiMessageResponse = ollamaChatModel.generate(userMessage);
AiMessage response = aiMessageResponse.content();
log.info("大模型回答: {}", response.text());

（三）功能測試：

1.代碼中用到 "笑話.txt" 是我隨便從網(wǎng)上找的一段內(nèi)容，大家可以隨便輸入點內(nèi)容，為了給大家展示測試結(jié)果，我貼一下我 文本內(nèi)容：

有一只北極熊和一只企鵝在一起耍,
企鵝把身上的毛一根一根地拔了下來,拔完之后,對北極熊說:“好冷哦！”
北極熊聽了，也把自己身上的毛一根一根地拔了下來，
轉(zhuǎn)頭對企鵝說：
”果然很冷！”

1.當我輸入問題：“北極熊干了什么”，程序打印如下結(jié)果：

根據(jù)故事，北極熊把自己的身上的毛一根一根地拔了下來

?

結(jié)語

1.以上便是 完成了一個超簡易的AI問答 功能，如果想搭一個問答系統(tǒng)，可以用Springboot搞一個Web應用，把上面的代碼放到 業(yè)務邏輯中即可；

2.langchain 還有其他很多很強大的能力，prompt Fomat、output Fomat、工具調(diào)用、memory存儲等；

3.早點認識和學習ai，不至于被它取代的時候，連對手是誰都不知道；

?

參考資料：

1.?langchain 官網(wǎng)?

2.?langchain 入門教程?

3.?langchain4j github?

4.?langchain4j 視頻介紹

審核編輯 黃宇