手把手教你用聆思 CSK6 大模型開發(fā)板接入Dify智能體進行語音交互

前言

Dify 是一個開源的LLM（大語言模型）應用開發(fā)平臺，其定位是打造以可視化和低代碼/零代碼為核心的一站式AI應用開發(fā)解決方案。它融合了后端即服務與LLMOps的理念，支持快速構(gòu)建、部署和管理基于大語言模型的應用程序。Dify 企業(yè)級能力涵蓋了強大的RAG（檢索增強生成）引擎、AI工作流編排以及多模型集成與管理等核心組件。相信許多開發(fā)者也希望了解如何將具體的模型或服務與該平臺進行集成。這里就以接入DeepSeek大模型并在Dify上創(chuàng)建一個簡單的AI應用為例，演示一下基礎接入步驟，大家可以參考以下流程進行操作即可

由上圖可見，當前 SDK 方案是把開發(fā)套件當做輸入端，文字或圖片內(nèi)容先上傳到聆思的大模型平臺（LSPlatform），然后平臺再根據(jù)匹配的應用策略轉(zhuǎn)給后端的大模型處理。基于聆思大模型平臺提供的應用編排功能，我們?nèi)绻褂闷渌竽Ｐ?，只需要從云端更改大模型接入?jié)點，而無需去修改硬件端。以下為CSK6大模型開發(fā)板接入Dify后的交互演示：

https://docs2.listenai.com/zz/10164.mp4?shortId=_KxmRfm2W

實現(xiàn)步驟

一、申請 Dify API

1. 登錄注冊 Dify 官網(wǎng)

2. 創(chuàng)建應用

3. 安裝【OpenAI】插件

4. 創(chuàng)建【聊天助手】應用

5. 獲取 API 密鑰

6. 填寫API密鑰（在哪里填寫，將在下文詳細描述）

鏈路說明

示例中包含 3 條鏈路，分別為

●鏈路 1: 可通過注入節(jié)點調(diào)用 Dify 節(jié)點，并將結(jié)果輸出到 output1。

●鏈路 2: 可通過 web 對話頁調(diào)用 Dify 節(jié)點，最終將大模型結(jié)果輸出到對話頁面上。

●鏈路 3: 可通過開發(fā)板調(diào)用 Dify 節(jié)點，最終將大模型輸出的結(jié)果進行語音合成實現(xiàn)端側(cè)播報。

二、云端服務接入 Dify

1. 創(chuàng)建應用

登錄 LSplatform，創(chuàng)建新應用

2.創(chuàng)建成功后在彈出的界面進入應用編排服務。

3.導入工程下載工程示例：Dify 示例.json

a. 導入工程示例：選擇 Dify 示例.json文件導入

若提示“您要導入的某些節(jié)點已經(jīng)存在于工作空間中?！?，則選擇“導入副本”即可。

4.配置參數(shù)

參數(shù)說明：

●API-KEY：Dify 的 API-KEY 獲取鏈接：Dify 開放平臺

●Host:api.dify.ai (根據(jù)Dify官網(wǎng)的接口文檔填寫)

●Path:/v1/chat-messages (根據(jù)Dify官網(wǎng)的接口文檔填寫)

●Timeout: 超時時間，單位ms

●Stream：是否流式返回

5.部署驗證

●在完成參數(shù)配置，進入完整體驗之前，我們可以簡單測試驗證，驗證是否成功調(diào)用 Dify。

●部署成功后關閉當前編排服務

重啟應用

測試接口

重啟應用后，再次點開【編排應用】，點擊注入，會觸發(fā)一次 Dify 子流程調(diào)用，標記 2 的紅框中輸出類似日志即代表成功建立鏈接。

打開 web 驗證頁面

回到【我的應用】，雙擊聆思 CSK6-Dify 應用，在彈出的應用詳情頁面點擊右上角分享按鈕打開 web 驗證配置，該配置頁包含測試地址和訪問密碼。

訪問 web 驗證頁面鏈接，在打開的 web 頁即可與 Dify 對話

三、大模型開發(fā)板接入 Dify

云端接入 Dify 成功后，要想在聆思 CSK6 大模型開發(fā)板上進行語音交互，需要把對接了 Dify 的云端服務跟指定開發(fā)板綁定。

1. 云端應用設備列表加入硬件設備 ID

讀取設備 id

設備 ID 是一個產(chǎn)品下的唯一設備標識，我們需要獲取當前設備 ID 方便后續(xù)在云端配置，才能讓設備鑒權(quán)通過實現(xiàn)端云交互。

讀取方式：

cskburn desktop 是一款聆思推出的桌面燒錄工具，下載地址（cskburn桌面燒錄工具 | 聆思文檔中心）打開軟件后

1. 點擊串口下拉框，選擇連接開發(fā)套件后識別到的串口編號；

2. 點擊獲取信息；

3. 得到設備 ID。

加入設備列表

聆思平臺只會對列表中的設備鑒權(quán)提供交互服務，因此需要將前面讀取到的設備 ID 在設備管理頁面進行導入才能實現(xiàn)設備正常交互。

2. CSK6 開發(fā)板設備端寫入云端產(chǎn)品服務配置

云端配置設備 id 后，還需將產(chǎn)品 ID 寫入開發(fā)板固件中，才能讓設備在運行時找到正確的云端產(chǎn)品服務完進行鑒權(quán)，鑒權(quán)完成就可以進行大模型語音交互了。

寫入方式：

使用數(shù)據(jù)線連接開發(fā)板 DAP_USB 接口后，打開聆思在線串口終端，選擇對應的串口設備進行連接，波特率默認 115200，完成配置后點擊連接按鈕。

通過 set product_id 和 set secret_id 指令可以分別配置開發(fā)板接入的大模型應用 product ID 及其密鑰，示例如下：

set product_id 71cd1721-xxx-xxx-xxx-1000055c8b2f

set secret_id cb09013f-xxx-xxx-xxx-e212b32f9218

其中，product_id 和 product_secret 可在對應產(chǎn)品的產(chǎn)品信息中獲取，請將指令中的參數(shù)替換為產(chǎn)品信息中的 id 與 secret 信息。

四、語音交互驗證接入成功

用小聆小聆喚醒，并提問你是誰，語音回復它是Dify即可驗證成功。至此，可以確認ChatGLM接入成功。本文使用的聆思CSK6大模型開發(fā)板的詳細信息可參考線上文檔。套件簡介 | 聆思文檔中心

更多資料

本文使用的聆思CSK6大模型開發(fā)板的詳細信息可參考線上文檔。https://docs2.listenai.com/x/nTn9kMMCU

小聆AI詳細配置參考：https://docs2.listenai.com/x/S_TEd8h7C

上手大模型硬件開發(fā)可以參考：https://docs2.listenai.com/x/Bt46JnBA0