完善資料讓更多小伙伴認識你，還能領取20積分哦，立即完善>
標簽 > llm
在人工智能領域，LLM代表“大型語言模型”。在人工智能（AI）領域自然語言處理（NLP）是一個快速進展的領域。NLP中最重要是大語言模型（LLM）。大語言模型（英文：Large Language Model，縮寫LLM），也稱大型語言模型，是一種基于機器學習和自然語言處理技術的模型。
文章：338個 瀏覽：1231次 帖子：3個
TL;DR 過去一年間，生成式推薦取得了長足的實質性進展，特別是在憑借大型語言模型強大的序列建模與推理能力提升整體推薦性能方面?；贚LM（Large ...
之前文章已介紹引入大規(guī)模 EP 的初衷，本篇將繼續(xù)深入介紹 TensorRT-LLM 的大規(guī)模專家并行架構設計與創(chuàng)新實現。
6TOPS算力驅動30億參數LLM，米爾RK3576部署端側多模態(tài)多輪對話
關鍵詞：瑞芯微RK3576、NPU（神經網絡處理器）、端側小語言模型（SLM）、多模態(tài)LLM、邊緣AI部署、開發(fā)板當GPT-4o用毫秒級響應處理圖文混合...
我們正在參加全球電子成就獎的評選，歡迎大家?guī)臀覀兺镀薄x謝支持本文轉自：騰訊技術工程作者：royceshao大語言模型LLM的精妙之處在于很好地利用...
DeepSeek R1 MTP在TensorRT-LLM中的實現與優(yōu)化
TensorRT-LLM 在 NVIDIA Blackwell GPU 上創(chuàng)下了 DeepSeek-R1 推理性能的世界紀錄，Multi-Token P...
在之前的技術博客中，我們介紹了低延遲[1] 和高吞吐[2] 場景的優(yōu)化方法。對于生產部署，用戶還關心在滿足特定延遲約束的情況下，每個 GPU 的吞吐表現...
軟件測試正經歷一場深刻的技術革命。AI，尤其是以GPT、通義千問、文心一言、Claude等為代表的大語言模型（LLM），開始廣泛介入測試流程：從需求分析...
隨著語言模型規(guī)模日益龐大，設備端推理變得越來越緩慢且耗能巨大。一個直接且效果出人意料的解決方案是剪除那些對任務貢獻甚微的完整通道（channel）。我們...
RK3568自制底板狂丟包？教你5分鐘用Delayline一鍵復活網口
在使用飛凌嵌入式RK3568核心板搭配自制底板時，由于PCB走線與參考設計存在差異，常導致RGMII接口時序異常，進而出現網口不通或頻繁丟包的情況。本文...
NVIDIA Blackwell GPU優(yōu)化DeepSeek-R1性能 打破DeepSeek-R1在最小延遲場景中的性能紀錄
本文將探討 NVIDIA TensorRT-LLM 如何基于 8 個 NVIDIA Blackwell GPU 的配置，打破 DeepSeek-R1 在...
使用NVIDIA Triton和TensorRT-LLM部署TTS應用的最佳實踐
針對基于 Diffusion 和 LLM 類別的 TTS 模型，NVIDIA Triton 和 TensorRT-LLM 方案能顯著提升推理速度。在單張...
隨著 AI 使用場景不斷擴展（從文檔摘要到定制化軟件代理），開發(fā)者和技術愛好者正在尋求以更 快、更靈活的方式來運行大語言模型（LLM）。
在當今人工智能領域，大型語言模型（LLM）的開發(fā)已經成為一個熱門話題。這些模型通過學習大量的文本數據，能夠生成自然語言文本，完成各種復雜的任務，如寫作、...
2025年，如何提升大型語言模型（LLM）的推理能力成了最熱門的話題之一，大量優(yōu)化推理能力的新策略開始出現，包括擴展推理時間計算、運用強化學習、開展監(jiān)督...
樹莓派秒變編程助手：Ollama+Continue的簡易搭建教程！
以下是如何在RaspberryPi上運行大型語言模型(LLM)的方法。本文的目標是找出在RaspberryPi上運行LLM是否是ChatGPT和GitH...
2025-03-27 標簽：Raspberry Pi樹莓派LLM 437 0
基于DBFP與DB-Attn的算法硬件協(xié)同優(yōu)化方案
本文討論了LLM推理過程對計算資源需求急劇攀升的背景下，現有量化和剪枝技術、新數據格式存在的不足，提出動態(tài)塊浮點數（DBFP）及其配套算法-硬件協(xié)同框架...
內部業(yè)務支撐&前瞻技術布局 One4All下一代生成式推薦系統(tǒng)
作者：京東零售 申磊 自LLM在自然語言處理等領域取得了矚目成就之后，學術界積極探索生成式模型對搜廣推系統(tǒng)的增強或改進方式[1]，現有工作大體可以分為兩...
隨著 DeepSeek、 GPT 和 Llama 等大語言模型（LLMs）不斷推動人工智能的邊界，它們在高效部署方面也帶來了重大挑戰(zhàn)。這些模型在生成類似...
推薦系統(tǒng)的主要任務在于根據用戶的過往行為預測其潛在興趣點，并據此推薦相應的商品。在傳統(tǒng)的推薦系統(tǒng)中，當處理用戶請求時，會觸發(fā)多個召回模塊，例如熱門商品召...
2025-03-05 標簽：NVIDIA模型推薦系統(tǒng) 1.3k 0
作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 之前我們分享了《從零開始訓練一個大語言模型需要投資多少錢》，其中高昂的預訓練費用讓許多對大模型預訓練技術感興趣...
換一批
編輯推薦廠商產品技術軟件/工具OS/語言教程專題
| 電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯網 | NXP | 賽靈思 |
| 步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
| 伺服電機 | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網 | 國民技術 | Microchip |
| 開關電源 | 步進電機 | 無線充電 | LabVIEW | EMC | PLC | OLED | 單片機 |
| 5G | m2m | DSP | MCU | ASIC | CPU | ROM | DRAM |
| NB-IoT | LoRa | Zigbee | NFC | 藍牙 | RFID | Wi-Fi | SIGFOX |
| Type-C | USB | 以太網 | 仿真器 | RISC | RAM | 寄存器 | GPU |
| 語音識別 | 萬用表 | CPLD | 耦合 | 電路仿真 | 電容濾波 | 保護電路 | 看門狗 |
| CAN | CSI | DSI | DVI | Ethernet | HDMI | I2C | RS-485 |
| SDI | nas | DMA | HomeKit | 閾值電壓 | UART | 機器學習 | TensorFlow |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關注我們的微信
下載發(fā)燒友APP
電子發(fā)燒友觀察
版權所有 ? 湖南華秋數字科技有限公司
長沙市望城經濟技術開發(fā)區(qū)航空路6號手機智能終端產業(yè)園2號廠房3層（0731-88081133）
電子發(fā)燒友 （電路圖） 湘公網安備43011202000918
工商網監(jiān)
湘ICP備2023018690號-1
