一種完全由LLM + 啟發(fā)式搜索算法結(jié)合的TOT算法

今天分享一篇普林斯頓大學(xué)的一篇文章，Tree of Thoughts: Deliberate Problem Solving with Large La...

2023-06-29 標(biāo)簽：模塊算法語言模型 2.6k 0

基于Transformer的大型語言模型（LLM）的內(nèi)部機(jī)制

本文旨在更好地理解基于 Transformer 的大型語言模型（LLM）的內(nèi)部機(jī)制，以提高它們的可靠性和可解釋性。 隨著大型語言模型（LLM）在使用和部...

2023-06-25 標(biāo)簽：存儲(chǔ)語言模型Transformer 2.2k 0

ChatGLM-6B的局限和不足

基于ChatGLM-6B 部署本地私有化ChatGPT 一、開源模型 1、ChatGLM-6B介紹 清華大學(xué)知識(shí)工程 (KEG) 實(shí)驗(yàn)室和智譜AI公司與...

2023-06-25 標(biāo)簽：編碼顯存語言模型 6.2k 0

基準(zhǔn)數(shù)據(jù)集(CORR2CAUSE)如何測(cè)試大語言模型(LLM)的純因果推理能力

? 因果推理是人類智力的標(biāo)志之一。因果關(guān)系NLP領(lǐng)域近年來引起了人們的極大興趣，但其主要依賴于從常識(shí)知識(shí)中發(fā)現(xiàn)因果關(guān)系。本研究提出了一個(gè)基準(zhǔn)數(shù)據(jù)集(CO...

2023-06-20 標(biāo)簽：編碼語言模型數(shù)據(jù)集 3k 0

GPT-4已經(jīng)會(huì)自己設(shè)計(jì)芯片了嗎？

? GPT-4已經(jīng)會(huì)自己設(shè)計(jì)芯片了！芯片設(shè)計(jì)行業(yè)的一個(gè)老大難問題HDL，已經(jīng)被GPT-4順利解決。并且，它設(shè)計(jì)的130nm芯片，已經(jīng)成功流片。 GPT-...

2023-06-20 標(biāo)簽：芯片語言模型GPT 1.7k 0

基于多任務(wù)預(yù)訓(xùn)練模塊化提示

Prompt Tuning 可以讓預(yù)訓(xùn)練的語言模型快速適應(yīng)下游任務(wù)。雖然有研究證明：當(dāng)訓(xùn)練數(shù)據(jù)足夠多的時(shí)候，Prompt Tuning 的微調(diào)結(jié)果可以媲...

2023-06-20 標(biāo)簽：模塊數(shù)據(jù)語言模型 1.2k 0

Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語言建模

盡管指令調(diào)整的大型語言模型 (LLM) 在各種 NLP 任務(wù)中表現(xiàn)出卓越的能力，但它們?cè)谖谋疽酝獾钠渌麛?shù)據(jù)模式上的有效性尚未得到充分研究。在這項(xiàng)工作中，...

2023-06-19 標(biāo)簽：模塊語言建模語言模型 2.1k 0

LLM in Medical Domain: 一文速覽大語言模型在醫(yī)學(xué)領(lǐng)域的應(yīng)用

由于在生成長(zhǎng)文本的數(shù)據(jù)集上，F(xiàn)lan-PaLM和臨床醫(yī)生的結(jié)果顯示出一定gap。本文提出了使用Instruction Prompt Tuning對(duì)Fla...

2023-06-15 標(biāo)簽：語言模型數(shù)據(jù)集大模型 2.6k 0

中文信息處理實(shí)驗(yàn)室提出工具學(xué)習(xí)新框架ToolAlpaca

受 Alpaca 通過微調(diào)讓小模型學(xué)會(huì)通用指令遵循啟發(fā)，中文信息處理實(shí)驗(yàn)室的研究人員探索了通過在通用工具使用數(shù)據(jù)集上微調(diào)較小規(guī)模的語言模型，讓它們獲得通...

2023-06-15 標(biāo)簽：框架語言模型數(shù)據(jù)集 3.1k 0

基于預(yù)訓(xùn)練模型和語言增強(qiáng)的零樣本視覺學(xué)習(xí)

在一些非自然圖像中要比傳統(tǒng)模型表現(xiàn)更好 CoOp 增加一些 prompt 會(huì)讓模型能力進(jìn)一步提升 怎么讓能力更好？可以引入其他知識(shí)，即其他的預(yù)訓(xùn)練模型，...

2023-06-15 標(biāo)簽：語言模型訓(xùn)練模型 987 0

LeCun世界模型首個(gè)研究！自監(jiān)督視覺像人一樣學(xué)習(xí)和推理！

今日，Meta 推出了首個(gè)基于 LeCun 世界模型概念的 AI 模型。該模型名為圖像聯(lián)合嵌入預(yù)測(cè)架構(gòu)（Image Joint Embedding Pr...

2023-06-15 標(biāo)簽：人工智能模型語言模型 666 0

大語言模型中的常用評(píng)估指標(biāo)

EM 是 exact match 的簡(jiǎn)稱，所以就很好理解，em 表示預(yù)測(cè)值和答案是否完全一樣。

2023-06-12 標(biāo)簽：計(jì)算模型語言模型 3.8k 0

多模態(tài)上下文指令調(diào)優(yōu)數(shù)據(jù)集MIMIC-IT

然而，一個(gè)理想的 AI 對(duì)話助手應(yīng)該能夠解決涉及多種模態(tài)的任務(wù)。這需要獲得一個(gè)多樣化和高質(zhì)量的多模式指令跟隨數(shù)據(jù)集。比如，LLaVAInstruct-1...

2023-06-12 標(biāo)簽：AI語言模型數(shù)據(jù)集 1.3k 0

Allen AI推出集成主流大語言模型的LLM-BLENDER框架

在推理階段，計(jì)算一個(gè)矩陣，該矩陣包含表示成對(duì)比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的N個(gè)輸出的排序。隨后，可以使用來自PAIRRANKE...

2023-06-11 標(biāo)簽：框架模型語言模型 1.2k 0

號(hào)稱「碾壓」LLaMA的Falcon實(shí)測(cè)得分僅49.08，HuggingFace決定重寫排行榜代碼

這是一組由 Meta 開源的大型語言模型，共有 7B、13B、33B、65B 四種版本。其中，LLaMA-13B 在大多數(shù)數(shù)據(jù)集上超過了 GPT-3（1...

2023-06-11 標(biāo)簽：解碼器語言模型 1k 0

PyTorch教程-9.3. 語言模型

9.3. 語言模型? Colab [火炬]在 Colab 中打開筆記本 Colab [mxnet] Open the notebook in C...

2023-06-05 標(biāo)簽：語言模型pytorch 693 0

一個(gè)通用的自適應(yīng)prompt方法，突破了零樣本學(xué)習(xí)的瓶頸

為了解決這個(gè)問題，這篇研究提出了一種Universal Self-adaptive Prompting (USP)方法，對(duì)LLMs的零樣本學(xué)習(xí)進(jìn)行了優(yōu)化...

2023-06-01 標(biāo)簽：語言模型數(shù)據(jù)集自然語言 1.3k 0

GPT4技術(shù)原理之相變與涌現(xiàn)

物理系統(tǒng)中發(fā)生的相變最直觀，水結(jié)成冰或沸騰成蒸汽。在一定的溫度或壓力下，系統(tǒng)發(fā)生行為的突然變化，從一種相轉(zhuǎn)變?yōu)榱硪环N相。轉(zhuǎn)變出現(xiàn)了之前相中沒有的新特性，...

2023-05-29 標(biāo)簽：語言模型GPT 1.6k 0

調(diào)教LLaMA類模型沒那么難，LoRA將模型微調(diào)縮減到幾小時(shí)

最近幾個(gè)月，ChatGPT 等一系列大語言模型（LLM）相繼出現(xiàn)，隨之而來的是算力緊缺日益嚴(yán)重。雖然人人都想打造專屬于自己的大模型，但是能負(fù)擔(dān)得起上億參...

2023-05-28 標(biāo)簽：語言模型LoRaChatGPT 3.5k 0