淺析神經(jīng)網(wǎng)絡(luò)技術(shù)之Transformer

transformer采用注意力機制，能夠識別各單詞之間的相關(guān)性，但對詞序并沒有要求。也就是說，在它看來，我愛你、我你愛，這兩句話沒有區(qū)別。因此，需要對...

2023-03-13 標簽：神經(jīng)網(wǎng)絡(luò)計算機nlp 1.1k 0

Python強大的模式匹配工具Pampy

在自然語言處理界，**模式匹配**可以說是最常用的技術(shù)。甚至可以說，將NLP技術(shù)作為真實生產(chǎn)力的項目都少不了 **模式匹配** 。

2023-02-23 標簽：技術(shù)模式匹配nlp 1k 0

理解什么是NLP Subword算法

Subword算法如今已經(jīng)成為了一個重要的NLP模型性能提升方法。自從2018年BERT橫空出世橫掃NLP界各大排行榜之后，各路預(yù)訓(xùn)練語言模型如同雨后春...

2023-02-22 標簽：語言模型nlp 942 0

詳細解讀ChatGPT 背后的技術(shù)重點

通常，基礎(chǔ)模型的語言建模目標不足以讓模型學(xué)會以有用的方式遵循用戶的指令。模型創(chuàng)建者使用「指令微調(diào) (Instruction Fine-Tuning，IF...

2023-02-09 標簽：聊天機器人nlpChatGPT 920 0

NLP的經(jīng)典任務(wù)——句法（Syntactic）分析

詞性標注：Part-of-speech(POS)，將詞在句子中扮演的角色進行標注，如動詞、名詞等。因為一詞多義的存在，這個過程也存在歧義性。具體的tag...

2022-10-06 標簽：nlp 918 0

多語言任務(wù)在內(nèi)的多種NLP任務(wù)實現(xiàn)

WeLM是一個百億級別的中文模型，能夠在零樣本以及少樣本的情境下完成包括對話-采訪、閱讀理解、翻譯、改寫、續(xù)寫、多語言閱讀理解在內(nèi)的多種NLP任務(wù)，并具...

2022-10-13 標簽：API接口自然語言nlp 871 0

ChatGPT的技術(shù)成份有多高

ChatGPT 由 GPT-3.5 模型提供支持，與傳統(tǒng)思路不同，它采用了一種半監(jiān)督式的訓(xùn)練機器說話。這是它的創(chuàng)新所在，也是它的獨到之處。 GPT...

2023-02-21 標簽：TransformernlpChatGPT 816 0

文本相似是NLP工業(yè)化中的一個基本任務(wù)

TF-IDF算法是創(chuàng)建在這樣一個假設(shè)之上的：對區(qū)別文檔最有意義的詞語應(yīng)該是那些在文檔中出現(xiàn)頻率高，而在整個文檔集合的其他文檔中出現(xiàn)頻率少的詞語。如果特征...

2022-08-03 標簽：二進制算法nlp 813 0

簡述六種優(yōu)雅的精調(diào)方法

經(jīng)常會收到一些比較簡要的技術(shù)咨詢，描述了是什么任務(wù)，發(fā)現(xiàn)用BERT粗暴精調(diào)效果不好之后，問我有什么辦法可以提升。 在面對第一把梭就失敗時，我通常是...

2023-02-22 標簽：數(shù)據(jù)集DEBUGnlp 803 0

關(guān)于ChatGPT八個技術(shù)問題的猜想

只要使用過ChatGPT，我們就會發(fā)現(xiàn)它不是一個傳統(tǒng)意義上的人機對話系統(tǒng)，實際是一個以自然語言為交互方式的通用語言處理平臺。2020年的GPT-3雖然擁...

2023-03-03 標簽：深度學(xué)習(xí)nlpChatGPT 801 0