以往的長(zhǎng)度可控摘要模型大多在解碼階段控制長(zhǎng)度，而編碼階段對(duì)指定的摘要長(zhǎng)度不敏感。這樣模型傾向于生成和訓(xùn)練數(shù)據(jù)一樣長(zhǎng)的摘要。在這篇論文中，作者提出了一種長(zhǎng)度感知注意機(jī)制（LAAM，length-aware attention mechanism）來(lái)適應(yīng)基于期望長(zhǎng)度的編碼。

本文的方法是在由原始訓(xùn)練數(shù)據(jù)構(gòu)建的摘要長(zhǎng)度平衡數(shù)據(jù)集上訓(xùn)練 LAAM，然后像往常一樣進(jìn)行微調(diào)。結(jié)果表明，這種方法可以有效地生成具有所需長(zhǎng)度的高質(zhì)量摘要，甚至是原始訓(xùn)練集中從未見(jiàn)過(guò)的短長(zhǎng)度摘要。

論文題目：Length Control in Abstractive Summarization by Pretraining Information Selection

收錄會(huì)議：

ACL 2022

論文鏈接：

https://aclanthology.org/2022.acl-long.474.pdf

代碼鏈接：

https://github.com/yizhuliu/lengthcontrol

背景

摘要任務(wù)目的是改寫(xiě)原文，在簡(jiǎn)明流暢的摘要中再現(xiàn)原文的語(yǔ)義和主題。為了在不同的移動(dòng)設(shè)備或空間有限的網(wǎng)站上顯示摘要，我們必須生成不同長(zhǎng)度的摘要。

長(zhǎng)度可控的摘要是一個(gè)多目標(biāo)優(yōu)化問(wèn)題，包括：

在期望的長(zhǎng)度內(nèi)生成完整的摘要

以及根據(jù)期望的長(zhǎng)度選擇適當(dāng)?shù)男畔?/p>

相關(guān)方法

現(xiàn)有的基于編解碼器模型的長(zhǎng)度可控摘要可分為兩類：

解碼時(shí)的早停

編碼前的信息選擇

解碼過(guò)程中的早停方法關(guān)注何時(shí)輸出 eos（end of sequence），也就是摘要的結(jié)束標(biāo)志。有人設(shè)計(jì)了專門的方法。這個(gè)專門方法是通過(guò)在測(cè)試期間將期望長(zhǎng)度的位置上的所有候選單詞分配 ?∞ 的分?jǐn)?shù)來(lái)生成 eos。這個(gè)方法可以應(yīng)用于任何 seq2seq 模型。然而，這些方法只是簡(jiǎn)單地為解碼器增加了長(zhǎng)度要求，而忽略了從源文檔編碼內(nèi)容或信息選擇也必須適應(yīng)不同長(zhǎng)度要求的問(wèn)題。

基于信息選擇的方法分為兩階段。一個(gè)突出的例子是 LPAS，在第一階段，從源文檔中提取最重要的l個(gè)標(biāo)記作為所需長(zhǎng)度的原型摘要，并在第二階段通過(guò)雙編碼器對(duì)源文檔和原型摘要進(jìn)行編碼。一方面，這種兩階段方法會(huì)在中間結(jié)果中引入噪聲。另一方面，這些方法的第二階段沒(méi)有第一手的長(zhǎng)度信息，這削弱了長(zhǎng)度控制。

本文方法

在本文中，作者提出了LAAM（長(zhǎng)度感知注意機(jī)制），它擴(kuò)展了 Transformer seq2seq 模型，具有根據(jù)長(zhǎng)度約束在上下文中選擇信息的能力。

LAAM 重新 normalize 編碼器和解碼器之間的注意力，以增強(qiáng)指定長(zhǎng)度范圍內(nèi)具有更高注意力分?jǐn)?shù)的 token，幫助從源文檔中選擇長(zhǎng)度感知信息。隨著解碼進(jìn)行，增強(qiáng) token 的數(shù)量將會(huì)逐步減少，直到 eos 獲得最高的注意力分?jǐn)?shù)，這有助于在指定長(zhǎng)度上停止解碼過(guò)程。

LAAM 可以被認(rèn)為是上一節(jié)兩類方法的混合版本。

同時(shí)作者觀察到，在現(xiàn)有訓(xùn)練集中，不同長(zhǎng)度的摘要數(shù)量有很大差異。為了平衡摘要在不同長(zhǎng)度范圍內(nèi)的分布，本文提出了一種啟發(fā)式方法：首先定義摘要長(zhǎng)度范圍，然后從原文中直接抽取不同長(zhǎng)度的摘要，根據(jù)特定指標(biāo)控制抽取摘要的相關(guān)度，從而創(chuàng)建長(zhǎng)度平衡數(shù)據(jù)集（LBD，length-balanced dataset）。

在本文方法中，先從原始的摘要數(shù)據(jù)集創(chuàng)建一個(gè) LBD。之后，在 LBD 上預(yù)訓(xùn)練LAAM，以增強(qiáng) LAAM 在長(zhǎng)度約束下的文本選擇能力。最后，將預(yù)訓(xùn)練后的 LAAM 在原始數(shù)據(jù)集上微調(diào)，以學(xué)習(xí)將所選文本改寫(xiě)為不同長(zhǎng)度的摘要。

當(dāng)前訓(xùn)練數(shù)據(jù)集中沒(méi)有短摘要，微調(diào)后的模型沒(méi)有見(jiàn)過(guò)短摘要，所以如果用它生成短摘要的話算是 zero-shot。得益于 LDB 的預(yù)訓(xùn)練，本文的方法可以解決zero-shot情況下的長(zhǎng)度控制問(wèn)題。

本文的主要貢獻(xiàn)：

提出了LAAM（長(zhǎng)度感知注意機(jī)制）來(lái)生成具有所需長(zhǎng)度的高質(zhì)量摘要。

設(shè)計(jì)了一種啟發(fā)式方法，從原始數(shù)據(jù)集中創(chuàng)建一個(gè)LBD（長(zhǎng)度平衡數(shù)據(jù)集）。在 LBD 上對(duì) LAAM 進(jìn)行預(yù)訓(xùn)練后，LAAM 效果能有提升，并且可以有效解決 zero-shot 情況下的短摘要生成問(wèn)題。

LAAM

上圖是 Transformer 解碼器。

左上方為源文檔輸入：，作為注意力的 Key。

最左側(cè)為模型當(dāng)前輸出：，作為注意力的 Query，兩者點(diǎn)乘得到注意力矩陣。 注意力矩陣分為兩部分， 負(fù)責(zé)文本信息選擇， 負(fù)責(zé)結(jié)束標(biāo)志選擇

注意力矩陣的第一行加粗了 Top3，第二行加粗了 Top2，第三行加粗了 Top1，對(duì)加粗的進(jìn)行提權(quán)，本文通過(guò)這種方式向模型傳遞句子剩余預(yù)測(cè)長(zhǎng)度信息。

也會(huì)進(jìn)行提權(quán)，并且越接近指定長(zhǎng)度，提權(quán)幅度越大，模型也就更容易預(yù)測(cè)出 eos。

提權(quán)后要進(jìn)行一次歸一化，不然和不為 1。

這就是本文提出的 LAAM 模型。

總結(jié)

本文方案的整體流程是：

用原始訓(xùn)練集生成 LBD（長(zhǎng)度平衡數(shù)據(jù)集）

在 LBD 上預(yù)訓(xùn)練 LAAM 模型

在原始訓(xùn)練集上微調(diào) LAAM 模型

審核編輯 ：李倩