splice 原理重溫

在《splice使用》一文中介紹了?splice?的原理和使用，現(xiàn)在我們來(lái)分析一下?splice?的代碼實(shí)現(xiàn)。

我們先來(lái)回顧一下?splice?的原理：

如上圖所示，使用?splice?拷貝數(shù)據(jù)時(shí)，需要通過(guò)管道作為中轉(zhuǎn)。splice?首先將?頁(yè)緩存?綁定到?管道?的寫端，然后通過(guò)?管道?的讀端讀取到?頁(yè)緩存?的數(shù)據(jù)，并且拷貝到?socket?緩沖區(qū)中。

我們知道管道有個(gè)?環(huán)形緩沖區(qū)，這個(gè)?環(huán)形緩沖區(qū)?需要綁定真實(shí)的物理內(nèi)存頁(yè)。而 splice 就是將管道的?環(huán)形緩沖區(qū)?綁定到文件的?頁(yè)緩存，如下圖所示：

通過(guò)將文件頁(yè)緩存綁定到管道的環(huán)形緩沖區(qū)后，就可以通過(guò)管道的讀端讀取文件頁(yè)緩存的數(shù)據(jù)。

splice 代碼實(shí)現(xiàn)

在《splice使用》一文中介紹過(guò)?splice?的使用過(guò)程，要將文件內(nèi)容發(fā)送到客戶端連接的步驟如下：

首先，使用?splice()?系統(tǒng)調(diào)用將文件的內(nèi)容與管道綁定。

然后，使用?splice()?系統(tǒng)調(diào)用將管道的數(shù)據(jù)拷貝到客戶端連接 socket。

我們先來(lái)看看?splice()?系統(tǒng)調(diào)用的實(shí)現(xiàn)，代碼如下：

asmlinkage?long
sys_splice(int?fd_in,?loff_t?*off_in,?
???????????int?fd_out,?loff_t?*off_out,?
???????????size_t?len,?unsigned?int?flags)
{
????long?error;
????struct?file?*in,?*out;
????int?fput_in,?fput_out;
????...

????error?=?-EBADF;
????in?=?fget_light(fd_in,?&fput_in);????????????//?1.?獲取數(shù)據(jù)輸入方文件對(duì)象
????if?(in)?{
????????if?(in->f_mode?&?FMODE_READ)?{
????????????out?=?fget_light(fd_out,?&fput_out);?//?2.?獲取數(shù)據(jù)輸出方文件對(duì)象
????????????if?(out)?{
????????????????if?(out->f_mode?&?FMODE_WRITE)
????????????????????//?3.?調(diào)用?do_splice()?函數(shù)進(jìn)行下一步操作
????????????????????error?=?do_splice(in,?off_in,?out,?off_out,?len,?flags);

????????????????fput_light(out,?fput_out);
????????????}
????????}

????????fput_light(in,?fput_in);
????}

????return?error;
}

splice()?系統(tǒng)調(diào)用主要調(diào)用?do_splice()?函數(shù)進(jìn)行下一步處理，我們來(lái)分析一下?do_splice()?函數(shù)的實(shí)現(xiàn)。do_splice()?函數(shù)主要分兩種情況進(jìn)行處理，代碼如下：

static?long
do_splice(struct?file?*in,?loff_t?*off_in,?
??????????struct?file?*out,?loff_t?*off_out,?
??????????size_t?len,?unsigned?int?flags)
{
????struct?pipe_inode_info?*pipe;
????loff_t?offset,?*off;
????long?ret;

????//?情況1:?如果輸入端是一個(gè)管道?
????pipe?=?pipe_info(in->f_path.dentry->d_inode);
????if?(pipe)?{
????????...
????????//?調(diào)用?do_splice_from()?函數(shù)管道數(shù)據(jù)拷貝到目標(biāo)文件句柄
????????ret?=?do_splice_from(pipe,?out,?off,?len,?flags);
????????...
????????return?ret;
????}

????//?情況2:?如果輸出端是一個(gè)管道?
????pipe?=?pipe_info(out->f_path.dentry->d_inode);
????if?(pipe)?{
????????...
????????//?調(diào)用?do_splice_to()?函數(shù)將文件內(nèi)容與管道綁定
????????ret?=?do_splice_to(in,?off,?pipe,?len,?flags);
????????...
????????return?ret;
????}

????return?-EINVAL;
}

如上面代碼所示，do_splice()?函數(shù)分兩種情況處理，如下：

如果輸入端是一個(gè)管道，則調(diào)用?do_splice_from()?函數(shù)進(jìn)行處理。

如果輸出端是一個(gè)管道，則調(diào)用?do_splice_to()?函數(shù)進(jìn)行處理。

下面我們分別來(lái)說(shuō)明這兩種情況的處理過(guò)程。

1. 輸入端是一個(gè)管道

如果輸入端是一個(gè)管道（也就是說(shuō)從管道拷貝數(shù)據(jù)到輸出端句柄），那么將會(huì)調(diào)用?do_splice_from()?函數(shù)進(jìn)行處理，do_splice_from()?函數(shù)的實(shí)現(xiàn)如下：

static?long
do_splice_from(struct?pipe_inode_info?*pipe,?struct?file?*out,
???????????????loff_t?*ppos,?size_t?len,?unsigned?int?flags)
{
????...
????return?out->f_op->splice_write(pipe,?out,?ppos,?len,?flags);
}

如果輸出端是一個(gè)普通文件，那么?out->f_op->splice_write()?將會(huì)指向?generic_file_splice_write()?函數(shù)。如果輸出端是一個(gè) socket，那么?out->f_op->splice_write()?將會(huì)指向?generic_splice_sendpage()?函數(shù)。

下面將以?generic_file_splice_write()?函數(shù)作為分析對(duì)象，generic_file_splice_write()?函數(shù)會(huì)調(diào)用?__splice_from_pipe()?進(jìn)行下一步處理，如下所示：

ssize_t
generic_file_splice_write(struct?pipe_inode_info?*pipe,?struct?file?*out,
??????????????????????????loff_t?*ppos,?size_t?len,?unsigned?int?flags)
{
????...
????ret?=?__splice_from_pipe(pipe,?&sd,?pipe_to_file);
????...
????return?ret;
}

我們接著來(lái)分析?__splice_from_pipe()?函數(shù)的實(shí)現(xiàn)：

ssize_t
__splice_from_pipe(struct?pipe_inode_info?*pipe,?struct?splice_desc?*sd,
???????????????????splice_actor?*actor)
{
????...
????for?(;;)?{
????????if?(pipe->nrbufs)?{
????????????//?1.?獲取管道環(huán)形緩沖區(qū)
????????????struct?pipe_buffer?*buf?=?pipe->bufs?+?pipe->curbuf;
????????????const?struct?pipe_buf_operations?*ops?=?buf->ops;
????????????...

????????????// 2. 把管道環(huán)形緩沖區(qū)的數(shù)據(jù)拷貝到輸出端文件。
????????????//?其中?actor?指針指向?pipe_to_file()?函數(shù)，由?generic_file_splice_write()?函數(shù)傳入
????????????err?=?actor(pipe,?buf,?sd);
????????????if?(err?<=?0)?{
????????????????if?(!ret?&&?err?!=?-ENODATA)
????????????????????ret?=?err;
????????????????break;
????????????}
????????????...
????????}
????????...
????}
????...
????return?ret;
}

對(duì)?__splice_from_pipe()?函數(shù)進(jìn)行簡(jiǎn)化后，邏輯就很簡(jiǎn)單。主要過(guò)程如下：

獲取管道環(huán)形緩沖區(qū)。

調(diào)用?pipe_to_file()?函數(shù)把管道環(huán)形緩沖區(qū)的數(shù)據(jù)拷貝到輸出端的文件中。

所以，輸入端是一個(gè)管道的調(diào)用鏈如下：

sys_splice()
└→ do_splice()
   └→ do_splice_from()
      └→ generic_file_splice_write()
         └→ __splice_from_pipe()
            └→ pipe_to_file()

2. 輸出端是一個(gè)管道

如果輸出端是一個(gè)管道（也就是說(shuō)將輸入端與管道綁定），那么將會(huì)調(diào)用?do_splice_to()?函數(shù)進(jìn)行處理，do_splice_to()?函數(shù)的實(shí)現(xiàn)如下：

static?long
do_splice_to(struct?file?*in,?loff_t?*ppos,?struct?pipe_inode_info?*pipe,
?????????????size_t?len,?unsigned?int?flags)
{
????...
????return?in->f_op->splice_read(in,?ppos,?pipe,?len,?flags);
}

如果輸入端是一個(gè)普通文件，那么?in->f_op->splice_read()?將會(huì)指向?generic_file_splice_read()?函數(shù)。如果輸出端是一個(gè) socket，那么?in->f_op->splice_read()?將會(huì)指向?sock_splice_read()?函數(shù)。

下面將以?generic_file_splice_read()?函數(shù)作為分析對(duì)象，generic_file_splice_read()?函數(shù)會(huì)調(diào)用?__generic_file_splice_read()?進(jìn)行下一步處理，如下所示：

static?int
__generic_file_splice_read(struct?file?*in,?loff_t?*ppos,
???????????????????????????struct?pipe_inode_info?*pipe,
???????????????????????????size_t?len,?unsigned?int?flags)
{
????...
????struct?page?*pages[PIPE_BUFFERS];
????struct?splice_pipe_desc?spd?=?{
????????.pages?=?pages,
????????...
????};
????...

????//?1.?查找已經(jīng)存在頁(yè)緩存的頁(yè)面
????spd.nr_pages?=?find_get_pages_contig(mapping,?index,?nr_pages,?pages);
????index?+=?spd.nr_pages;

????...
????//?2.?如果有些頁(yè)緩存還不存在，那么申請(qǐng)新的頁(yè)緩存
????while?(spd.nr_pages?a_ops->readpage(in,?page);?//?從硬盤讀取數(shù)據(jù)
????????????...
????????}
????????...
????????spd.nr_pages++;
????????index++;
????}

????...
????//?4.?將頁(yè)緩存與管道綁定
????if?(spd.nr_pages)
????????return?splice_to_pipe(pipe,?&spd);

????return?error;
}

__generic_file_splice_read()?函數(shù)的代碼比較長(zhǎng)，為了更易于分析，所以對(duì)其進(jìn)行了精簡(jiǎn)。從精簡(jiǎn)后的代碼可以看出，__generic_file_splice_read()?函數(shù)主要完成 4 個(gè)步驟：

查找要綁定的頁(yè)緩存是否已經(jīng)存在（已經(jīng)從硬盤同步到頁(yè)緩存）。

如果還有沒(méi)有同步到內(nèi)核的頁(yè)緩存，那么申請(qǐng)新的頁(yè)緩存。

如果頁(yè)緩存與硬盤的數(shù)據(jù)不一致，那么先從硬盤同步到頁(yè)緩存。

調(diào)用?splice_to_pipe()?函數(shù)將頁(yè)緩存與管道綁定。

所以最終會(huì)調(diào)用?splice_to_pipe()?函數(shù)將頁(yè)緩存與管道綁定，我們來(lái)看看?splice_to_pipe()?函數(shù)的實(shí)現(xiàn)：

ssize_t
splice_to_pipe(struct?pipe_inode_info?*pipe,?struct?splice_pipe_desc?*spd)
{
????unsigned?int?spd_pages?=?spd->nr_pages;
????int?ret,?do_wakeup,?page_nr;
????...
????for?(;;)?{
????????...
????????if?(pipe->nrbufs?curbuf?+?pipe->nrbufs)?&?(PIPE_BUFFERS?-?1);
????????????struct?pipe_buffer?*buf?=?pipe->bufs?+?newbuf;

????????????//?將環(huán)形緩沖區(qū)與頁(yè)緩存綁定
????????????buf->page?=?spd->pages[page_nr];
????????????buf->offset?=?spd->partial[page_nr].offset;
????????????buf->len?=?spd->partial[page_nr].len;
????????????buf->private?=?spd->partial[page_nr].private;
????????????buf->ops?=?spd->ops;
????????????if?(spd->flags?&?SPLICE_F_GIFT)
????????????????buf->flags?|=?PIPE_BUF_FLAG_GIFT;

????????????pipe->nrbufs++;
????????????page_nr++;
????????????ret?+=?buf->len;

????????????...
????????????if?(pipe->nrbufs?

	splice_to_pipe()?函數(shù)代碼雖然比較長(zhǎng)，但是邏輯很簡(jiǎn)單，就是將管道的環(huán)形緩沖區(qū)與文件的頁(yè)緩存進(jìn)行綁定，這樣就能過(guò)通過(guò)管道的讀端來(lái)讀取頁(yè)緩存的數(shù)據(jù)。

	所以，輸出端是一個(gè)管道的調(diào)用鏈如下：
sys_splice()
└→ do_splice()
   └→ do_splice_to()
      └→ generic_file_splice_read()
         └→ __generic_file_splice_read()
            └→ splice_to_pipe()

	總結(jié)

	本文主要介紹了?splice?的原理與實(shí)現(xiàn)，splice?是?零拷貝技術(shù)?的一種實(shí)現(xiàn)。希望通過(guò)本文，能夠讓讀者對(duì)?零拷貝技術(shù)?有更深入的理解。

	當(dāng)然本文也忽略了很多實(shí)現(xiàn)的細(xì)節(jié)，所以在閱讀的過(guò)程中遇到某些細(xì)節(jié)不理解的時(shí)候，可以直接閱讀源代碼來(lái)解疑。

	編輯：黃飛

	?