在生物學(xué)和醫(yī)學(xué)領(lǐng)域，研究人員通常利用顯微技術(shù)觀察肉眼無法看到的細(xì)胞和分子的細(xì)節(jié)。透射光顯微技術(shù)的原理是對(duì)生物樣本單側(cè)照射并生成圖像，操作相對(duì)簡(jiǎn)單且活體培養(yǎng)樣本耐受度高，但通過這種方式生成的圖像難以正確評(píng)估。而熒光顯微技術(shù)可以使用熒光分子將需要觀察的生物目標(biāo)（如細(xì)胞核）標(biāo)上顏色，這種做法簡(jiǎn)化了分析，但需要繁瑣的樣本制備。

隨著機(jī)器學(xué)習(xí)（包括用于自動(dòng)評(píng)估圖像質(zhì)量和協(xié)助病理學(xué)家診斷癌組織的算法）在顯微技術(shù)領(lǐng)域的應(yīng)用日益增多，我們想知道是否可以開發(fā)一種能夠結(jié)合兩種顯微技術(shù)的優(yōu)點(diǎn)，同時(shí)最大限度減少缺點(diǎn)的深度學(xué)習(xí)系統(tǒng)。

在 “In Silico Labeling:Predicting Fluorescent Labels in Unlabeled Images” 一文（今日刊登于《Cell》雜志）中，我們展示了一個(gè)新的深度神經(jīng)網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)能夠通過透射光圖像預(yù)測(cè)熒光圖像，無需修改細(xì)胞就可以生成帶標(biāo)記的有用圖像，從而允許對(duì)未修改的細(xì)胞作縱向研究、在細(xì)胞治療中實(shí)現(xiàn)微創(chuàng)細(xì)胞篩查，以及同時(shí)運(yùn)用大量標(biāo)記進(jìn)行調(diào)查。我們也開源了網(wǎng)絡(luò)，并提供了完整的訓(xùn)練與測(cè)試數(shù)據(jù)、訓(xùn)練模型檢查點(diǎn)和示例代碼。

背景

透射光顯微技術(shù)操作簡(jiǎn)單，但生成的圖像難以分辨。以下圖為例，這是通過相襯顯微鏡獲得的一個(gè)圖像，其中的像素強(qiáng)度表示光線穿過樣本時(shí)相位變化的程度。

利用誘導(dǎo)性多能干細(xì)胞培養(yǎng)的人體運(yùn)動(dòng)神經(jīng)元的透射光（相襯顯微鏡）圖像。圖樣 1 顯示的是疑似神經(jīng)元的一組細(xì)胞。圖樣 2 顯示圖像有缺損，底層細(xì)胞模糊不清。圖樣 3 顯示的是神經(jīng)突。圖樣 4 顯示的內(nèi)容疑似死細(xì)胞。比例尺：40 微米。這一組圖像和以下圖片均來自 Gladstone 研究所的Finkbeiner 實(shí)驗(yàn)室。

在上圖中，很難判斷圖樣 1 的神經(jīng)元簇中的細(xì)胞數(shù)量，也無法看出圖樣 4 中細(xì)胞的位置和狀態(tài)（提示：在中上方位置有一個(gè)非常不明顯的扁平細(xì)胞）。同時(shí)也很難始終讓精細(xì)結(jié)構(gòu)保持在對(duì)焦范圍內(nèi)，如圖樣 3 中的神經(jīng)突。

我們可以通過在 z 堆棧中獲取圖像，利用透射光顯微技術(shù)獲得更多信息：在 (x, y) 中配準(zhǔn)圖像，而z（與相機(jī)的距離）會(huì)系統(tǒng)地發(fā)生變化。這會(huì)使細(xì)胞的不同部分對(duì)焦或脫焦，從而提供樣本的 3D 結(jié)構(gòu)信息。遺憾的是，通常只有有經(jīng)驗(yàn)的分析人員才能看懂 z 堆棧，而此類 z 堆棧的分析目前在很大程度上還無法實(shí)現(xiàn)自動(dòng)化。下面是一個(gè) z 堆棧示例。

相同細(xì)胞的相襯顯微鏡 z 堆棧。注意焦點(diǎn)移動(dòng)時(shí)表象的相應(yīng)變化?，F(xiàn)在我們可以看出，圖樣 1 右下方的模糊形狀是單個(gè)橢圓形細(xì)胞，圖樣 4 中最右邊的細(xì)胞比最上面的細(xì)胞還要長(zhǎng)，這表明它可能經(jīng)歷了細(xì)胞程序性死亡。

在用熒光顯微技術(shù)觀察到的圖像中，研究人員用熒光對(duì)要觀察的內(nèi)容進(jìn)行了精心標(biāo)記，因而，相比之下分析起來更加容易。例如，大多數(shù)人類細(xì)胞只有一個(gè)細(xì)胞核，因此可以進(jìn)行細(xì)胞核標(biāo)記（如下圖的藍(lán)色標(biāo)記），這就使得利用簡(jiǎn)單工具查找圖像中的細(xì)胞和統(tǒng)計(jì)細(xì)胞數(shù)量成為可能。

相同細(xì)胞的熒光顯微圖像。藍(lán)色熒光標(biāo)記集中于 DNA，突出了細(xì)胞核。綠色熒光標(biāo)記集中于僅存在于樹突（一種神經(jīng)子結(jié)構(gòu)）中的蛋白質(zhì)。紅色熒光標(biāo)記集中于僅存在于軸突（另一種神經(jīng)子結(jié)構(gòu)）中的蛋白質(zhì)。通過這些標(biāo)記，可以更輕松地了解樣本中發(fā)生的情況。例如，圖樣 1 中的綠色和紅色標(biāo)記確認(rèn)這是神經(jīng)元簇。圖樣 3 中的紅色標(biāo)記顯示神經(jīng)突是軸突而不是樹突。圖樣 4 中左上方的藍(lán)點(diǎn)顯示出之前難以辨認(rèn)的細(xì)胞核，而左側(cè)細(xì)胞缺失藍(lán)點(diǎn)，表明它是無 DNA 的細(xì)胞碎片。

不過，熒光顯微技術(shù)存在嚴(yán)重的缺陷。首先，樣本制備和熒光標(biāo)記本身增加了復(fù)雜程度和變數(shù)。其次，如果樣本中存在許多不同的熒光標(biāo)記，光譜重疊會(huì)使人很難分辨出哪一種顏色屬于哪個(gè)標(biāo)記，因此，研究人員通常只能在一個(gè)樣本中同時(shí)使用 3 到 4 個(gè)標(biāo)記。再次，熒光標(biāo)記可能對(duì)細(xì)胞有害，有時(shí)還可能直接殺死細(xì)胞，這樣一來，在需要隨著時(shí)間推移跟蹤細(xì)胞的縱向研究中很難使用標(biāo)記。

利用深度學(xué)習(xí)發(fā)現(xiàn)更多信息

在論文中，我們展示深度神經(jīng)網(wǎng)絡(luò)可以根據(jù)透射光 z 堆棧預(yù)測(cè)熒光圖像。為此，我們創(chuàng)建了一個(gè)與熒光圖像匹配的透射光 z 堆棧數(shù)據(jù)集，并訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)來根據(jù) z 堆棧預(yù)測(cè)熒光圖像。具體過程如下圖所示。

我們系統(tǒng)的概覽。(A) 訓(xùn)練示例的數(shù)據(jù)集：z 堆棧的透射光圖像對(duì)與同一場(chǎng)景下像素配準(zhǔn)的熒光圖像集。使用幾種不同的熒光標(biāo)記生成熒光圖像，并且不同訓(xùn)練示例中所用的標(biāo)記也各不相同；棋盤格圖像表示沒有為給定示例獲取的熒光標(biāo)記。(B) 未訓(xùn)練的深度網(wǎng)絡(luò)使用數(shù)據(jù) A 訓(xùn)練 (C)。(D) 新場(chǎng)景下圖像的 z 堆棧。(E) 訓(xùn)練的網(wǎng)絡(luò) C 用于為新圖像 D 中的每個(gè)像素預(yù)測(cè)從 A 中學(xué)習(xí)的熒光標(biāo)記。

在研究過程中，受到 Inception 模塊化設(shè)計(jì)的啟發(fā)，我們開發(fā)了一種新型神經(jīng)網(wǎng)絡(luò)，此網(wǎng)絡(luò)由以下三種基本構(gòu)建塊組成：in-scale 配置（不改變特征的空間縮放）、down-scale 配置（將空間縮放加倍）以及 up-scale 配置（將空間縮放減半）。這樣一來，網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)的難題分解為兩個(gè)簡(jiǎn)單的問題：構(gòu)建塊（宏架構(gòu)）的安排以及構(gòu)建塊本身（微架構(gòu)）的設(shè)計(jì)。我們使用論文中討論的設(shè)計(jì)原則解決了第一個(gè)問題，第二個(gè)問題則通過由 Google Hypertune 提供支持的自動(dòng)搜索加以解決。

為了確保方法的合理性，我們使用來自 Alphabet 實(shí)驗(yàn)室以及兩個(gè)外部合作伙伴的數(shù)據(jù)對(duì)模型進(jìn)行了驗(yàn)證：Gladstone 研究所的 Steve Finkbeiner 實(shí)驗(yàn)室和哈佛大學(xué) Rubin 實(shí)驗(yàn)室。這些數(shù)據(jù)包含了三種透射光成像模式（亮視野、相襯和微分干涉對(duì)比）和三種培養(yǎng)類型（來自誘導(dǎo)性多能干細(xì)胞的人體運(yùn)動(dòng)神經(jīng)元、老鼠大腦皮層培養(yǎng)和人類乳腺癌細(xì)胞）。結(jié)果發(fā)現(xiàn)，我們的方法可以準(zhǔn)確預(yù)測(cè)細(xì)胞核、細(xì)胞類型（例如神經(jīng)細(xì)胞）和細(xì)胞狀態(tài)（例如細(xì)胞死亡）等的多個(gè)標(biāo)記。下圖顯示了模型對(duì)透射光輸入的預(yù)測(cè)以及我們運(yùn)動(dòng)神經(jīng)元示例的熒光實(shí)況。

動(dòng)畫顯示了相同細(xì)胞的透射光和熒光成像以及我們的模型預(yù)測(cè)的熒光標(biāo)記。根據(jù)圖樣 2 所示，盡管輸入圖像中存在偽像，模型依然正確預(yù)測(cè)了標(biāo)記。在圖樣 3 中，模型可能基于過程與最近的細(xì)胞之間的距離推斷出這些過程是軸突。在圖樣 4 中，模型在頂部顯示出之前難以辨認(rèn)的細(xì)胞，并將左側(cè)的物體正確識(shí)別為無 DNA 的細(xì)胞碎片。