1、dense block

dense block發(fā)音

英：　　美：

dense block中文意思翻譯

常見(jiàn)釋義：

致密塊體

dense block雙語(yǔ)使用場(chǎng)景

1、Due to dense structure, high tensile strength, excellent wear-ability, anti-crack and corrosion resistance against acid and alkali, it can be used as integral anti-corrosion coat and block coat.───由于其結(jié)構(gòu)致密，具有較高的抗拉強(qiáng)度且耐磨、抗裂、抗酸堿腐蝕性能優(yōu)異，宜用于防腐蝕整體面層和塊材面層的鋪砌材料。

2、Features: Balanced Portfolio with a relatively dense mesh belt mesh can block the leakage of small objects, network with strong, high tensile strength.───特點(diǎn)：組合平衡型網(wǎng)帶具有比較細(xì)密的網(wǎng)眼，可擋住細(xì)小物體的滲漏，網(wǎng)帶牢固，抗拉強(qiáng)度高。

3、Traditionally, an SRAM chip is made more dense by shrinking its basic building block, often referred to as a cell.───從傳統(tǒng)上而言，SRAM芯片通過(guò)縮小基本構(gòu)建單元，來(lái)制造得更加緊密。

dense block相似詞語(yǔ)短語(yǔ)

1、dense layer───[醫(yī)]致密層

2、dense shrub───茂密灌木

3、trade block───貿(mào)易集團(tuán)

4、mesial dense───每月密集

5、dense forest───茂密的森林

6、block───n.塊；街區(qū)；大廈；障礙物；adj.成批的，大塊的；交通堵塞的；vt.阻止；阻塞；限制；封蓋；n.(Block)人名；(英、法、德、西、葡、芬、羅)布洛克

7、dense population───稠密的人口

8、dense───adj.稠密的；濃厚的；愚鈍的

9、dense fog───濃霧（零級(jí)能見(jiàn)度）; 大霧; 迷霧

2、DenseNet詳解

作為CVPR2017年的Best Paper, DenseNet 脫離了 加深網(wǎng)絡(luò)層數(shù)(ResNet) 和 加寬網(wǎng)絡(luò)結(jié)構(gòu)(Inception)來(lái)提升網(wǎng)絡(luò)性能的定式思維 ,從特征的角度考慮,通過(guò) 特征重用和旁路(Bypass)設(shè)置 ,既大幅度減少了網(wǎng)絡(luò)的參數(shù)量,又在一定程度上緩解了gradient vanishing問(wèn)題的產(chǎn)生.結(jié)合信息流和特征復(fù)用的假設(shè),DenseNet當(dāng)之無(wú)愧成為2017年計(jì)算機(jī)視覺(jué)頂會(huì)的年度最佳論文.

卷積神經(jīng)網(wǎng)絡(luò)在沉睡了近20年后,如今成為了深度學(xué)習(xí)方向最主要的網(wǎng)絡(luò)結(jié)構(gòu)之一.從一開(kāi)始的只有五層結(jié)構(gòu)的LeNet, 到后來(lái)?yè)碛?9層結(jié)構(gòu)的VGG, 再到首次跨越100層網(wǎng)絡(luò)的Highway Networks與ResNet, 網(wǎng)絡(luò)層數(shù)的加深成為CNN發(fā)展的主要方向之一.

隨著CNN網(wǎng)絡(luò)層數(shù)的不斷增加, gradient vanishing和model degradation問(wèn)題 出現(xiàn)在了人們面前, BatchNormalization的廣泛使用在一定程度上緩解了gradient vanishing的問(wèn)題 ,而 ResNet和Highway Networks通過(guò)構(gòu)造恒等映射設(shè)置旁路,進(jìn)一步減少了gradient vanishing和model degradation的產(chǎn)生 .Fractal Nets通過(guò)將不同深度的網(wǎng)絡(luò)并行化,在獲得了深度的同時(shí)保證了梯度的傳播,隨機(jī)深度網(wǎng)絡(luò)通過(guò)對(duì)網(wǎng)絡(luò)中一些層進(jìn)行失活,既證明了ResNet深度的冗余性,又緩解了上述問(wèn)題的產(chǎn)生. 雖然這些不同的網(wǎng)絡(luò)框架通過(guò)不同的實(shí)現(xiàn)加深的網(wǎng)絡(luò)層數(shù),但是他們都包含了相同的核心思想,既將feature map進(jìn)行跨網(wǎng)絡(luò)層的連接.

何愷明在提出ResNet時(shí)做出了這樣的假設(shè):若某一較深的網(wǎng)絡(luò)多出另一較淺網(wǎng)絡(luò)的若干層有能力學(xué)習(xí)到恒等映射,那么這一較深網(wǎng)絡(luò)訓(xùn)練得到的模型性能一定不會(huì)弱于該淺層網(wǎng)絡(luò).通俗的說(shuō)就是如果對(duì)某一網(wǎng)絡(luò)中增添一些可以學(xué)到恒等映射的層組成新的網(wǎng)路,那么最差的結(jié)果也是新網(wǎng)絡(luò)中的這些層在訓(xùn)練后成為恒等映射而不會(huì)影響原網(wǎng)絡(luò)的性能.同樣DenseNet在提出時(shí)也做過(guò)假設(shè):與其多次學(xué)習(xí)冗余的特征,特征復(fù)用是一種更好的特征提取方式.

ResNet的一個(gè)最主要的優(yōu)勢(shì)便是梯度可以流經(jīng)恒等函數(shù)來(lái)到達(dá)靠前的層.但恒等映射和非線(xiàn)性變換輸出的疊加方式是相加, 這在一定程度上破壞了網(wǎng)絡(luò)中的信息流.

為了進(jìn)一步優(yōu)化信息流的傳播,DenseNet提出了圖示的網(wǎng)絡(luò)結(jié)構(gòu)

如圖所示,第i層的輸入不僅與i-1層的輸出相關(guān),還有所有之前層的輸出有關(guān).記作:

由于在DenseNet中需要對(duì)不同層的feature map進(jìn)行cat操作,所以需要不同層的feature map保持相同的feature size,這就限制了網(wǎng)絡(luò)中Down sampling的實(shí)現(xiàn).為了使用Down sampling,作者將DenseNet分為多個(gè)Denseblock,如下圖所示:

在同一個(gè)Denseblock中要求feature size保持相同大小,在不同Denseblock之間設(shè)置transition layers實(shí)現(xiàn)Down sampling, 在作者的實(shí)驗(yàn)中transition layer由BN + Conv(1×1) ＋2×2 average-pooling組成.

在Denseblock中,假設(shè)每一個(gè)非線(xiàn)性變換H的輸出為K個(gè)feature map, 那么第i層網(wǎng)絡(luò)的輸入便為K 0 +(i-1)×K, 這里我們可以看到DenseNet和現(xiàn)有網(wǎng)絡(luò)的一個(gè)主要的不同點(diǎn):DenseNet可以接受較少的特征圖數(shù)量作為網(wǎng)絡(luò)層的輸出,如下圖所示

原因就是在同一個(gè)Denseblock中的每一層都與之前所有層相關(guān)聯(lián),如果我們把feature看作是一個(gè)Denseblock的全局狀態(tài),那么每一層的訓(xùn)練目標(biāo)便是通過(guò)現(xiàn)有的全局狀態(tài),判斷需要添加給全局狀態(tài)的更新值.因而每個(gè)網(wǎng)絡(luò)層輸出的特征圖數(shù)量K又稱(chēng)為Growth rate,同樣決定著每一層需要給全局狀態(tài)更新的信息的多少.我們之后會(huì)看到,在作者的實(shí)驗(yàn)中只需要較小的K便足以實(shí)現(xiàn)state-of-art的性能.

雖然DenseNet接受較少的k,也就是feature map的數(shù)量作為輸出,但由于不同層feature map之間由cat操作組合在一起,最終仍然會(huì)是feature map的channel較大而成為網(wǎng)絡(luò)的負(fù)擔(dān).作者在這里使用1×1 Conv(Bottleneck)作為特征降維的方法來(lái)降低channel數(shù)量,以提高計(jì)算效率.經(jīng)過(guò)改善后的非線(xiàn)性變換變?yōu)锽N-ReLU-Conv(1×1)-BN-ReLU-Conv(3×3),使用Bottleneck layers的DenseNet被作者稱(chēng)為DenseNet-B.在實(shí)驗(yàn)中,作者使用1×1卷積生成channel數(shù)量為4k的feature map.

為了進(jìn)一步優(yōu)化模型的簡(jiǎn)潔性,我們同樣可以在transition layer中降低feature map的數(shù)量.若一個(gè)Denseblock中包含m個(gè)feature maps,那么我們使其輸出連接的transition layer層生成⌊θm⌋個(gè)輸出feature map.其中θ為Compression factor, 當(dāng)θ=1時(shí),transition layer將保留原feature維度不變.

作者將使用compression且θ=0.5的DenseNet命名為DenseNet-C, 將使用Bottleneck和compression且θ=0.5的DenseNet命名為DenseNet-BC

由于DenseNet對(duì)輸入進(jìn)行cat操作,一個(gè)直觀(guān)的影響就是每一層學(xué)到的feature map都能被之后所有層直接使用,這使得特征可以在整個(gè)網(wǎng)絡(luò)中重用,也使得模型更加簡(jiǎn)潔.

從上圖中我們可以看出DenseNet的參數(shù)效率:左圖包含了對(duì)多種DenseNet結(jié)構(gòu)參數(shù)和最終性能的統(tǒng)計(jì),我們可以看出當(dāng)模型實(shí)現(xiàn)相同的test error時(shí),原始的DenseNet往往要比DenseNet-BC擁有2-3倍的參數(shù)量.中間圖為DenseNet-BC與ResNet的對(duì)比,在相同的模型精度下,DenseNet-BC只需要ResNet約三分之一的參數(shù)數(shù)量.右圖為1001層超過(guò)10M參數(shù)量的ResNet與100層只有0.8M參數(shù)量的DenseNet-BC在訓(xùn)練時(shí)的對(duì)比,雖然他們?cè)诩s相同的訓(xùn)練epoch時(shí)收斂,但DenseNet-BC卻只需要ResNet不足十分之一的參數(shù)量.

解釋DenseNet為何擁有如此高性能的另一個(gè)原因是 網(wǎng)絡(luò)中的每一層不僅接受了原始網(wǎng)絡(luò)中來(lái)自loss的監(jiān)督 ,同時(shí)由于 存在多個(gè)bypass與shortcut,網(wǎng)絡(luò)的監(jiān)督是多樣的 .Deep supervision的優(yōu)勢(shì)同樣在deeply-supervised nets (DSN)中也被證實(shí).(DSN中每一個(gè)Hidden layer都有一個(gè)分類(lèi)器,強(qiáng)迫其學(xué)習(xí)一些有區(qū)分度的特征).與DSN不同的是,DenseNet擁有單一的loss function, 模型構(gòu)造和梯度計(jì)算更加簡(jiǎn)易.

在設(shè)計(jì)初,DenseNet便被設(shè)計(jì)成讓一層網(wǎng)絡(luò)可以使用所有之前層網(wǎng)絡(luò)feature map的網(wǎng)絡(luò)結(jié)構(gòu),為了探索feature的復(fù)用情況,作者進(jìn)行了相關(guān)實(shí)驗(yàn).作者訓(xùn)練的L=40,K=12的DenseNet,對(duì)于任意Denseblock中的所有卷積層,計(jì)算之前某層feature map在該層權(quán)重的絕對(duì)值平均數(shù).這一平均數(shù)表明了這一層對(duì)于之前某一層feature的利用率,下圖為由該平均數(shù)繪制出的熱力圖:

從圖中我們可以得出以下結(jié)論:

a) 一些較早層提取出的特征仍可能被較深層直接使用

b) 即使是Transition layer也會(huì)使用到之前Denseblock中所有層的特征

c) 第2-3個(gè)Denseblock中的層對(duì)之前Transition layer利用率很低,說(shuō)明transition layer輸出大量冗余特征.這也為DenseNet-BC提供了證據(jù)支持,既Compression的必要性.

d) 最后的分類(lèi)層雖然使用了之前Denseblock中的多層信息,但更偏向于使用最后幾個(gè)feature map的特征,說(shuō)明在網(wǎng)絡(luò)的最后幾層,某些high-level的特征可能被產(chǎn)生.

作者在多個(gè)benchmark數(shù)據(jù)集上訓(xùn)練了多種DenseNet模型,并與state-of-art的模型(主要是ResNet和其變種)進(jìn)行對(duì)比:

由上表我們可以看出,DenseNet只需要較小的Growth rate(12,24)便可以實(shí)現(xiàn)state-of-art的性能,結(jié)合了Bottleneck和Compression的DenseNet-BC具有遠(yuǎn)小于ResNet及其變種的參數(shù)數(shù)量,且無(wú)論DenseNet或者DenseNet-BC,都在原始數(shù)據(jù)集和增廣數(shù)據(jù)集上實(shí)現(xiàn)了超越ResNet的性能.

DenseNet詳解