在芯片生產(chǎn)制造過(guò)程中，各工藝流程環(huán)環(huán)相扣，技術(shù)復(fù)雜，材料、環(huán)境、工藝參數(shù)等因素的微變常導(dǎo)致芯片產(chǎn)生缺陷，影響產(chǎn)品良率。芯片質(zhì)量檢測(cè)作為芯片生產(chǎn)線中的關(guān)鍵環(huán)節(jié)，可以積極地反饋產(chǎn)品質(zhì)量信息，以便人們及時(shí)掌控各生產(chǎn)環(huán)節(jié)的健康狀況，促使質(zhì)量檢測(cè)技術(shù)在生產(chǎn)線中的作用越來(lái)越凸顯。

如今，人工目視檢測(cè)方法因其存在效率低、精度低、成本高、勞動(dòng)強(qiáng)度大和標(biāo)準(zhǔn)不統(tǒng)一等缺點(diǎn)，正逐步被自動(dòng)檢測(cè)技術(shù)所取代。早期的自動(dòng)檢測(cè)技術(shù)主要圍繞機(jī)器視覺(jué)技術(shù)展開(kāi)。機(jī)器視覺(jué)技術(shù)以其高效率、高精度、高可靠性、非接觸性和客觀性強(qiáng)等優(yōu)點(diǎn)，得到了廣泛研究和應(yīng)用 ，經(jīng)典方法為基于人工設(shè)計(jì)特征的特征選擇算法與模式識(shí)別分類算法的結(jié)合。近年來(lái)，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型在計(jì)算機(jī)視覺(jué)領(lǐng)域的成功應(yīng)用，給缺陷檢測(cè)提供了新的發(fā)展方向 。 鑒于目前國(guó)內(nèi)還沒(méi)有全面細(xì)致論述半導(dǎo)體芯片表面缺陷檢測(cè)方法的綜述文獻(xiàn)，本文通過(guò)對(duì) 2015—2021 年相關(guān)文獻(xiàn)進(jìn)行歸納梳理，旨在幫助研究人員快速和系統(tǒng)地了解該領(lǐng)域的相關(guān)方法與技術(shù)。本文主要回答了“芯片缺陷是什么”“芯片缺陷檢測(cè)做什么”和“芯片缺陷檢測(cè)怎么做”3 個(gè)問(wèn)題，相應(yīng)內(nèi)容包括介紹芯片制造流程及產(chǎn)生的相關(guān)缺陷和芯片缺陷檢測(cè)任務(wù)，分析近幾年的相關(guān)研究方法和芯片表面缺陷特性，并進(jìn)行總結(jié)和歸納。

1　芯片生產(chǎn)及缺陷介紹 1.1　芯片制造流程

芯片生產(chǎn)需要經(jīng)歷數(shù)道工序，其中各工藝流程環(huán)環(huán)相扣。芯片生產(chǎn)對(duì)材料、環(huán)境、工藝參數(shù)等敏感，每個(gè)環(huán)節(jié)都有可能產(chǎn)生缺陷。因此，了解制造工藝流程，是進(jìn)行芯片表面缺陷檢測(cè)研究的前提。芯片生產(chǎn)線主要包括芯片設(shè)計(jì)、制造、封裝和檢測(cè) 4 大環(huán)節(jié)，流程如圖 1 所示。

芯片檢測(cè)主要分為物理性檢測(cè)和電性能檢測(cè)。物理性檢測(cè)主要可分為封裝前的芯片表面缺陷檢測(cè)和封裝后的封裝體缺陷檢測(cè)。電性能檢測(cè)是在不同的電壓、溫度和濕度等條件下進(jìn)行溫度、電氣和速度測(cè)試，目的是檢測(cè)芯片的性能是否達(dá)標(biāo)。本研究主要聚焦于半導(dǎo)體芯片的物理性缺陷檢測(cè)。

1.2　芯片缺陷介紹

封裝前，上述數(shù)道工藝的操作控制、工藝參數(shù)、環(huán)境等因素都會(huì)對(duì)芯片質(zhì)量產(chǎn)生一定的影響，產(chǎn)生的缺陷表現(xiàn)出類別多樣、形態(tài)各異、背景復(fù)雜等特點(diǎn)。芯片制造過(guò)程中產(chǎn)生的表面缺陷示例如圖 2 所示，大致可劃分為原材料不良、異物、劃傷、Bump 元件缺陷（凸起、錯(cuò)位或缺失）、金屬性污染物和蝕刻液臟污殘留。此外，芯片制造過(guò)程中還會(huì)產(chǎn)生如蝕刻銹斑、電鍍過(guò)多、異色和金屬線損壞等小樣本缺陷。

封裝后的封裝體缺陷包括印刷缺陷和引腳缺陷。封裝體表面印刷符號(hào)表明了其名稱、規(guī)格、型號(hào)和性能等信息，是辨識(shí)芯片的重要依據(jù)。清晰的符號(hào)是高質(zhì)量芯片的內(nèi)在需求。實(shí)際生產(chǎn)中常存在的印刷缺陷包括錯(cuò)字、偏移、漏印、多印、模糊、傾斜、位移、斷字、雙層印和無(wú)字等。引腳缺陷包括引腳缺失、引腳破損和引腳彎曲等。缺陷示例如圖 3 所示。

2　芯片缺陷檢測(cè)方法 2.1　機(jī)器視覺(jué)缺陷檢測(cè)方法

機(jī)器視覺(jué)方法基本檢測(cè)流程，如圖 4 所示。隨著機(jī)器視覺(jué)相關(guān)技術(shù)逐漸受到重視，多種基于人工設(shè)計(jì)特征的特征選擇算法和模式識(shí)別分類算法被應(yīng)用于表面缺陷檢測(cè)領(lǐng)域。

2.1.1　芯片表面缺陷檢測(cè)

針對(duì)封裝前的芯片表面缺陷檢測(cè)，戴敬等通過(guò)改進(jìn)多重中值濾波算法，采用插影法、歸一化互相關(guān)的模板匹配等方法實(shí)現(xiàn)晶圓表面缺陷檢測(cè)。SU 等通過(guò)對(duì)封裝芯片的表面施加超聲波激發(fā)并結(jié)合測(cè)振儀提取了時(shí)域和頻域特征，引入遺傳算法進(jìn)行特征選擇，最后采用 BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)進(jìn)行分類識(shí)別。陳凱提取集成電路芯片表面的幾何特征、紋理特征和灰度特征缺陷特征，在特征降維后輸入基于改進(jìn)的螢火蟲算法的支持向量機(jī)實(shí)現(xiàn)缺陷識(shí)別。付純鶴等提取芯片表面缺陷的 Hu 不變矩特征和局部二值模式（Local Binary Pattern，LBP）特征，通過(guò)反向傳播神經(jīng)網(wǎng)絡(luò)（Back Propagation Neural Network，BPNN）進(jìn)行學(xué)習(xí)，最后采用最近鄰算法分類缺陷。

2.1.2　封裝體缺陷檢測(cè)

針對(duì)封裝后的封裝體存在的印刷缺陷，張靜平提出了一種動(dòng)態(tài)縮小圖像檢測(cè)區(qū)域的加權(quán)模板匹配算法，以判斷 QFN 芯片表面字符的缺陷。FABIO 等結(jié)合卷積神經(jīng)網(wǎng)絡(luò)、k 均值聚類算法和 k 近鄰分類算法，識(shí)別食品包裝盒上的符號(hào)模糊和符號(hào)缺失，對(duì)芯片封裝體存在的印刷缺陷檢測(cè)具有參考意義 。 針對(duì)封裝后的封裝體存在的引腳缺陷，巢淵提取缺陷的幾何、灰度、紋理特征，提出基于廣義反向粒子群與引力搜索混合算法和高斯核支持向量機(jī) RBFSVM 分類缺陷。劉琛等提出一種基于方位環(huán)境特征的點(diǎn)模式匹配定位算法，快速準(zhǔn)確定位芯片并識(shí)別引腳缺陷。

陳文鳳等設(shè)計(jì)了一套基于 ARM-DSP 雙核結(jié)構(gòu)的集成芯片引腳缺陷自動(dòng)檢測(cè)系統(tǒng)。 為檢測(cè) SOP 芯片引腳缺陷，李本紅等采用灰度躍變檢測(cè)引腳中點(diǎn)、中點(diǎn)直線擬合和引腳間距統(tǒng)計(jì)等方法，實(shí)現(xiàn)對(duì) SOP 芯片引腳缺陷的自動(dòng)檢測(cè) ；李繹鈴以連通像素區(qū)域標(biāo)記法為主要算法，提出基于模板匹配的引腳缺陷識(shí)別算法 ；金賀楠通過(guò)圖像矩來(lái)對(duì)SOP 芯片的整體位置進(jìn)行定位，同時(shí)結(jié)合基于 TwoPass 的連通域分方法來(lái)完善芯片引腳外觀檢測(cè) 。 以上特征提取結(jié)合分類器的方法可以較好地實(shí)現(xiàn)缺陷檢測(cè)，但同時(shí)特征提取存在主觀性、局限性問(wèn)題和復(fù)雜化問(wèn)題等，需要依賴經(jīng)驗(yàn)和專業(yè)知識(shí)，有針對(duì)性地依據(jù)產(chǎn)品表面缺陷特性提取和選擇特征。隨著芯片愈加集成化和光刻工藝愈加復(fù)雜，產(chǎn)生的缺陷往往類型繁多、特征復(fù)雜、背景多變和位置隨機(jī)，傳統(tǒng)的機(jī)器視覺(jué)技術(shù)難以充分且有效地提取到缺陷特征，效率低下，已難堪重任。

2.2　深度學(xué)習(xí)缺陷檢測(cè)方法

近年來(lái)，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型在計(jì)算機(jī)視覺(jué)領(lǐng)域成功應(yīng)用，給表面缺陷檢測(cè)帶來(lái)了新的啟發(fā)。不少學(xué)者將目標(biāo)檢測(cè)相關(guān)算法應(yīng)用于各種工業(yè)場(chǎng)景的表面缺陷檢測(cè)。 對(duì)缺陷模式認(rèn)知的不同，深度學(xué)習(xí)模型可以劃分為有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和弱監(jiān)督半監(jiān)督等。有監(jiān)督檢測(cè)方法體現(xiàn)在利用標(biāo)記了標(biāo)簽（包括類別、矩形框或逐像素等）的缺陷圖像輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，更關(guān)注缺陷特征。無(wú)監(jiān)督檢測(cè)方法通常只需要正常無(wú)缺陷樣本進(jìn)行網(wǎng)絡(luò)訓(xùn)練，更關(guān)注正常樣本特征。

2.2.1　有監(jiān)督方法

（1）芯片表面缺陷檢測(cè)。針對(duì)封裝前的芯片表面缺陷檢測(cè)，周小萌將經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò) Alexnet應(yīng)用于識(shí)別 IC 芯片外觀缺陷。李明將卷積神經(jīng)網(wǎng)絡(luò)和類激活映射技術(shù)相結(jié)合，提出 Laser Chip Net 網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)激光芯片缺陷分類識(shí)別和缺陷區(qū)域定位。 DING 等引入多尺度金字塔網(wǎng)絡(luò)改進(jìn) Faster R-CNN的骨干卷積網(wǎng)絡(luò)，用于檢測(cè) PCB 表面缺陷 。周天宇等提出了一種輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)算法 YOLOEfficientnet，應(yīng)用于載波芯片 COC 缺陷檢測(cè) 。CHEN 等將生成對(duì)抗網(wǎng)絡(luò) GAN 與 YOLOv3 算法結(jié)合，應(yīng)用于芯片晶粒的表面缺陷檢測(cè)。 對(duì) 于 LED 芯片的缺陷檢測(cè)問(wèn)題：LIN 等提出LEDNet，采用了一種類激活映射技術(shù)來(lái)定位 LED 芯片缺陷（線瑕疵和劃痕）區(qū)域  ；劉志提出了 ATSSD，采用深度殘差網(wǎng)絡(luò) ResNet 作為主干卷積網(wǎng)絡(luò)，并引入注意力機(jī)制和多尺度特征融合方法提取特征，提升了檢測(cè)精度。 （2）封裝體缺陷檢測(cè)。針對(duì)封裝后的封裝體存在的印刷缺陷和引腳缺陷，唐銘豆等通過(guò)選定連通區(qū)域和分割算法定位字符，采用改進(jìn)的 CNN 進(jìn)行字符識(shí)別，最終實(shí)現(xiàn)芯片印刷標(biāo)識(shí)檢測(cè) 。郭曉峰等利用最小外接圓原理定位和校正圖像，隨后對(duì) ROI 區(qū)域進(jìn)行字符分割，最后進(jìn)行差分識(shí)別。肖磊基于 AlexNet改進(jìn)得到一種對(duì)壓敏電阻外觀細(xì)微缺陷敏感的卷積神經(jīng)網(wǎng)絡(luò)模型（CNN4VDR），用于識(shí)別壓敏電阻主體和針腳的外觀缺陷 。

2.2.2　無(wú)監(jiān)督方法

有監(jiān)督學(xué)習(xí)模型需要大量人工標(biāo)記數(shù)據(jù)，但是在工業(yè)生產(chǎn)中，部分類型缺陷發(fā)生概率低，樣本數(shù)量少，小樣本訓(xùn)練網(wǎng)絡(luò)模型會(huì)導(dǎo)致過(guò)擬合問(wèn)題。此外，還經(jīng)常生成不可預(yù)知的缺陷，難以及時(shí)標(biāo)記。無(wú)監(jiān)督學(xué)習(xí)方法只需要正常無(wú)缺陷樣本進(jìn)行網(wǎng)絡(luò)訓(xùn)練，具備強(qiáng)大的正常樣本分布重建和判別能力，在近年逐漸受到關(guān)注。 CHANG 等提出了一種基于自組織神經(jīng)網(wǎng)絡(luò)（Self-Organizing Neural Networks，SONN）的晶圓自動(dòng)檢測(cè)系統(tǒng)，利用 SONN 的無(wú)監(jiān)督自動(dòng)聚類的能力，識(shí)別晶圓上的缺陷區(qū)域 。GHOSH 等提出了一種基于 CNN 的有監(jiān)督技術(shù)和兩種基于深度圖和引腳紋理的無(wú)監(jiān)督技術(shù)，以識(shí)別彎曲和腐蝕的芯片引腳缺陷 。羅月童等提出了基于卷積去噪自編碼器的芯片表面弱缺陷檢測(cè)方法。MEI 等提出了一種利用不同高斯金字塔等級(jí)的卷積去噪自編碼器網(wǎng)絡(luò)重構(gòu)圖像，使用重構(gòu)殘差圖進(jìn)行缺陷檢測(cè)。

2.3　其他方法

弱監(jiān)督的方法是指采用圖像級(jí)別類別標(biāo)注（弱標(biāo)簽）來(lái)獲取分割 / 定位級(jí)別的檢測(cè)效果。半監(jiān)督學(xué)習(xí)通常會(huì)使用大量的未標(biāo)記數(shù)據(jù)和少部分有標(biāo)簽的數(shù)據(jù)，用于表面缺陷檢測(cè)模型的訓(xùn)練。相對(duì)于全監(jiān)督和無(wú)監(jiān)督方法，雖然目前弱監(jiān)督和半監(jiān)督方法在表面缺陷檢測(cè)中的應(yīng)用相對(duì)較少，但仍具有參考價(jià)值。 MARINO 等采用一種基于 PRM 弱監(jiān)督學(xué)習(xí)方法來(lái)對(duì)馬鈴薯表面缺陷進(jìn)行分類、定位和分割。ZHAO 等提出一種基于 GAN 的弱監(jiān)督學(xué)習(xí)缺陷檢測(cè)方法，通過(guò) CycleGAN 實(shí)現(xiàn)表面缺陷檢測(cè) 。YU 等提出了一種多重訓(xùn)練的半監(jiān)督學(xué)習(xí)方法應(yīng)用于鋼表面缺陷分類，利用 cDCGAN 和 ResNet-18 的多訓(xùn)練融合算法用于未標(biāo)記樣本的類別標(biāo)簽預(yù)測(cè)及訓(xùn)練。

此外，還有其他方法。例如 ：萬(wàn)乃嘉設(shè)計(jì)了基于領(lǐng)域自適應(yīng)的芯片字符識(shí)別系統(tǒng)  ；饒永明等提出了面向芯片表面符號(hào)的結(jié)構(gòu)缺陷的評(píng)估方法；主動(dòng)紅外熱成像技術(shù)被應(yīng)用于微焊球缺陷檢測(cè) 和倒裝芯片缺陷檢測(cè)  ；空氣耦合超聲激勵(lì)應(yīng)用于倒裝芯片（Flip Chip，F(xiàn)C）缺陷檢測(cè) 。

3　芯片表面缺陷特性分析
當(dāng)前表面缺陷檢測(cè)中應(yīng)用的算法與通用目標(biāo)檢測(cè)算法異曲同工，即視表面缺陷為普通目標(biāo)，忽視了表面缺陷與普通目標(biāo)之間的差異。下面將對(duì)比表面缺陷與普通目標(biāo)，分析發(fā)現(xiàn)表面缺陷存在如下特性。

3.1　缺陷與缺陷之間的互斥性

在 目標(biāo)檢測(cè)中，同類或是異類目標(biāo)之間相互交疊的現(xiàn)象非常常見(jiàn)。如何檢測(cè)相互交疊的目標(biāo)是目標(biāo)檢測(cè)的重難點(diǎn)。如圖 5 所示，目標(biāo)檢測(cè)結(jié)果中“car”“person”“bicycle”目標(biāo)相互交疊。然而，表面缺陷之間相互交疊的情況并不存在，在某一個(gè)位置上有且只有一個(gè)缺陷。因此，缺陷檢測(cè)應(yīng)該有且只能有一個(gè)結(jié)果。如圖 5 所示，缺陷檢測(cè)結(jié)果中標(biāo)注框即是冗余結(jié)果。

3.2　缺陷與缺陷之間存在重要性差異

在通用目標(biāo)檢測(cè)中，所有目標(biāo)都是平等的，然而表面缺陷之間存在重要性差異。本研究通過(guò)電子顯微鏡采集了 25 種類別共 181 590 張半導(dǎo)體芯片表面缺陷圖像，通過(guò)數(shù)學(xué)統(tǒng)計(jì)方法分析發(fā)現(xiàn)，其中 14 個(gè)類別缺陷樣本為主要成分，共 178 953 個(gè)樣本，占比 98.53%，樣本分布如圖 6 所示。各類缺陷樣本占比各不相同，意味著各類缺陷的發(fā)生概率各不相同，即存在著重要性差異，因此表面缺陷檢測(cè)應(yīng)合理考慮其差異性。

芯片表面的缺陷并不是孤立存在的，其產(chǎn)生必然會(huì)與周圍環(huán)境相互作用，存在關(guān)聯(lián)性。圖 7 展示的 6 種缺陷雖然特征完全不相同，但是存在一個(gè)共性，即均與Bump 元件相關(guān)。圖 7（a）是 Bump 元件上的局部凸起；圖 7（b）是 Bump 元件上的劃痕 ；圖 7（c）是 Bump 元件殘缺；圖 7（d）是金屬物質(zhì)異常滴漏在 Bump 元件之間，橋接引起短路；圖 7（e）是 Bump 元件局部表面顏色異常；圖 7（f）是 Bump 元件的漏焊，其具體形態(tài)特征可以參考周圍 Bump 元件。在分類任務(wù)中，Bump 元件可以幫助限定缺陷類別的范圍 ；在定位任務(wù)中，Bump 元件的位置可以輔助定位回歸。

雖然表面缺陷檢測(cè)技術(shù)已經(jīng)不斷從學(xué)術(shù)研究走向成熟的工業(yè)應(yīng)用，但是依然有一些需要解決的問(wèn)題。基于以上分析可以發(fā)現(xiàn)，由于芯片表面缺陷的獨(dú)特性質(zhì)，通用目標(biāo)檢測(cè)算法不適合直接應(yīng)用于芯片表面缺陷檢測(cè)任務(wù)，需要提出新的解決方法。 4　結(jié)語(yǔ) 對(duì)近年來(lái)基于傳統(tǒng)的機(jī)器視覺(jué)和基于深度學(xué)習(xí)的芯片缺陷檢測(cè)方法進(jìn)行梳理與分析，介紹對(duì)封裝前的芯片表面缺陷和封裝體存在的印刷缺陷與引腳缺陷檢測(cè)的相關(guān)研究，詳細(xì)分析了芯片表面缺陷特性，以期為相關(guān)研究人員提供參考。