跟著快節(jié)奏的日子，小轎車幾乎是每個(gè)家庭中必不可少的出行東西，所以咱們今兒來(lái)說(shuō)說(shuō)轎車的主動(dòng)化測(cè)驗(yàn)。讓你更了解你的小轎車。當(dāng)當(dāng)，論題開(kāi)端~

深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network, DNNs）最近取得了很好的發(fā)展，這促進(jìn)了DNN驅(qū)動(dòng)的主動(dòng)駕馭轎車的開(kāi)展。它們經(jīng)過(guò)傳感器如攝像機(jī)、激光雷達(dá)等感知環(huán)境，就能夠在無(wú)人輔佐的情況下主動(dòng)駕馭。首要的制造商包含通用、福特、特斯拉、寶馬，和waymo 谷歌正致力于締造和測(cè)驗(yàn)不同類型的主動(dòng)駕馭轎車。但是，雖然DNNs取得了驚人的發(fā)展，就像傳統(tǒng)的軟件相同，卻常常暴露出不正確或不符預(yù)期的極點(diǎn)景象行為，這些可能會(huì)導(dǎo)致潛在的喪命磕碰。幾起主動(dòng)駕馭轎車涉事的實(shí)在國(guó)際的事端現(xiàn)已發(fā)作，其間一個(gè)還導(dǎo)致了逝世。針對(duì)主動(dòng)駕馭的大多數(shù)現(xiàn)有的測(cè)驗(yàn)技能都依賴于人工收集測(cè)驗(yàn)數(shù)據(jù)，收集不同的駕馭條件，跟著測(cè)驗(yàn)場(chǎng)景的添加，這將會(huì)變得不可承受地貴重。

在本文中，咱們規(guī)劃、完成和評(píng)估了DeepTest，一個(gè)針對(duì)根據(jù)DNN的主動(dòng)駕馭轎車體系的測(cè)驗(yàn)東西，它能主動(dòng)檢測(cè)體系中存在的可能導(dǎo)致喪命事端的過(guò)錯(cuò)行為。首要，咱們的東西是運(yùn)用實(shí)踐環(huán)境的改變主動(dòng)生成測(cè)驗(yàn)用例的，這些環(huán)境如雨、霧、照明條件等。其次，DeepTest經(jīng)過(guò)生成測(cè)驗(yàn)輸入，最大極限地激活神經(jīng)元的數(shù)量，體系地探求DNN內(nèi)部邏輯的各種部分。試驗(yàn)成果標(biāo)明，DeepTest能在實(shí)踐的Udacity主動(dòng)駕馭轎車應(yīng)戰(zhàn)賽中三大性能最好的DNN模型里發(fā)現(xiàn)不計(jì)其數(shù)的過(guò)錯(cuò)行為，它們存在于不同的實(shí)在的駕馭條件下（如含糊、雨、霧等），許多會(huì)導(dǎo)致潛在的喪命磕碰。

本文憑借蛻變測(cè)驗(yàn)辦法來(lái)輔佐處理Oracle問(wèn)題。在測(cè)驗(yàn)一個(gè)雜亂的根據(jù)深度學(xué)習(xí)網(wǎng)絡(luò)的體系，比方主動(dòng)駕馭轎車體系時(shí)面對(duì)的首要應(yīng)戰(zhàn)之一是怎么人工地創(chuàng)立體系的需求標(biāo)準(zhǔn)，經(jīng)過(guò)它來(lái)對(duì)體系的行為是否正確進(jìn)行檢查。為這樣一個(gè)體系創(chuàng)立具體的標(biāo)準(zhǔn)是很有應(yīng)戰(zhàn)性的，由于它本質(zhì)上需求從頭規(guī)劃一個(gè)完美的真人駕馭員的邏輯。為了處理這個(gè)問(wèn)題，咱們運(yùn)用不同的組成圖畫(huà)中的轎車行為之間的蛻變聯(lián)系。一個(gè)要害的見(jiàn)地是即便很難為每一個(gè)變轉(zhuǎn)后的輸入圖畫(huà)指定自駕車的正確行為，你仍然能夠界說(shuō)轎車的行為在某些類型的變轉(zhuǎn)之間的斷定聯(lián)系。例如，關(guān)于相同的圖畫(huà)，但在不同照明或氣候條件下，無(wú)人駕馭轎車的轉(zhuǎn)向角不該發(fā)作明顯改變，同理，對(duì)圖片進(jìn)行含糊處理或許細(xì)小參數(shù)仿射改變處理，也不該該發(fā)作明顯改變。

本文的首要奉獻(xiàn)是：

1、咱們提出一套主動(dòng)化生成組成測(cè)驗(yàn)用例的體系性的技能，在安全攸關(guān)的根據(jù)DNN的體系中，如主動(dòng)駕馭體系，能使模型的神經(jīng)元掩蓋率最大化。咱們的經(jīng)歷研討標(biāo)明，神經(jīng)元掩蓋的改變與主動(dòng)駕馭轎車行為的改變是相關(guān)的。

2、咱們證明了不同的圖畫(huà)變換，如對(duì)比度的改變，霧的存在與否等，能夠用來(lái)發(fā)生組成測(cè)驗(yàn)用例，添加神經(jīng)元的掩蓋率。咱們運(yùn)用根據(jù)變換的蛻變聯(lián)系來(lái)主動(dòng)檢測(cè)過(guò)錯(cuò)行為。咱們的試驗(yàn)也標(biāo)明，組成的圖畫(huà)可用于從頭練習(xí)DNNs模型，使DNNs模型在處理極點(diǎn)景象的時(shí)分更強(qiáng)健。

3、咱們?cè)?strong>DeepTest上實(shí)施該技能，據(jù)咱們所知，這是針對(duì)DNN驅(qū)動(dòng)的主動(dòng)駕馭體系的第一個(gè)體系性的主動(dòng)化測(cè)驗(yàn)東西。咱們用DeepTest體系性地測(cè)驗(yàn)實(shí)踐的Udacity主動(dòng)駕馭轎車應(yīng)戰(zhàn)賽中三大性能最好的DNN模型。DeepTest能發(fā)現(xiàn)不計(jì)其數(shù)的過(guò)錯(cuò)行為，許多可導(dǎo)致潛在的喪命的磕碰。

4、DeepTest檢測(cè)到的喪命過(guò)錯(cuò)行為，咱們現(xiàn)已公開(kāi)在deepTest或前往51Testing軟件測(cè)驗(yàn)網(wǎng)。咱們也方案公開(kāi)發(fā)布生成的測(cè)驗(yàn)用圖畫(huà)以及東西的源代碼，以供開(kāi)源社區(qū)運(yùn)用。

實(shí)在國(guó)際中發(fā)作的主動(dòng)駕馭轎車的事故，分別由下雨傳感器失效、圖畫(huà)識(shí)別失利導(dǎo)致人員逝世、過(guò)錯(cuò)地估計(jì)了車速導(dǎo)致。

咱們的東西DeepTest在實(shí)踐的深度神經(jīng)網(wǎng)絡(luò)Chauffeur 中發(fā)現(xiàn)的過(guò)錯(cuò)的風(fēng)險(xiǎn)行為。

深度神經(jīng)網(wǎng)絡(luò)（DNNs）首要分為卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），簡(jiǎn)化了的架構(gòu)分別如圖所示。

經(jīng)過(guò)圖片變換兼并來(lái)提高神經(jīng)元掩蓋率的貪婪搜索算法。

此圖標(biāo)明不同的圖畫(huà)變換辦法（如含糊、旋轉(zhuǎn)、平移等等）激活的神經(jīng)元的差異，豎軸的杰卡德間隔越大標(biāo)明差異越大，能夠看出除了第二個(gè)LSTM，其他的模型都是明顯有差異的，這標(biāo)明不同的圖畫(huà)變換辦法激活的神經(jīng)元是明顯不同的。

三個(gè)圖片在不同的圖畫(huà)變換下的平價(jià)累積神經(jīng)元掩蓋率。

如表格所示，首要研討了神經(jīng)元掩蓋和轎車行為的聯(lián)系。第三列的計(jì)算成果中，Spearman相聯(lián)系數(shù)描寫(xiě)的是神經(jīng)元掩蓋率和轉(zhuǎn)彎視點(diǎn)的聯(lián)系，為正時(shí)標(biāo)明神經(jīng)元掩蓋添加時(shí)，轉(zhuǎn)彎視點(diǎn)就會(huì)變大，反之就會(huì)減小。能夠看出轉(zhuǎn)彎視點(diǎn)和神經(jīng)元掩蓋的線性聯(lián)系是計(jì)算明顯的，第四列的計(jì)算成果是描寫(xiě)了轉(zhuǎn)彎方向和神經(jīng)元掩蓋的相關(guān)DeepTest運(yùn)用組成圖畫(huà)檢測(cè)到的過(guò)錯(cuò)行為。