<address id="pnrlx"></address>

<progress id="pnrlx"><track id="pnrlx"><ol id="pnrlx"></ol></track></progress>

<font id="pnrlx"></font>

<dl id="pnrlx"></dl>

一種基于運動目標檢測和深度學習技術的煙霧檢測方法與流程

文檔序號:29648512發布日期:2022-04-13 22:03來源:國知局
一種基于運動目標檢測和深度學習技術的煙霧檢測方法與流程

1.本發明屬于圖像檢測技術領域,具體涉及一種基于運動目標檢測和深度學習技術的煙霧檢測方法。


背景技術:

2.據世界統計中心統計,近年來火災威脅日趨嚴重,其造成的損失值將占大多數國家國民生產總值的1%以上?;馂臋z測一直是消防安全技術的一個重要研究方向,隨著社會的進步和科學的發展,火災檢測的方法也越來越先進。研究表明,在火災發生的初期,空曠的區域很難發現火焰,但是很容易發現煙霧,因此可通過視頻檢測煙霧的方法對火災進行檢測。
3.基于視頻監控的檢測技術通常由視頻采集和圖像分析兩大軟件部分組成,即把由攝像頭采集的視頻序列輸進計算機,由計算機對視頻時間序列進行實時分析,根據視頻幀的圖像特征來進行圖像識別,完成檢測和預警。與傳統的預警方法相比,該方法有效地提高了檢測準確率,并且對各種空間場所具有廣泛適用性,具有實時預測的能力,縮短了預報時間,同時視頻畫面提供給監控人員更豐富的信息。
4.隨著監控設備的普及,視頻流可提供豐富的特征信息,為檢測技術提供了基礎。雖然現有的基于視頻的煙霧檢測技術多種多樣,但是煙霧具有獨特的色彩和紋理、不規則的形狀、擴散方向不確定等特點,且易被自然界中的因素干擾,因此通過一個或者多個特性進行煙霧檢測很難達到良好的效果,使得視頻煙霧檢測技術具有較高的誤檢率,技術實現難度也較大。
5.目前,有煙霧檢測系統是用來了半自動化的檢測方法,即由視頻監控自動預警,然后再由監控人員進行確認。這種方法雖然與全程人工監控的方法相比在效率上得到提升,但如果能夠提高煙霧檢測方法的準確率,降低其誤報率,就能夠進一步實現智能化,從而保障人民民眾的生命財產安全。


技術實現要素:

6.本發明的目的是提供一種基于運動目標檢測和深度學習技術的煙霧檢測方法,用于提高煙霧檢測的準確率。
7.為達到上述目的,本發明采用的技術方案是:
8.一種基于運動目標檢測和深度學習技術的煙霧檢測方法,包括如下步驟:
9.s1:獲取煙霧檢測卷積神經網絡模型,并對其進行訓練,包括:
10.(1)獲取煙霧圖像,構建數據集,并對數據集進行預處理,
11.(2)對獲取的數據集進行數據集增強,并按設定比例將數據集分為訓練集、驗證集和測試集,
12.(3)構建卷積神經網絡,將訓練集輸入卷積神經網絡進行訓練,驗證集用于輸出每次訓練后的誤差數據,訓練完成后得到煙霧檢測卷積神經網絡模型,并利用測試集對煙霧
檢測卷積神經網絡模型進行測試;
13.s2:采用運動目標檢測方法對待檢測視頻進行處理,獲取包含運動目標的圖像;
14.s3:將包含運動目標的圖像輸入煙霧檢測卷積神經網絡模型中,判斷是否為煙霧,并輸出檢測結果。
15.優選地,在s1(1)中,通過網絡爬蟲技術獲取煙霧圖像;預處理采用高斯濾波消除圖像中的高斯噪聲。
16.優選地,在s1(2)中,數據集增強的方法包括:通過縮放、旋轉、偏移、翻轉、裁剪技術擴展數據集修復圖像形變。
17.優選地,在s1(3)中,構建卷積神經網絡包括:以resnet-18作為卷積神經網絡的主體,融合不同尺度特征圖的信息,將融合的特征圖再進行一次卷積和池化,連接全連接層,輸出層使用sigmoid激活函數。
18.優選地,在s2中,運動目標檢測方法包括如下步驟:
19.(1)根據待檢測視頻的第一幀圖像,進行背景模型初始化,得到初始化的背景模型樣本空間,
20.(2)獲取待檢測視頻的下一幀圖像,根據前景檢測計算公式,計算下一幀圖像的單個像素點與背景模型樣本空間之間的距離,
21.(3)判斷單個像素點是否為運動目標,根據下一幀圖像的各個像素點的判斷結果構建掩模,
22.(4)對得到的掩模進行開運算,提取下一幀圖像中運動目標的區域,并根據前景點計數和隨機子采樣更新背景模型樣本空間。
23.進一步優選地,背景模型初始化包括:根據待檢測視頻的第一幀圖像,從每個像素點的空間x個鄰域中選擇w個樣本點構建背景模型樣本空間mj(t),當t=1時,mj(1)為初始化的背景模型樣本空間,背景模型樣本空間mj(t)為:
[0024][0025]
其中:
[0026]
1≤i≤w,1≤j≤m
×
n,
[0027]m×
n為圖像的大小。
[0028]
進一步優選地,前景檢測計算公式為:
[0029]
||x
t
||2=r2+g2+b2,
[0030]
||vi||2=r
i2
+g
i2
+b
i2
,
[0031]
(xy,vi)2=(rir+gig+bib),
[0032][0033][0034][0035]
其中:
[0036]
r、g、b為像素點在空間坐標下的三維坐標,
[0037]
||x
t
||2為t時刻像素點與原點之間的歐式距離,
[0038]ri
、gi、bi為r、g、b圓柱模型下的坐標,
[0039]
||vi||2為像素點在圓柱模型下的距離,
[0040]
(xy,vi)2為像素點的點積,
[0041]
p為空間距離的偏移程度,
[0042]dj
(t+1)為單個像素點與背景模型樣本空間中每個樣本點的距離,
[0043]dj
(t+1)為單個像素點與背景模型樣本空間之間的距離。
[0044]
進一步優選地,判斷單個像素點是否為運動目標的過程包括:統計單個像素點與背景模型樣本空間之間的距離dj(t+1)中小于第一閾值k的數量sumj(t+1),若sumj(t+1)大于第二閾值q,則單個像素點為運動目標,判斷公式為:
[0045][0046][0047]
進一步優選地,開運算采用核算子進行卷積濾波,核算子為:
[0048][0049]
進一步優選地,前景點計數為若單個像素點持續多次被判斷為運動目標,則將其更新為背景;隨機子采樣為采用時間隨機的方式對背景模型樣本空間進行更新。
[0050]
由于上述技術方案運用,本發明與現有技術相比具有下列優點:
[0051]
本發明通過采用運動目標檢測方法,可針對火災發生早期產生的煙霧目標進行快速準確地檢測,從而及時發現火情,為后期撲火和救援提供預警和相關信息,解決了復雜場景下視頻煙霧檢測精度低、漏檢率和誤報率高、檢測速度慢的問題,實現了危險環境下對于煙霧的實時檢測,且方法簡單,易于實現。
附圖說明
[0052]
附圖1為本實施例的煙霧檢測方法整體流程圖;
[0053]
附圖2為本實施例的獲取煙霧檢測卷積神經網絡模型的流程圖;
[0054]
附圖3為本實施例的運動目標檢測方法的流程圖;
[0055]
附圖4為本實施例的最終檢測結果示意圖。
具體實施方式
[0056]
下面將結合附圖對本發明的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發明一部分實施例,而不是全部的實施例?;诒景l明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬于本發明保護的范圍。
[0057]
一種基于運動目標檢測和深度學習技術的煙霧檢測方法,如圖1所示,包括如下步驟:
[0058]
s1:獲取煙霧檢測卷積神經網絡模型,并對其進行訓練,如圖2所示,包括:
[0059]
(1)通過網絡爬蟲技術獲取煙霧圖像,構建數據集,并對數據集進行預處理,預處理采用高斯濾波消除圖像中的高斯噪聲,
[0060]
(2)對獲取的數據集進行數據集增強,即通過縮放、旋轉、偏移、翻轉、裁剪技術擴展數據集修復圖像形變;并按設定比例將數據集分為訓練集、驗證集和測試集,設定比例可為 6∶2∶2,
[0061]
(3)利用pytorch框架構建卷積神經網絡,以resnet-18作為卷積神經網絡的主體,以 resnet模塊作為主體,讓隱藏層跳躍式連接,避免了信息逐層傳遞過程中丟失和梯度彌散等問題,當然也可以采用senet,googlenet,vggnet等其他常見卷積神經網絡,將經過不同 resnet block得到的特征圖在通道維度上進行拼接,resnet-18的主體由4種不同的基礎殘差塊組成,每種基礎殘差塊會被連續串聯兩次,將融合后面三種基礎殘差塊得到的特征圖,使用上采樣技術來保證三組特征圖都有同樣的維度大小,將融合的特征圖再進行一次卷積和池化,連接全連接層,為了適應煙霧識別的二分類問題,輸出層使用sigmoid激活函數替換原網絡的softmax激活函數;
[0062]
將訓練集輸入卷積神經網絡進行訓練,驗證集用于輸出每次訓練后的誤差數據,訓練完成后得到煙霧檢測卷積神經網絡模型,并利用測試集對煙霧檢測卷積神經網絡模型進行測試,經過訓練的卷積神經網絡可以獲得輸入圖片中煙霧的特征圖,通過sigmoid激活函數輸出輸入圖像屬于煙霧類別的概率;卷積神經網絡訓練結束的條件可包括但不限于以下中的至少一項:實際訓練時間超過預設訓練時間;實際訓練次數超過預設訓練次數;損失函數計算所的差異小于預設差異閾值。
[0063]
s2:采用運動目標檢測方法對待檢測視頻進行處理,獲取包含運動目標的圖像,該方法的核心思想是先設定一個和圖像大小相等的序列圖像,為所有像素點建立樣本集,樣本集中包含n個樣本像素值,然后用樣本集計算出圖像與背景模型的匹配程度,如果像素點與背景模型中的某個樣本值之間滿足一定的匹配度,則該像素點被分類為背景點,否則被分類為運動目標,如圖3所示,具體步驟如下:
[0064]
(1)根據待檢測視頻的第一幀圖像,進行背景模型初始化,得到初始化的背景模型樣本空間,具體而言:
[0065]
選定待檢測視頻的第一幀圖像,依據圖像相鄰像素的空間相關性,從每個像素點的空間x 個鄰域中選擇w個樣本點構建背景模型樣本空間mj(t),當t=1時,mj(1)為初始化的背景模型樣本空間,背景模型樣本空間mj(t)為:
[0066][0067]
其中:
[0068]
1≤i≤w,1≤j≤m
×
n,
[0069]m×
n為圖像的大??;
[0070]
(2)獲取待檢測視頻的下一幀圖像,根據前景檢測計算公式,計算下一幀圖像的單個像素點與背景模型樣本空間之間的距離,前景檢測計算公式具體為:
[0071]
||x
t
||2=r2+g2+b2,
[0072]
||vi||2=r
i2
+g
i2
+b
i2
,
[0073]
(xy,vi)2=(rir+gig+bib),
[0074][0075][0076][0077]
其中:
[0078]
r、g、b為像素點在空間坐標下的三維坐標,
[0079]
||x
t
||2為t時刻像素點與原點之間的歐式距離,
[0080]ri
、gi、bi為r、g、b圓柱模型下的坐標,
[0081]
||vi||2為像素點在圓柱模型下的距離,
[0082]
(xy,vi)2為像素點的點積,
[0083]
p為空間距離的偏移程度,
[0084]dj
(t+1)為單個像素點與背景模型樣本空間中每個樣本點的距離,
[0085]dj
(t+1)為單個像素點與背景模型樣本空間之間的距離。
[0086]
(3)判斷單個像素點是否為運動目標,根據下一幀圖像的各個像素點的判斷結果構建掩模(mask),具體判斷過程包括:統計單個像素點與背景模型樣本空間之間的距離dj(t+1) 中小于第一閾值k的數量sumj(t+1),若sumj(t+1)大于第二閾值q,則單個像素點為運動目標,判斷公式為:
[0087][0088][0089]
(4)為了消除得到的掩模(mask)可能會出現的“鬼影”,對得到的掩模(mask)進行開運算,即先腐蝕再膨脹,采用常見的濾波器對掩模(mask)進行開運算的效果不顯著,無法達到預期效果,因此構造了核算子進行卷積濾波,達到了預期消除“鬼影”的效果,便于下一步更加準確的提取運動目標,核算子具體為:
[0090][0091]
由于光照、天氣等原因,背景是不斷變化的,因此背景模型樣本空間需要不斷地更新,以保證對運動目標檢測的準確性,本方法以保守更新策略為基礎,增加了前景點計數和隨機子采樣兩種更新規則,具體而言:
[0092]
前景點計數為若單個像素點持續多次被判斷為運動目標,則將其更新為背景,
[0093]
隨機子采樣為采用時間隨機的方式對背景模型樣本空間進行更新,由于像素點有w個樣本點,假設某個樣本在t時刻沒有被更新的概率為那么在經過δt的時間后,該樣本點仍然保留在背景模型的概率p(t,t+δt)為:
[0094][0095]
s3:將包含運動目標的圖像輸入煙霧檢測卷積神經網絡模型中,判斷是否為煙霧,并輸出檢測結果。
[0096]
實施例:
[0097]
s1:獲取煙霧檢測卷積神經網絡模型,并對其進行訓練,包括:
[0098]
(1)通過網絡爬蟲技術獲取煙霧圖像,構建數據集,在收集到的圖像中隨機挑選具有光照變化、場景變化以及尺度變化的圖像組成數據集的正樣本,選取與數據集樣本數量一致的不包含煙霧的圖像作為數據集的負樣本,正、負樣本共同組成數據集d,并且將所有圖像的大小resize到416*416;并對數據集進行預處理,預處理采用高斯濾波消除圖像中的高斯噪聲;
[0099]
(2)對獲取的數據集進行數據集增強;并按6∶2∶2將數據集分為訓練集d
train
、驗證集 d
valid
和測試集d
test
,并在測試集d
test
的基礎上通過人工模擬的方式拍攝兩段視頻數據作為最終評估的數據之一;
[0100]
(3)利用pytorch框架構建卷積神經網絡,以resnet-18作為卷積神經網絡的主體,融合不同尺度特征圖的信息,將融合的特征圖再進行一次卷積和池化,連接全連接層,輸出層使用sigmoid激活函數;將訓練集d
train
輸入卷積神經網絡進行訓練,驗證集d
valid
用于輸出每次訓練后的誤差數據,訓練完成后得到煙霧檢測卷積神經網絡模型,并利用測試集d
test
對煙霧檢測卷積神經網絡模型進行測試。
[0101]
s2:采用運動目標檢測方法對待檢測視頻進行處理,獲取包含運動目標的圖像,包括:
[0102]
(1)選定待檢測視頻的第一幀圖像,依據圖像相鄰像素的空間相關性,從每個像素點的空間8個鄰域中選擇20個樣本點,構建背景模型樣本空間mj(t),當t=1時,mj(1)為初始化的背景模型樣本空間;
[0103]
(2)獲取待檢測視頻的下一幀圖像,根據前景檢測計算公式,計算下一幀圖像的單個像素點與背景模型樣本空間之間的距離;
[0104]
(3)判斷單個像素點是否為運動目標,如果單個像素點與各個樣本點之間的距離小于5 的個數大于1個,那么就判定該像素點為運動目標,將掩模(mask)中對應位置的像素值設置為255,否則就將掩模(mask)中對應位置的像素值設置為1;根據圖像的各個像素點的判斷結果構建掩模(mask);
[0105]
(4)對得到的掩模(mask)進行開運算,提取圖像中運動目標的區域,并將提取出來的圖像大小調整至416*416,并根據前景點計數和隨機子采樣更新背景模型樣本空間。
[0106]
s3:將包含運動目標的圖像輸入煙霧檢測卷積神經網絡模型中,判斷是否為煙霧,并輸出檢測結果,如圖4所示,如果是煙霧則根據掩模(mask)在圖像中框出煙霧的位置,保留該圖像,并相工作人員發出警報,否則就獲取下一幀圖像進行檢測,直到人為干涉停止檢
測。
[0107]
上述實施例只為說明本發明的技術構思及特點,其目的在于讓熟悉此項技術的人士能夠了解本發明的內容并據以實施,并不能以此限制本發明的保護范圍。凡根據本發明精神實質所作的等效變化或修飾,都應涵蓋在本發明的保護范圍之內。
當前第1頁1 2 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1