中國儲能網(wǎng)訊：隨著電網(wǎng)規(guī)模不斷擴(kuò)大，調(diào)控一體化特征凸顯，電力系統(tǒng)運(yùn)行不確定性顯著上升，電網(wǎng)故障分析和處置面臨前所未有的壓力。通過識別電網(wǎng)信息，快速生成故障處置輔助決策，對提升故障處置響應(yīng)能力具有重要意義。
《中國電力》2024年第7期刊發(fā)了田波等撰寫的《電網(wǎng)故障處置信息自適應(yīng)理解框架及關(guān)鍵技術(shù)》一文。文章首先分析挖掘故障處置信息語言特點(diǎn)，提出故障處置信息自適應(yīng)理解框架?；贐ERT網(wǎng)絡(luò)對故障處置信息文本編碼通過Softmax函數(shù)識別故障處置信息意圖，接入條件隨機(jī)場（conditional random field，CRF）識別故障處置信息槽位，從而建立基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型。
為了提升電網(wǎng)故障處置響應(yīng)能力，提出一種故障處置信息自適應(yīng)理解框架，該框架基于所構(gòu)建的多任務(wù)協(xié)同理解模型和故障處置知識圖譜識別電網(wǎng)故障告警、運(yùn)行狀態(tài)、操作指令等信息，自適應(yīng)推理生成故障處置操作策略。通過建立故障處置信息理解模型評價指標(biāo)和試驗數(shù)據(jù)集，驗證了故障處置信息理解框架和多任務(wù)協(xié)同理解模型的有效性。
01
故障處置信息分析及理解框架
1.1 故障處置信息語言特點(diǎn)
故障處置信息含有大量設(shè)備名詞、操作術(shù)語、特殊表述以及同音異字。故障處置信息具有以下特點(diǎn)。
1）故障處置信息存在大量專業(yè)名詞，這些電力專業(yè)名詞基于通用自然語言理解方法難以準(zhǔn)確辨識，需要對電力專業(yè)名詞進(jìn)行特征訓(xùn)練才能有效地辨識；
2）故障處置信息存在多種特殊表達(dá)方式，常見故障處置信息特殊表達(dá)術(shù)語如“主變”與“變壓器”，詞匯含義相同，但表述不盡相同，要對故障處置信息進(jìn)行多元化建模；
3）故障處置信息存在同音異字情況，如“長治”與“長志”，要考慮故障處置信息語境給出理解結(jié)果；
4）故障處置信息存在同音同字代表不同對象情況，要綜合考慮調(diào)控機(jī)構(gòu)、地區(qū)、電壓等級等電網(wǎng)特征信息對故障處置信息理解。
1.2 故障處置信息自適應(yīng)理解框架
故障處置信息理解框架通過人工智能和自然語言處理技術(shù)理解電網(wǎng)故障告警、運(yùn)行狀態(tài)、操作指令等信息中意圖和槽位，形成可用于執(zhí)行調(diào)度控制系統(tǒng)的畫面調(diào)閱、數(shù)據(jù)查詢和故障輔助操作指令，同時生成故障處置信息理解結(jié)果和輔助決策，為故障處置提供支撐，具體框架方案如圖1所示。
圖1 電網(wǎng)故障處置信息自適應(yīng)理解框架
Fig.1 The adaptive understanding framework of fault disposal information
故障處置信息理解模塊由故障處置信息領(lǐng)域識別模型、基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型以及故障處置知識圖譜3部分組成。故障處置信息領(lǐng)域識別模型基于文本卷積神經(jīng)網(wǎng)絡(luò)（text convolutional neural networks，TextCNN）對輸入文本進(jìn)行二分類意圖識別，判斷文本序列進(jìn)入故障處置信息多任務(wù)協(xié)同理解模型或者故障處置知識圖譜?；贐ERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型與故障處置知識圖譜并行使用，多任務(wù)協(xié)同理解模型采用“多任務(wù)協(xié)同”神經(jīng)網(wǎng)絡(luò)聯(lián)合識別故障處置信息意圖和槽位，支撐故障處置信息自適應(yīng)理解。
故障處置交互信息管理模塊分為交互狀態(tài)跟蹤和交互策略判別部分。交互狀態(tài)跟蹤基于有限狀態(tài)機(jī)判定故障處置信息文本意圖及槽位是否填滿，將當(dāng)前交互狀態(tài)和歷史交互狀態(tài)輸入到交互策略判別中。交互策略判別模型基于長短期記憶網(wǎng)絡(luò)訓(xùn)練故障處置場景業(yè)務(wù)語料建立，該模型通過交互狀態(tài)判定交互策略動作。
故障處置信息理解結(jié)果反饋模塊接收到故障處置信息交互狀態(tài)跟蹤模塊和交互策略判別模塊的判定結(jié)果給出故障處置信息理解結(jié)果，理解回復(fù)語言。這些故障處置信息理解結(jié)果通過語音合成模塊轉(zhuǎn)為音頻播報給調(diào)度員。
故障處置信息理解輔助模塊包括電網(wǎng)故障、運(yùn)行狀態(tài)及操作指令獲取、故障處置信息預(yù)處理和故障處置輔助決策操作執(zhí)行功能。故障處置信息預(yù)處理功能采取規(guī)則修正和語言拼音修正相結(jié)合的方法對電力特殊符號、專業(yè)術(shù)語、設(shè)備名詞等信息進(jìn)行修正，以保證故障處置信息理解模型的識別準(zhǔn)確率。故障處置輔助決策操作執(zhí)行功能在理解故障處置信息后，實(shí)現(xiàn)系統(tǒng)畫面調(diào)閱、數(shù)據(jù)查詢和故障處置輔助決策生成。
02
電網(wǎng)故障處置信息理解關(guān)鍵技術(shù)
2.1 基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型
BERT是基于海量語料建立的預(yù)訓(xùn)練模型，其模型結(jié)構(gòu)如圖2所示。
圖2 BERT模型結(jié)構(gòu)
Fig.2 Structure of BERT model
BERT利用雙層Transformer編碼器中的多頭注意力機(jī)制使輸入文本序列各字符得到不同的關(guān)注權(quán)重，提升調(diào)度專業(yè)語言字符間依存能力。通過對輸入文本字符進(jìn)行向量矩陣非線性變換得到每個字符的查詢向量Q、鍵向量K和值向量V，輸入文本每個字符的Q向量與K向量做內(nèi)積計算，計算值越大，說明關(guān)聯(lián)程度越大。通過對關(guān)聯(lián)程度縮放和Softmax函數(shù)歸一化處理，得到輸入文本中每個字符與其他字符的關(guān)聯(lián)程度，最后與各個字符的V向量加權(quán)融合，計算得到每個字符在全局的語義字向量。
基于BERT-CRF的多任務(wù)協(xié)同理解模型通過同時兼顧故障處置信息意圖和槽位識別損失函數(shù)收斂性，克服故障處置信息特殊符號多、專業(yè)術(shù)語強(qiáng)、表述模糊等難點(diǎn)，在保留故障處置信息意圖和槽位完整性的同時提高了故障處置信息識別準(zhǔn)確率，其模型結(jié)構(gòu)如圖3所示。
圖3 故障處置信息多任務(wù)協(xié)同理解模型結(jié)構(gòu)
Fig.3 Structure of fault disposal information multi-task collaborative understanding model
故障處置信息經(jīng)過BERT模型計算后得到輸出向量，CRF綜合分析單個字符中各電力實(shí)體標(biāo)簽得分和相鄰字符標(biāo)簽之間轉(zhuǎn)移得分對故障處置信息中槽位進(jìn)行評分。故障處置信息槽位正確標(biāo)注總分?jǐn)?shù)除以所有可能標(biāo)注得分總和，得到當(dāng)前故障處置信槽位正確標(biāo)注序列的概率。
2.2 故障處置知識圖譜與多任務(wù)協(xié)同理解模型
電網(wǎng)模型、運(yùn)行規(guī)程、事故預(yù)案等數(shù)據(jù)中含有大量的故障處置信息，基于混合神經(jīng)網(wǎng)絡(luò)抽取上述數(shù)據(jù)中故障處置要點(diǎn)及要點(diǎn)關(guān)系，通過“實(shí)體-關(guān)系-實(shí)體”形成故障處置知識語義網(wǎng)絡(luò)，從而建立故障處置知識圖譜，該知識圖譜具體形態(tài)如圖4所示。
圖4 故障處置知識圖譜形態(tài)
Fig.4 The form of fault disposal knowledge graph
故障處置知識圖譜在感知到故障處置信息時，基于文本相似度算法計算故障處置信息與知識圖譜中關(guān)鍵信息實(shí)體的語義距離，通過語義距離比較，選擇語義距離最近的知識圖譜實(shí)體所對應(yīng)的解釋內(nèi)容作為對故障處置信息的理解結(jié)果。
故障處置信息多任務(wù)協(xié)同理解模型與故障處置知識圖譜兩者相輔相成實(shí)現(xiàn)故障處置信息理解和輔助決策生成，多任務(wù)協(xié)同理解模型用于理解畫面調(diào)閱、數(shù)據(jù)查詢、預(yù)案查詢、應(yīng)用操作等故障處置操作指令，故障處置知識圖譜用于理解故障處置規(guī)程、故障處置細(xì)則等信息查詢指令，同時存儲結(jié)構(gòu)化的預(yù)案、規(guī)程規(guī)定等知識。通常情況下，基于BERT-CRF的多任務(wù)協(xié)同理解模型對建模意圖范圍內(nèi)的故障處置信息具有準(zhǔn)確地理解能力，超出故障處置操作涵蓋意圖將基于故障處置知識圖譜推理相應(yīng)的理解答案。
03
實(shí)例分析
3.1 故障處置信息理解模型評價指標(biāo)
為了對故障處置信息理解模型進(jìn)行綜合評估，提出故障處置信息多任務(wù)協(xié)同理解模型指標(biāo)。從意圖識別、槽位提取以及輔助決策生成3個維度評估故障處置信息理解效果，通過對上述評價維度的精準(zhǔn)率、召回率和平衡F分?jǐn)?shù)（F1）加權(quán)組合評價故障處置信息理解模型識別性能。
3.2 調(diào)度專業(yè)試驗數(shù)據(jù)
根據(jù)故障處置場景特征，構(gòu)建故障處置信息理解試驗標(biāo)準(zhǔn)數(shù)據(jù)集，共梳理24種故障處置操作意圖，將每種操作意圖泛化為多種故障處置信息表述，生成17560條故障處置信息，其中12898條為訓(xùn)練樣本集，4300條作為驗證樣本集，362條作為測試樣本集。部分?jǐn)?shù)據(jù)如表1所示。
表1 部分故障處置試驗數(shù)據(jù)
Table 1 Partial fault disposal test data
對表1中24種故障處置操作意圖下的17560條故障處置信息進(jìn)行標(biāo)記，標(biāo)記每條信息的意圖和槽位，部分標(biāo)記語料如表2所示。
表2 部分故障處置信息標(biāo)記數(shù)據(jù)
Table 2 Partial fault disposal information label data
3.3 模型效果分析
通過BERT-CRF訓(xùn)練標(biāo)記后的故障處置信息樣本，建立故障處置信息意圖識別和槽位識別模型，采用“多任務(wù)協(xié)同”神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，同時訓(xùn)練故障處置信息意圖識別和槽位提取模型。采用362條測試樣本對意圖模型進(jìn)行驗證，24種故障處置信息意圖識別效果如圖5所示。
圖5 故障處置信息意圖識別效果
Fig.5 Identification effect of fault disposal information intention
通過圖5數(shù)據(jù)可知，所提故障處置信息多任務(wù)協(xié)同理解模型對22種操作意圖的識別精準(zhǔn)率、召回率、F1值均為100%，具有較高的識別精度和泛化能力，能夠滿足現(xiàn)場實(shí)用要求。進(jìn)一步分析上圖中混淆矩陣數(shù)據(jù)，可以看出意圖6（查詢機(jī)組開機(jī)臺數(shù)）對應(yīng)的故障處置信息測試指令中有1條理解錯誤，將其識別為意圖3（查詢機(jī)組備用出力），影響了兩種意圖精準(zhǔn)率和召回率。為了全面評估基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型性能，采用所提故障處置信息多任務(wù)協(xié)同理解模型評價指標(biāo)計算24種故障處置信息理解效果，如表3所示。從表3可以看出，多任務(wù)協(xié)同理解模型對意圖識別、槽位識別以及輔助決策生成整個故障處置信息理解過程每個環(huán)節(jié)均具有較高的識別準(zhǔn)確率和泛化能力，能夠為電網(wǎng)故障處置提供安全可靠的輔助決策。
表3 故障處置信息多任務(wù)協(xié)同理解模型識別效果
Table 3 Recognition effect of fault disposal information multi-task collaborative understanding model
3.4 模型效果對比
為了進(jìn)一步驗證文中所提故障處置信息多任務(wù)協(xié)同理解模型性能，將其與基于BiLSTM-CRF的多任務(wù)協(xié)同理解模型以及其他管道模型對比，管道模型中的意圖識別分別基于文本卷積神經(jīng)網(wǎng)絡(luò)（TextCNN）、深層金字塔卷積網(wǎng)（deep pyramid convolutional neural networks，DPCNN）構(gòu)建，槽位提取分別基于BiLSTM-CRF、迭代膨脹卷積神經(jīng)網(wǎng)絡(luò)（iterated dilated convolutional neural networks，IDCNN）構(gòu)建，各模型對測試樣本的理解效果如表4所示。
表4 各模型評價指標(biāo)計算結(jié)果
Table 4 Calculation results of evaluation indicators for each model
從表4數(shù)據(jù)可知，所提基于BERT-CRF的故障處置信息多任務(wù)理解模型對意圖識別、槽位識別以及輔助決策生成各環(huán)節(jié)的精準(zhǔn)率、召回率、F1值要均高于基于BiLSTM-CRF的多任務(wù)協(xié)同理解模型以及其他管道模型。與基于BiLSTM-CRF的多任務(wù)協(xié)同理解模型相比，BERT能夠更深層次地表示電網(wǎng)故障處置信息專業(yè)信息的特征和差異，適合處理調(diào)度專業(yè)信息復(fù)雜建模問題；兩種故障處置信息多任務(wù)協(xié)同理解模型與DPCNN+IDCNN、TextCNN+BiLSTM-CRF管道模型相比，同時考慮故障處置信息意圖識別和槽位提取多任務(wù)損失函數(shù)收斂能力，有利于更好地表征故障處置信息意圖和槽位特征依存關(guān)系，克服故障處置信息理解難題，提高故障處置信息理解模型應(yīng)用效果。
3.5 故障處置信息自適應(yīng)理解框架實(shí)際應(yīng)用
基于故障處置信息自適應(yīng)理解框架研發(fā)了故障智能處置系統(tǒng)，該系統(tǒng)能夠主動感知電網(wǎng)故障、運(yùn)行狀態(tài)及操作指令等信息，通過故障處置信息多任務(wù)理解模型、故障處置知識圖譜以及多輪理解反饋機(jī)制自適應(yīng)推理故障處置信息，實(shí)現(xiàn)了系統(tǒng)畫面調(diào)閱、故障處置數(shù)據(jù)查詢、故障設(shè)備臺賬查詢、故障處置預(yù)案推送、故障處置輔助操作等功能的智能執(zhí)行，改變了傳統(tǒng)依靠人工經(jīng)驗理解和操作的處置模式。
以“查詢大侯雙回線跳閘預(yù)案”故障處置指令為例，意圖為“查詢事故預(yù)案”，槽位為“大侯雙回線”，故障處置信息自適應(yīng)理解框架感知“查詢事故預(yù)案”指令后，框架通過理解確定指令缺少槽位信息，主動生成故障處置信息引導(dǎo)策略“查詢哪個事故預(yù)案”，在反饋“大侯雙回線跳閘”調(diào)度指令后，框架將綜合理解當(dāng)前條指令與歷史條指令，分析得出“查詢大侯雙回線跳閘預(yù)案”指令，然后在故障處置知識圖譜中查詢相應(yīng)的預(yù)案進(jìn)行推送，至此完成了整個故障處置信息自適應(yīng)理解和推理過程。目前故障智能處置系統(tǒng)已經(jīng)在多個省級及以上電網(wǎng)應(yīng)用，大幅度縮短了故障處置時間，提升了電網(wǎng)故障處置響應(yīng)能力。
04
結(jié)語
結(jié)合故障處置業(yè)務(wù)需求及故障處置信息語言特征，本文構(gòu)建了電網(wǎng)故障處置信息自適應(yīng)理解框架，能夠識別和理解電網(wǎng)故障告警、運(yùn)行狀態(tài)、操作指令等信息，通過交互狀態(tài)推理自適應(yīng)生成故障處置策略。提出基于BERT-CRF的故障處置信息多任務(wù)協(xié)同理解模型，在訓(xùn)練過程中同時兼顧意圖和槽位識別損失函數(shù)的收斂能力，實(shí)現(xiàn)故障處置信息的準(zhǔn)確理解。建立故障處置信息多任務(wù)協(xié)同理解模型評價指標(biāo)和試驗樣本集，在某調(diào)控中心驗證了故障處置信息自適應(yīng)理解框架和多任務(wù)協(xié)同理解模型的有效性。
