
成功案例
加速工程及科技創(chuàng)新,讓智能裝備的設(shè)計(jì)研發(fā)更簡單高效
SCI論文丨基于強(qiáng)化學(xué)習(xí)的無人機(jī)協(xié)同最優(yōu)編隊(duì)跟蹤控制:前饋-反 饋設(shè)計(jì)架構(gòu)
一、基本信息:
研究方向:無人機(jī)智能控制與決策
發(fā)表于IEEE Transactions on Automation Science and Engineering
影響因子:5.6
二、論文內(nèi)容簡介
考慮到復(fù)雜飛行環(huán)境中多源干擾的影響,以及多元任務(wù)對 時(shí)變編隊(duì)和切換拓?fù)涞男枨?,本文提出了基于?qiáng)化學(xué)習(xí)算 法的無人機(jī)協(xié)同編隊(duì)控制方法。本文建立了反步控制方法 與強(qiáng)化學(xué)習(xí)算法相結(jié)合的前饋-反饋控制結(jié)構(gòu)?;诜床娇?制方法設(shè)計(jì)了反饋控制回路,將無人機(jī)協(xié)同編隊(duì)控制問題 轉(zhuǎn)化為關(guān)于編隊(duì)誤差的最優(yōu)控制問題。
針對最優(yōu)控制問題, 本章采用 two-player 零和博弈策略,利用評價(jià)神經(jīng)網(wǎng)絡(luò)逼 近得到最優(yōu)控制輸入以及最差干擾輸入,并通過穩(wěn)定性分 析證明了評價(jià)神經(jīng)網(wǎng)絡(luò)的收斂性。該控制算法通過強(qiáng)化學(xué) 習(xí)補(bǔ)償控制提升了無人機(jī)協(xié)同編隊(duì)的抗干擾性能,與此同 時(shí)利用反步控制方法加快了強(qiáng)化學(xué)習(xí)算法的收斂速度。
三、研究背景
復(fù)雜飛行環(huán)境和多元任務(wù)需求對無人機(jī)協(xié)同編隊(duì)控制的挑戰(zhàn):在無人機(jī)協(xié)同編隊(duì)飛行的過程中,考慮到復(fù)雜飛行環(huán)境中陣風(fēng)擾動(dòng)和電磁干擾等因素的存在,無人機(jī)制導(dǎo)系統(tǒng)會(huì)受到多源干擾的影響,將導(dǎo)致無人機(jī)協(xié)同編隊(duì)控制的不 穩(wěn)定。此外,當(dāng)無人機(jī)編隊(duì)執(zhí)行多個(gè)不同任務(wù)時(shí),考慮到復(fù)雜地形和通信距離限制等因素的影響,多元任務(wù)需要與其任務(wù)相匹配的無人機(jī)時(shí)變編隊(duì)及通信拓?fù)淝袚Q。例如: 當(dāng)無人機(jī)從高空偵察任務(wù)轉(zhuǎn)向低空突防任務(wù)時(shí),常要求多無人機(jī)由松散編隊(duì)重構(gòu)為緊密編隊(duì),并切換與之匹配的通信拓?fù)洹I鲜鲆蛩貫闊o人機(jī)協(xié)同編隊(duì)控制帶來了更大的挑戰(zhàn)。
四、創(chuàng)新內(nèi)容與工程應(yīng)用價(jià)值
1.針對目前多數(shù)無人機(jī)編隊(duì)控制方法不考慮性能優(yōu)化的問題,本文采用了反步控制方法與強(qiáng)化學(xué)習(xí)算法相結(jié)合的前 饋-反饋控制結(jié)構(gòu),可以在抵抗復(fù)雜干擾的同時(shí),保證無人機(jī)編隊(duì)跟蹤性能的優(yōu)化性;
2.對比傳統(tǒng)基于模型的反步控制方法,本文引入強(qiáng)化學(xué)習(xí)算法提升編隊(duì)控制的魯棒性。采用 two-player 零和博弈策 略,進(jìn)一步優(yōu)化編隊(duì)控制性能;
3.與大多數(shù)強(qiáng)化學(xué)習(xí)控制方法不同,本文通過在回聲狀態(tài)網(wǎng)絡(luò)更新律中引入補(bǔ)償項(xiàng)消除持續(xù)激勵(lì)條件,以及引入分段補(bǔ)償項(xiàng)解決初始可控條件。上述細(xì)節(jié)改進(jìn)極大提升了強(qiáng)化學(xué)習(xí)控制方法在實(shí)際無人機(jī)系統(tǒng)應(yīng)用的適應(yīng)性,不再依賴苛刻的限制條件。
五、基于靈思創(chuàng)奇設(shè)備
將無人機(jī)模型導(dǎo)入實(shí)時(shí)仿真機(jī)中,將編輯好的強(qiáng)化學(xué)習(xí)控 制算法導(dǎo)入飛控板內(nèi),基于 Tacview 的仿真視景,將無人 機(jī)編隊(duì)跟蹤控制仿真過程顯示,驗(yàn)證了本文提出的強(qiáng)化學(xué)習(xí)控制算法的有效性。
相較于數(shù)值仿真驗(yàn)證,基于靈思創(chuàng) 奇的半實(shí)物仿真系統(tǒng)更貼近實(shí)際無人機(jī)飛行控制系統(tǒng),對 采樣時(shí)間和信息傳輸量提出了更嚴(yán)格的要求,為推進(jìn)控制 算法在無人機(jī)實(shí)飛中的應(yīng)用奠定了良好的基礎(chǔ),一定程度 上驗(yàn)證了算法的可擴(kuò)展性。對比大多數(shù)無人機(jī)編隊(duì)控制方 法文獻(xiàn)中僅有的數(shù)值仿真驗(yàn)證,基于靈思創(chuàng)奇的半實(shí)物仿 真驗(yàn)證是可行且必要的。