光子人工智能在加速機(jī)器學(xué)習(xí)方面引起了相當(dāng)大的興趣；然而，這種獨(dú)特的光學(xué)特性還沒(méi)有被充分利用來(lái)實(shí)現(xiàn)更高階的功能?；煦缪不兀–haotic Itinerancy）及其在多個(gè)準(zhǔn)吸引子之間的自發(fā)瞬態(tài)動(dòng)力學(xué)，可用于實(shí)現(xiàn)類腦功能。

近日，來(lái)自日本埼玉大學(xué)的研究人員研究了一種控制多模半導(dǎo)體激光器中混沌巡回的方法，以解決機(jī)器學(xué)習(xí)任務(wù)，即多臂老虎機(jī)（Multiarmed Bandit）問(wèn)題，這是強(qiáng)化學(xué)習(xí)的基礎(chǔ)。所提出的方法在通過(guò)光注入控制的模式競(jìng)爭(zhēng)動(dòng)力學(xué)中使用混沌巡回運(yùn)動(dòng)。

研究發(fā)現(xiàn)該探索機(jī)制與傳統(tǒng)的搜索算法完全不同，且具有高度可擴(kuò)展性，優(yōu)于針對(duì)大規(guī)模老虎機(jī)問(wèn)題的傳統(tǒng)方法。這項(xiàng)研究為使用混沌巡回有效解決作為光子硬件加速器的復(fù)雜機(jī)器學(xué)習(xí)任務(wù)鋪平了道路。

該研究以「Controlling chaotic itinerancy in laser dynamics for reinforcement learning」為題，于 2022 年 12 月 7 日發(fā)布在《Science Advances》上。

論文鏈接：https://www.science.org/doi/10.1126/sciadv.abn8325

多臂老虎機(jī)、混沌巡回與光子加速器

光子加速器通過(guò)使用光子技術(shù)克服半導(dǎo)體技術(shù)中集成電路密度的限制，提供快速高效的信息處理，被稱為摩爾定律的終結(jié)。光子加速器可以被認(rèn)為是使用光信號(hào)與電子計(jì)算相結(jié)合的預(yù)處理器。

在強(qiáng)化學(xué)習(xí)（RL）中，智能體通過(guò)反復(fù)試驗(yàn)學(xué)習(xí)行為，以最大限度地從與動(dòng)態(tài)環(huán)境的交互中獲得回報(bào)。強(qiáng)化學(xué)習(xí)已被廣泛用于圍棋游戲、彈性光網(wǎng)絡(luò)中的信號(hào)傳輸和機(jī)器人控制中獲得卓越的性能。

多臂老虎機(jī)問(wèn)題是概率論中一個(gè)經(jīng)典問(wèn)題，也屬于強(qiáng)化學(xué)習(xí)的范疇。設(shè)想，一個(gè)賭徒面前有 N 個(gè)老虎機(jī)，事先他不知道每臺(tái)老虎機(jī)的真實(shí)盈利情況，他如何根據(jù)每次玩老虎機(jī)的結(jié)果來(lái)選擇下次拉哪臺(tái)或者是否停止賭博，來(lái)最大化自己的從頭到尾的收益。

解決多臂老虎機(jī)問(wèn)題對(duì)于光子決策至關(guān)重要。這個(gè)問(wèn)題的目標(biāo)是最大化來(lái)自多項(xiàng)選擇或老虎機(jī)的總獎(jiǎng)勵(lì)，其命中概率是未知的。多臂老虎機(jī)問(wèn)題解決了強(qiáng)化學(xué)習(xí)中最關(guān)鍵的挑戰(zhàn)之一，即最大化總獎(jiǎng)勵(lì)的探索-利用困境。使用光子動(dòng)力系統(tǒng)已經(jīng)成功地實(shí)現(xiàn)了選擇具有最高命中概率的老虎機(jī)。

決策的可擴(kuò)展性，即如何應(yīng)對(duì)越來(lái)越多的老虎機(jī)或選擇，是至關(guān)重要的。

混沌巡回是一種現(xiàn)象，其中多個(gè)不穩(wěn)定的吸引子（稱為準(zhǔn)吸引子）共存，并且動(dòng)力系統(tǒng)的變量圍繞這些準(zhǔn)吸引子移動(dòng)?；煦缪不乇徽J(rèn)為對(duì)于理解大腦中自發(fā)活動(dòng)的出現(xiàn)至關(guān)重要。此外，混沌巡回已被用于實(shí)現(xiàn)聯(lián)想記憶。最近，通過(guò)使用混沌巡回設(shè)計(jì)了自發(fā)行為切換。通過(guò)用于機(jī)器學(xué)習(xí)的實(shí)用工程平臺(tái)實(shí)現(xiàn)的混沌巡回是實(shí)現(xiàn)大腦高功能的一種有前途且令人興奮的方法。

在光子系統(tǒng)中觀察到混沌巡回作為多模半導(dǎo)體激光器中多個(gè)縱模之間的混沌模式競(jìng)爭(zhēng)動(dòng)力學(xué)。多模半導(dǎo)體激光器中的混沌模式競(jìng)爭(zhēng)動(dòng)力學(xué)可能是實(shí)現(xiàn)有效自發(fā)搜索能力的合適平臺(tái)，以在存在多重不確定性的情況下探索最優(yōu)選擇。盡管確定性混沌系統(tǒng)的可控性會(huì)導(dǎo)致混沌巡回的功能性，但在基于強(qiáng)化學(xué)習(xí)的應(yīng)用中開(kāi)發(fā)一種控制混沌巡回的方案是一項(xiàng)相當(dāng)大的挑戰(zhàn)。

在此，研究人員設(shè)計(jì)并進(jìn)行了研究，以通過(guò)在具有光學(xué)反饋和注入的多模半導(dǎo)體激光器中通過(guò)數(shù)值和實(shí)驗(yàn)控制混沌巡回（即模式競(jìng)爭(zhēng)動(dòng)力學(xué)）來(lái)評(píng)估光子決策的可行性。通過(guò)使用混沌巡回對(duì)多種選擇進(jìn)行有效探索來(lái)解決作為強(qiáng)化學(xué)習(xí)基礎(chǔ)的多臂強(qiáng)老虎機(jī)問(wèn)題。研究了選擇數(shù)量的可擴(kuò)展性，并證明基于混沌巡回的方法優(yōu)于置信上限 1 (UCB1) 調(diào)整方法，后者是最著名的軟件算法之一。

本研究旨在研究混沌巡回，以利用激光動(dòng)力學(xué)的獨(dú)特物理特性，并解決光子決策原理的可擴(kuò)展性問(wèn)題。據(jù)我們所知，這是使用混沌巡回加速?gòu)?qiáng)化學(xué)習(xí)任務(wù)，并建立包含技術(shù)上可行的設(shè)備元素的具體光子硬件架構(gòu)的首次演示。

具有光反饋和注入的多模半導(dǎo)體激光器

圖 1 示意性地顯示了具有光反饋和注入的多模半導(dǎo)體激光器的系統(tǒng)架構(gòu)和動(dòng)力學(xué)。假定多模半導(dǎo)體激光器的五個(gè)縱模被激發(fā)，其光頻率表示為 νm，表示第 m 個(gè)模態(tài)強(qiáng)度（m = 1, 2, …, 5, νi < νj 表示 i < j）。此外，具有光頻率 fm 的單模半導(dǎo)體激光器用于光注入。單模激光器的光輸出被注入多模半導(dǎo)體激光器中頻率為 νm 的第 m 模態(tài)強(qiáng)度，以控制模式競(jìng)爭(zhēng)動(dòng)力學(xué)，如圖 1 所示。fm 與 νm 略微失諧以實(shí)現(xiàn)注入鎖定。

圖 1：具有光反饋和注入的多縱模半導(dǎo)體激光器。（來(lái)源：論文）

研究人員使用具有光反饋的多縱模半導(dǎo)體激光器的數(shù)值模型，該模型方程是 Lang-Kobayashi 方程的擴(kuò)展，這是具有光反饋的半導(dǎo)體激光器的著名數(shù)值模型方程。

還添加了來(lái)自單模半導(dǎo)體激光器的光注入項(xiàng)。模式 1、2、…、M 是從低頻模式到高頻模式分配的。這種多模半導(dǎo)體激光系統(tǒng)是一個(gè)沒(méi)有光注入的自主系統(tǒng)。

圖 2：光反饋多模半導(dǎo)體激光器的時(shí)間波形。（來(lái)源：論文）

研究了在沒(méi)有光注入的情況下發(fā)生混沌巡回時(shí)總強(qiáng)度在其中一種模式上的停留時(shí)間。

圖 3：不同振蕩頻率的五種模態(tài)總強(qiáng)度的混沌巡回。（來(lái)源：論文）

發(fā)現(xiàn)停留時(shí)間概率的指數(shù)關(guān)系為 P = Ae^βt，其中 t 表示停留時(shí)間，A 和 β 為實(shí)數(shù)。當(dāng)模式位于中心時(shí)，激光動(dòng)力學(xué)極有可能提供相對(duì)穩(wěn)定的駐留，而當(dāng)模式位于遠(yuǎn)離中心模式時(shí)，它會(huì)探索其他模式。

圖 3D 顯示了模式 3 中光注入下每個(gè)模態(tài)強(qiáng)度的總強(qiáng)度停留時(shí)間的概率。模式 3 中的停留時(shí)間通過(guò)光注入增強(qiáng)，概率曲線斜率的絕對(duì)值減小。相反，其他模式的停留時(shí)間減少，斜率的絕對(duì)值增加。值得注意的是，在所有模式的短（<1 ns）和長(zhǎng)（>1 ns）停留時(shí)間區(qū)域觀察到不同的斜率。因此，混沌巡回的統(tǒng)計(jì)特性可以通過(guò)光注入來(lái)改變。

圖 4：五種模式的主模比與光注入強(qiáng)度的函數(shù)關(guān)系。（來(lái)源：論文）

研究得出，可以通過(guò)改變光注入強(qiáng)度來(lái)配置特定模式成為主導(dǎo)模式的概率。換句話說(shuō)，可以通過(guò)將光學(xué)注入設(shè)計(jì)為特定模式來(lái)控制模式競(jìng)爭(zhēng)動(dòng)力學(xué)。

決策性能的可擴(kuò)展性

接下來(lái)，研究了老虎機(jī)數(shù)量變化時(shí)決策性能的可擴(kuò)展性。

圖 5：多模半導(dǎo)體激光器（紅色）和 UCB1 調(diào)諧軟件算法（藍(lán)色）的可擴(kuò)展性比較。

研究發(fā)現(xiàn)，當(dāng)老虎機(jī)數(shù)量非常大（超過(guò) 100 臺(tái)）時(shí)，使用多模激光動(dòng)力學(xué)的方法優(yōu)于 UCB1 調(diào)優(yōu)算法。UCB1-tuned 算法基于置信區(qū)間并行選擇老虎機(jī)，逐漸降低熵；但是，無(wú)法誘導(dǎo)加速。因此，當(dāng)老虎機(jī)數(shù)量較多時(shí)，基于多模激光動(dòng)力學(xué)的方法可以比 UCB1 調(diào)整算法更快地選擇正確的老虎機(jī)。

所提出的基于混沌巡回的方法的標(biāo)度指數(shù)為 0.70。這表明所提出的方法在大量老虎機(jī)下的優(yōu)勢(shì)，與現(xiàn)有的軟件算法和其他光子方法相比。UCB1 調(diào)優(yōu)算法的指數(shù)為 1.06，而 UCB1 調(diào)優(yōu)算法的指數(shù)為 1.06，文獻(xiàn)中報(bào)告的光子方法分別為 1.16 和 1.85從許多具有未知回報(bào)的選擇中識(shí)別最佳選擇在實(shí)際應(yīng)用中至關(guān)重要，所提出的光子方法可能為解決此類大規(guī)模強(qiáng)盜問(wèn)題開(kāi)辟一條途徑。

研究人員所提的決策方法可以應(yīng)用于產(chǎn)生混沌巡回的其他非線性動(dòng)力系統(tǒng)?；煦缪不刂С值淖园l(fā)搜索能力對(duì)于解決復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)以及理解大腦的自發(fā)活動(dòng)非常有前途。

總之，這項(xiàng)研究表明，多模激光動(dòng)力學(xué)中的混沌巡回是解決作為光子加速器的機(jī)器學(xué)習(xí)任務(wù)的有前途的資源。所提出的基于混沌巡回的原理利用了光的高帶寬屬性以及復(fù)雜的激光動(dòng)力學(xué)，這通過(guò)停留時(shí)間統(tǒng)計(jì)和熵分析得到體現(xiàn)。

基于通過(guò)本研究獲得的見(jiàn)解，所提出的結(jié)合混沌巡回和復(fù)雜激光動(dòng)力學(xué)的方法可以擴(kuò)展到解決未來(lái)的高階問(wèn)題和復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)。