物理和人工智能的核心挑戰(zhàn)是符號回歸

找到與未知函數(shù)數(shù)據(jù)匹配的符號表達(dá)式。盡管此問題從原理上講可能是NP難題，但實際感興趣的功能通常表現(xiàn)出對稱性，可分離性，組成性和其他簡化特性。本著這種精神，我們開發(fā)了一種遞歸的多維符號回歸算法，該算法將神經(jīng)網(wǎng)絡(luò)擬合與一整套物理啟發(fā)技術(shù)相結(jié)合。

我們將其應(yīng)用于費曼物理學(xué)講座中的100個方程，并發(fā)現(xiàn)了所有方程，而以前的公開軟件僅破解了71個;對于更困難的基于物理的測試集，我們將最新的成功率從15%提高到90%。1601年，約翰內(nèi)斯·開普勒(Johannes Kepler)獲得了世界上最好的行星軌道數(shù)據(jù)表，經(jīng)過4年40次失敗的嘗試，火星數(shù)據(jù)適合各種卵形形狀，他發(fā)現(xiàn)火星的軌道是橢圓形，從而掀起了一場科學(xué)革命。 (1)。這是符號回歸的一個示例：發(fā)現(xiàn)與給定數(shù)據(jù)集精確匹配的符號表達(dá)式。更具體地說，我們得到一個數(shù)字表，其行格式為{x1，…，xn，y}其中y=f(x1，…，xn)，我們的任務(wù)是為未知的神秘函數(shù)f找到正確的符號表達(dá)式，并可以選擇包括噪聲的復(fù)雜性。

不斷增長的數(shù)據(jù)集激發(fā)了自動執(zhí)行此類回歸任務(wù)的嘗試，并取得了顯著成功。對于未知函數(shù)f是{x1，…，xn}的已知函數(shù)的線性組合的特殊情況，符號回歸簡化為簡單地求解線性方程組。從金融到心理學(xué)，科學(xué)文獻(xiàn)中普遍存在線性回歸(其中f只是一個仿射函數(shù))。f是{x1，…，xn中的單項式的線性組合的情況}對應(yīng)于帶有相互作用項的線性回歸，并且更廣泛地對應(yīng)于多項式擬合。流行的回歸函數(shù)還有無數(shù)其他示例，它們是已知函數(shù)的線性組合，范圍從傅立葉展開到小波變換。盡管在特殊情況下取得了這些成功，但一般的符號回歸問題仍未解決，原因不言而喻：如果將函數(shù)編碼為符號字符串，則此類字符串的數(shù)量會隨字符串長度呈指數(shù)增長，因此，如果我們簡單地測試所有通過增加長度來增加字符串，直到我們找到所需的功能，它可能需要比宇宙的壽命更長的時間。

這個巨大的搜索空間組合挑戰(zhàn)體現(xiàn)了許多著名的問題類別，從密碼破解和Rubik立方體到自然選擇問題，即發(fā)現(xiàn)產(chǎn)生最進(jìn)化適合的生物體的遺傳密碼的自然選擇問題。這促使遺傳算法(2，3為在呈指數(shù)大空間，這代替目標(biāo)搜索)上述通過突變，選擇，繼承和重組的生物學(xué)啟發(fā)的策略強力搜索;粗略地說，基因的作用是由有用的符號字符串發(fā)揮作用的，這些符號字符串可能會成為搶手的公式或程序的一部分。這種算法已被成功地應(yīng)用于領(lǐng)域從天線設(shè)計(4，5)和車輛(6)到無線路由(7)，車輛路由(8)，機器人導(dǎo)航(9)，代碼破解(10)，發(fā)現(xiàn)偏微分方程(11)，投資策略(12)，市場營銷(13)，分類(14)，魔方(15)，程序合成(16)和代謝網(wǎng)絡(luò)(17)。