近期，國際學術期刊National Science Review在線發(fā)表了中國科學院分子細胞科學卓越創(chuàng)新中心(生物化學與細胞生物學研究所)陳洛南研究組與中山大學陳川副研究員、蘇州大學馬歡飛教授、東京大學Kazuyuki Aihara教授等合作研究成果“Predicting future dynamics from short-term time series by anticipated learning machine”。該成果基于延遲嵌入理論(delay embedding theory)，提出面向小樣本時序預測的預見性學習機器(ALM: Anticipated Learning Machine)方法，從而為該類問題提供了全新的解決方案。同時ALM可看作是由高維小樣本數(shù)據(jù)構建被預測變量的大樣本數(shù)據(jù)方法。
時序預測在許多領域都有著重要應用，如基因組表達預測、海平面溫度變化預測、風力預測、空氣污染預測、疾病預測、股票預測等。傳統(tǒng)的時序預測方法多是基于統(tǒng)計學或者機器學習，由于統(tǒng)計學或機器學習方法行之有效的條件是觀測到足夠長期時序數(shù)據(jù)或大樣本數(shù)據(jù)，而小樣本往往不能獲得完整的系統(tǒng)動力學行為或統(tǒng)計規(guī)律，因此短期時序或小樣本數(shù)據(jù)的預測一直是時序預測中的難點。另一方面，由于實際系統(tǒng)多為時變系統(tǒng)，對于未來預測來說，只有最近觀測的數(shù)據(jù)更有效，所以即使是觀測了大樣本，實際有效數(shù)據(jù)都為小樣本。對于這個問題，我們在神經(jīng)網(wǎng)絡框架下，結合動力學的隨機分布嵌入理論 (RDE: Randomly Distributed Embedding)，建立了由高維系統(tǒng)中不同變量間的交互作用信息構建目標變量或預測變量的動態(tài)信息的ALM方法，彌補了小樣本的信息不足。特別是，構建了由高維短期時序數(shù)據(jù)與預測變量長期時序數(shù)據(jù)兩者間映射關系，通過將高維短期時序數(shù)據(jù)轉化為低維長期時序數(shù)據(jù)從而實現(xiàn)了小樣本數(shù)據(jù)的時序預測。
研究者采用全新的空間-時間信息轉換(STI: Spatial-Temporal Information transformation)方法，建立了基于小樣本的預見性學習機器(ALM)神經(jīng)網(wǎng)絡(圖1)，利用神經(jīng)網(wǎng)絡全面和魯棒地學習這空間-時間的非線性映射(STI)。有別于傳統(tǒng)學習的線性近似映射，神經(jīng)網(wǎng)絡出色的非線性函數(shù)學習能力使得神經(jīng)網(wǎng)絡可以更好的模擬STI映射。另外，ALM神經(jīng)網(wǎng)絡的Dropout也可以很好的模擬隨機采樣的過程，所構建的ALM神經(jīng)網(wǎng)絡可以綜合多個子采樣系統(tǒng)中的動力學信息，得到最終的多步預測。實驗表明，該ALM方法在洛倫茲系統(tǒng)、基因表達預測、風速預測、股票預測、車流量預測、臺風路徑預測等多個實際數(shù)據(jù)集上都能做出準確的多步預測。
該工作對于小樣本的時間序列數(shù)據(jù)分析提供了全新的的預見性學習機器方法，不僅可用于時間序列的多步預測，也可應用于人工智能及腦科學中的小樣本數(shù)據(jù)構建和全新學習建立等。
該研究得到了該研究得到了科技部、中國科學院和國家自然科學基金的經(jīng)費支持。
文章鏈接
Figure 1 (圖1): Anticipated Learning Machine (ALM:預見性學習機器-神經(jīng)網(wǎng)絡). (a) The general principle of Anticipated Learning Machine. The observed attractor, a delay attractor and sampled nondelay attractors are all topologically conjugate with each other. Each sampled nondelay attractor preserves the dynamical information of the system in different ways. By integrating the information contained in these sampled nondelay attractors, we could find an accurate one-to-one map even under noise deterioration. (b) Anticipated Learning Machine. For each future value, those maps are co-trained into a unified map
. When the maps are trained, the weighted sum is used as the prediction. The predicted value is then used as the label when training other maps to predict the next time point. Clearly, ALM transforms spatial input X(tm) to temporal output Z(tm) at each point tm.
