行業(yè)觀瞻

技術(shù)熱點(diǎn)

面試寶典

青鳥動(dòng)態(tài)

資料下載

其他

在線咨詢

【python培訓(xùn)】一文教你如何輕松實(shí)戰(zhàn)Python時(shí)間序列數(shù)據(jù)挖掘!

來源：北大青鳥總部 2020年05月19日 09:20

摘要：【python培訓(xùn)】一文教你如何輕松實(shí)戰(zhàn)Python時(shí)間序列數(shù)據(jù)挖掘!

前言
     隨著云計(jì)算和物聯(lián)網(wǎng)（IoT）的急速發(fā)展，我們無時(shí)無刻都被時(shí)間序列數(shù)據(jù)包圍著。從經(jīng)濟(jì)管理再到工程領(lǐng)域，時(shí)間序列數(shù)據(jù)挖掘有著廣泛應(yīng)用。例如證券市場中股票的交易價(jià)格與交易量、外匯市場上的匯率、期貨和黃金的交易價(jià)格以及各種類型的指數(shù)等，這些數(shù)據(jù)都形成一個(gè)持續(xù)不斷的時(shí)間序列。利用時(shí)間序列數(shù)據(jù)挖掘，可以獲得數(shù)據(jù)中蘊(yùn)含的與時(shí)間相關(guān)的有用信息，實(shí)現(xiàn)知識(shí)的提取。時(shí)間序列數(shù)據(jù)挖掘是大數(shù)據(jù)挖掘研究領(lǐng)域里的一個(gè)重要方向之一。

    眾所周知，時(shí)間序列數(shù)據(jù)本身所具備的高維性、復(fù)雜性、動(dòng)態(tài)性、高噪聲特性以及容易達(dá)到大規(guī)模的特性。因此如何輕松進(jìn)行時(shí)間序列數(shù)據(jù)挖掘是具有大挑戰(zhàn)性。本文將介紹時(shí)間序列數(shù)據(jù)挖掘開源庫——MatrixProfile，并在Python的環(huán)境下使用高效簡潔的程序來完成復(fù)雜的時(shí)間序列數(shù)據(jù)挖掘。

MatrixProfile 工作原理

    MatrixProfile的基本原理很簡單。可以先試想一個(gè)問題，如果從時(shí)間序列數(shù)據(jù)中提取一個(gè)片段并沿著時(shí)間序列的其余部分滑動(dòng)，那么它在每個(gè)新位置與時(shí)間序列片段的重疊相似的程度是什么樣子的？更具體地說，我們可以計(jì)算子序列與同一長度的每個(gè)時(shí)間序列片段之間的歐幾里德距離，從而建立所謂的時(shí)間序列片段的距離模式（distanceprofile）。

    如果子序列在數(shù)據(jù)中重復(fù)自身，則將至少有一個(gè)完全匹配，并且最小歐氏距離將為零（或在存在噪聲的情況下接近于零）。如圖所示，如果提取的子序列為重復(fù)模式（RepeatedPatterns）片段，那么重復(fù)模式片段沿著整個(gè)時(shí)間序列滑動(dòng)時(shí)，與自身重復(fù)片段的最小歐式距離為零（紅色部分）。從紅色曲線可以看出，相比之下，如果子序列是高度唯一的（比如它包含一個(gè)顯著的異常值），那么匹配將很差（藍(lán)色曲線中的anomaly）。然后，在時(shí)間序列中滑動(dòng)每個(gè)可能的片段，建立一個(gè)距離模式的集合。

MatrixProfile 工作原理示意圖

    MatrixProfile主要是進(jìn)行識(shí)別異常事件（或不協(xié)調(diào)“discords”）和重復(fù)模式（或模體“motifs”）。這是兩項(xiàng)基本的時(shí)間序列任務(wù)。其中MatrixProfile分為兩個(gè)重要組成部分：距離模式（distanceprofile）和模式索引（profileindex）。距離模式是歸一化最小歐氏距離向量。模式索引包含其第一近鄰索引。換句話說，它是其最相似子序列的位置。

    MatrixProfile主要采用了用滑動(dòng)窗口的算法來計(jì)算，如下圖所示。圖中的滑動(dòng)窗口X2到X5在時(shí)間序列（X1，…,X12）上滑動(dòng)，分別計(jì)算滑動(dòng)窗口與每個(gè)子序列的點(diǎn)積。當(dāng)計(jì)算完所有的點(diǎn)積（D1,2,…,D9,2）后，應(yīng)用排除區(qū)域（exclusionzone）進(jìn)行處理。并將最小距離存儲(chǔ)在MatrixProfile的距離模式中，丟棄其余的距離。其中，由于子序列是從時(shí)間序列本身提取的，因此需要設(shè)置圖中排除區(qū)域來防止無價(jià)值匹配。比如，子序列片段（X1,X2,X3,X4）與滑動(dòng)窗口（X2,X3,X4,X5）相似度非常高，被視為無價(jià)值匹配或平凡匹配。

MatrixProfile 滑動(dòng)窗口動(dòng)態(tài)圖解

MatrixProfile API（MPA）應(yīng)用接口庫

    MatrixProfile庫支持三種最常用的數(shù)據(jù)科學(xué)語言Python、R和Golang。它提供易于使用的接口函數(shù)MatrixProfileAPI（MPA），這是一個(gè)用R、Python和Golang編寫的通用代碼庫。不管是對時(shí)間序列分析毫無經(jīng)驗(yàn)的新手還是專家都很有幫助。而且它已經(jīng)被廣泛地使用，包括如何挖掘網(wǎng)站用戶數(shù)據(jù)、訂單量和其他關(guān)鍵業(yè)務(wù)應(yīng)用之間的關(guān)系。下面使用Python來進(jìn)行實(shí)戰(zhàn)訓(xùn)練。

MPA由三個(gè)核心組件組成：

計(jì)算（分析數(shù)據(jù)的各個(gè)成分，例如趨勢，周期性）
發(fā)現(xiàn)（對有序數(shù)據(jù)序列的feature提取與分類、發(fā)現(xiàn)不協(xié)調(diào)序列等）
可視化（通過基本繪圖顯示結(jié)果）

    這三個(gè)核心功能作為底層嵌套在具有用戶可視化的界面Analyze的模塊里面，可以使那些對MatrixProfile內(nèi)部工作原理一無所知的人能夠快速地利用它來處理自己的時(shí)間序列數(shù)據(jù)。

實(shí)戰(zhàn)分析

    首先需要配置MatrixProfile的安裝環(huán)境，建議使用Anaconda。Anaconda是一個(gè)用于科學(xué)計(jì)算的Python發(fā)行版，內(nèi)置很多用于學(xué)計(jì)算工具Python第三方庫，非常方便使用。然后，在AnacondaPrompt終端使用下面語句來安裝MatrixProfile庫。

pipinstall matrixprofile

    安裝完后，我們將使用MatrixProfile API（MPA）應(yīng)用接口庫來分析如下所示的合成時(shí)間序列。

Python環(huán)境下使用MPA合成時(shí)間序列數(shù)據(jù)

合成時(shí)間序列生成代碼如下：

import matrixprofile as mp

import numpy as np

from matplotlib import pyplot as plt

dataset =mp.datasets.load('motifs-discords-small')

window_size = 32

profile = mp.compute(dataset['data'],window_size)

profile = mp.discover.discords(profile)

# time series

mp_adjusted = np.append(profile['mp'],np.zeros(profile['w'] - 1) + np.nan)

# Create a plot

plt.plot(np.arange(len(profile['data']['ts'])),profile['data']['ts'])

    從合成的時(shí)間序列數(shù)據(jù)圖中可以發(fā)現(xiàn)，明顯存在模式不協(xié)調(diào)現(xiàn)象。圖中前面是規(guī)律震蕩變化的正弦曲線模式，而后面是兩種不同的模式。然而，一個(gè)直接的問題是，該如何選擇子序列長度。圖中橫坐標(biāo)0-500范圍內(nèi)是否只有兩個(gè)正弦模體？我們可以使用應(yīng)用接口庫MPA中的analyze函數(shù)來自動(dòng)處理這個(gè)問題，完整程序代碼如下。

import matrixprofile as mp

import numpy as np

from matplotlib import pyplot as plt

dataset =mp.datasets.load('motifs-discords-small')

window_size = 32

profile = mp.compute(dataset['data'],window_size)

profile = mp.discover.discords(profile)

profile, figures =mp.analyze(profile['data']['ts'])

    由于沒有指定任何關(guān)于子序列長度的信息，“analyze”首先利用稱為panmatrix profile（簡稱PMP）的強(qiáng)大計(jì)算來生成有助于評估不同子序列長度的模式圖，如下所示。

所有可能的子序列長度的全局計(jì)算模式圖

    簡而言之，它是對所有可能的子序列長度的全局計(jì)算，并壓縮為一個(gè)可視化模式圖。X軸是矩陣模式的索引，Y軸是相應(yīng)的子序列長度。圖中顏色越暗，代表歐幾里德距離就越低。

    這里，analyze函數(shù)將結(jié)合PMP和一個(gè)隱藏的算法，從所有可能的滑動(dòng)窗口大小中選擇合理的模體和不協(xié)調(diào)。由“analyze”創(chuàng)建的附加圖形顯示前三個(gè)模體和前三個(gè)不協(xié)調(diào)，以及相應(yīng)的窗口大小和在矩陣模式中的索引位置（以及擴(kuò)展的時(shí)間序列）。

下圖中藍(lán)色部分代表合成時(shí)間序列數(shù)據(jù)，紅色部分代表模體，黑色部分是相似近鄰。

這里采用的是程序默認(rèn)的參數(shù)，運(yùn)行后會(huì)自動(dòng)得到很多結(jié)果。我們也可以更改滑動(dòng)窗口的大小。程序會(huì)自動(dòng)找出不協(xié)調(diào)的點(diǎn)，如下圖所示。

profile,figures = mp.analyze(profile['data']['ts'],windows=203)

滑動(dòng)窗口大小為203時(shí)，出現(xiàn)不協(xié)調(diào)的點(diǎn)（紅色五角星）

 比起常規(guī)的時(shí)間序列挖掘算法，MatrixProfileAPI（MPA）應(yīng)用接口庫提供了一個(gè)較為簡潔的方式，能讓你更輕松地分析和挖掘時(shí)間序列數(shù)據(jù)，當(dāng)然，上面只是采用了MPA內(nèi)置函數(shù)默認(rèn)的參數(shù)來進(jìn)行說明。如果想進(jìn)一步了解MPA的用法，并將其應(yīng)用到自己特定的應(yīng)用場景中，可以在網(wǎng)上查找MPA官方使用手冊。
以上，就是小編為大家整理的《教你如何輕松實(shí)戰(zhàn)Python時(shí)間序列數(shù)據(jù)挖掘!》，希望能夠?qū)Υ蠹矣兴鶐椭?/span>