優(yōu)點(diǎn)：泛化錯(cuò)誤率低，計(jì)算開銷不大，結(jié)果易解釋。

缺點(diǎn)：對參數(shù)調(diào)節(jié)和核函數(shù)的選擇敏感，原始分類器不加修改僅適用于處理二類問題。

適用數(shù)據(jù)類型：數(shù)值型和標(biāo)稱型數(shù)據(jù)。

在介紹SVM這個(gè)主題之前，先解釋幾個(gè)概念?？紤]圖1中A-D共4個(gè)方框中的數(shù)據(jù)點(diǎn)分布，一個(gè)問題就是，能否畫出一條直線將圓形點(diǎn)和方形點(diǎn)分開呢?先考慮圖2方框A中的兩組數(shù)據(jù)，它們之間已經(jīng)分隔得足夠開，因此很容易就可以在圖中畫出一條直線將兩組數(shù)據(jù)點(diǎn)分開。在這種情況下，這組數(shù)據(jù)被稱為線性可分（linearly separable)數(shù)據(jù)。讀者先不必?fù)?dān)心上述假設(shè)是否過于完美，稍后當(dāng)直線不能將數(shù)據(jù)點(diǎn)分開時(shí)，我們會(huì)對上述假設(shè)做一些修改。

圖1  4個(gè)線性不可分的數(shù)據(jù)集

上述將數(shù)據(jù)集分隔開來的直線稱為分隔超平面(separating hyperplane)。在上面給出的例子中，由于數(shù)據(jù)點(diǎn)都在二維平面上，所以此時(shí)分隔超平面就只是一條直線。但是，如果所給的數(shù)據(jù)集是三維的，那么此時(shí)用來分隔數(shù)據(jù)的就是一個(gè)平面。顯而易見，更高維的情況可以依此類推。如果數(shù)據(jù)集是1024維的，那么就需要一個(gè)1023維的某某對象來對數(shù)據(jù)進(jìn)行分隔。這個(gè)1023維的某某對象到底應(yīng)該叫什么？N-1維呢？該對象被稱為超平面（hyperplane)，也就是分類的決策邊界。分布在超平面一側(cè)的所有數(shù)據(jù)都屬于某個(gè)類別，而分布在另一側(cè)的所有數(shù)據(jù)則屬于另一個(gè)類別。

我們希望能采用這種方式來構(gòu)建分類器，即如果數(shù)據(jù)點(diǎn)離決策邊界越遠(yuǎn)，那么其最后的預(yù)測結(jié)果也就越可信?？紤]圖2框B到框D中的三條直線，它們都能將數(shù)據(jù)分隔開，但是其中哪一條最好呢？是否應(yīng)該最小化數(shù)據(jù)點(diǎn)到分隔超平面的平均距離？來求最佳直線如果是那樣，圖2的B和C框中的直線是否真的就比D框中的直線好呢？如果這樣做，是不是有點(diǎn)尋找最佳擬合直線的感覺？是的，上述做法確實(shí)有點(diǎn)像直線擬合，但這并非最佳方案。我們希望找到離分隔超平面最近的點(diǎn)，確保它們離分隔面的距離盡可能遠(yuǎn)。這里點(diǎn)到分隔面的距離被稱為間隔(margin)。我們希望間隔盡可能地大，這是因?yàn)槿绻覀兎稿e(cuò)或者在有限數(shù)據(jù)上訓(xùn)練分類器的話，我們希望分類器盡可能健壯。

支持向量（support vector）就是離分隔超平面最近的那些點(diǎn)。接下來要試著最大化支持向量到分隔面的距離，需要找到此問題的優(yōu)化求解方法。

圖2  A框中給出了一個(gè)線性可分的數(shù)據(jù)集，B、C、D框中各自給出了一條可以將兩類數(shù)據(jù)分開的直線

責(zé)任編輯：admin