我們可以把二元語法模型（只看過去的一個單詞）推廣到三元語法模型（看過去的兩個單詞），再推廣到N元語法模型（看過去的N-1個單詞）。二元語法模型稱為一階馬爾可夫模型（因為它只看過去的一個詞例），三元語法模型稱為二階馬爾可夫模型，N元語法模型稱為N-1階馬爾可夫模型。直到1958年Chomsky發(fā)表對Skinner的Verbal Behavior(言語行為）評論之前，單詞的馬爾可夫模型在工程技術(shù)、心理學和語言學中得到了普遍應(yīng)用，但是后來不再流行了。IBM公司的Thomas J. Watson研究中心語音識別實驗室應(yīng)用N元語法模型在語音識別中取得了很大的成績，馬爾可夫模型又重新引起了學術(shù)界的注意。

在一個序列中，N元語法對于下一個單詞的條件概率逼近的通用等式是：

式（6.8）說明，對于所有給定的前面的單詞，單詞w n。的概率可以只通過前面N個單詞的概率來逼近。

對于二元語法來說，我們把式（6.8）代入式（6.5），就可以計算出整個符號串的概率。結(jié)果如下：

讓我們來看語音理解系統(tǒng)中的一個例子。Berkeley Restaurant Project(Berkeley飯店規(guī)劃）是一個基于語音的飯店咨詢系統(tǒng)，用戶可以通過這個系統(tǒng)詢問關(guān)于California州Berkeley飯店的問題，系統(tǒng)從地方飯店的數(shù)據(jù)庫中檢索合適的信息顯示給用戶（Jurafsky et al.,1994）。這里是用戶提問的一些樣本：

I'm looking for Cantonese food.

（我在找廣東菜的飯店。）

I'd like to eat dinner someplace nearby.

（我喜歡在附近的地方吃晚餐。）

Tell me about Chez Panisse.

（請告訴我關(guān)于Chez Panisse飯店的情況。）

Can you give me a listing of the kinds of food that are available?

（你可以給我已經(jīng)準備好的各種食品的清單嗎？）

I'm looking for a good place to eat breakfast.

（我正在找一個適合吃早飯的地方。）

I definitely do not want to have cheap Chinese food.

（我確實不想吃便宜的中國食品。）

When is Caffe Venezia open during the day?

（近來Venezia咖啡店什么時候開門？）

I don't wanna walk more than ten minutes.

（走10分鐘以上的地方我不想去。）

圖6.2中的表是關(guān)于二元語法概率的一個樣本，它說明了在單詞eat之后可能出現(xiàn)的某些單詞的概率，這些概率是從用戶所說的句子中統(tǒng)計得出的（現(xiàn)在我們不考慮訓練二元語法概率的算法）。注意，這些概率編碼說明了某些事實，這些事實是：在本質(zhì)上很嚴格的句法事實（在eat之后常常

會是一個名詞短語的開頭，例如形容詞、修飾詞或名詞等）以及某些與文化有關(guān)的事實（在英國詢問如何找英國食品的概率是很低的）。

圖6.2 Berkeley Restaurant Project 中說明eat后最容易出現(xiàn)的單詞的二元語法的一個片斷