把語音輸入通過信號處理變換并轉換成一系列特征矢量，每個矢量代表語音輸入的一個時間片，然后把這些特征矢量轉變成概率。

特征矢量的概率的一種計算方法是，首先進行聚類（cluster），把它們聚類為能夠計數(shù)的離散符號，然后計算它們在某個訓練集中出現(xiàn)的次數(shù)。只要對次數(shù)進行計數(shù)，就可以計算出給定聚類的概率。這種方法一般稱為矢量量化（vector quantization）。矢量量化在早期的語音識別算法中使用得非常普遍，但后來這種方法被一種更直接而且計算能力更強的方法所替代，即計算輸入矢量實數(shù)值的（連續(xù)的）觀察概率。這種方法要在一個連續(xù)的空間內計算概率強度函數(shù)（probability density function, 簡稱pdf)。

有兩種普遍使用的連續(xù)方法。這兩種方法中使用得最廣泛的是高斯概率強度函數(shù)（Gaussian pdf）。在最簡單的高斯概率強度函數(shù)中，每個狀態(tài)有一個單獨的高斯函數(shù)，把觀察矢量Ot映射為概率。另一種方法是使用神經(jīng)網(wǎng)絡或多層感知器，這種方法也能夠通過訓練給概率指派一個實數(shù)值的特征矢量。帶有高斯觀察概率估計器的HMM可以通過簡單地擴充向前-向后算法進行訓練而得到。帶有神經(jīng)網(wǎng)絡觀察概率估計器的HMM可以通過一種完全不同的、稱為錯誤反向傳播（error back-propagation）的算法進行訓練而得到。

最簡單地使用高斯概率強度函數(shù)時，我們假定觀察特征矢量Ot的可能的值是按照正態(tài)分布的，這樣就可以把觀察概率函數(shù)bj(Ot)表示為帶有平均矢量μj和協(xié)方差矩陣Σj的高斯曲線；下標數(shù)表示矢量轉置。為了保持完整性，這里寫下了整個等式，但我們并不想深究這個等式的數(shù)學細節(jié)：

在通常情況下，我們簡單地假定，協(xié)方差矩陣Σj，是一個對角矩陣，也就是說，它包含倒譜特征1的簡單方差，倒譜特征2的簡單方差，等等，而不考慮倒譜特征1對倒譜特征2方差的影響。這意味著，在實際工作中，對于特征矢量的每個特征，我們只是簡單地保持它的平均值和方差。

大多數(shù)語音識別系統(tǒng)的做法更復雜一些。對于每個狀態(tài)，它們使用多重的高斯函數(shù)，這樣，在計算觀察矢量的每個特征的概率時，就要加上高斯曲線的一個變體。這種技術稱為高斯混合法（Gaussian mixture）。另外，在一種稱為參數(shù)約束（parameter tying）或約束混合法（tied mixture）的技術中，狀態(tài)之間可以共享高斯函數(shù)（Huang and Jack,1989）。例如，在聲學上相似的音子的某些特征就可以共享高斯函數(shù)。

怎樣計算在高斯估計中的平均值和方差呢？再次考慮只有一個狀態(tài)i的非隱藏的馬爾可夫模型會對我們有所幫助。特征平均矢量μ和方差矢量Σ可以通過平均的辦法來估計：

但是，由于存在著多個隱藏的狀態(tài)，我們不知道哪個觀察矢量Ot，是由哪個狀態(tài)產(chǎn)生的?？梢孕薷南蚯?向后算法，把在時間t和狀態(tài)i的HMM的概率分攤給每個可能的狀態(tài)i，從而對每個可能的狀態(tài)i指派一個觀察矢量Ot。

模擬連續(xù)值特征的另一種方法是神經(jīng)網(wǎng)絡，又稱多層感知器（MLP），或人工神經(jīng)網(wǎng)絡（Artificial Neural Network，簡稱ANN）。神經(jīng)網(wǎng)絡很復雜，用一兩頁篇幅不可能介紹清楚，但我們可以直觀地說明，作為一種與高斯估計不同的方法，神經(jīng)網(wǎng)絡如何應用于概率估計。有興趣的讀者

可以閱讀有關神經(jīng)網(wǎng)絡基礎知識的教材(Anderson,1995;Hertz et al.,1991）以及一些與神經(jīng)網(wǎng)絡語音識別有關的專業(yè)文獻（Bourlard and Morgan,1994）。

神經(jīng)網(wǎng)絡是用加權鏈（weighted link）連接起來的一些小的計算單元的集合。給神經(jīng)網(wǎng)絡一個輸入值矢量，它就可以計算出一個輸出值矢量。在計算過程中，神經(jīng)網(wǎng)絡的每個計算單元計算輸入單元的某個非線性函數(shù)，并把結果值傳給其輸出單元。