機(jī)器學(xué)習(xí)的快速發(fā)展，為智能語音處理奠定了堅實(shí)的理論和技術(shù)基礎(chǔ)。智能語音處理的主要特點(diǎn)是從大量的語音數(shù)據(jù)中學(xué)習(xí)和發(fā)現(xiàn)其中蘊(yùn)含的規(guī)律，可以有效解決經(jīng)典語音處理難以解決的非線性問題，從而顯著提升傳統(tǒng)語音應(yīng)用的性能，也為語音新應(yīng)用提供性能更好的解決方案。

[[378542]]

01 智能語音處理的基本概念

為簡化處理，經(jīng)典的語音處理方法一般都建立在線性平穩(wěn)系統(tǒng)的理論基礎(chǔ)之上，這是以短時語音具有相對平穩(wěn)性為前提條件的。但是，嚴(yán)格來講，語音信號是一種典型的非線性、非平穩(wěn)隨機(jī)過程，這就使得采用經(jīng)典的處理方法難以進(jìn)一步提升語音處理系統(tǒng)的性能，如語音識別系統(tǒng)的識別率等。

隨著機(jī)器人技術(shù)的不斷發(fā)展，以機(jī)器人智能語音交互為代表的語音新應(yīng)用迫切要求發(fā)展新的語音處理技術(shù)與手段，以提高語音處理系統(tǒng)的性能水平。

近十年來，人工智能技術(shù)正以前所未有的速度向前發(fā)展，機(jī)器學(xué)習(xí)領(lǐng)域不斷涌現(xiàn)的新技術(shù)、新算法，特別是新型神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)技術(shù)等極大地推動了語音處理的發(fā)展，為語音處理的研究提供了新的方法和技術(shù)手段，智能語音處理應(yīng)運(yùn)而生。

至今為止，智能語音處理還沒有一個精確的定義。廣義上來說，在語音處理算法或系統(tǒng)實(shí)現(xiàn)中全部或部分采用智能化的處理技術(shù)或手段均可稱為智能語音處理。

02 智能語音處理的基本框架

“聲源-濾波器”模型雖然能夠有效地區(qū)分聲源激勵和聲道濾波器，對它們進(jìn)行高效的估計，但語音產(chǎn)生時發(fā)聲器官存在著協(xié)同動作，存在緊耦合關(guān)系，采用簡單的線性模型無法準(zhǔn)確描述語音的細(xì)節(jié)特征。

同時，語音是一種富含信息的信號載體，它承載了語義、說話人、情緒、語種、方言等諸多信息，分離、感知這些信息需要對語音進(jìn)行十分精細(xì)的分析，對這些信息的判別也不再是簡單的規(guī)則描述，單純對發(fā)聲機(jī)理、信號的簡單特征采用人工手段去分析并不現(xiàn)實(shí)。

類似于人類語言學(xué)習(xí)的思路，采用機(jī)器學(xué)習(xí)手段，讓機(jī)器通過“聆聽”大量的語音數(shù)據(jù)，并從語音數(shù)據(jù)中學(xué)習(xí)蘊(yùn)含其中的規(guī)律，是有效提升語音信息處理性能的主要手段。與經(jīng)典語音處理方法僅限于通過提取人為設(shè)定特征參數(shù)進(jìn)行處理不同，智能語音處理最重要的特點(diǎn)就是在語音處理過程或算法中體現(xiàn)從數(shù)據(jù)中學(xué)習(xí)規(guī)律的思想。

圖1-5給出了智能語音處理的三種基本框架，圖中虛線框部分有別于經(jīng)典語音處理方法，包含了從數(shù)據(jù)中學(xué)習(xí)的思想，是智能語音處理的核心模塊。

▲圖1-5 智能語音處理的基本框架

其中，圖1-5a是在經(jīng)典語音處理特征提取的基礎(chǔ)上，在特征映射部分融入了智能處理，是機(jī)器學(xué)習(xí)的經(jīng)典形式，圖1-5b和圖1-5c是表示學(xué)習(xí)的基本框架，其中圖1-5c是深度學(xué)習(xí)的典型框架，“深度層次化的抽象特征”是通過分層的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來實(shí)現(xiàn)的。

03 智能語音處理的基本模型

智能語音處理是智能信息處理的一個重要研究領(lǐng)域，智能信息處理涉及的模型、方法、技術(shù)均可應(yīng)用于智能語音處理。智能語音處理的基本模型和技術(shù)主要來源于人工智能，機(jī)器學(xué)習(xí)作為人工智能的重要領(lǐng)域，是目前智能語音處理中最常用的手段，而機(jī)器學(xué)習(xí)中的表示學(xué)習(xí)和深度學(xué)習(xí)則是智能語音處理中目前最為成功的智能處理技術(shù)。

▲圖1-6 AI/ML/RL/DL的關(guān)系圖

圖1-6展示了人工智能(Artificial Intelligence,AI)、機(jī)器學(xué)習(xí)(Machine Learning，ML)、表示學(xué)習(xí)(Representation Learning，RL)及深度學(xué)習(xí)(Deep Learning，DL)的相互關(guān)系。

下面列出了近年來在智能語音處理中常見的模型和技術(shù)。

1. 稀疏與壓縮感知

一個事物的表示形式?jīng)Q定了認(rèn)知該事物的難度。在信息處理中，具有稀疏特性的信號表示更易于被感知和辨別，反之則難以辨別。因此，尋找信號的稀疏表示是高效解決信息處理問題的一個重要手段。

利用冗余字典，可以學(xué)習(xí)信號自身的特點(diǎn)，構(gòu)造信號的稀疏表示，并進(jìn)一步降低采樣和處理的難度。這種字典學(xué)習(xí)方法為信息處理提供了新的視角。對語音信號采用字典學(xué)習(xí)，構(gòu)造語音的稀疏表示，為語音編碼、語音分離等應(yīng)用提供了新的研究思路。

2. 隱變量模型

語音的所有信息都包含在語音波形中，隱變量模型假設(shè)這些信息是隱含在觀測信號之后的隱變量。通過利用高斯建模、隱馬爾可夫建模等方法，隱變量模型建立了隱變量和觀測變量之間的數(shù)學(xué)描述，并給出了從觀測變量學(xué)習(xí)各模型參數(shù)的方法。

通過參數(shù)學(xué)習(xí)，可以將隱變量的變化規(guī)律挖掘出來，從而得到各種需要的隱含信息。隱變量模型大大提高了語音識別、說話人識別等應(yīng)用的性能，在很長一段時間內(nèi)都是智能語音處理的主流手段。

3. 組合模型

組合模型認(rèn)為語音是多種信息的組合，這些信息可以采用線性疊加、相乘、卷積等不同方式組合在一起。具體的組合方式中需要采用一系列模型參數(shù)，這些模型參數(shù)可以通過學(xué)習(xí)方式從大量語音數(shù)據(jù)中學(xué)得。這類模型的提出，有效改善了語音分離、語音增強(qiáng)等應(yīng)用的性能。

4. 人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

人類面臨大量感知數(shù)據(jù)時，總能以一種靈巧的方式獲取值得注意的重要信息。模仿人腦高效、準(zhǔn)確地表示信息一直是人工智能領(lǐng)域的核心挑戰(zhàn)。

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)通過神經(jīng)元連接成網(wǎng)的方式，模擬了哺乳類動物大腦皮層的神經(jīng)通路。和生物的神經(jīng)系統(tǒng)一樣，ANN通過對環(huán)境輸入的感知和學(xué)習(xí)，可以不斷優(yōu)化性能。

隨著ANN的結(jié)構(gòu)越來越復(fù)雜、層數(shù)越來越多，網(wǎng)絡(luò)的表示能力也越來越強(qiáng)，基于ANN進(jìn)行深度學(xué)習(xí)成為ANN研究的主流，其性能相對于很多傳統(tǒng)的機(jī)器學(xué)習(xí)方法有較大幅度的提高。但同時，深度學(xué)習(xí)對輸入數(shù)據(jù)的要求也越來越高，通常需要有海量數(shù)據(jù)的支撐。

ANN很早就應(yīng)用到了語音處理領(lǐng)域，但由于早期受到計算資源的限制，神經(jīng)網(wǎng)絡(luò)層數(shù)較少，語音處理應(yīng)用性能難以提升，直到近年來深層神經(jīng)網(wǎng)絡(luò)的計算資源、學(xué)習(xí)方法有了突破之后，基于神經(jīng)網(wǎng)絡(luò)的語音處理性能才有了顯著的提升。

深度神經(jīng)網(wǎng)絡(luò)可以學(xué)到語音信號中各種信息間的非線性關(guān)系，解決了傳統(tǒng)語音處理方法難以解決的問題，已經(jīng)成為當(dāng)前智能語音處理的重要技術(shù)手段。