《研究成果介紹》

  「金聲三號」連續語音國語聽寫機

      資訊科學研究所所長李琳山

      本院資訊科學研究所所長李琳山三月三日在國科會的「產學合作
    研究計畫」成果發表會上宣佈完成了「國語聽寫機」新一代的里程
    碑「金聲三號」。「金聲三號」不但可以聽寫連續的國語語音、直
    接輸入中文字，不再需要每個字斷開來唸，並且有各種多元化的應
    用。看來不用鍵盤輸入中文、人人都可以使用中文電腦的日子一天
    比一天接近了。這個產學合作計劃是由本院資訊所、臺灣大學及產
    業界的明碁電腦、倚天資訊共同合作。另外兩位子計劃主持人分別
    是本院資訊所的陳克健研究員及簡立峰助研究員，本院參與研究者
    尚包括歷史語言研究所的語言學家鄭秋豫研究員及黃居仁研究員。
    這項成果是本院的「中文資訊實驗室」和李琳山所長在臺灣大學的
    「語音實驗室」多年來傾力合作、以及數十位臺灣大學的研究生和
    中研院研究同仁長期努力的結晶。

      「國語聽寫機」事實上就是一臺「會聽國語」的中文電腦。使用
    者只要對著它說國語，聲音就會自動轉換成為文字輸入電腦。其主
    要應用是作為中文電腦的輸入，以突破現階段中文社會資訊化的最
    大瓶頸。因為目前所有快的中文輸入法都難學而易忘，需要專業訓
    練；電腦使用量不夠大的人都不願練習輸入法，乃放棄使用電腦，
    造成電腦和一般人日常工作生活分開而中文社會資訊化程度嚴重落
    後先進國家的情形。「國語聽寫機」的最大優點是輸入速度快，完
    全不需專業訓練，且歷久不忘；最大特色是徹底放棄了專為西方拼
    音語言所設計的鍵盤。由於佔全球人口1/4的中文社會都需要電腦化
    ，這項研究的意義及影響十分重大。但是，由於中文電腦的輸入必
    須是任意的文字，所以「國語聽寫機」必須做到即時聽寫「極大字
    彙」組成「任意文句」的國語語音，以滿足使用者的需求，所以難
    度極高。技術上的困難至少包括：中文常用字至少五千以上、常用
    詞至少十萬以上；中文句型千變萬化；中文同音字極多；而中文單
    字發音中極易混淆的音也極多（例如巴、搭、他、發、拉等）。這
    項研究早自民國七十三年即開始由李所長（當時是臺灣大學教授）
    全力推動；傾力研究七年後，曾於八十年完成第一代「國語聽寫機
    」的雛型系統，命名為「金聲一號」；取義「金聲玉振」，意謂國
    語的聲音是金玉之聲，可轉換成全世界最美麗的中文字。「金聲一
    號」首度證實了「國語聽寫機」構想的可行性，雖然它和實際大眾
    化可以使用的產品仍有很遠的距離。「金聲二號」則是第二代系統
    ，於八十二年九月底完成；不但其軟硬體條件已十分單純，更具備
    了多項智慧型學習功能，已接近一般產品方便好用的目標；只是使
    用者仍然必須每個字斷開來唸才能輸入，造成最大的不便。這次完
    成的「金聲三號」就是克服了這個最困難的、必須每個字斷開來唸
    的障礙，可以用連續語音直接輸入，並包括各種多元化的應用。

      「金聲三號」最大的技術上的突破是由「金聲二號」的必須唸「
    斷開單字」變成可以直接唸「連續語音」就可輸入。不要小看這簡
    單的一小步，在技術上所跨出的是極大的一步。在「極大字彙」、
    「任意文句」均可輸入的條件下，「連續語音」的辨認困難很多，
    例如連續音中每一個音的語音特性受前後所連的音影響，會有相當
    大的改變；亦即前接音、後接音不同時，其特性就會不同，不會再
    像「斷開單字」的語音特性那樣穩定。而在整段連續音中，不但哪
    一段是一個單字不易判斷，甚且究竟有幾個字也不易判斷；因此電
    腦誤辨出「插入字」或發生「漏失字」極為可能，錯誤於是很容易
    在構詞、造句時向兩邊延伸。此外在連續音中每個字的快慢速度可
    以有很大的變化，而且有的字在連續音中會完全連在一起，不易分
    辨；例如「西洋」極易被誤認為「詳」等等。「金聲三號」就是克
    服了這些困難，而成為可以聽寫「連續語音」的國語聽寫機。「金
    聲三號」共有兩個版本，其中3.0工作站版是在工作站上，充份利用
    工作站的優越條件來顯示技術能力及可行性。而3.1個人電腦版則在
    486個人電腦上，是用了許多高難度技術克服了個人電腦有限的計算
    能力、記憶容量及操作限制，以顯示實用性、大眾化及多元化的應
    用。

      「金聲三號」工作站版3.0操作時可以直接輸入連續語音，而且長
    短不拘；如果使用者可以一口氣唸很長的句子，機器也可以一口氣
    辨認出來，例如長度超過30字的句子完全難不倒「金聲三號」。如
    果發現有錯誤，可以用滑鼠在畫面上很方便的線上用聲音迅速修正
    錯誤，完全不用鍵盤。男女聲均適用，但使用者必需先唸一系列的
    學習例句訓練機器聽他（她）的聲音。此外，由於多數聽寫的錯誤
    常常源自使用者不同的環境雜訊、獨有的遣詞構句習慣及特別的專
    有名詞，「金聲三號」可以線上立即學習使用者的遣詞構句、加學
    新詞尤其是專有名詞，也可以線上隨時學習使用者不同的環境雜訊
    特性。「金聲三號」在工作站上的速度幾乎就是「即時」，亦即計
    算時間幾乎與輸入語音長度相同，因此可以立即獲得辨認結果。目
    前的「金聲三號」是用報紙新聞訓練的，輸入報紙新聞的正確率達
    92%以上。初步估計未來變成產品後，如果使用者可以專心快速唸入
    文句，每分鐘至少可輸入正確文字200個以上。如果要輸入新聞以外
    的其他應用領域的文字，也可以隨時訓練出來。

      至於「金聲三號」個人電腦版3.1，則只使用486人電腦加插一片
    普通的數位訊號處理卡，相當接近低價位、大眾化的目標。它與工
    作站版最大的不同，是不適於一口氣輸入很長的句子，而適合輸入
    較短語句。不過事實上配合使用者撰稿時所需的思考及發音時所需
    的換氣，較短語句的輸入事實上十分實用；因為多數使用者都是一
    面造句一面輸入並需不時換氣，很少人可以一口氣輸入很長的句子
    而不必換氣或思考的。它使用了Windows畫面，十分方便好用，很接
    近實用產品。使用者可以用滑鼠在畫面上迅速用聲音修正錯誤，完
    全不用鍵盤。它也可以線上學習使用者的遣詞構句、加學新詞尤其
    是專有名詞。也可以線上自動學習使用者的聲音；新的使用者只要
    分階段唸少數「語音特性平衡詞」，再稍候機器訓練，即可獲得相
    當好的正確率。例如在前三段共唸665個詞，費時約20分鐘，再讓機
    器訓練20分鐘，共費時40分鐘，即可獲得約89%的正確率。此後機器
    仍可繼續線上學習，使正確率繼續提高。此外「金聲三號」的個人
    電腦版還有特別的好處，即是在特定領域下，常常所需字數、詞數
    及句型大為減少，此時有可能任何使用者均不需訓練、即可立即使
    用，現階段「金聲三號」製作了三個這樣的例子：撰寫會計方面的
    公文、查詢股市資訊，以及用語音在電腦上下象棋。在這三個例子
    中使用者即使完全沒有訓練過機器，也都獲得相當好的結果。

      「金聲三號」事實上包涵了多種技術，也可發展出多元化的應用
    來。就極大字彙連續音聽寫技術而言，不論是工作站版或個人電腦
    版，可能應用的例子包括中文輸入法、文書編輯系統以及錄音解讀
    系統（使用者先一口氣把要寫的文書錄下音來再交給機器去解讀）
    等等。此外，「金聲三號」事實上也包括了個人電腦特定領域（亦
    即字數、詞數及句型較為有限的條件下）的文書處理的技術，在這
    種應用下，有可能任何使用者均可直接使用、不用訓練機器；可能
    的應用例子包括撰寫會計公文、商業書信、報關文件、產品說明文
    件等。「金聲三號」事實上也包括了個人電腦特定領域辨認（不但
    字數、詞數為較有限，且未必要寫成文書，只是要分辨語音指令）
    的技術，這時也很可能任何使用者均可直接使用、不必訓練機器；
    這方面應用的例子就更多了，如股市資訊檢索、電腦地圖檢索、電
    腦口語指令（語音象棋即是其中一例）、電話分機查詢、名片檢索
    、記事本檢索等，都是馬上可以想到的例子。

      如果使用者的國語不標準怎麼辦呢？事實上不用擔心；由於是由
    使用者訓練機器去聽他自己的國語，故當然也可以訓練機器去聽「
    不標準」的國語，機器只是在學習使用者的聲音，對它而言並沒有
    所謂「標準國語」存在，所以不是問題。但如果使用者自己不能分
    辨一些常易混淆的音（例如「師」、「司」或「京」、「斤」等）
    ，則機器自然也可能在學習以後、學到了使用者的「不能分辨」。
    但因為機器會根據前後文找出可能的同音字，故也可以根據前後文
    刪去不可能的混淆音，所以並不會構成太大的問題。至於什麼時候
    可以有大眾化的產品推出讓大家都可以使用呢？許多人都希望這一
    天快快來到。現階段除了原先參與的明碁電腦、倚天資訊外，尚有
    許多公民營單位都在積極討論參與產品開發的可行性，現在仍在仔
    細檢討的階段；不過我們相信這一天是越來越近了。