DSpace Repository

相補的バックオフを用いた言語モデル融合ツールの構築

Show simple item record

dc.contributor.author 長友 健太郎 ja
dc.contributor.author 西村 竜一 ja
dc.contributor.author 小松 久美子 ja
dc.contributor.author 黒田 由香 ja
dc.contributor.author 李 晃伸 ja
dc.contributor.author 猿渡 洋 ja
dc.contributor.author 鹿野 清宏 ja
dc.date.accessioned 2012-07-05T07:00:39Z en
dc.date.available 2012-07-05T07:00:39Z en
dc.date.issued 2002-09 en
dc.identifier.issn 1882-7837 en
dc.identifier.uri http://hdl.handle.net/10061/7782 en
dc.description.abstract 高精度な言語モデルの融合手法として,相補的バックオフアルゴリズムに基づく融合アルゴリズムを提案するとともに,それを用いた言語モデルの融合ツールを構築した.N-gram言語モデルは,学習元のコーパスの話題や知識,語調や発話様式などの特徴を反映する.そのため,タスクごとの特徴を反映した複数の言語モデルを融合することで,より多様な入力に対処できるモデルを構築できる.この言語モデルの融合において,既存の融合手法では,モデルの持つ特性が損なわれるためタスクに対する特徴がぼやけてしまう.また,従来手法である学習元コーパスの単純な結合および再学習による融合を行うためには,学習元のコーパス自体が必要になる.これに対して,他方のモデルには現れない未観測N-gramの生起確率を他方のモデルから相互に推定する高精度な相補的バックオフアルゴリズムを提案する.さらに本手法を用いて,学習元コーパスが不要で利便性の高い言語モデル融合ツールを構築した.実際に医療相談,グルメ・レシピ検索および新聞記事の各タスクの言語モデルを融合し,それらを評価した結果,各モデルの特性をなるべく保存しながら,コーパス結合モデルと比較しても精度が劣化しないモデルを得ることができた. ja
dc.description.abstract A new complemental back-off algorithm for merging two N-gram language models is proposed. By merging several topic-dependent or style-dependent models, we can construct a general model that covers wider range of topics easily. However, a conventional method that simply concatenates the training corpora or interpolating each probabilities often levels off the task-dependent characteristics in each language models, and weaken the linguistic constraint in total. We propose a new back-off scheme that assigns the unseen N-gram probabilities according to the probabilities of the another model. It can assign more reliable probabilities to the unseen N-grams, and no original corpora is needed for the merging. We implemented a command tool that realizes this method, and evaluated it on three recognition tasks (medical consulting, food recipe query and newspaper article). The results reveal that our merged model can keep the same accuracy of each original one. en
dc.language.iso ja en
dc.publisher 電子情報通信学会 ja
dc.rights Copyright (C) 2002 電子情報通信学会. ja
dc.title 相補的バックオフを用いた言語モデル融合ツールの構築 ja
dc.title.alternative Complemental Back-off Algorithm for Merging Language Models en
dc.type.nii Journal Article en
dc.textversion publisher en
dc.identifier.ncid AA12317677 en
dc.identifier.jtitle 情報処理学会論文誌 ja
dc.identifier.volume 43 en
dc.identifier.issue 9 en
dc.identifier.spage 2884 en
dc.identifier.epage 2893 en
dc.identifier.url https://search.ieice.org/ en
dc.relation.isIdenticalTo http://ci.nii.ac.jp/naid/110002726500 en


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search DSpace


Advanced Search

Browse

My Account