Contents Intro.

言語判定は多くの言語処理の前提タスクとなりうるので、非常に高い精度が要求される。十分な長さを持つノイズの少ない文書に対しては、文字3-gramモデルによって99%以上の精度で判定できることが以前から示されていたが、twitterのような短くノイズの多いテキストについては95%前後の精度でしか判定出来なかった。そこで極大部分文字列を使った∞-gram ロジスティック回帰と、twitterや各言語に即した正規化処理を組み合わせることにより、ラテン文字言語19言語について99%以上の精度で言語判定する手法について紹介する。

Details

Publication year

2012

Form

電子化映像資料(1時間13分14秒)

Alternative title

∞-gram による短文言語判定

Series title

情報科学研究科・ゼミナール講演 ; 平成24年度

Note

講演者所属: サイボウズ・ラボ株式会社

講演日: 平成24年5月14日

講演場所: 情報科学研究科大講義室L1

Country of publication

Japan

Title language

English (eng)

Language of texts

Japanese (jpn)

Author information

中谷, 秀洋 (ナカタニ, シュウヨウ)