中谷秀洋
生駒 : 奈良先端科学技術大学院大学, 2012.5
授業アーカイブ言語判定は多くの言語処理の前提タスクとなりうるので、非常に高い精度が要求される。十分な長さを持つノイズの少ない文書に対しては、文字3-gramモデルによって99%以上の精度で判定できることが以前から示されていたが、twitterのような短くノイズの多いテキストについては95%前後の精度でしか判定出来なかった。そこで極大部分文字列を使った∞-gram ロジスティック回帰と、twitterや各言語に即した正規化処理を組み合わせることにより、ラテン文字言語19言語について99%以上の精度で言語判定する手法について紹介する。
2012
電子化映像資料(1時間13分14秒)
∞-gram による短文言語判定
情報科学研究科・ゼミナール講演 ; 平成24年度
講演者所属: サイボウズ・ラボ株式会社
講演日: 平成24年5月14日
講演場所: 情報科学研究科大講義室L1
英語 (eng)
日本語 (jpn)
中谷, 秀洋 (ナカタニ, シュウヨウ)
