文章類似度
TF-IDFコサイン類似度、Jaccard類似度、編集距離で2つのテキストの近さを測る。ローカルで計算する。
両方の欄にテキストを入力すると比較する。
トークン化のルール：テキストの大半が CJK 文字なら文字バイグラムに分割し、そうでなければ小文字化した単語に分割する。
使い方
- 比べたい2つのテキストを左右に入れる。
- 3つの指標（TF-IDF コサイン、Jaccard、レーベンシュタイン）が自動で計算される。
- 各指標が何を測っているかは、カード内の説明を読むこと。測るものが違うので、値が食い違うのは正常。
注意事項
いずれも意味ではなく表層（単語と文字列）を測る指標で、計算はすべてブラウザ内。トークン化は、テキストの大半が CJK 文字なら文字バイグラム、そうでなければ小文字化した単語に分割する。レーベンシュタインは各テキスト最大5,000文字までを使う。言い換えられた文章同士は低く出ることがあり、意味の近さが必要ならセマンティック検索のような埋め込み系が向く。
よくある質問
- 剽窃チェックに使える？
- 表層の一致度は分かるが、言い換えや翻訳を介した盗用は検出できない。参考値としてのみ使うこと。