説明する単語

10月 15, 2021

説明する単語

説明する単語エンジンのアイデアは、関連単語 (類語辞典のようなものですが、単なる同義語ではなく、より幅広い関連単語のセットを提供します) のエンジンを構築していたときに思いつきました。 単語ベクトルとconceptnetの「HasProperty」APIで遊んでいるときに、ある単語をよく表す形容詞を取得するのが楽しくて仕方なかったんです。 最終的に、これを行うよりはるかに良い方法があることに気づきました:本を解析する!

Project Gutenberg は最初のコーパスでしたが、パーサーはますます欲張りで、結局、100 ギガバイトほどのテキスト ファイル(ほとんどがフィクションで、多くの現代作品を含む)を与えることになりました。 パーサーは単に各書籍に目を通し、名詞のさまざまな説明を引き出します。

願わくば、単なる目新しさだけでなく、一部の人々が実際に執筆やブレインストーミングに役立つことを発見してほしいものです。 例えば、「女」対「男」、「男」対「女」などです。 ざっと分析したところ、フィクションの作者は、(男性に対して)少なくとも4倍は女性を美に関する用語(体重、特徴、一般的な魅力に関するもの)で表現する傾向があるようです。 実際、「美しい」という表現は、世界中の文学作品の中で最も広く使われている女性に対する形容詞であり、他の多くのメディアにおける女性の一般的な一面的表現と非常によく一致しています。 このことについてさらに研究したい人がいれば、私に知らせてください。もっと多くのデータを提供できます (たとえば、「woman」には約 25000 種類のエントリがあり、ここでは多すぎて表示できません)。 項目の上にカーソルを置くと、頻度のスコアがポップアップ表示されます。 一意性」ソートはデフォルトで、私の複雑なアルゴリズムのおかげで、他の名詞と比較して、その特定の名詞に対する形容詞の一意性によって順序付けされます (実際にはかなり単純です)。 ご期待どおり、[Sort By Usage Frequency] ボタンをクリックすると、その名詞に対する使用頻度で形容詞を並べ替えることができます。

コメントを残す

メールアドレスが公開されることはありません。