eF-4のインターン生には自然言語処理に関する研究に取り組む人もいます。

そんな彼らが物語を要約するという課題に挑戦しました！

今年社内で開催した要約コンテストについてレポしたいと思います。

コンテストの司会進行は入社2年目の青木さん。技術指導の松田先生より自然言語処理に関する解説もありました。

なぜ「要約」?

自然言語処理技術を利用した文書要約技術の重要性は、キーワード検索を含め、Webオーサリング、経済文書・ビジネス文書・医療文書・法律文書等の要約…等、あらゆる分野で注目されています。

eF-4は昨年、株式会社モノゴコロとの協業で「世界のすべてを要約する」プロジェクト、”SEW(Summarizing Everything of the World)” を発足しました。

要約対象は文字通り「全て」！ 技術指導としてシンボリックシステムズより言語学者の松田先生にもご協力いただいています。

最終的には動画とテキストが中心になると思われますが、当面はテキストの要約をメインテーマとして研究しています。

今回はインターン生の研究成果を発表する場として、コンテスト実施の運びとなりました。

補足：
「要約」というと、一般的には長文を短文にするイメージを持つ方も多いと思います。SEWでは「要約」とは、例えば小説を漫画にするように、或いは映画にタイトル(文、フレーズ等)をつけるように、言語という形式に縛られず、内容をより端的に表すこと全般を指しています。

コンテスト概要

本コンテストでは、物語を題材にして文書要約技術を競いました。 題材を物語に選んだのは、文書が持つトピック（テーマ）を捉えるのにもっとも向いているため。さらに、トピック抽出は文書要約の肝であるそうです。

今回は、用意された文書が意図する “テーマ” を見つけることを課題としました。

各自が用意したアルゴリズム等に文書を読ませ、新しい “タイトル” を創作(出力)します。”タイトル” はテキストでも絵でも良しとします。

文書は星新一のショートショートより「おーい、でてこーい」を練習題材として使用し、本番題材として「鍵」を要約しました。参加者全員の投票で優勝者を決定します。

いざ、要約！

今回のコンテスト参加者はインターン生3名。 与えられた文書をどう扱うか、それぞれ目の付け所が異なり結果も全く違うものとなりました。

■中山さん

２種類のword2vecモデルを用いて文書から重要そうな単語を抽出するアルゴリズムを作成しました。

中山さんの研究はブログでも公開していますので、ぜひ合わせて御覧ください。

中山さんは都合が合わず欠席のため、代わりに青木さんが解説を行いました。

■齋藤さん

文章をginzaで解析した結果をグラフデータベースでまとめ、その構造から各単語の重要性を予測しました。
その後、文章に登場する順番なども考慮して単語を辿り、要約された文章を生成する方法を提案しました。

単語同士のつながりを図で表現した点が初心者にもわかりやすく感じられました。

■松倉さん

2種類の文章構造解析ツールを用いて、文章構造と単語のスコアリングを用いた要約を試みました。
複数アプローチから構造解析をすることでより詳細な解析を行い、他との関係の薄い文節、文、また文章内で重要な役割を持たない文を分析することで、一文単位 → 文章全体の順で要約を行いました。

文章構造解析の過程の様子。

また、エキシビションとして松田先生の取り組みもご紹介いただきました。

優勝者は・・！?

優勝は齋藤さん。 単語同士の関係性を追いかける手法と、応用すればトレンド予測に繋がりそうな点が評価されました。

優勝者には弊社代表取締役から景品が！多忙のため残念ながらコンテストには間に合わず・・青木くんから譲渡。おめでとう！

今後の展望

このプロジェクトで最終的に求めたいのはトレンド予測。

もっと手前の文書分類ができればいいと思っていたので予想以上の成果だった、と松田先生。

今回は物語を題材としましたが、今後はもっと踏み込んだ内容でトレンド予測にも取り組んで行きたいと思います。

みなさん、お疲れ様でした！

主催：株式会社eF-4

技術指導：松田裕幸（シンボリックシステムズ）