# がいよう - いくつかの言語ではある特定の文脈において引数をなくすことができる - しかし人間はこれらの代名詞の意味を推論することができる - 我々はニューラル言語モデルでも同様の推論が可能かどうかを検証する - 人間が5つの行動実験において示された代名詞の無い文章にさらされたときの行動を反映した12の言語モデルうううううううううわからん - This result suggests that **human expectations about conference can be derived from exposure to language**, and also **indicates features of language models that allow them to better reflect human behavior**. - 人間の共参照に関する推論は言語への接触から導き出される - （実験結果は）言語モデルの特徴をも示す # けつろん - 言語モデルの参照元予測がどの程度人間に近いかを調査するのに有用 - 言語モデルの表現をゼロ・アナフォーラの解決システムに使用する場合に有用 - **アナフォーラ（首句反復）**：先に使われた言葉を繰り返す代わりに、代名詞あるいは類似の言葉を用いること。[参考](https://www.ei-navi.jp/dictionary/content/anaphora/#:~:text=%E5%85%88%E3%81%AB%E4%BD%BF%E3%82%8F%E3%82%8C%E3%81%9F,%E3%81%AE%E8%A8%80%E8%91%89%E3%82%92%E7%94%A8%E3%81%84%E3%82%8B%E3%81%93%E3%81%A8%E3%80%82&text=repetition%20of%20a%20word%20or,%E6%9C%80%E5%88%9D%E3%81%A7%E3%81%8F%E3%82%8A%E8%BF%94%E3%81%99%E3%81%93%E3%81%A8%E3%80%82) # おうよう 　深層学習を用いた自然言語処理に基づけば、この研究で示唆された結果は、首句反復（先に使われた言葉を繰り返す代わりに、代名詞や類似の言葉を用いること）のある文章を解決するシステムの作成に役立てることができる可能性がある。例えば、小説の中で「私の妻」を「伴侶」「かみさん」「女房」などと言い換えることである。こういった言い換えは、特に文学作品や文系論文の中では非常に多用されており、実験結果が示すように文脈に依存していることが分かっている。従って、こういったシステムを構築するためには、従来のように入力された文章を逐次的に解釈していくのではなく、文章の意味も解釈しつつ、メモリにその意味を保存していく必要があると考える。このとき、文章（あるいは単語）の意味をどういったデータ構造で表現し、どのようにして保管するのかについては別途議論する必要があるように思われるが、少なくとも意味解析のレベルでは、深層学習を用いる必要があるだろう。特に、似た意味を持つ単語や文章を探すという段階ではニューラルネットワークの利用が望ましいだろう。 　加えて、本レポートで示した研究結果とは直接的には関連しないと思われるが、深層学習を用いた自然言語処理を利用して、例えばテキストの要約やテキストの生成、音声認識、自然言語の翻訳、チャットボットなどが実現できるようになった。これらはいずれも従来にはなく、深層学習によって初めて誕生した。特に自然言語の翻訳に関しては、DeepLと呼ばれるサービスを用いて、非常に高い精度で細かなニュアンスなども反映した翻訳が可能となった。これらは膨大な数の学習モデルを深層学習によって計算機に学習させた結果であり、Google翻訳などでは成しえなかったことである。しかしながら、翻訳結果は学習モデルに大きく左右されるため、テクニカルタームなどのまれにしか出てこない単語については翻訳がまだまだ難しいことが現状である。また、最近話題となっているChatGPTは深層学習を用いたチャットボットであり、自然言語を媒介して計算機と疑似的に会話を行うことが可能となっている。このチャットボットは従来のものとは違い、文脈を含めた会話も可能となっている。例えば、会話中で「私の名前は山田である」という趣旨の会話を行っておけば、その後の会話において、その事実をもとにした会話を行うことができる。さらには、このチャットボットには入力された文章が不適切であるかどうかを判別するための仕組みもあり、もしそれに該当する場合には警告が表示されるようになっている。直接的な単語を入力しなかった場合にもこの検出は可能となっており、文章の意味解析の精度の高さがうかがえる。もう一つ特筆すべき点として、このチャットボットは汎用的であるということがある。従来のチャットボットは用途が限られていたのに対し、このチャットボットはどんな内容の会話に対しても一定の回答をすることができる。これは莫大な学習モデルを深層学習させた結果であり、今までのものでは計算機のスペック的にも不可能だったと思える。 　もう一つの応用の例として、音声認識を利用したスマートスピーカーが挙げられる。これは、マイクを内蔵したスピーカーに話しかけると、適切な応答を返しつつ、指示された命令を行ってくれるというものである。このシステムでは、話しかけられた音声をテキストに変換すること、そしてそのテキストを意味解析して実際の命令につなげることという二つのところで深層学習が使われていると思われる。例えば、Google Homeを用いて「OK Google 電気を消して」と話しかけると、その命令に沿って電気を消してくれるというものである。 　このように、深層学習を用いた自然言語処理は、従来にない様々な形で応用されている。近年では身近なところで深層学習は利用されており、今後もこれを利用した自然言語処理は目覚ましい発展を遂げるだろう。