# JMRX # Python勉強会#4 <!-- Put the link to this slide here so people can follow --> slide: https://hackmd.io/@AvWKpQTARl-uwEhmOAb9vg/rku5glcgr#/ --- ## アンド・ディでは ## リサーチャー ## データエンジニア希望の方を ## 大募集中です --- ## 本日のテーマ - 自然言語処理 --- ## 自然言語処理とは - 自然言語を処理する - 自然言語には曖昧・省略があり、解析が少し難しい --- ## 基本的な用語 - コーパス：文書の集合 - 辞書：単語の集合 - 形態素：これ以上分解できない言語の最小単位＝ほぼ単語 - 係り受け：修飾・非修飾 --- ## 色々ありますが。。。 - 形態素解析して、単語をカウントするのが第一歩 - 形態素解析ツール - Mecab - Chasen - [Python3からMeCabを使う - Qiita](https://qiita.com/taroc/items/b9afd914432da08dafc8) --- ## 形態素解析  --- ## 形態素解析のポイント - 辞書次第 - 新しい単語 - 7月クールのドラマタイトルなどは出ない --- # 意味ネットワーク分析 - 弊社事例のご紹介 --- # 調査概要 * 購入意向や好感度、ブランドイメージの変化に影響した要素を俯瞰する目的で実施 * 回収300サンプル前後 * 対象者条件（性別・年齢含む）は、商品に合わせて変動 --- # 質問の構成 * 視聴前→視聴後の態度変容 * ブランド好感度、購入意向、イメージ * CM要素の評価 * タレント好感度・ふさわしさ、キャッチコピーふさわしさ、音楽好感度 * CMについて記憶に残ったこととそこからの印象 * 記憶に残ったこと　→その印象　の自由回答 * 4組まで記入…平均2組程度の回答 ---  ---  --- ## 人手がかかるのでとても大変 - 自動化したい --- ## 構造化を目指したFA回答に基づく意味ネットワーク分析手法とその自動処理化 --- ## 意味を数値化する - W2V(Word2Vec)という便利なツール - 王-男＋女＝女王 - 単語の意味がベクトル化される --- ## 自分では無理 - 作成には大量の文書が必要でまあまあ難しい - しかし、学習済みのデータを公開している人がいる - 学術用途ではより精度の高いデータも公開されている - 朝日新聞MediaLab - ホットリンク（SNSデータを使っており強い） --- ## コーディング作業の自動化 - FA回答に出てきた単語について、類似した意味を持つ単語をよしなにクラスタリング - 大体似た意味を持つ単語を持つFA回答が分類できる --- ## クラスタリング - scikit-learn - さまざまな分類・回帰・クラスタリングアルゴリズムを備える機械学習ライブラリ - 今回はk平均法を利用して形態素をクラスタリングし、タグとして扱う --- - CRtest出力例 - Google スプレッドシート --- ## 次回からの進め方 - 技術勉強会に名称を変更したい - 希望テーマと発表希望者を募集しています。 - 個人的には Excel Javascript APIをテーマ？ - [Excel JavaScript API を使用した基本的なプログラミングの概念 - Office Add-ins | Microsoft Docs](https://docs.microsoft.com/ja-jp/office/dev/add-ins/excel/excel-add-ins-core-concepts) --- ### ご清聴ありがとうございます。 :sheep: 株）アンド・ディ　佐藤哲也 tetsuyas@and-d.co.jp