BERT応用勉強会に参加しました
「BERT応用勉強会」に参加したので(オンライン)、まとめました。
間違っている箇所がある場合、指摘いただけると助かります。
目次
どんなイベント？
近年NLPの領域で発展を遂げているBERTモデル。 今回はそのBERTモデルの応用をテーマにした勉強会を開催します。 特定のドメインでの活用事例やフロントエンドでの利用例などをLT形式で発表します。
nlpaper-challenge.connpass.com
今回は5名のLTから構成されていました。
LT
医療言語処理へのBERTの応用
- 医療における言語処理について
- BERT登場までの経緯
- 医療言語処理はAfter BERT?
- 技術自体はAfter BERT
- より現場に近い研究への流入は始まったばかり
- ロジスティック回帰等が現在も多い
- 医療分野にも少しづつ波が来てる
- 医療分野のBERT
- BioBERT
- 事前学習済みBERTを更に訓練させたもの
- ClinicalBERT
- 匿名化ICU診療記録で事前学習
- EhrBERT
- 診療記録50万～100万件でさらに学習
- BioBERT
- 何が出来るようになったか？
- BioBERT×医学論文
- 固有表現抽出+病名正規化:NCBI disease corpus
- 質問応答:PubMedQA
- 要約+マルチモーダル:FigSum
- ClinicalBERT×診療記録
- 文書記録
- 固有表現抽出+関係抽出
- 含意関係認識:MedNLI(2つの医学的記述の含意関係)
- BioBERT×医学論文
- BERTの非言語処理医療データへの応用
- BeHRt:
- 受信時の診断と年齢を[SEP]で区切る
- 疾患のembeddingを得られる
- TAPER:患者
- 入院そのものをベクトル化
- BeHRt:
- 日本語でのドメイン特化型BERTも登場
Multilingual BERTの二言語領域適応に基づく対訳文同定
- 機械翻訳に関する研究
- 背景
- 2019/10/25 BERTがGoogle検索導入
- 研究
- BERTを用いることで、特許文書から対訳文を同定
- データ
- 日英対訳特許文書240件
- fine-tuning用:文対応手法によるスコア順にセグメント対を並べて、閾値以上が訓練用、それ以外は検証用
- セグメント対は複数対複数になりうる
- 訓練手順
- 二言語領域対応
- 領域適応の必要性
- 事前訓練済みBERTの訓練データ:Wikipedia
- 特許データの特徴が異なるので、適応させる必要がある
- M-BERTのMasked Language Modelを再訓練して領域適応
- 領域適応の必要性
- fine-tuningによる対訳分類器作成
- タスク:Quora Question Pairs(QQP)
- 入力した二文(日本語と英語)が同一の意味か否かを判定
- タスク:Quora Question Pairs(QQP)
- 二言語領域対応
- 背景
BERTのMulti Modalタスクへの活用
t.co
- マルチモーダルタスク(Vision&LAnguage)へのBERTについての紹介
- MultiModal
- 複数のモダリティ(テキスト、画像、音声等)を組み合わせて扱うこと
- 単一のモダリティでタスクを解くよりも性能が良くなることが期待される
- MultiModalで解きたいタスク例
- 画像と言語の関連付けを上手くしないといけない
- Visual question answering
- 画像を質問文を合わせたタスク
- Visual commonsense reasoning
- Referring expression comprehension
- Cross modal retrieval
- MultiModalタスクへのBERT
- ViLBERT
- BERTのSelf-Attention Layerの代わりにCo-Attention Layerを導入
- Multi-Modal向け事前学習タスクの導入
- Masked Multi-Modal Learning
- Multi-Modal Allignment Prediction
- 事前学習したモデルをfine-tuning
- LXMERT
- モデル毎のTransformer EncoderとModalityを統合する
- 5種の事前学習タスク
- Masked Cross-Modality LM
- Masked Object Prediction/ROI-Feature Regression
- Masked Object Prediction/Detected-label classification
- Cross-Modality Matching
- Image Question Answering
- VL-BERT
- ImageとTextを分離せず同じTransformerで扱う
- Image featureの生成に工夫
- Unicoder-VL
- VL-BERTに似てる
- UNITER
- ImageとTextを同じTransformerに投入
- 4種の事前学習タスクを用いる
- Masked Language Modeling
- Image-Text Matching
- Word-Region Alignment
- Masked Region Modeling
- ViLBERT
- MultiModal
BERTをブラウザで動かしたい ―MobileBERTとTensorFlow.js―
t.co
- TensorFlow.jsのMobileBERT Q&Aモデルの紹介
- MobileBERT Q&Aモデルのデモ
- MobileBERT Q&Aモデル実用例(アプリケーション)
- ブラウザのページ内検索に質問の入力が出来る
- ただし、常に上手くいくわけではない
- MobileBERTの中身について
- モバイル端末向けに汎用性、精度を維持して軽量化・高速化を行ったBERT
- BERT BASEの4倍高速
- BERT Largeからの蒸留を採用
テキスト生成の評価 × BERT
テキスト生成のタスクと評価指標(特にBERTを用いたもの)について
- テキスト生成のタスク
- 評価について
- 与えられるラベル文(reference)と生成した出力文(candidate)を比較
- 課題
- 意味を考えた場合や単語を考えた場合等評価の難しさがある
- 現状どうしているのか？→自動評価に加えた人手評価
- 既存指標
- 単語が一致しているかどうかを見ているものが多い(e.g. n-gram matching base)
- BLEU
- METEOR
- Word Mover's Distance
- 学習可能な評価指標(RULE)
- 表面的な違いの評価が多く、意味的な違いが取れない
- 単語が一致しているかどうかを見ているものが多い(e.g. n-gram matching base)
- BERTを用いた評価指標
- BERTScore
- BERTの出力を用いてreferenceとcandidate間の類似度を計算
- 人手評価との相関も高い
- MoverScore
- Word Mover's DistanceをBERT出力に適用
- 計算に少し時間がかかる
- BLEURT
- BERTを更にpre-trainingおよびfinetuning行う
- 人による評価値を直接予測
- 疑似データペアを大量に作って学習に使う
- BERTScore
皆様とてもわかりやすい発表をしていただき、とても有意義な時間でした。
- 主催の皆様ありがとうございました。
