データ分析関連のまとめ

データ分析・機械学習周りのもくもく会LTやイベント参加をまとめていきます

A Severity Score for Retinopathy of Prematurity(KDD2019 Applied Data Science Track Papers)

論文
  • A Severity Score for Retinopathy of Prematurity(KDD2019 Applied Data Science Track Papers)をざっくり読んでまとめました。
  • 解釈間違い等ある時がありますので、その場合指摘いただけると助かります。

背景と概要

  • Retinopathy of Prematurity(ROP:未熟児網膜症)は世界的に幼少期の失明の主要因となっている。
  • 早期に診断および治療を受けられれば治る事も多いが、眼科医の不足のため受けられない国もある。
  • そのため自動でROPを検出するシステムを構築する事ができれば、診断や治療を受けられる機会を増やすことが可能となる。
  • class labelとcompare labelという2つをcombineしたモデルでSeverity Scoreを算出
  • Bradley-Terry modelをつかったcompare labelの構築を行っている

Severity Score開発の事前分析結果

  • Scoreを開発する方法として、専門家が画像をベースに判断した結果を使うものがあるが、専門家間でかなり診断結果が異なる課題を抱えている。

    f:id:yhiss:20191207142159p:plain
    横軸:専門家、縦軸:画像であり色が診断結果を示している(3種類)この図から専門家毎にかなり診断結果が異なる事がわかる

  • 他方では、専門家に2枚の画像を見せて、どちらがより悪いか判断する事を全てのペア分行った結果を専門家で比較すると強い相関があることがわかっている

    f:id:yhiss:20191207143505p:plain
    専門家の診断から算出したRankをプロットした図

  • これより、この2つの要素をcombineした形でScoreの開発を行っている。

定義

以下のように定義する


 N個の画像 (i \in (1,2,...,N)とM人の専門家


 画像のラベル (e \in (1,2,...,M)

 それぞれの画像iはd次元の特徴量ベクトル \mathbf{x_i} \in \mathbb{R}^d
  • ラベルには2タイプ存在する
    • class labels:専門家による診断に対応
    • comparison labels:2つの画像を専門家が比較した場合のラベル
  • そして、ラベルセットを2つ定義

 class\ label\ set\ D_d=(i, e, y_i^e)


 y_i^e \in (-1,+1):イメージiのclass\ label



 Comparison\ label\ set\ D_c=(i, e, y_{(i,j)}^e)


 y_{(i,j)}^e \in (-1,+1):iとjを比較したときのcomparison label


 y_{(i,j)}^e =+1の場合、iの方がjよりも
症状が厳しい事を表している

f:id:yhiss:20191207160115p:plain
本論文での表記まとめ

Severity Score

Comparisonモデル

  • Bradley-Terryモデルを使ってcomparison labelが+1となる確率を表すと

 P(y_{(i,j)}^e = +1)=\frac{s_i}{s_i+s_j}\ \ \forall(i, j, e, y_{(i,j)}^e) \in D_c

(ここでの Bradley-Terry score s_i はスポーツ等においてBradley-Terryモデルで表される強さに相当する)
Bradley-Terry scoreはcommon parameter vector/model βとglobal bias bより下記のように表される。


s_i = e^{({\beta}^T \mathbf{x}_i +b)}
  • 上記の仮定より対数尤度関数は下記となる。

L_c(\mathbf{\beta} ; D_c) = \sum_{(i, j, e, y_{(i,j)}^e) \in D_c} log(1+e^{-y_{(i,j)}^e({\beta}^T(x_i - x_j))})

Class labelとComparison labelのCombine

  • class labelの対数尤度関数は以下のように表され

L_d(\mathbf{\beta} ; D_d) = \sum_{(i, e, y_i^e) \in D_d} log(1+e^{-y_i^e({\beta}^T(x_i + b))})

L_c および L_d　はロジスティック回帰の形になっている。
最終的に推定する式は正則化項を伴ったロジスティック回帰の組み合わせとなる。


\underset{\beta \in \mathbb{R}^d, b \in \mathbb{R}}{min} \alpha L_d(\beta, D_d) + (1 - \alpha) L_c (\beta, D_c) + \lambda || \beta ||_1

αおよびλ:cross vlidationで推定される係数

拡張とModelling Multiple Experts

  • 推定する式の損失関数を置き換える事でSVM等の他のアルゴリズムに拡張が可能となる
  • 専門家毎のバイアスの考慮有無により3パターンのBradley-Terry scoreが考えられる
  • Global Model

s_i = exp({\beta}^T x_i + b)
  • Global Model with Expert Bias

s_i =s_i^e= exp({\beta}^T x_i + b^e)
  • Expert Model

s_i =s_i^e= exp({\beta}_e^T x_i + b^e)

まとめ

  • class labelとcomparison labelという2つをcombineしたモデルでSeverity Scoreを算出
    • class labels:専門家による診断に対応
    • comparison labels:2つの画像を専門家が比較した場合のラベル
  • comparison labelにおいてBradley Terry モデルが使われている
  • labelはロジスティック回帰で表され、損失関数を置き換える事でSVM等に拡張可能