「メタ分析評価のチェックリスト」と IRIS の紹介

Posted on by

 

Luke Plonsky (Northern Arizona University)  は，応用言語学系の国際ジャーナル 掲載論文のメタ分析を行ったり，論文中で使われている統計的手法について，過去の論文の傾向を探り，報告をどのように改善すべきかなどを提案しています。いくつかの論文の基となっている，Michigan State University の Dissertation [pdf] も公開されています。

その Plonsky が，以下の本の中で，”Replication, meta-analysis, and generalizability”という章を書いており，p. 127 には，”Proposed instrument for assessing reports of L2 meta-analyses” という，「メタ分析評価のチェックリスト」が提案されています。

Plonsky, L. (2012). Replication, meta-analysis, and generalizability. In G. Porte (Ed.), Replication research in applied linguistics (pp. 116-132). Cambridge: Cambridge University Press.

このチェックリストは，これまでの研究で使用されているテストや質問紙，その他の測定道具をリポジトリの形（もちろん無料）で公開している，IRIS (A digital repository of data collection instruments for research into second language learning and teaching) でもダウンロード可能です。

 

 

IRIS で公開されている測定道具は，クリエイティブ・コモンズの中でも，引用元を明記しリンクを提供すれば，ほとんどのものがすべて複製・配布・改変することが可能なライセンス（Attribution-NonCommercial-ShareAlike）になっていますので，以下でも “Proposed instrument for assessing reports of L2 meta-analyses” を紹介しておきます。

 

Proposed instrument for assessing reports of L2 meta-analyses

0 = No; 1 = Somewhat; 2 = Yes.

Introduction/Literature review

  1.  Does the review address a focused and clearly defined question?
  2. Are all (potential) moderator variables identified a priori and explained sufficiently?
  3. Is the relevance of the study, both theoretical and practical, presented?
  4. Are potential biases of primary and secondary researchers recognized?
  5. Are the different study designs explained with respect to their potential strengths and weaknesses?
  6. Are the different types of data collection instruments used in primary research explained?

Methods

  1. Was the search for relevant primary research reasonably exhaustive?
  2. Are the inclusion/exclusion criteria sufficiently explicit and unambiguous?
  3. Was the presence of publication bias assessed?
  4. Was interrater reliability for coding measured and adequate?
  5. Was the quality of primary studies assessed?
  6. Were effect sizes from the same sample/study dealt with appropriately?
  7. Were effect sizes weighted appropriately?
  8. Were missing data dealt with appropriately?
  9. Were outliers dealt with appropriately?
  10. Are all items on the coding sheet justified and available for inspection?

Results/Discussion

  1. Are the main (i.e., summary) findings presented?
  2. Does the review add new knowledge about the constructs of interest?
  3. Are the results interpreted and contextualized appropriately?
  4. Are the findings discussed in relation to the particular theory or model(s) being tested?
  5. Are practical implications discussed?
  6. Are the findings used to provide substantive and methodological suggestions for future research?

 

ちなみにですが，Mizumoto & Takeuchi (2009) で使用した質問紙も，IRIS で公開しています。

IRISは追試（replication）や再現性ということを考えると，非常に素晴しい試みで，応用言語学の分野でもっと広がることを期待していますが，心理学では，さらに進んだ取り組みとして，データすべての公開までを求めているジャーナルもあり，最終的には，測定道具のみならず，ローデータの公開までするという方向に向かっていくのかもしれないと思っています。（分析の再現性といえば，R がいいですよね。）

Leave a Reply

Your email address will not be published. Required fields are marked *

CAPTCHA