昨年10月に秋田で開催されたメソドロジー研究部会で，浦野研先生と亘理陽一先生による，「英語教育研究における追試（replication）の必要性」というタイトルの発表がありました。

浦野先生のブログで公開されている資料からもわかるとおり，発表の内容はとてもすばらしく，英語教育研究の分野で（メタ分析よりも先に）追試（replication）の必要性があるということをわかりやすくお話いただきました。

この発表で主張されていた内容にはほとんど賛成なのですが，2点ほど個人的に気になっている点（というか引っかかっている点）がありますので，すでに数ヶ月経ってしまっていますが，こちらに書いておきたいと思います。

まず1点目は，亘理先生がブログでも書かれている以下の点についてです。

指導方法や対象となっている文法項目があまりにも異なり，また十分網羅されているとは言えず，こうした研究をsynthesizeしても広くぼやけたことしか言えない（のでひとつにまとめるべきではない）というのが結論です。

前半部分は，メタ分析における分類が適切ではない（もしくはそもそもの研究数が足りない）ということですが，「分類が適切ではない」もしくは「十分網羅されていない」という結論を導き出したのが，メタ分析の論文 (Norris & Ortega, 2000) の再分析によるものですから，逆説的ですが，少なくともこの論文の存在意義はあると言えるのではないかと思います。

また，「分類が適切ではない」というのであれば，同じデータを用いて，再度，moderator variable（調整変数）のコード化を行い，メタ分析をし直せばよいのです。そのため，メタ分析ではそのような再分析が可能であるように，使用した論文や詳細が示されています。（実際，亘理先生はそのように再度コード化をしています。その moderator variable を使ったメタ分析はいつ見れるのか楽しみにしているところです。）

後半部分の「広くぼやけたことしか言えない（のでまとめるべきではない）」というところも，メタ分析の目的が「これまでの先行研究の全体像を示す」ということにあるのであれば，その目的にかなったメタ分析になります。広くぼやけたことでも，先行研究を統合することによって，先行研究で不足している点や，今後の研究での課題などが見えてくるはずです。

次に2点目ですが，浦野先生が主張されていた以下の点についてです。

突き詰めると、メタ分析を行うには、独立変数と従属変数のそれぞれで統制をおこなった研究のみを対象にしないと、いわゆる「統合」にならないと主張したと言えると思っています。. . . 「どんな言語項目・規則を対象にどのような指導を行ったのか」（＝独立変数）と「学習者の知識をどのように測定したのか」（＝従属変数）にばらつきがあると、メタ分析の結果、具体的な提案には至りません（Norris & Ortega, 2000もそう）。

この主張を行うために，浦野先生は，統制された実験を行いやすい医学系のメタ分析を比較対象として挙げていました。しかし，実際，メタ分析を行うには「統制された研究のみ」を対象にする必要があるのでしょうか？— それも「目的による」でしょう。浦野先生が主張されている「メタ分析とはこういうものだ」というのは，「純粋な」メタ分析のあるべき形ですが，必ずしもそういうものだけがメタ分析というわけではありません。

『外国語教育研究ハンドブック』で印南洋先生が書かれているように，メタ分析は「先行研究での全体的な傾向や，研究間の不一致を調べる場合」（p. 227）にも用いられるべきなのです。（『教育・心理系研究のためのデータ分析入門』でも印南先生がメタ分析のわかりやすい解説をしてくれています。）

また，後半部分の「具体的な提案をする」ということについても，メタ分析の目的が「これまでの先行研究の全体像を示す」ということにあるのであれば，「具体的な提案」が目的とはならないはずです。このあたりの議論は，Borenstein et al. (2009) の Chapter 40: When Does it Make Sense to Perform a Meta-Analysis? [pdf] に解説があります。（Chapter 43: Criticism of Meta-Analysis [pdf] も参考になります。）

浦野先生と亘理先生の主張は，結局は「構成概念と操作的定義がはっきりしていないものについては，メタ分析をすべきではない」ということだと思いますが，私は上述の理由から全く逆の立場です。

目的に合ったメタ分析はどんどんしましょう。

一般的な研究論文の先行研究のレビュー（ナラティブ・レビュー）では，その論文に関連のある内容のみが取り上げられて，（紙面の都合や著者の不勉強にもよる場合もありますが）メタ分析のように包括的・系統的なレビューはできません。そのため，たとえ構成概念がごちゃ混ぜになったものであったとしても，メタ分析によって初めて先行研究の全体像や特に問題点が明らかになることも多いと言えます。また，論文著者や，浦野先生や亘理先生のような批判的な読者が，先行研究で不足している点や，今後の研究での課題を指摘することによって，その研究テーマが精緻化されていきます。

さらに，実際にメタ分析を行ってみて，メタ分析の考え方を理解することによって，1つ1つの研究結果は再現性に乏しい（特に p 値！）ということがわかれば，自分や他の研究者の行った研究結果に対する見方が変わりますし，なぜ 追試（replication）が必要かということも身をもって知ることができます。メタ分析は実際にしなくても，「メタ分析的思考」はこれからの研究者は必ず身につけるべきでしょう。

浦野先生と亘理先生のご発表内容，そして発表資料を見ただけでは，「メタ分析はすべきではない？」と思ってしまう人もいるかもしれませんので，私のような擁護派の意見もご参考にしていただき，それぞれの研究者が自分にとってメタ分析が必要かどうかを判断していただきたいと思います。