メタサイエンス

メタサイエンスあるいはメタ研究、meta-researchは、科学そのものを研究するために科学的方法論を用いることである。メタサイエンスは、科学研究の質を向上させつつ非効率性を削減することを目的としている。また「研究の研究research on research」や「科学の科学science of science」とも呼ばれ、研究方法を用いて研究の進め方を分析し、改善すべき点を特定するものである。メタサイエンスはすべての研究分野を対象とし、「科学の鳥瞰図」と表現されることがある^[1]。ジョン・P・A・ヨアニディスは次のように述べている。「科学は人類にとって最も素晴らしいものであるが、より良い方法があるはずである。」^[2]

1966年、初期のメタ研究論文は、10の主要な医学雑誌に発表された295件の論文の統計的手法を分析した^[3]。その結果、「読まれた報告のほぼ73％において、結論が導き出された際、その結論の根拠が不適切であった」と指摘された。その後の数十年間におけるメタ研究は、数多くの科学分野における研究において、方法論的な欠陥、非効率性、不適切な実践が数多く存在することを明らかにした。多くの科学研究は再現不可能であり、特に医学や社会科学分野で顕著であった。この問題への認識が高まる中で、2010年代初頭に「再現性の危機」という用語が提唱された^[4]。

メタサイエンスによって浮き彫りになった問題に対処するため、以下の措置が実施されている。これらの措置には、科学的研究や臨床試験の事前登録、およびCONSORTやEQUATORネットワークのような組織の設立が含まれる。これらの組織は、方法論や報告に関するガイドラインを発行している。統計の誤用を減らすこと、学術界における不適切なインセンティブを排除すること、査読プロセスを改善すること、学術出版システムに関するデータを体系的に収集すること^[5]、科学文献におけるバイアスを是正すること、および科学プロセスの全体的な品質と効率を向上させるための継続的な努力が行われている。このように、メタサイエンスはオープンサイエンス運動の基盤となる方法論の重要な要素である。

1966年に発表された初期のメタ研究論文は、10の主要な医学雑誌に発表された295件の論文の統計的手法を分析した。その論文は、「読まれた報告のほぼ73％において、結論が導き出された際、その結論の根拠が不適切であった」と指摘していた^[7]。1976年の論文では、メタ研究への資金提供を呼びかけていた： 「研究に関する研究、特に前向きの研究の性質上、長期間を要するため、独立した高度な専門性を有するグループを設立し、十分な長期的な支援を受けて、科学的発見の性質に関する後向きおよび前向きの研究を実施し支援することを推奨する。」^[8]2005年、ジョン・P・A・ヨアニディスは「Why Most Published Research Findings Are False」というタイトルの論文を発表し、医療分野の論文の過半数が誤った結論を導き出していると主張した^[9]。この論文は、パブリック・ライブラリー・オブ・サイエンスで最もダウンロードされた論文となり^[10][11]、メタサイエンスの分野の基礎を築いたものとされている^[12]。ジョン・P・A・ヨアニディスは、ジェレミー・ハウイックとデスピナ・コレツィとの関連研究で、医療介入の少数しか、GRADEアプローチに基づく『高品質』のエビデンスによって支持されていないことを示した^[13]。後のメタ研究は、心理学や医学を含む多くの科学分野で結果の再現性が広く困難であることを見出した。この問題は「再現性の危機」と称された。メタサイエンスは、再現性の危機と研究における無駄への懸念に対する反応として発展した^[14]。

多くの主要な出版社はメタ研究に興味を示し、出版物の品質向上に努めている。サイエンス、ランセット、ネイチャーなどの主要な学術誌は、メタ研究と再現性の問題に関する継続的な報道を行っている^[15]。2012年にPLOS ONEは「再現性イニシアチブ」を立ち上げた。2015年にはBioMed Centralが4つの雑誌に対して「報告の最低基準チェックリスト」を導入した。

メタ研究の広範な分野における最初の国際会議は、2015年にエディンバラで開催された「Research Waste/EQUATOR」会議であった。査読に関する最初の国際会議は、1989年に開催された「Peer Review Congress」であった^[16]。2016年に「Research Integrity and Peer Review」が設立された。同誌の創刊編集後記では、「査読、研究報告、研究と出版の倫理に関する問題への理解を深め、潜在的な解決策を提示する研究」を呼びかけていた^[17]。

メタサイエンスは、主に5つの主要な分野に分類される：方法論、報告、再現性、評価、およびインセンティブ。これらはそれぞれ、研究を実施する方法、研究結果を伝える方法、研究の再現性を確認する方法、研究を評価する方法、および研究を報奨する方法に対応している^[18]。

メタサイエンスは、研究における偏り、不適切な研究設計、統計の濫用など、不適切な研究実践を特定し、これらの実践を軽減する方法を模索することを目的としている^[19]。メタ研究は、科学文献において数多くの偏りを特定してきた^[20]。特に注目すべきは、P値の濫用と統計的有意性の濫用が広く行われている点である^[21][22]。

科学データサイエンスは、データサイエンスを研究論文の分析に適用する分野である。定性的手法と定量的手法の両方を包含している。科学データサイエンスの研究には、不正検出^[23]と引用ネットワーク分析^[24]が含まれる。

ジャーナロロジー（出版科学）は、学術出版プロセスのあらゆる側面を学術的に研究する分野である^[25][26]。この分野は、学術出版においてエビデンスに基づく実践を導入することで、学術研究の質を向上させることを目的としている^[27]。「ジャーナロロジー」という用語は、ブリティッシュ・メディカル・ジャーナルの元編集長であるスティーブン・ロックによって考案された。1989年にイリノイ州シカゴで開催された第1回ピアレビュー会議は、ジャーナロロジーを独立した分野として確立する上で画期的な瞬間とされている^[28]。ジャーナロロジーの分野は、科学における研究の事前登録を推進する上で重要な役割を果たしてきた。特に臨床試験における事前登録は、現在ほとんどの国で期待されるようになっている^[29]。

メタ研究は、特に社会科学と健康科学の分野において、研究の報告、説明、普及、一般化に関する不適切な実践を指摘している。不適切な報告は、科学的研究の結果を正確に解釈すること、研究を再現すること、および著者の偏りや利益相反を特定することを困難にする。解決策には、報告基準の施行や科学的研究における透明性の向上（利益相反の開示に関するより厳格な要件を含む）が含まれる。CONSORTやより大規模なEQUATORネットワークなどの報告機関によるガイドラインの策定を通じて、データと方法論の報告を標準化しようとする試みが行われている^[30]。

再現性の危機は、多くの科学的研究が再現困難または不可能であることが判明した継続的な方法論的危機である^[31][32]。この危機の根源は20世紀中盤から後半のメタ研究にあるが、「再現性の危機」という用語は、問題への認識が高まる中で2010年代初頭に^[33]初めて提唱された^[34]。再現性の危機は、心理学（特に社会心理学）と医学^[35][36]（がん研究を含む^[37][38]）において特に詳しく研究されてきた。再現性は科学的なプロセスにおける不可欠な要素であり、再現性の広範な失敗は、影響を受ける分野の信頼性を疑問視する要因となっている^[39]。

さらに、研究の再現（または再現不能）は、オリジナル研究に比べて影響力が低いとされ、多くの分野で発表される可能性が低い。これにより、研究の報告や、ひいては再現を試みる行為自体が抑制される傾向にある^[40][41]。

メタサイエンスは、査読の科学的基盤を確立することを目的としている。メタ研究は、事前ピアレビュー、事後ピアレビュー、オープンピアレビューを含む査読システムを評価する。また、より良い研究資金配分基準の開発を目指している^[42]。

メタサイエンスは、より良いインセンティブシステムを通じてより良い研究を促進することを目的としている。これには、研究のランキングや評価、およびそれらを行う研究者に対する異なるアプローチの正確性、効果、コスト、および利益を研究することが含まれる^[43]。批判者は、歪んだインセンティブが学術界に「出版か死か」という環境を生み出し、ジャンクサイエンス、低品質な研究、および偽陽性の生産を促進していると主張している^[44][45]。ブライアン・ノセックは次のように述べている。「私たちが直面する問題は、インセンティブシステムがほぼ完全に研究の発表に焦点を当てており、研究の正確性にはほとんど注目していない点である。」 ^[46] 改革を支持する人々は、インセンティブシステムを再構築し、より高品質な結果を重視するように求めている^[47]。例えば、品質を「指標のみ（または主に）ではなく、物語的な専門家評価」に基づいて判断し、機関の評価基準、透明性の確保、および専門的な基準を重視する仕組みを提案している^[48]。

研究では、科学出版管理システム向けに機械可読な基準と（バッジの分類体系）を提案し、貢献度（誰がどのような研究作業にどの程度貢献したか）に焦点を当てたシステムを提唱している。これは、従来の「著者」という概念（出版物の作成に何らかの形で関与した人）に依存するのではなく、より詳細な貢献度を評価するものである^{[49][50][51][52]}。ある研究は、貢献の微妙な差異の無視が続くことに関連する問題の一つを指摘した。その研究では、「著者リストの延長(1つの論文あたりの共著者数の増加)、従来よりも少ない文章量の論文、出版数の急増により、出版物の数はもはや適切な指標ではなくなった」と指摘されている^[53]。

雑誌社に投稿された論文原稿の内容以外の要因が、査読の評価に重大な影響を与えることがある^[54]。これらの要因には、研究者の過去の出版物の信頼性に関する記録の活用や、公共の利益との整合性など、重要な要素も含まれる場合がある。ただし、評価システム（査読を含む）は、分析指標（引用数やアルトメトリクスなど）と比較して、現実世界へのポジティブな影響、進歩、公共の利益といった目的に向けたメカニズムや基準が大幅に欠如している可能性がある。これらの分析指標は、評価するという目的の 部分指標 として使用される場合でも、本質的な評価基準として機能していない場合がある^[55][56]。学術的な報酬構造の再考、具体的には、「中間成果物（例えばデータ）に対するより正式な評価を提供する」ことは、ポジティブな影響をもたらし、データの非開示を減少させる可能性がある^[57]。

あるコメンタリーによると、学術ランキングは、それぞれの研究者がどこ（国と機関）で訓練を受けたかを考慮していない^[58]。

科学計量学(サイエントメトリクス)は、科学論文における書誌データの計測を扱う分野である。主要な研究課題には、研究論文や学術誌のインパクトの測定、科学的引用の理解、そしてこれらの測定値を政策やマネジメントの文脈で活用することが含まれる^[59]。

研究によれば、「学術的成功を測るために用いられる指標（論文数、被引用数、インパクトファクターなど）は、数十年間ほとんど変化しておらず」、ある程度においては「もはや有効な指標ではなくなっている」とされている^[60][61]。その結果、「過剰生産、不必要な細分化、過剰な売り込み、ハゲタカジャーナル（掲載料を取って論文を出す雑誌）、巧妙な剽窃、さらには科学的結果を意図的に曖昧にし、それを売り込むといった問題」が生じている^[62]。

この分野における新しいツールには、「被引用ノードが引用ノードにどれほど情報を与えているか」を定量化するシステムが含まれる^[63]。 これにより、非加重の引用ネットワークを加重ネットワークに変換し、その後、出版物や著者などのさまざまな要素に対するインパクト指標を導き出すといった重要性の評価に利用できる^[64]。 また、他の用途として、検索エンジンやレコメンデーションシステムにも応用可能である。

科学研究の資金提供（サイエンスファンディング）や科学のガバナンスも、メタサイエンスを通じて検討され、知見を得ることができる。^[65]

優先順位付けなどのさまざまな介入は重要である可能性がある。

たとえば、「差別的技術開発（differential technological development）」という概念は、技術の開発順序に影響を与えることでリスク、特に地球規模の壊滅的リスクを低減することを目的として、意図的に異なる予防的速度で技術を開発することを指す。具体的には、制御技術・安全技術・政策技術などを、リスクの高いバイオテクノロジーよりも優先して開発することなどが含まれる。^[66][67]

望ましい結果を確保するために、既存の立法制度やインセンティブだけに依存することは必ずしも十分ではない場合がある。というのも、こうした制度は多くの場合、対応が遅すぎたり、適切でなかったりすることがあるからである。^[68]

メタサイエンスに基づく改革を含め、科学および関連プロセスを適切に統治するための他のインセンティブとしては、以下のようなものが挙げられる：

• 特に公的資金による研究のアクセス可能性や、公共の関心に関わる多様な研究テーマに対して真剣に取り組んでいるかどうかという点で、一般市民への説明責任を果たすこと
• 有資格で生産的な科学者の人材層の拡充
• 科学の効率性を向上させることで、より広範な問題解決能力を高めること
• 人間の生理学など、明確で科学的根拠に基づいた社会的ニーズが、適切に優先され、対応されるようにすること

このような介入、インセンティブ、そしてその設計は、メタサイエンスの研究対象となり得る。

科学賞は、科学におけるインセンティブの一形態である。 メタサイエンスは、既存の科学賞の制度や仮想的な制度を対象として検討することができる。 たとえば、メタサイエンスの研究により、ノーベル賞で顕彰された研究は、ごく少数の科学分野に偏って集中していることが明らかになっている。実際、71の科学分野のうち少なくとも1つのノーベル賞を受賞した分野は36分野にとどまっている。さらに、DC2およびDC3という科学の分類体系に基づく849の細分類のうち、114の分類がノーベル賞と関連していたが、その中でも次の5分野が1995年から2017年に授与されたノーベル賞の半数以上を占めていたことが示された：^[69][70]

• 素粒子物理学（14.0%）
• 細胞生物学（12.1%）
• 原子物理学（10.9%）
• 神経科学（10.1%）
• 分子化学（5.3%）

ある研究では、政策決定者が責任を科学に委任し、科学がその後「社会にとって信頼でき有用な知識を提供する」と期待する、中央集権的な権威に基づくトップダウン型のアプローチは、あまりにも単純化されすぎていると指摘されている。^[71]

測定の結果、バイオメディカル分野の資源配分は、疾病負担よりも、過去の資源配分や既存の研究との相関が強いことが示されている。^[72]

ある研究は、次のように示唆している：

「査読が、研究報告や研究資金の競争的選定における主要な審査手段として維持されるのであれば、科学界はその運用が恣意的なものにならないよう十分に注意を払う必要がある。」^[73]

複数の研究は、「私たちが成功をどのように測定するかを再考する必要がある」ことを示している。^[74]

助成金データベースや研究資金の謝辞欄から得られる研究資金に関する情報は、サイエントメトリクス（科学計量学）の研究におけるデータソースとなり得る。たとえば、資金資金に関する情報は、資金提供機関が科学技術の発展に与える影響を調査したり、評価したりする目的で活用される。^[75]

「科学には、グローバルな公共財としての価値を支える2つの基本的な特性がある」と主張されている。 その特性とは、

1.知識の主張とその根拠となる証拠が公開され、検証にさらされること

2.科学研究の成果が迅速かつ効率的に伝達されること

である。^[76] メタサイエンスの研究では、サイエンスコミュニケーションに関するさまざまなトピック、たとえば科学報道のメディアでの扱い、科学ジャーナリズム、科学の教育者や科学研究者によるオンラインでの成果発信などが取り上げられている。^{[77][78][79][80]} ある研究では、学術界でソーシャルメディアの利用に対して与えられている主なインセンティブは「情報拡散（amplification）」であるとされ、さらに今後は、こうしたプラットフォームが研究との「実質的な関与（real engagement）」を促進するための、より制度的な文化への転換が必要であると指摘されている。^[81] また、科学コミュニケーションには、社会的なニーズ・関心・要望を科学者に伝えるという役割も含まれる。