跳至內容

後設科學

本頁使用了標題或全文手工轉換
維基百科，自由的百科全書
實證應用系列之一
實證應用

後設科學或後設研究也被譽為「關於研究的研究」或「研究科學的科學」，是用科學方法研究科學的學科，旨在提高科學研究的品質和效率。後設科學關注所有領域，試圖改進所有的研究方法。[1]如約翰·約阿尼迪斯（John Ioannidis）所說：「科學是人類最偉大的成就……但我們還能做得更好。」[2]

1966年，一篇早期的後設研究論文考察了10份著名醫學期刊上發表的295篇論文所用的統計學方法，發現「在73%的報告中……結論所依據的理由壓根是無效的。」後設研究在接下來幾十年裡發現了許多科研方法上的缺陷、低效及不良做法。醫學和文科（軟科學）領域的許多科學研究都無法得到復現，2010年代初誕生的術語「可復現性危機」即代表了人們對這一問題的關注。[3]

後設科學揭示的問題已經有了一些應對的措施，比如對科學研究和臨床試驗實施事先登記制、成立CONSORT和EQUATOR網路等組織，發布通用的方法和報告指南。也有個人和組織一直致力於減少統計誤用、消除來自學術界的不當激勵、改善同行評審流程、系統收集學術出版系統的資料、[4]打擊科學文獻中的偏見，以提高科學過程的整體品質和效率。

歷史

約翰·約阿尼迪斯（John Ioannidis）（2005）《為什麼大多數發表的研究結論是錯誤的》[5]

1966年，一篇早期的後設研究論文考察了10份著名醫學期刊上發表的295篇論文所用的統計學方法，發現「在73%的報告中……結論所依據的理由壓根是無效的。」[6]2005年，約翰·約阿尼迪斯（John Ioannidis）發表了《為什麼大多數發表的研究結論是錯誤的》，認為醫學領域的大多數論文得出的結論都不可靠。[5]這篇論文後來成為PLOS中下載量最大的論文，[7][8]一般認為確立了後設科學這門學科。[9]在與Jeremy Howick和Despina Koletsi合作的相關研究中，約阿尼迪斯指出，只有少數醫療措施通過GRADE系統得到了「高品質」證據的支援。[10]後來的後設研究發現，在心理學和醫學在內的許多科學領域，普遍存在復現研究結果的困難，這個問題也被稱作「可復現性危機」。後設科學的發展是對可復現性危機的回應，也是對研究中浪費現象的關注。[11]

許多知名出版商都樂於後設研究和提高出版物品質。《科學》《柳葉刀》《自然》等頂級期刊都對後設研究和可復現性問題進行了持續報道。[12]2012年，PLOS ONE發起了「可復現性倡議」；2015年，現代生物出版集團在4種刊物中引入了一個最低報告標準的檢查表。

後設研究這一廣泛領域的第一次國際會議是2015年於愛丁堡舉行的Research Waste/EQUATOR會議；第一次關於同行評審的國際會議是1989年舉辦的同行評審大會。[13]2016年，《研究誠信和同行評議》創刊，開篇社論呼籲「有關同行評審、研究報告以及研究和出版道德的問題，提高我們的理解並提出潛在解決方案的研究」。[14]

後設研究的領域和主題

以「科學知識結構」為主題的後設科學，科學知識生成概念按階層的進行了示範性視覺化

後設科學主要關注5類領域：方法、報告、可復現性、評估和激勵。[1]

方法

後設科學旨在辨識不良的研究行為，如研究中的偏見、統計誤用等等，並試圖找到減少這些行為的方法。[1]後設研究已經發現了科學文獻中的許多偏見。[15]特別值得注意的是，科學研究普遍存在著對P值的誤用和對統計意義的濫用。[16]

科學資料科學

科學資料科學利用資料科學來分析已發布的論文，包含了定性研究和定量研究。科學資料科學研究包括欺詐檢測[17]和參照網路分析。[18]

期刊學

期刊學也稱出版科學，是對學術出版過程中的所有方面的學術研究。[19][20]這一領域試圖在學術出版過程中實施循證實踐，來提高學術研究的品質。[21]「期刊學」由《英國醫學雜誌》前總編輯史蒂芬·洛克（Stephen Lock）提出。1989年在伊利諾州芝加哥召開的第一屆同行評審大會標誌著期刊學成為一個獨立的領域。[21]期刊學一直試圖推動科研領域的事先登記，特別是在臨床試驗方面。現在大多數國家都要求進行臨床試驗登記。[21]

報告

後設研究發現，在研究的報告、解釋、傳播和普及方面往往存在不良做法，特別是在社會科學和健康科學領域尤為嚴重。不良的報告使人們難以準確解釋科研成果、難以復現研究、難以辨識作者可能存在的偏見和利益立場。常用的解決措施如實施報告標準、提高科研透明度等。參照報告機構（如CONSORT和更大的EQUATOR網路）指定的指南，可以規範報告所用的資料和方法。[1]

可復現性

癌症研究中進行研究復現的障礙

可復現性危機是一種持續的方法論危機，人們發現許多科學研究難以或無法復現。[22][23]它源於20世紀中後期的後設研究，但「可復現性危機」這個術語要到2010年代初才出現[24]，反映了人們對這一問題日益增長的認識。[1]可復現性危機尤其影響到心理學（尤其是社會心理學）和醫學，[25][26]包括癌症研究。[27][28]復現是科學過程的重要組成部分，因此復現的普遍失敗會使受影響領域的可靠性遭到質疑。[29]


此外，一般都認為復現研究的影響力不如原創研究，在很多領域都難以發表。這大大阻礙了對研究的報到，甚至阻礙了對研究進行復現的嘗試。[30][31]

評價與激勵

後設科學試圖為同行評審建立一個完整的科學基礎。後設研究會對同行評審系統進行評估，包括發表前後及公開的同行評審。它也試圖找到更好的研究資助標準。[1]

後設科學試圖通過更好的激勵系統促進研究的進步，如探索對研究工作和研究人員進行排名和評估的不同方法的準確性、有效性、成本及效益。[1]批評者認為，不正當的激勵措施給學術界塑造了「不發文章就會死」的環境，催生了大批垃圾科學、低品質研究和虛假結果。[32][33]比如，Brian Nosek認為，「我們面臨的問題是，激勵制度幾乎完全集中在『讓研究發表』上，而不是『讓研究正確、可信』。」[34]支援改革者試圖構建激勵體系，以提高科研結果的品質。[35]例如，根據專家的敘述性評價（「而不是[僅僅或主要]靠各種指數」）、機構評價標準、保證透明度和專業標準來評判品質。[36]

貢獻度

研究提出了機器可讀的標準和（一種）用於科學出版管理系統的數字徽章，其側重於貢獻者的身分：誰對研究勞動做出了什麼樣的貢獻和多少貢獻，而傳統學術署名則強調誰以任何方式參與了出版物的創作。[37][38][39][40]一項研究指出了與持續忽視貢獻度有關的問題：「由於作者名單越來越長，論文卻越來越短，發表數量還在激增，所以出版物數量已經不再是一個好的衡量標準。」[41]

評估因素

除了文章本身的優點外，其他因素也會大大影響同行評審員的評價。[42]但這些因素也可能很重要，例如使用關於研究者先前出版物的真實性，及其與公共利益一致性的記錄。然而，同行評審等現行評價體系可能在很大程度上缺乏合理的機制和標準，它們多以參照數、Altmetric等為指標。這些資料確實可以反映文章的影響力，但沒有考慮對現實世界的積極影響、進步性和公共享途。[43][44]反思學術激勵機制的結論是，「為資料等中間產品提供更正式的認可」可能會產生可觀的積極影響。[45]

對培訓的認可度

有評論指出，學術排名並不考慮各自的研究者在哪裡（國家或研究機構）接受培訓。[46]

科學計量學

科學計量學關注科學出版物中文獻資料的測量。主要的研究問題包括對研究論文和學術期刊影響力的測量、對科學引文的理解，以及在已知的政策和管理背景下應用測量方法。[47]研究表明，「用于衡量學術成功度的指標，如出版物數量、引文數量和影響因子之類，幾十年來都沒有變化」，而且在某種程度上「不再是」好的衡量標準，[41]導致了諸如「生產過剩、非必要碎片化、過度銷售、掠奪性期刊、巧妙剽竊、故意混淆科學成果」等等亂象。[48]

這一領域的新工具有量化被引節點對引文節點的影響程度的系統。[49]這可用於將未加權的引文網路轉換為加權網路，並用於重要性評估，得出「對所涉的各種實體（如出版物、作者等）的影響度量」[50]，並用於搜尋引擎和推薦系統等工具。

科學管理

參見：科學政策和科學政策科學

科學資助和科學管理也可以通過後設科學得到探索和了解。[51]

激勵措施

另見

參考文獻

  1. ^ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Ioannidis, John P. A.; Fanelli, Daniele; Dunne, Debbie Drake; Goodman, Steven N. Meta-research: Evaluation and Improvement of Research Methods and Practices. PLOS Biology. 2015-10-02, 13 (10): e1002264. ISSN 1544-9173. PMC 4592065 可免費查閱. PMID 26431313. doi:10.1371/journal.pbio.1002264. 
  2. ^ Bach, Becky. On communicating science and uncertainty: A podcast with John Ioannidis. Scope. 2015-12-08 [2019-05-20]. （原始內容存檔於2021-11-08）. 
  3. ^ Pashler, Harold; Harris, Christine R. Is the Replicability Crisis Overblown? Three Arguments Examined. Perspectives on Psychological Science. 2012, 7 (6): 531–536 [2023-04-12]. ISSN 1745-6916. PMID 26168109. S2CID 1342421. doi:10.1177/1745691612463401. （原始內容存檔於2023-06-21） （英語）. 
  4. ^ Nishikawa-Pacher, Andreas; Heck, Tamara; Schoch, Kerstin. Open Editors: A dataset of scholarly journals' editorial board positions. Research Evaluation. 2022-10-04. ISSN 0958-2029. doi:10.1093/reseval/rvac037 可免費查閱. eISSN 1471-5449. 
  5. ^ 5.0 5.1 Ioannidis, JP. Why most published research findings are false.. PLOS Medicine. 2005-08, 2 (8): e124. PMC 1182327 可免費查閱. PMID 16060722. doi:10.1371/journal.pmed.0020124. 
  6. ^ Schor, Stanley. Statistical Evaluation of Medical Journal Manuscripts. JAMA: The Journal of the American Medical Association. 1966, 195 (13): 1123–1128. ISSN 0098-7484. PMID 5952081. doi:10.1001/jama.1966.03100130097026. 
  7. ^ Highly Cited Researchers. [2015-09-17]. （原始內容存檔於2012-04-02）. 
  8. ^ Medicine - Stanford Prevention Research Center. （頁面存檔備份，存於網際網路檔案館） John P.A. Ioannidis
  9. ^ Robert Lee Hotz. Most Science Studies Appear to Be Tainted By Sloppy Analysis. Wall Street Journal (Dow Jones & Company). 2007-09-14 [2016-12-05]. （原始內容存檔於2016-12-24）. 
  10. ^ Howick J, Koletsi D, Pandis N, Fleming PS, Loef M, Walach H, Schmidt S, Ioannidis JA. The quality of evidence for medical interventions does not improve or worsen: a metaepidemiological study of Cochrane reviews. Journal of Clinical Epidemiology 2020;126:154-159 [1] （頁面存檔備份，存於網際網路檔案館）
  11. ^ Researching the researchers. Nature Genetics. 2014, 46 (5): 417. ISSN 1061-4036. PMID 24769715. doi:10.1038/ng.2972 可免費查閱. 
  12. ^ Enserink, Martin. Research on research. Science. 2018, 361 (6408): 1178–1179. Bibcode:2018Sci...361.1178E. ISSN 0036-8075. PMID 30237336. S2CID 206626417. doi:10.1126/science.361.6408.1178. 
  13. ^ Rennie, Drummond. Editorial Peer Review in Biomedical Publication. JAMA. 1990, 263 (10): 1317–1441. ISSN 0098-7484. PMID 2304208. doi:10.1001/jama.1990.03440100011001. 
  14. ^ Harriman, Stephanie L.; Kowalczuk, Maria K.; Simera, Iveta; Wager, Elizabeth. A new forum for research on research integrity and peer review. Research Integrity and Peer Review. 2016, 1 (1): 5. ISSN 2058-8615. PMC 5794038 可免費查閱. PMID 29451544. doi:10.1186/s41073-016-0010-y. 
  15. ^ Fanelli, Daniele; Costas, Rodrigo; Ioannidis, John P. A. Meta-assessment of bias in science. Proceedings of the National Academy of Sciences of the United States of America. 2017, 114 (14): 3714–3719. Bibcode:2017PNAS..114.3714F. ISSN 1091-6490. PMC 5389310 可免費查閱. PMID 28320937. doi:10.1073/pnas.1618569114 可免費查閱. 
  16. ^ Check Hayden, Erika. Weak statistical standards implicated in scientific irreproducibility. Nature. 2013 [9 May 2019]. S2CID 211729036. doi:10.1038/nature.2013.14131. （原始內容存檔於2021-04-21） （英語）. 
  17. ^ Markowitz, David M.; Hancock, Jeffrey T. Linguistic obfuscation in fraudulent science. Journal of Language and Social Psychology. 2016, 35 (4): 435–445. S2CID 146174471. doi:10.1177/0261927X15614605. 
  18. ^ Ding, Y. Applying weighted PageRank to author citation networks. Journal of the American Society for Information Science and Technology. 2010, 62 (2): 236–245. S2CID 3752804. arXiv:1102.1760 可免費查閱. doi:10.1002/asi.21452. 
  19. ^ Galipeau, James; Moher, David; Campbell, Craig; Hendry, Paul; Cameron, D. William; Palepu, Anita; Hébert, Paul C. A systematic review highlights a knowledge gap regarding the effectiveness of health-related training programs in journalology. Journal of Clinical Epidemiology. 2015-03, 68 (3): 257–265. PMID 25510373. doi:10.1016/j.jclinepi.2014.09.024 可免費查閱 （英語）. 
  20. ^ Wilson, Mitch; Moher, David. The Changing Landscape of Journalology in Medicine. Seminars in Nuclear Medicine. 2019-03, 49 (2): 105–114. PMID 30819390. S2CID 73471103. doi:10.1053/j.semnuclmed.2018.11.009. hdl:10393/38493 可免費查閱 （英語）. 
  21. ^ 21.0 21.1 21.2 Couzin-Frankel, Jennifer. 'Journalologists' use scientific methods to study academic publishing. Is their work improving science?. Science. 2018-09-18. S2CID 115360831. doi:10.1126/science.aav4758. 
  22. ^ Schooler, J. W. Metascience could rescue the 'replication crisis'. Nature. 2014, 515 (7525): 9. Bibcode:2014Natur.515....9S. PMID 25373639. doi:10.1038/515009a 可免費查閱. 
  23. ^ Smith, Noah. Why 'Statistical Significance' Is Often Insignificant. Bloomberg.com. 2017-11-02 [2017-11-07]. （原始內容存檔於2020-04-23）. 
  24. ^ Pashler, Harold; Wagenmakers, Eric Jan. Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?. Perspectives on Psychological Science. 2012, 7 (6): 528–530. PMID 26168108. S2CID 26361121. doi:10.1177/1745691612465253. 
  25. ^ Gary Marcus. The Crisis in Social Psychology That Isn't. The New Yorker. 2013-05-01 [2023-04-12]. （原始內容存檔於2018-07-07）. 
  26. ^ Jonah Lehrer. The Truth Wears Off. The New Yorker. 2010-12-13 [2023-04-12]. （原始內容存檔於2019-12-20）. 
  27. ^ Dozens of major cancer studies can't be replicated. Science News. 2021-12-07 [2022-01-19]. （原始內容存檔於2023-03-21）. 
  28. ^ Reproducibility Project: Cancer Biology. www.cos.io. Center for Open Science. [2022-01-19]. （原始內容存檔於2023-03-28） （英語）. 
  29. ^ Staddon, John (2017) Scientific Method: How science works, fails to work or pretends to work. Taylor and Francis.
  30. ^ Yeung, Andy W. K. Do Neuroscience Journals Accept Replications? A Survey of Literature. Frontiers in Human Neuroscience. 2017, 11: 468. ISSN 1662-5161. PMC 5611708 可免費查閱. PMID 28979201. doi:10.3389/fnhum.2017.00468 可免費查閱 （英語）. 
  31. ^ Martin, G. N.; Clarke, Richard M. Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices. Frontiers in Psychology. 2017, 8: 523. ISSN 1664-1078. PMC 5387793 可免費查閱. PMID 28443044. doi:10.3389/fpsyg.2017.00523 可免費查閱 （英語）. 
  32. ^ Binswanger, Mathias. How Nonsense Became Excellence: Forcing Professors to Publish. Welpe, Isabell M.; Wollersheim, Jutta; Ringelhan, Stefanie; Osterloh, Margit (編). Incentives and Performance. Incentives and Performance: Governance of Research Organizations (Springer International Publishing). 2015: 19–32. ISBN 978-3319097855. S2CID 110698382. doi:10.1007/978-3-319-09785-5_2 （英語）. 
  33. ^ Edwards, Marc A.; Roy, Siddhartha. Academic Research in the 21st Century: Maintaining Scientific Integrity in a Climate of Perverse Incentives and Hypercompetition. Environmental Engineering Science. 2016-09-22, 34 (1): 51–61. PMC 5206685 可免費查閱. PMID 28115824. doi:10.1089/ees.2016.0223. 
  34. ^ Brookshire, Bethany. Blame bad incentives for bad science. Science News. 2016-10-21 [2019-07-11]. （原始內容存檔於2019-07-11） （英語）. 
  35. ^ Smaldino, Paul E.; McElreath, Richard. The natural selection of bad science. Royal Society Open Science. 2016, 3 (9): 160384. Bibcode:2016RSOS....360384S. PMC 5043322 可免費查閱. PMID 27703703. arXiv:1605.09511 可免費查閱. doi:10.1098/rsos.160384 （英語）. 
  36. ^ Chapman, Colin A.; Bicca-Marques, Júlio César; Calvignac-Spencer, Sébastien; Fan, Pengfei; Fashing, Peter J.; Gogarten, Jan; Guo, Songtao; Hemingway, Claire A.; Leendertz, Fabian; Li, Baoguo; Matsuda, Ikki; Hou, Rong; Serio-Silva, Juan Carlos; Chr. Stenseth, Nils. Games academics play and their consequences: how authorship, h -index and journal impact factors are shaping the future of academia. Proceedings of the Royal Society B: Biological Sciences. 4 December 2019, 286 (1916): 20192047. ISSN 0962-8452. PMID 31797732. S2CID 208605640. doi:10.1098/rspb.2019.2047 （英語）. 
  37. ^ Holcombe, Alex O. Contributorship, Not Authorship: Use CRediT to Indicate Who Did What. Publications. September 2019, 7 (3): 48. doi:10.3390/publications7030048 可免費查閱 （英語）. 
  38. ^ McNutt, Marcia K.; Bradford, Monica; Drazen, Jeffrey M.; Hanson, Brooks; Howard, Bob; Jamieson, Kathleen Hall; Kiermer, Véronique; Marcus, Emilie; Pope, Barbara Kline; Schekman, Randy; Swaminathan, Sowmya; Stang, Peter J.; Verma, Inder M. Transparency in authors' contributions and responsibilities to promote integrity in scientific publication. Proceedings of the National Academy of Sciences. 13 March 2018, 115 (11): 2557–2560. Bibcode:2018PNAS..115.2557M. ISSN 0027-8424. PMC 5856527 可免費查閱. PMID 29487213. doi:10.1073/pnas.1715374115 可免費查閱 （英語）. 
  39. ^ Brand, Amy; Allen, Liz; Altman, Micah; Hlava, Marjorie; Scott, Jo. Beyond authorship: attribution, contribution, collaboration, and credit. Learned Publishing. 1 April 2015, 28 (2): 151–155. S2CID 45167271. doi:10.1087/20150211. 
  40. ^ Singh Chawla, Dalmeet. Digital badges aim to clear up politics of authorship. Nature. October 2015, 526 (7571): 145–146. Bibcode:2015Natur.526..145S. ISSN 1476-4687. PMID 26432249. S2CID 256770827. doi:10.1038/526145a （英語）. 
  41. ^ 41.0 41.1 Fire, Michael; Guestrin, Carlos. Over-optimization of academic publishing metrics: observing Goodhart's Law in action. GigaScience. 1 June 2019, 8 (6): giz053. PMC 6541803 可免費查閱. PMID 31144712. doi:10.1093/gigascience/giz053. 
  42. ^ Elson, Malte; Huff, Markus; Utz, Sonja. Metascience on Peer Review: Testing the Effects of a Study's Originality and Statistical Significance in a Field Experiment. Advances in Methods and Practices in Psychological Science. 2020-03-01, 3 (1): 53–65 [2023-04-12]. ISSN 2515-2459. S2CID 212778011. doi:10.1177/2515245919895419. （原始內容存檔於2021-04-26） （英語）. 
  43. ^ McLean, Robert K D; Sen, Kunal. Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation. 2019-04-01, 28 (2): 123–135. doi:10.1093/reseval/rvy026. 
  44. ^ Bringing Rigor to Relevant Questions: How Social Science Research Can Improve Youth Outcomes in the Real World (PDF). [2021-11-22]. （原始內容 (PDF)存檔於2021-07-02）. 
  45. ^ Fecher, Benedikt; Friesike, Sascha; Hebing, Marcel; Linek, Stephanie. A reputation economy: how individual reward considerations trump systemic arguments for open access to data. Palgrave Communications. 2017-06-20, 3 (1): 1–10. ISSN 2055-1045. S2CID 34449408. doi:10.1057/palcomms.2017.51 （英語）. 
  46. ^ La Porta, Caterina AM; Zapperi, Stefano. America's top universities reap the benefit of Italian-trained scientists. Nature Italy. 1 December 2022 [2022-12-18]. S2CID 254331807. doi:10.1038/d43978-022-00163-5. （原始內容存檔於2023-06-07） （英語）. 
  47. ^ Leydesdorff, L. and Milojevic, S., "Scientometrics" arXiv:1208.4566 （頁面存檔備份，存於網際網路檔案館） (2013), forthcoming in: Lynch, M. (editor), International Encyclopedia of Social and Behavioral Sciences subsection 85030. (2015)
  48. ^ Singh, Navinder. Plea to publish less. 2021-10-08. arXiv:2201.07985 可免費查閱 [physics.soc-ph]. 
  49. ^ Manchanda, Saurav; Karypis, George. Evaluating Scholarly Impact: Towards Content-Aware Bibliometrics. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (Association for Computational Linguistics). 2021-11: 6041–6053. S2CID 243865632. doi:10.18653/v1/2021.emnlp-main.488. 
  50. ^ Manchanda, Saurav; Karypis, George. Importance Assessment in Scholarly Networks (PDF). [2023-04-12]. （原始內容存檔 (PDF)於2023-06-21）. 
  51. ^ Nielsen, Kristian H. Science and public policy. Metascience. 2021-03-01, 30 (1): 79–81. ISSN 1467-9981. PMC 7605730 可免費查閱. S2CID 226237994. doi:10.1007/s11016-020-00581-5 （英語）. 

閱讀更多

外部連結

期刊

會議

取自「https://zh.wikipedia.org/w/index.php?title=元科学&oldid=79968789」