problendoПроблемы ЭндокринологииProblems of Endocrinology0375-96602308-1430Endocrinology Research Centre10.14341/probl12797problendo-12797Research ArticleРедакционная статьяEditorialНа пути к надлежащей статистической практике. Валидизированный вопросник CORSTAN для оценки корректности статистического анализа в медицинских исследованияхTowards Good Statistical Practice. CORSTAN Validated Questionnaire for Assessing the Correctness of Statistical Analysis in Medical Researchhttps://orcid.org/0000-0002-6733-0958РеброваО. Ю.RebrovaO. Yu.

Реброва Ольга Юрьевна, доктор медицинских наук, старший научный сотрудник

117997, Москва, ул. Островитянова, д. 1

eLibrary SPIN: 7360-3254

Olga Yu. Rebrova, PhD

1 Ostrovityanova str., Moscow, 117997

eLibrary SPIN: 7360-3254

 

o.yu.rebrova@gmail.comhttps://orcid.org/0000-0002-7730-1237ФедяеваВ. К.FediaevaV. K.

Федяева Влада Константиновна

Москва

eLibrary SPIN: 7202-4371

Vlada K. Fediaeva

Moscow

eLibrary SPIN: 7202-4371

vlada.fedyaeva@gmail.comhttps://orcid.org/0000-0003-2468-0613АксёновВ. А.AksenovV. A.

Аксёнов Валерий Алексеевич, кандидат медицинских наук

Москва

eLibrary SPIN: 1128-3353

Valeriy A. Aksenov, MD, PhD

Moscow

eLibrary SPIN: 1128-3353

v_aksenov@bk.ruРоссийский национальный исследовательский медицинский университет им. Н.И. Пирогова; Национальный медицинский исследовательский центр эндокринологии; Межрегиональная общественная организация «Общество специалистов доказательной медицины»РоссияThe Russian National Research Medical University named after N.I. Pirogov; Endocrinology Research Center; Russian Society for Evidence Based MedicineRussian FederationМежрегиональная общественная организация «Общество специалистов доказательной медицины»РоссияRussian Society for Evidence Based MedicineRussian Federation2021301220216761117Copyright © Реброва О.Ю., Федяева В.К., Аксёнов В.А., 20212021Реброва О.Ю., Федяева В.К., Аксёнов В.А.Rebrova O.Y., Fediaeva V.K., Aksenov V.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.probl-endojournals.ru/jour/article/view/12797ОБОСНОВАНИЕ

ОБОСНОВАНИЕ. В соответствии с концепцией доказательной медицины методологическое качество исследования определяется двумя его аспектами: рисками систематических ошибок и рисками некорректности анализа данных. Минимизация обоих рисков повышает внутреннюю валидность исследования. Существуют многочисленные рекомендации и руководства по проведению статистического анализа данных в медицинских исследованиях и его представлению в публикациях, однако до настоящего времени международным сообществом не был выработан какой-либо формализованный вопросник для оценки качества статистического анализа, который был бы предназначен для рецензентов.

ЦЕЛЬ

ЦЕЛЬ. Разработать инструмент формализованной оценки качества статистического анализа, представленного в научных медицинских публикациях.

МАТЕРИАЛЫ И МЕТОДЫ

МАТЕРИАЛЫ И МЕТОДЫ. Вопросник разработан на основе многолетнего опыта авторов в области статистического анализа данных и рецензирования статистических аспектов статей и диссертаций. При разработке вопросника принимались во внимание рекомендации SAMPL, документ ICH E9 и другие рекомендации. Выполнена внутренняя валидизация вопросника, заключавшаяся в проведении независимой оценки двумя экспертами 20 случайно отобранных в elibrary.ru статей о рандомизированных контролируемых испытаниях (РКИ), и дальнейшем статистическом анализе согласованности заключений экспертов.

РЕЗУЛЬТАТЫ

РЕЗУЛЬТАТЫ. Разработан вопросник CORSTAN (CORrect STatistical ANalysis), состоящий из двух частей: первая часть (10 вопросов) предназначена для оценки исследований любых дизайнов, вторая (8 вопросов) – для дополнительной оценки РКИ. Предложена стратификация риска некорректности статистического анализа. Оценка внутренней валидности вопросника показала ее высокий уровень как в отношении согласованности оценок рецензентов по каждому из вопросов, так и в отношении оценки каждой из статей как по сумме баллов, так и по уровню риска некорректности статистического анализа.

ЗАКЛЮЧЕНИЕ

ЗАКЛЮЧЕНИЕ. Использование вопросника и шкалы позволит упростить и гармонизировать статистическое рецензирование публикаций и рукописей в различных институциях – научных журналах, диссертационных советах и т.д. Вопросник также может быть полезен и авторам в процессе подготовки рукописей, он будет способствовать повышению качества не только публикаций, но и самих исследований. Мы планируем усовершенствовать вопросник по мере накопления опыта его применения.

BACKGROUND

BACKGROUND: In evidence-based medicine, the research methodology is determined by the risks of systematic biases and incorrect data analysis. Minimizing both risks increases the internal validity of the study. There are numerous recommendations and guidelines for data analysis and reporting, but the international community has not yet developed a questionnaire for reviewers to assess the quality of statistical analysis.

AIM

AIM: To develop a tool for formalized assessment of the quality of statistical analysis presented in scientific medical publications.

MATERIALS AND METHODS

MATERIALS AND METHODS: The questionnaire was developed based on the authors' decades of experience in statistical data analysis and reviewing the statistical aspects of biomedical articles and dissertations. The SAMPL guidelines, ICH E9, and other guidelines were taken into account when developing the questionnaire. Internal validation of the questionnaire was based on an independent assessment by two experts of 20 randomly selected articles on randomized controlled trials (RCTs) from elibrary.ru, and further statistical analysis of the agreement of experts' conclusions.

RESULTS

RESULTS: The CORSTAN (CORrect STatistical ANalysis) questionnaire was developed, which consists of two parts: the first part (10 questions) is intended for evaluating studies of any designs, while the second (following eight questions) is for additional assessment of RCTs. A stratification of the risk of incorrect statistical analysis is proposed. The evaluation of the questionnaire's internal validity showed its substantial and almost perfect agreement for each question and each article both in the sum of points and risk level.

CONCLUSION

CONCLUSION: The use of the questionnaire will simplify and harmonize the statistical review of publications and manuscripts in various institutions - scientific journals, dissertation boards, etc. The questionnaire can also be helpful for authors during preparing manuscripts; it will also help improve the quality of publications and research itself. We plan to improve the questionnaire as we gain experience in its application.

доказательная медицинаметодологическое качествоанализ данныхстатистический анализошибкивопросникCORSTANвалидностьevidence-based medicineresearch integritydata analysisbiostatisticsscalequestionnaireCORSTANvalidityнетNone.ReferencesРеброва О. Ю. О принципах экспертизы методологического качества оригинальных медицинских исследований // Медицинские технологии. Оценка и выбор. – 2014. - №4. – С. 15-18. ISSN: 2219-0678.Rebrova OYu. On principles of assessment of medical research methodological quality. Medical Technologies. Assessment and Choice. 2014;4:15-18 (In Russ.).Hardwicke TE, Goodman SN. How often do leading biomedical journals use statistical experts to evaluate statistical methods? The results of a survey. PLoS ONE. 2020;15(10):e0239598. DOI 10.1371/journal.pone.0239598.Hardwicke TE, Goodman SN. How often do leading biomedical journals use statistical experts to evaluate statistical methods? The results of a survey. PLoS One. 2020;15(10):e0239598. doi: https://doi.org/10.1371/journal.pone.0239598Lang T, Altman D. Basic statistical reporting for articles published in clinical medical journals: the SAMPL Guidelines. Int J Nurs Stud. 2015; 52(1):5-9. DOI 10.1016/j.ijnurstu.2014.09.006.Lang TA, Altman DG. Basic statistical reporting for articles published in Biomedical Journals: The “Statistical Analyses and Methods in the Published Literature” or the SAMPL Guidelines. Int J Nurs Stud. 2015;52(1):5-9. doi: https://doi.org/10.1016/j.ijnurstu.2014.09.006Ланг Т., Альтман Д. Основы описания статистического анализа в статьях, публикуемых в биомедицинских журналах. Руководство «Статистический анализ и методы в публикуемой литературе (САМПЛ)». Медицинские технологии. Оценка и выбор. 2014;1:11-16. ISSN: 2219-0678.Lang T, Altman D. Basic statistical reporting for articles published in clinical medical journals: the SAMPL Guidelines (Translation into Russian). Medical Technologies. Assessment and Choice. 2014;1(15):11-16. (In Russ.).Indrayan A. Reporting of Basic Statistical Methods in Biomedical Journals: Improved SAMPL Guidelines. Indian pediatrics. 2020;57:43-48. PMID: 31937697.Indrayan A. Reporting of Basic Statistical Methods in Biomedical Journals: Improved SAMPL Guidelines. Indian Pediatr. 2020;57(1):43-48. doi: https://doi.org/10.1007/s13312-020-1702-4Petrovečki M. The role of statistical reviewer in biomedical scientific journal. Biochemia Medica. 2009;19(3):223–30. DOI: 10.11613/BM.2009.020.Petrovecki M. The role of statistical reviewer in biomedical scientific journal. Biochem Medica. 2009;19(3):223-230. doi: https://doi.org/10.11613/BM.2009.020Greenwood DC, Freeman JV. How to spot a statistical problem: advice for a non-statistical reviewer. BMC Medicine. 2015;13:270. DOI 10.1186/s12916-015-0510-5.Greenwood DC, Freeman JV. How to spot a statistical problem: advice for a non-statistical reviewer. BMC Med. 2015;13(1):270. doi: https://doi.org/10.1186/s12916-015-0510-5Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics. 1977;33(1):159-174. doi: https://doi.org/10.2307/2529310Landis JR, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics. 1977;33(1):159-174. doi: https://doi.org/10.2307/2529310Hanin L. Why statistical inference from clinical trials is likely to generate false and irreproducible results. BMC Med Res Methodol. 2017;17(1):127. doi: 10.1186/s12874-017-0399-0.Hanin L. Why statistical inference from clinical trials is likely to generate false and irreproducible results. BMC Med Res Methodol. 2017;17(1):127. doi: https://doi.org/10.1186/s12874-017-0399-0Turkiewicz A, Luta G, Hughes HV, Ranstam J. Statistical mistakes and how to avoid them - lessons learned from the reproducibility crisis. Osteoarthritis Cartilage. 2018;26(11):1409-1411. doi: 10.1016/j.joca.2018.07.017.Turkiewicz A, Luta G, Hughes HV, Ranstam J. Statistical mistakes and how to avoid them — lessons learned from the reproducibility crisis. Osteoarthr Cartil. 2018;26(11):1409-1411. doi: https://doi.org/10.1016/j.joca.2018.07.017Bishop D. Rein in the four horsemen of irreproducibility. Nature. 2019;568(7753):435. doi: 10.1038/d41586-019-01307-2.Bishop D. Rein in the four horsemen of irreproducibility. Nature. 2019;568(7753):435-435. doi: https://doi.org/10.1038/d41586-019-01307-2Gosselin RD. Statistical Analysis Must Improve to Address the Reproducibility Crisis: The ACcess to Transparent Statistics (ACTS) Call to Action. Bioessays. 2020;42(1):e1900189. doi: 10.1002/bies.201900189.Gosselin R. Statistical Analysis Must Improve to Address the Reproducibility Crisis: The ACcess to Transparent Statistics (ACTS) Call to Action. BioEssays. 2020;42(1):1900189. doi: https://doi.org/10.1002/bies.201900189

The authors declare that there are no conflicts of interest present.