На пути к надлежащей статистической практике. Валидизированный вопросник CORSTAN для оценки корректности статистического анализа в медицинских исследованиях

ОБОСНОВАНИЕ

Под надлежащей статистической практикой (Good Statistical Practice, GSP) можно понимать систему (арсенал) принципов, методов и процедур для проведения методически и технически безупречного (корректного) статистического анализа результатов научного исследования и их публикации. Практическое ее использование требует от пользователя обширных знаний и навыков.

В соответствии с концепцией доказательной медицины методологическое качество исследования определяется двумя его аспектами:

• рисками систематических ошибок;
• рисками некорректности анализа данных.

Оба риска мы предложили оценивать как низкие, средние или высокие, какие бы системы оценок и шкалы при этом ни использовались, и делать на основании этих оценок совокупное заключение о методологическом качестве исследования [1].

Риск систематических ошибок оценивается по-разному для исследований разных дизайнов. Нами (Ребровой О.Ю. и соавт.) ранее были предложены переводы на русский язык ряда опросников для оценки риска систематических ошибок в исследованиях следующих дизайнов: рандомизированные контролируемые испытания (РКИ) (вопросник Кокрановского сотрудничества Risk-of-Bias), метаанализ (вопросник AMSTAR), сетевой метаанализ (вопросник ISPOR), когортные исследования и исследования «случай-контроль» (вопросник Newcastle-Ottawa), одномоментные исследования диагностических тестов (вопросник QUADAS).

В отношении статистического анализа по-прежнему отмечается существенная обеспокоенность его качеством, и за последние 20 лет в этом отношении мало что изменилось [2]. При рецензировании статей оценка статистического анализа если и выполняется, то рецензентами предметной области (subject reviewer) в рамках своих рецензий. Их знания, к сожалению, обычно совершенно недостаточны для статистического рецензирования.

Существуют рекомендации SAMPL по описанию статистического анализа в статьях [3], их перевод на русский язык [4] и более структурированная версия [5], а также многочисленные чек-листы, предназначенные как для авторов, так и для рецензентов, например [6][7], однако до настоящего времени международным сообществом не выработан какой-либо формализованный вопросник для оценки качества статистического анализа, предназначенный для рецензентов.

ЦЕЛЬ ИССЛЕДОВАНИЯ

Разработать инструмент формализованной оценки качества статистического анализа, представленного в научных медицинских публикациях.

МАТЕРИАЛЫ И МЕТОДЫ

Вопросник разработан на основе многолетнего опыта авторов в области статистического анализа данных и рецензирования статистических аспектов статей и диссертаций. При разработке данного вопросника принимались во внимание рекомендации САМПЛ [4] и документ ICH E9 Statistical principles for clinical trials¹. Черновик вопросника был ранее включен в ведомственный документ «Методические рекомендации по оценке качества статистического анализа в клинических исследованиях» (ФГБУ «ЦЭККМП» Минздрава России, 2017), однако в настоящее время объем и все пункты этого вопросника переработаны.

Валидизация вопросника выполнялась по случайно отобранным статьям. Для этого в Научной электронной библиотеке (elibrary.ru) 05-01-2021 был выполнен поиск документов по запросу «рандомизированное» с применением следующих фильтров:

• где искать: в названии публикации;
• тип публикации: статьи в журналах;
• тематика: Медицина и здравоохранение;
• параметры: искать в публикациях, имеющих полный текст на eLibrary.Ru;
• годы публикации: 2015–2020.

Получено 172 статьи, список ранжирован по умолчанию. Из них случайным образом (с применением инструмента https://www.graphpad.com/quickcalcs/randomselect1/) выбраны 20 статей.

Оценка каждой статьи проводилась независимо двумя экспертами. Далее оценивалась внутренняя валидность вопросника следующими способами:

a. согласованность ответов экспертов по каждому вопросу отдельно;

b. различия суммарных баллов двух экспертов;

c. корреляция суммарных баллов двух экспертов;

d. согласованность уровней риска некорректности статистического анализа, оцененных двумя экспертами.

Также оценивалась корреляция суммарных баллов по вопроснику с двухлетними импакт-факторами журналов в РИНЦ на год публикации оцениваемой статьи, их ассоциация с вхождением журнала в перечень Russian Science Citation Index (RSCI) и базу данных Scopus (сведения получены с веб-сайта elibrary.ru).

Для оценки согласованности заключений использовали оценку коэффициента каппа (https://www.graphpad.com/quickcalcs/kappa1/). Интерпретацию коэффициента согласия выполняли в соответствии с [8]. Описательная статистика для сумм баллов представлена медианами и квартилями. Применялись непараметрические методы — тест Вилкоксона, двусторонний точный критерий Фишера (ТКФ₂), корреляционный анализ Спирмена. Статистический анализ выполняли в ППП Statistica v. 13 (TIBCO Software Inc., США). Пороговым уровнем значимости считали 0,05.

Для оценки надежности вопросника рассчитывали коэффициент альфа Кронбаха в пакете PASW Statistics (SPSS) v.18 (IBM, США).

РЕЗУЛЬТАТЫ

В настоящей публикации мы представляем вопросник и шкалу для оценки риска некорректности статистического анализа (табл. 1). Вопросник разделен на две части: первая часть (вопросы №1–10) предназначена для исследований любых дизайнов, вторая (вопросы №11–18) — для дополнительной оценки РКИ. Допустимые ответы на вопросы — «Да» (1 балл), «Нет» (0 баллов). Ситуации неопределенности (условный ответ — «Неясно») следует консервативно трактовать как «Нет». Таким образом, минимальное количество баллов — ноль, максимальное — 18 (для РКИ) и 10 (для исследований других дизайнов).

Принято допущение, что «веса» вопросов равны, однако в дальнейшем это допущение предполагается пересмотреть.

Оценку риска некорректности предлагается стратифицировать следующим образом (табл. 2).

Вопросник назван нами CORSTAN (акроним от CORrect STatistical ANalysis).

В табл. 3 приведены результаты анализа согласованности оценок экспертов по каждому из вопросов. По двум вопросам (№ 6 и 8) расчет коэффициента каппа был невозможен, т.к. дисперсия ответов отсутствовала (все ответы обоих экспертов были «Нет»). По остальным вопросам наблюдалось существенное или отличное согласие.

Медианы и квартили сумм баллов 20 статей были следующими: у первого эксперта — 6,5 [ 4; 9,5 ], у второго эксперта — 6,5 [ 4; 9 ]. Статистически значимых различий оценок экспертов не выявлено (Р=0,343, тест Вилкоксона). Корреляция оценок является сильной (r=0,96; 95% ДИ 0,89–0,98; P<0,001, тест Спирмена).

Отличным также было согласие экспертов в отнесении статей к уровням риска (K=1). Ни одна статья не была отнесена к низкому риску, по двум остальным уровням риска статьи распределились поровну у обоих экспертов.

Не выявлена ассоциация суммарных баллов с двухлетним импакт-фактором журнала в РИНЦ, вхождением журналов в перечень RSCI (12 из 20 статей) и базу данных Scopus (10 из 20 статей). Интересно, что также не выявлена ассоциация между включенностью журналов в RSCI и Scopus (табл. 4).

Показатель надежности (альфа Кронбаха) шкалы вопросника равен 0,629.

ОБСУЖДЕНИЕ

Предложен вопросник, в котором 10 вопросов применимы для оценки исследований любых дизайнов, а 8 дополнительных вопросов — специально для оценки РКИ. Оценка внутренней валидности по 20 случайно отобранным публикациям показала ее высокий уровень как в отношении согласованности оценок рецензентов по каждому из вопросов, так и в отношении оценки каждой из статей как по сумме баллов, так и по уровню риска некорректности статистического анализа.

Следует отметить, что ни в одной статье не был определен низкий риск некорректности статистического анализа, по остальным двум уровням риска статьи распределились поровну, что свидетельствует о недостаточном качестве статистического анализа в публикуемых исследованиях. Следствием такого распределения суммарных баллов является и полученное нами невысокое значение показателя надежности шкалы. Для улучшения этого показателя требуется целенаправленное включение в анализ статей с высоким качеством статистического анализа, что было невозможно реализовать при случайном отборе статей.

Непосредственной причиной недостаточного качества статистического анализа, по нашему мнению, является отсутствие хотя бы выборочного статистического рецензирования в процессе редакционной подготовки статей к публикации. Более глубокой причиной является недостаток квалифицированных специалистов в области статистического анализа медицинских данных в отечественных исследовательских организациях и вузах.

Попытка внешней валидизации вопросника показала, что качество статистического анализа в публикациях не ассоциировано с оценкой качества журнала при формировании перечня RSCI и включения в базу данных Scopus. Такой результат оказался для нас вполне ожидаемым, однако, как мы полагаем, эту ситуацию следует менять, т.к. риск некорректности результатов статистического анализа определяет методологическое качество статей, что, в свою очередь, может приводить к смещенности результатов и быть одной из важных причин развернувшегося в последние годы кризиса воспроизводимости в биомедицине [9–12].

Надеемся, что использование вопросника и шкалы позволит упростить и гармонизировать статистическое рецензирование публикаций и рукописей в различных институциях — научных журналах, диссертационных советах и т.д. С учетом того, что статистическое рецензирование в большинстве случаев выполняется не специалистами, а рецензентами предметной области, вопросник может быть полезен и им. Конечно, непосредственное использование вопросника неспециалистами может оказаться сложным (в частности, по пунктам 3–6, 10), поэтому мы полагаем, что будет целесообразным проведение тренингов для рецензентов по использованию вопросника, что будет также способствовать более широкому его применению.

Вопросник также может быть полезным и действенным инструментом для выявления и профилактики негативных последствий применения неадекватных статистических процедур и методов. Его использование в процессе предпубликационной активности авторов, рецензентов и редакторов научных изданий будет способствовать повышению качества не только публикаций, но и самих исследований. Вопросник будет усовершенствоваться по мере накопления опыта его применения.

Ограничения исследования

Ограничениями работы следует считать малый объем выборки, валидизацию вопросника только по РКИ (т.е. длинной версии вопросника) и только авторами вопросника, неудачу внешней валидизации вопросника (отметим, что внешняя валидизация была вспомогательной задачей).

Направления дальнейших исследований

Планируется продолжить валидизацию вопросника по РКИ с привлечением внешних экспертов, а также выполнить валидизацию короткой версии вопросника по исследованиям других дизайнов. Также в перспективе возможно уточнение формулировок вопросника, приписывание неравных весов вопросам. Как и другие подобные инструменты, вопросник будет усовершенствоваться, будут выпускаться новые его версии.

ЗАКЛЮЧЕНИЕ

Предложен вопросник из 18 пунктов, предназначенный для оценки представления процедуры и результатов статистического анализа в публикациях о медицинских исследованиях любых дизайнов. Часть вопросов специально предназначена для оценки РКИ. Вопросник имеет высокую внутреннюю валидность и может быть использован как рецензентами, так и авторами при подготовке рукописей.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Источники финансирования. Работа выполнена по инициативе авторов без привлечения финансирования.

Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с содержанием настоящей статьи.

Участие авторов. Реброва О.Ю. — разработка концепции и дизайна исследования, получение и анализ данных, интерпретация результатов, написание статьи; Федяева В.К. — разработка дизайна исследования, интерпретация результатов, редактирование статьи; Аксенов В.А. — получение данных, интерпретация результатов, редактирование статьи. Все авторы одобрили финальную версию статьи перед публикацией, выразили согласие нести ответственность за все аспекты работы, подразумевающую надлежащее изучение и решение вопросов, связанных с точностью или добросовестностью любой части работы.

Благодарности. Авторы признательны к.б.н. Н.Н. Хромову-Борисову и к.т.н. В.П. Леонову за обсуждение вопросника и ценные замечания.