Динамика качества представления результатов статистического анализа в оригинальных статьях журнала "Проблемы эндокринологии" за 1999-2006 гг.

В настоящее время методологическое качество отечественных научных медицинских публикаций значительно отстает от мирового уровня [1, 3, 4]. Одна из важнейших причин такого отставания — неправильно проведенный и/или неправильно представленный статистический анализ данных, полученных в клинических и эпидемиологических исследованиях. В то же время обоснованность выводов исследования результатами статистического анализа является краеугольным камнем концепции доказательной медицины, получившей в мире широкое распространение.

В 2001 г. на IV Всероссийском конгрессе эндокринологов (Санкт-Петербург) нами были представлены результаты оценки качества проведенного и представленного статистического анализа 58 оригинальных статей журнала "Проблемы эндокринологии" (ПЭ) за 1999—2000 гг. Критерии этой оценки основывались на известных монографиях [2, 5— 7]. В 2004 г. редакция ПЭ ввела в действие новые требования к рукописям, в которых был существенно расширен раздел, касающийся статистического анализа данных. В связи с этим спустя 6 лет представлялись актуальными повторение такого анализа и оценка динамики качества представления результатов статистического анализа в оригинальных статьях журнала ПЭ.

Материалы и методы

В 2001 г. были проанализированы 58 оригинальных статей за 1999—2000 гг., в 2006 г. — 58 оригинальных статей за 2005—2006 гг. (разделы журнала "Клиническая эндокринология", "Экспериментальная эндокринология"). Статьи включали в исследование подряд, без применения критериев включения и исключения.

В обоих случаях оценку проводили по единой схеме (см. таблицу).

Описательная статистика качественных признаков представлена абсолютными и относительными частотами. Для сопоставления групп применяли точный критерий Фишера (ТКФ), реализованный в пакете Statistica 6.1 (StatSoft, Inc., США). Результаты считали статистически значимыми при достигнутом уровне значимости менее 0,05.

Результаты

В 5 (около 9%) из 58 статей за 1999—2000 гг. и в 5 статьях за 2005—2006 гг. статистический анализ не применяли, в связи с чем в обоих случаях дальнейший анализ проводили для 53 статей каждого временного периода.

Результаты ответа на вопрос «Содержится ли в разделе "Материалы и методы" описание методов статистического анализа?» представлены на рис. 1. Статистически значимо уменьшилось число статей без описания статистического анализа в разделе "Материалы и методы" (р = 0,016). При этом доля статей, в которых есть описание статистического анализа, и доля статей, в которых он описан недостаточно подробно либо ошибочно, увеличилась незначимо. К сожалению, по-прежнему встречаются такие некорректные фразы, как "значимость корреляционной связи определяли с помощью /-критерия Стьюдента", "статистическую обработку результатов осуществляли ... с использованием пакета прикладных программ Windows ХР", "для определения силы связи ... применяли ... коэффициент достоверности корреляции", "значимость отличий между выборками с распределением, приближающимся к нормальному, оценивали в тесте Шапиро-Уилка”.

Критерии оценки качества представления результатов статистического анализа в публикациях

На рис. 2 отражено соответствие примененных статистических методов анализируемым данным и задачам исследования. К сожалению, тексты большинства статей по-прежнему не позволяют судить об этом важном аспекте исследования, однако доля таких статей за 6 лет статистически значимо уменьшилась (р = 0,002). В качестве положительной тенденции следует отметить более широкое применение авторами непараметрических методов анализа, что при ограниченных объемах выборок в большинстве исследований представляется целесообразным.

При анализе частоты ошибок в описании результатов статистического анализа в статьях обнаружено, что доля статей, содержащих такие ошибки, очень велика и не уменьшилась за 6 лет (р = 0,555): 91% в 1999-2000 гг. и 85% в 2005— 2006 гг. Наиболее распространенными ошибками по-прежнему являются:

• неправильное оформление таблиц (отсутствие указаний числа наблюдений в группах и подгруппах, наименований используемых описательных статистик);
• использование в качестве описательной выборочной статистики стандартной ошибки среднего;
• необоснованные результатами статистического анализа утверждения о более высоких/низ- ких значениях показателей в той или иной группе, о существовании связей признаков.

Остановимся подробнее на последнем пункте. Такие утверждения встречаются не только в разделах "Результаты", но и в выводах. Так, в одной из статей авторы делают вывод о большей эффективности одного препарата по сравнению с другим, однако никакого статистического обоснования этого утверждения в статье не приводят. Следует обратить также особое внимание на то, что в ряде случаев такие утверждения являются не только необоснованными, но и ложными. Например, авторы одной статьи обнаружили некий феномен у 16,3% больных 1-й группы и 11,1% больных 2-й группы и сделали вывод о том, что в 1-й группе он встречается чаще. Проведенные же нами расчеты показали, что при числе наблюдений 43 и 18 соответственно в 1-й и 2-й группах различий в частоте нет (р = 0,7, ТКФ).

На рис. 3 отражены результаты анализа раздела "Результаты" с точки зрения подробности описания проведенного авторами статистического анализа. Можно видеть, что удовлетворительное описание по-прежнему встречается в малой доле статей, однако существенным является тот факт, что доля статей, где описание статистического анализа в разделе "Результаты" можно было считать отсутствующим, снизилась примерно в 5 раз (р < 0,001).

Обсуждение

Таким образом, налицо стремление авторов отметить применение методов статистического анализа в разделе "Материалы и методы". При этом в публикациях 2005—2006 гг. только в 17% работ примененные методы оказались адекватными поставленным задачам и имеющимся данным, 15% статей не содержат ошибок в предоставлении результатов статистического анализа, и в 13% публикаций статистический анализ описан с необходимой степенью подробности.

За прошедшие 6 лет прослеживается положительная динамика по 3 из 4 критериев оценки, что свидетельствует об изменении к лучшему ситуации с применением статистического анализа в медицинских исследованиях. По-видимому, этому также способствовало введение редакцией в 2004 г. новых требований к рукописям. В то же время, к сожалению, следует констатировать, что большинство статей ПЭ им не соответствует. Обычной практикой редакционной работы зарубежных журналов в таких случаях является отклонение статьи без рассмотрения существа исследования, что заставляет авторов строго соблюдать объявленные требования. В нашей стране это по ряду причин пока невозможно, однако нельзя не призвать исследователей стремиться к повышению методологического уровня своих рукописей.