Preview

Проблемы Эндокринологии

Расширенный поиск

Динамика качества представления результатов статистического анализа в оригинальных статьях журнала "Проблемы эндокринологии" за 1999-2006 гг.

https://doi.org/10.14341/probl200753531-33

Полный текст:

Аннотация

Проанализированы 58 оригинальных статей журнала "Проблемы эндокринологии"за 2005- 2006 гг. с точки зрения качества представления в них результатов статистического анализа. Обнаружено, что только в 17% работ примененные методы оказались адекватны поставленным задачам и имеющимся данным, 15% статей не содержат ошибок в представлении результатов статистического анализа, в 13% публикаций статистический анализ описан с необходимой степенью подробности. Отмечена положительная динамика по отношению к ситуации 1999-2000 гг.

Для цитирования:


Реброва О.Ю. Динамика качества представления результатов статистического анализа в оригинальных статьях журнала "Проблемы эндокринологии" за 1999-2006 гг. Проблемы Эндокринологии. 2007;53(5):31-33. https://doi.org/10.14341/probl200753531-33

For citation:


Rebrova O.Yu. Trend in the quality of presenting the results of statistical analysis in the original papers in this journal in 1999 to 2006. Problems of Endocrinology. 2007;53(5):31-33. (In Russ.) https://doi.org/10.14341/probl200753531-33

В настоящее время методологическое качество отечественных научных медицинских публикаций значительно отстает от мирового уровня [1, 3, 4]. Одна из важнейших причин такого отставания — неправильно проведенный и/или неправильно представленный статистический анализ данных, полученных в клинических и эпидемиологических исследованиях. В то же время обоснованность выводов исследования результатами статистического анализа является краеугольным камнем концепции доказательной медицины, получившей в мире широкое распространение.

В 2001 г. на IV Всероссийском конгрессе эндокринологов (Санкт-Петербург) нами были представлены результаты оценки качества проведенного и представленного статистического анализа 58 оригинальных статей журнала "Проблемы эндокринологии" (ПЭ) за 1999—2000 гг. Критерии этой оценки основывались на известных монографиях [2, 5— 7]. В 2004 г. редакция ПЭ ввела в действие новые требования к рукописям, в которых был существенно расширен раздел, касающийся статистического анализа данных. В связи с этим спустя 6 лет представлялись актуальными повторение такого анализа и оценка динамики качества представления результатов статистического анализа в оригинальных статьях журнала ПЭ.

Материалы и методы

В 2001 г. были проанализированы 58 оригинальных статей за 1999—2000 гг., в 2006 г. — 58 оригинальных статей за 2005—2006 гг. (разделы журнала "Клиническая эндокринология", "Экспериментальная эндокринология"). Статьи включали в исследование подряд, без применения критериев включения и исключения.

В обоих случаях оценку проводили по единой схеме (см. таблицу).

Описательная статистика качественных признаков представлена абсолютными и относительными частотами. Для сопоставления групп применяли точный критерий Фишера (ТКФ), реализованный в пакете Statistica 6.1 (StatSoft, Inc., США). Результаты считали статистически значимыми при достигнутом уровне значимости менее 0,05.

Результаты

В 5 (около 9%) из 58 статей за 1999—2000 гг. и в 5 статьях за 2005—2006 гг. статистический анализ не применяли, в связи с чем в обоих случаях дальнейший анализ проводили для 53 статей каждого временного периода.

Результаты ответа на вопрос «Содержится ли в разделе "Материалы и методы" описание методов статистического анализа?» представлены на рис. 1. Статистически значимо уменьшилось число статей без описания статистического анализа в разделе "Материалы и методы" = 0,016). При этом доля статей, в которых есть описание статистического анализа, и доля статей, в которых он описан недостаточно подробно либо ошибочно, увеличилась незначимо. К сожалению, по-прежнему встречаются такие некорректные фразы, как "значимость корреляционной связи определяли с помощью /-критерия Стьюдента", "статистическую обработку результатов осуществляли ... с использованием пакета прикладных программ Windows ХР", "для определения силы связи ... применяли ... коэффициент достоверности корреляции", "значимость отличий между выборками с распределением, приближающимся к нормальному, оценивали в тесте Шапиро-Уилка”.

Критерии оценки качества представления результатов статистического анализа в публикациях

Критерий оценки

Варианты ответов

Описание статистического анализа в разделе

Есть

"Материалы и методы"

Недостаточное либо ошибочное Нет

Соответствие статистических методов зада-

Есть

чам и данным

Неясно Нет

Нет ли ошибок в представлении результатов

Нет

статистического анализа?

Есть

Описание статистического анализа в разделе

Достаточное

"Результаты"

Недостаточное

Отсутствует

На рис. 2 отражено соответствие примененных статистических методов анализируемым данным и задачам исследования. К сожалению, тексты большинства статей по-прежнему не позволяют судить об этом важном аспекте исследования, однако доля таких статей за 6 лет статистически значимо уменьшилась = 0,002). В качестве положительной тенденции следует отметить более широкое применение авторами непараметрических методов анализа, что при ограниченных объемах выборок в большинстве исследований представляется целесообразным.

При анализе частоты ошибок в описании результатов статистического анализа в статьях обнаружено, что доля статей, содержащих такие ошибки, очень велика и не уменьшилась за 6 лет (р = 0,555): 91% в 1999-2000 гг. и 85% в 2005— 2006 гг. Наиболее распространенными ошибками по-прежнему являются:

  • неправильное оформление таблиц (отсутствие указаний числа наблюдений в группах и подгруппах, наименований используемых описательных статистик);
  • использование в качестве описательной выборочной статистики стандартной ошибки среднего;
  • необоснованные результатами статистического анализа утверждения о более высоких/низ- ких значениях показателей в той или иной группе, о существовании связей признаков.

Остановимся подробнее на последнем пункте. Такие утверждения встречаются не только в разделах "Результаты", но и в выводах. Так, в одной из статей авторы делают вывод о большей эффективности одного препарата по сравнению с другим, однако никакого статистического обоснования этого утверждения в статье не приводят. Следует обратить также особое внимание на то, что в ряде случаев такие утверждения являются не только необоснованными, но и ложными. Например, авторы одной статьи обнаружили некий феномен у 16,3% больных 1-й группы и 11,1% больных 2-й группы и сделали вывод о том, что в 1-й группе он встречается чаще. Проведенные же нами расчеты показали, что при числе наблюдений 43 и 18 соответственно в 1-й и 2-й группах различий в частоте нет (р = 0,7, ТКФ).

На рис. 3 отражены результаты анализа раздела "Результаты" с точки зрения подробности описания проведенного авторами статистического анализа. Можно видеть, что удовлетворительное описание по-прежнему встречается в малой доле статей, однако существенным является тот факт, что доля статей, где описание статистического анализа в разделе "Результаты" можно было считать отсутствующим, снизилась примерно в 5 раз (р < 0,001).

Обсуждение

Таким образом, налицо стремление авторов отметить применение методов статистического анализа в разделе "Материалы и методы". При этом в публикациях 2005—2006 гг. только в 17% работ примененные методы оказались адекватными поставленным задачам и имеющимся данным, 15% статей не содержат ошибок в предоставлении результатов статистического анализа, и в 13% публикаций статистический анализ описан с необходимой степенью подробности.

За прошедшие 6 лет прослеживается положительная динамика по 3 из 4 критериев оценки, что свидетельствует об изменении к лучшему ситуации с применением статистического анализа в медицинских исследованиях. По-видимому, этому также способствовало введение редакцией в 2004 г. новых требований к рукописям. В то же время, к сожалению, следует констатировать, что большинство статей ПЭ им не соответствует. Обычной практикой редакционной работы зарубежных журналов в таких случаях является отклонение статьи без рассмотрения существа исследования, что заставляет авторов строго соблюдать объявленные требования. В нашей стране это по ряду причин пока невозможно, однако нельзя не призвать исследователей стремиться к повышению методологического уровня своих рукописей.

Список литературы

1. Бащинский С. Е. // Рекомендации по подготовке научных медицинских публикаций. - М., 2006. - С. 417-428.

2. Гланц С. Медико-биологическая статистика: Пер. с англ. - М., 1998.

3. Зорин Н. А., Немцов А. В, Калинин В. В. // Рекомендации по подготовке научных медицинских публикаций. - М., 2006. - С. 442-459.

4. Леонов В. П., Ижевский П. В. // Рекомендации по подготовке научных медицинских публикаций. - М., 2006. - С. 429-441.

5. Altman D. G. Practical Statistics for Medical Research. - London, 1991.

6. Lang T. A., Seek M. How to Report Statistics in Medicine. Annotated Guidelines for Authors, Editors, and Reviewers. - Philadelphia, 1997.

7. Motulsky H. Intuitive Biostatistics. - New York; Oxford, 1995.


Об авторе

О. Ю. Реброва

Общество специалистов доказательной медицины


Россия


Для цитирования:


Реброва О.Ю. Динамика качества представления результатов статистического анализа в оригинальных статьях журнала "Проблемы эндокринологии" за 1999-2006 гг. Проблемы Эндокринологии. 2007;53(5):31-33. https://doi.org/10.14341/probl200753531-33

For citation:


Rebrova O.Yu. Trend in the quality of presenting the results of statistical analysis in the original papers in this journal in 1999 to 2006. Problems of Endocrinology. 2007;53(5):31-33. (In Russ.) https://doi.org/10.14341/probl200753531-33

Просмотров: 59


ISSN 0375-9660 (Print)
ISSN 2308-1430 (Online)