Инструмент. Используется на всех страницах слоя решений.
Эта страница не про физиологию. Она про арифметику, без которой любое утверждение о здоровье невозможно взвесить.
Навык здесь один, и он окупается быстрее, чем любое количество запомненных фактов.
Главная ловушка: два способа сказать одно
Представим лекарство. В группе плацебо событие случилось у 2 человек из 100. В группе лечения — у 1 из 100.
| Способ подачи | Как звучит | Впечатление |
|---|---|---|
| Относительное снижение | «снижает риск вдвое» | огромный эффект |
| Абсолютное снижение | «с 2% до 1%, то есть на 1 пункт» | скромный эффект |
| Число пролеченных | «надо пролечить 100 человек, чтобы помочь одному» | понятный масштаб |
Все три строки описывают одни и те же данные. Ни одна не является ложью. Но производят они совершенно разное впечатление, и в заголовках почти всегда стоит первая.
Относительное снижение без исходного риска — бессмысленное число. Оно не позволяет оценить ничего.
Услышав «снижает на N процентов», задавайте один вопрос: с какой величины до какой? Если ответа нет, утверждение невозможно взвесить, и это не ваша вина.
Разбор статинов в этой книге сделан именно так: не «снижают риск», а 5,1% против 1,7% за пять лет в зависимости от того, кто вы. Одна и та же таблетка, разница в пользе — втрое.
Третья строка таблицы — самая полезная
Проценты, даже абсолютные, воображению даются плохо. «Снижение на 1 пункт» — это много или мало? Есть способ перевести то же самое в форму, которую человек чувствует сразу.
Вернитесь к примеру: событие у 2 человек из 100 без лечения и у 1 из 100 с лечением. Значит на каждую сотню пролеченных выигрывает один. Остальные девяносто девять принимали лекарство без пользы для себя: у большинства события не случилось бы и так, а у кого-то случилось всё равно.
Это число и называется числом пролеченных. Здесь оно равно ста. Считается оно просто — единица делённая на абсолютное снижение: снижение на 1 пункт даёт 1 ÷ 0,01 = 100.
Потому что она отвечает на вопрос, который человек и хочет задать: велик ли шанс, что поможет именно мне. «Снижает вдвое» на него не отвечает вовсе. «На 1 пункт» отвечает, но невнятно. «Один из ста» — внятно.
И это не всегда плохая новость. У статинов при уже имеющейся сосудистой болезни книга приводит около двадцати человек, чтобы избежать одного события за пять лет. Двадцать — это уже совсем другой разговор, чем сто.
Заодно видно, откуда берётся разница: чем выше исходный риск, тем меньше надо пролечить. Одна и та же таблетка окупается по-разному у разных людей — не потому, что действует по-разному, а потому, что им по-разному есть что терять.
Разнобой в подаче
Следующий приём тоньше, и он встречается не только в новостях, но и в научных статьях.
Разнобой в подаче: пользу приводят в относительных числах, а вред — в абсолютных.
«Снижает риск инсульта на 30%» и рядом «побочные эффекты у 2% пациентов». Первое кажется крупным, второе мелким — но сравнивать их нельзя, это разные линейки. факт обзор
Посчитаем. Пусть инсульт без лечения случается у 3 человек из 100 за пять лет. Снижение на 30% означает, что станет у 2,1 — то есть выигрывает меньше одного человека из ста. А побочный эффект получают двое из ста. В одних единицах: помогли 0,9 человека, навредили двоим.
Заметьте, что мы не подтасовывали — обе цифры взяты как есть. Просто одна была в относительных, другая в абсолютных, и в таком виде они выглядели несопоставимо иначе.
Оговорка, без которой этот приём сам станет ловушкой: 0,9 против двух — ещё не приговор. Инсульт и побочный эффект не равны по весу, и складывать их как одинаковые нельзя. Речь о том, чтобы сперва свести и то и другое на одну шкалу — а уже потом взвешивать, зная, что на ней стоит.
Пока польза в относительных числах, а вред в абсолютных, взвесить нельзя вообще: сравниваются не величины, а способы их назвать.
Проверка простая: требуйте, чтобы польза и вред были в одних единицах. Если они в разных — это либо небрежность, либо приём. И пересчитывать проще всего в людей: столько-то из ста выиграли, столько-то из ста пострадали.
Показатель вместо исхода
Третья ловушка — та же, что проходит через всю книгу, только теперь на уровне чтения статей.
Суррогатный показатель — это анализ или измерение, которым заменяют настоящий исход. Мерить холестерин быстрее и дешевле, чем ждать инфарктов; мерить плотность кости проще, чем считать переломы.
Иногда показатель и исход идут вместе. Иногда — расходятся:
- Препараты, поднимавшие «хороший холестерин», показатель улучшали, а событий не снижали.
- Добавки кальция и витамина D влияют на показатели, но переломов у людей без дефицита не предотвращают.
- В ACCORD целевой показатель был достигнут, а смертность выросла.
Вопрос к любому исследованию: что именно меряли — цифру или событие в жизни человека?
Что стоит проверить помимо результата
| Что | Зачем |
|---|---|
| На ком | испытание на больных не переносится на здоровых; на мышах — на людей |
| Сколько человек | маленькое исследование чаще даёт случайный результат |
| Сколько времени | три месяца ничего не говорят о риске за десять лет |
| С чем сравнивали | с плацебо, с обычным лечением или ни с чем — три разных вопроса |
| Доверительный интервал | вилка, в которую укладывается правда: узкая — данных хватило, широкая — нет. Разобран ниже |
| Кто платил | не отменяет результат, но объясняет, какие вопросы не задавали |
Про слово «достоверно»
Достоверность отвечает на вопрос «отличается ли результат от нуля», а не «велик ли эффект».
На большой выборке достоверным станет крошечное различие. Поэтому «достоверно снижает» без величины — такое же пустое утверждение, как относительный риск без исходного.
Пример из этой книги: мелатонин достоверно сокращает время засыпания — примерно на семь минут. Утверждение верное, эффект скромный. Оба факта нужны вместе.
И вторая половина, которая опаснее первой
Всё сказанное было про случай, когда достоверность есть. Теперь про случай, когда её нет, — и здесь ошибаются чаще, потому что ошибка выглядит осторожной.
«Достоверных различий не получено» читают как «не работает». Это неверно. Отсутствие достоверности означает одно из двух: либо эффекта действительно нет, либо он есть, а данных не хватило, чтобы его разглядеть. Само по себе оно эти два случая не различает.
Смотреть надо не на слово «достоверно», а на доверительный интервал — и вот тут он наконец пригождается по-настоящему.
Если интервал узкий и сидит вплотную к нулю — «от −1% до +1%» — данных достаточно, и эффекта, стоящего внимания, действительно нет. А если он широкий — «от −20% до +30%» — сказать нельзя ничего: в него помещается и крупная польза, и крупный вред. Слова в обоих случаях будут одинаковые: «различий не получено».
Формулировка, которую стоит запомнить, разошлась по медицине с заметки 1995 года: отсутствие доказательства — не доказательство отсутствия. факт обзор
Практическое следствие: услышав «не доказано», спрашивайте не «доказано или нет», а «сколько человек и на какой срок». Маленькое короткое испытание не докажет ничего ни в одну, ни в другую сторону — и это не отрицательный результат, а отсутствие результата.
Иерархия: чему верить сильнее
По убыванию силы. Каждая ступень отвечает на более трудный вопрос, чем предыдущая.
- Систематический обзор и мета-анализ — сводит вместе всё, что удалось найти. Ступень высшая, но с оговоркой, которой обычно не делают: обзор не лучше того, что в него вошло. Свести десять слабых испытаний — значит получить один слабый вывод, только выглядящий солиднее.
- Рандомизированное испытание — единственный способ узнать, что именно вмешательство и вызвало изменение.
- Наблюдательное исследование — показывает связь. Причину не доказывает.
- Опыт на животных и в пробирке — показывает, что механизм возможен. Про человека не говорит.
- Рассуждение из механизма — «логично, что должно работать». Проверка опровергает такие рассуждения регулярно.
На каждом утверждении здесь помечено, на какой ступени оно стоит. Это и есть перевод иерархии в практику: чем ближе к практическому совету, тем выше должна быть ступень.
Для объяснения механизма достаточно рассуждения. Для совета «делайте так» — нужны люди, исходы и сравнение.
Почему даже вершина иерархии может ошибаться
Мы только что поставили обзор на первое место — за то, что он сводит всё вместе. Пора сказать, чего он свести не может.
Обзор собирает не все проведённые испытания, а все опубликованные. И это разные множества, потому что решение публиковать принимают люди, уже знающие результат.
В 2008 году взяли не литературу, а реестр FDA: туда испытания подают заранее, до того, как станет известен исход, и спрятать их задним числом нельзя. Набралось 74 испытания двенадцати антидепрессантов, 12 564 участника. Затем для каждого поискали публикацию. факт обзор
Не опубликовано оказалось 31%. Но интересно не это, а какие именно. Из тех, что FDA сочла положительными, опубликованы 37 из 38. Из отрицательных и сомнительных 22 не публиковались вовсе, а ещё 11 вышли в изложении, создающем впечатление успеха.
Итог. По опубликованной литературе выходило, что 94% испытаний были положительными. По реестру положительными считались 38 из 74 — около половины.
У этого перекоса есть имя — публикационное смещение. И обратите внимание, чего в нём нет: никто не подделывал данные. Каждое опубликованное испытание проведено честно, каждое число в нём верное. Искажение возникло на уровне отбора — молчание об отрицательном результате тоже сообщение, просто его нельзя прочесть.
Отсюда два практических следствия. Первое: у мета-анализа стоит смотреть, искали ли авторы неопубликованное — хорошие обзоры это описывают отдельно. Второе, более общее: чем громче единодушие в литературе, тем уместнее вопрос, что осталось за её пределами.
Именно поэтому испытания сегодня регистрируют заранее, до начала. Регистрация не мешает получить отрицательный результат — она мешает сделать вид, что испытания не было.
Три вопроса, если совсем коротко
- С какой величины до какой? — против относительного риска
- Цифру мерили или событие? — против суррогатов
- На ком и сколько времени? — против переноса не туда
Этих трёх достаточно, чтобы отсеять бо́льшую часть того, что встречается в популярных текстах о здоровье.
И два вопроса к самому полю
Первые три спрашивают про одно конкретное утверждение. Эти два — про состояние знания вокруг него. Задавать их приходится реже, зато они ловят то, чего первые три не видят.
- Если «не доказано» — данных нет или их не хватило? Ответ читается по ширине доверительного интервала, а не по слову «достоверно».
- Что могло не дойти до печати? Особенно если картина подозрительно единодушна.
Полный метод разбора конкретного утверждения — на соседней странице.
Куда идти дальше
- Причинная цепь — вопрос, который задают до всех остальных
- Как читать про лекарства — то же самое, но про испытания препаратов
- Как проверять утверждение о здоровье — весь метод в одном месте
- Чекап: анализы — арифметика нормы на собственных анализах
Страница объясняет способ чтения доказательств. Она не ставит диагнозов и не назначает лечения.
Источники
- Turner EH et al. N Engl J Med 2008;358:25274 испытания в реестре FDA: не опубликован 31%, и почти все неопубликованные — отрицательные.
- Altman DG, Bland JM. BMJ 1995;311:485Почему «различий не получено» не равно «эффекта нет».
- Sainani KL. PM&R 2012Почему относительный риск нельзя приводить без абсолютного.
- Gigerenzer G et al. Psychol Sci Public Interest 2007;8(2):53–96Откуда взят «разнобой в подаче»: пользу подают в относительных числах, вред — в абсолютных. Там же показано, что этого не понимают и сами врачи.
- SPRINT Research Group. N Engl J Med 2015;373:2103Пример честной подачи: приведены обе группы и абсолютные числа.