Пришли с конкретным утверждением. Найдите его в списке — или начните с последней строки, где все девять приёмов сведены в таблицу.
- Молоко вымывает кальций — механизм есть, но не в том масштабе
- Токсины выходят с потом — нашли первоисточник и прочли его целиком
- 90% серотонина в кишечнике, значит настроение оттуда — наблюдение верное, вывод нет
- Аппендикс бесполезный — отсутствие данных приняли за отсутствие явления
- Аутизма стало больше — растёт явление или наш способ его считать
- Все девять приёмов сразу — таблица: приём и вопрос, который его вскрывает
Решение. Как проверять утверждение по шагам — отдельно.
Список заблуждений бесполезен: их бесконечно много, и завтра появятся новые. Полезно другое — перечень приёмов, которыми они делаются. Приёмов немного, они повторяются, и, узнав их, вы разберёте и то, чего в этой книге нет.
Здесь девять. Под каждым — примеры со ссылкой туда, где разобрано подробно.
1 · Верное наблюдение, неверный вывод
Самый частый и самый убедительный приём. Наблюдение настоящее, и потому проверка на нём останавливается — а ошибка на следующем шаге.
| Что верно | Что из этого не следует |
|---|---|
| 90% серотонина — в кишке | «счастье живёт в животе»: барьер его не пропускает |
| Бром и йод химически похожи | «бром вытесняет йод»: измеряли — не вытесняет |
| Ген скорости связан со спортом | «можно протестировать ребёнка»: нельзя |
| Черви успокаивают иммунитет | «лечиться червями»: испытания провалились |
| После клизмы что-то вышло | «это паразиты»: слепки слизистой, и улику создала сама процедура |
| На мышах вещество работает | «работает у людей»: шаг, которого данные не дают |
Разбор: «сахар кормит рак»
Возьмём этот приём в чистом виде, потому что зерно у него на редкость крепкое.
Что верно. Опухолевые клетки перерабатывают глюкозу в молочную кислоту даже при кислороде и полностью исправных митохондриях. Это называется эффектом Варбурга и считается отличительной чертой рака. факт обзор 1
Причём подтверждение сильнее не придумаешь: на этой жадности построен способ находить опухоли. Больному дают меченую глюкозу — и смотрят, где засветилось.
факт обзор 1 Позитронно-эмиссионная томография названа в источнике незаменимой при определении распространённости опухоли. То есть «опухоль ест сахар» — не метафора, а рабочий инструмент онкологии.
И вот вывод, который отсюда не следует: «уберите сахар из еды — опухоль умрёт с голоду».
Уровень глюкозы в крови поддерживается контуром независимо от того, едите вы сахар или нет: не хватит съеденного — печень сделает его из белка. Опухоль питается не тем, что вы съели, а тем, что в крови, — а это величина, которую тело держит. реконструкция обзор 1
Проверяли и напрямую. Кетогенная диета тормозит рост опухолей у животных; у людей проведены испытания первой ступени, и вывод источника таков: «убедительных доказательств действенности пока нет». факт обзор 1
А что при этом всё-таки верно про сахар? Сводный разбор 71 работы: у тех, кто пьёт больше всего сладких напитков, рак встречается на 12% чаще, чем у тех, кто пьёт меньше всего. факт мета-анализ 1
Но и здесь надо дочитать. Связь слабее в работах с более надёжным устройством, чем в менее надёжных, — признак, при котором выводы делают осторожно. Сами авторы пишут: «может повышать… хотя доказательства были ограниченными». факт мета-анализ 2
Итог: сладкие напитки в больших количествах — умеренный фактор риска, скорее всего через вес. Сахар в тарелке не кормит уже возникшую опухоль. Это разные утверждения.
2 · Неверное имя рождает неверную картину
Название прилипает и начинает работать вместо знания. Проверить легко: спросите, что именно названо — вещество, его действие или чьё-то предположение о смысле.
| Имя | Что не так |
|---|---|
| «Гормон удовольствия» | он про ожидание, а не про удовольствие |
| «Гормон счастья» | назван по сыворотке и тонусу сосудов |
| «Гормон любви» | показатель сдвигается, исход — нет |
| «Витамин» D | тело его умеет делать само — значит, не витамин |
| «Антигистаминное» | называет приёмник, а не болезнь: от аллергии и от язвы — оба |
| «Доброкачественная» | про поведение клеток, а не про исход |
3 · Показатель вместо исхода
Сдвинуть число проще, чем помочь человеку, — и потому мерят число. Вопрос к любому такому утверждению один: кому стало лучше — анализу или больному?
| Показатель сдвинули | А с человеком что |
|---|---|
| Окситоцин улучшает показатели доверия | девять испытаний, 308 человек — устойчивой пользы нет |
| Гормон роста возвращают к молодому уровню | соотношение пользы и вреда авторы называют неясным |
| Бляшки в мозге убирают | вредит не отложение, а мелкий полуфабрикат |
Обратная сторона того же приёма разобрана на странице статинов: там управление показателем не является подменой лечения, и видно, чем один случай отличается от другого.
4 · Настоящая физиология не в том масштабе
Механизм существует, назван правильно — но действует не там, не с той силой или не в тех единицах, которые подразумевает утверждение.
Разбор: «молоко вымывает кальций»
Рассуждение выглядит стройно: белок и молочное «закисляют» организм, тело гасит кислоту кальцием, кальций берётся из костей, кости слабеют. Оно даже стояло в учебниках. факт мета-анализ 3
Проверили его по критериям причинности — тем самым набором, которым в своё время устанавливали связь курения с раком лёгкого. Вывод дословен:
«Причинная связь пищевой кислотной нагрузки с остеопорозом доказательствами не подтверждается, и нет свидетельств, что щелочная диета защищает кости.»
факт мета-анализ 3 Более того: сводный разбор пяти испытаний с распределением по жребию и лучшим устройством показал, что изменения питания, повышающие выведение кислоты, кальциевый баланс не ухудшают.
Проверили и предсказание мифа впрямую: кислотность мочи и выведение кислоты не позволяют определить, у кого будут переломы. факт когорта 4
И наконец само молоко. Сводный разбор наблюдений: при сравнении тех, кто пьёт больше всего, с теми, кто пьёт меньше всего, — связи с переломом шейки бедра нет (0,91; 0,74–1,12). А творог и сыр связаны с меньшим риском. факт мета-анализ 5
Кислотность крови — величина, которую тело держит жёстче почти всего остального, и держит несколькими способами сразу. Съеденное сдвигает кислотность мочи — то есть показывает, что почка работает, — и не сдвигает кровь. реконструкция мета-анализ 3
Тот же масштабный обман лежит в основе «закисления организма» вообще: полоска честно показывает изменение, только не того, что имеется в виду.
И честности ради: авторы разбора сами пишут, что для формального отвержения гипотезы нужны ещё более строгие работы. Не «доказано, что не так», а «подтверждения не найдено там, где его искали тщательнее всего». факт мета-анализ 3
Ещё из этой семьи: «усталость надпочечников» — механизм звучит настоящим, проверка не находит ни болезни, ни закономерности; «дырявый кишечник»; «бег стирает колени» — у любителей поражений втрое меньше.
5 · Действие приписывают не тому месту
Разбор: «токсины выходят с потом»
Здесь книга применяет свой обычный приём: находит первоисточник, на который ссылаются, и читает его целиком.
Источник существует и он настоящий: работа 2012 года, где у людей брали кровь, мочу и пот и искали в них бисфенол. У 16 из 20 участников бисфенол в поту нашли — иногда даже когда в крови его не находили. факт когорта 9
А теперь то, что в этой работе написано на самом деле.
«Определение бисфенола по крови и моче может занижать общую нагрузку… Анализ пота стоит рассматривать как дополнительный способ ОТСЛЕЖИВАНИЯ.»
факт когорта 9 Главный вывод работы — про измерение, а не про очищение. Пот предлагается как способ узнать, сколько вещества в теле, а не как способ его оттуда убрать.
Про очищение там сказано осторожнее некуда: «вызванное потоотделение представляется возможным способом выведения». Представляется. Возможным. факт когорта 9
Двадцать человек. Нет группы сравнения. Нет подсчёта общего баланса вещества — то есть не измерено, какую долю от всего выведенного составляет пот. факт когорта 9
Последнее и решает дело. Чтобы утверждать, что потение очищает, нужно сравнить массу вещества, ушедшую с потом, с массой, ушедшей обычными путями — через печень и почки. Этого сравнения в работе нет, и книга не станет достраивать его за авторов ни в одну сторону.
Честный итог: вещество в поту находится — это измерено. Что баня очищает организм — из этой работы не следует. реконструкция когорта 9
6 · Отсутствие данных принимают за отсутствие явления
И обратное — тоже приём. Оба сводятся к тому, что третье состояние забывают: кроме «доказано» и «опровергнуто» есть «не проверено».
| Говорят | А на деле |
|---|---|
| « Аппендикс — бесполезный остаток» | возникал независимо много раз — значит, функция есть |
| «Лабораторную версию опровергли» | не опровергли — не смогли проверить |
| «Доказательств недостаточно» = «не работает» | это разные вердикты |
7 · Единодушие принимают за проверку
Самый неудобный приём, потому что он маскируется под добросовестность. «Все специалисты согласны» звучит как довод — а на деле это сведения о людях, а не о предмете.
Два примера с этой самой страницы.
Разбор 2011 года отмечает: гипотеза излагалась как важный устранимый фактор риска в часто цитируемых научных статьях, в учебниках, в справочниках — и при проверке подтверждения не получила. факт мета-анализ 3
В феврале 2020 года 27 специалистов подписали письмо, осуждающее обсуждение неприродного происхождения как «теории заговора», заявив об отсутствии конкурирующих интересов. Через год редакция журнала выпустила приложение: читатели усомнились в достоверности этого раскрытия. Разбор целиком.
Единодушие складывается быстрее проверки и держится дольше, чем следовало бы.
Разбор: «поднять иммунитет»
Это выражение стоит особняком, потому что ошибка в нём не фактическая, а понятийная: у него нет предмета.
Разбор 2019 года, изучавший выдачу поиска по этому запросу, формулирует прямо:
Единственный способ с доказанным действием — прививка.
факт когорта 6 Там же перечислено, что предлагают вместо: 37 подходов, из них питание (77% страниц), фрукты (69%), витамины (67%), «антиоксиданты» (52%). Треть выдачи — коммерческие сайты, и качество сведений у них ниже, чем у прочих. факт когорта 6
А работа 2022 года просто купила и вскрыла тридцать банок с обещанием поддержать иммунитет.
Семнадцать из тридцати оказались не тем, что написано на этикетке. Тринадцать — с неверной маркировкой, у девяти нашли то, чего в составе не заявлено.
факт когорта 7 Обратите внимание: вопрос «работает ли» тут даже не встаёт. Неизвестно, что именно человек принимает.
Иммунитет — не мощность, которую прибавляют. Это система различения, и у неё бывает перекос в любую сторону. Избыточно деятельный иммунитет — это аллергия и самоиммунные болезни. «Поднять» его — это описание болезни, а не пожелание. реконструкция обзор 8
Питание на иммунитет влияет — но обзор описывает это словами «терпимость», «регуляторные клетки», «подавленные антитела». факт обзор 8 Это язык настройки, а не усиления.
Поэтому правильная просьба к врачу звучит не «поднимите мне иммунитет», а «проверьте, всё ли с ним в порядке» — и это совсем другой разговор.
8 · Начало подсчёта принимают за начало явления
Самый неуловимый приём, потому что цифры настоящие. График растёт, рост подлинный, спорить не с чем. Вопрос только в том, что именно на графике растёт: явление — или наш способ его считать.
| Говорят | А на деле |
|---|---|
| «Рака щитовидной железы стало в разы больше» | диагнозов вдесятеро больше, а умирает столько же |
| «Аутизма стало в разы больше» | признаки не изменились, изменился учёт — разбор ниже |
Отличить одно от другого можно только одним способом: найти показатель, который считают одинаково всё это время. Для рака щитовидной железы такой показатель есть — смертность. Она не сдвинулась, а значит, выросло обнаружение, а не болезнь.
Разбор: «аутизма стало в разы больше»
Здесь такой показатель тоже нашли, и решение оказалось изящным. В Швеции в одной и той же популяции и за одни и те же десять лет измерили две вещи сразу: сколько детей имеют признаки, на которых стоит диагноз, и скольким этот диагноз поставлен официально.
Признаки опрашивали у родителей по проверенной методике — почти двадцать тысяч близнецов. Диагнозы брали из национального регистра — больше миллиона детей, родившихся с 1993 по 2002 год.
Доля детей с признаками за десять лет не изменилась вовсе: проверка на линейный тренд дала P = 0,87, то есть ровная линия. Доля поставленных диагнозов за те же годы росла неуклонно. факт когорта 10
Два графика по одним и тем же детям: один плоский, другой вверх. Так выглядит рост подсчёта при неизменном явлении.
Датская работа посчитала, за счёт чего именно. В 1994 году там сменились диагностические критерии, в 1995-м в регистр начали включать амбулаторные обращения. На эти две канцелярские перемены приходится 60% всего роста (95% ДИ 33–87%) у детей, родившихся с 1980 по 1991 год. факт когорта 11
60% — не 100%. Оставшаяся часть роста учётом не объясняется, и работа этого не скрывает. Считать, что весь рост бумажный, — та же ошибка, только зеркальная: опять подставить готовый ответ вместо измерения.
Честный итог такой. Диагнозов действительно стало кратно больше. Большая часть прибавки — от того, что изменились правила счёта. Остаток открыт, и в нём может лежать что угодно, включая настоящее изменение.
Практическая польза приёма в том, что он подсказывает первый вопрос к любому растущему графику: а менялось ли за это время определение, порог или охват обследования? Если менялось, рост надо мерить заново — и иногда мерить уже нечем.
9 · Измерение принимают за знание
Последний приём отличается от восьми предыдущих тем, что здесь никто ничего не искажает. Прибор исправен, число настоящее, заключение написано по правилам, диагноз поставлен законно. И всё-таки в итоге получается знание, которого нет.
Устройство такое. Что-то измерили. Число перешло условную границу. В карте появилось слово. Три шага — и каждый безупречен. Не хватает четвёртого, и его почти никогда не делают: а изменилось ли от этого слова хоть одно действие?
Разбор: толщина стенки сонной артерии
Пример хорош тем, что придраться не к чему. Толщина внутреннего слоя сонной артерии — настоящая величина, её действительно можно измерить ультразвуком, и она действительно связана с риском. Всё честно.
Вопрос ставили ровно так, как надо: добавляет ли это измерение что-нибудь к обычной оценке риска? Свели индивидуальные данные четырнадцати популяционных исследований — 45 828 человек, наблюдение одиннадцать лет, 4007 первых инфарктов и инсультов. Точность прогноза без измерения — 0,757. С измерением — 0,759. Доля людей, попавших в другую группу риска, — 0,8%. Вывод авторов дословный: улучшение «вряд ли имеет клиническое значение». факт мета-анализ 12
А потом проверили отдельно там, где это измерение назначают чаще всего, — у людей с повышенным давлением. 17 254 человека, шестнадцать исследований, наблюдение около десяти лет. Точность прогноза одинаковая до и после — 0,73. Прибавка составила 1,4% с доверительным интервалом от −1,1 до 3,7, то есть неотличима от нуля. факт мета-анализ 13
Если добавление измерения не меняет прогноза, то и то, по какую сторону условной черты легло число, прогноза не меняет. А значит, слово в заключении — «норма» или «утолщение» — описывает не состояние артерии, а выбранную границу. Величина одна; в зависимости от того, какой порог применил описавший, она может быть подписана и так, и так.
Для читателя это означает вот что: увидев такое слово, пугаться рано. Сначала стоит спросить, что оно меняет.
Отличать этот приём от третьего в списке стоит внимательно, они похожи и всё же разные. Там показатель двигали лечением вместо того, чтобы помочь человеку. Здесь ничего не двигают: показатель просто измерили, и он произвёл слово. Вопрос там — «кому стало лучше»; вопрос здесь — «что было бы сделано иначе, окажись число другим?»
Если ответ «ничего», измерение дало ярлык, а не знание. Ярлык при этом не бесплатен: он попадает в карту, тревожит и тянет за собой следующие обследования. А когда таких слов набирается несколько, у них появляется собственное последствие.
Короткая версия
| Приём | Вопрос, который его вскрывает |
|---|---|
| Верное наблюдение → неверный вывод | А следующий шаг проверяли отдельно? |
| Неверное имя | Что именно так назвали? |
| Показатель вместо исхода | Кому стало лучше — анализу или человеку? |
| Не тот масштаб | Где именно это измеряли? |
| Не то место | А с чем сравнивали по величине? |
| Нет данных = нет явления | Проверено — или просто не проверено? |
| Единодушие = проверка | Согласны — на основании чего? |
| Начало подсчёта = начало явления | А определение и охват за это время менялись? |
| Измерение = знание | Что было бы сделано иначе, окажись число другим? |
И одно замечание напоследок, без которого свод превращается в свою противоположность. Умение видеть эти приёмы легко оборачивается всеотрицанием: раз ошибаются везде, значит, верить нельзя никому. Это не вывод из книги, а отказ от неё.
Приёмы нужны, чтобы отличать проверенное от непроверенного, а не чтобы отвергать всё подряд. Второе так же слепо, как первое доверие.
Куда идти дальше
- Как проверять утверждение — метод по шагам
- Как читать исследование — относительный риск и иерархия
- Причинная цепь — где вмешивается лечение
- Плацебо и ноцебо — почему «мне помогло» ничего не доказывает
- Галогены — живой миф, разобранный целиком
- Послесловие — зачем всё это
Страница объясняет устройство и показывает, что говорят доказательства. Она не ставит диагнозов и не назначает лечения — это к врачу.
Источники
- Barba I, Carrillo-Bosch L, Seoane J. Int J Mol Sci 2024Верное зерно мифа про сахар: опухоли действительно жадно едят глюкозу — настолько, что на этом построен способ их находить. И оговорка про кетогенную диету: доказательств действенности пока нет.
- Li Y, Guo L, He K, Huang C, Tang S. J Cancer 202171 работа. Связь сладких напитков с раком есть — 12%, — но слабеет в более надёжных по устройству исследованиях, и авторы называют доказательства ограниченными.
- Fenton TR, Tough SC, Lyon AW, Eliasziw M, Hanley DA. Nutr J 2011Разбор кислотно-зольной гипотезы по критериям Хилла: причинной связи нет, защитного действия щелочной диеты нет. И признание, что гипотеза стояла в учебниках.
- когорта Low urine pH and acid excretion do not predict bone fractures or the loss of bone mineral densityFenton TR, Eliasziw M, Tough SC, Lyon AW, Brown JP, Hanley DA. BMC Musculoskelet Disord 2010Прямая проверка того, что миф предсказывает: кислотность мочи не определяет, у кого будут переломы.
- мета-анализ Dairy product consumption and risk of hip fracture: a systematic review and meta-analysisBian S, Hu J, Zhang K, Wang Y, Yu M, Ma J. BMC Public Health 2018Молоко и перелом шейки бедра: связи нет. Творог и сыр — риск даже ниже.
- Cassa Macedo A, Oliveira Vilela de Faria A, Ghezzi P. Front Med 2019Разбор того, что выдаёт поиск по запросу «поднять иммунитет». Единственный способ с доказанным действием назван прямо, и он один.
- когорта Analysis of Select Dietary Supplement Products Marketed to Support or Boost the Immune SystemCrawford C, Avula B, Lindsey AT и др. JAMA Netw Open 2022Тридцать банок с обещанием «поддержать иммунитет» купили и вскрыли. Семнадцать оказались не тем, что написано на этикетке.
- Venter C, Eyerich S, Sarin T, Klatt KC. Nutrients 2020Вторая половина разбора: питание на иммунитет влияет, но словами «терпимость», «регуляторные клетки», «подавленные антитела» — то есть настройкой, а не усилением.
- Genuis SJ, Beesoon S, Birkholz D, Lobo RA. J Environ Public Health 2012Первоисточник, на который ссылаются, говоря «токсины выходят с потом». Прочитан целиком: двадцать человек, без группы сравнения, и главный вывод — про измерение, а не про очищение.
- Lundström S, Reichenberg A, Anckarsäter H и др. BMJ 2015;350:h1961 · PMID 2592234519 993 близнеца (190 с расстройством аутистического спектра) и все дети, родившиеся в Швеции с 1993 по 2002 год — 1 078 975 человек, из них 4620 с диагнозом. Дословно: «The annual prevalence of the autism symptom phenotype was stable during the 10 year period (P=0.87 for linear time trend). In contrast, there was a monotonic significant increase in prevalence of registered diagnoses».
- Hansen SN, Schendel DE, Parner ET. JAMA Pediatr 2015;169:56–62 · PMID 25365033Дания, 677 915 детей, родившихся с 1980 по 1991 год. Смена диагностических критериев в 1994 году и включение амбулаторных обращений в регистр в 1995-м вместе объясняют 60% роста (95% ДИ 33–87%); по отдельности — 33% (ДИ 0–70%, интервал касается нуля) и 42% (ДИ 14–69%). То есть большую часть, но не весь.
- мета-анализ Common carotid intima-media thickness measurements in cardiovascular risk prediction: a meta-analysisDen Ruijter HM, Peters SA, Anderson TJ и др. JAMA 2012;308:796–803 · 14 когорт, 45 828 человек · PMID 22910757Свод индивидуальных данных четырнадцати популяционных исследований, наблюдение 11 лет, 4007 первых инфарктов и инсультов. Сначала заново подогнали шкалу Фрамингема, затем добавили к ней измерение толщины стенки. Точность прогноза (C-статистика) 0,757 (95% ДИ 0,749–0,764) против 0,759 (0,752–0,766). Чистая переклассификация 0,8% (0,1–1,6%); у людей промежуточного риска 3,6% (2,7–4,6%). Вывод авторов: улучшение «вряд ли имеет клиническое значение».
- Bots ML, Groenewegen KA, Anderson TJ и др. Hypertension 2014;63:1173–1181 · 16 работ, 17 254 человека · PMID 24614213Тот же вопрос, но отдельно у людей с повышенным давлением — то есть там, где это измерение назначают чаще всего. Наблюдение около 10 лет, 2014 первых инфарктов и инсультов. C-статистика одинакова до и после — 0,73. Переклассификация 1,4% (95% ДИ от −1,1 до 3,7), то есть неотличима от нуля. У подгруппы промежуточного риска (n=5008) прибавка 5,6% (1,6–10,4) — небольшая, но значимая; это единственное место, где измерение хоть что-то добавляет.