# Как считали эффективность вакцины "Инфлювак"

Несмотря на то, что федеральный Закон "О лекарственных средствах" запрещает проведение клинических исследований лекарственных средств на военнослужащих, в одном из высших военных учебных заведений в 1999-2000 годах было проведено испытание вакцины "Инфлювак", о чём составлен достаточно подробный "Отчёт о результатах оценки эффективности инактивированной субъединичной гриппозной вакцины "Инфлювак" фирмы "Солвей Фарма" (Нидерланды) при применении ее в практике здравоохранения" (далее – просто "отчёт") и написана статья "Результаты изучения эффективности гриппозной инактивированной субъединичной вакцины Инфлювак" (далее – просто "статья"). Отчёт утверждён высокопоставленным вакцинатором Т.А.Бектимировым, заместителем директора ГИСКа. Испытания позволили зарегистрировать вакцину в России.

Я не знаю, каким образом вакцинаторы объехали закон, и не берусь обсуждать этот вопрос. Однако упомянутый отчёт представляет собой весьма богатую коллекцию разнообразных ошибок и мошеннических приёмов, типичных для подобных документов, и поэтому я решил написать подробный комментарий по поводу его содержания.

## 1. Двойное слепое? Рандомизированное?

Официальная медицина признаёт, что испытания вакцин должны производиться двойным слепым методом. Это означает, что ни подопытные люди, ни сами экспериментаторы не должны знать о том, кто принадлежит к какой группе (прививаемой или контрольной). Кроме того, группы должны быть сформированы случайным образом из людей, не имеющих противопоказаний к прививкам. Случайное формирование (рандомизация) необходимо для того, чтобы, во-первых, сделать группы приблизительно равноценными, а во-вторых – сделать погрешности, связанные с неравноценностью, поддающимися количественной оценке методами статистики.

Как же на самом деле было организовано испытание?

В ходе проведения исследований были сформированы 3 группы наблюдения: одна основная (привита против гриппа вакциной "Инфлювак") и две контрольные, одна из которых привита против другой инфекции, другая по условиям эпидопыта была оставлена непривитой.

В коллективах, где была запланирована вакцинация против гриппа (студенты 1-4 курсов), методом случайно-выборочного распределения (единица выборки подгруппы по 15-20 человек) были сформированы 2 равноценные группы: 1268 привитых против гриппа (основная группа) и 1264 привитых против другой инфекции (контрольная группа № 1).

[...]

Как указано ранее, по условиям эпидопыта была предусмотрена и 2-ая контрольная группа, т.н. "внешнего контроля", где проведение иммунизации в коллективах не планировали. Она была образована из студентов 5-ого курса (622 человека), которые находились в тех же условиях, что и коллективы, где 50 % личного состава было привито вакциной "Инфлювак".

Из этого описания очевидны несколько грубых ошибок (если их можно назвать "ошибками" – ясно, что они допущены сознательно):

1. Прививая первую контрольную группу против "другой инфекции", экспериментаторы внесли в эксперимент посторонний фактор, делающий группы заведомо неравноценными и могущий вызвать систематическую ошибку. В результате будет невозможно установить, что именно вызвало разницу в заболеваемости гриппом между основной и первой контрольной группами: то ли гриппозная вакцина её снизила, то ли вакцина против "другой инфекции" её повысила. Тем самым весь смысл рандомизации, цель которой – устранить любую неслучайную (систематическую) разницу между группами, был потерян.
2. Вакцинаторы решили делать "единицей выборки" не отдельного человека, а учебную группу из 15-20 человек, то есть одни учебные группы в полном (или почти полном) составе получали гриппозную вакцину, а другие – нет. Нетрудно догадаться, почему было так сделано – вакцинаторы надеялись, что коллективный иммунитет "усилит" действие вакцины в привитых группах. Однако они проигнорировали тот факт, что "слепость" испытания при этом теряется: если в одних группах заболеваемость гриппом явно выше, чем в других, то легко догадаться, какие группы были привиты от гриппа (при условии, что вакцина хоть как-то работает).
3. Что касается второй контрольной группы, то совершенно очевидно, что она не была равноценна основной группе уже по той простой причине, что состояла из курсантов более старших возрастов, и никакой рандомизацией здесь дело не пахло. Да и утверждение авторов отчёта о том, о том, что пятикурсники "находились в тех же условиях", что и их товарищи с младших курсов, представляется сомнительным (рассказы офицеров, которые я слышал в армии, свидетельствовали об обратном). Очевидно, что ни о какой "слепости" при сравнении основной группы со второй контрольной и речи быть не могло, поскольку её члены не получали никакого препарата.

Кроме того, в статье говорится:

...участники исследования не имели информации о том, какой вакциной они иммунизировались. [т.е. вакциной "Инфлювак" или "от другой инфекции". – А.Я.]

Однако понятие "двойного слепого испытания" предполагает, что этой информации не должны иметь не только подопытные люди (судя по формулировке, под "участниками исследования" понимаются именно они), но и сами экспериментаторы! Надо полагать, что последним всё было известно.

С учётов всего сказанного становится совершенно очевидным, что в действительности данное испытание не было ни слепым, ни рандомизированным. Кроме того, очевидно ещё одно обстоятельство, делающее исследование неполноценным: с одной стороны, "вакцинацию проводили в октябре—ноябре"; с другой стороны, подсчёт заболеваний проводился только за "период сезонного подъема заболеваемости (с декабря по май)". Тем самым случаи болезни, возникшие непосредственно после прививок, были из исследования выброшены.

Строго говоря, после этого ценность любого результата данного исследования становится равной нулю, поскольку никто не сможет сказать, насколько названные ошибки в постановке эксперимента исказили этот результат. Однако, поскольку дальнейший "разбор полётов" представляет несомненный интерес, мы сделаем вид, что не заметили проблем со "слепостью" и рандомизацией, и продолжим изучение документа.

## 2. Считаем эффективность

Прилагаемая к отчёту таблица 1 имеет следующий вид.

Заболеваемость гриппом и ОРЗ в группах наблюдения за период сезонного подъема (с ноября 1999 по май 2000 г.)
Группы наблюдения | Численность групп | Заболели гриппом и ОРЗ | Заболеваемость гриппом на 1 тыс. наблюдений (с учетом серологического подтверждения)
абс | на 1 тыс.
Привитые вакциной «Инфлювак» (основная) | 1268 | 460 | 362,8 + 13,5* | 41,7 + 5,6*
Непривитые против гриппа (контрольная № 1) | 1264 | 630 | 498,4 + 14,1* | 186,9 + 10,9*
Итого (с 50% иммунной прослойкой) | 2532 | 1090 | 430,5 + 9,8* | 114,1 + 6,3*
Внешнего контроля (контрольная № 2) | 622 | 840 | 1350,1 | 506,3 + 20,0
Примечание. * – показатели, статистически значимо отличающиеся от соответствующих показателей в контрольной группе № 2 (при p<0,05).

Первый очевидный вопрос, возникающий при просмотре этой таблицы, состоит в том, каким образом из 622 членов второй контрольной группы (последняя строка таблицы) "заболели гриппом или ОРЗ" целых 840. Ясно, что подсчитывалось не число заболевших, а число заболеваний. То есть, если кто-то болел дважды, то он считался за "двух заболевших". Формально это правильно (показатели заболеваемости и выражаемая через них эффективность вычисляются по числу заболеваний, а не больных), но заголовок столбца "заболели гриппом или ОРЗ" выглядит нелепо. Это кажется несущественной мелочью, но на неё нужно обратить внимание, так как дальше она окажется существенной.

Ясно, что числа, находящиеся в четвёртом столбце таблицы, получены делением чисел из третьего столбца на числа из второго столбца. Проверка показывает, что они посчитаны верно: в самом деле, 460 / 1268 . 1000 = 362.8, и далее в том же духе. Но как был получен пятый столбец таблицы?

Здесь начинаются интересные дела. Вот что говорится в отчёте:

Кроме того, с целью подтверждения клинических диагнозов была проведена выборочная серологическая расшифровка заболеваний с диагнозом гриппа и ОРЗ. При этом у 52 лиц, привитых против гриппа, и 80 непривитых были взяты парные сыворотки: 1 – в начале заболевания и 2 – через 14-21 день. Эти сыворотки были исследованы в РТГА с диагностикумами, содержащими антигены штаммов вируса гриппа A/H3N2, A/H1N1 и B. По результатам исследования сывороток, взятых в динамике, диагноз гриппа подтверждался 4-х кратным и более нарастанием титров антител.

Здесь возникают "философские" вопросы – о том, что называется гриппом – реальная болезнь с конкретными симптомами или факт "4-х кратного и более нарастания титров антител" (измеряемых неизвестно с какой точностью), а также о том, как быть с другими штаммами вируса гриппа, кроме трёх вышеперечисленных (если они существуют) – получается, что вызванные ими болезни автоматически попали в разряд "ОРЗ"? И если грипп по определению является "нарастанием антител", то почему аналогичным проверкам не были подвергнуты люди, кажущиеся здоровыми? Ведь многие переносят грипп на ногах...

Проверяем арифметику. Рассмотрим строку таблицы, относящуюся к основной группе, и поделим число из пятого столбца на число из четвёртого. Получим: 41.7 / 362.8 = 0.1149. Это доля привитых лиц, у который гриппозные диагнозы подтверждались. Ищем дробь со знаменателем 52 (число привитых, у которых брались анализы), равную 0.1149: умножая 52 на 0.1149, получаем число, близкое к 6. Очевидно, диагноз подтвердился у 6 из 52 человек. Проверяем: 6 / 52 . 362.8 = 41.86. У авторов отчёта это число чуть-чуть искажено в пользу прививок – написано 41.7, но это наверняка не злой умысел, а игнорирование правил округления, которым вакцинаторские труды хронически страдают (то же самое касается числа 1350.1 в последней строке таблицы). Аналогично выясняем, что из 80 непривитых, у которых брались анализы, больными "истинным" гриппом были признаны 30 человек. Для каждый из контрольных групп числа в пятом столбце получены умножением чисел в четвёртом столбце на 30 / 80, то есть 0.375.

Это совпадает с тем, что говорится в отчёте: "...частота подтверждения гриппа в группах непривитых составили 37,5%, а в группе привитых она была существенно ниже – 11,5%". Число 114.1 в строке "Итого..." посчитано тоже верно, если закрыть глаза на очередную проблему с округлением (правильнее будет 114.3).

Таким образом, арифметика в относительном порядке. Теперь подумаем о статистике. Здесь возникают два неприятных вопроса.

1. Каким образом были выбраны люди для взятия анализов? Статистика требует, чтобы эта выборка была репрезентативной. Добиться этого можно случайным выбором. Было ли это сделано? Отчёт молчит. Статья говорит, что анализы брались "по мере обращения у заболевших гриппом или ОРЗ независимо от тяжести заболевания". Почему тогда они не были взяты у всех заболевших? Если это делалось лишь в какой-то ограниченный период времени, то налицо грубая ошибка – соотношение между "истинным гриппом" и "не гриппом" не обязано быть постоянным во времени.
2. На каком основании предполагается, что "частота подтверждения" гриппозных диагнозов одинакова у первой и второй контрольной групп? Ведь первая контрольная группа отчасти защищена коллективным иммунитетом и потому явно неравноценна второй, не говоря уже о других причинах неравноценности, упомянутых выше!

Таким образом, выборочная проверка диагнозов с помощью анализов могла привести к дополнительным ошибкам.

И ещё один момент кажется странным: с одной стороны, "во всех группах в течение 8 месяцев (октябрь-май) было организовано систематическое медицинское наблюдение", а с другой – присутствует выражение "по мере обращения". Если заболевания регистрировались не путём систематических поголовных проверок, а лишь при условии добровольных обращений больных, то здесь имеется ещё одна проблема: такими обращениями очень легко умышленно или неумышленно манипулировать, если эксперимент не является по-настоящему "слепым". Курсант прагматичен, и вероятность того, что он пойдёт к врачу по поводу пустяковой простуды, зависит от того, что он с этого будет иметь...

Кстати, не странно ли звучит утверждение о том, что заболеваемость гриппом среди курсантов-пятикурсников – молодых и крепких мужчин – составила 506 на тысячу, в то время как заболеваемость гриппом в среднем по России за 2000 год составила 2973,3 на 100 тысяч (цифра из старой таблицы с сайта ФЦГСЭН), то есть всего около 30 на тысячу?

## 3. Оценка погрешностей, или полная чепуха

Первая ошибка, допущенная при оценке погрешностей, состоит в том, что измерение концентраций антител не может быть абсолютно точным и неизбежно имеет "приборную" погрешность, которая, в свою очередь, может исказить количество подтверждённых диагнозов. Добросовестный исследователь должен был бы принять во внимание этот факт. Мы ничего не можем сказать о том, как эта ошибка повлияла на результат исследования. Закроем глаза на эту ошибку (как и на все предыдущие) и разберёмся в расчёте.

Если из n человек за время эксперимента заболевает m человек и при этом повторные заболевания невозможны, то вероятность заболевания p можно оценить как p = m / n. Умножив её на 1000, можно получить "показатель заболеваемости на 1000 человек". Среднеквадратичная погрешность оценки вероятности заболевания при этом может быть оценена как (p(1 – p) / (n – 1))1/2. Нет сомнения в том, что по этой формуле (или по эквивалентной ей) вакцинаторы посчитали погрешности, указанные в трёх строках четвёртого столбца таблицы. Однако в последней строке погрешность отсутствует. Что же помешало вакцинаторам сделать то же самое в последней строке? Очевидно, там возникла неожиданная для них проблема: под знаком квадратного корня оказалось отрицательное число! Этот факт должен был бы навести их на мысль о том, что они что-то делают неправильно. Но, очевидно, не навёл. На самом деле данная формула годится для оценки погрешности в случае, когда повторные заболевания невозможны или не учитываются, а в данном случае это не так. Это вторая ошибка, допущенная авторами при оценке погрешности и приводящая к её занижению. Более правильно погрешность такого измерения можно было оценить как (p / (n – 1))1/2. После исправления этой ошибки столбец с показателями заболеваемости гриппом и ОРЗ будет выглядеть несколько иначе:

Группы наблюдения | Заболели гриппом и ОРЗ на 1 тыс.
Привитые вакциной «Инфлювак» (основная) | 362,8 + 13,5 16,9
Непривитые против гриппа (контрольная № 1) | 498,4 + 14,1 19,9
Итого (с 50% иммунной прослойкой) | 430,5 + 9,8 13,0
Внешнего контроля (контрольная № 2) | 1350,1 + 46,6

Рассмотрим теперь третью ошибку, которая допущена при вычислении погрешностей "откорректированной" заболеваемости в пятом (правом) столбце таблицы 1 и которая имеет, можно сказать, катастрофический характер. Эту погрешность, недолго думая, взяли да посчитали по той же самой формуле, проигнорировав тот факт, что "откорректированная" заболеваемость получена вовсе не делением числа заболевших на число испытуемых, а совсем другим способом! Вспомним, как был получен последний столбец таблицы 1. Были взяты числа из четвёртого столбца той же таблицы, погрешности которых посчитаны (хоть и неправильно). Далее эти числа были умножены на "частоту подтверждения" гриппозного диагноза, которая имеет свою собственную погрешность, и притом большую – ведь серологическая проверка была проведена у очень небольшого числа людей. Погрешность частоты подтверждения можно с чистой совестью оценивать по вышеприведённой формуле. Для основной группы имеем: p = 6 / 52 = 0.1154; тогда 1 – p = 0.8846; погрешность составит (0.1154 . 0.8846 / 51)1/2 = 0.04474. Это погрешность оценки "частоты подтверждения" для основной группы. Поскольку сама частота оказалась равной 0.1154, мы хорошо видим, насколько неточно она посчитана: относительная погрешность равна 0.04474 / 0.1154 = 0.388, то есть среднеквадратичная погрешность составляет 38.8% от самой величины! Итак, число 41.7 в пятом столбце таблицы 1 есть произведение двух величин, каждая из которых посчитана с некоторой погрешностью. Как оценить погрешность произведения? Точный расчёт здесь довольно длинный, но существует простое приближённое правило, состоящее в том, что при перемножении или делении независимых величин, распределённых нормально, суммируются квадраты их относительных погрешностей. Оно хорошо работает, когда относительные погрешности близки к нулю. В нашем случае это не совсем так, поэтому оценка погрешности может быть несколько занижена, но для ориентировочного расчёта сгодится и это. Применение этого правила в нашем случае даёт относительную погрешность произведения около 39%, а абсолютную – 16.3 на 1000. Проводя аналогичные вычисления для группы непривитых против гриппа и и для группы внешнего контроля (для строки «Итого (с 50% иммунной прослойкой)» расчёт несколько другой), исправляем их и получаем:

Группы наблюдения | Заболели гриппом и ОРЗ на 1 тыс. | То же, с учётом серологического подтверждения
Привитые вакциной «Инфлювак» (основная) | 362,8 + 13,5 16,9 | 41,7 + 5,6 41,9 + 16,3
Непривитые против гриппа (контрольная № 1) | 498,4 + 14,1 19,9 | 186,9 + 10,9 28,1
Итого (с 50% иммунной прослойкой) | 430,5 + 9,8 13,0 | 114,1 + 6,3 16,3
Внешнего контроля (контрольная № 2) | 1350,1 + 46,6 | 506,3 + 20,0 75,6

Разумеется, здесь предпринята попытка исправить лишь те ошибки, которые сделаны при обработке результатов. Прочие ошибки, связанные с постановкой эксперимента, невозможно исправить без повторения всего опыта. Тем не менее, отсюда ясно, что индекс эффективности вакцины (получаемый делением 186.9 на 41.7) на самом деле посчитан крайне грубо, с очень большой погрешностью (в среднеквадратичном смысле превышающей 40% от самого индекса). Вакцинаторы недооценили эту погрешность в несколько раз.

## 4. Нечто вроде заключения

Несмотря на то, что задача об экспериментальной оценке эффективости вакцины в традиционной постановке по существу очень проста, мы видим, что обсуждаемый "научный труд", как и многие ему подобные, выполнен на уровне, достойном студента-двоечника. То, что обладатели высоких учёных степеней и званий продемонстрировали вопиющую безграмотность при постановке экспериментов и обработке их результатов, печально. Однако ещё печальнее то, что я не видел ни одной действительно грамотной и полностью корректной работы на данную тему. Плохо искал? Возможно, но маловероятно: во-первых, искал не только я; во-вторых, если бы добросовестные и убедительные исследования эффективности и безопасности вакцин действительно существовали, то они бы не прятались в пыльных архивах и малотиражных специализированных журналах, а лежали бы в Интернете и других легкодоступных местах у всех на виду и активно рекламировались. Почему же их не видно? Это первый вопрос, который не может не настораживать.

Второй тревожный вопрос состоит в следующем. Если вакцинаторы демонстрируют потрясающую глупость и безграмотность при решении простейшей задачи, то какого качества следует от них ожидать при исследованиях сложнейших процессов в организме человека, которыми занимается так называемая иммунология? Возникают естественные опасения, что там дела могут обстоять ещё намного хуже. Хотя, казалось бы, дальше уже некуда.

Александр Ястребов

Данный текст или его фрагменты можно копировать и использовать как угодно при условии, что текст или его фрагменты не подвергаются изменениям, а извлечение цитат из контекста не приводит к искажению смысла.