Джерри Мюллер

Тирания показателей: Как одержимость цифрами угрожает образованию, здравоохранению, бизнесу и власти

Посвящается Питеру Догерти

Те, кто считает, что всё не поддающееся количественной оценке просто не существует, уверены в существовании всего, что можно представить количественно.

Аарон Хаспел

Введение

Показанный кабельным каналом HBO сериал «Прослушка» (The Wire) основан на реальном опыте создателей, Дэвида Саймона и Эда Бернса. Его считают одним из величайших достижений современной культуры, и для этого есть веские основания. Хотя действие в нем разворачивается в одном американском городе, а именно в Балтиморе, сериал раскрывает деятельность важнейших институтов общества — полиции, школ, муниципальной администрации и средств массовой информации. Сериал — своего рода рентгенограмма работы этих институтов и ее негативных аспектов. Он вызывает интерес и за пределами США, поскольку поднятые в нем проблемы актуальны для всех западных стран.

Одна из сквозных тем сериала — значимость, которую придают количественным показателям, или оценке результативности, как центральному звену «учета». Полицейское начальство не видит ничего, кроме цифр — количества раскрытых дел и задержанных торговцев наркотиками, уровня преступности и т. п., — и жертвует эффективностью ради хорошей статистики. Цифры нужны политикам, которые хотят видеть успехи полиции в борьбе с преступностью. Поэтому в отделениях полиции делают всё, лишь бы избежать регистрации убийств на своих участках: когда шайки наркоманов подбрасывают трупы в заброшенные дома, сержант убойного отдела не горит желанием обнаружить их — это ведь снизит «уровень раскрываемости», то есть процент раскрытых преступлений. В центре сюжета находятся преданные своему делу детективы, которые хотят раскрутить сложное уголовное дело против крупного наркобарона. Но на расследование нужны месяцы, если не годы, а с точки зрения руководства, лучше вылавливать побольше мелкой рыбешки и, таким образом, повышать показатели работы. Городская администрация требует, чтобы к концу года уровень серьезных преступлений снизился на 5 %, а достичь этого можно только ценой отказа от регистрации реальных преступлений или занижения их тяжести. И то и другое — не что иное, как «приукрашивание статистики», то есть улучшение показателей за счет искажения реальных данных или траты времени и сил не на предупреждение преступлений, а на менее продуктивную работу.

Другая сюжетная линия связана с бывшим полицейским, который преподает в средней школе в районе для бедных, где много неполных семей и распространена наркомания. В школе низкая успеваемость, и, если результаты экзаменов не улучшатся, ее могут закрыть. Так вот, за шесть недель до стандартизированных тестов по чтению и письму директор школы дает учителям указание заниматься только подготовкой к тестам, а об остальных предметах просто забыть (эту стратегию обозначают эвфемизмом «подстраивание учебного плана»). «Натаскивание на тест», как и приукрашивание статистики, это способ введения в заблуждение, поскольку силы направляются не на истинную цель (общеобразовательную подготовку), а на достижение целевых показателей, от которых зависит существование учреждения.

Извращающий идею эффект применения показателей результативности наблюдается и по другую сторону Атлантики, в Великобритании [Gwyn Bevan and Christopher Hood, “What’s Measured Is What Matters: Targets and Gaming in the English Public Health System”, Public Administration 84, no. 3 (2006), pp. 517–53.]. Там то же самое явление показано в телесериале «Тела» (Bodies), сценарий для которого написал Джед Меркурио, бывший врач. Его действие разворачивается в отделении акушерства и гинекологии крупной городской больницы. В первой серии недавно приехавший в город хирург делает сложную операцию пациентке, которая в результате умирает. Соперник этого врача дает ему такой совет: «Высококлассный хирург должен, опираясь на свой опыт, избегать ситуаций, опасных для его репутации». Другими словами, он советует избегать тяжелых случаев, чтобы поддерживать высокий процент успеха. Это классическая стратегия «снятия сливок», то есть избегания рискованных случаев, которые могут отрицательно сказаться на показателе результативности. Цена этого подхода такова: пациентов с высоким риском неблагоприятного исхода просто оставляют без хирургической помощи.

«Тела» — художественное произведение, но явления, о которых в нем говорится, вполне реальны. Многочисленные исследования показывают, что при оценке хирургов или их вознаграждения на основе процента успешных операций часть из них отказывается оперировать пациентов в тяжелом или критическом состоянии. Исключение сложных случаев, связанных с высоким риском, улучшает результаты работы хирургов и, соответственно, повышает репутацию и заработки. Разумеется, все это достигается за счет исключенных пациентов, которые платят за успех хирургов своей жизнью. Но потеря этих жизней ни в чей показатель результативности не входит.

Игра с цифрами идет во всех сферах: в охране правопорядка, в образовании, в здравоохранении, в некоммерческих организациях и, конечно же, в бизнесе. При этом игра с цифрами — лишь одна из проблем, неизбежно возникающих, когда показатели результативности используются как основа для вознаграждения или взыскания. Есть вещи, которые можно измерить. Есть вещи, которые полезно измерять. Но поддающееся измерению не всегда оказывается тем, что нужно измерять. Измеряемое может не иметь никакого отношения к тому, что мы на самом деле хотим узнать. Затраты на измерения могут превышать приносимую пользу. Измерения могут отвлекать нас от действительно важных вещей. К тому же измерения могут давать превратное представление, которое выглядит обоснованным, а на самом деле вводит в заблуждение.

Мы живем в век отчетности, вознаграждений за результаты деятельности и веры в благо раскрытия количественных показателей в соответствии с политикой «прозрачности». Но отождествление отчетности с количественными показателями и прозрачностью вводит в заблуждение. Под отчетностью следует понимать ответственность человека за свои действия. Но в результате передергивания отчетность стала означать демонстрацию успехов с помощью стандартных показателей, словно значение имеет только то, что можно подсчитать. Другая исходная посылка (ее часто принимают как само собой разумеющуюся) гласит: «Отчетность требует, чтобы результаты деятельности были открытыми для общественности, то есть прозрачными».

От зацикленности на количественных показателях — прямой путь к оценке результатов деятельности, их публикации и использованию для определения размера вознаграждения зачастую вопреки свидетельствам того, что такой подход не слишком адекватен.

При должном использовании количественные оценки — хорошее дело, точно так же, как и прозрачность. Вместе с тем они могут приводить к искажениям, к отвлечению внимания и ресурсов, к подменам, к рассеиванию сил и разочарованиям. Хотелось бы, конечно, жить в эпоху измерений, однако на деле это эпоха неправильных, избыточных, лукавых и контрпродуктивных измерений. Эта книга не о пороках измерения, она о непреднамеренных негативных последствиях попыток подменить основанные на опыте и знаниях суждения стандартными показателями результативности. Проблема не в измерениях, а в их чрезмерности и неадекватности — не в количественных показателях, а в патологической зацикленности на них.

Нам часто говорят, что сбор показателей результативности и их открытая публикация позволяют улучшить функционирование наших институтов. Причем нигде не расхваливают пользу учета, показателей результативности и прозрачности сильнее, чем в сфере здравоохранения. Это и понятно, ведь ни от одной другой сферы не зависит так много. Помимо того, что на сектор здравоохранения приходится более 17 % ВВП США, в нем в буквальном смысле решаются вопросы жизни и смерти. Если следовать логике, то измерение результативности должно помогать экономить деньги и спасать жизни.

Считается, что сбор данных о проценте успешных операций, или о коэффициенте выживаемости пациентов по больницам, полезен. Если государственные ведомства или частные страховые компании платят врачам или больницам в зависимости от процента успешных операций, это повышает их заинтересованность в повышении качества обслуживания. А если данные о результатах деятельности открыто публикуются, то это помогает людям выбирать врачей и больницы. Таким образом, количественные показатели, отчетность и прозрачность становятся средством устранения недостатков в здравоохранении. Что тут может быть не так?

Как мы уже видели, «не так» может быть очень многое. Когда в основу системы вознаграждения и мотивации кладут количественные показатели, хирурги, как и другие специалисты под жестким контролем, начинают заниматься «снятием сливок», то есть просто избегать рискованных случаев. Если больницы наказывают за высокий процент пациентов, умерших в течение 30 дней после операции, то делается все, чтобы пациенты продержались 31 день и не портили показателей [Paula Chatterjee and Karen E. Joynt, “Do Cardiology Quality Measures Actually Improve Patient Outcomes?” Journal of the American Heart Association (February 2014). Несколькими годами ранее ту же самую проблему отметил Ричард Ротстейн: Richard Rothstein, “The Influence of Scholarship and Experience in Other Fields on Teacher Compensation Reform,” pp. 87–110 in Matthew G. Springer (ed.), Performance Incentives: Their Growing Impact on American K-12 Education (Washington, D.C., 2009), p. 96; расширенная версия называлась Holding Accountability to Account: How Scholarship and Experience in Other Fields Inform Exploration of Performance Incentives in Education, National Center on Performance Incentives, Working Paper 2008–04, February 2008.]. В Англии Министерство здравоохранения в попытке сократить время ожидания помощи в отделениях неотложной помощи решило наказывать больницы, где ждать приходилось больше четырех часов. Программа оказалась успешной, по крайней мере внешне. На самом деле некоторые больницы стали держать поступающих пациентов за пределами своих стен в машинах скорой помощи до тех пор, пока персонал не убедится в том, что уложится в отведенные четыре часа [Bevan and Hood, “What’s Measured Is What Matters”.].