Истина, вера и пределы знания

Модуль 02 из 24 · мир I «Реальность» · лекция, источники, кейс, практика и встреча с партнёрами · около 4 часов на неделю

Как работать с этим учебником

  1. Познакомься с наставником. 8 коротких вопросов, около 12 минут. По ответам учебник подстроит примеры, выжимки источников и вопросы после глав под твою сферу и задачи.
  2. Выбери свой случай. Это настоящая ситуация из твоей жизни, на которой ты проходишь модуль. Наставник предложит варианты.
  3. Читай и выделяй. Любую фразу можно сохранить в заметки, попросить объяснить, приложить к своему случаю или обсудить с партнёрами и потоком.

Зачем этот модуль и что ты с него получишь

Одним абзацем. Мы каждый день действуем по прогнозам — своим и чужим: сколько займёт работа, вырастет ли доход, как поведёт себя начальник или покупатель, что советует врач, консультант или опытный знакомый. Почти никто не знает, насколько точны эти прогнозы, потому что их не записывают и не проверяют. «Я уверен» может значить и шесть шансов из десяти, и девять — разница стоит больших денег. Модуль учит мерить уверенность: записывать прогнозы в цифрах, обновлять их по новым данным и проверять советы, которым ты доверяешь, — на примере одного совета или прогноза, который ты принял без проверки.

Что у тебя будет к воскресенью

Результат Что это даёт на практике
Первый лист журнала прогнозов: десять прогнозов на 2–6 недель с вероятностями Через полгода ты узнаешь, что на самом деле значит твоё «почти наверняка»
Разбор одного совета, которому ты доверяешь Видно, на чём держится доверие и где его стоит проверить
Правило обновления для главного прогноза Новость не придётся оценивать в горячке: заранее известно, что сдвинет мнение
Три вопроса к любому совету Можно сразу применить к консультантам, советникам и совету директоров
Позиция вслепую по случаю автора недели (если автор не ты) Тренировка оценивать чужую уверенность

Где это пригодится в ближайший месяц

  • Своё дело. План продаж и бюджет — прогноз в цифрах вместо «скорее всего»; совет консультанта — три вопроса до того, как платить за его реализацию.
  • Работа по найму. Обещание начальника о повышении, слухи о сокращении, совет «тебе пора в менеджмент»: насколько этому верить и как проверить за неделю.
  • Сам на себя. Обещание заказчика «будет ещё много работы», совет коллег о ставке: прогноз в цифрах и дата проверки.
  • Дом и семья. Совет врача, учителя, школьного психолога, родственников: три вопроса до решения; как читать «тест положительный» с поправкой на базовую частоту.
  • Переход. Совет карьерного консультанта, обещания курсов переподготовки, «в этой профессии всегда есть работа»: на чём держится уверенность и сколько людей с таким путём правда нашли место.

Как модуль связан с курсом

Модуль начинает журнал прогнозов, который ведётся весь курс. В модуле 01 появился журнал убеждений, в модуле 08 на тех же прогнозах строится запись решения. К финалу курса журнал покажет твою личную точность — она и станет одним из итогов курса.

Как работать с текстом

Учебник живой. В начале недели ты одной фразой называешь совет или прогноз, которому доверяешь без проверки, и наставник держит его в уме при чтении. Подробно — во вкладке «Как устроен модуль».

Карточка модуля

Где этот модуль в курсе. Модуль входит в мир I «Реальность» вместе с модулями 01 и 03. Тройка проходит за неделю один из трёх. Модуль 02 выбирают, когда решение автора держится на прогнозе или совете, которому он доверяет без проверки.

Главная мысль. Граница между знанием и уверенным мнением размыта, поэтому полезнее говорить не «знаю» или «не знаю», а «уверен на столько-то процентов». Уверенность можно мерить, обновлять по данным и проверять. Доверять другим необходимо — вопрос в том, кому и в чём.

Что человек сможет к концу недели:

  1. Записать прогноз так, чтобы его можно было проверить.
  2. Сдвинуть уверенность после новости — в нужную сторону и примерно насколько нужно.
  3. Прочитать результат проверки с поправкой на базовую частоту.
  4. Отличить советника, интуиции которого можно доверять, от того, чьей нельзя.
  5. Вести журнал прогнозов.

Источники недели. Наука: Тетлок, Гигеренцер, Канеман и Кляйн. Философия: Платон, Юм, Рассел, Байес, Геттиер. Духовные традиции: «Калама сутта». Литература: Конан Дойл. Кейс: Theranos.

Вход (понедельник, 5 минут)

Личный вопрос модуля. Вспомни совет, которому ты последовал без проверки и который оказался неверным. Почему ты поверил?

Замер «до». Оцени от 0 до 10, насколько ты согласен. В воскресенье оценишь те же утверждения снова.

  • «Когда я говорю „уверен“, это почти всегда сбывается».
  • «Я знаю, кому из своих советников можно верить в каких вопросах».
  • «Я меняю мнение, когда приходят новые данные».

ИИ на входе задаёт один вопрос: «Какой совет или прогноз сейчас сильнее всего влияет на твои решения — и откуда он?» — и запоминает ответ.

Лекция

Глава 1. Знать, думать, верить

Друг предлагает вложить сбережения в его новое дело (пример). «Через год верну с прибылью, я уверен». Ты знаешь его пять лет, он ни разу не подвёл. Деньги переведены. Через год он возвращает половину. Друг не лгал: он действительно был уверен. Ты тоже не был наивен: у тебя были основания верить. Так же звучит начальник, который обещает повышение «к весне», или врач, который уверен в диагнозе. Чего не хватило? Ни один из них не спросил: «Уверен — это сколько? Шесть шансов из десяти или девять? И по какому признаку мы через полгода поймём, что ошиблись?»

Этот модуль — о том, как отличать знание от уверенного мнения и как сделать свою уверенность точнее. Не отказаться от неё, а научиться её мерить.

Платон: знание — истинное мнение с обоснованием. Философия В диалоге «Теэтет» Сократ и юный математик Теэтет ищут, что такое знание. Одна из версий, которую они разбирают (201c–d, наш перевод с греческого): истинное мнение вместе с объяснением и есть знание. Человек, который угадал верный ответ, не знает его — он просто оказался прав. Знает тот, кто может объяснить, почему это так.

Отсюда первое различение: правильный прогноз — ещё не знание. Тот, кто угадал рост рынка, повышение или исход болезни, мог угадать случайно. Знание видно не по одному попаданию, а по тому, сможет ли он объяснить, на чём держался прогноз, и попадёт ли снова. Сам Сократ, кстати, в конце диалога отвергает и это определение: ни одно не выдерживает проверки. Диалог заканчивается признанием, что они не знают, что такое знание.

Собака, которая не лаяла. Литература В рассказе Артура Конан Дойла «Серебряный» (1892) пропадает знаменитый скаковой конь, а его тренер найден мёртвым. Инспектор полиции собирает улики. Холмс обращает его внимание на странное поведение собаки в ту ночь. «Но собака никак себя не вела», — возражает инспектор. «Это и было странно», — отвечает Холмс (наш перевод). Собака не залаяла — значит, ночью в конюшню пришёл кто-то, кого она хорошо знала.

Хороший вопрос к любому отчёту, плану или совету — не только «что здесь сказано?», но и «чего здесь нет, хотя должно быть?».

Критика. Философия В 1963 году американский философ Эдмунд Геттиер опубликовал статью на три страницы, которая поставила под вопрос формулу «знание — это истинное обоснованное мнение». Он придумал случаи, где у человека есть веские основания и мнение оказывается верным — но верным по случайности, не из-за этих оснований. Похожий пример ещё раньше приводил Бертран Рассел: человек смотрит на часы, они показывают три, и сейчас действительно три — но часы остановились ровно сутки назад. Философы спорят о таких случаях до сих пор. Для нас вывод практический: граница между «знаю» и «уверен» размыта. Поэтому полезнее не делить мир на знаю и не знаю, а говорить о степени уверенности.

Вопрос к главе. В чём ты уверен на 100% — и на чём держится эта уверенность?

Глава 2. Проблема будущего

Юм: ожидание держится на привычке. Философия Шотландский философ Дэвид Юм в «Исследовании о человеческом познании» (1748) задал вопрос, на который нет хорошего ответа до сих пор. Почему мы уверены, что завтра солнце взойдёт? Потому что так было всегда. Но из того, что так было, логически не следует, что так будет: мир мог бы измениться, и в этом нет противоречия. Юм заключает: ожидание повторения держится не на разуме, а на привычке. Видя много раз одно и то же, мы начинаем ждать этого снова.

Юм не призывал перестать ждать. Он показывал, что за самыми твёрдыми нашими прогнозами стоит не доказательство, а привычка.

Курица Рассела. Философия Бертран Рассел в «Проблемах философии» (1912) пересказал мысль Юма образом, который трудно забыть. Курица, которую каждый день кормит фермер, с каждым днём всё увереннее ждёт корма. И с каждым днём её уверенность растёт — вплоть до дня, когда фермер вместо корма сворачивает ей шею. Чем дольше ряд, тем сильнее уверенность, и тем больнее ошибка.

Курица — образ для дела, которое годами растёт на одном клиенте, для карьеры, которая держится на одном начальнике, для семьи, которая живёт на один доход. Длинный ряд удач не уменьшает риск. Иногда он его скрывает.

Сократ: знаю, что не знаю. Философия В «Апологии» Платона Сократ рассказывает на суде, как проверял слова оракула о том, что он мудрейший из людей. Он ходил к политикам, поэтам и ремесленникам, которых считали мудрыми, и выяснил: каждый думает, что знает многое, а на деле не знает. Сократ заключает (21d, наш перевод): он мудрее их в одном — чего не знает, то и не думает, что знает.

Это не скромность, а рабочая позиция. Эксперт, который точно знает границы своего знания, полезнее эксперта, который знает больше, но не знает, где кончается его знание.

Критика. Философия Из проблемы индукции нельзя сделать вывод «не верь опыту». Всякий опыт — ставка на повторение, и другого способа учиться нет. Даже курица, отказавшаяся от корма, умерла бы раньше. Вопрос не в том, верить ли прошлому, а в том, насколько и до какого события. Хороший прогноз говорит: «я жду повторения с вероятностью 80 процентов, пока не случится вот это».

Вопрос к главе. Какой твой прогноз держится только на том, что «так было всегда»?

Глава 3. Обновлять уверенность по данным

Байес: уверенность с поправкой. Философия Английский священник Томас Байес оставил после смерти рукопись о том, как пересчитывать вероятность, когда появляются новые данные. Его друг Ричард Прайс опубликовал её в 1763 году. Мысль проста. У тебя есть начальная уверенность. Приходит новое свидетельство. Насколько оно должно тебя сдвинуть? Ровно настолько, насколько это свидетельство вероятнее, если ты прав, чем если неправ.

Пример (пример). Ты на 50 процентов уверен, что тебя возьмут после второго собеседования. Тебе перенесли встречу с руководителем. Если тебя собираются брать, такое бывает, скажем, в одном случае из десяти. Если собирается уходить — в трёх из десяти. Свидетельство в три раза вероятнее при плохом исходе, и уверенность должна упасть — примерно до 25 процентов. Не до нуля и не остаться на месте.

Врачи и тест на рак. Исследование Немецкий психолог Герд Гигеренцер много лет задаёт врачам одну задачу. Женщина 50 лет проходит маммографию, результат положительный. Какова вероятность, что у неё рак? Данные: рак есть примерно у 1 процента женщин этого возраста; тест находит его в 90 процентах случаев; у здоровых даёт ложную тревогу в 9 процентах. В 2007 году на семинаре 160 гинекологов большинство назвали 80–90 процентов. Правильный ответ — около 10.

Гигеренцер показал, что дело не в глупости, а в форме чисел. Скажите то же в натуральных частотах: из 1000 женщин у 10 рак, у 9 из них тест положительный; из 990 здоровых положительный тест у 89. Всего положительных 98, из них больных 9 — меньше одной десятой. После одного занятия так считали 87 процентов врачей.

Базовая частота. Исследование Ошибка врачей — частный случай общей: мы смотрим на силу сигнала и забываем, насколько редко случается то, о чём он говорит. Резюме кандидата блестящее — но сколько из сотни кандидатов с блестящим резюме оказываются блестящими сотрудниками? Курсы обещают новую профессию за полгода — но сколько их выпускников через год работают по ней? Даниэль Канеман и Амос Тверски показали десятками опытов, что люди почти игнорируют базовую частоту, если перед ними яркая конкретная история. В модуле 08 это станет инструментом «взгляд снаружи».

Критика. Философия У подхода Байеса есть слабое место: он требует начальной уверенности, а её часто неоткуда взять. Два человека с разными начальными оценками придут к разным выводам из одних и тех же данных. И цифры вроде «в одном случае из десяти» в жизни почти всегда — тоже оценки. Формула не заменяет суждения. Она полезна тем, что заставляет назвать свои оценки вслух и показывает, в какую сторону и примерно насколько должно сдвинуться мнение.

Вопрос к главе. Какое последнее событие должно было изменить твою уверенность — и изменило ли?

Глава 4. Кому верить

Когда верить интуиции эксперта. Исследование Даниэль Канеман много лет показывал, как ошибается интуиция. Гэри Кляйн много лет изучал пожарных, военных и врачей, чья интуиция спасает жизни. В 2009 году они написали совместную статью и неожиданно для себя договорились. Интуиции эксперта можно доверять при двух условиях. Первое: среда достаточно повторяема, в ней есть закономерности, которые можно выучить. Второе: у эксперта было много практики с быстрой и ясной обратной связью. Пожарный, шахматист, анестезиолог проходят этот тест. Биржевой аналитик, политический обозреватель и человек, предсказывающий успех стартапов на десять лет вперёд, — как правило, нет.

Уверенный голос. Исследование Психолог Филип Тетлок почти двадцать лет собирал прогнозы сотен экспертов по политике и экономике — всего десятки тысяч прогнозов — и потом сверял их с тем, что случилось. Результат книги «Экспертное политическое суждение» (2005): в среднем эксперты предсказывали лишь немногим лучше простых правил. Хуже других были самые уверенные, у которых на всё один большой ответ. Именно их чаще всего приглашали на телевидение. Мы слышим уверенность как знание, хотя связь между ними слабая.

Калама сутта: проверяй сам. Духовные традиции Жители селения Кесапутта, каламы, жалуются Будде: к ним приходят разные учителя, каждый хвалит своё учение и ругает чужие, — кому верить? В ответе, который сохранила «Калама сутта» (Ангуттара-никая 3.65), Будда перечисляет, на что не стоит опираться: на устное предание, на традицию, на слухи, на священные тексты, на логику и умозаключения, на то, что мысль совпадает с твоим мнением, на то, что говорящий кажется знающим, и даже на то, что он твой учитель. Когда вы сами знаете, что это ведёт к пользе, — тогда принимайте.

Редкий случай, когда религиозная традиция советует проверять в том числе её саму.

Критика. Философия «Проверяй сам» — хороший принцип, который невозможно выполнить целиком. Никто не проверяет сам безопасность самолёта, качество лекарства или отчётность банка. Без доверия к другим жизнь остановилась бы. Вопрос не в том, доверять ли, а кому и в чём. Доверие к пилоту в вопросах полёта разумно; доверие к тому же пилоту в вопросах инвестиций — нет. Условия Канемана и Кляйна помогают провести эту границу.

Вопрос к главе. Твой главный советник получает быструю обратную связь в том, о чём он тебе советует?

Глава 5. Набор инструментов

Прогноз в цифрах. У проверяемого прогноза четыре части:

  1. Событие — что именно случится.
  2. Вероятность — от 50 до 95 процентов; меньше 50 — запиши обратный прогноз.
  3. Дата — когда станет ясно.
  4. Признак — по которому любой посторонний скажет, сбылось ли.

«Скорее всего получится» — не прогноз. «С вероятностью 70 процентов договор подписан (или оффер получен) до 15 декабря» — прогноз.

Журнал прогнозов. Записывай прогнозы в одну таблицу и проверяй в срок. Через полгода сгруппируй их по уверенности: сколько из твоих «70 процентов» сбылось? Если около 70 — ты откалиброван. Если 50 — ты самоуверен. Если 90 — ты занижаешь себя. Это единственный надёжный способ узнать, что значит твоё «я уверен». С этого модуля журнал ведётся весь курс.

Правило обновления. Для главного прогноза запиши заранее: какое событие сдвинет мою уверенность на 20 пунктов вверх, а какое — вниз. Тогда новость, когда она придёт, не придётся оценивать в горячке.

Три вопроса к совету.

  1. На чём основан совет — на опыте, данных или чужих словах?
  2. Получает ли советник быструю и ясную обратную связь в этом вопросе?
  3. Что он теряет, если неправ? Если ничего — совет стоит меньше.

Критика. Философия Вероятности в процентах выглядят научно, и в этом их опасность: цифра «70 процентов» легко начинает восприниматься как факт. Это не так. Прогноз в цифрах — не знание, а честная запись того, насколько ты не знаешь. Его ценность не в точности одной цифры, а в том, что через полгода её можно проверить вместе с сотней других.

Хрестоматия

Пять текстов о границах знания: два древних, два XVIII века по духу и один современный. Читать лучше во вторник вечером, когда десять прогнозов уже записаны.

1. Платон. «Теэтет», 201c–210b (IV в. до н. э.) Философия

Выжимка. Верное мнение — ещё не знание; знание требует объяснения, но и это определение не выдерживает проверки.

Для тебя. Спроси о своём главном прогнозе: могу ли я объяснить, почему он сбудется, — или просто надеюсь?

Проверим в практике. Упражнение 1: у каждого прогноза — основание.

О чём. Сократ и Теэтет пробуют три определения знания: знание — это ощущение; знание — это истинное мнение; знание — это истинное мнение с объяснением. Против второго Сократ приводит судей: красноречивый оратор может убедить их в верном, и они вынесут верный приговор, но знать, как было дело, может только очевидец. Третье определение тоже рушится: непонятно, что считать объяснением. Диалог кончается без ответа.

Комментарий. Диалог без ответа — не неудача, а честность. Сократ показывает, что даже самые умные люди не могут чётко провести границу знания. Практический вывод: не требуй от себя «знать», требуй честно сказать, насколько уверен и почему.

Вопрос себе. Какой твой прогноз совпал с тем, что случилось, но ты не смог бы объяснить почему?

2. Дэвид Юм. «Исследование о человеческом познании», разделы IV–V (1748) Философия

Выжимка. Из прошлого не следует будущее; ожидание повторения — привычка, а не доказательство.

Для тебя. Найди прогноз, который держится только на «так было всегда».

Проверим в практике. Упражнение 3: правило обновления — что покажет, что привычка обманула.

О чём. Юм делит наши знания на два вида: отношения идей (как в математике, где противоположное немыслимо) и факты (где противоположное всегда возможно). Все выводы о фактах, которых мы не наблюдали, держатся на причине и следствии, а знание о причинах — на опыте. Но опыт говорит только о прошлом. Почему мы переносим его на будущее? Юм отвечает в пятом разделе: из-за привычки. Видя одно за другим много раз, ум начинает ждать второго, когда видит первое.

Комментарий. Юм не учит не верить опыту — он сам признаёт, что без привычки мы не прожили бы и дня. Он учит помнить, на чём держатся самые твёрдые ожидания. Для жизни это вопрос: какой из моих прогнозов выдержит изменение условий, а какой — только повторение прошлого?

Вопрос себе. Что в твоём деле работает много лет и потому кажется вечным?

3. «Калама сутта» (Ангуттара-никая 3.65) Духовные традиции

Выжимка. Не принимай на веру из-за предания, авторитета или красивых доводов; принимай то, что сам видишь полезным.

Для тебя. Определи, на чём держится твоё доверие к главному советнику.

Проверим в практике. Упражнение 2: разбор одного совета.

О чём. Каламы из селения Кесапутта спрашивают Будду, как разобраться между учителями, которые хвалят себя и ругают других. Будда называет десять оснований, на которые не стоит опираться: предание, традиция, слух, писание, логика, умозаключение, рассуждение о причинах, согласие с собственным взглядом, внушающий доверие вид говорящего, уважение к учителю. Затем предлагает другой путь: смотри, к чему ведёт то или иное — к вреду и страданию или к пользе и покою, — и решай по этому.

Комментарий. Сутту часто цитируют как призыв «не верь никому». Это неточно: Будда предлагает не отказ от доверия, а проверку по последствиям. Ближе к научному методу, чем к скептицизму.

Вопрос себе. Какой совет ты принял, потому что тебе понравился тот, кто его дал?

4. Даниэль Канеман и Гэри Кляйн. «Условия интуитивной экспертизы» (2009) Исследование

Выжимка. Интуиции эксперта можно доверять в повторяемой среде и при быстрой ясной обратной связи.

Для тебя. Проверь своего советника по двум условиям.

Проверим в практике. Три вопроса к совету.

О чём. Два исследователя с противоположными взглядами на интуицию — скептик и её защитник — несколько лет спорили и написали общую статью. Они сошлись в том, что уверенность эксперта сама по себе ничего не говорит о точности: эксперты бывают уверены и там, где их интуиция ничего не стоит. Решают условия: есть ли в среде устойчивые закономерности и была ли у человека возможность их выучить — много практики с быстрой и ясной обратной связью.

Комментарий. Ценно не только содержание, но и способ: два человека, расходившиеся во мнениях, проверили спор вместе. Это образец для тройки.

Вопрос себе. В каких вопросах твоя собственная интуиция проходит этот тест, а в каких — нет?

5. Герд Гигеренцер и соавторы. «Как помочь врачам и пациентам понимать статистику здоровья» (2007) Исследование

Выжимка. Люди путаются в процентах, но верно считают в натуральных частотах.

Для тебя. Перепиши один вероятностный вывод в виде «из 100 случаев».

Проверим в практике. Самопроверка, вопрос о тесте.

О чём. Обзор показывает, что врачи, пациенты и журналисты систематически неверно понимают медицинскую статистику: результаты тестов, снижение риска, пользу скрининга. Авторы считают, что дело не в способностях, а в том, как подаются числа. Натуральные частоты — «из 1000 человек у 10…» — делают задачу понятной почти всем.

Комментарий. То же верно для отчётов совета директоров и инвестиционных записок. Если вывод нельзя пересказать в виде «из 100 похожих случаев…», скорее всего, его не понимает и сам автор.

Вопрос себе. Какой процент в твоих отчётах никто, включая тебя, не перевёл в «сколько случаев из ста»?

Дополнительно для любителей литературы Литература

Артур Конан Дойл, «Серебряный» (1892) — рассказ о пропавшем скаковом коне и собаке, которая не лаяла. Текст в общественном достоянии. Читается за 40 минут. Вопрос после чтения: что в твоём деле «не залаяло», хотя должно было?

Источники: Платон и Юм пересказаны с короткими цитатами в собственном переводе; «Калама сутта» пересказана по палийскому тексту. Канеман, Кляйн, Гигеренцер — только пересказ.

Разбор кейса. Theranos: доверие без проверки

Theranos обещала делать сотни анализов по капле крови из пальца. Компания стоила около девяти миллиардов долларов, в её совете сидели бывшие министры, а крупная сеть аптек открыла у себя её пункты. Технология не работала так, как обещали. Этот кейс — не о мошенничестве как таковом, а о том, почему умные и опытные люди годами доверяли без проверки. Изложено пересказом по книге Джона Каррейру «Дурная кровь» (2018), публикациям The Wall Street Journal и материалам суда.

Как работать с кейсом. Прочитай описание каждой точки, но не читай сразу блок «Что было дальше». Сначала ответь на три вопроса.

Три вопроса к каждой точке

  1. На чём держится доверие в этот момент — на проверке, авторитете или чужом доверии?
  2. Какой простой вопрос можно было задать?
  3. Что теряет тот, кто доверяет, если окажется неправ, — и что теряет тот, кто советует?

Точка 1. 2010–2013: сеть аптек открывает пункты анализов

Ситуация. Компанию основала в 2003 году Элизабет Холмс, бросившая учёбу в Стэнфорде. К 2010 году Theranos договорилась с одной из крупнейших сетей аптек США, Walgreens, об открытии пунктов анализов. Аптечная сеть наняла консультанта по лабораторной диагностике. По книге Каррейру, он сомневался в технологии, но его так и не пустили в лабораторию; руководство Walgreens боялось, что конкурент перехватит партнёра. В сентябре 2013 года первый пункт открылся в аптеке в Пало-Альто.

Вопрос. Что было бы разумным условием запуска для аптечной сети — и почему его не поставили?

Точка 2. Совет директоров из знаменитостей

Ситуация. В совет директоров Theranos входили бывшие госсекретари, бывший министр обороны, сенаторы, военные. Это создавало доверие у инвесторов и партнёров. Специалистов по лабораторной медицине в совете почти не было. Инвесторы вкладывали деньги без проверенной финансовой отчётности и без независимой оценки технологии; оценка компании в 2014 году достигла примерно девяти миллиардов долларов.

Вопрос. По условиям Канемана и Кляйна: в каких вопросах эти люди были настоящими экспертами — и в каких нет?

Точка 3. 2015 год: публикация и ответ компании

Ситуация. В октябре 2015 года журналист The Wall Street Journal Джон Каррейру опубликовал статью: большую часть анализов Theranos делала на обычных чужих приборах, а свой прибор использовала для немногих тестов, и с точностью были проблемы. Источниками были бывшие сотрудники, среди них молодой инженер Тайлер Шульц — внук одного из членов совета директоров. Компания ответила угрозами судом и назвала статью ложной. Многие инвесторы и члены совета поначалу встали на сторону компании.

Вопрос. Что должно было случиться, чтобы член совета поверил внуку и бывшим сотрудникам, а не основательнице?

Что было дальше

В 2016 году регуляторы нашли серьёзные нарушения в лаборатории; Walgreens разорвала договор; компания аннулировала результаты своего прибора за два года. В 2018 году Комиссия по ценным бумагам США обвинила компанию и Холмс в мошенничестве, и в том же году Theranos закрылась. В январе 2022 года суд признал Холмс виновной в мошенничестве в отношении инвесторов; она была приговорена к лишению свободы на срок более одиннадцати лет.

Разбор: на чём держалось доверие

Точка 1. Доверие держалось не на проверке, а на страхе упустить. Консультант задал правильный вопрос — «можно посмотреть лабораторию?» — и на него не ответили. Отказ показать — само по себе свидетельство, и по Байесу оно должно было сильно сдвинуть уверенность.

Точка 2. Знаменитые члены совета были экспертами в политике и войне — областях, где обратная связь медленная и неясная. В лабораторной диагностике у них не было ни практики, ни обратной связи. Их доверие к основательнице стало основанием доверия для инвесторов: каждый опирался на то, что поверили другие. Это и есть то, что «Калама сутта» называет верой по авторитету.

Точка 3. Перед членами совета стояла задача из главы 3: как обновить уверенность при новом свидетельстве. Несколько независимых бывших сотрудников, которые рискуют карьерой ради своих слов, — сильное свидетельство. Ответ угрозами вместо данных — ещё одно.

Чего кейс не доказывает. Theranos — крайний случай с прямым обманом. Большинство советов, которым мы доверяем, даются честно. Кейс полезен не тем, что учит подозревать всех, а тем, что показывает механизм: доверие, которое опирается на чужое доверие, может годами расти без единой проверки.

Тот же вопрос в твоей жизни

Умные люди поверили Theranos, потому что поверили другие умные люди. У каждого есть совет, который держится на чужом доверии, а не на проверке:

  • Своё дело. Консультант или известный инвестор, которому поверили, потому что ему верят все в отрасли.
  • Работа по найму. Начальник, который «всегда знает», куда идёт компания; общее мнение отдела о том, что сокращений не будет.
  • Сам на себя. Совет «так делают все в нашей профессии» о ставке, площадке или специализации.
  • Дом и семья. Врач, учитель или родственник, которому верят в семье, потому что ему всегда верили.
  • Переход. Курсы, наставник или знакомый, который уверенно обещает, что «с этим дипломом возьмут».

Вопросы для встречи тройки

  1. На чём держалось доверие умных людей — и какой простой вопрос никто не задал?
  2. Чей совет в твоей жизни опирается на то, что ему поверили другие, а не на проверку?
  3. Что в твоём главном совете можно проверить за неделю — и почему ты этого ещё не сделал?

Самопроверка

Шесть вопросов. В приложении ответ скрыт до твоего выбора, а после выбора показывается объяснение. Если ошибся в двух и более — наставник предложит вернуться к нужной главе.

1. Аналитик три года подряд верно угадал направление рынка. Что можно сказать о его знании?

  • а) Он точно знает рынок — три попадания подряд.
  • б) Пока ничего: верное мнение ещё не знание; важно, может ли он объяснить, на чём держались прогнозы, и как часто попадает на большом числе.
  • в) Ему просто везёт.

Ответ: б. Три попадания могут быть удачей. Знание видно по объяснению и по точности на многих прогнозах. Вариант «в» — та же поспешность с обратным знаком. (Глава 1.)

2. Восемь лет весь твой доход держится на одном источнике — одном клиенте, одном начальнике или одной зарплате в семье. Чему учит курица Рассела?

  • а) Источник исчезнет обязательно.
  • б) Восемь лет — надёжная гарантия на будущее.
  • в) Длинный ряд удач повышает уверенность, но не обязательно снижает риск; стоит назвать событие, после которого ожидание перестанет работать.

Ответ: в. Прошлое — основание для ожидания, но не доказательство. (Глава 2.)

3. Болезнь есть у 1% людей. Тест находит её в 90% случаев и даёт ложную тревогу у 9% здоровых. Тест положительный. Какова примерно вероятность болезни?

  • а) Около 10%.
  • б) Около 90%.
  • в) Около 50%.

Ответ: а. Из 1000 человек больны 10, у 9 тест положительный; из 990 здоровых положительный у 89. Из 98 положительных больны 9 — около одной десятой. (Глава 3.)

4. Чьей интуиции по условиям Канемана и Кляйна стоит доверять больше?

  • а) Известного аналитика, который двадцать лет предсказывает курсы валют на год вперёд.
  • б) Опытного переговорщика, который провёл сотни похожих сделок и каждый раз сразу видел результат.
  • в) Знакомого, который однажды угадал, куда пойдёт рынок.

Ответ: б. Повторяемая среда и быстрая ясная обратная связь есть только во втором случае. (Глава 4.)

5. Что значит «хорошая калибровка»?

  • а) Прогнозы всегда сбываются.
  • б) Человек никогда не говорит больше 50%.
  • в) Из прогнозов, которым человек давал 70%, сбывается около 70%.

Ответ: в. Калибровка — совпадение уверенности с точностью, её видно только в журнале прогнозов за долгий срок. (Глава 5.)

6. Какой прогноз можно проверить?

  • а) «Скорее всего получится».
  • б) «С вероятностью 70% договор подписан до 15 декабря».
  • в) «Рынок со временем вырастет».

Ответ: б. У проверяемого прогноза есть событие, вероятность, дата и признак, по которому посторонний скажет, сбылось ли. (Глава 5.)

Практика

Три упражнения. Первое — десять прогнозов: с него начинается журнал, который ведётся весь курс. Второе и третье ты делаешь на своём случае — совете или прогнозе, которому доверяешь без проверки.

Упражнение 1. Десять прогнозов (понедельник, 15 минут)

Зачем. Пока прогнозы не записаны, их нельзя проверить, а значит, нельзя узнать, насколько точна твоя уверенность.

Как. Запиши десять прогнозов, которые станут ясны через 2–6 недель: в деле, на рынке, в жизни. Для каждого — четыре поля.

№ Событие Вероятность, % Дата проверки Признак, по которому ясно, сбылось ли
1
…
10

Правила. Вероятность — от 50 до 95 процентов; если думаешь, что событие скорее не случится, запиши обратное. Не меньше трёх прогнозов на 60–70 процентов и не меньше трёх на 80–95. Признак — такой, чтобы посторонний человек сказал, сбылось ли, без спора.

Пример. (пример) «С вероятностью 75% проект сдадим до 20 декабря; признак — письмо заказчика о приёмке». «С вероятностью 60% сын сам сдаст зачёт по физике до конца четверти». «С вероятностью 90% коммунальные платежи вырастут с января; признак — первая квитанция».

  • Своё дело. Выручка месяца, первая договорённость нового человека, решение поставщика.
  • Работа по найму. Сроки проекта, решение о премии, кого назначат на освободившееся место.
  • Сам на себя. Сколько придёт заказов за месяц, заплатит ли заказчик в срок, примут ли новую ставку.
  • Дом и семья. Оценки детей, расходы месяца, когда закончится ремонт, согласятся ли родители на переезд.
  • Переход. Сколько откликов дадут приглашение, когда придёт первый доход на новом месте.

Типичные ошибки. Прогнозы, которые нельзя проверить («команда станет сильнее»). Все прогнозы на 90 процентов. Прогнозы о том, что ты сам точно сделаешь, — это обещания, а не прогнозы.

Упражнение 2. Разбор одного совета (вторник, 15 минут)

Зачем. Мы проверяем свои идеи строже, чем советы людей, которым доверяем. Иногда это правильно, иногда — дорого.

Как. Возьми совет или прогноз, на котором держится твоё решение и который ты не проверял. Ответь письменно:

  1. Что именно сказано — одной фразой, без пересказа своими надеждами.
  2. На чём основан — опыт, данные, чужие слова, интуиция.
  3. Обратная связь советника. Сколько раз он видел исход таких ситуаций — и как быстро?
  4. Что он теряет, если неправ. Деньги, репутацию, ничего.
  5. Что можно проверить за неделю — один факт или один разговор.
  6. Моя уверенность в совете — в процентах, до и после проверки.

Упражнение 3. Правило обновления (среда, 10 минут)

Зачем. Когда новость приходит, её трудно оценить спокойно. Если заранее записать, что сдвинет мнение, новость просто проверяется по списку.

Как. Для главного прогноза или совета запиши:

  • Событие, которое поднимет уверенность на 20 пунктов — и почему оно говорит в пользу прогноза.
  • Событие, которое опустит уверенность на 20 пунктов.
  • Событие, после которого я перестану доверять совету совсем.

Разговоры с ИИ-наставником

Наставник в этом модуле работает в трёх режимах. Он помнит твои прогнозы и записи с других модулей, но не видит позиции членов тройки до того, как они раскрыты. Общее правило: наставник не говорит, верен ли совет, которому ты доверяешь. Он помогает измерить твою уверенность и найти, как её проверить.

Режим «Сократ» — от «я уверен» к цифре

Когда: понедельник, при записи десяти прогнозов. 15 минут.

Что делает наставник. Задаёт вопросы по одному. Помогает превратить расплывчатое ожидание в проверяемый прогноз: какое событие, к какой дате, по какому признаку, с какой вероятностью.

Как начать (можно скопировать):

«Вот что я ожидаю в ближайшие недели: [список]. Помоги превратить это в прогнозы с вероятностями и датами. Только вопросами».

Как это выглядит (фрагмент):

Автор: Думаю, новый продукт хорошо пойдёт. Наставник: «Хорошо» — это сколько продаж и к какой дате? Автор: Сто заказов за первый месяц. Наставник: Если бы ты ставил деньги, ты бы поставил на сто заказов один к одному или нужен перевес? Автор: Пожалуй, нужен перевес. Наставник: Тогда, может быть, это прогноз на 40 процентов, а на 70 — что-то другое. Какое число заказов ты ожидаешь почти наверняка?

Автор: Врач сказал, что через месяц после операции я вернусь к работе. Наставник: С какой уверенностью — по-твоему? Автор: Ну… процентов девяносто. Наставник: Девяносто назвал он или ты? Автор: Я. Наставник: Что стоит спросить у него, чтобы узнать его цифру и на чём она основана?

Режим «Учёный» — базовая частота и пересчёт

Когда: вторник, при разборе совета. 10 минут.

Что делает наставник. Помогает найти базовую частоту для совета или прогноза — как часто похожее сбывается у других — и пересчитать уверенность после новых данных. Переводит проценты в натуральные частоты. Прямо говорит, где цифры — его оценка, а где известные данные.

Как начать:

«Мне советуют [совет]. Как часто похожие прогнозы сбываются и как мне пересчитать уверенность, если случится [событие]?»

Режим «Оппонент» — где уверенность без оснований

Когда: среда, перед встречей тройки. 15 минут. В формате «двое и ИИ» наставник берёт эту роль и на встрече.

Что делает наставник. Проходит по десяти прогнозам и разбору совета: где вероятность взята с потолка, какой прогноз нельзя проверить, где доверие держится на авторитете, а не на обратной связи советника.

Как начать:

«Вот мои десять прогнозов и разбор совета: [текст]. Найди, где моя уверенность не опирается ни на что».

Чего наставник не делает. Не оценивает советника лично и не советует, кому верить. Не даёт медицинских, юридических или инвестиционных советов вместо специалистов: он помогает задать специалисту правильные вопросы.

Мой случай недели

Что это

Мой случай в этом модуле — совет, прогноз или чужое мнение, которому я доверяю без проверки. Совет консультанта или начальника, обещание заказчика, рекомендация врача, юриста или учителя, совет родственников, собственный прогноз, который давно принят как факт.

Как выбрать: четыре критерия

  1. Влияет на решение. На нём держатся деньги, время или здоровье.
  2. Не проверялся. Ты принял его на доверии.
  3. Можно частично проверить за неделю. Есть данные, человек или вопрос.
  4. Можно обсудить. Ты готов показать его тройке — без имени советника, если нужно.

Что и когда нужно сделать

Когда Что Время
Понедельник Назвать совет или прогноз одной фразой; десять прогнозов 20 минут
Вторник Разбор совета; прочитать главы 2–4 40 минут
Среда до 21:00 Правило обновления; рабочий лист случая 15 минут
Четверг до 18:00 Если автор не ты — позиция вслепую по случаю автора 15 минут
Пятница или выходные Встреча тройки 60 минут
Воскресенье Воскресная запись 30 минут
Через 2–6 недель Проверка десяти прогнозов по датам по 2 минуты

Пример: рабочий лист Ольги (пример)

Ольга, 47 лет, директор по закупкам сети супермаркетов. Совет: консультант рекомендует перевести всю сеть на товары в экологичной упаковке и подписать договор с поставщиками на три года, «потому что спрос на такие товары вырастет вдвое за три года».

Пункт Что записала Ольга
Что сказано Спрос на товары в экологичной упаковке вырастет вдвое за три года
На чём основан Отраслевой отчёт и опыт консультанта в соседней отрасли
Обратная связь советника Прогнозов на три года он видел немного; узнаёт исход через годы
Что он теряет, если неправ Почти ничего: гонорар получен
Что проверить за неделю Продажи таких товаров в трёх наших магазинах за год; базовая частота — как часто отраслевые прогнозы роста вдвое сбывались
Уверенность до и после 75% → 45%
Правило обновления Если в двух магазинах из трёх продажи выросли на 30% — поднять до 65%

Позиция вслепую

Что это

Позиция вслепую — короткая письменная оценка случая автора недели, которую каждый, кто не автор, делает сам, не видя оценок других. Открывается в четверг в 18:00.

Четыре поля позиции

  1. Вероятность, что совет или прогноз автора верен, — от 0 до 100.
  2. Главная причина твоей оценки.
  3. Что автор, по-твоему, не проверил, хотя мог бы.
  4. Твоё правило обновления: какое событие сдвинуло бы твою оценку на 20 пунктов.

Пример: позиции по случаю Ольги (пример)

Ольга (автор) Сергей (оппонент) Наталья (свидетель)
Вероятность 45 30 50
Главная причина Продажи пока не подтвердили Отраслевые прогнозы роста вдвое сбываются редко Ольга сама в сомнении, а консультант уверен
Что не проверено — Кто заплатил за отраслевой отчёт Опыт других сетей в регионе
Правило обновления — Продажи, а не опросы покупателей Если конкурент тоже переходит — поднять

Встреча тройки

Когда и как: пятница или выходные, 60 минут. К началу у всех открыт рабочий лист автора и позиции вслепую. В формате «двое и ИИ» оппонента играет наставник, встреча идёт 45 минут. В живой книге встречу заменяет 30-минутный разбор с наставником, а свидетелем становится человек из жизни участника (подробно — во вкладке «Как устроен модуль», раздел «Форматы»).

Три роли

Роль Задача в этом модуле Чего не делает
Автор Приносит совет или прогноз, разбор и правило обновления Не защищает советника и не нападает на него
Оппонент Ищет прогнозы, которые нельзя проверить, и вероятности без оснований; проверяет правило обновления Не даёт свой совет вместо разбираемого
Свидетель Замечает, в чём автор уверен «слишком гладко». Задаёт один вопрос свидетеля и возвращается в день проверки Не оценивает советника

Сценарий на 60 минут

0–5. Начало. Каждый одной фразой: с чем пришёл и сколько сил.

5–10. Автор о случае. Почему он доверяет этому совету и что изменилось после разбора.

10–20. Расхождения в позициях. Начинает тот, чья цифра дальше всего от цифры автора.

20–35. Проверка оппонента. Оппонент проходит по рабочему листу: какие ответы опираются на данные, а какие на доверие? Затем — по десяти прогнозам автора: какие нельзя проверить, где вероятность не обоснована.

35–45. Правило обновления. Вместе уточняют, какое событие на ближайших неделях сильнее всего сдвинет уверенность, и записывают.

45–52. Свидетель. Одно наблюдение и один вопрос.

52–60. Итог. Автор называет итоговую уверенность и что проверит до дня проверки. Каждый пишет одно предложение: «Сегодня я понял…».

Полезные фразы оппонента: «Откуда эта цифра — из данных или из ощущения?» «Если бы этот совет дал человек, которого ты не знаешь, ты бы ему поверил?» «Какой прогноз из десяти ты дал, чтобы точно попасть?»

Работа свидетеля

Что слушает свидетель в этом модуле

Свидетель в модуле 02 замечает, где уверенность автора звучит «слишком гладко»: нет пауз, нет оговорок, повторяются чужие формулировки. И замечает, кого автор называет, когда объясняет, почему верит.

Вопрос свидетеля

Признаки те же, что во всех модулях. Шаблоны для этого модуля:

  • «Ты говоришь о консультанте „он знает“, а о себе „мне кажется“. Почему так?»
  • «Что тебе придётся сделать, если совет окажется неверным?»
  • «Кому из близких ты так же доверяешь без проверки?»
  • «Ты поставил 90 процентов, а голос звучал на 60. Что там?»

Пример: Наталья и Ольга (пример)

Наталья: У меня одно наблюдение. О консультанте ты говоришь „он видел десятки компаний“, а когда Сергей спросил о продажах в твоих магазинах, ты ответила „я не хочу поднимать эти цифры раньше времени“. Мой вопрос: что ты боишься в них увидеть? Ольга: …Что покупателям это не нужно. И что тогда я полгода зря готовила этот договор. Наталья: Я запишу. Вернусь в день проверки.

День проверки

Через 2–6 недель, по датам прогнозов, приложение присылает свидетелю рабочий лист автора и его вопрос. Свидетель спрашивает: сколько из десяти прогнозов сбылось — по уровням уверенности? Что с главным советом? Как ты теперь ответил бы на мой вопрос? Ответы попадают в журнал прогнозов всех троих.

Интеграция

Воскресная запись (15 минут)

  1. Какая идея модуля сильнее всего разошлась с тем, как ты думал до него?
  2. Как изменилась твоя уверенность в главном совете — и почему?
  3. Какому ещё советнику ты задашь три вопроса в ближайший месяц?
  4. Какой из десяти прогнозов тебе было труднее всего записать в цифрах — и почему?
  5. Что ты узнал о себе из вопроса свидетеля (или из того, как ты сам был свидетелем)?

Связь с Loosen

Доверие и недоверие часто держатся не на фактах, а на истории о человеке. «Консультант работал с крупными компаниями» — факт; «значит, он знает и наш рынок» — история. Наставник предложит день 9 курса Loosen — «Факт и история»: 20 минут, чтобы разобрать главный совет недели на факты и истории.

Контрольный замер

В понедельник ты оценил три утверждения от 0 до 10. Сейчас — ещё раз:

  • «Когда я говорю „уверен“, это почти всегда сбывается».
  • «Я знаю, кому из своих советников можно верить в каких вопросах».
  • «Я меняю мнение, когда приходят новые данные».

Окончательный ответ на первое утверждение даст журнал прогнозов через несколько месяцев.

Что остаётся открытым

  • Десять прогнозов с датами проверки — наставник напомнит о каждом.
  • Главный совет и правило обновления — свидетель вернётся.
  • Журнал прогнозов продолжится весь курс; в модуле 08 на нём строится запись решения.

Словарь модуля

Термин Что значит
Обоснованное мнение Мнение, у которого есть основания; знание требует ещё и истинности, а граница размыта (Платон, Геттиер)
Проблема индукции Из прошлого логически не следует будущее (Юм)
Обновление уверенности Новая уверенность — старая с поправкой на силу нового свидетельства (Байес)
Натуральные частоты Запись вероятностей в виде «из 1000 человек» (Гигеренцер)
Базовая частота Насколько вообще часто случается то, о чём говорит сигнал
Условия экспертизы Повторяемая среда и быстрая обратная связь (Канеман и Кляйн)
Калибровка Совпадение уверенности с точностью: из прогнозов «70%» сбывается около 70%
Журнал прогнозов Прогнозы с вероятностями и датами, которые проверяются в срок
Мой случай В модуле 02 — совет, прогноз или чужое мнение, которому я доверяю без проверки

Что читать дальше

Если есть час:

  • Daniel Kahneman, Gary Klein, «Conditions for Intuitive Expertise: A Failure to Disagree», American Psychologist, 2009.
  • Конан Дойл, «Серебряный».

Если есть выходные:

  • Филип Тетлок, Дэн Гарднер, «Суперпрогнозирование» (2015) — как научиться прогнозировать точнее.
  • Герд Гигеренцер, «Risk Savvy» (2014) — о риске и простых правилах для решений.

Для глубины:

  • Дэвид Юм, «Исследование о человеческом познании» (1748), разделы IV–VII.
  • Платон, «Теэтет».
  • Джон Каррейру, «Дурная кровь» (2018) — книга, на которой построен кейс.
Себе
Наставник
Люди
Наведи на пункт — появится подсказка