Будущее человека и новые формы существования

Модуль 23 из 24 · мир VIII «Создание жизни» · лекция, источники, кейс, практика и встреча с партнёрами · около 4 часов на неделю

Как работать с этим учебником

  1. Познакомься с наставником. 8 коротких вопросов, около 12 минут. По ответам учебник подстроит примеры, выжимки источников и вопросы после глав под твою сферу и задачи.
  2. Выбери свой случай. Это настоящая ситуация из твоей жизни, на которой ты проходишь модуль. Наставник предложит варианты.
  3. Читай и выделяй. Любую фразу можно сохранить в заметки, попросить объяснить, приложить к своему случаю или обсудить с партнёрами и потоком.

Зачем этот модуль и что ты с него получишь

Одним абзацем. Мир меняется быстрее, чем люди успевают понять, к чему ведут перемены. При этом решения на десять лет вперёд приходится принимать сейчас: чему учить детей, на кого переучиваться, что строить, что поручить машине. Модуль не предсказывает будущее и не пугает им. Он помогает описать три разных будущих, назвать то, что ты хочешь сохранить в любом из них, и проверить своё решение на обратимость — на примере решения с горизонтом десять лет, которое коснётся других людей.

Что у тебя будет к воскресенью

Результат Что это даёт на практике
Три сценария на десять лет: хороший, плохой, странный Будущее перестаёт быть одним вариантом
Список «не готов потерять» из пяти строк с действиями Понятно, за что держаться при любых переменах
Проверка решения на обратимость Видно, где можно пробовать смело, а где нужен запас
Три голоса тех, кого решение коснётся и кого не спросили Решение проверено чужими глазами
Позиция вслепую по решению автора недели (если автор не ты) Тренировка говорить за отсутствующих

Где это пригодится в ближайший месяц

  • Своё дело. Что поручить программам, а что оставить людям; какие решения о деле нельзя будет отменить; что останется у тебя, если отрасль изменится.
  • Работа по найму. Профессия, которую меняют машины: что в твоей работе останется человеческим, чему учиться, что предложить работодателю.
  • Сам на себя. Программа-помощник как орудие и как соперник: что в твоём мастерстве ты не отдашь, а что отдашь с облегчением.
  • Дом и семья. Дети, которые растут в новом мире: экраны, программы-помощники, выбор учёбы — что из этого обратимо, а что нет.
  • Переход. Новая профессия на десять лет: как выбирать, когда неизвестно, какие профессии останутся.

Как модуль связан с курсом

Модуль продолжает мир VIII «Создание жизни». Правило «не ставь то, что нельзя потерять» и стоп-условие — из модуля 08. Вопрос о вреде и о тех, кого нет в комнате, — из модуля 17. Список «не готов потерять» вместе с «ради чего» из модуля 22 войдёт в личную конституцию модуля 24.

Как работать с текстом

Учебник живой. В начале недели ты одной фразой называешь решение с дальним горизонтом, и наставник держит его в уме при чтении. Подробно — во вкладке «Как устроен модуль».

Карточка модуля

Где этот модуль в курсе. Модуль входит в мир VIII «Создание жизни» вместе с модулями 22 и 24. Модуль 23 выбирают, когда автор недели принимает решение на годы вперёд или тревожится о том, каким станет мир для него и его детей. Модуль 24 после него делают все.

Главная мысль. Проблемы неизбежны и разрешимы — при условии, что знание растёт. Но ошибки бывают поправимые и непоправимые, и вторых избегают даже при малой вероятности. Пока новое легко изменить, не видно последствий; когда они видны, менять трудно — поэтому строят так, чтобы можно было поправить. Ответственность распространяется на тех, кого нет в комнате и кто ещё не родился. Вопрос о человеческом — не что человек делает лучше машины, а что он хочет делать сам.

Что человек сможет к концу недели:

  1. Пересказать мысль Дойча о проблемах и возражение к ней.
  2. Объяснить, чем необратимый риск отличается от обратимого, и пересказать дилемму Коллингриджа.
  3. Пересказать принцип ответственности Йонаса и возражение к нему.
  4. Объяснить, в чём беда Франкенштейна и о чём повесть Чана.
  5. Написать три сценария, список «не готов потерять» и проверить своё решение на обратимость.

Источники недели. Философия: Дойч, Бостром, Йонас. Наука: Коллингридж. Духовные традиции: «тиккун олам», правило семи поколений. Литература: Шелли, Чан. Кейс: конференция в Асиломаре.

Вход (понедельник, 5 минут)

Личный вопрос модуля. Вспомни решение десятилетней давности, с которым ты живёшь до сих пор. Что ты тогда знал — и чего не мог знать?

Замер «до». Оцени от 0 до 10, насколько ты согласен. В воскресенье оценишь те же утверждения снова.

  • «Я думаю о будущем с интересом, а не только с тревогой».
  • «Я знаю, что хочу сохранить при любых переменах».
  • «Принимая решение на годы, я проверяю, можно ли его отменить».

ИИ на входе задаёт один вопрос: «Кто будет жить с твоим решением через десять лет — кроме тебя?»

Лекция

Глава 1. Знание без конца

Мать двенадцатилетнего сына решает, давать ли ему программу-помощника, которая пишет сочинения и решает задачи (пример). Запретить — он отстанет от класса и всё равно найдёт её у друга. Разрешить — она не знает, чему он тогда научится сам. Владелец небольшого дела решает, заменять ли программой троих сотрудников. Бухгалтер сорока восьми лет — переучиваться ли и на кого. Инженер — участвовать ли в разработке, последствий которой он не может предвидеть. У всех этих решений одно свойство: они принимаются сейчас, а жить с ними придётся десять лет — в мире, которого ещё нет. Модуль — о том, как решать о далёком и что в нём стоит сберечь.

Проблемы разрешимы. Философия Физик Дэвид Дойч в книге «Начало бесконечности» (2011) предлагает высечь в камне две фразы: «проблемы неизбежны» и «проблемы разрешимы». Первая значит, что мир без трудностей невозможен: каждое решение создаёт новые вопросы. Вторая — что всё, чего не запрещают законы природы, достижимо, если есть нужное знание. Между людьми и любым улучшением стоит только то, что они пока не знают как. Отсюда его взгляд на будущее: опасно не новое, а остановка в росте знания, потому что нерешённые проблемы придут в любом случае. Человек у Дойча — не случайная пылинка, а существо, способное создавать объяснения, и этому росту нет предела.

Прогресс и его цена. Исследование За два века продолжительность жизни в мире выросла больше чем вдвое, детская смертность упала в десятки раз, грамотность стала почти всеобщей. Это сделали знания: прививки, удобрения, чистая вода, электричество. Но каждое из этих решений принесло новые задачи: удобрения — загрязнение рек, антибиотики — устойчивые бактерии, дешёвая энергия — изменение климата. Историки техники замечают и другое: выгоды и издержки редко достаются одним и тем же людям. Ткацкий станок сделал ткань дешёвой для всех и оставил без работы ткачей одного поколения. Честный вопрос о технологии — не «хороша ли она», а «кому, когда и что она даёт — и у кого забирает».

Критика. Философия «Проблемы разрешимы» — утверждение о возможном, а не обещание. Знание может прийти слишком поздно: для вымерших видов, для людей, погибших до открытия лекарства, для города, не успевшего построить дамбу. Оптимизм Дойча — позиция, которую он защищает доводами, но не доказательство. И ею легко прикрыть безответственность: «потом придумают, как исправить».

Вопрос к главе. Какую проблему людей решает то, что ты делаешь, — и какую создаёт?

Глава 2. Чего нельзя исправить

Необратимое важнее. Философия Философ Ник Бостром предложил различать риски по тому, что остаётся после беды. От большинства катастроф люди оправляются: города отстраивают, уроки учат. Но есть исходы, после которых исправить ничего нельзя, — он называет их экзистенциальными: гибель человечества или необратимая потеря его будущего. Его довод прост: если метод проб и ошибок — наш главный способ учиться, то важнее всего не допустить ошибки, которая отнимет возможность пробовать снова. Поэтому даже малая вероятность необратимого заслуживает больше внимания, чем большая вероятность поправимого. В книге 2014 года он применил это к машинам, которые могут превзойти человека в уме.

Дилемма Коллингриджа. Исследование Британский исследователь Дэвид Коллингридж в 1980 году описал ловушку, в которую попадает всякая попытка управлять новой техникой. В начале технологию легко изменить — но никто не знает, к чему она приведёт. Когда последствия становятся видны, она уже встроена в хозяйство, привычки и доходы миллионов людей, и изменить её трудно и дорого. Так было с автомобилем и городами, со свинцом в бензине, с социальными сетями и подростками. Коллингридж не предлагал угадывать будущее. Он советовал строить так, чтобы можно было поправить: выбирать решения, которые легко отменить, идти малыми шагами и следить за ранними признаками.

Не ставь то, что нельзя потерять. Философия В модуле 08 было правило: не рискуй тем, чего не можешь позволить себе потерять, какой бы малой ни была вероятность. К будущему оно прикладывается так. Если шаг можно отменить — попробовать новую программу месяц, пройти курс, провести опыт на одном отделе, — пробуй смело и быстро: так растёт знание. Если отменить нельзя — уволить людей с редким умением, отдать ребёнку то, от чего потом не отучить, выпустить то, что не отзовёшь, — нужны запас, проверка и чужой взгляд. Скорость хороша там, где есть дорога назад.

Критика. Философия Бострома упрекают в том, что разговор о гибели человечества через сто лет уводит внимание и деньги от вреда, который технологии наносят уже сейчас: обман, слежка, потеря работы, зависимость. Упрекают и в обратном: вероятности таких событий никто не умеет считать, и рассуждение о них легко превращается в гадание. Разумно держать оба горизонта: сегодняшний вред, который можно измерить, и необратимое, которого нельзя допустить.

Вопрос к главе. Что в твоём решении нельзя будет отменить?

Глава 3. Ответственность за далёкое

Принцип ответственности. Философия Немецко-американский философ Ханс Йонас в книге 1979 года заметил, что прежняя этика говорила о ближнем: о том, кто рядом и сейчас. Но сила человека выросла: его действия меняют природу и жизнь поколений, которые не могут ни возразить, ни дать согласие. Для такой силы нужно новое правило, и Йонас сформулировал его по образцу Канта; в пересказе: поступай так, чтобы последствия твоих действий были совместимы с продолжением подлинно человеческой жизни на Земле. Из него следует непривычный совет: при неясности больше верить плохому прогнозу, чем хорошему, потому что цена ошибок неравна. Образцом ответственности Йонас считал родителя: он отвечает за того, кто слабее, не потому что обещал, а потому что может.

Исправление мира. Духовные традиции В иудейской традиции есть выражение «тиккун олам» — «исправление мира». В древних текстах оно значило разумные установления ради общего порядка. В каббале XVI века оно получило образ: при творении сосуды, вместившие свет, разбились, искры рассыпались по миру, и дело человека — собирать их своими поступками. В новое время эти слова стали означать долг каждого делать мир справедливее. С этим связывают изречение из трактата «Пиркей авот» (в пересказе): не тебе завершить работу, но и не волен ты от неё уклониться. Мир не готов, и человек — его соработник, а не жилец.

Семь поколений. Духовные традиции С союзом ирокезских народов — хауденосауни — связывают правило: принимая решение, вожди должны думать о том, как оно отзовётся в седьмом поколении. Точное происхождение слов спорно: в записях Великого закона мира говорится о заботе о тех, кто ещё не родился, а число семь появляется в поздних пересказах. Но мысль ясна и трудна. Семь поколений — около двухсот лет; никто не может знать, что будет тогда. Правило требует не знания, а привычки: спросить, кто будет жить с этим решением после меня, — прежде чем считать выгоду.

Критика. Философия Если всегда верить худшему прогнозу, нельзя было бы ввести ни прививки, ни электричество: у каждого новшества найдётся страшный сценарий. Бездействие — тоже решение со своими жертвами, только невидимыми: теми, кого не вылечили и не накормили. Здесь Йонас и Дойч спорят всерьёз, и спор не решён. Рабочая мера — та же, что в главе 2: осторожность нужна там, где нельзя вернуться, а не всюду, где страшно.

Вопрос к главе. За что в будущем отвечаешь ты лично — не человечество, а ты?

Глава 4. Что значит быть человеком

«Франкенштейн». Литература Роман Мэри Шелли (1818) обычно помнят как историю о чудовище. В книге иначе. Молодой учёный Виктор Франкенштейн два года собирает существо и оживляет его — и в ту же минуту, увидев, что получилось, в ужасе убегает из комнаты. Существо остаётся одно. Оно само учится говорить и читать, ищет людей, и люди гонят его за уродство. Злым оно становится потом. При встрече оно говорит создателю (наш перевод с английского): «Я должен был быть твоим Адамом, а стал скорее падшим ангелом, которого ты без вины лишил радости… Я был добр; несчастье сделало меня злодеем». Беда в романе — не в том, что человек создал новое, а в том, что он от него отвернулся.

Растить, а не включать. Литература В повести Теда Чана «Жизненный цикл программных объектов» (2010) компания выпускает цифровых питомцев, которые учатся, как дети. Мода проходит, компания закрывается, а несколько хозяев остаются со своими воспитанниками — и растят их год за годом, как растят ребёнка: учат, спорят, ищут деньги, чтобы перенести их на новую платформу. Главная мысль повести — в словах героини: опыт нельзя сжать. Чтобы получить существо с двадцатью годами опыта, нужно двадцать лет. Чан пишет не столько о машинах, сколько о том, что любое воспитание — это время, отданное другому, и что ответственность за созданное не кончается, когда оно перестаёт приносить доход.

Что остаётся человеческим. Исследование Каждое поколение называло то, чего машина «никогда не сможет»: считать, играть в шахматы, переводить, писать стихи. Список сокращается, и опираться на него ненадёжно. Полезнее другой вопрос: не что человек делает лучше машины, а что он хочет делать сам, даже если машина сделает лучше. Письмо другу можно поручить программе — но тогда это не твоё письмо. Ребёнка можно учить через экран — но часть того, чему он учится, — это ты рядом. Исследователи труда замечают: дольше всего люди держатся там, где важно не только что сделано, но и кем — в заботе, воспитании, доверии, ответственности за решение.

Критика. Философия Истории о восставших созданиях приучили нас ждать от нового беды. Это плохой способ предвидеть: «Франкенштейн» ничего не предсказал о химии и медицине, которые выросли из тех же опытов. Польза литературы в другом — она ставит вопросы, которые инженеру некогда задать: кто отвечает за созданное, что мы должны тому, кого сделали зависимым от нас. А список «человеческого» у каждого свой, и стыдиться того, что ты охотно отдал машине, незачем.

Вопрос к главе. Что ты не готов отдать машине — даже если она сделает это лучше?

Глава 5. Набор инструментов

Три сценария. Три абзаца о том, каким будет твоё дело, профессия или жизнь твоей семьи через десять лет. Хороший: что пошло так, как ты надеешься. Плохой: что пошло так, как ты боишься. Странный: то, чего ты не ждёшь, — мир изменился вбок. Сценарии — не прогнозы; никто не знает, какой сбудется. Их цель — найти решения, которые хороши во всех трёх, и заметить ранние признаки каждого.

Не готов потерять. Список из пяти строк: что я хочу сохранить в любом из трёх сценариев. Не «работу» и не «доход» — они как раз меняются, — а то, что за ними: умение, отношения, способ жить, то, что я делаю сам. Рядом с каждой строкой — что я делаю для этого на этой неделе. Строка, рядом с которой пусто, — пожелание.

Проверка обратимости. Четыре вопроса к решению. Можно ли его отменить — и до какого дня? Сколько будет стоить отмена — и кому? Если отменить нельзя, кто пострадает и узнает ли он об этом заранее? Каким малым обратимым шагом можно проверить решение, прежде чем принять его целиком?

Голос отсутствующих. Перед решением запиши три имени или три группы людей, которых оно коснётся и которых никто не спросил: ребёнок через десять лет, сотрудник, чью работу заменят, покупатель, сосед, ты сам в шестьдесят. За каждого — одна фраза от первого лица: что он сказал бы? На встрече тройки эту роль берёт оппонент.

Критика. Философия Тот, кто написал три сценария, начинает верить самому яркому. Это ошибка: сбудется, скорее всего, четвёртый. Сценарии ценны не содержанием, а тем, что после них видно, какие решения хрупкие — хороши только в одном будущем, — и какие устойчивые. И ещё: думать о далёком — занятие для спокойного дня. Если будущее вызывает не интерес, а панику, начни с дня 19 курса Loosen.

Вопрос к главе. Какое твоё решение хорошо только в одном сценарии?

Хрестоматия

Пять текстов о будущем и ответственности: философ осторожности, физик-оптимист, исследователь техники, роман двухсотлетней давности и древнее учение. Читать лучше во вторник вечером, после того как написаны три сценария.

1. Ханс Йонас. «Принцип ответственности» (1979), глава 1 Философия

Выжимка. Сила человека выросла настолько, что прежней этики ближнего мало: нужно отвечать за далёкие последствия и за тех, кто ещё не родился.

Для тебя. Назови того, кто слабее тебя и будет жить с твоим решением.

Проверим в практике. Голос отсутствующих.

О чём. Йонас начинает с хора из «Антигоны» о том, как человек покоряет море и землю, и замечает: для греков природа оставалась неуязвимой, а город — малым островом посреди неё. Теперь всё наоборот: природа уязвима, а действия человека необратимы и складываются. Отсюда новое повеление — сохранять возможность человеческой жизни — и новое правило рассуждения: страх перед возможным злом как способ увидеть, чем мы дорожим.

Комментарий. Йонас писал во время споров об атомной энергии и первых опытов с генами. Его упрекают в том, что принцип легко становится запретом на всё новое. Но главный его вклад — не запрет, а вопрос: кто говорит за тех, кого нет?

Вопрос себе. Чем ты дорожишь настолько, что страх за это тебя остановил бы?

2. Дэвид Дойч. «Начало бесконечности» (2011) Философия

Выжимка. Проблемы неизбежны и разрешимы; прогресс держится на поиске хороших объяснений и на готовности исправлять ошибки.

Для тебя. Спроси, какого знания тебе не хватает, чтобы твоя проблема стала разрешимой.

Проверим в практике. Хороший сценарий.

О чём. Дойч объясняет, почему рост знания начался по-настоящему только несколько веков назад: появилась традиция критики, в которой любую мысль можно оспорить, а ошибку — исправить. Общества, которые защищают себя от перемен, он называет застойными: они гибнут от первой же беды, для которой нет готового ответа. Устойчивость, по Дойчу, — не в осторожности, а в способности быстро находить и исправлять ошибки.

Комментарий. Дойч и Йонас сходятся в неожиданном месте: оба дорожат возможностью исправиться. Один ради неё торопит знание, другой — бережёт от необратимого.

Вопрос себе. Где ты защищаешься от перемен вместо того, чтобы учиться?

3. Дэвид Коллингридж. «Социальный контроль технологии» (1980) Исследование

Выжимка. Управлять технологией трудно в начале из-за незнания и в конце из-за её укоренённости; выход — сохранять возможность поправить.

Для тебя. Найди в своём решении то, что укоренится первым.

Проверим в практике. Проверка обратимости.

О чём. Коллингридж разбирает случаи, когда общество узнавало о вреде техники слишком поздно, и показывает, что дело не в недостатке предвидения — предвидеть нельзя, — а в том, как принимались решения: крупно, разом, без запасных путей. Он предлагает принимать решения так, чтобы ошибку было легко обнаружить и дёшево исправить: не зависеть от одного поставщика и одного способа, оставлять выбор, следить за последствиями с первого дня.

Комментарий. Это та же мысль, что стоп-условие из модуля 08, только для общества. Она хорошо переносится на семью и дело: решение, которое нельзя пересмотреть, — плохое решение, даже если сегодня оно кажется верным.

Вопрос себе. Какую дорогу назад ты оставляешь себе?

4. Мэри Шелли. «Франкенштейн, или Современный Прометей» (1818) Литература

Выжимка. Создатель бежит от созданного, и брошенное существо становится злым от одиночества.

Для тебя. Спроси, от чего созданного тобой ты отвернулся.

Проверим в практике. Голос отсутствующих.

О чём. Роман устроен как рассказ в рассказе: моряк записывает исповедь Франкенштейна, а в её середине звучит рассказ самого существа — о том, как оно училось словам, подслушивая бедную семью, как читало найденные книги, как вышло к людям и было изгнано. Оно просит создателя об одном — сделать ему подругу — и получает отказ. Дальше оба гибнут.

Комментарий. Шелли было девятнадцать лет, когда она это написала. Подзаголовок «Современный Прометей» напоминает: огонь — дар, а не преступление. Преступление — оставить того, кого сделал.

Вопрос себе. Что ты должен тому, что зависит от тебя?

5. Учение о «тиккун олам» Духовные традиции

Выжимка. Мир не завершён и повреждён; человек чинит его поступками, и никто не обязан закончить, но никто не свободен уклониться.

Для тебя. Назови одну вещь, которую ты чинишь в своём углу мира.

Проверим в практике. Список «не готов потерять».

О чём. Выражение прошло три ступени. В Мишне оно объясняет установления, принятые ради общего блага. В учении Исаака Лурии, каббалиста XVI века из Цфата, оно становится частью рассказа о творении: разбитые сосуды и рассеянные искры, которые человек возвращает на место. В XX веке оно стало названием общественного долга — помощи, справедливости, заботы о природе.

Комментарий. Учение даёт редкое сочетание: смирение (мир чинили до тебя и будут чинить после) и обязанность (твоя часть — твоя). Оно спасает и от мании величия, и от бессилия.

Вопрос себе. Какая часть работы — твоя?

Дополнительно для любителей литературы Литература

Тед Чан, «Жизненный цикл программных объектов» (2010): повесть о людях, которые годами растят цифровых существ. Вопрос после чтения: что в твоей жизни нельзя ускорить — и не пытаешься ли ты?

Источники: Шелли — в собственном переводе с английского. Йонас, Дойч, Коллингридж, Бостром, Чан и учение о «тиккун олам» — только пересказ.

Разбор кейса. Асиломар, 1975: учёные остановили себя сами

В начале 1970-х годов биологи научились переносить гены из одного организма в другой. Те же люди, которые сделали это открытие, призвали коллег во всём мире приостановить опыты, пока не станет ясно, насколько они опасны. Этот кейс — о том, что заставляет людей ограничить собственную работу и как это сделать, не остановив её навсегда. Изложено пересказом по общедоступным историям конференции и её итоговому заявлению.

Как работать с кейсом. Прочитай описание каждой точки, но не читай сразу блок «Что было дальше». Сначала ответь на три вопроса.

Три вопроса к каждой точке

  1. Что здесь обратимо, а что нет?
  2. Кого решение коснётся — и кто из них в комнате?
  3. Что сделал бы ты на месте того, кто может продолжать, и никто ему не запретит?

Точка 1. 1971–1974: остановиться самим

Ситуация. Биохимик Пол Берг из Стэнфорда готовит опыт: встроить гены вируса, вызывающего опухоли у животных, в бактерию, которая живёт в кишечнике человека. Коллеги спрашивают: а если такая бактерия выйдет из лаборатории? Берг откладывает опыт. К 1973 году другие учёные находят простой способ соединять гены разных организмов, и опыты может ставить любая лаборатория. Никакого закона нет; запретить некому. В июле 1974 года Берг и ещё десять ведущих биологов публикуют письмо в главных научных журналах: они просят коллег во всём мире добровольно отложить самые опасные опыты, пока риски не будут оценены.

Вопрос. Они — первые в гонке. Что они теряют, остановившись? Что нужно, чтобы остальные послушали?

Точка 2. Февраль 1975: договориться

Ситуация. В конференц-центре Асиломар на берегу океана в Калифорнии собираются около ста сорока человек: биологи из многих стран, несколько юристов и врачей, журналисты. Три с лишним дня они спорят. Одни считают опасность выдуманной и требуют снять все ограничения. Другие хотят запретить целые направления. Точных данных о риске нет ни у кого. Юристы напоминают: если что-то случится, отвечать будут лично учёные и их институты.

Вопрос. Как принять правила, когда риск неизвестен? Запретить всё, разрешить всё — или что?

Точка 3. После 1975: правила, которые меняются

Ситуация. Участники принимают заявление. Опыты можно продолжать, но меры защиты должны соответствовать опасности: чем рискованнее опыт, тем строже лаборатория. Предложена и вторая защита: использовать ослабленные бактерии, которые не выживают вне пробирки. Самые опасные опыты отложены. На этой основе государственные институты здравоохранения США в 1976 году выпускают правила для всех, кто получает их деньги.

Вопрос. Что делать с правилами, когда появятся данные? И кого не было на конференции?

Что было дальше

Опасения в основном не подтвердились, и правила за следующие годы несколько раз смягчали — по мере того как накапливались данные. Из тех же методов выросли новые лекарства; первым был человеческий инсулин, который с начала 1980-х получают с помощью бактерий. Пол Берг получил Нобелевскую премию в 1980 году. Асиломар стал образцом, на который ссылаются всякий раз, когда появляется опасная технология, — в том числе при обсуждении редактирования генов человека и машин, способных учиться.

Разбор: что сработало

Точка 1. Это дилемма Коллингриджа в чистом виде: технология ещё новая, её легко направить, но последствий никто не знает. Учёные выбрали то, что советует глава 2: пауза — обратимый шаг, а выход опасной бактерии — возможно, нет. Послушали их потому, что письмо подписали первые в гонке: они теряли больше всех.

Точка 2. Найденное решение — не запрет и не свобода, а соответствие: строгость защиты растёт с опасностью. Это мера, о которой спорят Йонас и Дойч. Вторая защита — ослабленные бактерии — пример решения, которое делает ошибку поправимой: даже если что-то выйдет наружу, оно не выживет.

Точка 3. Правила были задуманы как временные и пересматривались. Это редкость: обычно ограничение, однажды введённое, остаётся навсегда, а свобода, однажды взятая, не возвращается.

Чего кейс не доказывает. Асиломар критикуют всерьёз. На конференции почти не было людей не из науки: ни тех, кто представлял бы общество, ни тех, кто думал об этике, — только о безопасности лабораторий. Учёные действовали и ради себя: правила, написанные ими самими, были лучше закона, написанного испуганными политиками. Отрасль тогда была мала, её делали университеты на государственные деньги; когда в деле большие частные деньги и гонка между странами, договориться гораздо труднее. И опасность оказалась меньше, чем думали, — мы не знаем, выдержали бы эти правила настоящую угрозу. Кейс не доказывает, что самоограничение работает всегда. Он показывает, что оно возможно — и из чего состоит.

Тот же вопрос в твоей жизни

Биологи остановились, хотя никто их не заставлял. У каждого есть решение, где запретить некому:

  • Своё дело. Ты можешь внедрить новое раньше всех — и не знаешь, что оно сделает с твоими людьми и покупателями.
  • Работа по найму. Тебе поручили то, последствий чего никто не оценивал, — и ты единственный, кто это понимает.
  • Сам на себя. Ты можешь отдать программе половину своей работы — и не знаешь, что останется от твоего умения через пять лет.
  • Дом и семья. Ты решаешь за ребёнка, что ему можно, — и узнаешь, был ли прав, когда изменить уже ничего будет нельзя.
  • Переход. Ты выбираешь профессию на десять лет — и никто не знает, какой она станет.

Вопросы для встречи тройки

  1. Что заставило людей ограничить собственную работу — и что из этого есть в положении автора недели?
  2. Какая «ослабленная бактерия» возможна в твоём решении — шаг, который делает ошибку поправимой?
  3. Кого нет в комнате, когда ты решаешь?

Самопроверка

Шесть вопросов. В приложении ответ скрыт до твоего выбора, а после выбора показывается объяснение. Если ошибся в двух и более — наставник предложит вернуться к нужной главе.

1. Какие две фразы Дойч предлагает высечь в камне?

  • а) «Проблемы неизбежны» и «проблемы разрешимы».
  • б) «Знание опасно» и «осторожность прежде всего».
  • в) «Будущее предсказуемо» и «прошлое повторяется».

Ответ: а. Всё, чего не запрещают законы природы, достижимо при нужном знании. (Глава 1.)

2. Почему необратимые риски заслуживают особого внимания?

  • а) Потому что они случаются чаще.
  • б) Потому что о них больше пишут.
  • в) Потому что после них нельзя исправиться и попробовать снова.

Ответ: в. Если мы учимся на ошибках, важнее всего не допустить ошибки, которая отнимет эту возможность. (Глава 2.)

3. В чём состоит дилемма Коллингриджа?

  • а) Новые технологии всегда вредны.
  • б) Пока технологию легко изменить, не видно последствий; когда они видны, менять уже трудно.
  • в) Технологии развиваются быстрее законов.

Ответ: б. Выход — строить так, чтобы ошибку было легко заметить и дёшево исправить. (Глава 2.)

4. Чего требует принцип ответственности Йонаса?

  • а) Действовать так, чтобы последствия были совместимы с продолжением подлинно человеческой жизни на Земле.
  • б) Отказаться от всех новых технологий.
  • в) Заботиться только о тех, кто рядом.

Ответ: а. Ответственность распространяется на тех, кто ещё не родился и не может возразить. (Глава 3.)

5. С чего начинается беда в романе «Франкенштейн»?

  • а) С того, что существо родилось злым.
  • б) С того, что наука вообще опасна.
  • в) С того, что создатель в ужасе бежит от созданного и оставляет его одного.

Ответ: в. «Я был добр; несчастье сделало меня злодеем». (Глава 4.)

6. Зачем писать три сценария будущего?

  • а) Чтобы угадать, какой сбудется.
  • б) Чтобы найти решения, которые хороши в любом из них, и заметить хрупкие.
  • в) Чтобы выбрать самый приятный и верить в него.

Ответ: б. Сценарии — не прогнозы; сбудется, скорее всего, четвёртый. (Глава 5.)

Практика

Три упражнения. Первое — три сценария на десять лет. Второе — список «не готов потерять». Третье — проверка своего решения на обратимость.

Упражнение 1. Три сценария (понедельник — вторник, 30 минут)

Зачем. Будущее обычно представляют одним вариантом — тем, которого ждут или боятся. Три сценария показывают, какие решения годятся только для одного из них.

Как. Выбери, о чём пишешь: твоё дело, профессия, семья. Срок — десять лет. Три абзаца по пять-семь предложений.

  1. Хороший. Что пошло так, как ты надеешься. Чем ты занят в обычный вторник.
  2. Плохой. Что пошло так, как ты боишься. Чем ты занят в обычный вторник.
  3. Странный. Мир изменился вбок: не лучше и не хуже, а иначе. Начни с вопроса «а что, если…» — и не вычёркивай нелепое.

Под каждым — один ранний признак: по чему ты уже через год-два поймёшь, что дело идёт к этому сценарию.

Что посмотреть. Какие твои нынешние решения хороши во всех трёх? Какие — только в одном?

Пример. (пример) Учительница английского языка, 45 лет. Хороший: программы взяли на себя проверку и упражнения, а она ведёт разговорные клубы и готовит к жизни за границей. Плохой: школы сократили часы, частные ученики ушли к программам, она преподаёт за половину прежнего. Странный: языки перестали учить ради пользы и стали учить как музыку — для удовольствия, и пришли взрослые.

  • Своё дело. Пиши о своём деле и покупателях: кто платит, за что, что делают люди, а что машины.
  • Работа по найму. Пиши о своей профессии: какие задачи остались у человека, кто твой работодатель, чем ты ценен.
  • Сам на себя. Пиши о своём мастерстве: за что заказчик платит именно тебе, когда остальное делает программа.
  • Дом и семья. Пиши о семье: кем стали дети, как вы живёте, что для вас общее.
  • Переход. Пиши о профессии, в которую идёшь: будет ли она через десять лет и какой.

Упражнение 2. Не готов потерять (среда, 15 минут)

Зачем. Когда всё меняется, нужно знать, за что держаться, — иначе держишься за привычное.

Как. Пять строк.

Что я хочу сохранить в любом сценарии Почему это моё Что я делаю для этого на этой неделе

Правила. Не «работу», «должность» и «доход» — они меняются первыми. Пиши то, что за ними: умение, отношения, способ жить, то, что ты делаешь сам. Хотя бы одна строка — о том, что ты не отдашь машине, даже если она сделает лучше.

Что посмотреть. Рядом с какой строкой в последнем столбце пусто?

Упражнение 3. Проверка обратимости (четверг, 15 минут)

Зачем. Обратимое можно пробовать смело. Необратимое требует запаса и чужого взгляда.

Как. Возьми своё решение с дальним горизонтом и ответь письменно.

  1. Можно ли отменить — и до какого дня?
  2. Сколько стоит отмена — и кому?
  3. Если нельзя — кто пострадает? Запиши три голоса тех, кого решение коснётся и кого не спросили. За каждого — одна фраза от первого лица.
  4. Малый шаг. Каким обратимым действием можно проверить решение, прежде чем принять его целиком?
  5. В каких сценариях решение хорошо? Во всех трёх, в двух, в одном.

Разговоры с ИИ-наставником

Наставник в этом модуле работает в трёх режимах. Он видит твои сценарии и список. Общее правило: наставник не предсказывает будущее и не говорит, что «будет на самом деле»; он помогает увидеть, какие решения устойчивы, какие хрупки и чей голос не услышан. О себе как о программе он говорит прямо: в вопросе о том, что отдавать машинам, он не посторонний, и решать это должен человек.

Режим «Сократ» — что я хочу сохранить

Когда: среда, при составлении списка. 15 минут.

Что делает наставник. Задаёт вопросы по одному. Помогает дойти от «работы» и «дохода» до того, что стоит за ними.

Как начать (можно скопировать):

«Вот мои три сценария: [сценарии]. Помоги понять, что я не готов потерять ни в одном из них. Только вопросами».

Как это выглядит (фрагмент):

Автор: Не готов потерять профессию. Я двадцать лет бухгалтер. Наставник: Что в ней ты любишь делать сам? Автор: Находить, где не сходится. Наставник: А если цифры сведёт программа — что останется? Автор: Объяснить директору, что это значит и что делать. Наставник: Это профессия — или то, что ты умеешь?

Автор: Боюсь, что сын вырастет и не будет уметь думать. Наставник: Когда ты в последний раз видела, как он думает над трудным? Автор: Когда чинил велосипед. Наставник: Что было рядом — и чего не было?

Режим «Учёный» — что известно о будущем и рисках

Когда: вторник, после глав 1–4. 10 минут.

Что делает наставник. Рассказывает, что известно о прогрессе и его цене, о необратимых рисках, дилемме Коллингриджа, споре осторожности и смелости — и чего не знает никто. Помогает найти ранние признаки для каждого сценария.

Как начать:

«Вот моё решение: [решение]. Что в нём обратимо и по каким признакам я рано пойму, куда идёт дело?»

Режим «Оппонент» — голос того, кого не спросили

Когда: четверг, перед встречей тройки. 10 минут. В формате «двое и ИИ» наставник берёт эту роль и на встрече.

Что делает наставник. Говорит от первого лица за человека, которого решение коснётся: за ребёнка через десять лет, за сотрудника, за покупателя, за тебя в шестьдесят. Предлагает четвёртый сценарий. Спрашивает, каким малым шагом можно проверить решение.

Как начать:

«Вот моё решение и те, кого оно коснётся: [лист]. Говори от лица того, кого я не услышал».

Чего наставник не делает в этом модуле. Не выдаёт сценарии за прогнозы и не называет вероятностей, которых никто не знает. Не пугает и не успокаивает. Не решает за родителя, что разрешать ребёнку, и за работника — на кого учиться. Не убеждает, что машинам можно или нельзя что-то доверить, — это решение человека. Если мысли о будущем вызывают не интерес, а сильную тревогу, наставник останавливает сценарии и переходит к бережному режиму и к дню 19 курса Loosen.

Мой случай недели

Что это

Мой случай в этом модуле — решение с горизонтом десять лет, которое коснётся других людей. Ты принимаешь его сейчас или скоро, а жить с ним будешь долго — и не один.

Как выбрать: четыре критерия

  1. Далеко. Последствия будут видны через годы, а не через месяц.
  2. Другие люди. Решение коснётся кого-то, кроме тебя.
  3. Неясность. Ты не можешь знать, как изменится мир вокруг этого решения.
  4. Твоё. Решение принимаешь ты — хотя бы отчасти.
  • Своё дело. Что поручить программам и что делать с людьми, чья работа меняется; во что вкладывать на годы вперёд.
  • Работа по найму. Переучиваться ли и на кого; участвовать ли в работе, последствия которой тебе неясны.
  • Сам на себя. Что в своём ремесле отдать машине; на чём строить имя на следующие десять лет.
  • Дом и семья. Чему и где учить ребёнка; что ему разрешать из нового; где жить.
  • Переход. В какую профессию идти, если неизвестно, какие останутся.

Что и когда нужно сделать

Когда Что Время
Понедельник Назвать решение; хороший и плохой сценарии 25 минут
Вторник Странный сценарий и ранние признаки; прочитать главы 2–4 55 минут
Среда до 21:00 Список «не готов потерять»; рабочий лист: решение, сценарии, список 20 минут
Четверг до 18:00 Проверка обратимости; если автор не ты — позиция вслепую 15–30 минут
Пятница или выходные Встреча тройки 60 минут
Воскресенье Воскресная запись 20 минут
Через месяц День проверки со свидетелем: сделан ли малый шаг 15 минут

Пример: рабочий лист Ольги (пример)

Ольга, 43 года. Восемь лет ведёт дом, до этого работала технологом на хлебозаводе. Двое детей: сын Миша, 12 лет, и дочь, 7 лет.

Пункт Что записала Ольга
Решение Разрешить ли Мише программу-помощника для уроков — и на каких условиях
Хороший сценарий Миша в 22 года учится на инженера, умеет ставить программе задачи и проверять её; пишет сам, когда это важно
Плохой сценарий Миша в 22 не может написать страницу без программы, не верит своим мыслям, учёбу бросил
Странный сценарий Экзамены стали устными, письменные работы отменили; ценится тот, кто умеет объяснять вслух и спорить
Ранние признаки Хороший: сам находит ошибки программы. Плохой: злится, когда программа недоступна. Странный: в школе вводят устные зачёты
Не готов потерять Чтобы Миша умел думать сам над трудной задачей; наши разговоры за ужином; чтобы он не боялся ошибаться; чтение вслух с младшей; моё умение печь хлеб руками
Обратимость Разрешение можно отменить; привычку не думать — трудно. Запрет тоже можно отменить; отставание от класса — можно догнать
Голоса отсутствующих Миша в 22: «Ты могла бы научить меня ею пользоваться, а не прятать». Учительница: «Я не могу отличить его работу от машинной». Младшая: «А мне потом тоже так можно?»
Малый шаг Месяц: программа — только после своей попытки и только чтобы проверить; в воскресенье Миша показывает мне, где она ошиблась

Позиция вслепую

Что это

Позиция вслепую — короткая письменная оценка чужого рабочего листа, которую каждый член тройки делает сам, не видя оценок других. Ты видишь только то, что автор решил показать. Зачем вслепую — подробно в модуле 08.

Четыре поля позиции

  1. Четвёртый сценарий, которого нет у автора, — два-три предложения.
  2. Что в решении автора необратимо, хотя он считает это обратимым, — или наоборот.
  3. Сделает ли автор малый шаг за месяц — вероятность от 0 до 100.
  4. Чей голос автор не услышал. Одна фраза от первого лица.

Не предсказывай будущее и не спорь о том, «как будет на самом деле».

Пример: три позиции по листу Ольги (пример)

Ольга (автор) Руслан (оппонент) Нина (свидетель)
Четвёртый сценарий — Программы станут платными и дорогими, и умение обходиться без них окажется преимуществом небогатых Миша сам потеряет к ней интерес через год, как к прежним игрушкам
Что необратимо Привычка не думать Необратимо другое: если он привыкнет скрывать от матери, чем пользуется Ничего; в двенадцать лет почти всё поправимо
Сделает ли шаг 85 70 80
Неуслышанный голос — Отец Миши: «Меня кто-нибудь спросил?» Сама Ольга через десять лет: «А чему за это время научилась я?»

Встреча тройки

Когда и как: пятница или выходные, 60 минут. К началу у всех открыты рабочие листы в том виде, в каком авторы решили их показать, и три позиции вслепую.

В формате «двое и ИИ» оппонента играет наставник, встреча идёт 45 минут. В живой книге встречу заменяет 30-минутный разбор с наставником, а свидетелем становится человек из жизни участника (подробно — во вкладке «Как устроен модуль», раздел «Форматы»).

Три роли

Роль Задача в этом модуле Чего не делает
Автор Называет решение, читает сценарии и список Не доказывает, что его сценарий сбудется
Оппонент Говорит от лица человека, которого решение коснётся и которого не спросили Не спорит о прогнозах и не пугает
Свидетель Замечает, что автор назвал «своим» и чего боится потерять. Хранит малый шаг и дату Не успокаивает словами «всё будет хорошо»

Сценарий на 60 минут

0–5. Начало. Каждый одной фразой: решение десятилетней давности, с которым он живёт.

5–12. Автор о случае. Решение, три сценария, список.

12–22. Расхождения в позициях. Начинает тот, чей четвёртый сценарий дальше всего от авторских.

22–37. Голос отсутствующего. Оппонент выбирает одного человека, которого решение коснётся, называет его и говорит от первого лица — три-четыре минуты. Автор отвечает ему, а не оппоненту. Затем два вопроса: что в твоём решении нельзя будет отменить? Что ты сделаешь, если увидишь ранний признак плохого сценария?

37–45. Автор уточняет малый шаг. Что, когда, как узнаю итог.

45–52. Свидетель. Одно наблюдение и один вопрос.

52–60. Итог. Автор вслух называет малый шаг и день. Каждый пишет одно предложение: «Сегодня я понял…».

Полезные фразы оппонента: «Я — тот, кого ты не спросил. Вот что я сказал бы…» «Что здесь нельзя вернуть?» «Каким шагом это можно проверить до того, как решить?»

Работа свидетеля

Что слушает свидетель в этом модуле

Свидетель в модуле 23 слушает, где автор говорит о будущем с интересом, а где со страхом, — и что стоит за страхом. Обычно это не технология, а потеря: быть нужным, быть рядом, быть тем, кто умеет. Свидетель замечает, что автор назвал своим.

Вопрос свидетеля

Признаки те же, что в модуле 08: вопрос опирается на наблюдение со встречи, он про автора, а не про будущее, и на него нельзя ответить «да», «нет» или цифрой. Шаблоны для этого модуля:

  • «В списке у тебя четыре строки о детях и одна о себе. Что ты хочешь сохранить для себя?»
  • «О плохом сценарии ты говорил вдвое дольше, чем о хорошем. Чего именно ты боишься?»
  • «Что ты хочешь оставить тем, кто придёт после тебя?»
  • «Что из того, что ты умеешь, ты хотел бы передать — и кому?»

Пример: Нина и Ольга (пример)

Нина: У меня одно наблюдение. В списке «не готов потерять» последней строкой стоит: «моё умение печь хлеб руками». Ты прочитала её быстро и сразу вернулась к Мише. Мой вопрос: почему эта строка в списке — и что она говорит о том, чему ты хочешь его научить? Ольга: …Потому что хлеб нельзя сделать быстрее, чем тесто подойдёт. Я хочу, чтобы он знал: есть вещи, которые делают руками и долго. И чтобы я сама это не забыла. Нина: Я записала малый шаг и воскресенья. Вернусь через месяц.

День проверки

Через месяц приложение присылает свидетелю решение автора, его малый шаг и вопрос. Свидетель спрашивает: сделан ли малый шаг — и что он показал? Какой ранний признак ты заметил? Что ты сделал для строк из списка «не готов потерять»? Изменилось ли решение? Как ты теперь ответил бы на мой вопрос?

Интеграция

Воскресная запись (15 минут)

  1. Какой из трёх сценариев было труднее всего написать — и почему?
  2. Какое твоё решение хорошо только в одном сценарии?
  3. Что ты не готов потерять — и что сделал для этого на этой неделе?
  4. Чей голос ты услышал впервые?
  5. Что ты узнал о себе из вопроса свидетеля (или из того, как ты сам был свидетелем)?

Связь с Loosen

Если на этой неделе мысли о будущем вызывали тревогу, а не интерес, наставник предложит день 19 курса Loosen — «Без границ». Это 20 минут о том, как держать неопределённость будущего без паники и без иллюзии контроля. Хорошо делать перед тем, как писать плохой сценарий.

Контрольный замер

В понедельник ты оценил три утверждения от 0 до 10. Сейчас — ещё раз:

  • «Я думаю о будущем с интересом, а не только с тревогой».
  • «Я знаю, что хочу сохранить при любых переменах».
  • «Принимая решение на годы, я проверяю, можно ли его отменить».

Что остаётся открытым

  • Малый шаг и ранние признаки — свидетель вернётся через месяц.
  • Три сценария — перечитать через год: какой ближе.
  • Список «не готов потерять» — понадобится в модуле 24 для личной конституции.
  • Позиция вслепую по рабочему листу автора недели — если автором был не ты.

Словарь модуля

Термин Что значит
Решение на десять лет Решение, с последствиями которого придётся жить долго и не только тебе
«Проблемы неизбежны, проблемы разрешимы» Мысль Дойча: трудности будут всегда, и всё не запрещённое природой достижимо при нужном знании
Необратимый риск Исход, после которого нельзя исправиться и попробовать снова
Дилемма Коллингриджа Пока технологию легко менять, не видно последствий; когда видно — менять трудно
Принцип ответственности По Йонасу: действовать так, чтобы последствия были совместимы с продолжением человеческой жизни
Исправление мира «Тиккун олам»: мир не завершён, и чинить его — дело каждого
Три сценария Хороший, плохой и странный вариант будущего — для проверки решений, а не для прогноза
Не готов потерять Пять вещей, которые человек хочет сохранить в любом сценарии
Проверка обратимости Четыре вопроса: можно ли отменить, сколько стоит, кто пострадает, каким малым шагом начать
Голос отсутствующих Слова тех, кого решение коснётся и кого не спросили, сказанные от первого лица
Мой случай В модуле 23 — решение с горизонтом десять лет, которое коснётся других людей

Что читать дальше

Если есть час:

  • Мэри Шелли, «Франкенштейн», главы 10–16 — рассказ существа.

Если есть выходные:

  • Тед Чан, «Жизненный цикл программных объектов».
  • Дэвид Дойч, «Начало бесконечности», главы 1, 3 и 9.

Для глубины:

  • Ханс Йонас, «Принцип ответственности».
  • Ник Бостром, книга о машинах умнее человека (2014).
Себе
Наставник
Люди
Наведи на пункт — появится подсказка