Сергей Израйлит: «Мы находимся в режиме обвала систем общественных отношений, и темп этого обвала будет только увеличиваться»

О

О технологическом развитии, функциях и роли государства в формате новых процессов, искусственном интеллекте и перспективах человечества рассказал МР директор Департамента развития и планирования Фонда «Сколково» Сергей Израйлит.

Текст: Екатерина Борисова

— Есть версия, что в связи с развитием современных технологий происходит смена общественно-экономической формации. Как Вы видите дальнейшее развитие общества?
— Меня не оставляет ощущение того, что смены формации не будет. Мы просто не находимся в режиме перехода к новому стабильному устройству. Нас ждут ускоряющиеся изменения, местами переходящие в нарастающую эрозию сложившихся стереотипов межличностных отношений и приводящие к обвалу отдельных элементов общественных систем.

В 1993 году один американский математик и фантаст — Вернор Виндж написал статью про технологическую сингулярность. Идея заключается в том, что скорость развития интеллектуальных систем (как машинного, так и искусственно усиленного человеческого интеллекта) такова сейчас, что минимальные изменения, которые вообще не видны в социуме, будут постепенно разрушать человеческие отношения, и квинтэссенцией этой ситуации будет так называемая технологическая сингулярность – момент, в который человечество в целом утратит контроль за своим будущим. Он перейдёт к кому-то ещё: не обязательно к искусственному интеллекту, может быть к каким-то отдельным людям со сверхспособностями, сформированными методами машинного, биологического, технологического моделирования…

— Человек с дополненной реальностью…
— Человек с дополненной реальностью – это не шаг к контролю, это шаг от контроля, потому что дополненная реальность в ряде случаев склонна обманывать человека. Когда вы сидите в Facebook, вы же понимаете, что та реальность, которую вам Facebook рисует – это уже не та реальность, которая есть на самом деле. Новостные агрегаторы или, например, TripAdvisor и Booking.com уже сейчас подбирают вам не то решение, которое Вы хотите, а то, которое выгодно им, чтобы Вы хотели.

Но это пока не выглядит катастрофичным, несмотря на обеспокоенность таким искажением реальности со стороны некоторых общественных и государственных институтов (в частности, на это уже обратила внимание ФАС при разработке пятого антимонопольного пакета).

Катастрофа в понимании обычного человека начнется лет через 10 примерно. Сейчас пока есть иллюзия контроля.

Эта иллюзия пока сохраняется, потому что вышедшие из-под контроля процессы пока не очень сильно влияют на наши межчеловеческие отношения. Условно говоря, я могу спланировать свою жизнь, карьеру и бизнес до какой-то степени. Но однажды, по версии Вернора Винджа, наступит момент, когда Вы не сможете увидеть и просчитать тренды своей собственной жизни; однажды Вы выйдете на улицу, а там – другой мир: работодатель поменял задачи, и Вы больше не требуетесь, или Ваши партнеры действуют, исходя из новой логики, которую им кто-то продал, пока Вы мирно спали у себя дома, а у жены и детей – другие взгляды, которые они подчерпнули из неизвестных Вам информационных потоков, и они начинают вести себя неожиданно, разрушая доверие в семье.

— А что ломает тренды?
— Их ломает технология, с помощью которой отдельные участники правоотношений в этом мире получают несоразмерную власть завтра по сравнению с сегодня. Причем эта власть может быть выражена не явно, более того, она может даже не быть субъектна. Условно говоря, Вы поставили робота на биржу, который торгует вместо Вас, и все остальные сделали то же самое. Фишка заключается в том, что если на бирже основной объем торгов делается роботами, то при определённых, заранее непредсказуемых, условиях может случиться просто обвал, когда огромные активы между этими роботами начнут переходить по совершенно немыслимым ценам: либо дико завышенным, либо дико заниженным. И это при том, что там нет никакого искусственного интеллекта, нет никакой воли, там происходит просто реализация незапланированного, но алгоритмически естественного сценария.

— Сейчас Вы на самом деле говорите о жестких алгоритмах, а что произойдёт, если добавить туда искусственный интеллект, который будет решать проблему по ситуации?
— Чем больше ситуаций, решения по которым будут принимать интеллектуальные системы, тем уже область, которую мы реально можем спрогнозировать. Вполне реальным может оказаться сценарий, при котором, однажды проснувшись, Вы обнаруживаете, что, дом, в котором Вы вчера уснули, уже Вам не принадлежит, на банковском счете у Вас ноль, дети больше не учатся в той школе, в которой они учились ещё вчера, и школы этой просто нет, там размещено хранилище ядерных отходов. Консервативное регулирование, которое естественным образом складывается за счет большого количества участников, преследующих в том числе свои интересы, заменяется на алгоритмическое системное регулирование, привязанное к системам искусственного интеллекта, который будет искать оптимум. Это может сделать будущее каждого человека непредсказуемым.

— Что происходит после обвала общественных систем?
— Помните, Макаревич поёт песню про рыбку в банке, которая счастлива вполне. Мы же с Вами понимаем, что всё её счастье построено на вашей заботе о ней. То есть интеллект, который будет управлять различными технологическими системами, созданными для улучшения качества жизни человека, через 10 лет после запуска может оказаться соразмерен с нашим примерно так же, как ваш интеллект и интеллект рыбки.

До тех пор, пока искусственный интеллект о Вас заботится – у Вас всё хорошо, пока он специальным образом создает для Вас нишу комфорта – всё отлично. Но в тот момент, когда ИИ решает, что это не оптимально и можно обойтись без Вас – ваша ниша исчезает. Зачем кормить бесполезную рыбку? Зачем кормить каждого человека?

— Обрисуйте будущее. Будет хаос?
— Необязательно, почему? У рыбок в аквариуме в обычном состоянии никакого хаоса нет. Главное, чтобы не забывали корм насыпать и нагреватель воды выключать.

— Но контроль от человека перейдет к машинам…
— Почти неизбежно. Иллюзию контроля можно сохранить, как это, например, сейчас происходит, когда сотрудник ГИБДД подписывает квитанции о взыскании штрафа за превышение скорости на дороге, оборудованной камерой с фиксацией скорости. Но как сейчас он не проверяет, настоящую ли фотографию и замер скорости ему показывает информационная система, так и завтра ответственные люди могут не проверять те решения, которые им предложит машина. Это и означает утрату фактического контроля даже при сохранении контроля номинального.

Насколько я помню, Гутенберг, изобрётший печатный станок, снизил стоимость копирования 1 страницы текста в 100 раз. В последнюю декаду ХХ века стоимость копии А4 (с появлением электронной копии) уменьшилась в миллион раз. А с переходом к цифровой экономике копия А4 потеряла измеримую стоимость создания и перемещения, при этом став повсеместно доступной с помощью Интернета. Это радикальное изменение будет определять будущее, хотя мы его ещё пока не заметили на человеческих отношениях.

Технологии искусственного интеллекта пока в лучшем случае только копируют и сравнивают копии. То есть они могут агрегировать, рейтинговать, определять, что более релевантно и так далее, но это всё равно копирование и сравнение. В принципе, они могут уже синтезировать, но делают это пока ещё плохо. Сейчас ключевой вопрос в том, как сделать архитектуру системы, которая сможет синтезировать новое на уровне человека, или даже лучше.

А давайте представим, что это получится? Представьте себе, что система, которая может творить, и при этом в создаваемом продукте способна сбалансировать, допустим, 100 тысяч факторов (человеку обычно доступно 5-7 при сознательной балансировке, и в пределах 200 при интуитивной), начинает создавать под вас текст, фильм или иной контент, в том числе учебный. Если она действует полностью в ваших интересах, это одна ситуация. Если она вдруг начинает работать хотя бы чуть-чуть не в ваших интересах, то она начинает вами управлять, манипулировать. То есть происходит изменение субъектности.

«Яндекс.Пробки» уже сейчас может вести вас кратчайшим маршрутом, а может распределить нагрузку по транспортной сети так, чтобы проехали все в целом быстрее, но конкретно Вы будете ехать дольше, чем могли бы. Можно сказать, что Яндекс создает для Вас персональный творческий продукт (маршрут), однако при этом возможен конфликт интересов.

— Вы уверены, что искусственный интеллект для нас опасен в будущем?
— В настоящем. Особенность момента заключается в том, что ни В.Виндж, ни Н.Бостром, ни Э.Юдковски, ни Р.Курцвейл не могут точно спрогнозировать, когда это произойдет. Проблема заключается в том, что мы не знаем, происходит это или нет уже сейчас. Любая социальная сеть, достаточно большая, чтоб работать с огромными объемами данных, пытается сделать Вам контент более интересным. Насколько она действует в Ваших интересах? Вы не знаете. По факту, мы можем констатировать, что конфликт интересов между сверх большими системами обработки данных и людьми уже случился. Просто сейчас это ещё не так сильно на Вас влияет. Какая разница, что Facebook там показывает, если Вы его не смотрите? Но завтра (точно не могу сказать, когда, может быть, буквально завтра) ситуация изменится, и, боюсь, изменится необратимо.

— Грозит ли человечеству массовая безработица?
— Вся работа, которую люди будут делать через 50 лет – будет обусловлена теми нишами, которые для них создаст искусственный интеллект. Это будут ровно те аквариумы, которые мы покупаем для своих рыбок.

— И насколько будет высока потребность в человеческом труде?
— Потребность будет практически нулевая. В том-то вся и проблема. Работы, которую человек делает лучше ИИ, практически не останется. Полагаю, можно сверху оценить потребность в количестве востребованных рабочих мест (для тех этических ситуаций, где робот по-прежнему не сможет принимать правильных решений) в 100 человек на всё человечество.

— Как выходить из этой ситуации?
— Развивать эстетическое чувство у сильного искусственного интеллекта, чтобы он о нас как о рыбках в банке заботился. Все ниши, которые будут существовать, будут сформированы ИИ. Нюанс заключается в том, что до тех пор, пока мы пытаемся конкурировать с системой, которая нас в миллион раз умнее потенциально, мы находимся в уязвимом положении. Нельзя заниматься самообманом, и создавать иллюзию контроля.

— Но ниши все-таки будут сформированы, они будут существовать…
— Возможно, это одна из версий, не самая вероятная.

Я думаю, что в пределах 20-25 летнего горизонта появятся полностью автоматизированные дома; и, более того, появятся роботы, которые будут обеспечивать саморемонт, самообслуживание. Условно говоря, холодильник, который понимает, что у него скоро перегорит лампочка, заказывает новую лампочку. Появится и рука, которая эту лампочку может ввернуть. Дальше – автоматизация производства сырья и энергии, без этого дом не будет работать. Производство энергии уже сейчас высоко автоматизировано. Я думаю, что в пределах 10 лет появятся системы, которые будут работать практически по замкнутому циклу. Это всё основано на системах предиктивной аналитики. В «Сколково» полсотни стартапов минимум этим занимаются.

 С едой разобрались, с домом разобрались, с ресурсами разобрались. Безопасность. Юристы мне не верят, что в обозримом будущем, наверное чуть больше, чем 20 лет, всё законодательство, все правоотношения перейдут в форму автоматизированного самоисполняемого контракта. Самое сложное здесь – создать адаптивное законодательство, которое будет подстраиваться под новые потребности людей бизнеса, выдумывать новые правила, которые бы учитывали, какие-то особые кейсы.

Если посмотреть на предмет принятой в России программы «Цифровая экономика», то одна из базовых конструкций, на которой она стоит – это система управления изменениями в нормативном регулировании. В плане работы нашего центра компетенций Вы увидите, что много сил мы планируем потратить в ближайшем будущем именно на это: разработку процедур, машиночитаемого права, создание адаптированных систем законодательства. Если мы это сделаем, если мы зададим данный тренд сейчас, то снимем и эту проблему.

Дальше — производство контента. Это как раз история про того самого робота, который умеет синтезировать контент, подходящий вам по языку, по эмоциональному состоянию, соответствующий вашим задачам. Это более отдаленная перспектива, но это тоже очень скоро – в пределах темпов развития человеческой цивилизации. Мой прогноз – это наверняка случится за следующие 30 лет.

— А вопрос социальной сферы, пенсий как будет решаться?
— Думаю, по развилке – нужна ли мне пенсия в принципе? Зачем мне она, если мой дом меня кормит, поит, выдает мне любой необходимый мультимедийный контент, обеспечивает мои коммуникации с любыми людьми, с какими я хочу разговаривать на любых языках, как языках стран, так и языках компетенций. Вы можете поговорить с Эйнштейном, и робот-переводчик будет переводить его сложные понятия на ваши простые, будет подбирать образы, которые будут понятны Вам. Не только языковой барьер будет снят. Профессиональный языковой барьер будет снят также.

— Получается, деньги не нужны?
— А зачем они Вам? Некоторые фантасты уже описывали это будущее, и в нем либо нет денег, либо они не используются для того, чтобы выжить или удовлетворить свои базовые потребности. Полагаю, мы вплотную подошли к тому, что работы, которая вызвана не внутренними потребностями, а необходимостью выживания, для человека не будет. Думаю, это случится ранее, чем через 50 лет. При этом через 10 лет ещё большинство ниш работы людей останутся, но проблема в том, что системы, которые нас координирует, уже вряд ли будут состоять из людей.

— В ситуации развития платформ в производстве конечного продукта принимают участие огромное число участников со своими идеями. Как в этом случае решается вопрос собственности?
— Вы же понимаете, что понятие права собственности условное, его придумали люди. Оно сложное, поскольку состоит из нескольких различных прав — права владения, пользования и распоряжения. Давайте разберёмся с пользованием. Когда вы едете в отпуск, Вы арендуете помещение. У Вас появляется право пользования на какое-то время. Сейчас люди всё больше и больше понимают, что владение объектом не является необходимым для того, чтобы воспользоваться им. Это принцип текущей перестройки, его называют Sharing economy (совместное пользование одной вещью, но в разное время). Например, такси, каршеринг, Airbnb…

— Это всё ещё имеет отношение к капитализму или капитализм здесь уже ни при чём?
— Капитализм – это период главенства очень простой идеи: я получил актив, и я на нём зарабатываю. Например, я построил завод, который выпускает ботинки. У меня есть определенный производственный процесс, определенная цена ботинок, которая позволяет мне иметь какую-то маржу. А теперь представьте, что на этом заводе люди не работают. В результате у меня вся эта конструкция стоит ровно столько, сколько я вложил денег и сколько я плачу банку за кредит плюс расходные части, плюс роботы, которые прилетают заменить запчасти, роботы, которые мне привозят материалы для того, чтобы клепать ботинки, услуги службы, которая у меня эти ботинки забирает и отвозит в магазины, комиссия, которую магазин берет за продажу, и так далее. То есть, на самом деле, мой бизнес зависит от того, из каких он собран компонентов и сервисов. Я всего лишь претендую на заработанную маржу. Право собственника связано с получаемой прибылью. Современные корпоративные системы уже даже отделили собственника от топ-менеджеров, предоставляя первому право нанимать вторых, и устанавливая между ними отношения по передаче маржи в виде дивидендов.

А что дальше происходит? Строит кто-то большой центр по обработке данных и сдаёт в аренду своё оборудование. Кто-то другой его арендует, производит расчеты, необходимые для выпуска какого-нибудь биткойна и получает маржу с биткойна. То есть, владелец инфраструктуры получает маржу от арендной платы, а тот, кто арендовал – от своей деятельности. С точки зрения получения прибыли собственность в данном случае оказывается не критичной.

Не право собственности вам приносит доход, а право распоряжения. Это более узкое право. Поэтому в технологической платформе ключевой вопрос в том, какие бизнес-процессы, связанные с созданием добавленной стоимости и созданием маржи, будут образовываться. Ведь на самом деле от этого зависит эволюция платформы. Платформы сейчас соревнуются за то, чтобы предоставить как можно большему числу игроков максимально возможное число ниш, в которых можно зарабатывать. Это как раз та история про рыбку в банке. Сейчас большинство платформ с точки зрения их коммерческого успеха заинтересованы, чтобы у них было большое количество рыбок внутри; чтобы они там плавали, создавали добавленную стоимость.

Именно поэтому у меня нет пока ощущения, что искусственный интеллект, который наверняка вначале прикрутят к управлению платформами, нас из этого аквариума выплеснет. Он будет заинтересован в том, чтобы нас на каждой из этих платформ было много, это будет заложено в его дизайн и принципы работы.

А собственность, в моём представлении, сохранится за теми людьми де-юре, которые в эту историю инвестировали, в том числе придумали правильно (в интересах большого количества рыбок) действующий искусственный интеллект. Например, Марк Цукерберг. Он просто придумал модель, привлекающую многих рыбок, т.е. модель бизнеса, при которой большое количество людей на его платформе реализует какие-то свои цели. Большинство, кстати, денег за это не получает. Поэтому та маржа, которая сваливается на остальных участников этой системы, достаточно большая. Все остатки от всех маржинальных продуктов, которые сложились внутри, поступают ему. Поэтому Facebook стоит дороже, чем большинство российских компаний.

— Как Вам видится зависимость крупнейших корпораций нового типа от государства?
— Это тоже довольно простая история на первый взгляд. Uber и Франция. Франция, как государство, давала своим водителям возможность зарабатывать, создавая нишу «водитель такси» и продавая «входной билет» — лицензию. Пришёл Uber и создал собственный аквариум-нишу без «входного билета». Те, кто ранее заплатили за этот билет государству, взяли в руки дубины и пошли громить Uber-такси. Государство было вынужденно запретить Uber. Вот вам и стоимость этого актива. Если бы Uber работал только во Франции, то его существование реально было бы на волоске. Таким образом, если государство гарантировало своим гражданам нечто, на что посягает платформа, то у платформы возникают массовые риски, которыми сложно управлять.

— Другими словами, пока Facebook сотрудничает с государством, у него никаких проблем не будет, потому что параллельно он выполняет государственные запросы?
— Здесь есть множество примеров, не только и не столько касающихся государственных запросов. Telegram в России – это тоже яркий пример. Этот мессенджер не пошёл на сотрудничество, о котором просило государство, и государство решило его запретить. Однако предпринятая попытка не увенчалась успехом. Почему получилось запретить Uber во Франции? Потому что Uber во Франции начал разрушать аквариум, созданный заботливо государством для каждой рыбки. А рыбка начала возмущаться и кричать, что «я в этом аквариуме вообще-то место купила». В России же, в истории с Telegram, рыбкам никто ничего не разрушал. Наоборот, государство, блокируя мессенджер, стало ухудшать условия жизни граждан, обрывая установившиеся цифровые связи. Отсюда и отсутствие реальной электоральной поддержки этой политики, и сомнения в экспертных кругах в её целесообразности.

— То есть сейчас государство в нашей ситуации играет не на своём поле и не в ту игру, которая выгодна большинству участников?
— Да. На самом деле есть определенная система деклараций у любого государства, которые в конечном счете направлены на то, чтобы сделать жизнь людей лучше. В истории с Telegram ситуация обратна: ценность, которую производит своими запретительными мерами государство, слишком не очевидна для людей, чтобы они послушались утверждения определенных чиновников и отказались от этого продукта. Хотя бы отказались, я не говорю уже про то, чтобы они пошли и реально начали громить Telegram, потому что он им жизнь портит. Мораль сей басни такова – если  государство не сможет вести корректный диалог со своими гражданами и бизнесом, то попытки государства бороться с платформенными решениями будут обречены на неудачу. В том числе в технической части. На самом деле технология, которая доступна крупным международным компаниям, уже давно сопоставима с технологиями, которые доступны государству.

— Как Вы относитесь к попыткам сегментировать Интернет в соответствии с национальными границами?
— Это изначально вредный путь. Кроме того, сейчас уровень сложности тех решений, которые проводятся, для этого недостаточный. Система, которая пытается контролировать эти процессы, не сопоставима по сложности с теми процессами, которые имеют место там быть. Эта как попытка контролировать искусственный интеллект из «Пламя над бездной» Вернора Винджа методами «Роскомнадзора». Она обречена на неудачу. Особенно, если мы ещё и не работаем с потребностями людей. В итоге, они будут хихикать на форумах, как, условно говоря, у «Роскомнадзора» не получилось. При такой позиции государственных структур, у государства не будет поддержки. Она будет в телевизоре, она будет на выборах, но её не будет в продвижении властных решений.

— Теряют ли значение фиатные деньги в связи с развитием криптовалют?
— Здесь очень простая ситуация. Государство призвано защищать интересы граждан, оно для этого существует. Для этих целей создана система, которая разбирается в разных случаях взаимодействия между гражданами, выясняя кто прав, кто виноват. А валюта — это один из элементов отношений, которые защищает государство. Криптовалюта же существует вне государственного контроля, т.к. не государство создавало этот инструмент. Мне кажется, что сейчас позиция Банка России и многих экспертов, которые в этой сфере работают, разумная. Главное, чтобы не было перегибов при правоприменении. Ведь легко можно запретить транзации с криптовалютой, и это тоже будет шаг назад – к ограничению прав и современных инструментов взаимодействия участников крупных экосистем, что вряд ли принесет государству какую-либо пользу.

— С Вашей точки зрения, что станет результатом двух встречных течений: попытки государств взять под свой контроль крупнейшие корпорации нового типа вместе с цифровыми потоками информации, и попытки общества организовать внегосударственные финансовые и информационные сети?
— Я не вижу этих двух субъектов. Чтобы быть субъектом в этом процессе нужно обладать компетенцией. Чтобы обладать компетенцией, нужно иметь сопоставимые по сложности системы управления, которых у большинства государств нет. Субъект сделки – это тот, кто понимает предмет сделки. А в чём здесь предмет сделки? Государство понимает предмет сделки или нет?

— Предмет сделки для государства — это сохранение собственных функций. Однако со стороны встречного движения говорят, что нам уже государство не нужно, у нас есть криптовалюты, у нас есть информационные сети, мы можем всё сами, без государства.
— А давайте вернемся к технологической сингулярности, мы далеко от нее отошли, а зря. На самом деле, какой из государства субъект по отношению к системе, которая в миллион раз умнее государственных чиновников? И какой из общественного движения субъект, если оно достаточно глупо по сравнению с системой такого класса? Мой диагноз – существующее государство и общественное движение не субъекты.

Между ними может быть иллюзия взаимодействия, но это именно иллюзия, потому что ни одна из этих систем не обладает достаточной сложностью, чтобы управлять процессом. Если государство ставит задачу сохранить свои функции, то это ошибочная задача. Государство должно каким-то образом трансформироваться, чтобы создать для своих граждан условия, при которых граждане будут это государство защищать. Так же как водители защищали сложившиеся общественные отношения во Франции при наступлении Uber. Если государство этого не делает, то попытка бороться за свои функции – охранительство в самом консервативном значении этого слова – в долгосрочном смысле обречена на неудачу. Поэтому задача государства – не сохранение всех своих функций, а создание ценностей для граждан (цифровом мире – цифровых ценностей) и формирование стратегии защиты этих ценностей через сопричастность и вовлеченность общества.

— В общем, сейчас стоит вопрос об интеллектуальном развитии государства?
— Да, именно так. У государства два варианта: либо пытаться оборонять свои рубежи с неизбежным проигрышем в конце, либо наращивать свое интеллектуальное присутствие в экономике. Именно интеллектуальное! Не имущественное, не контрольное, а интеллектуальное. Тогда мы сможем сказать, что будущее государство — это и есть тот самый сильный искусственный интеллект. Оно должно переродиться в СИНТ (super-intelligence — искусственно созданную и саморазвивающуюся личность, чей прогресс позволит стать в миллионы раз умнее каждого из людей). Если государству удастся переродиться и стать бенефициаром технологической сингулярности, то оно избежит ситуации собственной гибели, не станет жертвой.

— А если станет жертвой, то что дальше?
— Это в истории бывало: одно племя изобрело копья, а другое нет. И в результате, то племя которое не изобрело, пошло на мясо и наконечники для копий тем, кто изобрёл. Сейчас может быть менее кровавая история, но с точки зрения экономических сегментов, с точки зрения поддержки общества – ровно такая ситуация. Кто будет делать первые значимые шаги на этом поле, тот и выиграет. Я пока не вижу, чтобы кто-то делал. Даже Китай и США делают это слабо. Они этого не понимают. У нас все шансы.

— «Сколково» должно в этом активно участвовать.
— «Сколково» — не государство. «Сколково» никто не спрашивает, к сожалению, в этой ситуации. Поставленная перед нами задача утилитарна – генерировать новые технологические стартапы и привлекать инвестиции в них, причем еще попытаться коммерциализировать экосистему, т.е. зарабатывать деньги на всём, что в ней движется. Наши мозги государством пока мало востребованы, в лучшем случае нас просят представить свое мнение «по вопросу об инновациях в сельском хозяйстве Дальнего Востока». Государственные стратеги просто забывают про то, что на самом деле, мы все уже отстали по качеству управления сложностью даже тех треков, которые имеют быть сейчас. Нам надо догонять. Но это не получится сделать теми методами, которые в настоящее время используются государством. Надо выращивать мозг, или мы останемся шимпанзе в наступающую эпоху.