AI. Наддержави штучного інтелекту - Кай Фу Лі - ebook

AI. Наддержави штучного інтелекту ebook

Кай Фу Лі

0,0

Opis

Чесно про те, кому загрожує втрата роботи через штучний інтелект та які економічні наслідки тягнуть за собою технологічні прориви. Що буде з людиною, коли штучний інтелект робитиме геть усе? Штучний інтелект змінює світ. Чи буде суперкомп'ютер правити світом? Що ми можемо зробити для того, щоб не лишитися позаду прогресу?

Ebooka przeczytasz w aplikacjach Legimi na:

Androidzie
iOS
czytnikach certyfikowanych
przez Legimi
czytnikach Kindle™
(dla wybranych pakietów)
Windows
10
Windows
Phone

Liczba stron: 371

Odsłuch ebooka (TTS) dostepny w abonamencie „ebooki+audiobooki bez limitu” w aplikacjach Legimi na:

Androidzie
iOS
Oceny
0,0
0
0
0
0
0
Więcej informacji
Więcej informacji
Legimi nie weryfikuje, czy opinie pochodzą od konsumentów, którzy nabyli lub czytali/słuchali daną pozycję, ale usuwa fałszywe opinie, jeśli je wykryje.



Анотація

Чесно про те, кому загрожує втрата роботи через штучний інтелект та які економічні наслідки тягнуть за собою технологічні прориви.

Що буде з людиною, коли штучний інтелект робитиме геть усе? Штучний інтелект змінює світ. Чи буде суперкомп'ютер правити світом? Що ми можемо зробити для того, щоб не лишитися позаду прогресу?

ISBN 978-966-993-248-8

Кай-Фу Лі

Наддержави штучного інтелекту. Китай, Кремнієва долина і новий світовий лад

Присвячую Раджу Редді, моєму наставнику у світі штучного інтелекту та в житті загалом.

Вступ

Мій обов'язок як венчурного інвестора полягає в тому, що я маю виступати з лекціями про штучний інтелект перед представниками світової ділової і політичної еліти. Однак, іноді я веду бесіди на ту саму тему в дитячих садках, і це надзвичайно мене тішить. Дивно, але і там, і там я часто чую одні й ті самі запитання. Під час мого недавнього візиту до пекінського дитячого садка гурт п'ятирічних малюків просто засипав мене запитаннями про майбутнє штучного інтелекту.

«Чи матимемо ми вихователів-роботів?»

«Що трапиться, якщо роботизована автівка вріжеться в іншу, таку саму автівку?»

«Чи будуть люди одружуватися з роботами і заводити з ними дітей?»

«Чи стануть комп'ютери настільки розумними, що зможуть нами командувати?»

«Якщо роботи все будуть робити самі, то що будемо робити ми?»

Діти ставили ті самі запитання, що і найбільш впливові люди, і це дещо мені прояснило. По-перше, мені стало зрозуміло, що штучний інтелект починає обговорювати дедалі більша кількість людей. Лише кілька років тому тема штучного інтелекту розглядалася лише в наукових працях і фантастичних фільмах. Середньостатистична людина, можливо, мала уявлення, що штучний інтелект потрібен для створення роботів, які мислитимуть як люди, але це не мало ніякого стосунку до її повсякденного життя.

Сьогодні все змінилося. Статті про інновації в галузі штучного інтелекту наповнюють сторінки газет. Бізнес-конференції щодо використання штучного інтелекту для збільшення прибутку відбуваються майже щодня, а уряди по всьому світу розбудовують плани освоєння цієї технології. Штучний інтелект раптом став однією з найбільш обговорюваних тем, і це втішно.

Слідом за великими проривами в галузі штучного інтелекту, нарешті стали з'являтися продукти, які базуються на його основі, які здатні змінити наше життя. Штучний інтелект вже використовується у багатьох популярних додатках і веб-сайтах, а в найближчі роки він буде керувати нашими автомобілями, цінними паперами, брати участь у виробництві більшості товарів, і, можливо, витісняти нас з робочих місць. Його використання пов'язане як з величезними вигодами, так і з потенційними загрозами, і ми повинні бути готові як до одного, так і до іншого.

Мій діалог із дошкільнятами показовий також і тим, де він відбувся. Ще не так давно Китай відставав від США в галузі штучного інтелекту на роки, якщо не на десятиліття. Проте за останні три роки нашу країну охопила справжня лихоманка штучного інтелекту, і такого емоційного зрушення навколо цієї галузі не побачиш, мабуть, більше ніде у світі. Серйозне захоплення штучним інтелектом зі сфери технологій швидко проникло в бізнес-спільноти та вищі органи влади. Воно поширилося всюди. Навіть на пекінські дитячі садочки.

Китай покладає великі надії на штучний інтелект, і підтримка цієї технології приносить свої плоди. Китайські компанії і дослідники штучного інтелекту вже створили потужну, здатну конкурувати із американськими аналогами платформу і продовжують експериментувати з інноваційними алгоритмами та бізнес-моделями, які обіцяють повністю змінити економіку Китаю. Спільними зусиллями китайські підприємці та науковці перетворили країну на справжню наддержаву штучного інтелекту, єдину державу, здатну змагатися з США в розвитку цієї технології. Те, як будуть розвиватися конкуренція і співпраця цих двох країн в галузі штучного інтелекту, може мати серйозний вплив на світову економіку та державне управління.

Зрештою, під час зустрічей із юними слухачами мені раптово відкрилася ще більш значна істина: коли справа доходить до розуміння майбутнього, ми всі схожі на дітей. Зі змішаним почуттям дитячого подиву і дорослої тривоги ми намагаємося заглянути в це майбутнє і бачимо безліч запитань, на які немає відповідей. Ми хочемо збагнути, як розвиток штучного інтелекту вплине на нашу роботу і життя, а також дізнатися, що за люди та які країни виграють від використання цієї неймовірної технології. Ми розмірковуємо, чи може штучний інтелект привести нас до матеріального достатку і чи залишиться у світі, яким керують розумні машини, місце для людства.

На жаль, не існує кришталевої кулі, за допомогою якої ми могли б зазирнути у майбутнє. Ця невизначеність робить наші запитання і спроби знайти відповіді на них ще більш важливими. Моя книга є однією з таких спроб. Я не ясновидець, але мій особистий досвід дослідника і користувача технологією штучного інтелекту, а тепер — і венчурного інвестора, якому довелося попрацювати і в Китаї, і в Сполучених Штатах, може виявитися корисним. Сподіваюся, що моя книга хоч трохи пояснить те, як ми дійшли існуючих досягнень у цій області, а також підштовхне читачів до нових обговорень цієї теми.

Передбачити закінчення нашої історії про штучний інтелект досить складно, тому що це не просто історія про машини. Це також історія про людей і свободу волі, яка дає їм змогу приймати рішення й керувати своїм життям. Саме ми визначаємо майбутній шлях штучного інтелекту, і він залежить від того, що ми вибиратимемо і робитимемо. Під час цього процесу ми зможемо, сподіваюся, зазирнути глибоко всередину самих себе і знайти в собі мудрість, яка допоможе нам не збитися зі шляху.

Тож з огляду на це й почнімо наше дослідження.

1. Запуск китайського супутника

Китаєць-тінейджер в окулярах із квадратною оправою не скидався на останню надію людства. У чорному костюмі, білій сорочці та чорній краватці, Ке Цзе сидів, згорбившись і потираючи скроні, цілком занурений у напружені роздуми. Зазвичай підтримуваний упевненістю, що межує із зухвалістю, зараз цей дев'ятнадцятирічний юнак розгублено корчився у шкіряному кріслі. Уявіть, що ця ситуація трапилася в іншому місці, і його можна було б прийняти за звичайного студента, який працює над доволі важким доказом геометричної теореми.

Та насправді цього травневого дня 2017 року він змагався з дуже розумною машиною, а саме AlphaGo, з потужним штучним інтелектом, на створенні якого зосередилась вся технологічна міць Google. Бій відбувався на дошці з полем 19 на 19 ліній, заставленій маленькими чорними і білими камінчиками. Це були складові для гри в го — гри з оманливо нескладними правилами: два гравці, по черзі пересуваючи свої камені, намагаються оточити камені супротивника. Ке Цзе грав у го краще, ніж будь-хто на Землі, але сьогодні йому протистояв надзвичайно сильний суперник.

Вважають, що гру в го винайшли понад 2500 років тому, але історія її сягає в минуле глибше, ніж історія будь-якої іншої настільної гри з тих, які ми сьогодні знаємо. У Стародавньому Китаї вміння грати в го входило до числа чотирьох мистецтв, якими зобов'язаний був володіти кожен китайський вчений. Вважалося, що го наділяє гравців мудрістю і витонченістю думки, характерних для філософії дзен. Якщо, наприклад, шахи мають примітивний тактичний характер, то гo вимагає поступової зміни позицій на дошці й вміння повільно оточувати противника, що перетворює цю гру на мистецтво, яке потребує особливого підходу.

Складність цієї гри цілком відповідає своїй історії. Щоб викласти її основні правила, досить дев'яти пропозицій, але число можливих комбінацій на дошці го більше ніж кількість атомів у відомому нам Всесвіті[1]. Оскільки побудова стратегій у го є неймовірно складним процесом, завдання перемогти чемпіона світу цієї гри стало для фахівців у галузі штучного інтелекту своєрідним Еверестом, тобто спроби підкорити його довго залишалися безрезультатними. Поет сказав би, що машина не зможе перемогти, оскільки у неї відсутня важлива людське якість — таке собі містичне відчуття гри. Інженери, в свою чергу, вважали, що кількість імовірних позицій на дошці є занадто великою, щоб комп'ютер міг їх прорахувати.

Але цього дня AlphaGo не просто переміг Kе Цзе. Один розгром наставав за іншим розгромом. Впродовж трьох матчів-марафонів, кожен із яких тривав більше трьох годин, Kе боровся з комп'ютером всіма доступними способами. Він намагався здолати його, використовуючи різні тактики: консервативну, агресивну, оборонну і непередбачувану. Дарма, жодна з них не спрацьовувала. AlphaGo не піддавався. Замість цього він повільно затягував зашморг навколо Ке. 

ПОГЛЯД З ПЕКІНА

За поєдинком Kе Цзе і AlphaGo стежило безліч людей, але не всі сприймали його однаково. Для деяких спостерігачів з США перемоги AlphaGo означали не так перемогу машини над людиною, як перемогу західних технологічних компаній над усім іншим світом. За останні два десятиліття компанії Кремнієвої долини зуміли завоювати ринки технологій. Facebook і Google стали ключовими платформами для соціалізації і пошуку інформації в інтернеті. Вони підібрали під себе місцеві стартапи в багатьох країнах — від Франції до Індонезії. Ці інтернет-гіганти надали США перевагу в цифровому світі, що відповідає їхній військовій та економічній потужності в світі. AlphaGo — продукт, створений британським стартапом під назвою DeepMind, який 2014 року придбала компанія Google, повинен був зміцнити позиції Заходу в цифровому світі у період розвитку штучного інтелекту.

Та спостерігаючи за грою Ке Цзе зі свого офісу, я побачив дещо зовсім інше. Штаб-квартира мого венчурного фонду розташована у пекінському районі Чжунгуаньцунь, який часто називають китайською Кремнієвою долиною. Саме тут ведуться передові розробки у сфері штучного інтелекту. Для людей, які тут працюють, перемога AlphaGo стала водночас і кинутим їм викликом, і джерелом натхнення. Отож, ця подія зіграла в історії майже таку саму роль, як запуск супутника Радянським Союзом.

У жовтні 1957 року СРСР відправив на космічну орбіту перший в історії супутник, зібраний людиною. Це здійснило переворот у свідомості людей і серйозно вплинуло на державну політику Америки, а громадяни США захвилювалася через можливу технологічну перевагу СРСР. Американці спостерігали за тим, як супутник перетинає нічне небо, і налаштовували свої радіостанції на прийом його сигналів. Почалася робота зі створення Національного управління з аеронавтики і дослідження космічного простору (НАСА), були виділені великі державні субсидії на розвиток математики, науки і освіти. Так почалася космічна гонитва. Ця широкомасштабна мобілізація ресурсів принесла свої плоди 12 років по тому, коли Ніл Армстронг став першою людиною, яка ступила на поверхню Місяця.

AlphaGo здобув свою першу гучну перемогу в березні 2016 року завдяки серії з п'яти ігор проти легендарного корейського гравця Лі Седоля. Серія закінчилася з рахунком чотири до одного. Причому більшість американців навряд чи звернули увагу, що ці п'ять ігор дивилися понад 280 мільйонів китайських глядачів[2]. Того вечора в Китаї спалахнула лихоманка штучного інтелекту. Реакція суспільства загалом була не такою бурхливою, як реакція американців на запуск радянського супутника, але полум'я під китайськими технологіями розгорілося і з тих пір не згасає.

Коли китайські інвестори, підприємці та чиновники об'єднують зусилля для розвитку будь-якої галузі, результати дійсно можуть стати вражаючими. Нині Китай вкладає величезні кошти в наукові дослідження та підтримку підприємництва, пов'язаного зі штучним інтелектом. Гроші для стартапів в області штучного інтелекту дають венчурні інвестори, технологічні гіганти і китайський уряд. Китайські студенти заразилися лихоманкою штучного інтелекту і теж почали брати участь в наукових програмах, слухати зі своїх смартфонів лекції міжнародних дослідників. Засновники стартапів всерйоз взялися за реінжиніринг або просто ребрендинг своїх компаній, щоб упіймати цю нову хвилю.

Менш ніж через два місяці після того, як Ке Цзе програв свою останню гру AlphaGo, уряд КНР запропонував сміливий план[3] із розвитку та впровадження штучного інтелекту, щоб наздогнати і перегнати США. Він вимагав масштабного фінансування, політичної підтримки та координації на державному рівні. Були поставлені чіткі завдання, які належить виконати до 2020 і 2025 років, і визначена головна мета — до 2030 року зробити Китай центром глобальних інновацій у створенні штучного інтелекту, що грає провідну роль у сфері теоретичних розробок, технології та застосування. До 2017 року китайські венчурні інвестори вже відреагували на заклик, інвестувавши у стартапи рекордні суми, що склали 48%[4] всього венчурного фінансування штучного інтелекту в світі, і таким чином уперше обігнали США.

ГРА ТА ЗМІНА ГРИ

Цю хвилю державної підтримки в Китаї породила нова парадигма у відносинах між штучним інтелектом і економікою. Впродовж десятиліть наука про штучний інтелект розвивалася повільно, хоча стабільно, і лише останнім часом почала бурхливо прогресувати, дозволяючи швидко впроваджувати наукові досягнення у реальний світ.

Виклики технічного характеру, пов'язані з перемогою машини над людиною у грі го, мені добре знайомі. Коли я був аспірантом Carnegie Mellon University, то займався розробками в області штучного інтелекту під керівництвом одного з перших його дослідників — Раджа Редді. У 1986 році я написав першу програму[5], яка перемогла чемпіона світу з гри «Отелло», спрощеної версії го, в яку грають на дошці, поділеній на 88 клітин. У той час я міг по праву пишатися таким результатом, але сама технологія не була настільки готовою, щоб знайти застосування деінде, крім лише настільних ігор.

Те саме можна сказати стосовно перемоги комп'ютера Deep Blue, створеного IBM, над чемпіоном світу з шахів Гаррі Каспаровим у матчі 1997 року, який називали «останнім рубежем оборони людського мозку». Після нього багато хто занепокоївся, чи роботи не почнуть війну проти людства, втім, реальні наслідки обмежилися подорожчанням акцій IBM. Штучний інтелект ще довго знаходив досить вузьке застосування, і вченим знадобилися десятиліття, аби зробити дійсно фундаментальний крок вперед.

Deep Blue діяв, застосовуючи «грубу силу», покладаючись в основному на апаратне забезпечення, яке дало змогу швидко прораховувати й оцінювати наслідки кожного ходу. Тому, щоб доповнити програмне забезпечення провідними евристиками, знадобилася допомога найсильніших реальних шахістів. Так, перемога була видатним досягненням інженерної думки, але в її основі лежала давно усталена технологія, яка працювала лише за дотримання безлічі умов. Заберіть у Deep Blue геометрично просту квадратну шахову дошку вісім на вісім квадратів, і ця машина вже не виглядатиме такою розумною. Зрештою, єдине, чому загрожувала ця машина, — це чемпіон світу з шахів.

Але тепер все змінилося. Під час гри Ке Цзе проти AlphaGo змагання проходило в межах дошки для го, але було пов'язане з поважними змінами у реальному світі. Перемога програми стала початком справжньої лихоманки штучного інтелекту в Китаї, яка виникла на тлі перемоги AlphaGo.

Дія AlphaGo заснована на технології глибинного навчання, новаторському методі в області штучного інтелекту, що дає змогу розвивати когнітивні здібності машин. Програми, які базуються на цьому методі, можуть краще ніж люди ідентифікувати осіб, розпізнавати мову і видавати кредити. Десятиліття до революції штучного інтелекту завжди залишалося всього п'ять років. Але з появою глибинного навчання ця революція, нарешті, почалася. Вона відкрила дорогу до епохи небувалого підвищення продуктивності, але також і масштабних потрясінь на ринках праці, які призведуть до глибоких соціально-психологічних наслідків для людей, — адже штучний інтелект буде витісняти їх із робочих місць.

У матчі з Ке Цзе його суперниками стали не роботи-вбивці, керовані штучним інтелектом, якими нас лякають. Це були демони реального світу, що викликають масове безробіття та інші пов'язані з ним соціальні лиха. Загроза безробіття виявилася набагато реальнішою, ніж передбачали експерти, — при цьому колір комірця вже не буде грати ніякої ролі. Постраждають, як висококваліфіковані, так і менш кваліфіковані працівники. У той історичний день матчу між AlphaGo і Ке Цзе машина перевершила все людство в грі у го. Незабаром вона опиниться поруч із вами в цеху або в офісі.

ПРИВИД У ГО-МАШИНІ

Втім, під час того матчу я побачив і проблиск надії. Через 2 години 51 хвилину після початку гри Ке Цзе опинився в тупику. Він зробив усе можливе, але розумів, що цього недостатньо. Чемпіон низько схилився над дошкою, стиснув губи, і в нього засмикалася брова. Не в змозі стримати емоції, він зняв окуляри і витер рукою сльози. Це тривало лише мить, але всі це побачили.

Сльози чемпіона викликали потужну хвилю співчуття і підтримки. Протягом трьох партій матчу Kе Цзе пережив гаму людських емоцій: впевненість, тривогу, страх, надію і відчай. Він показав найсильнішу волю до перемоги, але попри це все я зміг побачити також і прояв справжньої одержимості, тобто готовність битися з непереможним суперником заради чистої любові до гри, її історії, і заради людей, які в неї грають. І всі, хто спостерігав за матчем і програшем Ке, відповіли йому щирим співчуттям. AlphaGo виграв, але Ке став народним героєм. Це змусило мене замислитися над тим, що коли людські істоти здатні ділитися між собою любов'ю, то вони зможуть знайти роботу і сенс життя в еру панування штучного інтелекту.

Я вірю у те, що вміле застосування штучного інтелекту дасть Китаю чудовий шанс наздогнати і навіть обігнати США. І, що є більш важливим, переворот допоможе нам ще раз усвідомити, що саме робить нас людьми.

І щоб збагнути чому, ми повинні спершу познайомитися з основами цієї технології і вияснити, як саме вона може змінити наш світ.

КОРОТКА ІСТОРІЯ ГЛИБИННОГО НАВЧАННЯ

Машинне навчання — це узагальнювальний термін для області, до якої належить і глибинне навчання — технологія, здатна вплинути на хід історії, яка добре витримала півстоліття ретельних досліджень. З моменту свого зародження штучний інтелект пережив не один злет і не одне падіння. Періоди великих надій змінювали періоди розчарування (їх ще називають «зимами штучного інтелекту»), коли відсутність практичних результатів призводила до втрати інтересу і скорочення масштабів фінансування. Щоб зрозуміти, як ми прийшли до глибинного навчання, необхідний короткий екскурс в історію.

Ще в середині 1950-х піонери штучного інтелекту поставили собі неймовірно сміливу мету — відтворити людський інтелект у машині. Це вражаюче поєднання мети і складності завдання стане привабливим для найвидатніших людей зі сфери комп'ютерних наук, таких як Марвін Мінський, Джон Маккарті й Герберт Саймон.

На початку 1980-х років, коли я вивчав інформатику в Колумбійському університеті, вона вразила мою уяву. Я народився на Тайвані на початку 1960-х років, але, коли мені було 11 років, ми переїхали у Теннессі, й там я закінчив середню школу. Через чотири роки я прийняв рішення поглиблено вивчати штучний інтелект у Колумбійському університеті в Нью-Йорку. У 1983 році в анкеті, там, де потрібно було зазначати мету вступу до аспірантури з інформатики, я сміливо написав: «Дослідження штучного інтелекту — це аналіз того, як людина засвоює знання, кількісна оцінка її мислення, пояснення людської поведінки і розгадка того, що робить існування інтелекту можливим; це вирішальний крок людей до розуміння самих себе, і я сподіваюся зробити щось для цієї нової, але перспективної галузі науки».

Ці рядки допомогли мені потрапити на провідний факультет комп'ютерних наук Carnegie Mellon University, кузню передових досліджень штучного інтелекту. Але водночас вони засвідчили мою наївність: я переоцінював нашу здатність розуміти себе і недооцінював можливості штучного інтелекту показувати надлюдські результати у вузьких галузях.

На той час, коли я почав писати кандидатську дисертацію, в середовищі дослідників штучного інтелекту сформувалися дві течії: одна представляла прихильників вибору дій на основі правил, інша підтримувала принцип «нейронних мереж». Дослідники з першої течії (їх іноді називають прихильниками «символічних систем» або «експертних систем») намагалися навчити комп'ютери мислити, кодуючи послідовності логічних правил: якщо X, то Y. Цей підхід добре застосовувати до простих ігор із чіткою структурою («штучні проблеми»), але він припиняв працювати у разі розширення безлічі можливих варіантів. Щоб зробити програмне забезпечення здатним вирішувати проблеми реального світу, прихильники цього підходу опитували експертів із тих чи інших завдань, а потім кодували їхні відповіді у вигляді програм (звідси назва «експертні системи»).

Однак учені з табору «нейронних мереж» використовували інший підхід. Замість того щоб навчати комп'ютер правилам, за якими діяв людський мозок, вони намагалися його переробити. Наскільки нам відомо, заплутані мережі нейронів у мозку тварин — єдина основа інтелекту, і дослідники вважали, що можна точно відтворити цю основу. Вони поставили перед собою завдання імітувати архітектуру мозку, вибудовуючи штучні нейрони, здатні отримувати і передавати інформацію всередині структури подібно до нейронів живих істот. Електронні нейронні мережі не задають правил, яких треба дотримуватися під час прийняття рішень. У них просто вводять безліч прикладів будь-якого явища — картинок, шахових партій, звуків — і дозволяють мережам самим визначати закономірності всередині масиву даних. Тобто що менше людського втручання, то ліпше.

Відмінності між двома підходами можна побачити на прикладі простої задачі, в якій треба визначити, чи присутня на малюнку кішка. Щоб допомогти програмі прийняти рішення, яке базується на правилах, метод вимагає встановити правило типу «якщо — то»: якщо зверху кола розташовані два трикутника, то, можливо, кішка на малюнку присутня. Під час використання методу нейронних мереж програма отримає мільйони зразків у вигляді фотографій з позначкою «кішка» або «не кішка» і спробує самостійно з'ясувати, які ознаки в мільйонах зображень найтісніше корелюють із позначкою «кішка».

У 1950–1960-ті роки ранні версії штучних нейронних мереж показали багатообіцяючі результати і наробили чимало галасу. Однак, потім 1969 року табір прихильників правил вирвався уперед, використовуючи аргумент, що нейронні мережі ненадійні й обмежені в застосуванні. Метод нейронних мереж швидко вийшов із моди, і в 1970-ті роки настала перша «зима штучного інтелекту».

Упродовж наступних десятиліть нейронні мережі то згадували, то знову забували. У 1988 році я використовував підхід, схожий на метод нейронних мереж, щоб створити «Sphinх»[6] — першу в світі, незалежну від спікера, програму для розпізнавання безперервної мови. Про моє досягнення написали у New York Times[7]. Проте цього виявилося не досить, і про нейронні мережі знову забули з початком довгого «льодовикового періоду в сфері штучного інтелекту», що розтягнувся майже на всі 1990-ті роки.

Зрештою, нинішньому відродженню методу посприяли технологічні прориви, що стосуються двох важливих базових елементів нейронних мереж. Я маю на увазі велику обчислювальну потужність і великі обсяги даних. Дані «навчають» програму розпізнавати шаблони, пропонуючи безліч зразків, а обчислювальна потужність дозволяє їй швидко аналізувати ці зразки.

У 1950-ті роки не вистачало як даних, так і обчислювальної потужності. Проте за минулі десятиліття все змінилося. Сьогодні обчислювальна потужність вашого смартфона в мільйони разів більше, ніж потужність передових комп'ютерів НАСА, які відправили Ніла Армстронга 1969 року на Місяць. Поява інтернету привела до накопичення найрізноманітніших текстів, зображень, відео, кліків, покупок, твітів і так далі. У розпорядженні дослідників виявилися величезні обсяги даних для навчання нейронних мереж, а також дешеві обчислювальні високопродуктивні потужності.

Однак, мережі все ще були доволі стримані у своїх можливостях. Для отримання точних рішень складних завдань потрібні були великі накопичення штучних нейронів, але на той момент дослідники ще не знайшли способу ефективно навчати нейрони в міру їх додавання. Прорив у цьому напрямку трапився нарешті у середині 2000-х років, коли провідний дослідник Джеффрі Хінтон виявив спосіб ефективного навчання доданих нейронів. Нейронні мережі немов отримали дозу стероїдів і відкрили у собі небачену силу, достатню для того, щоби розпізнавати мову і об'єкти.

Незабаром нейронні мережі, які назвали новим терміном «глибинне навчання», вже могли перевершити старі моделі, коли йшлося про вирішення різних завдань. Попри це вкорінені упередження, що стосувалися методу нейронних мереж, змусили багатьох дослідників штучного інтелекту ігнорувати технологію, яка тим не менш показувала хороші результати. Поворотний момент настав 2012 року, коли мережа, побудована командою Хінтона, здобула переконливу перемогу на міжнародному конкурсі комп'ютерного бачення (computer vision)[8].

Після десятиліть досліджень нейронні мережі відразу вийшли на передній план, тепер у вигляді глибинного навчання. Цей прорив обіцяв розтопити кригу останньої «зими штучного інтелекту» і вперше дозволити по-справжньому використовувати його силу для вирішення ряду реальних проблем. Дослідники, футуристи і фахівці технічних наук почали говорити про колосальний потенціал нейромереж. Очікували, що невдовзі вони навчаться розуміти людську мову, перекладати документи, розпізнавати зображення, прогнозувати поведінку покупців, виявляти шахрайства і приймати рішення про кредитування, а ще наділять роботів новими здібностями: від зору до вміння навіть керувати автівкою.

ВІДКРИТТЯ ЗАВІСИ ГЛИБИННОГО НАВЧАННЯ

Отож, як працює глибинне навчання? По суті, щоб отримати рішення, оптимізоване відповідно до бажаного результату, ці алгоритми використовують величезні обсяги даних певного домену. Програма, яка навчає сама себе, вирішує завдання, пробуючи розпізнавати ретельно приховані закономірності й кореляції, що пов'язують безліч точок даних із бажаним результатом. Такий пошук залежностей стає простішим, коли дані мають позначки, пов'язані з результатом — «кішка» проти «немає кішки»; «натиснув» проти «не натиснув»; «виграв гру» проти «програв гру». Тоді машина може спиратися на свої знання цих кореляцій, багато з яких є невидимими або безглуздими для людини, і приймати кращі рішення, ніж це робить сама людина.

Однак для цього потрібна величезна кількість даних, сильний алгоритм, вузький домен і конкретна мета. Якщо чимось із вищеперерахованого ви не володієте, метод не спрацює. Занадто мало даних? Алгоритму не вистачатиме зразків, щоб виявити кореляції. Нечітко поставлена мета? Алгоритму забракне чітких орієнтирів (benchmarks) для оптимізації.

Глибинне навчання — це те, що ми знаємо під назвою «обмежений штучний інтелект» — інтелект, який бере дані з одного конкретного домену і використовує ці дані для оптимізації одного результату. Це звісно вражає, але це все ще не «штучний інтелект загального призначення», тобто універсальна технологія, здатна робити все, що може людина.

Застосування глибинного навчання найчастіше можна побачити на таких ділянках, як страхування і кредитування. Відповідних даних про позичальників надзвичайно багато (кредитний рейтинг, рівень доходу, нещодавнє використання кредитних карт), і мета оптимізації зрозуміла (мінімізувати рівень неплатежів). Зробивши наступний крок у розвитку, глибинне навчання посилить самокеровані автомобілі, допомагаючи їм «бачити» світ навколо них: розпізнавати об'єкти в піксельному зображенні з камери (наприклад, червоні восьмикутники), з'ясовувати, з чим вони корелюють (дорожні знаки «Стоп»), і використовувати цю інформацію для прийняття рішень (гальмувати, щоб повільно зупинити автомобіль), оптимальних для досягнення бажаного результату (безпечно і швидко довезти мене додому).

Глибинне навчання вражає людство, оскільки відкриває перед нами величезні перспективи. Його здатність розпізнати схему і оптимізувати її для отримання конкретного результату можна застосовувати для вирішення безлічі повсякденних проблем. Ось чому такі компанії як Google і Facebook боролися за нечисельних експертів у сфері глибинного навчання і платили їм мільйони доларів, щоб отримати доступ до передових наукових розробок. У 2013 році Google придбала стартап, який заснував Джеффрі Хінтон, а наступного року і британський стартап в галузі штучного інтелекту під назвою DeepMind — компанію, яка і побудувала AlphaGo, витративши понад 500 млн доларів[9]. Результати цих проектів продовжують вражати уяву людства і з'являтися у заголовках газет. Вони викликають у нас відчуття, ніби ми стоїмо на порозі нової ери, коли машини будуть отримувати все більше й більше можливостей, і/або заміняти людей.

МІЖНАРОДНІ ДОСЛІДЖЕННЯ ШТУЧНОГО ІНТЕЛЕКТУ

Однак, до чого тут Китай? Історично глибинне навчання було майже повністю розроблено в Сполучених Штатах, Канаді та Великій Британії. Після цього, деякі китайські підприємці та венчурні фонди, такі як мій, почали інвестувати кошти в цю сферу. Однак переважна частина технічного співтовариства Китаю не звертала потрібної уваги на глибинне навчання аж до подій 2016 року, тобто після появи революційних теоретичних робіт в цій області минуло ціле десятиліття, а після того, як глибинне навчання здобуло визначну перемогу на конкурсі комп'ютерного бачення (computer vision), пройшло чотири роки.

Американські університети та технологічні компанії упродовж десятиліть пожинали плоди робіт талановитих фахівців, що їх країна приймала до себе. США сподівалися на безумовне лідерство і в галузі штучного інтелекту, яке повинно було лише зміцнюватися. Найкращі дослідники країни працювали в Кремнієвій долині в умовах щедрого фінансування, унікальної культури і підтримки з боку впливових компаній. В очах більшості аналітиків, в тому, що стосувалося штучного інтелекту Китаю судилося грати ту саму роль, яку він грав у попередні десятиліття, — роль імітатора(copycat), що завжди відстає від свого конкурента у розвитку передових технологій.

У наступних розділах ви побачите, що цей прогноз виявився помилковим. Він був заснований на застарілих оцінках китайського технологічного середовища, а також на цілковитому нерозумінні того, що рухає сучасну революцію у галузі штучного інтелекту. Хоча ця революція була започаткована на Заході, пожинатиме її плоди Китай. Причина цього глобального зсуву залежить від двох чинників: від епохи відкриттів до епохи впровадження, і від епохи експертних знань до епохи даних.

В основі помилкової віри в те, що Сполучені Штати є передовою країною в розвитку штучного інтелекту, лежить опінія, начебто ми живемо в епоху відкриттів і спостерігаємо за тим, як найкращі дослідники штучного інтелекту постійно ламають традиційні парадигми і розв'язують давні загадки. Це враження підтримується постійним потоком вражаючих повідомлень ЗМІ: штучний інтелект діагностує деякі види раку краще, ніж це роблять лікарі; він здобув перемогу над майстрами гри в техаський холдем; він може самонавчатися, тобто без будь-якого людського втручання. З урахуванням такої підвищеної уваги до кожного нового досягнення, випадковому спостерігачеві або навіть експерту в питанні штучного інтелекту можна пробачити думку про те, що ми постійно відкриваємо нові горизонти досліджень у сфері штучного інтелекту.

Проте я вважаю, що це омана. Багато з цих значних відкриттів є просто новими способами використовувати досягнення минулого десятиліття — в першу чергу глибинне навчання, і доповнюючи його технологіями, такими як навчання з підкріпленням сигналами від середовища взаємодії та перенесення навчання для вирішення нових завдань. Те, що роблять ці дослідники, вимагає майстерності й глибоких знань, уміння вирішувати (tweak) складні математичні алгоритми, маніпулювати великими обсягами даних, адаптувати нейронні мережі до різних завдань. Така робота часто потребує як мінімум ступеня кандидата наук. Та водночас все це лише невеликі кроки вперед — поступове поліпшення результатів останнього грандіозного прориву в глибинному навчанні.

ЕРА ВПРОВАДЖЕННЯ

Поступово ми починаємо застосовувати унікальні можливості глибинного навчання для розпізнавання шаблонів і схем, для прогнозування в таких різноманітних сферах діяльності, як діагностика захворювань, умови страхування, керування автомобілями чи переклад з китайської на англійську. Втім усе це не означає, що ми невпинно наближаємося до «штучного інтелекту загального призначення» або здійснили якийсь прорив. Настала епоха впровадження. Компаніям, які захочуть на цьому заробити, знадобляться талановиті підприємці, інженери і продукт-менеджери.

Піонер глибинного навчання Ендрю Ін (Andrew Ng) порівняв дослідження штучного інтелекту з роботою Томаса Едісона над впровадженням електрики: найбільш передова технологія, яка може здійснити революцію в десятках різних галузей промисловості. Підприємці XIX століття за короткі терміни пристосували електрику до людських потреб[10], тобто для приготування їжі, освітлення приміщень і запуску промислового обладнання. Так само сучасні підприємці, спираючись на дослідження штучного інтелекту, починають застосовувати для потреб людини глибинне навчання. До сьогодні було здійснено багато складних теоретичних досліджень, а тепер для підприємців настав час засукати рукави і розпочати непросту роботу з перетворення алгоритмів на стійкий бізнес.

Це не знизить темпів ентузіазму в області досліджень штучного інтелекту; імплементація робить академічні успіхи, і це дійсно змінює наше повсякденне життя. Ера імплементації означає, що після десятиліть самовідданих досліджень ми, нарешті пожинатимемо їхні плоди — і саме на це я так чекав більшу частину свого дорослого життя.

Зрозумівши різницю між відкриттям і впровадженням, ми краще зрозуміємо, як штучний інтелект впливатиме на наше життя і яка країна стане лідером, коли справа дійде до реалізації на практиці нових технологій. В епоху відкриттів прогрес відбувався завдяки зусиллям групи найкращих вчених, і майже всі вони працювали в США і Канаді. Їхні дослідження та інтелектуальні інновації спичинили швидке і колосальне покращення можливостей комп'ютерів. З часу зародження глибинного навчання жодна інша група дослідників або інженерів не започаткувала інновацій подібних масштабів.

ЕРА ДАНИХ

Отже, людство наближається до другого важливого переходу — від епохи експертиз до епохи даних. У наш час для створення ефективних алгоритмів штучного інтелекту потрібні три складові: значні дані, обчислювальні потужності й праця компетентних, але не конче видатних розробників алгоритмів штучного інтелекту. Щоб за допомогою глибинного навчання вирішувати нові завдання, необхідно мати в розпорядження всі три елементи, але в епоху впровадження основну роль грають лише дані. Це відбувається саме так, тому що, як тільки обчислювальна потужність і талант розробника досягають певного порогу, обсяг даних стає вирішальним і визначає загальну потужність і точність алгоритму.

За глибинного навчання надлишку даних не буває. Що більше прикладів одного явища отримує мережа, то легше вона знаходитиме закономірності й ідентифікуватиме речі в реальному світі. За надлишкових даних алгоритм, розроблений групою середніх інженерів у галузі штучного інтелекту зазвичай сильніший за алгоритм, створений дослідником глибинного навчання світового класу. Монополія на найкращих і найяскравіших — уже не те явище, яким воно було колись.

Найкращі дослідники штучного інтелекту все ще можуть вивести цю галузь науки на більш високий рівень, але подібні досягнення трапляються один раз на кілька десятиліть. А поки ми чекаємо на наступний прорив, обсяги даних будуть залишатися рушійною силою глибинного навчання, і цей процес продовжить впливати на різні галузі промисловості по всьому світі.

ПЕРЕВАГА КИТАЮ

Століття тому поширенню електрифікації сприяла наявність чотирьох чинників: викопного палива для виробництва електроенергії; підприємців, які будували нові підприємства; інженерів-електриків, які нею керували; і підтримки держави, необхідної для розвитку інфраструктури. Щоб у наш час приборкати штучний інтелект — «електроенергію» XXI століття, потрібні чотири аналогічні чинники: наявність даних, підприємці, які хочуть заробляти, фахівці в галузі штучного інтелекту і державна підтримка цієї галузі. Оцінивши співвідношення сил Китаю та США у цих чотирьох чинниках, ми можемо спрогнозувати, яким буде баланс сил у сфері штучного інтелекту.

Обидва переходи, описані на попередніх сторінках, — від відкриття до впровадження і від експертиз до даних зрушують баланс сил на ігровому полі у бік Китаю. Перехід від відкриття до впровадження нейтралізує одну зі слабкостей Китаю, посилюючи його сильні сторони. Перехід від відкриття до впровадження зменшує один з найбільших слабких моментів Китаю (нестандартні підходи до дослідницьких питань), а також визначає найсильнішу потугу країни: спритних підприємців із гострими інстинктами до створення стійкого бізнесу. Перехід від знань до даних, у свою чергу, знижує потребу в найкращих дослідниках, яких не вистачає Китаю, і збільшує цінність іншого важливого ресурсу — даних, який Китай має вдосталь.

Підприємці Кремнієвої долини створили собі репутацію найбільш працьовитих в Америці. Вони є закоханими в свою справу молодими новаторами, які цілодобово працюють, щоб розробити свій продукт, а потім фанатично його вдосконалюють, досягаючи нових вершин. Підприємці там дійсно багато працюють. Однак я провів десятиліття, будучи глибоко зануреним в технологічне середовище як у Кремнієвій долині, так і в Китаї. Я працював в Apple, Microsoft і Google, перш ніж запустити десятки китайських стартапів і стати їхнім інвестором. Тому можу сміливо вам сказати, що порівняно зі своїм конкурентом, який розташований по той берег Тихого океану, Кремнієва долина здається вельми млявим місцем.

Успішні інтернет-підприємці Китаю досягли свого рівня за рахунок запеклої конкурентної боротьби. Вони живуть в світі, де швидкість має найважливіше значення, копіювання є загальноприйнятою практикою і конкуренти не зупиняться ні перед чим, щоб освоїти новий ринок. Кожного дня на полі битви між китайськими стартапами — це випробування вогнем; це гладіаторські бої в Колізеї. Це сутички не на життя, а на смерть, і конкуренти не мають докорів сумління.

Єдиний спосіб вижити в цій битві — постійно покращувати свій продукт і будувати бізнес на основі інноваційної моделі, оточуючи його водночас «ровом». Якщо ваша перевага — це лише одна ідея, то її неодмінно скопіюють, ваших керівних співробітників переманять до себе, і ви опинитеся за бортом. Це агресивне середовище різко контрастує з ситуацією в Кремнієвій долині, де копіювання вважається ганьбою, а багатьом компаніям вдається довго існувати за рахунок однієї оригінальної ідеї або завдяки щасливому випадку. Подібна відсутність конкуренції заспокоює і може позбавити пильності, призвести до того, що підприємці припинять працювати над усіма варіантами своїх перших інновацій. Брудні ринки і брудні трюки ери «наслідування» в Китаї були початком деяких не зовсім порядних компаній, проте завдяки їм виросло покоління найспритніших і найкмітливіших у світі підприємців — справжніх трудоголіків. Ці підприємці є тією самою «секретною зброєю» Китаю, яка зробить його першою країною, яка заробила на можливостях штучного інтелекту.

Саме ці підприємці мають доступ до одного з основних технологічних ресурсів Китаю — даних. Китай уже обігнав Сполучені Штати і вийшов на перше місце за обсягом вироблених даних. І справа не лише в кількості. Завдяки унікальному технологічному мікроклімату Китаю, який є всесвітом продуктів і функцій, ці дані ідеально підходять для утворення прибуткових компаній у сфері штучного інтелекту. Близько п'яти років тому ми ще могли безпосередньо порівнювати прогрес китайських і американських інтернет-компаній. Це була свого роду автомобільна гонка. Учасники йшли майже врівень, Сполучені Штати лише дещо випереджали Китай. Та приблизно 2013 року Китай зробив дуже важливий поворот. Замість того, щоб йти шляхом американців або копіювати їхні досягнення, китайські підприємці почали розробку унікальних продуктів. Коли йшлося про продукти китайських компаній, аналітики використовували аналогії з продуктами Кремнієвої долини: «китайський Facebook», «китайський Twitter», — але в останні кілька років ці ярлики, загалом, стали безглуздими. Китайський інтернет перетворився на альтернативний всесвіт.

Китайці почали платити за покупки штрих-кодами на своїх телефонах. Це результат революції мобільних платежів. Армії доставників їжі й масажистів на електричних скутерах наповнюють вулиці китайських міст. Вони є породженням так званих O2O-стартапів (онлайн для офлайну), що впровадили переваги електронної комерції у сферу реальних послуг, таких як громадське харчування або манікюр. Незабаром після цього з'явилися мільйони яскраво забарвлених велосипедів, що здаються напрокат, які можна взяти або залишити де завгодно, скориставшись штрих-кодом на своєму телефоні.

Усі ці послуги, поряд із потужним китайським додатком WeChat, дали кожному китайцеві свого роду цифровий аналог швейцарського ножа. За допомогою WeChat можна відправляти текстові й голосові повідомлення друзям, оплачувати рахунки за продукти, записуватися до лікарів, здавати податкові декларації, брати напрокат велосипеди і купувати квитки на літак. Додаток перетворився на соціальну мережу. В різноманітних групових чатах користувачі ведуть ділові переговори, обговорюють підготовку до днів народження і дискутують про сучасне мистецтво. WeChat об'єднав у собі масу функцій, які в США і інших країнах виконують окремі додатки.

Нині альтернативний цифровий всесвіт Китаю створює і захоплює цілі океани нових даних про реальний світ. Ця величезна кількість відомостей про користувачів, а саме: де вони перебувають у будь-який час доби, як пов'язані між собою, яка їжа їм подобається, коли і де вони купують продукти і пиво, виявиться безцінною в еру впровадження штучного інтелекту. У цій скарбниці будуть зберігатися мільйони щоденних звичок користувачів, які можна поєднувати з алгоритмами глибинного навчання, щоб пропонувати індивідуальні послуги від бухгалтерського аудиту до плану містобудування. Це набагато перевершує те, що можуть запропонувати з ваших пошуків, «лайків» або випадкових покупок в інтернеті провідні компанії Кремнієвої долини. Небачені масштаби наявності реальних даних дадуть китайським компаніям величезну перевагу, коли йтиметься про появу сервісів на основі штучного інтелекту.

РЕГУЛЮВАННЯ ВАГІВ

Завдяки нещодавнім вражаючим розробкам баланс сил цілком закономірно змістився в бік Китаю. Зрештою, і китайський уряд теж робить для цього все можливе. Його масштабний план із перетворення країни у наддержаву в сфері штучного інтелекту забезпечив широку підтримку і фінансування досліджень в цій області, але найефективніше він спрацював орієнтиром для місцевих державних органів, які залюбки підхопили ініціативу. Китайські структури управління влаштовані складніше, ніж вважає більшість американців. Центральний уряд не просто дає команди, які миттєво реалізуються у всіх частинах країни. Він може визначати певні довгострокові цілі й залучати колосальні ресурси для досягнення цих цілей. Яскравим прикладом цього є швидкий розвиток мережі високошвидкісних залізниць у країні.

Керівники місцевих органів влади сприйняли підйом штучного інтелекту як постріл пістолета, з якого стріляють на старті марафону. Вони влаштували справжню гонку, намагаючись залучити у свої регіони якомога більше компаній, що працюють в області штучного інтелекту. Приманкою слугують пільги і щедрі субсидії. Ця гонка тільки починається, і як вона вплине на розвиток штучного інтелекту в Китаї, ми наразі не можемо з'ясувати. Проте, яким би не був результат, ситуація сьогодні вже різко контрастує з ситуацією в США, де держава не регулює підприємництво в області штучного інтелекту і активно скорочує фінансування досліджень у цій сфері.

Зібравши все це докупи, а саме: подвійний перехід у епоху впровадження та століття даних, китайські підприємці світового класу і активний уряд, я вважаю, що Китай незабаром зрівняється з США або навіть випередить їх у розробці штучного інтелекту. На мою думку, впровадження штучного інтелекту призведе до зростання продуктивності у масштабах, яких людство не бачило з часів промислової революції. За оцінками PriceWaterhouseCoopers, до 2030 року впровадження штучного інтелекту додасть 15,7 трлн доларів[11] до світового ВВП. Передбачається, що на Китай припаде 7 трлн доларів з цієї суми, що майже вдвічі більше, ніж 3,7 трлн, які припадуть на США. З тим, як економічний баланс сил буде зміщуватися в бік Китаю, так само зростатиме і його вплив у політиці, культурі та ідеології по всьому світу.

Цей новий світовий порядок у сфері штучного інтелекту сколихне американців, які звикли до майже тотального домінування у сфері технологій. Оскільки, як багато хто з нас пам'ятає, саме американські технологічні компанії просували свою продукцію і свої цінності у всіх куточках світу. В результаті й компанії, і громадяни, і політики забули, як це бути «приймаючою стороною» в таких процесах, котрі дуже нагадують технологічну колонізацію. Китай не прагне до будь-якої колонізації, але зрушення політичного і економічного порядку, викликані штучним інтелектом, приведуть до серйозних змін в країнах, що переживають феномен цифрової глобалізації.

РЕАЛЬНІ КРИЗИ

Ця гра між двома наддержавами світу, якою б вона не була масштабною, блякне порівняно з такими наслідками розвитку штучного інтелекту, як безробіття і зростання нерівності — як всередині країн, так і між ними. Океан глибинного навчання, омиваючи глобальну економіку, здатний знищити мільярди робочих місць на всіх рівнях економіки: бухгалтерів, працівників конвеєрів, операторів складів, фондових аналітиків, контролерів якості, вантажоперевізників, середній юридичний персонал і навіть рентгенологів. І це лише частина повного списку.

Людська цивілізація і в минулому переживала аналогічні технологічні потрясіння економіки: сотні мільйонів фермерів в XIX і XX століттях перетворювалися на фабричних робітників. Але жодна з цих змін не відбувалася так швидко, як зміни, викликані штучним інтелектом. Виходячи із сучасних тенденцій у сфері розвитку і впровадження технологій, я припускаю, що впродовж 15 років штучний інтелект, практично, зможе замінити близько 40–50% працівників в США. Фактично люди почнуть масово втрачати робочі місця, можливо, на десять років пізніше, але дестабілізація ринків праці буде дуже значною і найближчим часом ми її вже спостерігатимемо.

Разом із безробіттям буде астрономічно зростати статки нових магнатів галузі штучного інтелекту. Uber вже є одним із найдорожчих стартапів у світі, навіть при тому, що близько 75% грошей з кожної поїздки отримує водій. Можна лише уявити, наскільки зросте вартість Uber, якщо протягом декількох років компанія замінить кожного водія-людину на авто, яким керуватиме штучний інтелект. А якби банки могли замінити всіх своїх співробітників, які займаються іпотечним кредитуванням, на алгоритми, що видають кредити більш розумно, за нижчими ставками і без втручання людини? Подібні перетворення відбудуться вже незабаром і в області вантажоперевезень, страхування, виробництва та роздрібної торгівлі.

Подальша концентрація прибутку неминуча, оскільки економіка, яка базується на штучному інтелекті, природно, буде прагнути до досягнення моделі «переможець отримує все». Поєднання глибинного навчання з доступністю даних сприяє формуванню замкнутого кола. Кращі продукти і компанії будуть зміцнювати свої позиції. Чим більше даних — тим кращі продукти, що, в свою чергу, приваблюють більше споживачів, які дають ще більше даних, дозволяють ще більше поліпшити продукт. Компанія, яка володіє даними і фінансовими засобами, також може залучати найталановитіших фахівців у галузі штучного інтелекту, що буде далі збільшувати розрив між лідерами галузі й аутсайдерами.

Кінець безкоштовного уривку. Щоби читати далі, придбайте, будь ласка, повну версію книги.

На жаль, цей розділ недоступний у безкоштовному уривку.

На жаль, цей розділ недоступний у безкоштовному уривку.

На жаль, цей розділ недоступний у безкоштовному уривку.

На жаль, цей розділ недоступний у безкоштовному уривку.

На жаль, цей розділ недоступний у безкоштовному уривку.

На жаль, цей розділ недоступний у безкоштовному уривку.

На жаль, цей розділ недоступний у безкоштовному уривку.

На жаль, цей розділ недоступний у безкоштовному уривку.

На жаль, цей розділ недоступний у безкоштовному уривку.

На жаль, цей розділ недоступний у безкоштовному уривку.

На жаль, цей розділ недоступний у безкоштовному уривку.