Всё самое интересное в одном журнале. Разоблачение мифов о человеческом интеллекте

Всё самое интересное в одном журнале. Разоблачение мифов о человеческом интеллекте

Все смотрели фильмы о «Терминаторе», где суперкомпьютер Скайнет обрел свободу воли и решил уничтожить человечество. Чего-то подобного от разработки ИИ ожидают Илон Маск и Стивен Хокинг. Разбираемся, правдивы ли их опасения.

Что такое искусственный интеллект? Почему важно понимать, что это такое? Почему сегодня все о нем говорят?

Если вы читаете прессу, вы наверняка знаете, что с помощью именно этой технологии работают виртуальные помощники Amazon и Google, и что вскоре машины отберут у людей все рабочие места (на самом деле, не факт). Но при этом вряд ли вы отчетливо понимаете, что такое искусственный интеллект, и правда ли роботы нас всех поработят. Эта статья поможет разобраться во всех вопросах.

Что такое искусственный интеллект

Искусственный интеллект (ИИ) - это компьютерная программа, в которую встроен механизм обучения. Получив новые знания, она позже использует их для принятия решения в новой ситуации, как это делают люди. Исследователи, создающие такие программы, пытаются заставить код считывать изображения, текст, видео или звук, и чему-то учиться на основе этой информации. Когда это происходит, полученное знание можно использовать в другом ситуации. Если алгоритм научился распознавать чье-то лицо, позже его можно распознать на фотографиях из Facebook. Применительно к современному ИИ обучение часто называют «тренировкой».

Люди с рождения умеют оперировать сложными идеями: если мы увидим яблоко, то впоследствии сможем узнать и совсем другое, непохожее на первое. Машины же очень буквальны, - у компьютера нет концепции «похожести», - и цель разработок в области искусственного интеллекта как раз и состоит в том, чтобы сделать машины менее буквальными. Машина легко может найти точные дубликаты фотографий яблока или найти два одинаковых предложения в тексте, но чтобы работать с визуальным образом яблока, чтобы распознать изображение того же яблока под другим углом или с другим светом, нужен ИИ. Это обобщение или формирование идеи, основанной на сходстве данных, и позволяет видеть общее в том числе между вещами, с которыми ИИ раньше не сталкивался.

Алекс Рудницкий, профессор компьютерных наук Университета Карнеги-Меллон, говорит: «Цель в том, чтобы облечь сложное человеческое поведение в форму, которую можно обработать вычислительным способом. А это, в свою очередь, позволяет нам создавать , способные выполнять сложные действия, полезные для людей».

Далеко ли зашла разработка ИИ

Исследователи ИИ все еще работают над самыми основами. Как научить компьютер распознавать то, что он видит на картинке или в видео? Когда это удастся, нужно двигаться от распознавания к пониманию. Было бы здорово не только узнать, что на картинке яблоко, но и разобраться, что яблоко съедобно, что оно как-то связано с апельсинами и грушами, что люди едят яблоки и используют их при приготовлении яблочного пирога. А еще неплохо бы знать про Мичурина, молодильное яблочко и тому подобные вещи. Кроме того, есть проблема с пониманием языка, поскольку у многих слов существует несколько значений, различимых только в контексте, и все мы по-разному выражаем свои мысли. Как компьютеру охватить это текучее, непрерывно меняющееся явление?

В разных областях скорость прогресса ИИ очень разная. Например, сейчас очень быстро продвигается вперед компьютерное зрение, то есть способность распознавать изображения, при этом с пониманием естественного языка дела обстоят гораздо хуже. В этих областях развивают так называемый «узкий интеллект» - такой ИИ эффективен при работе с изображением, звуком или текстом, но не может воспринимать сразу много разнородных сигналов (при этом у человека мы наблюдаем «общий интеллект»). Многие исследователи надеются, что достижения в отдельных областях помогут понять общие принципы машинного обучения, что все же позволит создать универсальный ИИ.

Почему ИИ - это так важно

Как только ИИ научился узнавать на картинке яблоко или распознавать кусочек речи на аудиозаписи, его уже можно использовать в других программах для принятия решений, для которого в противном случае понадобился бы человек. Например, можно автоматически отмечать друзей на фотографиях в Facebook - иначе это пришлось бы делать вручную. Если речь идет о беспилотном автомобиле или системе помощи водителю, то можно распознавать другие автомобили и дорожные знаки, а в сельском хозяйстве - разбирать урожай, удаляя гнилые плоды.

Эти задачи, основанные только на распознавании изображений, традиционно выполнялись либо пользователем, либо кем-то из компании, предоставляющей программное обеспечение. Если задача экономит время пользователя, это ее конкурентное преимущество, а если она позволяет освободить время сотрудника или делает его работу полностью ненужной, это снижает затраты бизнеса.

Кроме того, есть задачи, которые просто невозможно сделать без машин: например, это обработка аналитики продаж в размере миллионов записей за считанные минуты. Теперь такие задачи выполняются быстро и дешево. Здесь мы учим машину делать то, что раньше делали люди, и, конечно, экономическая выгода от таких нововведений весьма велика.

Джейсон Хонг, профессор Лаборатории компьютерного взаимодействия Университета Карнеги-Меллон, утверждает, что, хотя ИИ может выполнять задачи за человека, он также способен создавать новые виды занятости.

«Автомобили полностью сменили лошадей, но в среднесрочной и долгосрочной перспективе их появление привело к огромному разнообразию задачи и производства - появились фуры, небольшие грузовики, минивэны, кабриолеты и так далее. Аналогичным образом в краткосрочной перспективе системы ИИ станут прямой заменой человека применительно к рутинным задачам, но в среднесрочной и долгосрочной перспективе мы увидим, что это породило новое разнообразие», - говорит он.

Готлиб Даймлер и Карл Бенц не думали о том, как автомобиль изменит облик городов, не думали о загрязнении окружающей среды или об эпидемии ожирения в развитых странах. Так и нам пока трудно оценить долгосрочное влияние этого фактора.

Почему ИИ стал развиваться сейчас, а не 30 или 60 лет назад

На самом деле, многим идеям о том, как должно быть устроено обучение ИИ, даже больше 60 лет. Еще в 1950-х годах ученые Фрэнк Розенблатт, Бернард Видроу и Марчиан Хофф впервые занялись математическим выражением устройства нейронов в соответствии с представлениями тогдашней биологии. Да, одним уравнением любую проблему не решить, но что если подобно мозгу использовать множество связанных уравнений? Исходные примеры были простыми: проанализировать наборы единиц и нулей, поступающих по цифровой телефонной линии, и предсказать, что будет дальше.

На протяжении многих десятилетий в информатике была распространена точка зрения, что никакие сложные проблемы таким образом решить не удастся. Тем не менее сегодня эта концепция лежит в основе большинства систем работающих в этой области крупных компаний: Google, Amazon, Facebook, Microsoft. Теперь, оглядываясь назад, ученые понимают, что компьютеры были недостаточно сложны для моделирования миллиардов нейронов нашего мозга, и что для обучения нейронных сетей требуются огромные объемы данных.

И эти два фактора, вычислительная мощность и достаточное количество данных, появились только в последние 10 лет.

В середине 1990-х годов компания Nvidia, известный производитель видеокарт, обнаружила, что ее графические процессоры хорошо подходят для работы нейронных сетей, и начала выпускать карты, специально приспособленные для работы с ИИ. Было выяснено, что работа с более быстрыми и сложными нейронными сетями приводит к значительному улучшению точности ответов.

Затем в 2009 году исследователь ИИ Фей-Фей Ли опубликовала базу данных под названием ImageNet, которая содержала более 3 млн систематизированных изображений с подписями. Она считала, что если у алгоритмов будет больше примеров, это поможет им освоить более сложные идеи. В 2010 году Ли запустила конкурс ImageNet, а к 2012-му другой исследователь Джефф Хинтон использовал эту базу изображений для обучения нейронной сети - и превзошел все другие приложения с огромным перевесом в точности, более 10%.

Как и предсказывала Ли, количество данных оказалось ключевым параметром. Хинтон также устраивал из нейронных сетей конвейер - одна находила на изображениях фигуры, другая текстуры и т. д. Сегодня это называется глубокими нейронными сетями или глубоким обучением, и, когда вы читаете в новостях об очередном успехе ИИ, речь идет о подобной системе.

Как только в технологической индустрии увидели результаты ученых, начался бум. Исследователи, десятилетиями работавшие над глубоким обучением в относительной безвестности, стали новыми рок-звездами, и к 2015 году у Google было уже более тысячи проектов с использованием машинного обучения.

Нужно ли бояться ИИ

Все смотрели «Терминатора» и готовы испугаться всемогущего Скайнета. Среди ученых потенциальный Скайнет называют суперинтеллектом или общим искусственным интеллектом, подразумевая программу, которая во многих отношениях превосходит человеческий мозг. Поскольку компьютерные системы можно масштабировать - то есть можно создать множество простых и быстрых компьютеров и связать их между собой, - существуют опасения, что такой суперинтеллект сможет расти бесконечно, оставив людей далеко позади. А будучи таким умным, он выйдет из-под контроля и обойдет любые попытки людей этот контроль вернуть. Такой апокалиптический сценарий рисуют нам некоторые из лучших умов современности, например Илон Маск и Стивен Хокинг. Маск, в частности, говорил, что «большинство ведущих исследователей ИИ недооценивают проблему „джинна в бутылке“, несмотря на свой несомненный интеллект в некоторых областях».

Есть и другая точка зрения. Янн Лекун, глава лаборатории исследования искусственного интеллекта Facebook, говорит, что даже если ученым удастся сделать машину, способную обучаться самым разным вещам и организовывать это понимание в картину мира, совершенно не факт, что у такого компьютера появятся собственные желания, воля или инстинкт самосохранения.

«Человеческое поведение - насилие в ответ на угрозу, ревность, желание единоличного доступа к ресурсам, симпатия к родственникам и антипатия к незнакомцам и т. д. - сформировалось у наших предков в ходе эволюции. У разумных машин не будет предпосылок для подобного поведения, если мы сами явно их не создадим», - писал он на сайте Quora.

Нет причин считать, что компьютер сочтет человечество угрозой, поскольку для компьютера не существует понятия угрозы. Да, можно задать параметры, благодаря которым компьютер будет вести себя так, как будто у него есть инстинкт самосохранения, но на самом деле его у него нет.

Эндрю Нг, один из основателей Google Brain и бывший глава направления ИИ в Baidu, любит говорить: «Я не переживаю о злобном ИИ, как не переживаю из-за перенаселенности Марса».

Впрочем, повод для опасений есть - и это человеческий фактор. Было показано, что ИИ очень легко воспринимает человеческое смещение в оценках из данных, на которых он учится. Это может быть какая-то безвредная предрасположенность - например, он может чаще распознавать на картинках кошек, чем собак, потому что его так научили. Но представим себе, что ИИ перенял у людей их стереотипы, и, например, связал понятие «врач» с белыми мужчинами в большей степени, чем с людьми другого пола или расы. Если представить себе, что такой ИИ отвечает за найм врачей, он будет отдавать несправедливое предпочтение некоторым кандидатам.

И это реальность. Исследование издания ProPublica показало, что алгоритмы, используемые для определения приговора преступникам, отражали расовую предубежденность и предлагали назначить более суровое наказание не-белым подсудимым. Дело в том, что при сборе информации о здоровье часто исключают женщин, особенно беременных, и в результате медицинские рекомендации, выработанные на основе таких неполных данных, оказываются слабо применимы к значительному числу пациентов. Таким образом, чтобы доверить машинам принимать решения, которые раньше требовали человеческого присутствия, нужно следить, чтобы это происходило в соответствии с нашей этикой и представлениями о справедливости.

Проблема в том, что даже если вы поняли, что алгоритм предвзят, чтобы его исправить, нужно найти причину. Но поскольку глубокое обучение требует миллионов связанных вычислений, продраться через этот клубок и выяснить, каков вклад того или иного решения в общий результат, невероятно сложно. Эта проблема особенно остро стоит в таких областях как программирование беспилотных автомобилей, ведь каждое решение на дороге - это вопрос жизни и смерти. Первые исследования в этой области дают надежду, что мы сможем разобраться в механизмах работы построенных нами машин. Но пока что понять, почему ИИ, разработанный Facebook, Google или Microsoft, принял то или иное решение, просто невозможно.

Подготовила Евгения Сидорова

В 1950 году Алан Тьюринг предложил простой тест, призванный определить, могут ли компьютеры мыслить. Стандартная его интерпретация такова: человек (судья) одновременно взаимодействует с другим человеком и с компьютером. Все участники теста не могут видеть друг друга. На основании данных компьютером и человеком ответов судья должен определить, с кем разговаривает в данный момент. Если компьютерная программа сумеет ввести человека в заблуждение – считается, что она прошла тест на наличие интеллекта. Тест Тьюринга создал предпосылки для начала бурного развития «умных» машин. В последние годы мы всё чаще сталкиваемся с фактами, что системы искусственного интеллекта становятся всё более совершенными.

10. Женские голоса используются чаще

Разработчики дарят системам с искусственным интеллектом женские голоса

Заметили ли вы, что когда мы вербально взаимодействуем с «умными» системами, они обычно общаются с нами женским голосом? За примерами далеко ходить не нужно: достаточно вспомнить Google Now, Cortana, Sirie. Так почему же, собственно, разработчики в этом вопросе отдали предпочтение прекрасному полу?

Каких-то важных причин на самом деле нет, но некоторые факторы дают женским голосам преимущество. Например, исследования американских учёных показали, что они воспринимаются людьми, как более приятные в сравнении с мужскими. Кроме этого, специалисты, работающие в сфере высоких технологий – чаще всего, мужчины. И им на подсознательном уровне более интересно работать над созданием «умной» женщины.

9. Роботизированные домашние животные


Животные-роботы скоро заменят живых домашних питомцов

Многие родители не разрешают своим детям заводить домашних животных по вполне объективным причинам. За ними нужно убирать, их нужно регулярно выгуливать, тратиться на корм. Они могут разодрать в клочья ваши любимые туфли или разбить дорогой хрустальный сервиз. И конечно же, домашние животные умирают, тем самым заставляя страдать своих хозяев. Но современные информационные технологии позволили создать замечательную альтернативу живым зверькам – механизированных созданий с искусственным интеллектом. Эта сфера развивается семимильными шагами, едва ли не каждую неделю патентуются новые разработки.

Это интересно: По мнению Жана-Лу Раульта, исследователя Мельбурнского института, уже в 2025 году роботизированные домашние животные составят серьёзную конкуренцию живым.

Раульт утверждает, что в ближайшее десятилетия разработчики продвинутся настолько далеко, что производители смогут создавать животных, способных вступать в тесную эмоциональную связь с людьми. По мнению экспертов, роботизированные домашние питомцы постепенно вытеснят настоящих из большинства квартир. Всё же не стоит забывать о том, что население нашей планеты постоянно растёт, и скоро миллиарды людей столкнутся с проблемой острого дефицита пищевых ресурсов. Куда тут о кошечке или собачке задумываться? Поэтому к 2050 году лишь самые богатые люди смогут позволить себе заводить настоящих домашних животных.


Японцы изобрели робота, которому не страшны поломки

В начале 2015 года японские исследователи заявили об успешных испытаниях робота, способного восстановить полную функциональность даже при потере двух ног из своих шести. Робот, конечно, не может осознавать свою утрату. Но компьютер замечает, что производительность работы снизилась. Затем, используя алгоритм, основанный на методе проб и ошибок, робот определяет, какие части конструкции не функционируют. Исследователи, создавшие робота, говорят, что после этого этапа он полностью перепрошивает себя, обновляя свою базу данных и приспосабливаясь к нормальной работе с теми частями конструкции, которые остались. Эту фазу они назвали «имитацией детства».

«Имитация детства» длится несколько минут, за это время робот обрабатывает 1047 (колоссальное число – примерно из такого количества атомов состоит Земля!) операций и учится выполнять 13 тысяч возможных движений. Развитие подобных технологий искусственного интеллекта, по сути, может привести к революционному прорыву в науке. В перспективе, роботов с возможностью самовосстановления можно будет отправлять в далёкий космос, не беспокоясь о том, что миллиарды долларов, потраченные на проект, могут сгореть за доли секунды из-за непредсказуемого технического сбоя.

7. Компьютер, пишущий новостные статьи


Компьютеры уже сегодня могут самостоятельно генерировать статьи

Первая новостная статья, написанная программой с искусственным интеллектом, была опубликована на сайте Los Angeles Times. Приведём её текст максимально приближенно к оригиналу:

«Геологическая служба США сообщила о том, что в понедельник в пяти милях от Вествуда, Калифорния, произошло землетрясение силой 4,7 балла. Оно произошло в 6:25 утра по тихоокеанскому времени. Толчки были зафиксированы на глубине 5 миль. По данным Геологической службы, эпицентр землетрясения находился в 6 милях от Беверли-Хиллз, штат Калифорния, в 7 милях от Юниверсал Сити, штат Калифорния, в 7 милях от Санта-Монике, штат Калифорния, и в 348 милях от Сакраменто, штат Калифорния. В последние 10 дней в этом районе не было ни одного землетрясения сильнее 3 баллов.

То есть, компьютер смог самостоятельно сгенерировать текст статьи, основываясь на числовых данных, полученных от сейсмографов. Эту технологию разработала команда Ларри Бирнбаума, профессора журналистики и главы интеллектуальной информационной лаборатории Северо-Западного университета США. Бирнбаум был одним из разработчиков системы Quill – популярного генератора текстов.

Нет никаких сомнений, что системы с искусственным интеллектом уже сегодня, проанализировав статистические данные и графики, могут превратить их в информационные сводки. Следующий рубеж, который им придётся покорить, – написание текстов в художественном стиле. Разница между этими этапами настолько значительна, что, скорее всего, в ближайшее десятилетие ни одна машина не сможет выйти на новый уровень. Так что желающим прочитать книгу, написанную роботом, следует запастись терпением.

6. Роботы, победившие чемпионов


Ещё 18 лет назад робот одержал победу над сильнейшим шахматистом мира

В своё время величайшим достижением искусственного интеллекта считалась победа разработанного компанией IBM компьютера Deep Blue над сильнейшим шахматистом мира Гарри Каспаровым.

Это интересно: На 8 чемпионате мира среди компьютеров в 1995 году Deep Blue занял 3 место. Разработчики учли допущенные ошибки и усовершенствовали алгоритм. В следующем году Deep Blue впервые противостоял Гарри Каспарову. В матче из 6 партий победу со счётом 4-2 праздновал гроссмейстер. Но после очередного выполненного инженерами апгрейда компьютер сумел взять исторический реванш у Каспарова, обыграв его со счётом 3,5:2,5. Произошло это в мае 1997 года в Нью-Йорке. Отметим, что призовой фонд матча достигал 1,1 миллиона долларов, из которых 700 тысяч достались победителю (то есть по сути, разработчикам робота), а 400 тысяч – проигравшему.

Другим важным этапом в развитии искусственного интеллекта было участие компьютера Watson IBM в телевизионной викторине Jeopardy. Машина буквально уничтожила самых успешных игроков всех времён.

А в мае 2015 года суперкомпьютер Claudico, собранный учёными Университета Карнеги-Меллона, принял участие в покерном турнире в Казино Rivers (Питтсбурге). Соревнование длилось более двух недель, за это время было сделано свыше 80 тысяч раздач. Claudico занял четвёртое место, совсем немного отстав от победителя и опередив сотни профессиональных игроков. Несмотря на то, что добыть победу не удалось, это достижение следует считать серьёзным шагом в развитии искусственного интеллекта. Обучить компьютер игре в покер намного труднее, чем, например, шахматам. Во-первых, игроки часто блефуют, логическое мышление в таком случае бессмысленно. Кроме того, в покере слишком много «отсутствующей информации»: компьютер не знает, какие карты выпали его соперникам, поэтому математические вычисления здесь не могут быть очевидными.

Создатели Claudico считают этот турнир отличным стартом. Они прогнозируют, что уже к концу текущего десятилетия компьютеры будут обыгрывать сильнейших в мире игроков в покер. Радует и то, что создатели Claudico стремятся не только опустошать казино. Алгоритмы, используемые в их компьютере, в ближайшем будущем найдут применение во многих сферах, где имеет место «отсутствующая информация» – в частности, в кибербезопасности и медицине.

5. Любовь между человеком и роботом


По мнению некоторых учёных, в 2050 году брак между человеком и роботом будет законным

Если предположить, что искусственный интеллект скоро достигнет уровня человека, возникнут интересные вопросы. Смогут ли люди иметь романтические отношения с «умными» роботами? Станут ли они по-настоящему близкими в эмоциональном плане? Будут ли парни и девушки влюбляться в машины с искусственным интеллектом? А там ведь и до сексуальной близости недалеко!

Дэвид Леви из университета Маастрихта (Нидерланды) рассказал о достаточно правдоподобном сценарии популяризации отношений между человеком и машиной. По его мнению, сначала люди будут воспринимать даже одну мысль об этом в резко негативном ключе. Но потом в СМИ то и дело начнут появляться истории людей, влюбившихся в роботов. Эту тему начнут постоянно обсуждать на телевидении, в интернете. Будут сыграны первые свадьбы. И даже самые отъявленные критики постепенно свыкнутся с мыслью, что секс с роботом – это нормально.

Но как скоро это может произойти? Хенрик Кристенсен, основатель Европейской исследовательской сети Robotics, в начале XXI века писал, что уже в 2012 году люди начнут заниматься сексом с машинами. Частично он был прав. В настоящее время уже существуют сотни роботизированных секс-игрушек, по словам создателей, позволяющих людям испытывать невиданное доселе наслаждение.

Это интересно: Ну а что касается серьёзных отношений и их логического продолжения – создания семьи, то тут андроидам придётся пройти ещё очень долгий путь развития. Дэвид Леви предполагает, что брак человека с роботом станет законным примерно в 2050 году.

4. Компьютеры, обучающие сами себя


Современные компьютеры могут учиться без участия человека

Есть мнение, что компьютеры могут быть настолько же умными, как и человек, создавший их. Тем не менее, в последние годы мы всё чаще слышим о системах искусственного интеллекта, способных к самостоятельному обучению. К примеру, один из суперкомпьютеров Google сам себя научил играть в 2600 игр от компании Atari. После этого он побеждал лучших игроков на планете.

Американцы также смогли создать «умного» андроида, который научился готовить, просматривая видео на YouTube. Система визуального распознавания видео позволяет ему обучиться конкретным навыкам, пройдя через путь проб и ошибок. Согласитесь, немногие рестораны отказались бы от шеф-повара, идеально готовящего блюда любой сложности, даже если бы он был роботом.

3. Искусственный интеллект превзойдёт человеческий


Скоро роботы будут умнее людей

Способности к самообучению позволяет компьютерам с искусственным интеллектом становиться всё более умными. В 2013 году они имели примерно такой же уровень интеллекта, как четырёхлетний ребёнок. Но с того времени, как говорится, уже много воды утекло.

Это интересно: В 2014 году суперкомпьютер сумел решить сложнейшую математическую задачу, известную под названием «проблема несоответствия Эрдёша». Над ней лучшие математики мира ломали головы ещё с 1930 года. Причём людям будет невероятно трудно даже просто проверить решение компьютера, ведь файл с уравнениями имеет размер в 13 гигабайт. Это больше, чем половина Википедии!

По прогнозам известного футуриста Рэя Курцвейла, к 2029 году системы искусственного интеллекта будут настолько же умны, как и эрудированный взрослый человек. Но на этом их развитие не остановится, а лишь ускорится в экспоненциальном порядке. Через какой-нибудь год компьютеры уже оставят далеко позади даже лучшие человеческие умы. Кроме этого, Рэй Курцвейл считает, что нам следует готовиться к так называемой технологической сингулярности – феноменально быстрому научно-техническому прогрессу, основанному на мощном искусственном интеллекте (многократно превосходящем человеческий) и тотальной киборгизации людей.


Компьютер Наутилус предсказывает будущее

Суперкомпьютер Наутилус, разработанный компанией SGI Altix, похоже, умеет в определённой степени видеть будущее. Например, он смог с точностью в 200 километров предсказать местонахождение убежища Усамы бен Ладена. Кроме этого, Наутилус предсказал начало «арабской весны» в декабре 2010 года.

Наутилус собирает информацию из более чем 100 миллионов новостных статей со всех уголков мира. Также анализировались архивы старых публикаций, в том числе – все выпуски газеты New York Times, начиная с 1946 года. Все статьи анализировались компьютером по 2 параметрам: настроению (какие новости в ней сообщались – хорошие или негативные) и месту, в котором происходили события. Ключевыми словами для анализа настроения были «ужасный», «отвратительный», «отличный», «превосходный» и т.д. При анализе места учитывались упоминания географических названий, каждое из них наносилось по координатам на карту мира. Также компьютер исследовал более мелкие элементы сообщений. В итоге была создана информационная карта, состоящая из более чем 100 триллионов логических взаимосвязей.

Отметим, что в основе суперкомпьютера Наутилус находится 1004 мощных ядерных процессора типа Intel Nehalem. Он совершает 8,2 триллиона операций в секунду.

Наутилус выдавал графики настроения по каждой из стран, в которых произошла так называемая «арабская весна». Удивительно, но компьютер сумел заранее зафиксировать резкое ухудшение общественной атмосферы до начала беспорядков и сделал точный прогноз.

Калев Литариу из Университета Иллинойса предлагает расширить сферу применения Наутилуса. По его мнению, этот компьютер мог бы помочь людям, давая точные прогнозы погоды или выявляя скрытые тенденции в экономике.

1. Апокалипсис не за горами?


Эксперименты с искусственным интеллектом могут закончиться плачевно для человека

Нет сомнений в том, что искусственный интеллект может вывести нашу жизнь на качественно новый уровень. «Умные» компьютеры способны сделать более безопасными дороги, помочь в медицине. Машины могут стать незаменимым помощником для инвалидов и пожилых людей, они без проблем заменят человека в сфере обслуживания и многих других сферах. Тем не менее, лучшие учёные и технологи мира – Стивен Хокинг, Билл Гейтс, Элон Маск и другие уверены, что развитие искусственного интеллекта таит в себе невероятную угрозу для всей человеческой цивилизации.

По сути, в ближайшем будущем искусственный интеллект либо одним махом решит все проблемы человечества, либо уничтожит самих людей. И только от нас, а если быть точнее – от ведущих специалистов в сфере информационных технологий зависит, в какую сторону качнётся чаша весов. Как считаете, какой сценарий более вероятный?

Невероятные факты

Мы изучали человеческий интеллект на протяжении многих веков, но до сих пор у нас очень мало ответов на вопросы о том, как мы думаем, что мы думаем и почему мы можем думать.

Мужчины умнее женщин или наоборот? Тесты IQ говорят правду или все очень предвзято? Большой мозг – большой интеллект?

Ниже рассмотрены 10 теорий о человеческом интеллекте, которые либо были опровергнуты, либо подвержены резкой критике.

Однако, любая из опровергнутых теорий в один прекрасный день может быть доказана.

Интеллект и наследственность

10. Наследственность



Если вы родились у умных родителей, означает ли это, что вы тоже будете умным? Некоторые исследователи говорят, что да, некоторые отрицают. Верно то, что наследственность влияет на наш интеллектуальный фактор (IQ), который измеряет наши когнитивные способности по сравнению со сверстниками.

Но не стоит забывать и об окружающей среде, а также о роли культуры в формировании нашего интеллекта. Существуют ли гены интеллекта? Никто не знает наверняка, а информация различного рода исследований варьируется, говоря о наличии 40-80 процентов генов, ответственных за интеллект.

Гены против воспитания – это спорная область исследования, а проводимые сегодня эксперименты помогут понять не только функционирование нашего разума, но и особенности человеческого характера, поведения, и даже основу некоторых психических заболеваний.

В этой теории важным моментом является тот факт, что человеческий разум не зависит от расы, и что наследственность не является единственным фактором, определяющим интеллектуальный потенциал личности.

9. Краниометрия



Ученые 19 века полагали, что измерение черепа и лицевой структуры человека – это хороший способ измерить и его интеллект. Когда эта теория только появилась хирург Поль Брока (Paul Broca) предположил обратно пропорциональную связь: чем меньше отношение длины предплечья к длине плеча, тем выше уровень интеллекта.

Когда он не сумел доказать, что белые – это самая умная раса, основываясь только на длине руки, он обратился к измерению черепа и лицевых структур, чтобы определить сколько мозга могло бы поместиться внутри черепа человека. Это он посчитал более точным способом определения интеллекта.

Краниометрия говорила о том, что чем крупнее кости черепа, тем больше сам череп и мозг в нем расположенный, а, следовательно, и выше интеллект. Краниометрия умерла в начале 20 века, потому как ее постоянно критиковали за расовые предрассудки и отсутствие фактических оснований для подобного рода заявлений.

Однако, ученые, интересующиеся данной теорией, помогли обнаружить мозговые речевые центры, а также помогли выявить концепции интеллектуального фактора, известного нам сегодня как IQ.

8. Первичные умственные способности



В первой половине 20 века психолог Л. Терстоун (L. Thurstone) выдвинул идею о том, что основа человеческого интеллекта – это семь компонентов. Его теория отличалась от других бытовавших в то время и утверждавших, что интеллект человека основан на одном факторе, не определенном каком именно.

Среди задействованных компонентов психолог отмечал следующие – ассоциативная память, способность к счету, скорость восприятия, способность логически мыслить, пространственная визуализация, вербальное понимание и владение словом.

В то время, как его теория об этих семи компонентах не выдержала испытание временем, работа крайне популярна в области психометрии (наука, занимающаяся количественным исследованием психологических измерений).

7. Порядок рождения



Исследователи уже давно изучают, каким образом порядок рождения влияет на все то, от чего зависит ум человека. Однако, одно из последних исследований, опубликованное Американской психологической ассоциацией, пришло к выводу, что нет прямой связи между уровнем интеллекта и порядком рождения в семье.

Ранее ученые полагали, что первенцы всегда набирают больше пунктов при прохождении тестов на IQ. Объяснялось все тем, что у них нет конкуренции за родительское внимание, поэтому у них больше времени узнавать новую и полезную информацию.

Дети, рожденные вторыми или последними, как полагалось, обладали меньшим количеством родительского внимания, а, следовательно, набирали более низкое количество баллов. В последнем исследовании специалисты сравнили братьев и сестер, но, не касаясь при этом вопроса очередности рождения. Они обнаружили, что действительно отсутствует значимая связь между очередностью рождения и уровнем интеллекта.

6. Единственный интеллект



Некоторые люди утверждают, что идея единственного интеллекта (концепция, на которой строятся многие теории, включая и концепцию общего интеллекта – фактор G) обязательно должна быть в этом списке. Другие говорят, что ей тут не место. Но вот почему данная идея находится в этом списке.

Недавнее исследование показало, что существует такая вещь, как интеллект вообще, но она не зависит от того, какие результаты человек показывает по тем или иным тестам по сравнению с населением в целом.

Получение информации о том, как работает человеческий интеллект (или не работает) до сих пор проходило через тип тестирования, называемый психометрией. Но теперь, новое исследование, опубликованное в американских "Трудах национальной академии наук", полагает, что конкретные области мозга и различные сетевые пути вовлечены в создание такой системы, как интеллект, и это является шагом к доказательству биологической основы интеллекта.

5. Табула Раса



Табула Раса – это теория о том, что люди изначально рождаются с "пустыми" умами. Философы и психологи активно выступают за эту теорию на протяжении уже многих веков. В рамках нее предполагается, что когда мы рождаемся, наш ум свеж и пуст, полон потенциала и ждет, чтобы наполниться личным жизненным опытом и эмоциями.

В наши дни по-прежнему спорят на тему того, что же играет более важную роль в формировании интеллекта – генетика или воспитание? Разве мы обычные творения природы? Какую роль играет наша окружающая среда?

Исследования, проведенные в последние десятилетия, специально изучали близнецов, разлученных при рождении, потому как они являются носителями одинакового генетического материала, но окружающая среда, воздействующая на них, различная.

В итоге, ученые пришли к выводу, что человеческий разум, наряду с другими индивидуальными чертами, такими как, гендерная идентичность, - это комбинация генов, наследуемых нами, а также наш личный опыт и окружающая среда.

Тест на интеллект

4. IQ тесты



IQ тесты, или тесты на коэффициент интеллекта, обычно используются для оценки когнитивных способностей человека, его интеллекта и достижений. Стандартные IQ тесты, такие как Стэнфорд-Бине (для одаренных детей) или SAT, измеряют когнитивные навыки человека по сравнению с общей массой населения.

Несмотря на то, что такие тесты по-прежнему крайне популярны среди обычных людей, важно отметить, что они подвергаются широкой критике. Так, критики утверждают, что подобные тесты имеют своего рода смещение по признаку пола, расы, социально-экономического статуса и культурного наследия.

Такие тесты зачастую основаны на устаревших представлениях о том, что мощь нашего интеллекта – это нечто установленное при рождении, и что интеллект остается неизменным с течением жизни.

IQ тесты все еще используются, но не стоит принимать их результаты слишком серьезно. Многие психологи спорят о том, что все тесты подобного рода слишком предвзяты.

3. Триархическая теория интеллекта



Когда Роберт Стернберг (Robert Sternberg) разработал триархическую теорию человеческого интеллекта, он пошел против всех теорий, которые предполагают, что у людей есть общий фактор интеллекта (фактор G) или стандартные умственные способности. Стернберг не считал интеллект академическим фактором.

Вместо этого, он предположил, что у людей есть то, что называется практическим интеллектом, который отличается от академического, но при этом, равен ему по значимости.

Теория состоит из трех суб-теорий: контекстуальной, компонентной и эмпирической. Контекстуальная – это взаимодействие интеллекта с опытом внешнего мира, компонентная – это связь интеллекта с внутренним миром, эмпирическая – это способность адаптироваться к ситуации и выполнять определенные задачи.

Эмпирическая, в свою очередь, подразделяется на то, как вы справляетесь с новыми задачами и впечатлениями, и на то, как вам удается с хорошо известными задачами справляться.

Критики триархической теории утверждают, что автор скорее описывает набор практических навыков, чем объясняет систему функционирования интеллекта. Они также говорят о том, что Стернберг пренебрегает предоставлением информации относительно непосредственных наблюдений.

Виды интеллекта

2. Теория множественного интеллекта



В отличие от Табулы Расы, которая предполагает, что люди рождаются с "пустыми" умами, теория множественного интеллекта говорит о том, что человеческий разум состоит из нескольких типов интеллекта.

Автор теории Говард Гарднер (Howard Gardner) рассказывает, что человеческий интеллект – это наша способность создавать и поддерживать ценности, решать проблемы и расширять свои знания путем решения этих проблем. Он предполагает, что есть девять типов интеллекта, которые вместе создают уникальность каждого человека:

Телесный/кинестетический интеллект

Экзистенциальный интеллект

Межличностный интеллект

Внутриличностный интеллект

Лингвистический интеллект

Логический/ математический интеллект

Музыкальный интеллект

Натуралистский интеллект

Пространственный интеллект

Несмотря на то, что эта теория не была опровергнута и до сих пор не устарела (разработана в 1983 году), она все еще нуждается в проверке.

Кто умнее: мужчина или женщина?

1. Пол и интеллект



Мужчины с Марса, женщины с Венеры? В то время как мужчины и женщины думают по-разному, нет никаких доказательств того, что один пол с рождения умнее другого.

Исследователи обнаружили, что когда речь заходит об интеллекте, то у людей есть два типа мозга: в мозге первого типа содержится большее количество серого вещества (центр обработки информации), в мозге второго типа больше белого вещества (так называемая "соединительная ткань" центра обработки информации). Исследования показали, что женский мозг содержит в 10 раз больше белого вещества, а мужской мозг в 6,5 раз больше серого вещества.

Что это означает? В то время как мужчины и женщины обладают различными типами мозговой ткани, общая производительность равна, просто мы по-разному преуспеваем в решении различных типов задач.

  • Программирование ,
  • Разработка для интернета вещей ,
  • Разработка под e-commerce ,
  • Разработка робототехники
  • Сегодня об искусственном интеллекте не пишет только ленивый. Например, в Autodesk считают, что искусственный интеллект может учитывать гораздо больше факторов, чем человек, и, таким образом, давать более точные, логичные и даже более креативные решения сложных проблем. В Оксфордском университете вообще высказывают предположения о том, что искусственный интеллект в недалеком будущем может заменить штатных журналистов и писать за них обзоры и статьи (и того и гляди выиграет Пулитцеровскую премию).

    Общее увлечение темой искусственного интеллекта давно вышло за рамки научных конференций и будоражит умы писателей, кинематографистов и широкой общественности. Кажется, что от будущего, в котором роботы (или Скайнет) правят миром или, как минимум, решают большую часть повседневных задач, рукой подать. Но что по этому поводу думают сами ученые?

    Для начала стоит разобраться с термином «искусственный интеллект»: слишком много существует на эту тему домыслов и художественных преувеличений. В этом вопросе лучше всего обратиться к автору этого термина (и по совместительству создателю языка Лисп и лауреату множества премий) – Джону Маккарти. В статье с одноименным названием («Что такое искусственный интеллект?») Маккарти приводил следующее определение:

    Это наука и технология создания интеллектуальных машин, в особенности – интеллектуальных компьютерных программ. Искусственный интеллект связан с задачей использования компьютеров для понимания работы человеческого интеллекта, но не ограничивается использованием методов, наблюдаемых в биологии.

    Получается, что искусственный интеллект и интеллект «человеческий» тесно связаны? Не совсем так – сам Маккарти подчеркивал: если интеллект «вообще» – это «вычислительная» составляющая того, что помогает субъекту достигать заданных целей, тогда интеллект человека, животных и машин будет работать по-разному.

    Выходит, что искусственный интеллект – это не подобие человеческого, хотя многим футуристам, писателям и даже ученым хочется верить в то, что это не так. Об этом часто повторяет Майкл Джордан , почетный профессор Калифорнийского Университета в Беркли. Он считает, что недостаточное понимание того, что же представляет из себя искусственный интеллект, приводит не просто к созданию «красивых образов», не связанных с реальной наукой, а к самой настоящей дезинформации и разного рода мифам, процветающим в этой области.

    Миф первый: для создания или усовершенствования искусственного интеллекта надо разобраться с тем, как работает человеческий мозг

    Джордан утверждает , что это вовсе не так. Работа искусственного интеллекта, как правило, не имеет ничего общего с тем, как устроен интеллект человека. Этот «миф» глубоко укоренился из-за пристрастия общественности к «красивым идеям»: авторам научно-популярных статей об искусственном интеллекте пришлись очень по душе метафоры, взятые из нейробиологии.

    На самом деле нейробиология имеет очень опосредованное отношение (или вообще не имеет никакого отношения) к работе искусственного интеллекта. Для Майкла Джордана идея о том, что «для глубинного обучения нужно понимание того, как обрабатывает информацию и учится человеческий мозг», звучит как откровенная ложь.

    «Нейроны», задействованные в глубинном обучении – это метафора (или, выражаясь языком Джордана, вообще «карикатура» на работу мозга), которая применяется только для краткости и удобства. В действительности же работа механизмов того же глубинного обучения гораздо ближе к процедуре построения статистической модели логистической регрессии, чем к работе настоящих нейронов. При этом, никому не приходит в голову для «краткости и удобства» использовать метафору «нейрона» в статистике и эконометрике.

    Миф второй: искусственный интеллект и глубинное обучение – последние достижения современной науки

    Мнение о том, что «думающие как человек» компьютеры будут сопровождать нас в недалеком будущем, напрямую связано с идеей, согласно которой искусственный интеллект, нейронные сети, глубинное обучение являются достоянием исключительно современной науки. Ведь если допустить мысль о том, что все это было придумано десятилетия назад (а роботы к сегодняшнему дню так и не захватили мир), «порог ожиданий» от научных достижений вообще и скорости их развития в частности придется серьезно снизить.

    К сожалению, СМИ стараются сделать все возможное, чтобы подогреть интерес к своим материалам, и очень избирательно относятся к выбору тематик, которые, по мнению редакторов, вызовут интерес у читателей. В итоге описываемые ими достижения и их перспективы оказываются гораздо более внушительными, чем реальные открытия, а часть информации просто «аккуратно опускается», чтобы не снижать накала страстей.

    Многое из того, что сейчас преподносят «под соусом» искусственного интеллекта, является просто переработанной информацией о нейронных сетях, которые известны человечеству с 80-х годов.

    А в восьмидесятые все повторяли то, что было известно в 1960е годы. Такое чувство, что каждые 20 лет проходит волна интереса к одним и тем же темам. В нынешней волне главной идеей является сверточная нейронная сеть, о которой уже говорили лет двадцать назад
    – Майкл Джордан

    Миф третий: искусственная нейронная сеть состоит из тех же элементов, что и «реальная»

    На самом деле специалисты, занятые вопросами разработки вычислительных систем, оперируют нейробиологическими терминами и формулировками гораздо смелее, чем многие нейробиологи. Интерес к работе мозга и устройству интеллекта человека стал питательной средой для развития такой теории как «невральный реализм».

    В системах искусственного интеллекта нет ни спайков, ни дендритов, более того, принципы их работы далеки не только от работы головного мозга, но и от пресловутого «неврального реализма». Фактически, в нейронных сетях ничего «нейронного» нет.

    Более того, идея «неврального реализма», основанная на уподоблении работы систем искусственного интеллекта работе мозга, по мнению Джордана, не выдерживает критики. По его словам, к прогрессу в сфере искусственного интеллекта привел не «невральный реализм», а использование принципов, совершенно не согласующихся с тем, как работает мозг человека.

    В качестве примера Джордан приводит популярный алгоритм глубинного обучения, основанный на «обратной передаче ошибки обучения». Его принцип работы (а именно передача сигнала в обратном направлении) явно противоречит тому, как работает человеческий мозг.

    Миф четвертый: ученые хорошо понимают, как работает «человеческий» интеллект

    И это снова далеко от истины. Как утверждает все тот же Майкл Джордан, глубинные принципы работы мозга не просто остаются нерешенной проблемой нейробиологии – в этой области ученых отделяют от решения вопроса десятки лет. А попытки создать работающую имитацию мозга так же не приближают исследователей к пониманию того, как устроен человеческий интеллект.

    Это просто архитектура, созданная в надежде, что когда-нибудь люди создадут подходящие для нее алгоритмы. Но нет ничего, что подкрепляло бы эту надежду. Думаю, что надежда основана на вере в то, что если вы построите что-то вроде мозга, то сразу станет понятно, что он может делать
    – Майкл Джордан

    Джон Маккарти, в свою очередь, подчеркивал: проблема не только в том, чтобы создать систему по образу и подобию человеческого интеллекта, а в том, что сами ученые не придерживаются единого мнения по поводу того, что он (интеллект) из себя представляет и за какие конкретно процессы отвечает.

    На этот вопрос ученые пытаются ответить по-разному. В своей книге «Нейронные сети и глубинное обучение» Майкл Нилсен приводит несколько точек зрения. Например, с позиции коннектомики наш интеллект и его работа объясняются тем, сколько нейронов и глиальных клеток содержит наш мозг, и сколько соединений наблюдается между ними.

    Учитывая, что в нашем мозге насчитывается порядка 100 млрд нейронов, 100 млрд глиальных клеток и 100 трлн соединений между нейронами, говорить о том, что мы можем «в точности воссоздать» эту архитектуру и заставить ее работать, в ближайшем будущем крайне маловероятно.

    А вот молекулярные биологи, изучающие геном человека и его отличия от близких родственников людей по эволюционной цепочке, дают более обнадеживающие прогнозы: оказывается, геном человека отличается от генома шимпанзе на 125 миллионов пар оснований. Цифра большая, но не бесконечно огромная, что дает Нилсену повод надеяться, что на основании этих данных группа ученых сможет составить если не «работающий прототип», то как минимум сколь бы то ни было адекватное «генетическое описание» человеческого мозга или скорее базовые принципы, лежащие в основе его работы.

    Стоит сказать, что Нилсен придерживается «общепринятого человеческого шовинизма» и полагает, что значимые принципы, определяющие работу человеческого интеллекта, лежат в тех самых 125 миллионах пар оснований, а не в остальных 96% генома, которые у человека и шимпанзе совпадают.

    Так сможем ли мы создать искусственный интеллект, равный по возможностям человеческому? Получится ли у нас в обозримом будущем понять, как именно работает наш собственный мозг? Майкл Нилсен, считает, что это вполне возможно – если вооружиться верой в светлое будущее и в то, что многие вещи в природе работают по более простым законам, чем это кажется на первый взгляд.

    А вот Майкл Джордан дает более близкий к практической работе исследователей совет: не поддаваться на провокации журналистов и не искать «революционные» решения. По его мнению, привязываясь к человеческому интеллекту как отправной точке и конечной цели своих исследований, ученые, работающие над проблемой искусственного интеллекта, излишне ограничивают себя: интересные решения в этой области могут лежать в направлениях, никак не связанных с тем, как устроен наш мозг (и как нам представляется его устройство).

    История Криминал Культура Анекдоты Истории из жизни 10 любопытных и пугающих фактов об Искусственном Интеллекте

    10 любопытных и пугающих фактов об Искусственном Интеллекте

    1. Конец света по вине ИИ. Разумеется, ИИ здорово помогает человечеству, но он также может быть и серьёзной угрозой. Космолог Макс Тегмарк сравнивает разработку ИИ с созданием ядерного оружия. Продумываются способы сдерживания развитого ИИ, так как если он выйдет из-под контроля, нас ожидает невыдуманный конец света. Иными словами, «Матрица» и «Терминатор» ещё могут произойти в реальности.

    2. Наутилус. Один из самых мощных суперкомпьютеров мира - Nautilus - в определённой степени может предсказывать будущее. Он предвидел, к примеру, где скрывался Бен Ладен и когда начнётся «арабская весна». Его ИИ анализирует более 100 миллионов статей, написанных с 1945 года до наших дней, и на их основе выдаёт «предсказания». Пока это больше напоминает прогноз погоды, чем ясновидение, но всё равно впечатляет.

    3. ИИ станет умнее человека. Компьютеры умнеют с каждым годом. В 2013 году самый продвинутый ИИ обладал разумом четырёхлетнего ребёнка, но в 2014 другой ИИ смог решить одну из математических задач Эрдёша. Решение настолько сложное, что люди не могут его проверить - один файл с уравнением занимает 13 гигабайт. По мнению футуролога Рэя Курцвейла, к 2029 году средний ИИ сравняется по разуму с взрослым человеком.

    4. ИИ может учиться. Говорят, что компьютер умён настолько, насколько умён его пользователь. Но уже сейчас разрабатывается ИИ, способный на самообучение. Правда, пока что довольно безобидное - например, Вооруженные силы США создали робота, учащегося готовить еду по видео с YouTube. Разумеется, это не истинное его назначение, а лишь демонстрация возможностей.

    5. Любовь к ИИ. Один из животрепещущих вопросов насчёт ИИ - смогут ли люди вступать с ним в отношения, как в сексуальные, так и романтические? С физическим аспектом особых проблем нет - количество робоигрушек в секс-шопах велико как никогда. С эмоциональной связью сложнее, любовь с ИИ на данный момент возможна разве что в научной фантастике. Кстати, на эту тему на Фактруме недавно была .

    6. ИИ может стать отличным игроком в покер. В 1997 году компьютер Deep Blue одолел в шахматы чемпиона мира Гарри Каспарова. В 2011 компьютер IBM Watson принял участие в телевикторине «Jeopardy» и выиграл. В 2015 суперкомпьютер Claudico выступил на покерном чемпионате в Питтсбурге. Хотя он не одержал победу, но играл весьма достойно. Стоит учесть, что хорошая игра в покер требует элементов блефа, что для ИИ куда сложнее шахмат.

    7. ИИ может писать заметки. Первая статья, написанная искусственным интеллектом, появилась в «Los Angeles Times» - она касалась прошедшего в Калифорнии землетрясения в 5 баллов. Компьютер, считав данные сейсмографов, составил на их основе внятную заметку. Разумеется, до написания книг и сценариев ИИ пока далеко, но технология тоже не стоит на месте.

    8. ИИ может чинить себя. В этом году в журнале «The Atlantic» вышла статья про шестиногого робота, который может починить себя, потеряв пару конечностей. Используя сложный алгоритм, обрабатывающий 13.000 возможных передвижений, ИИ робота осознаёт проблему и осуществляет ремонт. Перспективы для такой машины безграничны - от спасательных работ до исследования глубин океана и космоса.

    9. Питомцы с ИИ. Домашним животным нужно есть, за ними нужно убирать, а ещё рано или поздно они умирают. Но эти проблемы решаемы, если заменить их робопитомцами с ИИ. По некоторым теориям такие машины появятся уже в следующие 10−15 лет, и люди будут испытывать к ним искреннюю привязанность. А учитывая возможное перенаселение Земли, к 2050 году живых животных смогут себе позволить лишь богачи.

    10. Большинство ИИ - «женщины». Большая часть современных ИИ - таких, как Google Now, Сири и Кортана - по умолчанию говорят женским голосом. Никаких особых причин тому нет, хотя исследования показали, что аудитория любого пола предпочитает женский голос мужскому, как менее угрожающий.

    Александр Таранов 20.08.2015

    Понравился пост?
    Поддержи Фактрум, нажми:





    Самое обсуждаемое
    Бежевый джемпер покроя кимоно Правый рукав с передом и спинкой Бежевый джемпер покроя кимоно Правый рукав с передом и спинкой
    Прически Кэти Перри: что она придумала на этот раз? Прически Кэти Перри: что она придумала на этот раз?
    Что делать, если ребёнок капризничает Ребенок очень капризничает Что делать, если ребёнок капризничает Ребенок очень капризничает


    top