Программно-аппаратная инфраструктура ИИ
Как любому общедоступному ресурсу, искусственному интеллекту потребуется базовая инфраструктура, сеть каналов предоставления этой технологии. Она начинается, конечно, с обширной вычислительной инфраструктуры, которая уже существует, включая сотни миллионов портативных и настольных компьютеров, а также серверы мощных дата-центров и быстро растущую вселенную мобильных устройств с еще более впечатляющими возможностями. Эффективность этой распределенной вычислительной платформы как средства доставки ИИ радикально увеличилась с появлением широкого набора аппаратных и программных средств, специально разработанных для оптимизации глубоких нейронных сетей.
Это развитие началось с того момента, когда выяснилось, что определенные графические микропроцессоры, использовавшиеся в первую очередь для поддержки видеоигр, являются мощным ускорителем для приложений, связанных с глубоким обучением. Графические процессоры изначально создавались с целью ускорения вычислений, необходимых для почти мгновенной визуализации графики высокого разрешения. С 1990-х годов эти специализированные компьютерные чипы играют важную роль в высококачественных игровых приставках, в частности Sony PlayStation и Microsoft Xbox. Графические процессоры оптимизированы для быстрого параллельного выполнения огромного числа вычислений. Если у центрального процессора, обеспечивающего работу вашего ноутбука, может быть два или, возможно, четыре вычислительных «ядра», то современный высококлассный графический процессор, скорее всего, имеет тысячи специализированных ядер, которые способны одновременно выполнять расчеты с высокой скоростью. Когда исследователи обнаружили, что вычисления, необходимые для приложений глубокого обучения, в целом аналогичны тем, что используются для воспроизведения графики, графические процессоры быстро превратились в основную аппаратную платформу искусственного интеллекта.
Этот переход стал ключевым фактором, открывшим дорогу революции в сфере глубокого обучения в 2012 году. В сентябре того года команда исследователей ИИ из Торонтского университета привлекла внимание индустрии информационных технологий к глубокому обучению, продемонстрировав подавляющее превосходство на состязании по распознаванию визуальных образов ImageNet Large Visual Recognition Challenge — ежегодном мероприятии, посвященном машинному зрению. Если бы победившая команда не использовала графические процессоры для ускорения своей глубокой нейронной сети, ее решение вряд ли было бы достаточно эффективным, чтобы обеспечить победу. Мы ближе познакомимся с историей глубокого обучения в главе 4.
Команда из Торонтского университета использовала графические процессоры производства NVIDIA, компании, основанной в 1993 году и занимающейся исключительно разработкой и выпуском ультрасовременных графических чипов. После состязания ImageNet 2012 года и последовавшего широкого признания мощного синергетического эффекта соединения глубокого обучения и графических процессоров NVIDIA резко изменила траекторию своего движения, превратившись в одну из самых значимых технологических компаний, связанных с развитием искусственного интеллекта. Свидетельством того, что революция в области глубокого обучения свершилась, стала рыночная стоимость компании: с января 2012 года по январь 2020-го акции NVIDIA выросли более чем на 1500 %.
После того как проекты, связанные с глубоким обучением, перешли на графические процессоры, исследователи ИИ из ведущих технологических компаний начали разрабатывать программные средства, способные дать толчок созданию глубоких нейронных сетей. Google, Facebook и Baidu выпустили нацеленные на глубокое обучение программы с открытым исходным кодом, которые можно было бесплатно скачивать, использовать и обновлять. Самой широко используемой платформой является TensorFlow компании Google, выпущенная в 2015 году. TensorFlow — это комплексная программная платформа для глубокого обучения, предлагающая как исследователям, так и инженерам, разрабатывающим практические приложения, оптимизированный код для реализации глубоких нейронных сетей, а также разнообразные инструменты, увеличивающие эффективность разработок. Такие пакеты, как TensorFlow и PyTorch, конкурирующая платформа от Facebook, освобождают исследователей от необходимости писать и тестировать программный код, разбираясь в тонкостях, и позволяют сосредоточиться на задачах более высокого уровня при построении систем.
В процессе революции в области глубокого обучения NVIDIA и некоторые ее конкуренты перешли к разработке еще более мощных микропроцессоров, специально оптимизированных для задач глубокого обучения. Intel, IBM, Apple и Tesla сегодня создают компьютерные чипы, которые ускоряют вычисления, необходимые глубоким нейронным сетям. Чипы для глубокого обучения находят применение в бесчисленных устройствах, включая смартфоны, беспилотные автомобили и роботов, а также высокопроизводительные серверы. В результате появилась постоянно расширяющаяся сеть устройств, разработанных для поддержки искусственного интеллекта. В 2016 году Google объявила о создании собственного чипа, который назвала тензорным процессором. Эти процессоры разработаны специально для оптимизации приложений глубокого обучения, построенных на платформе TensorFlow. Первоначально Google использовала новые чипы в собственных дата-центрах, но с 2018 года их стали встраивать в серверы облачных вычислений компании. В результате клиенты, пользующиеся облачным сервисом Google, получили доступ к самой передовой функции глубокого обучения, что, похоже, и привело к доминированию этого канала распространения искусственного интеллекта.
Конкуренция известных производителей микропроцессоров и новой поросли стартапов за долю быстро растущего рынка искусственного интеллекта вызвала в технологической сфере шквал инноваций и всплеск деловой активности. Некоторые исследователи открывают совершенно новые направления в сфере разработки чипов. Специализированные чипы для глубокого обучения, созданные на основе графических процессоров, оптимизируются с целью ускорения ресурсоемких математических вычислений, выполняемых программами, которые поддерживают глубокие нейронные сети. Новый класс чипов в значительно большей мере имитирует работу мозга, позволяя урезать аппетиты требующего слишком много ресурсов программного слоя и реализовать нейронную сеть на аппаратной основе.
Разрабатываемые «нейроморфные» чипы воплощают аппаратные аналоги нейронов непосредственно в кремнии. IBM и Intel вложили значительные средства в исследования нейроморфных вычислений. Например, экспериментальные чипы Loihi разработки Intel используют 130 000 аппаратных нейронов, каждый из которых может связываться с тысячами других [“Neuromorphic computing,” Intel Corporation, accessed May 3, 2020, www.intel.com/content/www/us/en/research/neuromorphic-computing.html.]. Одно из важнейших преимуществ ухода от массированных программных вычислений — это энергоэффективность. Человеческий мозг, далеко превосходящий своими возможностями любой существующий компьютер, потребляет лишь около 20 Вт — существенно меньше, чем средняя лампа накаливания. В отличие от него, системы глубокого обучения на основе графических процессоров требуют очень много электричества, и, как будет показано в главе 5, их масштабирование при таком энергопотреблении, скорее всего, невозможно. Нейроморфные чипы, конструкция которых восходит к нейронной сети головного мозга, гораздо менее прожорливы. Intel заявляет, что в некоторых модификациях ее чипы Loihi до 10 000 раз более энергоэффективны, чем традиционные микропроцессоры. После запуска коммерческого производства эти чипы, скорее всего, быстро найдут применение в мобильных и других устройствах, для которых важна энергоэффективность. Ряд специалистов в области ИИ идут намного дальше в своих прогнозах, полагая, что нейроморфные чипы — это будущее искусственного интеллекта. Например, по мнению исследовательской фирмы Gartner, нейроморфные структуры вытеснят графические процессоры в качестве основной аппаратной платформы ИИ к 2025 году [Sara Castellanos, “Intel to release neuromorphic-computing system,” Wall Street Journal, March 18, 2020, www.wsj.com/articles/intel-to-release-neuromorphic-computing-system-11584540000.].
