Развитие ИИ: взгляд из Стэнфорда

Лаборатория Стэнфордского университета Human-Centered Artificial Intelligence (HAI) в рамках проекта One Hundred Year Study of Artificial Intelligence, который начался в 2017 году, опубликовала отчет о состоянии развития искусственного интеллекта. Это более 400 страниц, которые мне надо еще дочитать. И вам советую. Это очень классные инициатива и документ, огромное количество данных об ИИ. Пока еще не дочитали отчет, внизу - перевод текста самари, который подготовили авторы доклада Yolanda Gil and Raymond Perrault. На страницах 12-23 отчета можно найти более детальное объяснение этих трендов и потом - еще в каждом разделе. 1. Уровень производительности ИИ на сложных тестах продолжает расти. В 2023 году исследователи представили новые бенчмарки - MMMU, GPQA и SWE-bench, чтобы проверить пределы возможностей передовых систем ИИ. В 2024 году результаты их моделей значительно улучшились. Кроме тестов, ИИ-системы достигли значительного прогресса в генерации качественного видео, а в некоторых случаях агенты на основе речевых моделей даже превосходили людей в программировании в условиях ограниченного времени. 2. ИИ входит в повседневную жизнь. От медицины до транспорта ИИ быстро входит в сферу ежедневного использования. В 2023 году FDA одобрила 223 медицинских устройства с поддержкой ИИ (в 2015-м таких было всего шесть). На дорогах автономные авто уже не являются экспериментом. Компания Waymo, один из крупнейших операторов в США, еженедельно совершает более 150 тыс. поездок без водителя, а китайская компания Baidu развернула доступный флот роботакси Apollo Go во многих городах Китая. Реклама: 3. Бизнес активно вкладывает средства в ИИ. В 2024 году объем частных инвестиций в ИИ в США вырос до 109,1 млрд долл. Это почти в 12 раз больше, чем в Китае (9,3 млрд долл.), и в 24 раза больше, чем в Великобритании (4,5 млрд долл.). Особенно быстро растет сегмент генеративного ИИ: он привлек 33,9 млрд долл. частных инвестиций в мире, что на 18,7% больше, чем в 2023 году. Использование ИИ в бизнесе тоже стремительно растет: в 2024 году 78% организаций сообщили об использовании ИИ по сравнению с 55% годом ранее. Все больше исследований подтверждают, что ИИ повышает производительность труда и в большинстве случаев способствует уменьшению разрыва в навыках между работниками. Реклама: 4. США лидируют в создании моделей ИИ, но Китай быстро сокращает разрыв по качеству. В 2024 году компании из США создали 40 заметных моделей ИИ по сравнению с 15-ю в Китае и только тремя в Европе. Хотя США впереди по количеству, китайские модели стремительно приблизились по качеству: отрыв в производительности на основных бенчмарках, MMLU и HumanEval, уменьшился с двузначных показателей в 2023 году до почти одинаковых результатов в 2024 году. Китай продолжает лидировать по количеству публикаций и патентов в сфере ИИ. Разработка моделей становится все более глобальной: появляются важные запуски в странах Ближнего Востока, Латинской Америки и Юго-Восточной Азии. 5. Экосистема ответственного ИИ развивается неравномерно. Количество инцидентов, связанных с ИИ, растет, однако стандартизированные оценки ответственного ИИ (RAI) все еще редкость среди ведущих разработчиков индустриальных моделей. В то же время появляются новые инструменты оценки, такие как HELM Safety, AIR-Bench и FACTS, которые позволяют оценивать правдивость и безопасность моделей. Среди компаний существует существенный разрыв между признанием рисков ИИ и действиями для их уменьшения. Зато правительства демонстрируют все большую решимость: в 2024 году усилилось международное сотрудничество по управлению ИИ. OECD, ЕС, ООН и Африканский союз обнародовали новые рамки, сосредоточенные на прозрачности, доверии и других ключевых принципах ответственного использования ИИ. Читайте также: Влияние искусственного интеллекта: почему "Нобеля" по физике и химии дали психологам и математикам 6. Мировой оптимизм в отношении ИИ растет, хотя остаются глубокие региональные различия. В Китае (83%), Индонезии (80%) и Таиланде (77%) подавляющее большинство граждан считает продукты и услуги на основе ИИ более полезными, чем вредными. Зато в Канаде (40%), США (39%) и Нидерландах (36%) уровень оптимизма значительно ниже. Однако общая динамика положительная: с 2022 года оптимизм в отношении ИИ вырос в странах, которые ранее относились к нему скептически, в частности, в Германии (+10%), Франции (+10%), Канаде (+8%), Великобритании (+8%) и США (+4%). 7. ИИ становится эффективнее, доступнее и дешевле. Благодаря мощным малым моделям стоимость инференса (исполнения) системы уровня GPT-3.5, снизилась более чем в 280 раз между ноябрем 2022 года и октябрем 2024 года. На уровне аппаратного обеспечения расходы ежегодно уменьшаются на 30%, тогда как энергоэффективность растет на 40%. Модели с открытым кодом (open-weight) быстро приближаются по качеству к закрытым: разница в производительности сократилась с 8% до всего лишь 1,7% на отдельных бенчмарках только за год. Все это быстро снижает барьеры доступа к передовым ИИ-технологиям для новых разработчиков. 8. Правительства активизируют свое участие в сфере ИИ через регулирование и инвестиции. В 2024 году США ввели 59 регуляций, связанных с ИИ, - вдвое больше, чем в 2023 году. В глобальном масштабе упоминание ИИ в законодательстве с 2023 года выросло на 21,3% в 75 странах, что означает девятикратный рост с 2016 года. Параллельно с повышенным вниманием растут и государственные инвестиции. Канада объявила о вливании в сектор 2,4 млрд долл., Китай основал фонд для полупроводников на 47,5 млрд долл. Франция вложила 109 млрд евро, Индия - 1,25 млрд долл., а проект Transcendence в Саудовской Аравии - 100 млрд долл. 9. Образование в сфере ИИ расширяется, но остаются проблемы с доступом к технологиям. Две трети стран мира внедрили или планируют внедрить компьютерные науки в школьное образование. Это вдвое больше, чем в 2019 году, и наибольший прогресс демонстрируют страны Африки и Латинской Америки. В США количество выпускников бакалавриата по компьютерным наукам за десять лет выросло на 22%. Однако доступ к обучению до сих пор ограничен во многих странах Африки из-за отсутствия базовой инфраструктуры, в частности электроэнергии. В США 81% учителей считают, что ИИ должен быть частью базового образования по компьютерным наукам, однако менее половины из них чувствуют себя достаточно подготовленными, чтобы его преподавать. 10. Индустрия в сфере ИИ стремительно движется вперед, но границы передовых возможностей становятся все плотнее. В 2024 году в индустрии были созданы почти 90% заметных моделей ИИ, тогда как в 2023 году - только 60%. В то же время именно академия остается основным источником наиболее цитируемых исследований. Масштабы моделей стремительно растут: вычислительные мощности для тренировки удваиваются каждые пять месяцев, объемы датасетов - каждые восемь, энергопотребление - каждый год. Разрывы в производительности уменьшаются: разница в показателе Elo skill между первой и десятой моделями упала с 11,9% до 5,4% за год, а между первыми двумя моделями - до 0,7%. Итак, фронтир становится более конкурентным и переполненным. 11. ИИ получает самые высокие научные награды за свое влияние. Восходящее значение ИИ подтверждается престижными научными наградами: две Нобелевские премии были присуждены за работы, способствовавшие развитию глубинного обучения (в области физики), и за его применение к белковому свертыванию (в химии). Премия Тьюринга отметила прорывные достижения в сфере обучения с подкреплением. 12. Сложное рассуждение остается вызовом для ИИ. Модели искусственного интеллекта демонстрируют отличные результаты в отдельных задачах, в частности из Международной математической олимпиады, но испытывают трудности с комплексными логическими задачами. Модели часто не способны надежно решать задачи по логике даже тогда, когда существует формально правильное решение. Это ограничивает их эффективность в контекстах с высокими рисками, где важна абсолютная точность. Как видно из этого самари, ИИ в 2024 году демонстрировал стремительный прогресс, становясь более эффективным, доступным и влиятельным в науке, бизнесе и госуправлении. Несмотря на технические прорывы, снижение стоимости инференса и приближение открытых моделей к закрытым ответственное внедрение ИИ остается вызовом. Компании-лидеры по разработке frontier foundation models в США и Китае задают темп развития технологий, но растет роль правительств в регулировании и инвестировании. Мир быстро адаптируется к новой реальности, где ИИ - не только технология, а один из ключевых факторов трансформации общества, экономики и науки. Наиболее интересные для меня графики из отчета с пояснениями можно найти на моей ФБ-странице, но их надо читать более тщательно. Фактически каждый график - это результат исследования авторов. Они предоставляют доступ ко всем таблицам с данными графиков. Это очень важные данные для исследователей, в частности в Украине.