Сгенерированный код может быть опасным: в чем дело
Оказывается, искусственный интеллект не просто ускоряет написание кода, но и придумывает несуществующие библиотеки, которые легко превращаются в ловушку для всей индустрии. Когда разработчик использует генератор кода на базе искусственного интеллекта, он ожидает получить рабочий фрагмент программы, который можно быстро внедрить в проект. Однако современные языковые модели часто предлагают подключить к проекту сторонние библиотеки, которых на самом деле не существует. Это не просто ошибка — это новая угроза для всей цепочки поставок программного обеспечения, сообщает Arstechnica. Исследования показали: если дать 16 популярным LLM задачу сгенерировать код, почти в каждом втором случае они предложат использовать несуществующий пакет. За этим стоит простая логика — искусственный интеллект «воображает» названия библиотек, которых не было в репозиториях до этого момента. В одном эксперименте из 576 тысяч сгенерированных примеров кода 440 тысяч зависимостей оказались вымышленными. Опасность в том, что злоумышленник может зарегистрировать пакет с таким же именем, какое «придумал» ИИ. Если кто-то без проверки установит этот пакет, в систему попадет вредоносное ПО. Так работает атака, которую называют dependency confusion или slopsquatting. Раньше хакеры пытались ловить опечатки в названиях библиотек (typosquatting), теперь же достаточно просто следить за тем, какие имена придумывает искусственный интеллект, и вовремя их занять.
Оказывается, искусственный интеллект не просто ускоряет написание кода, но и придумывает несуществующие библиотеки, которые легко превращаются в ловушку для всей индустрии.
Когда разработчик использует генератор кода на базе искусственного интеллекта, он ожидает получить рабочий фрагмент программы, который можно быстро внедрить в проект. Однако современные языковые модели часто предлагают подключить к проекту сторонние библиотеки, которых на самом деле не существует. Это не просто ошибка — это новая угроза для всей цепочки поставок программного обеспечения, сообщает Arstechnica.
Исследования показали: если дать 16 популярным LLM задачу сгенерировать код, почти в каждом втором случае они предложат использовать несуществующий пакет. За этим стоит простая логика — искусственный интеллект «воображает» названия библиотек, которых не было в репозиториях до этого момента. В одном эксперименте из 576 тысяч сгенерированных примеров кода 440 тысяч зависимостей оказались вымышленными.
Опасность в том, что злоумышленник может зарегистрировать пакет с таким же именем, какое «придумал» ИИ. Если кто-то без проверки установит этот пакет, в систему попадет вредоносное ПО. Так работает атака, которую называют dependency confusion или slopsquatting. Раньше хакеры пытались ловить опечатки в названиях библиотек (typosquatting), теперь же достаточно просто следить за тем, какие имена придумывает искусственный интеллект, и вовремя их занять.
