Основатель curl о проблеме созданных LLM отчётов об уязвимостях
Основатель и главный разработчик проекта curl Дэниэл Стенберг (Daniel Stenberg) обратил внимание на проблему массовой отправки сообщений об уязвимостях, созданных LLM через платформу HackerOne. Подобные сообщения перегружают разработчиков, так как для их проверки необходимо время, которое несравнимо с тем временем, которое нужно для создания подобных отчётов при помощи LLM. В качестве примера такого сообщения он опубликовал один из таких отчётов - #3125832. Первоначальный патч в нём не подходит ни к одной версии утилиты, для которой он сделан. На уточняющие вопросы от разработчиков его автор отвечал на не заданные вопросы (например, что такое циклическая зависимость), приводил примеры несуществующих функций в утилите и давал инструкции, как использовать git для применения патча. В ответ на увеличение количества таких сообщений Дэниэл Стенберг предупредил, что теперь авторам необходимо будет отвечать на вопрос «использовался ли AI при его создании» и быть готовыми к дополнительным вопросам, чтобы доказать, что автор действительно проверил результат. Так же любой автор, заподозренный в отправке сообщений, которые можно классифицировать как «AI slop» (низкокачественный контент, сгенерированный LLM) будет немедленно забанен. Дэниэл Стенберг отмечает, что на данный момент у них нет ни одного примера полезного сообщения об уязвимости, созданного при помощи AI. Ранее Дэниэл Стенберг уже писал об этой проблеме в своём блоге. Так же о похожей ситуации сообщал Сэт Ларсон (Seth Larson), разработчик из security team в Python Software Foundation. curl, llm, искусственный интеллект
Основатель и главный разработчик проекта curl Дэниэл Стенберг (Daniel Stenberg) обратил внимание на проблему массовой отправки сообщений об уязвимостях, созданных LLM через платформу HackerOne. Подобные сообщения перегружают разработчиков, так как для их проверки необходимо время, которое несравнимо с тем временем, которое нужно для создания подобных отчётов при помощи LLM.
В качестве примера такого сообщения он опубликовал один из таких отчётов - #3125832. Первоначальный патч в нём не подходит ни к одной версии утилиты, для которой он сделан. На уточняющие вопросы от разработчиков его автор отвечал на не заданные вопросы (например, что такое циклическая зависимость), приводил примеры несуществующих функций в утилите и давал инструкции, как использовать git для применения патча.
В ответ на увеличение количества таких сообщений Дэниэл Стенберг предупредил, что теперь авторам необходимо будет отвечать на вопрос «использовался ли AI при его создании» и быть готовыми к дополнительным вопросам, чтобы доказать, что автор действительно проверил результат. Так же любой автор, заподозренный в отправке сообщений, которые можно классифицировать как «AI slop» (низкокачественный контент, сгенерированный LLM) будет немедленно забанен.
Дэниэл Стенберг отмечает, что на данный момент у них нет ни одного примера полезного сообщения об уязвимости, созданного при помощи AI.
Ранее Дэниэл Стенберг уже писал об этой проблеме в своём блоге. Так же о похожей ситуации сообщал Сэт Ларсон (Seth Larson), разработчик из security team в Python Software Foundation.
