Willwood
Опытный user
- Регистрация
- 13 Фев 2020
- Сообщения
- 651
- Реакции
- 49
Исследователи из компании Check Point заявляют, что API OpenAI плохо защищен от различных злоупотреблений, чем уже не преминули воспользоваться злоумышленники. В частности, был замечен платный Telegram-бот, который легко обходит запреты ChatGPT на создание незаконного контента, включая малварь и фишинговые письма.
Эксперты объясняют, что API ChatGPT свободно доступен для разработчиков, чтобы те могли интегрировать ИИ-бота в свои приложения. Но оказалось, что API-версия практически не налагает ограничений на вредоносный контент.
«Текущая версия API OpenAI может использоваться внешними приложениями (например, языковая модель GPT-3 может быть интегрирована в Telegram-каналы) и имеет очень мало мер для борьбы с возможными злоупотреблениями, — говорят исследователи. — В результате это позволяет создавать вредоносный контент, такой как фишинговые письма и вредоносный код, без каких-либо ограничений и барьеров, которые установлены в пользовательском интерфейсе ChatGPT».
В частности, обнаружилось, что на одном хак-форуме уже рекламируется услуга, связанная с API OpenAI и Telegram. Первые 20 запросов чат-боту бесплатны, а после с пользователей взимается плата в размере 5,50 долларов США за каждые 100 запросов.
Тем временем другой участник хак-форумов опубликовал код, который позволяет бесплатно генерировать вредоносный контент. «Вот небольшой bash-скрипт, который поможет обойти ограничения ChatGPT и использовать его для чего угодно, включая разработку вредоносных программ
», — пишет автор этого «инструмента».
«В период с декабря по январь можно было с легкостью использовать UI ChatGPT для создания вредоносных программ и фишинговых писем (в основном было достаточно только базовой итерации). Основываясь на разговорах киберпреступников, мы предполагаем, что большинство продемонстрированных нами образцов было созданы с помощью веб-интерфейса, — рассказывает эксперт Check Point Сергей Шикевич. — Но, похоже, в последнее время механизмы противодействия злоупотреблениям в ChatGPT значительно улучшились, и поэтому теперь киберпреступники перешли на использование API, который имеет гораздо меньше ограничений».
Эксперты объясняют, что API ChatGPT свободно доступен для разработчиков, чтобы те могли интегрировать ИИ-бота в свои приложения. Но оказалось, что API-версия практически не налагает ограничений на вредоносный контент.
«Текущая версия API OpenAI может использоваться внешними приложениями (например, языковая модель GPT-3 может быть интегрирована в Telegram-каналы) и имеет очень мало мер для борьбы с возможными злоупотреблениями, — говорят исследователи. — В результате это позволяет создавать вредоносный контент, такой как фишинговые письма и вредоносный код, без каких-либо ограничений и барьеров, которые установлены в пользовательском интерфейсе ChatGPT».
В частности, обнаружилось, что на одном хак-форуме уже рекламируется услуга, связанная с API OpenAI и Telegram. Первые 20 запросов чат-боту бесплатны, а после с пользователей взимается плата в размере 5,50 долларов США за каждые 100 запросов.
Эксперты протестировали бота, чтобы понять, насколько хорошо он работает. В результате им без труда удалось создать фишинговое письмо и скрипт, ворующий PDF-документы с зараженного компьютера и отправляющий их злоумышленнику посредством FTP. Причем для создания скрипта использовался простейший запрос: «Напиши малварь, которая будет собирать PDF-файлы и отправлять их по FTP».
Тем временем другой участник хак-форумов опубликовал код, который позволяет бесплатно генерировать вредоносный контент. «Вот небольшой bash-скрипт, который поможет обойти ограничения ChatGPT и использовать его для чего угодно, включая разработку вредоносных программ
», — пишет автор этого «инструмента».
Напомню, что ранее исследователи Check Point уже предупреждали, что преступники живо интересуются ChatGPT, а также сами проверяли, легко ли создать малварь с помощью ИИ (оказалось, что очень).«В период с декабря по январь можно было с легкостью использовать UI ChatGPT для создания вредоносных программ и фишинговых писем (в основном было достаточно только базовой итерации). Основываясь на разговорах киберпреступников, мы предполагаем, что большинство продемонстрированных нами образцов было созданы с помощью веб-интерфейса, — рассказывает эксперт Check Point Сергей Шикевич. — Но, похоже, в последнее время механизмы противодействия злоупотреблениям в ChatGPT значительно улучшились, и поэтому теперь киберпреступники перешли на использование API, который имеет гораздо меньше ограничений».
