Митап AI Risk Governance от Pipedrive (24 октября 2025)

Сходил на митап "AI Risk Governance", организованный Pipedrive.

Martin Ojala из Kordon.app рассказал, как внедрение AI меняет угрозы для организаций. Упоминались фреймворки MAESTRO и PLOT4AI.

Угрозы с помощью AI

  • AI-phishing теперь использует клонированные голоса, реальный тайминг и контекст, чтобы давить на жертву.
  • Вредоносный код с помощью LLM эволюционирует на устройстве, постоянно мутирует и обходит детекцию.
  • Эксплойты, сгенерированные AI, появляются за минуты после disclosure уязвимостей - отсюда потребность в automated patching.
  • Data poisoning и prompt injection эксплуатируют зависимость AI от открытых данных и недоверенных входов.
  • Даже misuse AI на стороне поставщиков может косвенно задеть вашу организацию.

Угрозы для AI

  • Отравленные или манипулированные training data (как кейс с Reddit SEO).
  • Скрытые промпты, встроенные в файлы или события календаря.

Угрозы от AI

  • Непрозрачные решения с юридическими, этическими и репутационными рисками.
  • Агенты со слишком широкими правами, которые могут сделать разрушительные действия.
  • Потеря контроля над результатами работы.

"AI threat modeling не обязан быть идеальным, но он должен быть систематическим. Продумайте, как AI может пойти не так, и держите руку на пульсе меняющегося ландшафта."

Здесь я спрашивал:

  1. Остаёмся ли мы в мире, где AI-защитники сражаются с AI-атакующими?
  2. Про AI-модели, которые шантажируют пользователя.

Joseph H. - The Human in the Loop

  • Чрезмерная зависимость может привести к эрозии навыков, изоляции и потере понимания собственных систем.
  • Человек может стать узким местом - неквалифицированным для проверки AI-выводов или слишком зависимым от них.
  • 60% breaches по-прежнему связаны с человеческой ошибкой - AI снижает одни риски, но вводит новые.

"AI должен усиливать человеческие возможности, а не заменять их. Цель не в том, чтобы убрать human loop - а в том, чтобы усилить его."

Здесь я спрашивал про креативность. Не потеряют ли люди творчество, если AI будет генерировать большую часть музыки, искусства и кино.

Риски vibe coding

Tambet Paljasma говорил о том, как инженеры всё больше опираются на vibe coding, какие риски это несёт и как их снижать. К сожалению, я не особо вслушивался - вероятно, как раз о том, против чего Tambet и предупреждал 🙂

Но я заметил, что слайды были очень детальными и text-heavy. Поэтому мой вопрос был про баланс между overengineering (собрать сложный pipeline агентов для создания слайдов) и winging it (go fast and break things).

Разговор в кулуарах

Удалось поговорить с Taras Kushnir про его новый проект - https://privatecaptcha.com. Не начнёт ли AI обходить все captcha?

Похожее

#ai #events #security #pipedrive #governance