#ai #events #security #pipedrive #governance

Митап AI Risk Governance от Pipedrive (24 октября 2025)

Сходил на митап "AI Risk Governance", организованный Pipedrive, в в Таллинне.

Martin Ojala из Kordon.app рассказал, как внедрение AI меняет угрозы для организаций. Упоминались фреймворки MAESTRO и PLOT4AI.

Угрозы с помощью AI

  • AI-phishing теперь использует клонированные голоса, реальный тайминг и контекст, чтобы давить на жертву.
  • Вредоносный код с помощью LLM эволюционирует на устройстве, постоянно мутирует и обходит детекцию.
  • Эксплойты, сгенерированные AI, появляются за минуты после disclosure уязвимостей - отсюда потребность в automated patching.
  • Data poisoning и prompt injection эксплуатируют зависимость AI от открытых данных и недоверенных входов.
  • Даже misuse AI на стороне поставщиков может косвенно задеть вашу организацию.

Угрозы для AI

  • Отравленные или манипулированные training data (как кейс с Reddit SEO).
  • Скрытые промпты, встроенные в файлы или события календаря.

Угрозы от AI

  • Непрозрачные решения с юридическими, этическими и репутационными рисками.
  • Агенты со слишком широкими правами, которые могут сделать разрушительные действия.
  • Потеря контроля над результатами работы.

"AI threat modeling не обязан быть идеальным, но он должен быть систематическим. Продумайте, как AI может пойти не так, и держите руку на пульсе меняющегося ландшафта."

Здесь я спрашивал:

  1. Остаёмся ли мы в мире, где AI-защитники сражаются с AI-атакующими?
  2. Про AI-модели, которые шантажируют пользователя.

Joseph H. - The Human in the Loop

  • Чрезмерная зависимость может привести к эрозии навыков, изоляции и потере понимания собственных систем.
  • Человек может стать узким местом - неквалифицированным для проверки AI-выводов или слишком зависимым от них.
  • 60% breaches по-прежнему связаны с человеческой ошибкой - AI снижает одни риски, но вводит новые.

"AI должен усиливать человеческие возможности, а не заменять их. Цель не в том, чтобы убрать human loop - а в том, чтобы усилить его."

Здесь я спрашивал про креативность. Не потеряют ли люди творчество, если AI будет генерировать большую часть музыки, искусства и кино.

Риски vibe coding

Tambet Paljasma говорил о том, как инженеры всё больше опираются на vibe coding, какие риски это несёт и как их снижать. К сожалению, я не особо вслушивался - вероятно, как раз о том, против чего Tambet и предупреждал 🙂

Но я заметил, что слайды были очень детальными и text-heavy. Поэтому мой вопрос был про баланс между overengineering (собрать сложный pipeline агентов для создания слайдов) и winging it (go fast and break things).

Разговор в кулуарах

Удалось поговорить с Taras Kushnir про его новый проект - https://privatecaptcha.com. Не начнёт ли AI обходить все captcha?