Resumindo o relatório "O Estado dos Ataques ao GenAI" da Pillar Security, gerado da análise de 2.000 aplicações reais alimentadas por LLM em um período de três meses e que gerou os dados abaixo:
- Vazamento de Dados: 90% dos ataques bem-sucedidos resultaram na exposição de dados sensíveis.
- Sucesso de Jailbreak: 20% das tentativas de jailbreak conseguiram contornar as barreiras de segurança das aplicações de GenAI.
- Velocidade e Eficiência: Os ataques são executados em média em 42 segundos, com apenas 5 interações necessárias.
- Principais Técnicas de Ataque: "Ignore Previous Instructions", "Strong Arm Attack" e "Base64 Encoding" são as técnicas de jailbreak mais usadas.
- Motivações: Os atacantes têm como objetivo principal roubar dados, gerar conteúdo malicioso e interromper serviços.
Principais Insights:
- Os ataques visam todas as etapas de interação dos LLMs. São necessárias medidas de segurança abrangentes.
- Os ataques são independentes de linguagem, ocorrendo em qualquer idioma que um LLM entenda.
- LLMs de código aberto são mais vulneráveis do que modelos comerciais.
- O monitoramento no nível de sessão é crucial para detectar padrões de ataque coordenados.
Tendências para o Futuro (2025):
- A transição de chatbots para agentes de IA expandirá a superfície de ataque.
- A proliferação de modelos menores, implantados localmente, aumenta os desafios de segurança.
- Medidas de segurança dinâmicas e contextuais são essenciais para enfrentar ameaças em evolução.
Prioridades para a segurança da IA:
- Soluções de segurança de IA que ofereçam detecção e resposta a ameaças em tempo real.
- Realização de exercícios de red-teaming personalizados; e
- Implementação de medidas de segurança robustas em todo o ciclo de vida da IA;
Saiba mais sobre o estado dos ataques ao GenAI lendo o relatório completo da Pillar Security:
https://www.pillar.security/resources/the-state-of-attacks-on-genai
