A rápida evolução dos Large Language Models (LLMs) trouxe oportunidades incríveis e desafios de segurança sem precedentes. À medida que os LLMs se integram a aplicações críticas, é fundamental compreender e mitigar suas vulnerabilidades. Recentemente, dois recursos utilizados para entender melhor essas vulnerabilidades foram atualizados (links no final do post) :

  • OWASP Top 10 para aplicações LLM: Um esforço conduzido pela comunidade para destacar os riscos de segurança mais críticos específicos para aplicações LLM.
  • Publicação Especial NIST 800-218A: Um documento que fornece uma estrutura de práticas seguras de desenvolvimento de software adaptadas para o desenvolvimento de modelos de IA.

Nesta postagem vou explorar e correlacionar como as diretrizes do NIST podem ajudar as organizações a mitigar os riscos descritos no OWASP Top 10 para LLMs, reforçando a segurança dos sistemas de IA.

Compreendendo o documento NIST

O Instituto Nacional de Padrões e Tecnologia (NIST), uma agência não reguladora do Departamento de Comércio dos EUA, é conhecido por suas contribuições às melhores práticas de segurança cibernética. NISTSP800-218A, intitulado "Práticas seguras de desenvolvimento de software para IA generativa e modelos básicos de uso duplo," é complementar ao Secure Software Development Framework (SSDF) do NIST. Ele expande o SSDF para abranger as necessidades exclusivas de segurança dos modelos de IA. O documento fornece um conjunto de práticas categorizadas em quatro grupos principais:

  1. Prepare the Organization (PO): Concentra-se no estabelecimento de uma base de segurança robusta dentro da organização, incluindo a definição de requisitos de segurança, a atribuição de funções e responsabilidades e a implementação da cadeia de segurança.
  2. Protect Software (PS): Enfatiza a proteção de todas as formas de código e dados, incluindo modelos de IA, pesos e dados de treinamento, contra acesso não autorizado e adulteração.
  3. Produce Well-Secured Software (PW): Aborda práticas seguras de design e codificação específicas para modelos de IA, abrangendo aspectos como modelagem de ameaças, padrões de codificação seguros e testes.
  4. Respond to Vulnerabilities (RV): Fornece orientação sobre o estabelecimento de mecanismos para identificar, analisar e responder a vulnerabilidades em modelos de IA, incluindo a coleta de informações de diversas fontes, a realização de análises de causa raiz e a implementação de respostas baseadas em riscos.

Correlacionando práticas do NIST com as 10 principais vulnerabilidades do OWASP LLM

O documento do NIST, embora não tenha como objetivo mitigar diretamente o Top 10 do OWASP, oferece uma abordagem abrangente para reduzir a exposição às ameaças que representam. Este é um resumo de como as práticas do NIST podem ajudar a resolver cada vulnerabilidade do OWASP Top 10:

  • LLM01:2025 Prompt Injection (OWASP):
    • PO.5 (NIST): A implementação e manutenção de ambientes de desenvolvimento seguros ajuda a evitar modificações não autorizadas nos dados de treinamento e nos parâmetros do modelo, que são essenciais para evitar a injeção imediata.
    • PW.5.1 (NIST): Aderir a práticas de codificação seguras, especialmente ao lidar com entradas como prompts, é crucial. Isso inclui validação rigorosa, higienização e registro de entradas.
  • LLM02:2025 Sensitive Information Disclosure (OWASP):
    • PS.1 (NIST): Proteger todas as formas de código e dados, incluindo parâmetros de modelos de IA e dados de treinamento, contra acesso não autorizado é fundamental para evitar vazamentos de informações confidenciais.
    • PW.5.1 (NIST): Práticas de codificação seguras que envolvem codificação e sanitização da saída ajudam a evitar a exposição não intencional de dados.
  • LLM03:2025 Supply Chain (OWASP):
    • PW.4.4 (NIST): A verificação minuciosa da integridade, proveniência e segurança dos componentes de IA adquiridos é essencial para mitigar os riscos de supply chain..
    • PO.1.3 (NIST): A comunicação dos requisitos de segurança a fornecedores de software terceirizados ajuda a garantir a segurança do supply chain desde o início.
  • LLM04:2025 Data and Model Poisoning (OWASP):
    • PW.3.1 (NIST): É vital analisar os dados de treinamento em busca de possíveis envenenamentos, preconceitos e adulterações antes do treinamento do modelo.
    • PS.1.2 (NIST): É fundamental proteger todos os dados usados ​​no desenvolvimento de IA, incluindo dados de treinamento, teste e ajuste fino, contra modificações não autorizadas.
  • LLM05:2025 Improper Output Handling (OWASP):
    • PW.5.1 (NIST): Práticas de codificação seguras, especialmente ao lidar com saídas, atenuam diretamente os riscos de manipulação inadequada de saídas. Isso inclui validação robusta, sanitização e codificação de resultados.
    • PW.7.1 e PW.8 (NIST): Revisões de código e testes rigorosos de código executável ajudam a descobrir vulnerabilidades relacionadas ao tratamento impróprio de saída.
  • LLM06:2025 Excessive Agency (OWASP):
    • PW.1.1 (NIST): A identificação e documentação precoces de ameaças relacionadas com delegação excessiva durante a concepção são essenciais para a implementação de controles de segurança apropriados.
    • PO.5 (NIST): A implementação de ambientes seguros com acesso controlado às funcionalidades do modelo ajuda a limitar os danos potenciais causados ​​pela delegação excessiva.
  • LLM07:2025 System Prompt Leakage (OWASP):
    • PO.5 (NIST): Ambientes de desenvolvimento seguros são cruciais para proteger informações confidenciais, incluindo avisos do sistema, contra acesso não autorizado.
    • PW.7.1 (NIST): As revisões de código ajudam a identificar possíveis vazamentos de informações, incluindo aqueles que envolvem prompts do sistema.
  • LLM08:2025 Vector and Embedding Weaknesses (OWASP):
    • PS.1.3 (NIST): Proteger os pesos do modelo e os parâmetros de configuração contra acesso e modificações não autorizadas é essencial, pois estão intimamente relacionados a vetores e embeddings.
    • PW.3.1 (NIST): A análise dos dados usados ​​para criar embeddings em busca de envenenamentos é crucial para proteger os sistemas RAG.
  • LLM09:2025 Misinformation (OWASP):
    • PW.8.2 (NIST): Os testes de invasão ajudam a descobrir vulnerabilidades que podem levar à geração e disseminação de informações incorretas.
    • PW.5.1 (NIST): As práticas de codificação segura ajudam a mitigar vulnerabilidades que podem contribuir para a desinformação.
  • LLM10:2025 Unbounded Consumption (OWASP):
    • PO.5 (NIST): A configuração segura e o monitoramento de ambientes de desenvolvimento e produção são cruciais para prevenir e detectar ataques de consumo excessivo.
    • RV.1 (NIST): A monitorização contínua e a gestão de vulnerabilidades são vitais para abordar eficazmente os riscos de consumo excessivo.

Mitigação

A segurança dos sistemas de IA, especialmente aqueles que incorporam LLMs, é um problema complexo e exige uma abordagem proativa e multifacetada. O documento NIST SP 800-218A, em conjunto com o OWASP Top 10 for LLM Applications, ajuda as equipes com a orientação necessária para construir e implantar modelos seguros de IA, reduzindo significativamente os riscos e promovendo um cenário de IA mais seguro e confiável.


Links para download: