Prompt Injection: o novo risco das aplicações de IA

À medida que aplicações de inteligência artificial passam a interagir com documentos, sistemas, APIs e informações externas, surge uma nova categoria de preocupação de segurança: Prompt Injection.

Como funciona?

O conceito está relacionado à possibilidade de uma entrada maliciosa influenciar o comportamento de um sistema de IA de maneira não prevista.

Imagine uma aplicação de IA criada para analisar documentos. Um usuário envia um arquivo para análise. Dentro desse arquivo, porém, existe uma instrução criada para tentar fazer com que o modelo ignore suas regras originais e execute uma ação diferente.

Essa tentativa de manipular as instruções recebidas é conhecida como Prompt Injection.

Por que o risco aumenta quando a IA possui acesso a sistemas?

Uma IA que apenas responde perguntas possui uma capacidade de ação diferente de uma aplicação que pode:

• Consultar bancos de dados;
• Acessar documentos internos;
• Utilizar APIs;
• Enviar mensagens;
• Executar determinadas tarefas;
• Interagir com outros sistemas.

Quanto maior a capacidade de ação, maior a importância de controles que limitem o que a aplicação pode acessar ou executar.

Prompt Injection não é apenas um problema de prompt

Uma proteção adequada não deve depender somente de uma instrução dizendo ao modelo para “não fazer determinada coisa”.

Aplicações de IA precisam considerar controles em diferentes camadas, como:

• Limitar permissões;
• Validar entradas;
• Controlar acesso a dados;
• Separar informações confiáveis de conteúdo fornecido pelo usuário;
• Monitorar ações;
• Aplicar autorização antes de operações sensíveis;
• Reduzir privilégios desnecessários.

Segurança precisa acompanhar a evolução da IA

A adoção de IA está mudando a maneira como aplicações são desenvolvidas e utilizadas.

Por isso, práticas tradicionais de segurança precisam ser complementadas por uma análise específica dos riscos associados ao comportamento dos modelos e às integrações realizadas por essas aplicações.

A questão não é apenas perguntar o que uma IA consegue responder.

É necessário entender também: “O que essa IA pode acessar, fazer e alterar?”

Quanto maior a capacidade de ação de uma aplicação de IA, maior deve ser a atenção dedicada à sua segurança e governança.

Na Verdandi, tecnologia, segurança e governança são analisadas de forma integrada para apoiar organizações na adoção responsável de soluções de inteligência artificial.