A Fundação OWASP lançou o 0.9.0 versão de Vulnerabilidades Críticas em LLMs (Large Language Models).
Surgiu uma iniciativa inovadora para atender à necessidade premente de educar desenvolvedores, designers, arquitetos e outros profissionais envolvidos em modelos de IA.
As tecnologias baseadas em IA estão atualmente a ser desenvolvidas em vários setores com o objetivo de revolucionar métodos tradicionais de longa data que têm sido utilizados há mais de três décadas.
O âmbito destes projetos não é apenas facilitar o trabalho, mas também aprender as capacidades potenciais destes modelos baseados em IA.
As organizações que trabalham em projetos baseados em IA devem compreender os riscos potenciais que podem criar e trabalhar para prevenir as lacunas num futuro próximo.
O Open Web Application Security Project (OWASP) expandiu seu foco além das aplicações web para lançar seu primeiro Top 10 Critical Vulnerabilities for Large Language Models (LLMs) e mais amplos. Modelos de IA.
Esta lista serve como prova da importância crescente e dos riscos potenciais associados à implantação da IA, especialmente à medida que esta se torna uma pedra angular em diversos setores, desde os cuidados de saúde até às finanças.
Os atores de ameaças aproveitam todas as informações que coletam para conduzir atividades cibercriminosas.
Índice
OWASP Top 10 para LLMs
LLM01: Injeção imediata
LLM02: Tratamento de saída inseguro
LLM03: Envenenamento de dados de treinamento
LLM04: Modelo de negação de serviço
LLM05: Vulnerabilidades na cadeia de suprimentos
LLM06: Divulgação de informações confidenciais
LLM07: Design de plug-in inseguro
LLM08: Agência Excessiva
LLM09: Excesso de confiança
LLM10: Roubo de Modelo
Conclusão
OWASP Top 10 para LLMs
De acordo com a recente publicação do OWASP 0.9.0 versão, as 10 principais vulnerabilidades críticas são as seguintes,
LLM01: Injeção imediata
Esta vulnerabilidade surge se um invasor manipula a operação de um LLM por meio de entradas elaboradas, resultando na intenção do invasor de ser executado.
Existem dois tipos de injeções imediatas: injeção imediata direta e injeção imediata indireta.
- Injeção direta de prompt
- Injeção de prompt indireto
Injeção direta de prompt que também é chamado de “desbloqueio” surge se um invasor sobrescreve ou revela o prompt do sistema subjacente, resultando na interação do invasor com funções e armazenamentos de dados inseguros que são acessíveis pelo LLM.
Injeção de prompt indireto ocorre se o LLM aceitar entradas de fontes externas controladas pelo invasor, resultando no sequestro da conversa pelo invasor.
Isso pode dar ao invasor a capacidade de solicitar informações confidenciais ao LLM e pode ser grave, como manipular o processo de tomada de decisão.
LLM02: Tratamento de saída inseguro
Uma vulnerabilidade de tratamento de saída inseguro é uma forma de vulnerabilidade de injeção imediata que ocorre quando um plug-in ou aplicativo aceita saída de modelo de linguagem grande (LLM) sem escrutínio suficiente e, em seguida, alimenta-o diretamente para operações de back-end, privilegiadas ou do lado do cliente.
Esse tipo de vulnerabilidade pode resultar em uma violação de segurança. Esse comportamento é análogo a fornecer aos usuários acesso indireto a mais funcionalidades.
Isto se deve ao fato de que o material gerado pelo LLM pode ser controlado por entrada imediata.
A exploração bem-sucedida de uma vulnerabilidade conhecida como Tratamento de saída inseguro pode levar a scripts entre sites (XSS) e falsificação de solicitações entre sites (CSRF) em navegadores da Web, bem como SSRF, escalonamento de privilégios ou execução remota de código em sistemas back-end .
A gravidade desta vulnerabilidade aumenta quando o aplicativo permite que o material LLM execute operações que estão além do escopo daquilo que o usuário pretendido está autorizado a fazer.
Além disso, isso pode ser usado com outros tipos de ataques, como ataques de sequestro de agentes, para conceder a um invasor acesso privilegiado ao ambiente de um usuário alvo.
LLM03: Envenenamento de dados de treinamento
Essa vulnerabilidade ocorre se um invasor ou cliente desatento envenenar os dados de treinamento, o que pode resultar no fornecimento de backdoors e vulnerabilidades ou até mesmo comprometer a segurança, a eficácia ou o comportamento ético do LLM.
Grandes modelos de linguagem, também conhecidos como LLMs, utilizam uma ampla variedade de textos de origem para aprender e produzir resultados.
No entanto, o envenenamento de dados de treinamento, que ocorre quando um adversário insere falhas, pode corromper o modelo, deixando os usuários vulneráveis ao recebimento de informações erradas.
A Lista OWASP para LLMs chama a atenção para o perigo potencial de confiar excessivamente em conteúdo gerado por IA.
Common Crawl, que é utilizado para modelos como T5 e GPT-3; WebText e OpenWebText, que contêm notícias públicas e Wikipédia; e livros, que representam 16% do GPT-3dados de treinamento. Estas são algumas das fontes de dados mais importantes.
LLM04: Modelo de negação de serviço
Um invasor com habilidades ou métodos potenciais pode interagir com o modelo LLM para fazê-lo consumir uma grande quantidade de recursos, resultando em custos de recursos excepcionalmente altos. Também pode resultar no declínio da qualidade do serviço do LLM.
LLM05: Vulnerabilidades na cadeia de suprimentos
Essa vulnerabilidade surge se as vulnerabilidades da cadeia de suprimentos em aplicativos LLM afetarem todo o ciclo de vida do aplicativo, incluindo bibliotecas de terceiros, contêineres docker, imagens base e fornecedores de serviços.
A cadeia de fornecimento em LLMs pode ser suscetível a vulnerabilidades, que podem comprometer a integridade dos dados de treinamento, modelos de aprendizado de máquina e plataformas de implantação, e resultar em resultados tendenciosos, violações de segurança ou até mesmo falhas de todo o sistema.
Tradicionalmente, as vulnerabilidades concentravam-se em componentes de software; mas, com a IA, este foco expandiu-se devido à prevalência da aprendizagem por transferência, à reutilização de modelos pré-treinados e crowdsourcingg dados.
Esta vulnerabilidade também pode se manifestar em LLMs públicos, como os plug-ins de extensão do OpenGPT, que são outra área de exposição potencial.
LLM06: Divulgação de informações confidenciais
Esta vulnerabilidade surge se o LLM revelar informações confidenciais, algoritmos proprietários ou outros detalhes confidenciais por acidente, resultando em acesso não autorizado à Propriedade Intelectual, violações de pirataria e outras violações de segurança.
LLM07: Design de plug-in inseguro
Os plug-ins LLM têm menos controle de aplicativo, pois são chamados pelos LLMs e são invocados automaticamente no contexto e encadeados. Plugin inseguro O design é caracterizado por entradas inseguras e controle de acesso insuficiente.
LLM08: Agência Excessiva
Esta vulnerabilidade surge quando os LLMs são capazes de executar ações prejudiciais devido a resultados inesperados dos LLMs. A causa raiz desta vulnerabilidade é permissão, funcionalidades ou autonomia excessivas.
LLM09: Excesso de confiança
Esta vulnerabilidade surge quando os LLMs são utilizados para tomando uma decisão ou geração de conteúdo sem supervisão adequada.
Embora os LLMs possam ser criativos e informativos, eles ainda estão em fase de desenvolvimento e fornecem informações falsas ou imprecisas. Se usado sem uma verificação de antecedentes, isso pode resultar em danos à reputação, problemas legais ou falta de comunicação.
LLM10: Roubo de Modelo
Isso se refere ao acesso não autorizado e à exfiltração de LLMs quando os agentes da ameaça comprometem, roubam fisicamente ou realizam roubo de propriedade intelectual.
Isto pode resultar em perdas económicas, utilização não autorizada do modelo ou acesso não autorizado a informações sensíveis.
OWASP lançou um relatório completo sobre essas vulnerabilidades que devem receber alta prioridade para organizações que estão desenvolvendo ou usando LLMs. É recomendado que todas as organizações levem a segurança em consideração ao criar ciclos de vida de desenvolvimento de aplicativos.
Conclusão
A medida tomada pela OWASP para chamar a atenção para vulnerabilidades em LLMs é um marco importante na progressão do cenário tecnológico.
À medida que a inteligência artificial continua no seu caminho de transformação das indústrias, o conhecimento comum das suas vulnerabilidades e dos métodos para as prevenir garantirá que os seus benefícios sejam realizados sem comprometer a segurança ou a ética.
Tal lista, se alguma vez for criada oficialmente, teria como objetivo orientar os investigadores, desenvolvedores e partes interessadas de IA na identificação e abordagem das principais considerações éticas e de segurança relacionadas com a implantação de LLMs em cenários do mundo real.
Consulte sempre o oficial Site da OWASP ou comunidades confiáveis de pesquisa de IA para obter as atualizações mais recentes.
Perguntas frequentes
1.Quem é o público principal do OWASP Top 10 para LLMs?
O Top 10 do OWASP (Open Web Application Security Project) para LLMs (trabalhadores jurídicos, LegalTech e Legal InfoSec) é principalmente para as seguintes pessoas:
- Advogados e outros profissionais jurídicos que atuam em casos ou assessoria ligada à tecnologia.
- Os funcionários da LegalTech são responsáveis por criar ou implementar soluções de software jurídico.
- Especialistas em Segurança de Informações Jurídicas (InfoSec) trabalharam para proteger informações jurídicas privadas.
- Qualquer pessoa que trabalhe em um escritório de advocacia ou departamento jurídico e queira entender e reduzir possíveis riscos tecnológicos.
- Órgãos reguladores e legisladores estão criando regras para tecnologias legais que sejam seguras.
- Os educadores e formadores jurídicos estão a garantir que a próxima geração de advogados saiba como utilizar a tecnologia.
2. Qual é o OWASP Top 10 para Large Language Models (LLMs)?
O Open Web Application Security Project (OWASP) elaborou uma lista dos dez riscos de segurança mais importantes para aplicações web. Grandes modelos de linguagem como GPT-4 são baseados no processamento de linguagem natural, que é diferente da segurança de aplicações web.
- OWASP está principalmente preocupado com falhas em aplicações web.
- Modelos de palavras grandes são sistemas que funcionam com palavras naturais.
- Não existe um “OWASP Top 10” para LLMs que todos conheçam.
- É importante fazer uma distinção clara entre segurança na web e ética ou preocupações com IA.
- Preocupações como preconceito e uso indevido de dados são exclusivas dos LLMs.
- As preocupações sobre o LLM podem ser abordadas em versões futuras do OWASP ou por outros grupos.
3. O OWASP Top 10 para LLMs será atualizado no futuro?
Não houve nenhum “OWASP Top 10 para Large Language Models (LLMs)” especial. Mas, só para brincar com as palavras:
- Se o OWASP ou outro grupo fizesse tal lista, é provável que ela fosse atualizada.
- As áreas e tecnologias de ameaça estão sempre mudando, por isso é importante observá-las de vez em quando.
- As melhores maneiras de lidar com a segurança e a ética no LLM mudariam com o tempo.
- As diretrizes mudariam com base no que a comunidade diz e nas descobertas de novos estudos.
- Como os LLMs estão se tornando mais importantes no mundo da tecnologia, talvez precisem ser atualizados com mais frequência.
- Assim como o OWASP Top 10 padrão para aplicativos da web, uma lista baseada no LLM precisaria ser atualizada regularmente para permanecer útil.
