AI

Quando a IA ganha autonomia, quem garante a segurança?

 

 

O recente caso envolvendo o ChatGPT voltou a colocar uma questão no centro da cibersegurança: o que acontece quando a Inteligência Artificial ganha autonomia suficiente para agir sem intervenção humana constante?

 

Recentemente, falámos sobre um caso que chamou a atenção para um dos desafios emergentes da Inteligência Artificial (veja tudo aqui): sistemas capazes de ir além da geração de respostas e assumir um papel cada vez mais ativo na execução de tarefas. O tema trouxe para primeiro plano uma questão que se tornará progressivamente mais relevante para as organizações: até onde deve ir a autonomia de um sistema de IA e que mecanismos existem para controlar aquilo que pode fazer?

Esta discussão acompanha a evolução de Generative AI para Agentic AI. Os agentes de IA podem planear tarefas, tomar decisões dentro dos objetivos definidos, recorrer a aplicações e ferramentas externas e executar sequências de ações com menor intervenção humana. Em contexto empresarial, isto pode significar acesso a APIs, bases de dados, ficheiros, aplicações corporativas e outros recursos críticos.

É precisamente aqui que a Cibersegurança ganha uma nova dimensão. Se um agente pode agir, as organizações precisam de saber a que recursos tem acesso, que informação está a utilizar, com que sistemas está a comunicar e que ações está autorizado a executar.

A questão deixa, portanto, de ser apenas como proteger os dados utilizados pela IA. Passa também por estabelecer limites para a sua autonomia.

 

Da resposta à ação

Esta evolução tem implicações diretas na Cibersegurança.

Um agente com acesso a ferramentas empresariais pode consultar informação, alterar ficheiros, comunicar com sistemas externos, utilizar credenciais ou executar operações através de APIs. Quanto maior for o nível de acesso concedido, maior será a necessidade de compreender exatamente que agente está ativo, a que recursos consegue aceder, que dados está a utilizar e que ações tem autorização para executar.

O risco deixa assim de estar limitado ao conteúdo de um prompt ou de uma resposta. Passa também a existir na própria execução.

Entre os cenários que exigem maior atenção estão acessos excessivamente permissivos, exposição de credenciais, exfiltração de dados, utilização de ferramentas maliciosas ou comprometidas e ações executadas fora do âmbito inicialmente previsto. 

Um dos elementos centrais nesta evolução é o Model Context Protocol (MCP).

O MCP permite que aplicações e agentes de IA comuniquem com ferramentas e fontes de dados externas através de um protocolo comum. Na prática, facilita a criação de ambientes nos quais um agente consegue recorrer a diferentes recursos para executar uma tarefa.

Essa capacidade introduz também uma nova camada que as equipas de segurança precisam de monitorizar.

Uma organização pode ter múltiplos clientes, servidores e ferramentas MCP em utilização, criando comunicações autónomas que nem sempre são visíveis através dos mecanismos de segurança tradicionalmente orientados para interações entre utilizadores e aplicações.

Conhecer o ambiente MCP torna-se, por isso, parte da estratégia de AI Security.

 

Mas como controlar agentes de IA?

A resposta passa por aplicar aos agentes princípios de segurança que já são fundamentais noutras áreas da infraestrutura tecnológica: visibilidade, controlo de acesso, least privilege, proteção de dados, avaliação de risco e auditoria.

É precisamente neste contexto que surge o Netskope Skylight Agentic Broker.

A solução foi desenvolvida para dar às organizações visibilidade sobre o tráfego MCP, permitindo identificar servidores, clientes, ferramentas, recursos e pedidos utilizados por agentes. Permite ainda avaliar o risco associado a servidores MCP públicos e aplicar políticas que determinam quais podem ser utilizados dentro da organização.

A proteção de dados é outra componente relevante. A integração com mecanismos de Data Loss Prevention (DLP) permite aplicar políticas aos fluxos de trabalho dos agentes, reduzindo o risco de exposição de informação sensível, propriedade intelectual ou credenciais.

Ao mesmo tempo, os registos de sessões, pedidos efetuados a ferramentas e respetivas respostas criam uma camada de auditoria necessária para investigar comportamentos e apoiar políticas de AI Governance.

 

Controlar também aquilo que o agente tenta executar.

A segurança de Agentic AI está a avançar ainda mais, da proteção das comunicações para o controlo da própria ação.

Com o Netskope Skylight Agent Action Control, as ações que um agente tenta executar podem ser classificadas de acordo com o respetivo risco e sujeitas a políticas antes da sua execução.

Alterações de controlo de acesso, manipulação de credenciais, destruição de dados, potencial exfiltração de informação, execução remota de código ou alterações a código-fonte são exemplos de ações que podem exigir níveis diferentes de controlo.

Isto permite estabelecer uma fronteira importante para a adoção empresarial de agentes autónomos: definir antecipadamente aquilo que um agente pode fazer, aquilo que exige supervisão e aquilo que deve ser bloqueado.

 

A autonomia precisa de segurança

A Agentic AI abre espaço para novos níveis de automação e produtividade, mas também altera a forma como pensamos a segurança da Inteligência Artificial.

À medida que os agentes passam a interagir diretamente com sistemas, ferramentas e dados empresariais, as organizações precisam de conseguir observar essas interações, avaliar o risco e aplicar políticas em tempo real.

O objetivo não passa por limitar a evolução da IA. Passa por criar as condições para que essa evolução aconteça dentro de limites definidos, auditáveis e alinhados com as políticas de segurança da organização.

 

Clara Pinheiro

 

Na ORBCOM, ajudamos as organizações a integrar a Inteligência Artificial nos seus processos de forma segura, com visibilidade sobre os sistemas, controlo dos acessos e políticas de segurança adaptadas aos novos desafios da automação.

Com a experiência das nossas equipas de Cibersegurança e o apoio de parceiros tecnológicos, trabalhamos para que as empresas possam tirar partido da autonomia dos agentes de IA, mantendo o controlo sobre os seus dados, ferramentas e operações.

Porque quanto maior for a autonomia da Inteligência Artificial, maior deve ser a capacidade de controlar aquilo que pode fazer.

 

 

Perguntas frequentes

Uma empresa está mais preparada para implementar inteligência artificial quando os seus sistemas comunicam entre si, os dados estão organizados e protegidos, a infraestrutura consegue suportar novas exigências e existe uma responsabilidade clara pela integração da IA. Antes de escolher uma ferramenta, é importante avaliar estes quatro elementos.

Antes de investir em IA, uma empresa deve avaliar quatro áreas principais: integração dos sistemas, localização e segurança dos dados, capacidade da infraestrutura e responsabilidade pela integração. A tecnologia de IA pode ser poderosa, mas o seu valor depende da capacidade da empresa para lhe disponibilizar dados, sistemas e infraestrutura adequados.

A infraestrutura deve conseguir suportar maior processamento de dados, tráfego e exigência sobre a cloud e a rede. Antes de implementar IA, a empresa deve avaliar se a infraestrutura atual consegue acompanhar estas necessidades. Caso contrário, a implementação pode tornar-se lenta, instável ou mais dispendiosa do que o previsto.

 

O primeiro passo é garantir que os sistemas comunicam entre si e que os dados necessários estão acessíveis de forma estruturada e segura. CRM, ERP, sistemas operacionais e outras fontes de informação não devem funcionar como silos. Também é essencial definir quem pode aceder aos dados e como esses acessos são controlados.

Os principais riscos incluem sistemas que não comunicam entre si, acesso inadequado a dados, infraestrutura insuficiente e falta de responsabilidade clara pela integração. A IA pode também aumentar a superfície de acesso à informação da empresa. Por isso, segurança, gestão de acessos e integração devem ser consideradas antes da implementação, e não apenas depois.

Gostou?

Subscreva a nossa newsletter e fique a par de todas as novidades!

Quer saber mais sobre a ORBCOM? Fale com um especialista

Se quiser conhecer melhor a ORBCOM e perceber como os nossos produtos, serviços de consultoria e outsourcing se enquadram na sua realidade, fale com um especialista.