Shadow AI
As organizações estão a falhar na adoção de IA de duas maneiras ao mesmo tempo. A primeira é aquela que não se vê.
Começou sem que ninguém tenha decidido que devia começar. Antes de se escrever a estratégia, antes de se escolher um fornecedor, antes de se redigir uma política, já havia colaboradores em toda a organização a usar IA para fazer trabalho real sobre dados reais. É a isto que se chama Shadow AI: colaboradores a usar ferramentas que a organização nunca aprovou, avaliou nem sequer identificou.
Acontece das formas mais simples. Um engenheiro cola código proprietário num chatbot público para encontrar um erro; um responsável financeiro carrega números trimestrais ainda em rascunho para obter um resumo antes da reunião do conselho; uma gestora de recursos humanos cola uma folha de cálculo com salários para redigir uma revisão salarial. Código, informação financeira e dados pessoais saem da organização, um prompt de cada vez, sem visibilidade e sem governação.
Se a ferramenta guarda ou não alguma coisa é irrelevante. Os contratos com clientes indicam quem está autorizado a deter esses dados, aos colaboradores foi dito por que mãos passariam os seus registos, e uma ferramenta que ninguém aprovou não consta de nenhuma dessas listas.
O que faria nesta situação? Tem o ficheiro, tem o prazo e tem, noutro separador, uma ferramenta que faz num minuto o que de outra forma lhe custaria uma tarde. Ninguém lhe disse que não podia. Ninguém lhe ofereceu nada melhor. A resposta honesta, para a maioria das pessoas, é que também usaria a ferramenta.
Nenhuma destas pessoas quis criar risco. Quis acabar uma tarefa. Não é a aprovação que torna uma ferramenta útil.
A fuga de dados é o único custo que se consegue quantificar facilmente, porque é o único com forma de custo: registos expostos, regulador notificado, uma investigação a que alguém tem de responder, uma fatura no fim. Tem um responsável e tem um número. O que vem de volta não tem nem uma coisa nem outra.
E nada disso é governado. A correção sugerida entra no produto, o resumo entra na apresentação ao conselho e a organização não sabe que ferramenta os produziu, o que lhe foi dado nem se inventou justamente a parte que importava. Nada disto parece ter um custo até alguém perguntar de onde veio a informação. Nessa altura, poderá não haver registo nenhum ao alcance da organização, porque o trabalho aconteceu num sítio que ela não vê.
Há um custo que dificilmente alguém contabiliza: tudo o que a organização aprende por esta via, aprende-o em privado. O melhor analista de uma organização descobre como transformar um relatório desorganizado de um fornecedor num resumo de risco bem feito. A descoberta não está na redação do prompt. Está em perceber que aquela tarefa pode ser realizada daquela forma. Fica perdida no histórico de conversas de uma pessoa e pode nunca sair dali. Se esse analista sair, o conhecimento vai com ele. Ninguém mais consegue pegar nesse trabalho e desenvolvê-lo a partir daí, enquanto o analista dois andares acima pode continuar a tentar resolver o mesmo problema do zero, sem sequer saber que alguém já tinha encontrado uma forma de o fazer.
A resposta óbvia é criar uma política. Uma política pode dizer às pessoas o que devem ou não devem fazer. Não lhes dá, por si só, uma forma melhor de trabalhar. Uma regra que pede a alguém para ser mais lento está a competir com a pressão que essa pessoa já tem em cima, e perde muitas vezes. O que a proibição elimina não é a ferramenta. É apenas a visibilidade da organização sobre essa utilização.
O resultado é que a organização assume todo o risco da adoção de IA e não capta quase nenhum dos ganhos cumulativos: exposição máxima, proveito mínimo.
Shallow AI
A segunda falha acontece à vista de todos. São as ferramentas de IA que a organização aprovou.
Cada compra fazia sentido isoladamente. Foram adquiridas ao longo dos anos para equipas diferentes: uma para o apoio ao cliente, outra para a engenharia, uma terceira para a equipa comercial. É isto que o procurement sabe fazer bem: uma ferramenta com orçamento definido para resolver um problema concreto. Cada uma resolve o problema para que foi comprada, e mais nada. É isto que se chama Shallow AI: ferramentas que melhoram uma área funcional sem nunca passarem a fazer parte de um processo.
O problema aparece nas fronteiras entre essas áreas funcionais. O trabalho passa de uma equipa para outra, mas a inteligência não passa com ele. Cada ferramenta vê o seu pedaço do processo e a organização tem de fazer a integração manualmente.
Veja-se o exemplo de um cliente que escreve a relatar um problema. O apoio ao cliente investiga com uma ferramenta e abre um ticket para a engenharia. Tudo o que foi descoberto e não foi registado no ticket fica, na prática, perdido para o resto da organização.
A engenharia recebe o ticket numa segunda ferramenta, a partir do resumo que o apoio ao cliente deixou. Tem o suficiente para prosseguir, mas não tem o contexto completo do que já foi descoberto. O trabalho avança, o conhecimento não. A engenharia pode ter de repetir passos já dados, e perde-se contexto útil entre as equipas.
A correção é publicada e o ticket fecha. Mas a equipa comercial tem uma terceira ferramenta. Vê o ticket abrir e, mais tarde, vê-o fechar. Não vê o que aconteceu pelo meio: o que o apoio descobriu, o que a engenharia investigou, o que foi tentado, nem se o trabalho estava a avançar ou bloqueado. Do ponto de vista da equipa comercial, o sistema mostra apenas dois eventos: aberto e fechado. Para perceber o estado real, tem de ir perguntar diretamente às outras equipas.
Cada ferramenta otimiza a sua parte do processo, mas nenhuma é dona da passagem de conhecimento. A organização tem três sistemas inteligentes e nenhuma compreensão partilhada do processo que os liga, perdendo a capacidade de raciocinar sobre o processo como um todo ou de responder à pergunta: o que está de facto a acontecer ao longo do percurso do cliente?
O resultado é mais do que contexto perdido. Há trabalho repetido. A engenharia pode refazer uma investigação que o apoio ao cliente já tinha feito. A equipa comercial pode andar atrás de informação que já existe noutro sítio. As pessoas tornam-se a camada de integração, transportando contexto de um sistema para outro, resumindo decisões, correndo atrás de estados e conciliando o que cada ferramenta sabe.
É este o verdadeiro custo da Shallow AI. As áreas funcionais ficam mais inteligentes, a organização não. E não é algo que se resolva a comprar. Cada organização executa estes processos à sua maneira: os seus processos de escalamento, critérios, exceções e regras não escritas. Um processo transversal é específico da organização onde é executado. Os fornecedores conseguem vender ferramentas que resolvem problemas comuns a muitas empresas; não conseguem vender a inteligência exata que liga um processo em concreto de ponta a ponta.
O resultado é que a organização paga IA em todas as áreas funcionais e não a constrói em nenhuma: cobertura máxima, profundidade mínima.
A Shadow AI e a Shallow AI são a mesma falha em duas escalas. Na primeira, o que a organização aprende fica preso numa pessoa a usar uma ferramenta que a organização nunca aprovou e não consegue ver. Na segunda, fica preso numa área funcional que a organização vê perfeitamente bem e que continua sem conseguir alcançar. De uma forma ou de outra, nunca se acumula.
E as duas respostas óbvias já não servem. Uma política não funciona, porque a proibição custa à organização a visibilidade de que precisa. Uma compra não funciona, porque ninguém vende o processo de cada organização. O que sobra é o tema da Parte II.
