Avaliar um projeto-piloto de automação

Comece pela decisão que o projeto-piloto deve fundamentar

Um projeto-piloto deve esclarecer uma dúvida concreta. O sistema consegue preparar um registo útil a partir dos documentos recebidos? A integração reduz a introdução repetida de dados sem deixar divergências por resolver? Um agente consegue investigar um pedido dentro dos limites de acesso e operação acordados?

Identifique o responsável pelo processo, defina o início e o fim do teste e descreva o resultado que essa pessoa aceitaria. Registe os sistemas, utilizadores e tipos de informação incluídos. Assim, o âmbito e a conclusão ficam claros.

Acorde o que justifica avançar, o que exige alterações e o que leva a interromper o trabalho. Um projeto-piloto pode demonstrar a utilidade de uma aplicação limitada, mesmo quando a ideia inicial mais abrangente precisa de revisão.

Recolha dados de referência sobre o trabalho atual

Observe o processo atual com uma amostra e um período definidos. Registe o trabalho de preparação, verificação, correção e conclusão de cada assunto. Inclua o tempo de espera quando este afeta os requisitos do negócio.

Compare grupos equivalentes. A extensão dos documentos, a complexidade dos pedidos, a informação em falta, a experiência dos utilizadores e o volume de trabalho podem alterar o resultado. Um teste com exemplos escolhidos não constitui prova para todos os casos que a empresa recebe.

Sempre que possível, avalie soluções alternativas nos mesmos casos representativos. Mantenha a informação sensível dentro das regras de acesso e conservação acordadas. Registe as exclusões para que uma conclusão mais favorável não esconda um âmbito mais restrito.

Meça o trabalho aceite e o esforço necessário para o obter

Contar tarefas concluídas pode esconder a verificação e a recuperação que se seguem. Defina um conjunto reduzido de medidas que o responsável pelo processo consiga analisar, com critérios consistentes sobre o que cada uma inclui.

Resultados aceites

Quantos dos casos elegíveis cumprem os critérios de qualidade acordados sem correções adicionais? Defina o total considerado e os casos excluídos.

Intervenção humana

Tempo gasto a preparar, rever, corrigir e recuperar cada caso concluído. Separe estas atividades quando a diferença for relevante para a decisão.

Tempo total

Tempo entre o acontecimento inicial acordado e a conclusão, incluindo a espera por informação ou aprovação.

Exceções

Os motivos das interrupções, a pessoa responsável, o tempo até à resolução e a repetição do problema.

Custo de operação

Utilização dos modelos e ferramentas, alojamento, custos de integração, monitorização, suporte e pessoas necessárias para manter o processo a funcionar.

Compare o custo de um resultado utilizável

Um preço baixo por chamada ao modelo não garante um custo baixo por tarefa concluída. Um caso pode exigir várias chamadas, ferramentas externas, revisão humana ou investigação repetida. Outro pode ser resolvido pelas regras da aplicação sem recorrer a um modelo.

Estime o custo a partir do fluxo observado. Registe a utilização dos modelos e os custos das ferramentas, juntamente com as atividades operacionais e humanas incluídas na comparação. O esforço de engenharia e manutenção tem um custo, mesmo quando não aparece na fatura de tokens.

Use o resultado aceite como uma das unidades de comparação, mantendo as medidas de qualidade e de exceções ao lado. Um único valor agregado pode esconder um erro inaceitável ou uma dependência operacional por resolver.

Use os resultados para definir a próxima fase

Analise os resultados com os responsáveis pelo processo e pela implementação. Explique onde o sistema funcionou, onde precisou de intervenção e quais as condições que não foram testadas. Inclua as falhas e as correções nesse registo.

A decisão seguinte pode ser uma entrada em operação limitada, uma alteração ao fluxo, outra solução técnica ou a interrupção do trabalho. Defina as necessidades de acesso, monitorização, suporte e formação antes de tratar o projeto-piloto como um serviço em operação.

Uma passagem para operação útil inclui o material de avaliação, os critérios de aceitação acordados e as responsabilidades pela monitorização e pelas alterações. Mudanças futuras nos dados, modelos ou sistemas ligados devem passar pela verificação adequada.