mirror of
https://github.com/crewAIInc/crewAI.git
synced 2025-12-16 04:18:35 +00:00
120 lines
5.4 KiB
Plaintext
120 lines
5.4 KiB
Plaintext
---
|
|
title: "Visão Geral"
|
|
description: "Monitore, avalie e otimize seus agentes CrewAI com ferramentas de observabilidade abrangentes"
|
|
icon: "face-smile"
|
|
---
|
|
|
|
## Observabilidade para CrewAI
|
|
|
|
A observabilidade é fundamental para entender como seus agentes CrewAI estão desempenhando, identificar gargalos e garantir uma operação confiável em ambientes de produção. Esta seção aborda diversas ferramentas e plataformas que oferecem recursos de monitoramento, avaliação e otimização dos fluxos de trabalho dos seus agentes.
|
|
|
|
## Por que a Observabilidade é Importante
|
|
|
|
- **Monitoramento de Desempenho**: Acompanhe tempos de execução dos agentes, uso de tokens e consumo de recursos
|
|
- **Garantia de Qualidade**: Avalie a qualidade e a consistência das saídas em diferentes cenários
|
|
- **Depuração**: Identifique e resolva problemas no comportamento dos agentes e na execução de tarefas
|
|
- **Gestão de Custos**: Monitore o uso das APIs do LLM e os custos associados
|
|
- **Melhoria Contínua**: Colete insights para otimizar o desempenho dos agentes ao longo do tempo
|
|
|
|
## Ferramentas de Observabilidade Disponíveis
|
|
|
|
### Plataformas de Monitoramento e Rastreamento
|
|
|
|
<CardGroup cols={2}>
|
|
|
|
<Card title="LangDB" icon="database" href="/pt-BR/observability/langdb">
|
|
Rastreamento ponta a ponta para fluxos de trabalho CrewAI com captura automática de interações de agentes.
|
|
</Card>
|
|
|
|
<Card title="OpenLIT" icon="magnifying-glass-chart" href="/pt-BR/observability/openlit">
|
|
Monitoramento nativo OpenTelemetry com rastreamento de custos e análises de desempenho.
|
|
</Card>
|
|
|
|
<Card title="MLflow" icon="bars-staggered" href="/pt-BR/observability/mlflow">
|
|
Gerenciamento do ciclo de vida de machine learning com rastreamento e avaliação.
|
|
</Card>
|
|
|
|
<Card title="Langfuse" icon="link" href="/pt-BR/observability/langfuse">
|
|
Plataforma de engenharia de LLM com rastreamento detalhado e análises.
|
|
</Card>
|
|
|
|
<Card title="Langtrace" icon="chart-line" href="/pt-BR/observability/langtrace">
|
|
Observabilidade open-source para LLMs e frameworks de agentes.
|
|
</Card>
|
|
|
|
<Card title="Arize Phoenix" icon="meteor" href="/pt-BR/observability/arize-phoenix">
|
|
Plataforma de observabilidade de IA para monitoramento e solução de problemas.
|
|
</Card>
|
|
|
|
<Card title="Portkey" icon="key" href="/pt-BR/observability/portkey">
|
|
Gateway de IA com monitoramento abrangente e recursos de confiabilidade.
|
|
</Card>
|
|
|
|
<Card title="Opik" icon="meteor" href="/pt-BR/observability/opik">
|
|
Depure, avalie e monitore aplicações LLM com rastreamento abrangente.
|
|
</Card>
|
|
|
|
<Card title="Weave" icon="network-wired" href="/pt-BR/observability/weave">
|
|
Plataforma Weights & Biases para acompanhamento e avaliação de aplicações de IA.
|
|
</Card>
|
|
</CardGroup>
|
|
|
|
### Avaliação & Garantia de Qualidade
|
|
|
|
<CardGroup cols={2}>
|
|
<Card title="Patronus AI" icon="shield-check" href="/pt-BR/observability/patronus-evaluation">
|
|
Plataforma abrangente de avaliação para saídas de LLM e comportamentos de agentes.
|
|
</Card>
|
|
</CardGroup>
|
|
|
|
## Principais Métricas de Observabilidade
|
|
|
|
### Métricas de Desempenho
|
|
- **Tempo de Execução**: Quanto tempo os agentes levam para concluir as tarefas
|
|
- **Uso de Tokens**: Tokens de entrada/saída consumidos pelas chamadas ao LLM
|
|
- **Latência de API**: Tempo de resposta de serviços externos
|
|
- **Taxa de Sucesso**: Percentual de tarefas concluídas com sucesso
|
|
|
|
### Métricas de Qualidade
|
|
- **Acurácia da Saída**: Correção das respostas dos agentes
|
|
- **Consistência**: Confiabilidade em entradas semelhantes
|
|
- **Relevância**: Quão bem as saídas correspondem aos resultados esperados
|
|
- **Segurança**: Conformidade com políticas de conteúdo e diretrizes
|
|
|
|
### Métricas de Custo
|
|
- **Custos de API**: Gastos decorrentes do uso do provedor LLM
|
|
- **Utilização de Recursos**: Consumo de processamento e memória
|
|
- **Custo por Tarefa**: Eficiência econômica das operações dos agentes
|
|
- **Acompanhamento de Orçamento**: Monitoramento em relação a limites de gastos
|
|
|
|
## Primeiros Passos
|
|
|
|
1. **Escolha suas Ferramentas**: Selecione plataformas de observabilidade que atendam às suas necessidades
|
|
2. **Instrumente seu Código**: Adicione monitoramento às suas aplicações CrewAI
|
|
3. **Configure Dashboards**: Prepare visualizações para as métricas principais
|
|
4. **Defina Alertas**: Crie notificações para eventos importantes
|
|
5. **Estabeleça Bases de Referência**: Meça o desempenho inicial para comparação futura
|
|
6. **Itere e Melhore**: Use os insights para otimizar seus agentes
|
|
|
|
## Boas Práticas
|
|
|
|
### Fase de Desenvolvimento
|
|
- Utilize rastreamento detalhado para entender o comportamento dos agentes
|
|
- Implemente métricas de avaliação desde o início do desenvolvimento
|
|
- Monitore o uso de recursos durante os testes
|
|
- Estabeleça verificações automatizadas de qualidade
|
|
|
|
### Fase de Produção
|
|
- Implemente monitoramento e alertas abrangentes
|
|
- Acompanhe tendências de desempenho ao longo do tempo
|
|
- Monitore anomalias e degradações
|
|
- Mantenha visibilidade e controle dos custos
|
|
|
|
### Melhoria Contínua
|
|
- Revisões regulares de desempenho e otimização
|
|
- Testes A/B de diferentes configurações de agentes
|
|
- Ciclos de feedback para aprimoramento da qualidade
|
|
- Documentação de lições aprendidas
|
|
|
|
Escolha as ferramentas de observabilidade que melhor se encaixam no seu caso de uso, infraestrutura e requisitos de monitoramento para garantir que seus agentes CrewAI operem de forma confiável e eficiente.
|