diff --git a/docs/docs.json b/docs/docs.json index b086300ff..6c83e4867 100644 --- a/docs/docs.json +++ b/docs/docs.json @@ -291,6 +291,7 @@ "en/observability/arize-phoenix", "en/observability/braintrust", "en/observability/datadog", + "en/observability/galileo", "en/observability/langdb", "en/observability/langfuse", "en/observability/langtrace", @@ -742,6 +743,7 @@ "pt-BR/observability/arize-phoenix", "pt-BR/observability/braintrust", "pt-BR/observability/datadog", + "pt-BR/observability/galileo", "pt-BR/observability/langdb", "pt-BR/observability/langfuse", "pt-BR/observability/langtrace", @@ -1203,6 +1205,7 @@ "ko/observability/arize-phoenix", "ko/observability/braintrust", "ko/observability/datadog", + "ko/observability/galileo", "ko/observability/langdb", "ko/observability/langfuse", "ko/observability/langtrace", diff --git a/docs/en/observability/galileo.mdx b/docs/en/observability/galileo.mdx new file mode 100644 index 000000000..241517ed2 --- /dev/null +++ b/docs/en/observability/galileo.mdx @@ -0,0 +1,115 @@ +--- +title: Galileo +description: Galileo integration for CrewAI tracing and evaluation +icon: telescope +mode: "wide" +--- + +## Overview + +This guide demonstrates how to integrate **Galileo** with **CrewAI** +for comprehensive tracing and Evaluation Engineering. +By the end of this guide, you will be able to trace your CrewAI agents, +monitor their performance, and evaluate their behaviour with +Galileo's powerful observability platform. + +> **What is Galileo?** [Galileo](https://galileo.ai) is AI evaluation and observability +platform that delivers end-to-end tracing, evaluation, +and monitoring for AI applications. It enables teams to capture ground truth, +create robust guardrails, and run systematic experiments with +built-in experiment tracking and performance analytics—ensuring reliability, +transparency, and continuous improvement across the AI lifecycle. + +## Getting started + +This tutorial follows the [CrewAI quickstart](/en/quickstart) and shows how to add +Galileo's [CrewAIEventListener](https://v2docs.galileo.ai/sdk-api/python/reference/handlers/crewai/handler), +an event handler. +For more information, see Galileo’s +[Add Galileo to a CrewAI Application](https://v2docs.galileo.ai/how-to-guides/third-party-integrations/add-galileo-to-crewai/add-galileo-to-crewai) +how-to guide. + +> **Note** This tutorial assumes you have completed the [CrewAI quickstart](/en/quickstart). +If you want a completed comprehensive example, see the Galileo +[CrewAI sdk-example repo](https://github.com/rungalileo/sdk-examples/tree/main/python/agent/crew-ai). + +### Step 1: Install dependencies + +Install the required dependencies for your app. +Create a virtual environment using your preferred method, +then install dependencies inside that environment using your +preferred tool: + +```bash +uv add galileo +``` + +### Step 2: Add to the .env file from the [CrewAI quickstart](/en/quickstart) + +```bash +# Your Galileo API key +GALILEO_API_KEY="your-galileo-api-key" + +# Your Galileo project name +GALILEO_PROJECT="your-galileo-project-name" + +# The name of the Log stream you want to use for logging +GALILEO_LOG_STREAM="your-galileo-log-stream " +``` + +### Step 3: Add the Galileo event listener + +To enable logging with Galileo, you need to create an instance of the `CrewAIEventListener`. +Import the Galileo CrewAI handler package by +adding the following code at the top of your main.py file: + +```python +from galileo.handlers.crewai.handler import CrewAIEventListener +``` + +At the start of your run function, create the event listener: + +```python +def run(): + # Create the event listener + CrewAIEventListener() + # The rest of your existing code goes here +``` + +When you create the listener instance, it is automatically +registered with CrewAI. + +### Step 4: Run your crew + +Run your crew with the CrewAI CLI: + +```bash +crewai run +``` + +### Step 5: View the traces in Galileo + +Once your crew has finished, the traces will be flushed and appear in Galileo. + +![Galileo trace view](/images/galileo-trace-veiw.png) + +## Understanding the Galileo Integration + +Galileo integrates with CrewAI by registering an event listener +that captures Crew execution events (e.g., agent actions, tool calls, model responses) +and forwards them to Galileo for observability and evaluation. + +### Understanding the event listener + +Creating a `CrewAIEventListener()` instance is all that’s +required to enable Galileo for a CrewAI run. When instantiated, the listener: + +- Automatically registers itself with CrewAI +- Reads Galileo configuration from environment variables +- Logs all run data to the Galileo project and log stream specified by + `GALILEO_PROJECT` and `GALILEO_LOG_STREAM` + +No additional configuration or code changes are required. +All data from this run is logged to the Galileo project and +log stream specified by your environment configuration +(for example, GALILEO_PROJECT and GALILEO_LOG_STREAM). diff --git a/docs/images/galileo-trace-veiw.png b/docs/images/galileo-trace-veiw.png new file mode 100644 index 000000000..f77209dcd Binary files /dev/null and b/docs/images/galileo-trace-veiw.png differ diff --git a/docs/ko/observability/galileo.mdx b/docs/ko/observability/galileo.mdx new file mode 100644 index 000000000..f82b82574 --- /dev/null +++ b/docs/ko/observability/galileo.mdx @@ -0,0 +1,115 @@ +--- +title: Galileo 갈릴레오 +description: CrewAI 추적 및 평가를 위한 Galileo 통합 +icon: telescope +mode: "wide" +--- + +## 개요 + +이 가이드는 **Galileo**를 **CrewAI**와 통합하는 방법을 보여줍니다. +포괄적인 추적 및 평가 엔지니어링을 위한 것입니다. +이 가이드가 끝나면 CrewAI 에이전트를 추적할 수 있게 됩니다. +성과를 모니터링하고 행동을 평가합니다. +Galileo의 강력한 관측 플랫폼. + +> **갈릴레오(Galileo)란 무엇인가요?**[Galileo](https://galileo.ai/)는 AI 평가 및 관찰 가능성입니다. +엔드투엔드 추적, 평가, +AI 애플리케이션 모니터링. 이를 통해 팀은 실제 사실을 포착할 수 있습니다. +견고한 가드레일을 만들고 체계적인 실험을 실행하세요. +내장된 실험 추적 및 성능 분석으로 신뢰성 보장 +AI 수명주기 전반에 걸쳐 투명성과 지속적인 개선을 제공합니다. + +## 시작하기 + +이 튜토리얼은 [CrewAI 빠른 시작](/ko/quickstart.mdx)을 따르며 추가하는 방법을 보여줍니다. +갈릴레오의 [CrewAIEventListener](https://v2docs.galileo.ai/sdk-api/python/reference/handlers/crewai/handler), +이벤트 핸들러. +자세한 내용은 갈릴레오 문서를 참고하세요. +[CrewAI 애플리케이션에 Galileo 추가](https://v2docs.galileo.ai/how-to-guides/third-party-integrations/add-galileo-to-crewai/add-galileo-to-crewai) +방법 안내. + +> **참고**이 튜토리얼에서는 [CrewAI 빠른 시작](/ko/quickstart.mdx)을 완료했다고 가정합니다. +완전한 포괄적인 예제를 원한다면 Galileo +[CrewAI SDK 예제 저장소](https://github.com/rungalileo/sdk-examples/tree/main/python/agent/crew-ai). + +### 1단계: 종속성 설치 + +앱에 필요한 종속성을 설치합니다. +원하는 방법으로 가상 환경을 생성하고, +그런 다음 다음을 사용하여 해당 환경 내에 종속성을 설치하십시오. +선호하는 도구: + +```bash +uv add galileo +``` + +### 2단계: [CrewAI 빠른 시작](/ko/quickstart.mdx)에서 .env 파일에 추가 + +```bash +# Your Galileo API key +GALILEO_API_KEY="your-galileo-api-key" + +# Your Galileo project name +GALILEO_PROJECT="your-galileo-project-name" + +# The name of the Log stream you want to use for logging +GALILEO_LOG_STREAM="your-galileo-log-stream " +``` + +### 3단계: Galileo 이벤트 리스너 추가 + +Galileo로 로깅을 활성화하려면 `CrewAIEventListener`의 인스턴스를 생성해야 합니다. +다음을 통해 Galileo CrewAI 핸들러 패키지를 가져옵니다. +main.py 파일 상단에 다음 코드를 추가하세요. + +```python +from galileo.handlers.crewai.handler import CrewAIEventListener +``` + +실행 함수 시작 시 이벤트 리스너를 생성합니다. + +```python +def run(): + # Create the event listener + CrewAIEventListener() + # The rest of your existing code goes here +``` + +리스너 인스턴스를 생성하면 자동으로 +CrewAI에 등록되었습니다. + +### 4단계: Crew Agent 실행 + +CrewAI CLI를 사용하여 Crew Agent를 실행하세요. + +```bash +crewai run +``` + +### 5단계: Galileo에서 추적 보기 + +승무원 에이전트가 완료되면 흔적이 플러시되어 Galileo에 나타납니다. + +![Galileo trace view](/images/galileo-trace-veiw.png) + +## 갈릴레오 통합 이해 + +Galileo는 이벤트 리스너를 등록하여 CrewAI와 통합됩니다. +승무원 실행 이벤트(예: 에이전트 작업, 도구 호출, 모델 응답)를 캡처합니다. +관찰 가능성과 평가를 위해 이를 갈릴레오에 전달합니다. + +### 이벤트 리스너 이해 + +`CrewAIEventListener()` 인스턴스를 생성하는 것이 전부입니다. +CrewAI 실행을 위해 Galileo를 활성화하는 데 필요합니다. 인스턴스화되면 리스너는 다음을 수행합니다. + +-CrewAI에 자동으로 등록됩니다. +-환경 변수에서 Galileo 구성을 읽습니다. +-모든 실행 데이터를 Galileo 프로젝트 및 다음에서 지정한 로그 스트림에 기록합니다. + `GALILEO_PROJECT` 및 `GALILEO_LOG_STREAM` + +추가 구성이나 코드 변경이 필요하지 않습니다. +이 실행의 모든 데이터는 Galileo 프로젝트에 기록되며 +환경 구성에 따라 지정된 로그 스트림 +(예: GALILEO_PROJECT 및 GALILEO_LOG_STREAM) diff --git a/docs/pt-BR/observability/galileo.mdx b/docs/pt-BR/observability/galileo.mdx new file mode 100644 index 000000000..4296e35fb --- /dev/null +++ b/docs/pt-BR/observability/galileo.mdx @@ -0,0 +1,115 @@ +--- +title: Galileo Galileu +description: Integração Galileo para rastreamento e avaliação CrewAI +icon: telescope +mode: "wide" +--- + +## Visão geral + +Este guia demonstra como integrar o **Galileo**com o **CrewAI** +para rastreamento abrangente e engenharia de avaliação. +Ao final deste guia, você será capaz de rastrear seus agentes CrewAI, +monitorar seu desempenho e avaliar seu comportamento com +A poderosa plataforma de observabilidade do Galileo. + +> **O que é Galileo?**[Galileo](https://galileo.ai/) é avaliação e observabilidade de IA +plataforma que oferece rastreamento, avaliação e +e monitoramento de aplicações de IA. Ele permite que as equipes capturem a verdade, +criar grades de proteção robustas e realizar experimentos sistemáticos com +rastreamento de experimentos integrado e análise de desempenho -garantindo confiabilidade, +transparência e melhoria contínua em todo o ciclo de vida da IA. + +## Primeiros passos + +Este tutorial segue o [CrewAI Quickstart](pt-BR/quickstart) e mostra como adicionar +[CrewAIEventListener] do Galileo(https://v2docs.galileo.ai/sdk-api/python/reference/handlers/crewai/handler), +um manipulador de eventos. +Para mais informações, consulte Galileu +[Adicionar Galileo a um aplicativo CrewAI](https://v2docs.galileo.ai/how-to-guides/third-party-integrations/add-galileo-to-crewai/add-galileo-to-crewai) +guia prático. + +> **Observação**Este tutorial pressupõe que você concluiu o [CrewAI Quickstart](pt-BR/quickstart). +Se você quiser um exemplo completo e abrangente, consulte o Galileo +[Repositório de exemplo SDK da CrewAI](https://github.com/rungalileo/sdk-examples/tree/main/python/agent/crew-ai). + +### Etapa 1: instalar dependências + +Instale as dependências necessárias para seu aplicativo. +Crie um ambiente virtual usando seu método preferido, +em seguida, instale dependências dentro desse ambiente usando seu +ferramenta preferida: + +```bash +uv add galileo +``` + +### Etapa 2: adicione ao arquivo .env do [CrewAI Quickstart](/pt-BR/quickstart) + +```bash +# Your Galileo API key +GALILEO_API_KEY="your-galileo-api-key" + +# Your Galileo project name +GALILEO_PROJECT="your-galileo-project-name" + +# The name of the Log stream you want to use for logging +GALILEO_LOG_STREAM="your-galileo-log-stream " +``` + +### Etapa 3: adicionar o ouvinte de eventos Galileo + +Para habilitar o registro com Galileo, você precisa criar uma instância do `CrewAIEventListener`. +Importe o pacote manipulador Galileo CrewAI por +adicionando o seguinte código no topo do seu arquivo main.py: + +```python +from galileo.handlers.crewai.handler import CrewAIEventListener +``` + +No início da sua função run, crie o ouvinte de evento: + +```python +def run(): + # Create the event listener + CrewAIEventListener() + # The rest of your existing code goes here +``` + +Quando você cria a instância do listener, ela é automaticamente +registrado na CrewAI. + +### Etapa 4: administre sua Crew + +Administre sua Crew com o CrewAI CLI: + +```bash +crewai run +``` + +### Passo 5: Visualize os traços no Galileo + +Assim que sua tripulação terminar, os rastros serão eliminados e aparecerão no Galileo. + +![Galileo trace view](/images/galileo-trace-veiw.png) + +## Compreendendo a integração do Galileo + +Galileo se integra ao CrewAI registrando um ouvinte de evento +que captura eventos de execução da tripulação (por exemplo, ações do agente, chamadas de ferramentas, respostas do modelo) +e os encaminha ao Galileo para observabilidade e avaliação. + +### Compreendendo o ouvinte de eventos + +Criar uma instância `CrewAIEventListener()` é tudo o que você precisa +necessário para habilitar o Galileo para uma execução do CrewAI. Quando instanciado, o ouvinte: + +-Registra-se automaticamente no CrewAI +-Lê a configuração do Galileo a partir de variáveis de ambiente +-Registra todos os dados de execução no projeto Galileo e fluxo de log especificado por + `GALILEO_PROJECT` e `GALILEO_LOG_STREAM` + +Nenhuma configuração adicional ou alterações de código são necessárias. +Todos os dados desta execução são registados no projecto Galileo e +fluxo de log especificado pela configuração do seu ambiente +(por exemplo, GALILEO_PROJECT e GALILEO_LOG_STREAM).