mirror of
https://github.com/crewAIInc/crewAI.git
synced 2025-12-16 04:18:35 +00:00
124 lines
5.4 KiB
Plaintext
124 lines
5.4 KiB
Plaintext
---
|
|
title: AgentOps 통합
|
|
description: AgentOps를 사용하여 에이전트 성능을 이해하고 로깅하기
|
|
icon: paperclip
|
|
---
|
|
|
|
# 소개
|
|
|
|
Observability는 대화형 AI 에이전트를 개발하고 배포하는 데 있어 핵심적인 요소입니다. 이는 개발자가 에이전트의 성능을 이해하고, 에이전트가 사용자와 어떻게 상호작용하는지, 그리고 에이전트가 외부 도구와 API를 어떻게 사용하는지를 파악할 수 있게 해줍니다.
|
|
AgentOps는 CrewAI와 독립적인 제품으로, 에이전트를 위한 종합적인 observability 솔루션을 제공합니다.
|
|
|
|
## AgentOps
|
|
|
|
[AgentOps](https://agentops.ai/?=crew)은 에이전트에 대한 세션 리플레이, 메트릭, 모니터링을 제공합니다.
|
|
|
|
AgentOps는 높은 수준에서 비용, 토큰 사용량, 대기 시간, 에이전트 실패, 세션 전체 통계 등 다양한 항목을 모니터링할 수 있는 기능을 제공합니다.
|
|
더 자세한 내용은 [AgentOps Repo](https://github.com/AgentOps-AI/agentops)를 확인하세요.
|
|
|
|
### 개요
|
|
|
|
AgentOps는 개발 및 프로덕션 환경에서 에이전트에 대한 모니터링을 제공합니다.
|
|
에이전트 성능, 세션 리플레이, 맞춤형 리포팅을 추적할 수 있는 대시보드를 제공합니다.
|
|
|
|
또한, AgentOps는 Crew 에이전트 상호작용, LLM 호출, 툴 사용을 실시간으로 볼 수 있는 세션 드릴다운 기능을 제공합니다.
|
|
이 기능은 에이전트가 사용자 및 다른 에이전트와 어떻게 상호작용하는지 디버깅하고 이해하는 데 유용합니다.
|
|
|
|
|
|
|
|
|
|
|
|
### 특징
|
|
|
|
- **LLM 비용 관리 및 추적**: 기반 모델 공급자와의 지출을 추적합니다.
|
|
- **재생 분석**: 단계별 에이전트 실행 그래프를 시청할 수 있습니다.
|
|
- **재귀적 사고 감지**: 에이전트가 무한 루프에 빠졌는지 식별합니다.
|
|
- **맞춤형 보고서**: 에이전트 성능에 대한 맞춤형 분석을 생성합니다.
|
|
- **분석 대시보드**: 개발 및 운영 중인 에이전트에 대한 상위 수준 통계를 모니터링합니다.
|
|
- **공개 모델 테스트**: 벤치마크 및 리더보드를 통해 에이전트를 테스트할 수 있습니다.
|
|
- **맞춤형 테스트**: 도메인별 테스트로 에이전트를 실행합니다.
|
|
- **타임 트래블 디버깅**: 체크포인트에서 세션을 재시작합니다.
|
|
- **컴플라이언스 및 보안**: 감사 로그를 생성하고 욕설 및 PII 유출과 같은 잠재적 위협을 감지합니다.
|
|
- **프롬프트 인젝션 감지**: 잠재적 코드 인젝션 및 시크릿 유출을 식별합니다.
|
|
|
|
### AgentOps 사용하기
|
|
|
|
<Steps>
|
|
<Step title="API 키 생성">
|
|
사용자 API 키를 여기서 생성하세요: [API 키 생성](https://app.agentops.ai/account)
|
|
</Step>
|
|
<Step title="환경 설정">
|
|
API 키를 환경 변수에 추가하세요:
|
|
```bash
|
|
AGENTOPS_API_KEY=<YOUR_AGENTOPS_API_KEY>
|
|
```
|
|
</Step>
|
|
<Step title="AgentOps 설치">
|
|
다음 명령어로 AgentOps를 설치하세요:
|
|
```bash
|
|
pip install 'crewai[agentops]'
|
|
```
|
|
또는
|
|
```bash
|
|
pip install agentops
|
|
```
|
|
</Step>
|
|
<Step title="AgentOps 초기화">
|
|
스크립트에서 `Crew`를 사용하기 전에 다음 코드를 포함하세요:
|
|
|
|
```python
|
|
import agentops
|
|
agentops.init()
|
|
```
|
|
|
|
이렇게 하면 AgentOps 세션이 시작되고 Crew 에이전트가 자동으로 추적됩니다. 더 복잡한 agentic 시스템을 구성하는 방법에 대한 자세한 정보는 [AgentOps 문서](https://docs.agentops.ai) 또는 [Discord](https://discord.gg/j4f3KbeH)를 참조하세요.
|
|
</Step>
|
|
</Steps>
|
|
|
|
### Crew + AgentOps 예시
|
|
|
|
<CardGroup cols={3}>
|
|
<Card
|
|
title="Job Posting"
|
|
color="#F3A78B"
|
|
href="https://github.com/joaomdmoura/crewAI-examples/tree/main/job-posting"
|
|
icon="briefcase"
|
|
iconType="solid"
|
|
>
|
|
채용 공고를 생성하는 Crew agent의 예시입니다.
|
|
</Card>
|
|
<Card
|
|
title="Markdown Validator"
|
|
color="#F3A78B"
|
|
href="https://github.com/joaomdmoura/crewAI-examples/tree/main/markdown_validator"
|
|
icon="markdown"
|
|
iconType="solid"
|
|
>
|
|
Markdown 파일을 검증하는 Crew agent의 예시입니다.
|
|
</Card>
|
|
<Card
|
|
title="Instagram Post"
|
|
color="#F3A78B"
|
|
href="https://github.com/joaomdmoura/crewAI-examples/tree/main/instagram_post"
|
|
icon="square-instagram"
|
|
iconType="brands"
|
|
>
|
|
Instagram 게시물을 생성하는 Crew agent의 예시입니다.
|
|
</Card>
|
|
</CardGroup>
|
|
|
|
### 추가 정보
|
|
|
|
시작하려면 [AgentOps 계정](https://agentops.ai/?=crew)을 생성하세요.
|
|
|
|
기능 요청이나 버그 보고가 필요하시면 [AgentOps Repo](https://github.com/AgentOps-AI/agentops)에서 AgentOps 팀에 문의해 주세요.
|
|
|
|
#### 추가 링크
|
|
|
|
<a href="https://twitter.com/agentopsai/">🐦 트위터</a>
|
|
<span> • </span>
|
|
<a href="https://discord.gg/JHPt4C7r">📢 디스코드</a>
|
|
<span> • </span>
|
|
<a href="https://app.agentops.ai/?=crew">🖇️ AgentOps 대시보드</a>
|
|
<span> • </span>
|
|
<a href="https://docs.agentops.ai/introduction">📙 문서화</a> |