mirror of
https://github.com/crewAIInc/crewAI.git
synced 2026-09-21 10:26:25 +00:00
9b1f4938f0
* fix(tools): pin SSRF checks to each redirect hop and peer IP validate_url only inspected the original URL string, so scraping fetches could follow a 302 to an internal address or rebind DNS between check and connect. Route safe_get through an HTTPAdapter that re-validates every hop and connects to the authorised sockaddr, and let FORCE_SAFE_PATHS ignore a tenant-supplied escape hatch on managed workers. Co-authored-by: Rip&Tear <theCyberTech@users.noreply.github.com> * Potential fix for pull request finding 'Except block handles 'BaseException'' Co-authored-by: Copilot Autofix powered by AI <223894421+github-code-quality[bot]@users.noreply.github.com> * test(azure): use a plain stand-in for Responses API delegate mocks MagicMock instances are not reliably stored on Pydantic PrivateAttr via BaseLLM.__setattr__, which left _responses_delegate as None and failed last_response_id / reset_chain assertions on CI. Co-authored-by: Rip&Tear <theCyberTech@users.noreply.github.com> --------- Co-authored-by: Cursor Agent <cursoragent@cursor.com> Co-authored-by: Rip&Tear <theCyberTech@users.noreply.github.com> Co-authored-by: Copilot Autofix powered by AI <223894421+github-code-quality[bot]@users.noreply.github.com>
51 lines
2.2 KiB
Plaintext
51 lines
2.2 KiB
Plaintext
---
|
|
title: 웹사이트 스크랩
|
|
description: ScrapeWebsiteTool은 지정된 웹사이트의 내용을 추출하고 읽도록 설계되었습니다.
|
|
icon: magnifying-glass-location
|
|
mode: "wide"
|
|
---
|
|
|
|
# `ScrapeWebsiteTool`
|
|
|
|
<Note>
|
|
저희는 여전히 도구를 개선하고 있으므로, 예기치 않은 동작이나 변경 사항이 발생할 수 있습니다.
|
|
</Note>
|
|
|
|
## 설명
|
|
|
|
지정된 웹사이트의 내용을 추출하고 읽을 수 있도록 설계된 도구입니다. 이 도구는 HTTP 요청을 보내고 수신된 HTML 콘텐츠를 파싱함으로써 다양한 유형의 웹 페이지를 처리할 수 있습니다.
|
|
이 도구는 웹 스크래핑 작업, 데이터 수집 또는 웹사이트에서 특정 정보를 추출하는 데 특히 유용할 수 있습니다.
|
|
|
|
가져오기는 CrewAI의 SSRF 안전 HTTP 헬퍼를 거칩니다. 요청된 URL과 모든 리다이렉트 홉이 사설 및 예약 대역(클라우드 메타데이터 포함)에 대해 검사되며, TCP 연결은 그 검사를 통과한 IP에 고정됩니다.
|
|
|
|
## 설치
|
|
|
|
crewai_tools 패키지를 설치하세요
|
|
|
|
```shell
|
|
pip install 'crewai[tools]'
|
|
```
|
|
|
|
## 예시
|
|
|
|
```python
|
|
from crewai_tools import ScrapeWebsiteTool
|
|
|
|
# 실행 중에 찾은 모든 웹사이트를 스크랩할 수 있도록 활성화
|
|
tool = ScrapeWebsiteTool()
|
|
|
|
# 웹사이트 URL로 도구를 초기화하여,
|
|
# 에이전트가 지정된 웹사이트의 콘텐츠만 스크랩할 수 있도록 합니다
|
|
tool = ScrapeWebsiteTool(website_url='https://www.example.com')
|
|
|
|
# 사이트에서 텍스트 추출
|
|
text = tool.run()
|
|
print(text)
|
|
```
|
|
|
|
## 인자
|
|
|
|
| 인자 | 타입 | 설명 |
|
|
|:---------------|:---------|:--------------------------------------------------------------------------------------------------------------------------------|
|
|
| **website_url** | `string` | **필수** 웹사이트 URL로, 파일을 읽기 위한 주소입니다. 이 값은 도구의 주요 입력값으로, 어떤 웹사이트의 콘텐츠를 수집하고 읽을지 지정합니다. |
|