mirror of
https://github.com/crewAIInc/crewAI.git
synced 2026-01-09 16:18:30 +00:00
1a1bb0ca3d
* docs(cli): document device-code login and config reset guidance; renumber sections * docs(cli): fix duplicate numbering (renumber Login/API Keys/Configuration sections) * docs: Fix webhook documentation to include meta dict in all webhook payloads - Add note explaining that meta objects from kickoff requests are included in all webhook payloads - Update webhook examples to show proper payload structure including meta field - Fix webhook examples to match actual API implementation - Apply changes to English, Korean, and Portuguese documentation Resolves the documentation gap where meta dict passing to webhooks was not documented despite being implemented in the API. * WIP: CrewAI docs theme, changelog, GEO, localization * docs(cli): fix merge markers; ensure mode: "wide"; convert ASCII tables to Markdown (en/pt-BR/ko) * docs: add group icons across locales; split Automation/Integrations; update tools overviews and links
87 lines
3.6 KiB
Plaintext
87 lines
3.6 KiB
Plaintext
---
|
||
title: Hyperbrowser Load Tool
|
||
description: O `HyperbrowserLoadTool` permite realizar web scraping e crawling utilizando o Hyperbrowser.
|
||
icon: globe
|
||
mode: "wide"
|
||
---
|
||
|
||
# `HyperbrowserLoadTool`
|
||
|
||
## Descrição
|
||
|
||
O `HyperbrowserLoadTool` permite realizar web scraping e crawling utilizando o [Hyperbrowser](https://hyperbrowser.ai), uma plataforma para executar e escalar browsers headless. Essa ferramenta possibilita extrair dados de uma única página ou rastrear um site inteiro, retornando o conteúdo em markdown ou HTML corretamente formatado.
|
||
|
||
Principais Características:
|
||
- Escalabilidade Instantânea – Inicie centenas de sessões de browser em segundos sem se preocupar com infraestrutura
|
||
- Integração Simples – Funciona perfeitamente com ferramentas populares como Puppeteer e Playwright
|
||
- APIs Poderosas – APIs fáceis de usar para scraping/crawling de qualquer site
|
||
- Supera Medidas Anti-Bot – Inclui modo stealth, bloqueio de anúncios, resolução automática de CAPTCHA e proxies rotativos
|
||
|
||
## Instalação
|
||
|
||
Para utilizar esta ferramenta, você precisa instalar o SDK do Hyperbrowser:
|
||
|
||
```shell
|
||
uv add hyperbrowser
|
||
```
|
||
|
||
## Passos para Começar
|
||
|
||
Para usar efetivamente o `HyperbrowserLoadTool`, siga estes passos:
|
||
|
||
1. **Cadastre-se**: Vá até o [Hyperbrowser](https://app.hyperbrowser.ai/) para criar uma conta e gerar uma chave de API.
|
||
2. **Chave de API**: Defina a variável de ambiente `HYPERBROWSER_API_KEY` ou passe-a diretamente no construtor da ferramenta.
|
||
3. **Instale o SDK**: Instale o SDK do Hyperbrowser usando o comando acima.
|
||
|
||
## Exemplo
|
||
|
||
O exemplo a seguir demonstra como inicializar a ferramenta e utilizá-la para extrair dados de um site:
|
||
|
||
```python Code
|
||
from crewai_tools import HyperbrowserLoadTool
|
||
from crewai import Agent
|
||
|
||
# Initialize the tool with your API key
|
||
tool = HyperbrowserLoadTool(api_key="your_api_key") # Or use environment variable
|
||
|
||
# Define an agent that uses the tool
|
||
@agent
|
||
def web_researcher(self) -> Agent:
|
||
'''
|
||
This agent uses the HyperbrowserLoadTool to scrape websites
|
||
and extract information.
|
||
'''
|
||
return Agent(
|
||
config=self.agents_config["web_researcher"],
|
||
tools=[tool]
|
||
)
|
||
```
|
||
|
||
## Parâmetros
|
||
|
||
O `HyperbrowserLoadTool` aceita os seguintes parâmetros:
|
||
|
||
### Parâmetros do Construtor
|
||
- **api_key**: Opcional. Sua chave de API do Hyperbrowser. Se não fornecida, será lida da variável de ambiente `HYPERBROWSER_API_KEY`.
|
||
|
||
### Parâmetros de Execução
|
||
- **url**: Obrigatório. A URL do site a ser extraído ou rastreado.
|
||
- **operation**: Opcional. A operação a ser realizada no site. Pode ser 'scrape' ou 'crawl'. O padrão é 'scrape'.
|
||
- **params**: Opcional. Parâmetros adicionais para a operação de scraping ou crawling.
|
||
|
||
## Parâmetros Suportados
|
||
|
||
Para informações detalhadas sobre todos os parâmetros suportados, acesse:
|
||
- [Parâmetros de Scrape](https://docs.hyperbrowser.ai/reference/sdks/python/scrape#start-scrape-job-and-wait)
|
||
- [Parâmetros de Crawl](https://docs.hyperbrowser.ai/reference/sdks/python/crawl#start-crawl-job-and-wait)
|
||
|
||
## Formato de Retorno
|
||
|
||
A ferramenta retorna o conteúdo nos seguintes formatos:
|
||
|
||
- Para operações **scrape**: O conteúdo da página no formato markdown ou HTML.
|
||
- Para operações **crawl**: O conteúdo de cada página separado por divisores, incluindo a URL de cada página.
|
||
|
||
## Conclusão
|
||
|
||
O `HyperbrowserLoadTool` oferece uma maneira poderosa de realizar scraping e crawling em sites, lidando com cenários complexos como medidas anti-bot, CAPTCHAs e muito mais. Aproveitando a plataforma do Hyperbrowser, essa ferramenta permite que agentes acessem e extraiam conteúdo da web de forma eficiente. |