mirror of
https://github.com/crewAIInc/crewAI.git
synced 2026-04-09 20:42:35 +00:00
48 lines
2.9 KiB
Plaintext
48 lines
2.9 KiB
Plaintext
---
|
|
title: زحف المواقع باستخدام Firecrawl
|
|
description: أداة `FirecrawlCrawlWebsiteTool` مصممة لزحف المواقع وتحويلها إلى markdown نظيف أو بيانات منظمة.
|
|
icon: fire-flame
|
|
mode: "wide"
|
|
---
|
|
|
|
# `FirecrawlCrawlWebsiteTool`
|
|
|
|
## الوصف
|
|
|
|
[Firecrawl](https://firecrawl.dev) هي منصة لزحف وتحويل أي موقع إلى markdown نظيف أو بيانات منظمة.
|
|
|
|
## التثبيت
|
|
|
|
- احصل على مفتاح API من [firecrawl.dev](https://firecrawl.dev) وعيّنه في متغيرات البيئة (`FIRECRAWL_API_KEY`).
|
|
- ثبّت [Firecrawl SDK](https://github.com/mendableai/firecrawl) مع حزمة `crewai[tools]`:
|
|
|
|
```shell
|
|
pip install firecrawl-py 'crewai[tools]'
|
|
```
|
|
|
|
## مثال
|
|
|
|
استخدم FirecrawlScrapeFromWebsiteTool كما يلي للسماح لوكيلك بتحميل المواقع:
|
|
|
|
```python Code
|
|
from crewai_tools import FirecrawlCrawlWebsiteTool
|
|
|
|
tool = FirecrawlCrawlWebsiteTool(url='firecrawl.dev')
|
|
```
|
|
|
|
## المعاملات
|
|
|
|
- `api_key`: اختياري. يحدد مفتاح Firecrawl API. الافتراضي هو متغير البيئة `FIRECRAWL_API_KEY`.
|
|
- `url`: عنوان URL الأساسي لبدء الزحف منه.
|
|
- `page_options`: اختياري.
|
|
- `onlyMainContent`: اختياري. إرجاع المحتوى الرئيسي فقط للصفحة باستثناء الرؤوس وأشرطة التنقل والتذييلات وغيرها.
|
|
- `includeHtml`: اختياري. تضمين محتوى HTML الخام للصفحة. سيُخرج مفتاح html في الاستجابة.
|
|
- `crawler_options`: اختياري. خيارات للتحكم في سلوك الزحف.
|
|
- `includes`: اختياري. أنماط URL لتضمينها في الزحف.
|
|
- `exclude`: اختياري. أنماط URL لاستبعادها من الزحف.
|
|
- `generateImgAltText`: اختياري. توليد نص بديل للصور باستخدام LLMs (يتطلب خطة مدفوعة).
|
|
- `returnOnlyUrls`: اختياري. إذا كان true، يُرجع عناوين URL فقط كقائمة في حالة الزحف. ملاحظة: ستكون الاستجابة قائمة عناوين URL داخل البيانات، وليست قائمة مستندات.
|
|
- `maxDepth`: اختياري. الحد الأقصى لعمق الزحف. العمق 1 هو عنوان URL الأساسي، والعمق 2 يشمل عنوان URL الأساسي وأبنائه المباشرين، وهكذا.
|
|
- `mode`: اختياري. وضع الزحف المستخدم. الوضع السريع يزحف أسرع 4 مرات على المواقع بدون خريطة موقع ولكنه قد لا يكون دقيقاً ولا يجب استخدامه على المواقع التي تعتمد بشكل كبير على JavaScript.
|
|
- `limit`: اختياري. الحد الأقصى لعدد الصفحات للزحف.
|
|
- `timeout`: اختياري. المهلة بالملي ثانية لعملية الزحف. |