場景集
語音 AI 下一個：MCP 工具
場景 2 · 網站爬蟲 → 知識庫

把整個官網變成 AI 助理的記憶

貼上一個 URL，MaiAgent 自動爬取、解析、向量化所有頁面。內建 JS 渲染處理 SPA 網站，遵守 robots.txt 與自動限速。

建立頁面爬取請求
從網站匯入知識
輸入起始 URL，MaiAgent 會自動爬取整個網站，並可導入到知識庫。
URL *
https://docs.maiagent.ai
自動處理 sitemap、robots.txt，依網站規模需數分鐘到數十分鐘
頁面列表
URL
狀態
頁數
建立時間
操作
https://docs.maiagent.ai
✓ 完成
47
剛剛
https://maiagent.ai/blog
處理中
24/?
2 分鐘前
—
https://maiagent.ai/legal
✓ 完成
8
5 分鐘前
https://maiagent.ai/case-studies
處理中
32/50
8 分鐘前
—
https://example.com/login-required
✕ 已取消
—
10 分鐘前
顯示 5 筆 · 共 12 筆
每頁 10
頁面列表
導入至知識庫 *
產品文件知識庫
搜尋頁面標題或 URL...
已選 4 / 47
✓
標題
URL
✓
快速開始
/docs/quickstart
✓
建立 AI 助理
/docs/agent/create
✓
知識庫管理
/docs/knowledge-base
✓
通路設定 · LINE / Web Chat
/docs/channels
匯入時若已有相同 URL，會重新爬取以確保最新內容
核心流程
1
爬取
輸入起始 URL、設定深度與頁數，內建 JS 渲染處理單頁應用網站。
2
檢視
即時看見每筆任務的進度與狀態，失敗自動標註原因。
3
導入
勾選需要的頁面，一鍵導入既有知識庫，自動向量化、加上引用來源。