RAG カタログ
ホーム
🏗️RAGフレームワーク📊評価・最適化⚙️RAGエンジン📄データ準備🗄️ベクトルデータベース🧠エンベディングモデル📚リソース・チュートリアル
検索
データ準備に戻る

Firecrawl

24kスター
📄データ準備

WebサイトをLLM対応Markdownに変換するWebスクレイピングAPI。

タグ

typescriptスクレイピングmarkdownapi

機能

  • JavaScriptレンダリング
  • Markdown変換
  • クローリング
  • APIアクセス

ユースケース

  • Webデータ取り込み
  • コンテンツ抽出
  • サイトインデックス

リンク

ウェブサイトGitHub

ライセンス

AGPL-3.0

関連アイテム

Docling

18k
📄データ準備

PDFやその他のドキュメントを高忠実度で解析するIBMのドキュメント理解ライブラリ。

pythonibmpdfテーブル

Unstructured

10k
📄データ準備

LLM向けの非構造化データの前処理と変換のためのオープンソースライブラリ。

pythonパースetlドキュメント

Chonkie

3k
📄データ準備

RAGアプリケーション向けの高速で軽量なテキストチャンキングライブラリ。

pythonチャンキング高速軽量

RAG カタログ

フレームワークGitHub