Trình tạo llms.txt
Dán URL, lấy nội dung qua proxy CORS, tạo llms.txt hoặc llms-full.txt
llms.txt là gì?
llms.txt là một tệp văn bản định dạng Markdown đặt tại thư mục gốc của trang web (tương tự robots.txt), được thiết kế dành riêng cho các mô hình ngôn ngữ lớn (LLM) và trình thu thập dữ liệu AI. Nó tổng hợp thông tin cốt lõi và liên kết trang của trang web một cách có cấu trúc và dễ đọc, giúp các hệ thống AI như ChatGPT, Claude, Perplexity nhanh chóng hiểu cấu trúc và mục đích nội dung của trang web.
Tiêu chuẩn này được đề xuất bởi Jeremy Howard của Answer.AI vào năm 2024, nhằm cung cấp một 'hướng dẫn sử dụng trang web' chuẩn hóa cho kỷ nguyên AI.
- Bao gồm tên trang web, mô tả một câu
- Liệt kê tất cả các liên kết và tóm tắt của các trang quan trọng
- Kích thước nhỏ, AI có thể đọc hoàn toàn trong cửa sổ context
- Phù hợp sử dụng hàng ngày cho hầu hết các trang web
- Bao gồm nội dung Markdown đầy đủ của mỗi trang
- AI có thể lấy toàn bộ thông tin mà không cần truy cập trang gốc
- Kích thước lớn, phù hợp cho các trang web có ít nội dung hoặc trang tài liệu
- Phù hợp cho các trường hợp muốn AI hiểu sâu từng chi tiết trang
Có tác dụng gì?
🔍 Nâng cao khả năng hiển thị trên tìm kiếm AI
Khi người dùng đặt câu hỏi trong ChatGPT, Perplexity và các công cụ tìm kiếm AI khác, llms.txt giúp AI hiểu chính xác hơn và trích dẫn nội dung trang web của bạn.
⚡ Giảm chi phí thu thập dữ liệu
Trình thu thập dữ liệu AI không cần phân tích HTML từng trang, đọc trực tiếp Markdown có cấu trúc, giảm tải máy chủ và tăng hiệu quả lập chỉ mục.
📋 Đầu vào nội dung thống nhất
Cung cấp đầu vào nội dung chuẩn hóa cho AI Agent, hệ thống RAG, dễ dàng tích hợp vào các quy trình làm việc AI khác nhau.
Gợi ý sử dụng:Sau khi tạo, tải tệp llms.txt lên thư mục gốc của trang web (ví dụ: https://yoursite.com/llms.txt) và thêm Sitemap: /llms.txt vào robots.txt để tăng khả năng khám phá. Khuyến nghị cập nhật tệp này đồng thời khi nội dung trang web được cập nhật.
