# robots.txt — 7 Rekomendasi Produk # Semua bot pencari dan bot AI/LLM boleh membaca katalog, artikel kurasi, API publik, # sitemap, llms.txt, dan llms-full.txt. Hanya panel admin dan API tulis yang ditutup. # Setiap grup mengulang Allow/Disallow-nya sendiri karena aturan hanya berlaku # untuk blok User-agent di atasnya. # Mesin pencari umum User-agent: * Allow: / Disallow: /admin Disallow: /admin/ Disallow: /api/admin # Google — Googlebot, Gemini, dan AI Overviews User-agent: Googlebot User-agent: Google-Extended User-agent: Google-InspectionTool Allow: / Disallow: /admin Disallow: /admin/ Disallow: /api/admin # Anthropic — Claude User-agent: ClaudeBot User-agent: Claude-Web User-agent: Claude-SearchBot User-agent: anthropic-ai Allow: / Disallow: /admin Disallow: /admin/ Disallow: /api/admin # OpenAI — ChatGPT dan SearchGPT User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: GPTBot Allow: / Disallow: /admin Disallow: /admin/ Disallow: /api/admin # Perplexity AI User-agent: PerplexityBot User-agent: Perplexity-User Allow: / Disallow: /admin Disallow: /admin/ Disallow: /api/admin # Microsoft — Bing dan Copilot User-agent: Bingbot User-agent: bingbot User-agent: msnbot Allow: / Disallow: /admin Disallow: /admin/ Disallow: /api/admin # Meta AI User-agent: meta-externalagent User-agent: meta-externalfetcher User-agent: FacebookBot Allow: / Disallow: /admin Disallow: /admin/ Disallow: /api/admin # Apple Intelligence User-agent: Applebot User-agent: Applebot-Extended Allow: / Disallow: /admin Disallow: /admin/ Disallow: /api/admin # Mesin AI lainnya User-agent: DeepSeekBot User-agent: Bytespider User-agent: YouBot User-agent: DuckAssistBot User-agent: Amazonbot User-agent: Cohere-ai Allow: / Disallow: /admin Disallow: /admin/ Disallow: /api/admin Sitemap: https://tujuhrekomendasi.com/sitemap.xml Sitemap: https://tujuhrekomendasi.com/rss.xml # Ringkasan situs untuk model bahasa (standar llmstxt.org): # https://tujuhrekomendasi.com/llms.txt indeks kategori + seluruh artikel, satu kalimat per artikel # https://tujuhrekomendasi.com/llms-full.txt seluruh isi artikel dan 7 produk per artikel, dalam Markdown # API JSON tanpa HTML untuk agen dengan tool calling: # https://tujuhrekomendasi.com/api/v1/rekomendasi?q={kata+kunci}&kategori={slug}&kode={kode} # https://tujuhrekomendasi.com/api/v1/kode/{kode} # https://tujuhrekomendasi.com/openapi.json Host: tujuhrekomendasi.com Crawl-delay: 1