llms.txt tidak ditemukan dalam audit AI: apa arti peringatannya?
Periksa URL persis, respons HTTP, dan tujuan audit sebelum menganggap ketiadaan llms.txt sebagai masalah penelusuran AI.
Bayangkan audit AI memberi kartu merah pada situs Anda: “llms.txt tidak ditemukan.” Sebelum menambahkan file untuk menghilangkan peringatan itu, buka temuannya dan identifikasi URL serta pemeriksaan yang menghasilkannya. Indeks opsional yang tidak ada, halaman galat HTML yang dikirim sebagai respons sukses, dan kegagalan server memerlukan keputusan berbeda. Tidak satu pun dari pengamatan itu saja memberi tahu apakah jawaban AI akan mengutip situs Anda.
Cari tahu apa yang diperiksa
Simpan nama dan versi alat, tanggal, peringatan persisnya, serta URL yang diuji. Baca dokumentasi pemeriksaan tersebut. Saat kami memeriksa sumber pada 9 November 2026, dokumentasi llms.txt Lighthouse menyatakan bahwa galat server akan ditandai, sedangkan file yang tidak ada dan mengembalikan 404 diberi status Tidak Berlaku. Dokumentasi itu menyebut file tersebut opsional. Alat lain mungkin hanya melaporkan apakah sebuah file ditemukan. Label merahnya tidak mengubah apa yang benar-benar dikembalikan permintaan itu.
Untuk AI Overviews dan AI Mode Google, Google menyatakan tidak diperlukan file teks AI baru. Itu menjawab pertanyaan tentang kelayakan tampil di Google Penelusuran. Itu tidak membuktikan bagaimana setiap asisten lain menangani sebuah indeks. Pisahkan kriteria audit dari persyaratan platform saat memutuskan apa yang perlu diperbaiki.
Baca respons di balik hasilnya
Buka URL yang persis diperiksa audit. Untuk memeriksa permintaan di Chrome, buka panel Jaringan, muat ulang URL, lalu pilih permintaannya. Lihat metode permintaan, URL akhir setelah pengalihan, status, header, dan isi di bagian “Response”. Permintaan HEAD atau header Content-Type saja tidak menunjukkan apa yang dikembalikan GET.
Misalkan ada situs dokumentasi fiktif, docs.example. /llms.txt mengembalikan 404, tetapi /docs/llms.txt mengembalikan indeks Markdown. Usulan llms.txt saat ini mengizinkan file di akar situs atau subjalur, yang mencakup halaman di bawah jalur tersebut. Audit yang hanya memeriksa file di akar belum memeriksa indeks dokumentasi. Ini perbedaan cakupan, bukan bukti bahwa file harus diduplikasi di akar. Periksa di mana klien yang dituju mencari sebelum mengubah lokasinya.
Sekarang misalkan /llms.txt mengembalikan HTTP 200, tetapi isinya berupa layar HTML “Halaman tidak ditemukan” dengan tampilan merek situs. Pemeriksaan yang hanya melihat status bisa menganggapnya berhasil. Catat hasil sebenarnya: URL mengembalikan halaman galat HTML, bukan indeks Markdown yang dimaksud. Minta pengelola perutean menyelidiki respons tersebut. Jika yang Anda dapatkan justru beranda, halaman masuk, atau pemeriksaan akses, catat hasil itu; header text/html saja tidak dapat membedakannya.
Jika permintaan mengembalikan 500, catat galat server. Itu tidak membuktikan file tersebut tidak ada. Jika yang dikembalikan adalah Markdown yang bisa dibaca, periksa juga isi dan tautannya. Usulan tersebut mensyaratkan judul proyek atau situs, tetapi judul saja tidak menunjukkan apakah indeks menjelaskan situs saat ini atau mengarah ke halaman yang berguna.
Tentukan untuk siapa file itu dibuat
Indeks dokumentasi yang dirawat dapat memberi seseorang atau agen jalan singkat menuju bahan yang relevan. OpenAI menerbitkan indeks untuk dokumentasi pengembangnya. Itu menunjukkan adanya indeks yang diterbitkan. Itu tidak membuktikan adanya persyaratan untuk situs lain, maupun bahwa ChatGPT Search mengambil file mereka.
Jika klien tertentu atau alur kerja dokumentasi akan menggunakan file tersebut, tentukan halaman yang perlu ditemukan. Jaga ringkasannya tetap akurat, ikuti tautannya, dan periksa apakah tujuan tautan masih mutakhir dan dapat dibaca. Sertakan indeks dalam proses pembaruan ketika halaman-halaman itu berpindah. Situs kecil pun bisa memiliki kebutuhan ini.
Jika tujuan Anda hanya agar fitur AI Google menemukan halaman yang sebenarnya sudah berguna, kartu peringatan file hilang belum membuktikan adanya persyaratan baru. Periksa masalah akses dan konten yang nyata dengan panduan dasar konten dan teknis. Menambahkan indeks tidak membuktikan bahwa halaman yang ditautkan dapat diakses atau bahwa klaimnya jelas.
Tuntaskan perbaikan dengan bukti yang dapat diamati
Untuk situs fiktif tadi, misalkan Anda memperbaiki tautan di /docs/llms.txt yang mengarah ke panduan penyiapan yang sudah dihapus. Buka kembali indeks, ikuti tautan yang diperbaiki, dan pastikan panduan yang diharapkan termuat. Jalankan ulang audit awal dengan versi alat yang sama, catat waktu pelaksanaannya, dan pastikan Anda melihat hasil proses yang baru. Jika audit masih hanya memeriksa /llms.txt, hasilnya bisa tetap sama meskipun tautan dokumentasi sudah diperbaiki.
Buat catatan penyelesaian yang tepat: “Indeks dokumentasi menautkan panduan penyiapan saat ini; pemeriksaan file di akar tetap melaporkan hasilnya sendiri.” Permintaan yang tercatat kemudian hanya menunjukkan apa yang ditangkap catatan itu, bukan bahwa model menggunakan kontennya. Kutipan memerlukan jawaban yang benar-benar diamati. Apakah perubahan ini memengaruhi kutipan, kunjungan, atau konversi tetap belum terverifikasi sampai ada bukti untuk hasil tersebut.