Bir chatbot yanlış cevap verdiğinde ilk şüphe çoğu zaman kullanılan modele yönelir. Oysa bilgi tabanında eski fiyat, çelişkili süreç veya belirsiz hizmet kapsamı varsa daha güçlü bir model de yanlış kaynağı kullanabilir. Kurumsal chatbot projesinin başlangıcı belgeleri toplamak değil, hangi belgenin doğru kabul edildiğini belirlemektir. Kaynak sahipliği ve güncelleme süreci olmadan bilgi tabanı zamanla güvenilirliğini kaybeder.
Botun hangi soruları cevaplayacağını sınırlayın
Satış öncesi hizmet soruları, çalışan destek talepleri ve müşteri sipariş bilgisi aynı bilgi alanı değildir. Her biri farklı erişim ve doğrulama ihtiyacı taşır. İlk sürümde cevaplanacak konu listesini hazırlayın. Kapsam dışında kalan soruda botun ne yapacağı belli olsun: ilgili sayfaya yönlendirme, ek bilgi isteme veya insan desteğine geçiş. Her soruya cevap vermesi başarı ölçütü olmamalıdır.
Belgeleri geçerlilik ve sahiplik açısından temizleyin
Her belgeye konu, sorumlu kişi, güncelleme tarihi ve geçerli olduğu kapsam ekleyin. Eski sürümleri aktif kaynaklardan ayırın. Aynı hizmet iki belgede farklı anlatılıyorsa modelin karar vermesini beklemeyin; işletme önce doğru bilgiyi netleştirmelidir. Taranmış PDF, tablo ve görsel içindeki metinlerin aktarım kalitesini örneklerle kontrol edin. Dosyanın sisteme yüklenmiş olması içeriğin doğru okunduğunu göstermez.
Örnek olarak teslim süresi bir broşürde sabit, güncel teklif sürecinde projeye bağlı yazıyor olabilir. Botun hangisini seçeceği belirsizdir. Doğru kaynakta kapsam görüşmesinin gerekliliğini açıkça anlatın ve eski broşürü güncelleyin. Bu temizlik chatbot dışında satış ekibinin de daha tutarlı yanıt vermesine yardımcı olur. Bilgi projesi yalnızca teknik bir indeksleme işi değildir.
Bilgiyi tek başına anlaşılabilir bölümlere ayırın
Başlık, konu ve bağlamı belli kısa bölümler hazırlayın. Bir paragraftaki “bu işlem” ifadesi önceki sayfaya bağlıysa tek başına çekildiğinde anlam kaybolabilir. İstisnaları ilgili kuralın yanında tutun. Ürün veya hizmet kimliklerini tutarlı kullanın. Amaç her belgeyi yapay biçimde kısaltmak değil, cevapta kullanılacak bölümün hangi koşul için geçerli olduğunun anlaşılmasıdır.
Aramayı kullanıcının erişimiyle sınırlandırın
Çalışanın göremediği bir belge botun cevabında da görünmemelidir. Erişim kontrolünü cevap oluştuktan sonra metni saklamaya çalışmak yerine kaynak seçiminde ve uygulama katmanında uygulayın. Dış belgelere gömülü talimatların sistem yetkisini değiştirmesine izin vermeyin. Bilgi kaynağı cevap için veridir; kendi başına işlem yapma veya gizli kayıtları açma izni değildir.
- Her aktif belgenin sahibi ve geçerlilik kapsamı var mı?
- Eski veya çelişkili sürümler ayrılmış mı?
- Kaynak bölüm sorudan bağımsız anlaşılabiliyor mu?
- Yetkisiz belge arama sonucuna sızıyor mu?
- Cevap bulunamadığında insan desteği yolu açık mı?
Soru setiyle kaynak ve cevabı ayrı değerlendirin
Bot doğru belgeyi bulamadıysa sorun arama katmanında olabilir; doğru belgeyi bulup yanlış yorumladıysa cevap üretiminde olabilir. İki hatayı ayrı kaydedin. Test sorularında belirsiz, güncel olmayan ve cevaplanmaması gereken örnekler bulunsun. Kaynak bağlantısının gerçekten verilen iddiayı desteklediğini kontrol edin. Bir bağlantı göstermesi, cevabın otomatik olarak doğrulandığı anlamına gelmez.
Güvenilmeyen kaynakların etkisi için OWASP prompt injection rehberi teknik referans sağlar. Kalite ölçümü rehberi ile testi kurabilir, yapay zekâ çalışmalarımızı inceleyebilirsiniz.