Pilot aşamada göz ardı edilebilir görünen model maliyeti, kullanım yayıldığında bütçenin önemli bir kalemine dönüşebilir. Neyse ki maliyetin büyük bölümü mimari kararlarla yönetilebilir.
Maliyeti düşüren mimari kararlar
- Sık tekrarlanan sorular için yanıt önbelleği kullanın
- Basit görevleri küçük ve ucuz modellere yönlendirin
- Bağlam penceresine yalnızca gerçekten gerekli parçaları koyun
- Uzun dokümanları önceden özetleyip saklayın
- Kullanım başına maliyeti kullanıcı bazında ölçün
Bu kararlar birlikte uygulandığında, yanıt kalitesinden ödün vermeden kayda değer tasarruf elde edilebilir.