Sözlük
Token
İngilizcesi: token
Kısa cevap
Modelin promptu parçaladığı en küçük anlam birimi; prompt uzunluğu sınırını belirler.
Modeller promptu kelime kelime değil, token token okur. Bir token genellikle bir kelimeye veya kelime parçasına karşılık gelir.
Her modelin bir token sınırı vardır; sınırı aşan promptların sonu genellikle sessizce yok sayılır. Bu, çok uzun promptların neden işe yaramadığının teknik açıklamasıdır.
Pratik sonuç: promptun başına en önemli bilgiyi yazın. Sonda kalan ayrıntıların dikkate alınmama olasılığı daha yüksektir.