Bir dil modelinin metni işlediği en küçük birim. Türkçe'de ortalama 1 kelime ≈ 2-3 token'a denk gelir.
Tüm terimler