# Büyük Dil Modellerinde Tokenlar (Tokens in Large Language Models)

## 🎯 TL;DR
Tokenlar, Büyük Dil Modellerinin (BDM'ler) metni işlemek için kullandığı temel metin birimleridir. Metni kelimelere, alt kelimelere veya karakterlere ayırarak oluşturulurlar. Tokenları anlamak, modellerin bir sonraki kelimeyi tahmin etmesi, API maliyetleri ve modellerin giriş/çıkış için sahip olduğu maksimum limitler açısından kritik öneme sahiptir.

## 📚 Anahtar Kavramlar
- **Tokens** → Tokenlar (BDM'lerin metni işlediği temel metin birimleri)
- **LLMs (Large Language Models)** → BDM'ler (Büyük Dil Modelleri) (Büyük veri kümeleri üzerinde eğitilmiş, insan dilini anlama ve üretme yeteneğine sahip yapay zeka modelleri)
- **Subwords** → Alt kelimeler (Kelime parçacıkları; tokenizasyon sırasında kelimelerin bölündüğü daha küçük birimler)
- **API costs** → API maliyetleri (BDM API'lerini kullanırken token sayısına göre belirlenen ücretler)
- **Token limits** → Token limitleri (BDM'lerin tek bir istekte işleyebileceği maksimum token sayısı)

## 🔍 Detay (Orijinal İngilizce)
Tokens are fundamental units of text that LLMs process, created by breaking text into smaller components such as words, subwords, or characters. Understanding tokens is crucial because models predict the next token in sequences, API costs are based on token count, and models have maximum token limits for input and output.

## 🔗 Daha Detay İstersen
roadmap.sh ekibinin seçtiği kaynaklar:
- 📖 [Tokenları Açıklamak — Yapay Zekanın Dili ve Para Birimi](https://blogs.nvidia.com/blog/ai-tokens-explained/) — NVIDIA blog yazısı, tokenların ne olduğunu ve neden önemli olduğunu açıklıyor.
- 📖 [Model Eğitiminde Tokenları ve Parametreleri Anlamak: Derinlemesine Bir Bakış](https://www.functionize.com/blog/understanding-tokens-and-parameters-in-model-training) — Tokenların ve parametrelerin model eğitimindeki rolünü derinlemesine inceleyen bir makale.