Криптонит. Разработка, наука, шифрование
tg2.2 тыс. подписчиков
Открыть пост ↗
Что такое токены в машинном обучении? Рассказываем об этом в новом выпуске нейрословаря!💚
📚Токен — это единица данных, с которой работает модель. Алгоритм токенизатор разбивает входной поток данных на отдельные фрагменты — токены. Каждому такому фрагменту присваивается идентификатор, и дальше модель оперирует уже ими.
В зависимости от модели, токен может быть символом, частью слова, целым словом, фрагментом аудиозаписи или частью изображения.
📌В 1906 году философ Чарльз Сандерс Пирс ввёл понятие token как конкретный экземпляр знака. В ИТ токенизацией называли базовые операции предварительной разбивки данных ещё на заре NLP. Сейчас слово "токен" стало одним из ключевых понятий в машинном обучении.
Чему равен один токен❔
Всё зависит от конкретной модели и её словаря. Типичный токен LLM для английского языка в среднем составляет 4 символа и чаще оказывается меньше одного слова.
Новые токенизаторы зачастую разбивают длинные слова на меньшее количество токенов, чем их предшественники. Речевые модели токенизируют аудиозаписи на короткие фрагменты длительностью в доли секунды. Модели типа Vision Transformer разделяют анализируемое изображение на патчи — фрагменты, которые обрабатываются как токены.
📌Токенизация — первый шаг любого современного конвейера обработки естественного языка. Этот процесс определяет требования к контекстному окну модели, влияет на скорость генерации и стоимость API-запросов.
Многие облачные ИИ-сервисы рассчитывают тарифный план исходя из количества входных и сгенерированных для ответа выходных токенов.
#нейрословарь
📚Токен — это единица данных, с которой работает модель. Алгоритм токенизатор разбивает входной поток данных на отдельные фрагменты — токены. Каждому такому фрагменту присваивается идентификатор, и дальше модель оперирует уже ими.
В зависимости от модели, токен может быть символом, частью слова, целым словом, фрагментом аудиозаписи или частью изображения.
📌В 1906 году философ Чарльз Сандерс Пирс ввёл понятие token как конкретный экземпляр знака. В ИТ токенизацией называли базовые операции предварительной разбивки данных ещё на заре NLP. Сейчас слово "токен" стало одним из ключевых понятий в машинном обучении.
Чему равен один токен❔
Всё зависит от конкретной модели и её словаря. Типичный токен LLM для английского языка в среднем составляет 4 символа и чаще оказывается меньше одного слова.
Новые токенизаторы зачастую разбивают длинные слова на меньшее количество токенов, чем их предшественники. Речевые модели токенизируют аудиозаписи на короткие фрагменты длительностью в доли секунды. Модели типа Vision Transformer разделяют анализируемое изображение на патчи — фрагменты, которые обрабатываются как токены.
📌Токенизация — первый шаг любого современного конвейера обработки естественного языка. Этот процесс определяет требования к контекстному окну модели, влияет на скорость генерации и стоимость API-запросов.
Многие облачные ИИ-сервисы рассчитывают тарифный план исходя из количества входных и сгенерированных для ответа выходных токенов.
#нейрословарь
1 картинка
Новый список