vocab : llama_vocab_add_[be]os -> llama_vocab_get_add_[be]os (#11174)

ggerganov · ggerganov · commit d8ded9fe499a · 2025-01-11T17:43:46.000+02:00
ggml-ci
diff --git a/common/speculative.cpp b/common/speculative.cpp
@@ -94,13 +94,13 @@ bool common_speculative_are_compatible(
         return false;
     }
 
-    if (llama_vocab_add_bos(vocab_tgt) != llama_vocab_add_bos(vocab_dft) ||
-        llama_vocab_add_eos(vocab_tgt) != llama_vocab_add_eos(vocab_dft) ||
+    if (llama_vocab_get_add_bos(vocab_tgt) != llama_vocab_get_add_bos(vocab_dft) ||
+        llama_vocab_get_add_eos(vocab_tgt) != llama_vocab_get_add_eos(vocab_dft) ||
         llama_vocab_bos(vocab_tgt) != llama_vocab_bos(vocab_dft) ||
         llama_vocab_eos(vocab_tgt) != llama_vocab_eos(vocab_dft)) {
         LOG_ERR("%s: draft vocab special tokens must match target vocab to use speculation\n", __func__);
-        LOG_ERR("%s: tgt: bos = %d (%d), eos = %d (%d)\n", __func__, llama_vocab_bos(vocab_tgt), llama_vocab_add_bos(vocab_tgt), llama_vocab_eos(vocab_tgt), llama_vocab_add_eos(vocab_tgt));
-        LOG_ERR("%s: dft: bos = %d (%d), eos = %d (%d)\n", __func__, llama_vocab_bos(vocab_dft), llama_vocab_add_bos(vocab_dft), llama_vocab_eos(vocab_dft), llama_vocab_add_eos(vocab_dft));
+        LOG_ERR("%s: tgt: bos = %d (%d), eos = %d (%d)\n", __func__, llama_vocab_bos(vocab_tgt), llama_vocab_get_add_bos(vocab_tgt), llama_vocab_eos(vocab_tgt), llama_vocab_get_add_eos(vocab_tgt));
+        LOG_ERR("%s: dft: bos = %d (%d), eos = %d (%d)\n", __func__, llama_vocab_bos(vocab_dft), llama_vocab_get_add_bos(vocab_dft), llama_vocab_eos(vocab_dft), llama_vocab_get_add_eos(vocab_dft));
         return false;
     }
 
diff --git a/examples/cvector-generator/cvector-generator.cpp b/examples/cvector-generator/cvector-generator.cpp
@@ -275,7 +275,7 @@ struct tokenized_prompt {
     tokenized_prompt(llama_context * ctx, std::string pos, std::string neg) {
         const llama_model * model = llama_get_model(ctx);
         const llama_vocab * vocab = llama_model_get_vocab(model);
-        const bool add_bos = llama_vocab_add_bos(vocab);
+        const bool add_bos = llama_vocab_get_add_bos(vocab);
         tokens_pos = common_tokenize(ctx, pos, add_bos, true);
         tokens_neg = common_tokenize(ctx, neg, add_bos, true);
         max_seq_len = std::max(tokens_pos.size(), tokens_neg.size());
diff --git a/examples/eval-callback/eval-callback.cpp b/examples/eval-callback/eval-callback.cpp
@@ -130,7 +130,7 @@ static bool run(llama_context * ctx, const common_params & params) {
     const llama_model * model = llama_get_model(ctx);
     const llama_vocab * vocab = llama_model_get_vocab(model);
 
-    const bool add_bos = llama_vocab_add_bos(vocab);
+    const bool add_bos = llama_vocab_get_add_bos(vocab);
 
     std::vector<llama_token> tokens = common_tokenize(ctx, params.prompt, add_bos);
 
diff --git a/examples/imatrix/imatrix.cpp b/examples/imatrix/imatrix.cpp
@@ -431,10 +431,10 @@ static bool compute_imatrix(llama_context * ctx, const common_params & params) {
     const llama_model * model = llama_get_model(ctx);
     const llama_vocab * vocab = llama_model_get_vocab(model);
 
-    const bool add_bos = llama_vocab_add_bos(vocab);
+    const bool add_bos = llama_vocab_get_add_bos(vocab);
     const int n_ctx = llama_n_ctx(ctx);
 
-    GGML_ASSERT(!llama_vocab_add_eos(vocab));
+    GGML_ASSERT(!llama_vocab_get_add_eos(vocab));
 
     auto tim1 = std::chrono::high_resolution_clock::now();
     LOG_INF("%s: tokenizing the input ..\n", __func__);
diff --git a/examples/infill/infill.cpp b/examples/infill/infill.cpp
@@ -154,8 +154,8 @@ int main(int argc, char ** argv) {
         LOG_INF("\n");
         LOG_INF("%s\n", common_params_get_system_info(params).c_str());
     }
-    const bool add_bos = llama_vocab_add_bos(vocab);
-    GGML_ASSERT(!llama_vocab_add_eos(vocab));
+    const bool add_bos = llama_vocab_get_add_bos(vocab);
+    GGML_ASSERT(!llama_vocab_get_add_eos(vocab));
 
     std::vector<llama_token> embd_inp;
     std::vector<llama_token> embd_end;
diff --git a/examples/llama-bench/llama-bench.cpp b/examples/llama-bench/llama-bench.cpp
@@ -1410,7 +1410,7 @@ static void test_prompt(llama_context * ctx, int n_prompt, int n_batch, int n_th
 
     while (n_processed < n_prompt) {
         int n_tokens = std::min(n_prompt - n_processed, n_batch);
-        tokens[0]    = n_processed == 0 && llama_vocab_add_bos(vocab) ? llama_vocab_bos(vocab) : std::rand() % n_vocab;
+        tokens[0]    = n_processed == 0 && llama_vocab_get_add_bos(vocab) ? llama_vocab_bos(vocab) : std::rand() % n_vocab;
         for (int i = 1; i < n_tokens; i++) {
             tokens[i] = std::rand() % n_vocab;
         }
@@ -1428,7 +1428,7 @@ static void test_gen(llama_context * ctx, int n_gen, int n_threads) {
     const llama_vocab * vocab   = llama_model_get_vocab(model);
     const int32_t       n_vocab = llama_vocab_n_vocab(vocab);
 
-    llama_token token = llama_vocab_add_bos(vocab) ? llama_vocab_bos(vocab) : std::rand() % n_vocab;
+    llama_token token = llama_vocab_get_add_bos(vocab) ? llama_vocab_bos(vocab) : std::rand() % n_vocab;
 
     for (int i = 0; i < n_gen; i++) {
         llama_decode(ctx, llama_batch_get_one(&token, 1));
diff --git a/examples/main/main.cpp b/examples/main/main.cpp
@@ -242,9 +242,9 @@ int main(int argc, char ** argv) {
         }
     }
 
-    const bool add_bos = llama_vocab_add_bos(vocab);
+    const bool add_bos = llama_vocab_get_add_bos(vocab);
     if (!llama_model_has_encoder(model)) {
-        GGML_ASSERT(!llama_vocab_add_eos(vocab));
+        GGML_ASSERT(!llama_vocab_get_add_eos(vocab));
     }
 
     LOG_DBG("n_ctx: %d, add_bos: %d\n", n_ctx, add_bos);
diff --git a/examples/perplexity/perplexity.cpp b/examples/perplexity/perplexity.cpp
@@ -299,8 +299,8 @@ static results_perplexity perplexity_v2(llama_context * ctx, const common_params
     const llama_model * model = llama_get_model(ctx);
     const llama_vocab * vocab = llama_model_get_vocab(model);
 
-    const bool add_bos = llama_vocab_add_bos(vocab);
-    GGML_ASSERT(!llama_vocab_add_eos(vocab));
+    const bool add_bos = llama_vocab_get_add_bos(vocab);
+    GGML_ASSERT(!llama_vocab_get_add_eos(vocab));
 
     LOG_INF("%s: tokenizing the input ..\n", __func__);
 
@@ -450,8 +450,8 @@ static results_perplexity perplexity(llama_context * ctx, const common_params &
     const llama_model * model = llama_get_model(ctx);
     const llama_vocab * vocab = llama_model_get_vocab(model);
 
-    const bool add_bos = llama_vocab_add_bos(vocab);
-    GGML_ASSERT(!llama_vocab_add_eos(vocab));
+    const bool add_bos = llama_vocab_get_add_bos(vocab);
+    GGML_ASSERT(!llama_vocab_get_add_eos(vocab));
 
     std::ofstream logits_stream;
     if (!params.logits_file.empty()) {
@@ -1717,8 +1717,8 @@ static void kl_divergence(llama_context * ctx, const common_params & params) {
     const int n_batch = params.n_batch;
     const int num_batches = (n_ctx + n_batch - 1)/n_batch;
     const int nv = 2*((n_vocab + 1)/2) + 4;
-    const bool add_bos = llama_vocab_add_bos(vocab);
-    GGML_ASSERT(!llama_vocab_add_eos(vocab));
+    const bool add_bos = llama_vocab_get_add_bos(vocab);
+    GGML_ASSERT(!llama_vocab_get_add_eos(vocab));
 
     std::vector<uint16_t> log_probs_uint16(size_t(n_ctx - 1 - n_ctx/2) * nv);
     std::vector<float>    kld_values(size_t(n_ctx - 1 - n_ctx/2)*n_chunk);
diff --git a/examples/server/server.cpp b/examples/server/server.cpp
@@ -1698,7 +1698,7 @@ struct server_context {
 
         n_ctx = llama_n_ctx(ctx);
 
-        add_bos_token = llama_vocab_add_bos(vocab);
+        add_bos_token = llama_vocab_get_add_bos(vocab);
         has_eos_token = llama_vocab_eos(vocab) != LLAMA_TOKEN_NULL;
 
         if (!params_base.speculative.model.empty()) {
diff --git a/examples/server/utils.hpp b/examples/server/utils.hpp
@@ -333,7 +333,7 @@ static llama_tokens format_infill(
     auto embd_inp = spm_infill ? tokens_suffix : tokens_prefix;
     auto embd_end = spm_infill ? tokens_prefix : tokens_suffix;
 
-    if (llama_vocab_add_bos(vocab)) {
+    if (llama_vocab_get_add_bos(vocab)) {
         embd_inp.insert(embd_inp.begin(), llama_vocab_bos(vocab));
     }
 
diff --git a/examples/speculative/speculative.cpp b/examples/speculative/speculative.cpp
@@ -106,8 +106,8 @@ int main(int argc, char ** argv) {
     }
 
     if (
-        llama_vocab_add_bos(vocab_tgt) != llama_vocab_add_bos(vocab_dft) ||
-        llama_vocab_add_eos(vocab_tgt) != llama_vocab_add_eos(vocab_dft) ||
+        llama_vocab_get_add_bos(vocab_tgt) != llama_vocab_get_add_bos(vocab_dft) ||
+        llama_vocab_get_add_eos(vocab_tgt) != llama_vocab_get_add_eos(vocab_dft) ||
         llama_vocab_bos(vocab_tgt) != llama_vocab_bos(vocab_dft) ||
         llama_vocab_eos(vocab_tgt) != llama_vocab_eos(vocab_dft)
     ) {
diff --git a/examples/tokenize/tokenize.cpp b/examples/tokenize/tokenize.cpp
@@ -367,7 +367,7 @@ int main(int raw_argc, char ** raw_argv) {
         prompt = stdin_buffer.str();
     }
 
-    const bool model_wants_add_bos = llama_vocab_add_bos(vocab);
+    const bool model_wants_add_bos = llama_vocab_get_add_bos(vocab);
     const bool add_bos = model_wants_add_bos && !no_bos;
     const bool parse_special = !no_parse_special;
     const bool escape = !no_escape;
diff --git a/include/llama.h b/include/llama.h
@@ -942,8 +942,8 @@ extern "C" {
     LLAMA_API llama_token llama_vocab_nl (const struct llama_vocab * vocab); // next-line
     LLAMA_API llama_token llama_vocab_pad(const struct llama_vocab * vocab); // padding
 
-    LLAMA_API bool llama_vocab_add_bos(const struct llama_vocab * vocab);
-    LLAMA_API bool llama_vocab_add_eos(const struct llama_vocab * vocab);
+    LLAMA_API bool llama_vocab_get_add_bos(const struct llama_vocab * vocab);
+    LLAMA_API bool llama_vocab_get_add_eos(const struct llama_vocab * vocab);
 
     LLAMA_API llama_token llama_vocab_fim_pre(const struct llama_vocab * vocab);
     LLAMA_API llama_token llama_vocab_fim_suf(const struct llama_vocab * vocab);
@@ -964,8 +964,8 @@ extern "C" {
     DEPRECATED(LLAMA_API llama_token llama_token_sep(const struct llama_vocab * vocab), "use llama_vocab_sep instead");
     DEPRECATED(LLAMA_API llama_token llama_token_nl (const struct llama_vocab * vocab), "use llama_vocab_nl instead");
     DEPRECATED(LLAMA_API llama_token llama_token_pad(const struct llama_vocab * vocab), "use llama_vocab_pad instead");
-    DEPRECATED(LLAMA_API bool llama_add_bos_token(const struct llama_vocab * vocab), "use llama_vocab_add_bos instead");
-    DEPRECATED(LLAMA_API bool llama_add_eos_token(const struct llama_vocab * vocab), "use llama_vocab_add_eos instead");
+    DEPRECATED(LLAMA_API bool llama_add_bos_token(const struct llama_vocab * vocab), "use llama_vocab_get_add_bos instead");
+    DEPRECATED(LLAMA_API bool llama_add_eos_token(const struct llama_vocab * vocab), "use llama_vocab_get_add_eos instead");
     DEPRECATED(LLAMA_API llama_token llama_token_fim_pre(const struct llama_vocab * vocab), "use llama_vocab_fim_pre instead");
     DEPRECATED(LLAMA_API llama_token llama_token_fim_suf(const struct llama_vocab * vocab), "use llama_vocab_fim_suf instead");
     DEPRECATED(LLAMA_API llama_token llama_token_fim_mid(const struct llama_vocab * vocab), "use llama_vocab_fim_mid instead");
diff --git a/src/llama-vocab.cpp b/src/llama-vocab.cpp
@@ -15,7 +15,6 @@
 #include <map>
 #include <queue>
 #include <set>
-#include <sstream>
 #include <unordered_map>
 
 //
@@ -416,7 +415,7 @@ struct llm_tokenizer_bpe_session {
     }
 
     bool append_bos(std::vector<llama_token> & output) const {
-        if (vocab.add_bos_token()) {
+        if (vocab.add_bos()) {
             GGML_ASSERT(vocab.token_bos() != LLAMA_TOKEN_NULL);
             output.push_back(vocab.token_bos());
             return true;
@@ -425,7 +424,7 @@ struct llm_tokenizer_bpe_session {
     }
 
     bool append_eos(std::vector<llama_token> & output) const {
-        if (vocab.add_eos_token()) {
+        if (vocab.add_eos()) {
             GGML_ASSERT(vocab.token_eos() != LLAMA_TOKEN_NULL);
             output.push_back(vocab.token_eos());
             return true;
@@ -434,13 +433,13 @@ struct llm_tokenizer_bpe_session {
     }
 
     void check_double_bos_eos(const std::vector<llama_token> & output) const {
-        if (vocab.add_bos_token() && output.size() >= 2 && output[1] == vocab.token_bos()) {
+        if (vocab.add_bos() && output.size() >= 2 && output[1] == vocab.token_bos()) {
             LLAMA_LOG_WARN(
                 "%s: Added a BOS token to the prompt as specified by the model but the prompt "
                 "also starts with a BOS token. So now the final prompt starts with 2 BOS tokens. "
                 "Are you sure this is what you want?\n", __FUNCTION__);
         }
-        if (vocab.add_bos_token() && output.size() >= 2 && *(output.end()-2) == vocab.token_eos()) {
+        if (vocab.add_bos() && output.size() >= 2 && *(output.end()-2) == vocab.token_eos()) {
             LLAMA_LOG_WARN(
                 "%s: Added a EOS token to the prompt as specified by the model but the prompt "
                 "also ends with a EOS token. So now the final prompt ends with 2 EOS tokens. "
@@ -1234,6 +1233,7 @@ struct llama_vocab::impl {
     llama_token special_fim_sep_id = LLAMA_TOKEN_NULL; // file separator
 
     // tokenizer flags
+    // TODO: drop tokenizer_ prefix
     bool tokenizer_add_space_prefix           = false;
     bool tokenizer_add_bos                    = false;
     bool tokenizer_add_eos                    = false;
@@ -1745,7 +1745,7 @@ void llama_vocab::impl::load(llama_model_loader & ml, const LLM_KV & kv) {
             }
         }
 
-        // Handle add_bos_token and add_eos_token
+        // Handle add_bos and add_eos
         {
             bool temp = true;
 
@@ -2911,11 +2911,11 @@ bool llama_vocab::add_space_prefix() const {
     return pimpl->tokenizer_add_space_prefix;
 }
 
-bool llama_vocab::add_bos_token() const {
+bool llama_vocab::add_bos() const {
     return pimpl->tokenizer_add_bos;
 }
 
-bool llama_vocab::add_eos_token() const {
+bool llama_vocab::add_eos() const {
     return pimpl->tokenizer_add_eos;
 }
 
@@ -3087,12 +3087,12 @@ llama_token llama_vocab_pad(const struct llama_vocab * vocab) {
     return vocab->token_pad();
 }
 
-bool llama_vocab_add_bos(const struct llama_vocab * vocab) {
-    return vocab->add_bos_token();
+bool llama_vocab_get_add_bos(const struct llama_vocab * vocab) {
+    return vocab->add_bos();
 }
 
-bool llama_vocab_add_eos(const struct llama_vocab * vocab) {
-    return vocab->add_eos_token();
+bool llama_vocab_get_add_eos(const struct llama_vocab * vocab) {
+    return vocab->add_eos();
 }
 
 llama_token llama_vocab_fim_pre(const struct llama_vocab * vocab) {
@@ -3181,12 +3181,12 @@ llama_token llama_token_pad(const struct llama_vocab * vocab) {
 
 // deprecated
 bool llama_add_bos_token(const struct llama_vocab * vocab) {
-    return llama_vocab_add_bos(vocab);
+    return llama_vocab_get_add_bos(vocab);
 }
 
 // deprecated
 bool llama_add_eos_token(const struct llama_vocab * vocab) {
-    return llama_vocab_add_eos(vocab);
+    return llama_vocab_get_add_eos(vocab);
 }
 
 // deprecated
diff --git a/src/llama-vocab.h b/src/llama-vocab.h
@@ -69,9 +69,10 @@ struct llama_vocab {
     llama_token token_fim_rep() const;
     llama_token token_fim_sep() const;
 
+    // TODO: add get_ prefix
     bool add_space_prefix          () const;
-    bool add_bos_token             () const;
-    bool add_eos_token             () const;
+    bool add_bos                   () const;
+    bool add_eos                   () const;
     bool ignore_merges             () const;
     bool clean_spaces              () const;
     bool remove_extra_whitespaces  () const;

Original file line number	Diff line number	Diff line change
`@@ -242,9 +242,9 @@ int main(int argc, char ** argv) {`
`242`	`242`	`}`
`243`	`243`	`}`
`244`	`244`
`245`		`- const bool add_bos = llama_vocab_add_bos(vocab);`
	`245`	`+ const bool add_bos = llama_vocab_get_add_bos(vocab);`
`246`	`246`	`if (!llama_model_has_encoder(model)) {`
`247`		`- GGML_ASSERT(!llama_vocab_add_eos(vocab));`
	`247`	`+ GGML_ASSERT(!llama_vocab_get_add_eos(vocab));`
`248`	`248`	`}`
`249`	`249`
`250`	`250`	`LOG_DBG("n_ctx: %d, add_bos: %d\n", n_ctx, add_bos);`
Original file line number	Diff line number	Diff line change
`@@ -333,7 +333,7 @@ static llama_tokens format_infill(`
`333`	`333`	`auto embd_inp = spm_infill ? tokens_suffix : tokens_prefix;`
`334`	`334`	`auto embd_end = spm_infill ? tokens_prefix : tokens_suffix;`
`335`	`335`
`336`		`- if (llama_vocab_add_bos(vocab)) {`
	`336`	`+ if (llama_vocab_get_add_bos(vocab)) {`
`337`	`337`	`embd_inp.insert(embd_inp.begin(), llama_vocab_bos(vocab));`
`338`	`338`	`}`
`339`	`339`