Très probablement lié à l'hébreu כֶּלֶב (kelev) qui signifie « chien ». Une théorie alternative relie à l'hébreu כָּל (kal) qui signifie « tout, tout » et לֵב (lev) qui signifie « cœur ». Dans l'Ancien Testament c'est le nom de l'un des douze espions envoyés par Moïse en Canaan. Parmi les Israélites qui ont quitté l'Egypte avec Moïse, Josué et Caleb étaient les seuls qui vivaient pour voir la Terre Promise.
Comme un nom anglais, Caleb est entré en usage après la Réforme protestante. Il était courant parmi les puritains, qui l'a introduit en Amérique au 17ème siècle.