Nazwa Horeb po raz pierwszy pojawia się w Księdze Wyjścia 3:1, wraz z opowieścią o Mojżeszu i krzaku gorejącym. Według Wj 3:5, ziemia na tej górze była uważana za świętą, a Mojżeszowi Bóg nakazał zdjąć sandały.
Wj 17:6 opisuje zdarzenie, kiedy Izraelici byli na pustyni bez wody. Kiedy Mojżesz był „na skale w Horebie”, uderzył w skałę i uzyskał z niej wodę pitną. Exodus 17:7 mówi dalej, że Mojżesz „nazwał imię tego miejsca Massah i Meribah, z powodu sporu synów Izraela i dlatego, że kusili Pana, mówiąc: 'Czy Pan jest wśród nas, czy nie?'”
Jedyne inne użycie tej nazwy w Księdze Wyjścia jest w Exodus 33:6, gdzie Horeb jest miejscem, gdzie Izraelici zdejmowali swoje ozdoby. Fragment ten (tj. Wj 33,1-6) sugeruje, że Horeb był miejscem, z którego Izraelici wyruszyli w kierunku Kanaanu, gdy wznowili swoją podróż Exodusu.
W Księdze Powtórzonego Prawa, Horeb jest wspomniany kilka razy w opisie wędrówki Izraelitów po pustyni: Pwt 1,2, 1,6 i 1,19. Mojżesz przypomniał w Pwt 1,6, że Bóg powiedział do Izraelitów w Horebie: „Dość długo przebywaliście na tej górze: obróćcie się i wyruszcie w drogę”, potwierdzając, że Horeb był miejscem, z którego wyruszyli w kierunku Kanaanu.
Relacja z dostarczenia Mojżeszowi Dziesięciu Przykazań i odniesienia do niej zawierają wzmianki o Horebie w Pwt 4,10; 4,15; 5,2; 9,8; 18,16 i 28,69. Podobne odniesienia znajdują się w Psalmach 106:19 i Księdze Malachiasza 4:4. Pwt 5:2 stwarza poczucie, że obecne pokolenie, do którego Mojżesz mówił, było obecne na górze Horeb, gdy Mojżesz zstąpił z przykazaniami, chociaż „wszyscy obecni zginęli z wyjątkiem Mojżesza, Jozuego i Kaleba”. naród przetrwał, a ponieważ było to z narodem jako organiczną całością, przymierze zostało zawarte. Może być słusznie powiedziane, że było ono uczynione z tymi, do których Mojżesz zwracał się w tym czasie, ponieważ oni stanowili naród.”
1 Księga Królewska 8:9 i 2 Księga Kronik 5:10 stwierdzają, że Arka Przymierza zawierała tylko tablice dostarczone Mojżeszowi w Horebie. W 1 Krl 19:8 Eliasz odwiedza „Horeb, górę Boga”.
Zgodnie z hipotezą dokumentarną nazwa Synaj jest używana w Torze tylko przez Jahwistę i Źródło Kapłańskie, natomiast Horeb tylko przez Elohistę i Deuteronomistę.
W Nowym Testamencie nie ma żadnych odniesień do Horebu. W Liście do Galacjan 4:24-25 wspomniana jest góra Synaj:”… Jedno przymierze jest z góry Synaj i rodzi dzieci, które mają być niewolnikami: To jest Hagar. Teraz Hagar oznacza górę Synaj w Arabii i odpowiada obecnemu miastu Jerozolimie, ponieważ jest w niewoli wraz ze swoimi dziećmi.” Góra Synaj/Horeb jest nawiązana w Liście do Hebrajczyków 12:18-21.
.