Navnet Horeb optræder første gang i 2. Mosebog 3:1, med historien om Moses og den brændende busk. Ifølge 2. Mosebog 3:5 blev bjergets jord betragtet som hellig, og Moses blev af Gud beordret til at tage sine sandaler af.
2. Mosebog 17:6 beskriver den hændelse, hvor israelitterne befandt sig i ørkenen uden vand. Da Moses var “på klippen ved Horeb”, slår han på klippen og får drikkevand fra klippen. I 2 Mosebog 17:7 står der videre, at Moses “kaldte stedets navn for Massa og Meriba på grund af israelitternes stridigheder, og fordi de fristede Herren og sagde: ‘Er Herren iblandt os eller ej?'”
Den eneste anden brug af navnet i 2 Mosebog er i 2 Mosebog 33:6, hvor Horeb er det sted, hvor israelitterne afklædte sig deres smykker. Denne passage (dvs. 2. Mosebog 33:1-6) antyder, at Horeb var det sted, hvorfra israelitterne drog af sted mod Kanaan, da de genoptog deres udvandringsrejse.
I Femte Mosebog nævnes Horeb flere gange i beretningen om israelitternes vandring i ørkenen: Femte Mosebog 1:2, 1:6 og 1:19. Moses mindede i Femte Mosebog 1:6 om, at Gud havde sagt til israelitterne ved Horeb: “I har boet længe nok på dette bjerg; vend om og begiv jer af sted”, hvilket bekræftede, at Horeb var det sted, hvorfra de drog af sted mod Kana’an.
Regnskabet om overrækkelsen af de ti bud til Moses og henvisninger tilbage hertil omfatter omtaler af Horeb i Femte Mosebog 4:10, 4:15, 5:2,9:8, 18:16 og 28:69. Der er lignende henvisninger i Salmerne 106:19 og Malakias 4:4. 5 Mosebog 5,2 skaber en fornemmelse af, at den nuværende generation, som Moses talte til, havde været til stede på Horeb-bjerget, da Moses steg ned med budene, selv om “de enkeltpersoner, der var til stede, alle var omkommet med undtagelse af Moses, Josva og Kaleb. nationen overlevede, og da det var med nationen som en organisk helhed, at pagten var blevet indgået. Man kunne med rette sige, at den blev indgået med dem, som Moses henvendte sig til på dette tidspunkt, for så vidt som de udgjorde nationen.”
1 Kongebog 8:9 og 2 Krønikebog 5:10 angiver, at Pagtens Ark kun indeholdt de tavler, der blev overdraget til Moses på Horeb. I 1 Kong 19:8 besøger Elias “Horeb, Guds bjerg”.
I henhold til den dokumentariske hypotese bruges navnet Sinai i Toraen kun af Jahwist og Præstekilden, mens Horeb kun bruges af Elohist og Deuteronomist.
Der findes ingen henvisninger til Horeb i Det Nye Testamente. I Galaterbrevet 4:24-25 nævnes Sinaibjerget: “… En pagt er fra Sinaibjerget og føder børn, som skal være slaver: Det er Hagar. Nu står Hagar for Sinaibjerget i Arabien og svarer til den nuværende by Jerusalem, fordi hun er i slaveri med sine børn.” Sinaibjerget/Horeb er omtalt i Hebræerbrevet 12:18-21.