在非洲和亚洲之间，有一片叫做阿拉伯的大沙漠，其东边是约旦河与死海，西边是地中海，在靠近地中海东岸处有一片弧形地区，它的形状像一弯新月，这是一块富饶的土地，它的位置相当于今天的巴勒斯坦一带。这片神奇的土地就是犹太人的发祥地，当然，犹太人并不是这里最早的住民，迦南人（实际上就是腓尼基人）也不是，那里最早的居民是胡里特人。公元前3000年操塞姆语的迦南人进入那里，很快就与胡里特人融合，共同建立了迦南，因此古代人称这片土地为“迦南”或“迦南地”。在迦南人发展以青铜文化为特征的农业文明时，犹太人的先祖——希伯来人在其首领亚伯拉罕的带领下来到了这里。
希伯来人于公元前第二千纪后半叶进入迦南，这是一群受古巴比伦文化影响的游牧部落。在公元前2000年的汉谟拉比古巴比伦帝国时代，他们生活在繁华的大都市乌尔，后来，他们沿幼发拉底河北上，然后向西进入迦南。在后来的公元前12～公元前11世纪，有一支海上民族腓力斯丁人进占了这片沃土，并在这里定居下来。古代希腊人称腓力斯丁人的居住地为“巴勒斯坦”，意即“腓力斯丁人的国家”，于是这块地方被改称为巴勒斯坦。
在迦南，如同外来的阿卡德人向他们的老师苏美尔人学习一样，希伯来人利用迦南人的丰富经验，开始从事农业生产活动。在与迦南人的长期冲突中，希伯来人和迦南人逐渐混合杂居，其中以色列部落居住在北方，犹太部落居住在南方。由于迦南是当时的兵家必争之地，弱小的希伯来人处境惨淡，在一场遍及全国的饥荒迫使下，希伯来人在亚伯拉罕的孙子雅各的带领下前往埃及避难，在埃及，雅各的12个儿子在此繁衍扩展成犹太人的12支部落支派，人丁兴旺。
然而好景不长，精明的犹太人愈来愈难与埃及人相处，在埃及法老的残酷镇压下，犹太人在他们的首领摩西的带领下，逃出埃及，在艰难的沙漠之旅中，摩西登上西奈山接受了上帝赐予的十条诫命（即《摩西十诫》，《摩西十诫》被称为人类历史上第二部成文法律，第一部是《汉谟拉比法典》）。“希伯来文明崇高而充满忧伤、坚韧而缺少空间。它从一开始就处于动荡不安的流浪之中，因此把宗教当作了自己的疆土。”大师的话是错不了的。
犹太人在西奈沙漠上流浪了近40年，在摩西的劝说下，犹太人有了回到迦南同迦南人、腓力斯丁人争夺土地的信心。摩西去世后，在约书亚的带领下，犹太人同迦南人经过无数次的战斗，征服了故土，终于回到迦南定居下来，然而他们仍是一盘散沙，往往只是在受到外来威胁时，才在被称为“士师”的领袖的统领下联合起来进行抵抗。在公元前1028年，各个部落通过抽签的方式产生了以色列的第一个国王——扫罗，建立了君主国。
北方十部拥戴的以色列王扫罗在与腓力斯丁人的战斗中捐躯后，南方二部推举的犹太王大卫（公元前1000～公元前960年在位）继续了这一事业。大卫于公元前1000年统一巴勒斯坦，彻底击败腓力斯丁人，进而征服其余的迦南人居住区，定都耶路撒冷，建立起统一的以色列—犹太王国。大卫的儿子所罗门把王国发展成为繁荣的商业强国，并在耶路撒冷兴建了神教圣殿。
大卫、所罗门在位期间，以色列—犹太王国控制着经巴勒斯坦的商路，同埃及、阿拉伯各地都有商业联系，帝国的经济有较大发展。随着经济的发展，国家机构也日臻完备，王国中央实行贵族政治，除国王外，还有长老会议和民众会。大卫时期的官员已有专门分工；为征收赋税，所罗门把帝国划成12个区，派员负责。在国内，犹太人是全权自由民，包括大小奴隶主和贫困的非奴隶主阶层，其次是地位近于奴隶的异族人依附者及奴婢。
荣华没有持续多久，公元前922年，所罗门去世，王国积蓄已久的矛盾爆发出来。由于当时南北方存在着较大的差异，北方的土质肥沃，经济发达，但它们政治地位不高，处于劣势；南方虽然经济落后，但王国的统治者如大卫、所罗门都来自南方，所以他们把赋税多加给北方，从而导致南北矛盾激化，南北双方经常为了争夺霸权而同室操戈。矛盾激化的结果是帝国分裂成两个王国：一个是以色列王国，都城设在撒马利亚；一个是犹太王国，以罗波安为王，都城设在耶路撒冷。罗波安至亚玛谢时期，犹太王国国势衰微，曾一度臣服于以色列。但在乌西亚统治时期，国势强盛，一度成为反亚述联盟首领。
繁荣本来是靠全体成员的协力才能实现的，由于同族间的战争，南北以色列民族的政治和军事实力都迅速衰退。从那以后，外敌入侵就频繁起来。公元前722年，亚述帝国国王萨尔贡二世攻陷了以色列王国首都撒马利亚，俘虏走27000多人，存续了300年的以色列王国，从历史上消失了。由于犹太王国较为富有，套用一句时髦的话“经济基础决定上层建筑”，犹太王国的命运因此稍稍要好一些，谦卑的犹太王国国王以24吨黄金的代价保住了国王的宝座，成为亚述帝国的附庸。此后，希伯来人的王国就只剩下了一个犹太王国，于是，希伯来人也就被称为犹太人。犹太王国断断续续地存续到罗马人统治之初。
然而在这段存续时期，犹太王国也是多灾多难，古埃及、新巴比伦王国、波斯帝国、马其顿帝国、西罗马都曾征服过它。尤其是新巴比伦王国国王尼布甲尼撒二世于公元前597年和公元前586年，两次攻占耶路撒冷。他下令把犹太人中所有的贵族、祭司、商贾、工匠一律作为俘虏，成群结队地押解到巴比伦城，只留下一些极其贫苦的人留在耶路撒冷修理葡萄园和耕种田地。这就是犹太历史上的“巴比伦之囚”。
犹太人被掳到巴比伦之后，昔日的圣城耶路撒冷成为一片废墟，四周的城墙被摧毁，圣殿和王宫被火焚烧，城中所有的金银器皿全都被带到了巴比伦。几十年之后，波斯人居鲁士灭亡了新巴比伦王国，才放犹太人回耶路撒冷重建家园。