1. “安息日”给拉宾带来厄运
拉宾对佩雷斯一伙人的表演本来不当回事，他总相信事实最能说明问题，自己上任以来的政绩明摆着。趁着阿以和谈的停滞和阿拉伯世界内部的动乱及美国总统的换届选举等时机，拉宾大大地充实了以色列武器库，实力增强一倍。飞机数量增加30%，坦克增加50%，自行火炮增加了100%以上，装甲运兵车增加700%，但是，事情往往出人意料，殊不知从美国飞来的几架飞机却引起一场风暴，他付出了极高的代价。
1976年12月的一个星期五的黄昏，拉宾和内阁的几位部长前往一个空军基地，迎接从美国飞来的F—15型战斗轰炸机。星期六是犹太教徒的安息日，而安息日是从星期五傍晚日落时算起，直到星期六晚天空中出现第一颗星星止。在这段时间内，犹太教教规规定，人们不得进行非宗教活动以及以车代步。所有人不得例外。所有虔诚的教徒穿着黑色或灰白色的束腰长袍，头戴宽边的黑天鹅绒帽或白色小圆帽，跟着几十位拉比在社区狭窄的街道上呼号前进，其颂赞上帝的声音在曲折的小巷里久久地回荡着。为防止车辆行驶，一些宗教狂徒用铁链把大街小巷都封锁起来，一些好斗的信徒则手持石块守在路口，准备砸来往的车辆。如果谁破坏了这一规定，下至民意上至法律，都将予以反对甚至惩罚。拉宾他们参加欢迎仪式的时间并不长，但太阳很快下山了，他和部长们在天黑后才驱车回家，这就捅了大漏子。之所以要举行欢迎仪式，是因为总参坚持，也因为是拉宾从美国总统福特手里搞到的第一批F—15型飞机，这种飞机美国连“石油龙头”沙特阿拉伯都不肯给，却优先给了以色列，也需要这么个仪式表示感激。之所以选在星期五黄昏，这完全是由美国人定的，他们并不太了解犹太教的法规，只是尽量去方便自己的飞行员。这样，却弄得拉宾下不了台。
议会为此召开紧急会议，一些极端宗教派“以色列正教党”分子以这个欢迎仪式是拉宾政府故意违反安息日教规为由，对内阁提出了不信任案，尽管拉宾作了详细解释，议会最后还是对不信任案进行了投票表决。表决前，拉宾自信联合政府会挫败这一议案，因为工党联盟及入阁的小伙伴有超过半数票的优势。但他万万没有想到，内阁中两名全国宗教党的部长无视组阁协议投了弃权票。这样，支持政府的票就少两张，反对政府的就正好多出一张。形势于是发生了戏剧性的逆转，正教党的不信任案以超半数的票通过了。当可怕的唱票结束后，反政府议员们跳起来欢呼他们的胜利，议院如开了锅似地沸腾了。拉宾一下子被击懵了，他不明白怎么了，记者们七嘴八舌的提问他一句也没有听进去。
拉宾脑袋里乱成一团，他不相信是真的，自己就像玩戏一样地下了台。现在他除了命令两个突然倒戈的全国宗教党的部长立即辞职以及自己向总统递交辞呈外，一点办法都没有了。要离开议院时，他忽地站起来，高声宣布立即解散议会，并在次年5月举行大选。此言一出，刚才还在狂欢的反对党议员立即乱作一团，纷纷咆哮起来，一个个气歪了脸，大骂拉宾利用职权搞阴谋，妄图用提前选举的办法重新夺回总理宝座。
当拉宾离开议院时，他已不是总理了，仅仅是个看守政府的首脑而已。但他对重新上台充满信心，他认为自己的政绩会让公民给他一个公正的评价。
然而，自工党政府统治以色列29年以来，公众变得越来越不满了，主要的原因是人们认为自己在经济上没有得到与辛勤劳动相符合的收入。工党政府中一批腐败官员私吞了他们的成果。而实际上许多基布兹的平等社会主义分子的子弟成为“资本家、技术专家或军队领导者，他们带着右派观点，虚情假意地应付着劳工运动”。工党统治集团大约包括了250个显赫家族。随着“六天战争”结束，大量外援涌入，以色列开始出现了一批蛀虫，社会中形成了一个“黑色经济”现象。人们在相差无几的收入和稳定的物价生活中，忽然看到一批人过得奢华或有了小汽车而感到很气愤，大家会心照不宣地得出结论：看，这家伙准在哪儿捞了一笔黑钱。以色列的第一批百万富翁是在承包“巴列夫防线”工程中出现的。人们工资收入不高，物价上涨，各种税收繁多，已苦不堪言。子女入学有的已交不起学费等。被鼓动起来的对工党不信任情绪，一时达到了高潮，以拉宾为首的工党政府，受到了连珠炮似的袭击，丑闻一件接一件被抖了出来。
新闻界揭出第一件丑闻是：政府存放在不列颠—以色列银行中的一笔巨款不翼而飞了，嫌疑犯是以方总裁米切尔·佐尔，他与工党政府高级官员交往密切。
第二件丑闻是：以色列工总“患者基金会”负责人阿谢尔·亚德林因涉嫌贪污而被拘留，拘留前拉宾刚刚任命他为以色列中央银行行长。经查，他的贪污竟是为了资助工党。
第三件丑闻是：现任住房部长阿夫拉罕·奥佛尔在担任以色列工总的“希昆奥伏丁”房产公司经理期间曾有数额惊人的贪污行为。作为部长，他被新闻界反复渲染，加上检查机关的反复折腾使他心理承受能力快到了极限。最后，他在自己办公室自杀了。但查出的结果是他毫无贪污行为，完全是新闻界的捕风捉影，有意而为。但人死了，没有人表示歉意。
其实，新闻界与拉宾及其内阁的仇恨已久。早在1975年，专栏作家马蒂·戈兰写了一本关于基辛格中东外事活动的书，把基辛格写成一个两面三刀、处心积虑损害以色列利益的政治流氓。因书的内容极大地损害了基辛格的声誉并影响美以关系，检查官沙里上校及上司决定禁止出版此书，并没收全部手稿及有关资料。因书中的大量机密资料是从总理办公室、外交部及国防部传出的，内阁召开专门会议讨论，要对戈兰采取法律手段查清泄密的渠道。整个新闻界则大喊大叫，抗议政府践踏人权。在这场较量中，新闻界赢了，书也出版了，但它却记下了挨过拉宾整的仇。从此，新闻界就对拉宾政府怀有报复的心理。
“安息日”没给拉宾带来好运，看来夺回总理宝座也不是一时的事。
2. 老对头佩雷斯善挖墙脚
家贼难防。在反对党猛烈抨击工党政府的同时，老对头佩雷斯又使出了善挖墙脚的手段，展开了窝里斗，与拉宾唱开了对头戏，好使自己当上党内一把手。没等党的中央委员会开会推举工党联盟的总理候选人，他就急不可耐地展开了个人选举活动。他几乎在所有问题上与拉宾对着干，并尽可能把内阁的不同意见捅到社会中去，以一个反潮流者的身份来博得广泛的支持，而在新闻界他又有着广泛的人缘关系。
1977年2月，拉宾与佩雷斯的第二次公开较量拉开了序幕。这时，工党联盟举行了重新推选党的领袖，也就是总理候选人的选举。面对参加投票的3000名代表，拉宾与佩雷斯都心中无底，最后的结果却使两人深受教育。选举结果是：拉宾以1455张对1404张的微弱多数票胜了佩雷斯。佩雷斯对此十分沮丧，他认识到在党的山头上拉起敌对的旗帜是不得人心的。拉宾也认识到自己支持率减弱，主要是平民和普通党员，把经济看得比外交更重要；而事实上，以色列人是以他们的钱包和菜篮子的充盈情况来评定政府和领袖的好坏的。只有战争例外，打赢了战争，人们会忘记政府的治国无能，让它多干几年。
佩雷斯与拉宾斗，他攻击得最猛烈的是拉宾在犹太移民定居点问题上的立场。工党联盟反对在被占领的阿拉伯国家领土上除“安全定居点”外再造新的定居点。宗教势力和利库德集团则极力主张在这些地区上尽量安置新移民，他们干脆把约旦河西岸地区称之为“朱迪亚和萨马利亚”，即古以色列时该地区的称谓。拉宾对此又硬不起来，他明白继续在巴勒斯坦人聚居区附近设立定居点是极不得人心的，不仅全世界会反对，而且堵死了与阿拉伯人和解的路。但是，占人口多数的东方犹太人
“塞法拉迪”支持无限定居政策，工党联盟又需要他们的选票。佩雷斯揪住拉宾的这个弱点，公开站在利库德集团一边向工党联盟发难。在此，他为自己赢得了有限的几分。就连不久前发生的恐怖分子劫机事件，和拉宾访美时批评佩雷斯的话题，也成了佩雷斯攻击拉宾的事实，并利用他在新闻界的优势，大造舆论。而最终却没有赢得胜利，不能不使他感到懊恼。
3. 贤内助利扬存款生是非
不管是党内还是反对党，对拉宾的攻击是一个接一个，但对拉宾来说都不是致命的，因为这些攻击都是政治方面的。而政治好比一个戏剧性的足球，它是艺术的，关键是怎样玩法。没想到的是有个攻击是致命的，关系到他个人的品质问题。这就是拉宾很有口碑的贤内助利扬的存款问题，这桩是非致使拉宾失败。
1977年3月，拉宾刚从美国访问回来，以色列《国土报》的一名记者发表了一条爆炸性的消息：拉宾在美国一家银行中拥有外汇存款！这是一条可怕的新闻。当时以色列法律规定，任何公民在国外拥有的存款都是非法的，这是因为：一、以色列外汇短缺，公民们出于爱国心应把自己的外汇存在国内银行支援建设，二、这是一种防止私营业主和腐败官员把他们的非法所得转移到国外的措施；三、一心为公的道德观念和行为准则是来自俄罗斯和东欧移民所信奉的。为此，整个社会闹得沸反盈天，人们认为自己被总理骗了，总理要求人们干的事自己却首先违犯了，他们无不感到梦幻破灭般的痛苦。因此，人们的愤怒难以平息。《国土报》把这事像美国新闻界对付尼克松的“水门事件”一样，不仅详细报道了拉宾在那家美国银行中的存款数和账户号码，而且调集了最能干的笔杆子慢慢煎熬拉宾，报纸上常见的醒目大标题是“拉宾—利扬银行账户”。在该报发表的大量尖酸刻薄的报道中，不厌其烦地证明拉宾是一个十足的伪君子。在多次社论中指出：在以色列处于与邻国交战状态的危难时刻，拉宾先生注重的是谋取他个人的私利。这样的引导，无疑给拉宾夫妇带来了灾难性的后果。
拉宾早已被一个个的攻击搞懵了，不知如何反击，就连解释也很含糊，先是予以否定，当《国土报》公布了账号和存款数以后，他又说是当大使时夫人利扬省下来的生活费用。但这个解释立即成为反对党和新闻界的辫子，他们声称拉宾在存款问题上对全国人民撒谎，先说没有后来才承认。事情越闹越大，把工党联盟搞得丧尽人心。拉宾考虑到辞去党的领导职务，但他接受了不管部长加利利的意见：等等看！
总检察长巴拉克是个两面派人物，他为了把审查权控制在自己手里，他一方面安慰拉宾，另一方面他又夺了财政部长拉宾诺维奇的调委会审查权。看到自己落在这样一个两面派手里，拉宾明白自己不会有什么好结果。
果然，当调查委员会的审理结论出来时，确认了拉宾与利扬违反了政府的有关规定，决定对他们两人进行罚款处分。但巴拉克要给拉宾以厉害，他提出一个新的决定：如果财政部长同意审查结论的话，此后在法庭上他不能出庭为拉宾夫妇进行辩护。司法部长立即表态认可，使得财政部长也只得认可。继而，巴拉克决定只对拉宾进行一次“象征性”的罚款，而利扬则必须接受法院审判。表面上是给拉宾以面子，实际上是巴拉克更阴险毒辣的一招，他要让前总理大人眼睁睁地看着自己夫人出庭受审而无可奈何。这是拉宾无法容忍的侮辱，他决定向社会公开自己的收支账目，在几位好友劝住以后，他在茕茕孑立的情况下，作出了三条决定：一、立即撤回自己总理候选人的提名；二、誓与利扬共同承担外汇存款一事的责任；三、立即辞去看守政府总理职务。
在利扬受审的日子，拉宾坚持要出庭陪伴妻子，起码给她一点精神上的支持，因为利扬在接到受审通知后，精神快垮了。尽管好友纷纷劝他：“别固执了，伊扎克，你千万不能出庭。那样，审判就会变成一出尽力羞辱你的大闹剧。”拉宾仍气愤地说：“不！我不能撒手不管她！我要看看他们能拿我怎么样！”“听我说，伊扎克，”利扬也劝阻他，看着他的眼睛平静地说：“相信我，我受得了，你不要陪我去。想想看，我们经历的风浪还少吗？”最后，还是利扬劝住了他。
审判的最后结果是：利扬须付一笔25万以色列镑的罚款，按当时的汇率折合为24000美元。为了摆脱这种痛苦的纠缠和不幸的遭遇，拉宾夫妇什么也不说，接受了法院的判决。
4. 虎落平川志在高山
存款风波过去后，拉宾夫妇过上了平静的日子。但是，他们对于国家的忠诚与贡献，以色列人们是没有忘记的，常常使拉宾激动。
利扬被重罚以后，数以千计的人们给他们打电话来信表示支持，不少人还寄来支票帮助他们，有的甚至愿意替利扬坐牢来拒付那笔罚款。利扬整日感动着，坐在房间回信和返寄支票。最使拉宾感动的是一位老人对他说的话：“听着，孩子，把头抬起来。我的儿子就埋在这里，他比你小不了几岁，作为一位阵亡者的父亲，我想告诉你一句话，我要说的是，在这块神圣的土地上，你是问心无愧的，这才是最重要的。”当他在法海纪念烈士集会讲话时，一位烈士的母亲对他说：“伊扎克先生，你一来我就认出你是谁了，我们为你而感到骄傲！好好干吧，我们不会忘记你的！”千秋功过，人们给予了公正的评说。
当5月17日大选投票的第一批结果出来时，工党联盟为自己的窝里斗而不顾大局的行为付出了惨重的代价，历史上第一次用选票把工党政权赶下了台，利库德集团领袖梅纳赫姆·贝京当选了新的政府总理。6月21日，拉宾与贝京在总理府会晤，在简短的仪式后，他把权力移交给贝京，随后互致敬意。
自此，拉宾被从总理宝座上拉了下来。但是，他仍然不愿离开政坛，除了还是反对党的工党议员以外，更是在密切注视着政局变化。就是他与妻子坐在宽大的壁炉旁，享受着芳香的咖啡，轻声细语交谈往事时，也不忘总结一下自己所走过道路的得失。平时，他就看书写回忆录，有时就参加一些讲演，思考一些问题。这样，他的视野反而更开阔，看问题也更清楚。
按中国话来说，拉宾好比“虎落平川，志在高山”。在相隔十几年以后，功夫不负有心人，命运之神又安排了他另一次崛起的机会，使他东山再起，重新登上了总理的宝座。
5. 逐步恶化的巴以关系
自美国总统尼克松下台以后，国际关系也出现了错综复杂的局面，杰拉尔德·福特这位临时总统，有着他的不稳定性，严重地破坏了基辛格在外交上作出的努力。只有萨达特没有泄气，他一方面努力改变现实，另一方面也在等待机会。当1977年1月吉米·卡特出任美国总统之后，萨达特决定同这位佐治亚人建立密切的关系。从一开始他就留给卡特这样的印象：他期待同以色列和平共处，而和平的内容应包括以色列人从被占领的阿拉伯领土上撤出，解决巴勒斯坦问题以及完全承认以色列。萨达特还清楚地表明，他理解以色列对安全的需要，因而任何一项和平协议都应包括以色列的安全保证内容。
萨达特与卡特关系确实密切起来，俩人书信往来频繁，都笃信宗教，都来自下层，相互尊重和信赖，其相互影响也是很深的。
萨达特在卡特的影响下，致力于中东和平。1977年11月19日，他访问以色列，因此打破了中东和平僵局，令世界震惊，更令阿拉伯世界震惊。在迎接萨达特的以色列政治领袖队伍中，拉宾也以其特殊身份参加，他是为萨达特访以而感到自豪的人之一。因为，他曾为这一天的到来付出过不少心血。
然而，萨达特的和平之举，同样受到来自以色列和阿拉伯世界反对势力的威胁。萨达特曾在一个沙漠中粉碎过一支企图暗杀他的阴谋，但他最后还是为和平付出了生命的代价，他倒在和平的曙光出现之前；为此，世界一切爱好和平的人们曾为他致哀。拉宾真正认清萨达特，是在萨达特访以以后，他曾在日记中写道：“一位曾和以色列兵戎相见的阿拉伯领导人站了出来声称他理解我们对安全的需要，因而必须找出办法满足我们的合法权益，仅仅这一事实就足以看作是一场地地道道的革命。”可这时，拉宾已不在台上，但他对于萨达特后来的死，表示了沉痛的哀悼和怀念，他在回忆录中说：“一颗和平的太阳陨落以后，人们将在黑暗中怀念他。”
当拉宾下台以后，一个曾被他和达扬重用过却有着野马一样个性、极端仇视阿拉伯世界的以色列将军，再次被以色列军方和当局重用，他以“冷血动物”的暴行来对待巴勒斯坦人，企图以他挥舞的大棒来征服其他民族，这人便是沙龙。他对巴勒斯坦人的暴行，不但没有征服反而更加激起了巴勒斯坦人以及世界爱好和平的人们，包括以色列人们的反对。反抗的烈火越扑越旺，以色列国内反对他及当局的呼声也越来越高，以色列在国际上也越来越孤立，巴以关系到了有史以来极为恶化的地步。
时局发展到1982年6月，当时沙龙正指挥以色列大军围攻贝鲁特西区，准备把那里的巴解总部来个一窝端。自然，这一行动受到了来自孤立无援的阿拉法特的巴解战士的顽强抵抗。后来便导致了手无寸铁的巴勒斯坦平民死亡2000多人的“贝鲁特大屠杀”。当新闻记者左德曼把这极其悲惨残忍的一幕向世界报道以后，这场骇人听闻的大屠杀的消息，便立刻像闪电一样传遍了整个世界。以色列的老百姓全被惊呆了。几十年来他们在电视中看到的这种在奥斯威辛集中营发生的种族灭绝的场面，竟重演在以军占领的贝鲁特。他们勒紧裤带供养的士兵竟然跑到黎巴嫩去杀人放火，而且杀的净是些妇女和孩子。因此，沙龙成了众矢之的，以色列爆发了前所未有的反政府大示威，参加者35万人，占以色列当时人口的十分之一。沙龙的住宅前面，是一片“耻辱”和“要和平”的口号声。
后来在1987年底到1992年中，以军仍然杀死了1775名扔石头表示反抗的巴勒斯坦人，数千人被打伤或致残。没有人认为以色列有必要这么做，不管它的敌人还是它的朋友，就连美国人的抗议声也越来越刺耳，一直支持以色列的美国犹太人社团领导人也主动与巴解组织会晤了。以色列领导人感到了阵阵孤立的寒意。1991年7月初，美国总统布什亲自出面向沙米尔施加压力，要他放弃僵硬立场参加马德里中东和会。他于7月1日对记者说：“我想有许多人不知道中东到底发生了什么事情。”说到这里布什把话头压住了，他想给以色列政府留点面子。沙米尔自然知道这句话后面的含意，如果以色列再不顺从，美国就会把老底揭出来，告诉全世界242号决议就是要求以色列撤出侵占的领土。这样，沙米尔政府终于屈服，同意参加中东和会。
此后以色列国内的局势，为拉宾的东山再起提供了机会。当年，人们推举利库德集团，只是出于一种对工党执政20余年的厌倦，借此换换口味而已。而现在，人们早已不喜欢利库德集团的口味，尤其是它在政治、经济、外交上的毫无建树，造成了内外交困的境地。
