1951年4月7日麦克阿瑟被免职后，4月19日他就离开东京回国。
华盛顿百老汇大街五彩缤纷，人们列队欢迎，不仅仅是为了尊敬这位经历了三次战争的老将军，而且是出于对杜鲁门及其政府的强烈不满，并想借机发泄对美军在朝鲜战败的失望和愤懑之情。民主党政府的政治对手立即利用了这种情绪，共和党参议员塔夫脱（已宣布要在1952年争取提名为共和党总统候选人）更希望利用这次良机将杜鲁门及其顾问们推翻在地。
4月14日，范弗里特接任美军第8集团军司令。4月22日，中朝军队集中主力向东线美军和南朝鲜军发起反击，李奇微抓住时机于西线发动反攻。至5月底，中朝军队撤回到三八线地区。
5月下旬，杜鲁门批准了一项关于稳定朝鲜局势，寻求停战的政策声明。为此，马歇尔于6月5日悄悄离开华盛顿，前往东京和朝鲜作为期一周的短暂停留，以亲自了解情况。在视察了前线部队情况，返回东京后，他举行了记者招待会，试图平息关于他带来了最新指示的谣言。在一次午餐时，他对李奇微说，朝鲜的条件比国内任何人所能想象的还要坏，并说他很了解周恩来，他回国后要向总统建议双方不要再打下去了。
6月23日，苏联驻联合国代表宣布：苏联主张谈判停火。6月29日，华盛顿授命李奇微广播一项通知，希望与朝中方面停火谈判。谈判的道路从此打开，但达成最终停战协定还是很长远的事。在此后两年零一个月的时间里，双方边打边谈，谈谈打打，打打谈谈，直到1953年7月27日最终达成停战协定，战争才宣告结束。
马歇尔于6月12日回华盛顿，正好赶上共和党参议员约瑟夫·麦卡锡对他猛烈攻击的最高潮。
麦卡锡早已准备好一篇6万字的演说稿，以“美国从胜利退却：乔治·卡特利特·马歇尔的故事”为题。6月14日，他在参议院大厅里向众人宣读。美国在朝鲜的战败以及解除麦克阿瑟职务，使长久以来对马歇尔的敌意都翻腾了出来。麦卡锡指责马歇尔“完全不称职”，“从1943年起就和斯大林穿一条裤子”，并宣称马歇尔的一生经历是“扎根在虚伪之上，等到他的事情被全部揭露出来之后，就能发现一个极其邪恶的阴谋，其主使人将永远遭到一切正直人士的诅咒。”
对遭到如此恶意指责，马歇尔没有多说什么，也没有指责和攻击任何一个人，只是强调了当时的实际情况和他作出一系列决定的客观依据。至于这种攻击是否伤害了马歇尔，两位作家威廉·巴克利和布伦特·博泽尔断言：
从各种合理的角度看，马歇尔的忠诚并未受到怀疑，但从另一个方面说，马歇尔在他同胞的眼里，不再像以前那样崇高了……麦卡锡仔细分析了马歇尔的一生记录，就其把马歇尔的威望拉下来降低到应有的高度这一点来说，麦卡锡作出了有价值的贡献。
毋庸置疑，这种攻击对马歇尔的威信是一次重大打击，同时也坚定了马歇尔辞职退休的决心。真正了解他的人仍旧对他怀有崇敬和信赖之情。艾森豪威尔在日记中写道：“马歇尔，公仆中最好的一位，显然他是不想干了。”
1951年9月的一天，马歇尔向杜鲁门总统递交了辞呈。杜鲁门接受了辞呈，并向马歇尔表示由衷的谢意，感谢他多年来为政府出色地工作。
马歇尔回到国防部，主持了最后一次工作人员会议。他在会上宣布：
“到11点钟我就不是国防部长了。”他解释说，本来他只打算干6个月，但总统要他一直干到1951年9月。
他指出，他刚好为政府服务了50年，其中包括在红十字会的一年（这一年他旅行了35000英里）。过去一年里他与国会合作得非常好。他表扬了驻五角大楼的记者，他与新闻界人士的关系一直不错。他特别赞扬了国防部工作人员，他们是最有效率的群体，正直、忠诚、称职，是他在和平时期所未见过的。他向洛维特表示感谢，能得到他的协助非常幸运，在美国没有人能像洛维特那样理解和胜任国防部的领导工作。
马歇尔最后说，不能把工作成绩归在他身上，他只是做了一些推动工作。他建议大家坐下来好好地考虑以后应该怎么办。
同过去有所不同的是，他这次引退没有引起人们震惊和轰动，但许多官员仍旧留恋他。尤其是国防部和国务院那些步步上升的年轻助手们，他们把马歇尔奉为非凡的奇才。
马歇尔从此告别了办公大楼。但那里却开始流传起一个人人爱说的玩笑话。每当讨论新问题或新规划时，总有人会说：“我们需要有个像马歇尔那样的人来解决问题。”然后大家会齐声应道：“可我们没有像马歇尔那样的人哪。”
1952年夏，共和党全国大会确定艾森豪威尔为总统候选人。艾克是马歇尔在第二次世界大战期间一手提拔和培植起来的。
在竞选演说交火最激烈的时候，马歇尔曾再次遭到共和党人荒唐的攻击，凡是与政府相关的“丑事”均要在公众面前抖落个干净。这时，人们希望能有人站出来为马歇尔主持公道，一些人把希望寄托在艾森豪威尔身上，因为只有他的话最有分量，也最有说服力。
遗憾的是，在整个竞选期间，艾克没有在公开场合为他的老上级马歇尔作过一次有力的辩解。为此，凯瑟琳气坏了。她生气丈夫听到此事只是耸了耸肩，咕哝了一句：“这些人都在搞政治。”她知道丈夫内心深处受到了伤害，她拿定主意，只要她活着，就永远不原谅艾森豪威尔的懦弱表现。
然而，马歇尔却毫不嫉恨。大选结果公布了，艾森豪威尔当选美国总统。马歇尔很高兴。1952年11月7日马歇尔给他写了一封信：
亲爱的艾森豪威尔：
鉴于您的胜利是如此辉煌，祝贺您的成功看来已微不足道了。
您正面对着艰难的岁月，我为您祈祷。我特别为您祈祷慎重选用您周围的人员。
选用人员，比其他任何事情都能决定今后几年的问题和历史的进程。要选用合格的人。
我希望竞选的紧张程度不至于严重影响您和艾森豪威尔夫人的身体。我认为她
为您做了卓越的工作。
您忠实的
G.C.马歇尔
艾森豪威尔给马歇尔写了回信：
亲爱的将军：
首先对您的热情来信深表感谢。我时常对自己落到目前的境地感到不解——恕我冒昧地作一揣测：
1942年春您我一同苦干的时候，假如我声称自己有朝一日要为国家的政治、经济问题操心，流露出领导一个大党赢得大选的念头，您一定会把我当做危险分子关押起来。
最近几年的事态发展，我越来越相信这样一句至理名言：“你永远看不到山的那一边。1945年12月，您曾以为自己永远退出现役了，打那以后，您想必也常常感到世事难测吧。
不管怎样，我现在已经处于这种地位，自然要尽最大努力奋争，只是要谨守道义、公平、正派的原则。
不过，整个环境与一个长期服役的军人所熟悉的那一套如此不同，我有时的确觉得很难适应。鉴于您有切身体会，深知此点，恕不赘言。
玛咪和我向您和马歇尔夫人致以诚挚的问候，祝您们事事如意。
您忠诚的
艾森豪威尔
1952年7月17日
1953年，再度当选英国首相的丘吉尔到美国访问，马歇尔夫妇被邀请前往白宫参加为丘吉尔举行的宴会。
“我才不去呢，”凯瑟琳断然拒绝。
马歇尔恳求说：“请你为我去一趟好吗？”凯瑟琳明白，尽管发生了那种事，马歇尔还是想见见艾克并同他聊聊，况且这是为丘吉尔举行的欢迎宴会，但她还是认为，丈夫未免太宽宏大量了。最后，她只好让步了。
“我终于同意去，”她后来说，“艾森豪威尔在宴会上非常有礼貌。丘吉尔为总统干杯，大家为女王干杯。”
接着，艾森豪威尔总统转向，向站在丘吉尔夫人旁边的马歇尔说：
“现在我要向马歇尔将军干杯。”
马歇尔从没有向任何人提起过那件使他伤心的事。这位自认为半生都是控制不住脾气的人，现在却越来越改变了脾气。他总是希望别人行为端正，而当别人行为不端正时，他只是感到无可奈何，并不发火。倒是马歇尔夫人感到委屈并为丈夫抱不平。渐渐地，随着岁月流逝，她也成熟了。已是90岁的她，对马歇尔的传记作者说：“不要为麦卡锡那件事去批评艾森豪威尔总统，他为弥补这件事，已经为乔治和我做了一切可能做到的事。”
