美国国务卿贝尔纳斯因心脏病提出辞职。1947年1月6日，杜鲁门正式任命马歇尔担任国务卿。早在1946年7月，马歇尔就提名一位老中国通司徒雷登任驻华大使，并得到总统和参议院批准。

　　任命马歇尔为新国务卿，当时在美国政界和公众中的反应是良好的。人们深知，在刚刚结束的世界大战中，他指挥若定，组织有方，为国家赢得了胜利。政府官员赞赏他是一位虚心听取内行意见的专家，他得到了多数政治家们的信任。

　　曾一度当过国务卿、马歇尔的老上司、前任陆军部长史汀生，1947年1月10日在给他的信中写道：“你出任国务卿，就使我在国家前途问题上有了一种莫大的安全感。杜鲁门先生作了一项非常明智和独具慧眼的任命。”

　　对马歇尔的任命公布后，有人认为，他最有可能充当未来的总统候选人。但马歇尔不想惹此麻烦。他在华盛顿联邦车站的月台上接受记者们的提问时表明了态度：

　　我认为国务卿的职位，至少在目前情况下是非政治性的，我本人依此行事。我决不卷入政治活动，因此，我不能被看作是任何政治职务的候选人。

　　一般的观点是，不管一个人怎么说，他总可以被调去充当某一政治职位的候选人。这样的观点对我是用不上的，我决不会被征调去竞选任何政治职位。

　　我如此明确和强调这一点，是为了一劳永逸地结束把我的名字同政治职位联系起来的议论。

　　上任伊始，他就明智地解除了一些人对他的猜疑，赢得了人们的好感和赞誉。《美国新闻和世界报道》杂志发行人劳伦斯评论说：“首先，他一辈子都是一名陆军军官，懂得该脱离政治；其次，他比政府中任何人都清楚，要取得战时在他率领下作出最大牺牲的官兵们的信任，最好的办法就是缔造持久的和平……这是一位伟大人物的无私行为，这简单的举动就使美国和世界都受了益。”

　　1月21日，他宣誓就任新职后，便开始运用他的组织才能使国务院高效地运作起来。除必要的人事变动外，他最先采取的措施是建立国务院政策研究室。以后每谈到这一点，他总是感到很自豪。

　　他具有长期在高层指挥、决策机构工作的丰富经验，知道如何调动下属机构和人员的积极性和聪明才智。早在1943年指挥工作最繁重的时期，他依靠一些朝气蓬勃的青年军官创办起有声有色的情况汇报会，这对指挥决策极有助益。

　　情况汇报会每天上午9点准时开始。各种图表都在五分钟前张挂停当，然后，经核准的人员可以进入马歇尔的会议室，观看有关美军参战的各个战区精确的图示。“我逐渐认识到，”马歇尔后来说，“介绍世界战况对我和主要工作人员至关重要。因为我们在如此众多的不同战区作战，而国内形势又随之风云变幻。我们身边就有各种能工巧匠，而且人数众多，这样我们逐渐形成了早汇报的制度，由经过挑选、口才出众的年轻军官在会上介绍情况。他们清晨4点就起床，整理头天夜里的电报，9点前做好汇报准备。会议就像开场演戏一样，他们变得精于此道，把汇报会搞得有声有色，确实引人入胜，整个战争的最新情况一览无余。这种方法在一定程度上使人易于了解战况。”

　　此时他同样认为，应该有几个人专心致志地研究未来的政策，所以要必须搞一个决策咨询班子。他让副国务卿艾奇逊负责这项工作，并尽快选任几位了解世界不同地区情况、情报灵通、具有洞察力、善于演说和写作的人承担此任。

　　1970年，国务院组织了一次内部调查，调查小组得出结论说，马歇尔在加强国务院的行政能力方面，比战后的任何一位国务卿做得都多。有关评价如下：

　　在马歇尔的管理下，政策研究室建立了起来，而且在一个重要时期成为国务院创新思想的中心。“马歇尔计划”以及其他为应付40年代后期的外交挑战而作出的大胆创新，就是在这个室开创并发展起来的。马歇尔采纳了他的研究室的意见，并把这个研究室当做学术研究机关一样尊重它。

　　马歇尔在国务院任职内的第一项挑战，是3月将在莫斯科举行的外长会议。该会议先后在莫斯科、伦敦、巴黎和纽约召开过，如今他要同英、法和苏联代表在对德和约、对奥地利和约以及附带政治经济等问题上寻求协议。涉及到的国家不止一个，问题错综复杂，关键是东欧一些国家的政治经济走向，核心是德国问题。

　　马歇尔了解到的情况是，苏联想在战败后的德国建立一个受其控制的中央政府，而不是难以控制的联邦政府。他知道，纳粹曾蹂躏过苏联，因此，苏联对德国不会放过，问题的关键在于美国对此应持何立场和观点，而与此相关的是英国人对此采取什么态度。

　　第二次世界大战后期，丘吉尔曾强烈要求派军队开进巴尔干地区，抢在苏联人之前到达那里，由于美国反对，使英国人的战略成为泡影。如今，战后英国极度贫困，对维护东欧和地中海地区的利益感到力不从心。在希腊、保加利亚、南斯拉夫和匈牙利，苏联支持的势力正在扩大，那里的经济已相当困难，人民正在忍饥挨饿，面临内战的威胁和困扰。英国却无能为力，正准备从希腊和土耳其撤军。

　　对此，美国国会展开讨论，杜鲁门主张，美国必须提出4亿美元来援助希腊、土耳其等巴尔干国家，并在世界各地坚决抵抗少数游击武装和外来势力的扩张。这是一种强硬的和对抗性的外交政策，以后被称为“杜鲁门主义。”

　　由马歇尔率领的美国代表团于3月9日到达莫斯科。成员包括驻德美军司令卢修斯·克莱将军，马歇尔的老下级、现驻奥地利军事长官马克·克拉克将军，美驻苏大使比德尔·史密斯将军，律师兼政治家墨菲，德国和苏联问题专家奇普·波伦，国务院苏联问题顾问本·科恩，以及共和党指派的两位会议观察员、纽约律师福斯特·杜勒斯。

　　会议开始后，西方各代表团的大多数成员很快就看明白了，苏联想要的并不只是对德、奥两国进行报复，而且要求把能从战败国家带走的资产席卷而去，作为对他们的赔偿。马歇尔倾向于同意苏联在德国问题上的一切要求。

　　但是，在讨论奥地利问题时，克拉克就寸步不让了。他诉说了苏联人怎样把价值数百万美元的奥地利资产运走，然后任凭它们在苏联边境的铁路支线上生锈。他为奥地利人民呼吁，要求允许他们享有重新开办工厂的权利，不要等他们一修复就被苏联人抢走。

　　然而，最使克拉克感到担忧的是国务院对苏联一味姑息、忍让，指望通过让步来达成协议，只要所有与会国家都在上面签字，不管什么样的协议都行。

　　“最后，我们谈到了赔款，”克拉克指的是苏联要求从奥地利拿走他们想要的一切东西。“这是全部问题的关键所在。如果这个问题得到了解决，其他问题就会迎刃而解。苏联人在这个问题上绝不会通情达理，绝不肯让步。”

　　在开会讨论奥地利问题的那天上午，美国代表团碰了一下头，商议对策。克拉克说，他草拟了一份协议立场书，并说服英、法代表在上面签了字。说完，他把这份文件交给了马歇尔。

　　“马歇尔将军，”他说，“今天就要讨论赔款问题了，这是美、英、法三国最后达成的一致意见，是我们作出让步的最后限度了，绝不能再让了。”

　　马歇尔把文件给每个人参阅，然后征求每个人的意见。大家都认为文件措辞过于强硬，苏联人不会同意。克拉克急忙说：“马歇尔将军，我可以谈谈我的看法吗？”

　　“我们已经知道你的看法了，”马歇尔厉声回答。

　　“那就让我再说一遍好了，”克拉克说，“我本不想到这里来，我在维也纳已经同这些恶棍打了两年交道了。您绝不能再退让，否则，就会把我们为之奋斗、成千上万的人为之献身的东西全部断送。”

　　马歇尔站起身来说：“过些时候我再作决定。”

　　“您必须现在就打定主意，”克拉克坚持说，“因为下午两点钟就要开会，我必须根据您的明确意见进行准备，这需要一定的时间。这是最后一次发言，因此措辞必须慎重。您的发言将使这次会议收场了事的。”

　　大家望着马歇尔，马歇尔望着克拉克。

　　“克拉克，”马歇尔说，“就完全按照你的想法准备吧，写好后送到我房间来。”

　　下午，马歇尔带着克拉克准备好的意见书出席会议。

　　“会谈的言辞比以往任何一次都更加尖锐，”克拉克后来说道，“莫洛托夫（苏联外长）发言时，我、科恩和杜勒斯都忙着给马歇尔递条子。将近7点了，莫洛托夫的发言越来越令人讨厌了。”

　　克拉克写了最后一张条子：“现在是不是该念咱们的意见书了，也许这样能结束会谈。”

　　马歇尔找出克拉克起草的文件，念了起来。过了一会儿，莫洛托夫站起身，用冷淡、刻薄的语调提议休会。

　　从此以后，美苏在长达15年时间里再没有举行过会谈。然而，这次会谈却挽救了奥地利。

　　“如果我们对苏联人的要求让步”，克拉克说：“奥地利就会垮了，苏联就可以随心所欲地毁坏、肢解和搜刮这个国家。但是，国务卿却因为会谈失败而大失所望。”

　　马歇尔和克拉克一起乘车返回美国大使馆。国务卿对克拉克说，“我认为你是个出色的将军，但作为一个外交家，我觉得你还不够成熟。”鉴于此次会议期间克拉克的言谈举止欠冷静，回国后又向新闻界发表“出格”的讲话，于是，马歇尔把他调出外交系统。结果，克拉克又回到陆军参谋长艾森豪威尔的麾下。