1933年我妈妈在沃尔多夫-艾斯托利亚酒店的一次舞会上遇到了我爸爸。据我爸爸讲，当时他正和他的一位诉讼当事人在那里，这位当事人曾为一家医院捐助过一大笔钱，所以很受尊重。我爸爸和他的客户坐在首桌旁，这位客户正在诉说他所犯的最大错误就是没有结婚。我爸爸应该避免犯这样的错误。实际上他的意思是，我爸爸应当邀请坐在附近的一位年轻女士跳舞。我爸爸看了看那位女士，说他不喜欢跳舞。
然后当他目光转到阳台时，发现了我妈妈。他告诉他的客户：“哎！我想和那位姑娘跳舞。”当时也正坐在首桌的我妈妈的爸爸听到了这段对话。
塞缪尔·塞德曼说：“你想和那位年轻女士跳舞？”“她是我女儿。”
我父母在某些方面因为性格正相反而相互吸引。我妈妈有积极的人生观和一种自我满足感。遇到问题时，她的态度是，任何事情都将会有圆满的结局。我爸爸有着强烈而敏感的分析头脑，对他所做的事充满自信，但他也是一个事事操心的人。他不喜欢让别人去做重要的具体问题，不管是生意、医疗或家庭方面的事。我父母现在都已经90多岁高龄，我对他们性格的描述是准确的，我推测，他们在30多岁的时候也是这样。尽管他们的人生观有这么大的差别，但现在他们已经幸福地在一起度过了近70年。
我出生于1938年，当时我父母还生活在皇后区的内庞西特。3岁时，我们家搬到了位于曼哈顿西八十一街美国自然史博物馆对面的一套公寓。我在沃尔登小学上学，这是一所校风进步的私立学校，位于中央公园西部，距离我家所住的公寓楼有几个街区。沃尔登小学重视培养学生的创造性表达能力，强调合作和关心社会。在学校里，学生们对老师直呼其名。我现在还深情地记得我三年级的老师名叫索拉。
在哥伦比亚大学法学院毕业后，我父亲进入他一位同学的父亲开办的一家法律公司，这家公司后来成为鲁宾·赫特金公司。公司专门经营房地产业，但也拥有诸如《纽约时报杂志》之类的客户，因为我父亲的合伙人是该杂志社董事会的成员。我父亲的工作是做财产税评估，这是一项具有挑战性的工作。他同时也过问着他父亲破产后所剩无几的生意。其中之一是集中于北卡罗莱纳西尔瓦镇的一些云母矿，开采这些矿实际上是在赔钱。云母是一种在飞机上用于线路绝缘的重要战略物资。30年代，美国主要从东印度群岛廉价进口云母，所以当时云母并不是什么值钱的东西。但二次大战在欧洲爆发后，美国的云母供应受到威胁。我父亲给战争部写信，表示要将云母矿无偿交给政府。“珍珠港事件”后，战争部与我爷爷取得联系，要求他去北卡罗莱纳经营这些云母矿。他推荐了我父亲，此时我父亲已经在这些云母矿工作了好几个夏天，这样战争期间我父亲的工作变成了经营云母矿，以固定价格向政府供应云母片。在我4岁时，我们一家搬到了附近的镇，北卡罗莱纳州的阿什维尔。
北卡罗莱纳海兰兹是一个美丽的地方，但是贫穷、偏僻。镇上的人把我父亲称为“犹太佬”和“犹太先生”。对我母亲来说，生活的变化更大，她觉得好像一觉醒来发现自己到了另一个世界。很快她就带着我和我1942年出生的妹妹珍妮搬回了曼哈顿。我父亲每过几个星期坐火车回去探一次家。采矿工作几乎挣不着钱，战后我祖父以非常低的价格卖掉了云母矿。
9岁时，我们家从曼哈顿搬到了迈阿密滩。我父亲觉得佛罗里达的生活更安静、更惬意，他也想住得离他父亲近一些。在我们搬家后，父亲继续接办一些律师业务，他建了一个购物中心，还研究股票和投资、打高尔夫球。我母亲也打高尔夫球，家里的墙上挂满了她获得的当地俱乐部颁发的奖品。
我模模糊糊地记得当时对转学有一种恐惧，不想搬家。在北海滩小学，我的新老师柯林斯小姐把我作为新来的男孩介绍给同学们。她对全班说，“罗比·鲁宾在纽约时上私立学校，他从来没有学过手写体，”“所以我们大家都要友好地待他。”我猜想，由于这个建议，在我到新学校的第一天就被选为我所在的四年级班的班长。我竭力辩解说我一点也不知道如何当班长，但他们根本不听。尽管这听起来可能是风马牛不相及的事，但我想你们可以把我当班长的那天和48年后我当财政部长这件事联系起来。我本来不是当班长的料，但任命以一种快乐的方式落到了我头上。尽管我根本就不是班里的领袖，但我在学校期间一直断断续续地担任着班长的职务，其中包括担任毕业班班长，这对后来我进入哈佛大学以及以后的发展都有帮助。
对于像我这样的孩子来说，迈阿密滩是一个可以非常轻松愉快地成长的地方。我每天早上骑自行车走一英里到学校。我一度有一个早上送《迈阿密滩太阳报》的线路。我阅读《英勇男孩》推理小说，收听《孤独巡警》、《化身》和《密探》等广播文学。我在保罗公园定期参加篮球和棒球比赛。到现在，我还能说出1954年布鲁克林道奇队的首发阵容：罗伊·坎帕纳拉、吉尔·霍奇斯、杰基·罗宾森、彼·韦·里斯、卡尔·弗里洛、杜克·施耐德、小吉列姆、丹·霍克以及可能当投手的选手丹·纽克姆、普里彻·罗或卡尔·厄斯金。
我们犹太会堂的拉比是一个非常有趣的人，他的名字叫利昂·克罗内斯，当我还是个初中生的时候，他想让我和我的一些同学学习犹太思想。利昂·克罗内斯拉比告诉我们，在常规意义上他不信上帝。他并不是想用他这样的观点使我们吃惊，而是想让我们开展伦理和哲学辩论。那些讨论使我第一次接触“人道主义”这一概念。但我从与克罗内斯拉比的谈话中所认识到的并不只是具体的思想观点，而是一种存疑和探索智慧的感觉，这种素质在以后成为我思想的核心。
人们很少会想到，迈阿密滩属于种族歧视严重的南部的一部分。但在我们的成长过程中，我妹妹珍妮和我在白人学校上学，而且我们学校专门划分出“有色人种” 饮水区和“白人”饮水区。珍妮通过到“有色人种”饮水区喝水和乘公共汽车坐到后排座位表示对种族隔离制度的抗议。我不记得和我一块长大的人有种族歧视言行，也没有明确意识到到处弥漫的、给如此多的人造成伤害的严重不公正。
我的父母喜欢交际，在迈阿密滩的朋友圈很大。他们享受着当时那里那种正常的社交生活，打高尔夫球、打牌、在罗内酒店的帐篷俱乐部里度过时光。但他们夫妇两人都是喜欢思考的人，对政治和外面的世界感兴趣。我们房子里总是有许多书。
当时和现在一样，我是一个非常热切的读者，而且五花八门的书都读。即使是我在高盛公司和华盛顿最忙的时候，阅读也都是我每天生活必不可少的一部分。历史、传记、奇妙的旅行或风土人情以及我们当地书店任何能够引起我遐想的书籍，都在我的阅读范围内。例如，不久前，我买了亚当·尼克尔森写的介绍《詹姆士时期版圣经》历史的书，这本书生动地反映了一个时代并描述了许多人虔诚的信仰。我还买了西蒙·温切斯特写的一本关于《牛津英语词典》的诞生的书。我经常同时读两本或三本书，并且经常回头重读很多书的部分章节。例如，当我在1993年前往华盛顿进入克林顿政府工作时，我随身带了自己10年前曾经读过的两本非常有名的关于非洲的书：一本是阿兰·穆尔黑德的《白色尼罗河和蓝色尼罗河》；另一本是伊尔维希·埃德曼文笔生动的短文集《一个哲学家的节日》，这是我在少年时期最早读的一本书。埃德曼是哥伦比亚大学的哲学教授，我父亲20年代曾经在那所大学读书。
到我上迈阿密滩中学时，我开始喜欢上了钓鱼。我的朋友鲍比·拜伦鲍姆过去常常在小溪和运河中钓鱼，现在这些地方附近大都建起了旅店和大型公寓楼。在我们长大了一些后，我们带着鱼竿到处去钓鱼。我们还经常开车到佛罗里达凯斯去钓鱼。凯斯那时与现在不一样——我们可以站在那些老桥上钓到鲷，有时还能抓到更奇异的鱼。我妈妈不喜欢我把鱼拿回家，但有时我们钓得太多，就把鱼卖给当地熏制鱼肉的店铺，挣些零花钱。
80年代晚期，钓鱼成为我生活中更重要的一部分，当我第一次访问大巴哈马岛的迪普韦尔基时，发现人们用假蝇钓鱼。从那以后，我对用假蝇钓鱼一直情有独钟——它给了我一种完全投入的忘我的感觉。我可以花上8个小时在巴哈马群岛的浅滩追踪海鲢，或者在河里或小溪中钓鲑鳟鱼，而时间就不知不觉过去了。我全神贯注于风、水、用什么样的飞虫做诱饵以及在哪儿下钓。不管我原来一直考虑的外界的事是什么，这时它们都迅速从我脑海消失了。
再回过头说佛罗里达，我们用老式的卷线鱼竿钓鱼。周末，鲍比和我经常租一艘10-15马力小摩托艇在戈尔夫斯崔姆钓魣和鲯鳅。我们也会到佛罗里达大沼泽地去钓鲷或海鳟鱼。有一次，我们把摩托艇开得太远而且后来油也用完了。结果我们没能去原来打算去的汽车旅馆过夜，而是在船上熬了一夜，与蚊子搏斗，并寻思我们怎样才能回到文明世界。第二天，租给我们船的人派出了一支搜索队找到了我们。很幸运，在我们获救后，没有人打电话告诉我父母。