费米出身于农民家庭。他的祖父是意大利最肥沃的波河流域皮亚琴察附近的农民。他体格健壮，意志坚强，喜欢豪饮。年轻时即投身于巴尔马公爵，当了一名小县官，成了他的家族里第一个离开土地和耕种的人，提高了一点家族的社会地位。祖父去世时，费米只有4岁，他只记得祖父是个因患关节炎而佝偻的老人，性格变得平静温和，面对一大群儿孙，他既不溺爱，也不大管教。

　　祖父虽然为建立家业勤劳一生，但留下的产业却很微薄：一间房子和加奥苏镇附近一块土地。

　　费米的父亲是祖父的第二个孩子。因为没有什么学历，只好在铁路局当一名雇员。由于工作勤奋，又正逢意大利铁路事业由缓慢到迅速发展的时候，费米父亲得到同事的敬重和上级的赏识，逐步高升，终于当上了一名段长。这种职务通常总是要有大学文凭的人才能得到。

　　工作性质使费米的父亲在国内到处流动了好几年，1925年秋季，才在罗马城定居下来。41岁时，才和比他小14岁的小学教师嘉蒂丝结婚。

　　他们一共生了三个孩子：一个女孩，两个儿子。费米最小。由于没有时间照料，只好把两个儿子送到乡下请奶妈抚养。两年半以后接回来时，费米身体又黑又瘦又爱哭。母亲用坚定的语气告诉他，在这个家庭里，小孩子不准调皮。他立即听话，擦干了眼泪，静了下来。这以后，以及在童年岁月中，费米都采取了一种不抗拒权威的处世哲学。他们要他怎么做，好吧，就怎么做，反正“反对”也没有用，省得惹麻烦。

　　不久，小费米就对自己的家很适应了。他对姐姐和哥哥感情很深，对母亲非常依恋。他的母亲严于律己，对孩子要求也很严。虽然姐弟们有时也有些埋怨，但是，他们都受母亲性格的感染，各个忠于职守，勤恳自律。这种道德精神，使他们受益终生。

　　费米一家，在火车站附近一所旧房子里住了20年。屋里没有热水和暖气。三姐弟在冬天常常生冻疮。以后的费米总喜欢对“年轻娇柔的一代”谈起他当年读书时，怎样把手掌垫在屁股下来取暖，宁可用舌头来翻书而不肯把手伸出来的故事。

　　这所公寓的浴室里，只有一个冲水厕所而没有浴盆。他们洗澡时只有两个锌桶，小桶归孩子用，大桶桶座下装有滑轮，每天都推到父母的住房里去。两只桶在夜里装满冷水，以便早上使用时水温能和室内温度相当。但在冬天，室内的气温也常在摄氏10度以下。

　　费米和姐姐哥哥三人，每天早上总是听话地泡在冷水里，这是父母的指示。他们懂得农村出身的自己，是不容许娇生惯养的。

　　在费米14岁那年，家中突遭不幸。他的哥哥因患喉疮，死在手术台上。

　　年长一岁的哥哥聪明伶俐，功课都是优等。哥俩非常友爱，邻居们夸奖他们是一对神童。他们兄弟二人曾经设计制造一台电力发动机，并能操作自如。他们绘制的飞机发动机图纸，使专家们不相信是出自儿童之手。

　　哥哥的死使平日性格开朗的母亲，整天以泪洗面。小费米的痛苦表现在，他更加显得孤单和寂寞。

　　比起活泼可爱、天分更高的哥哥来，费米是长得纤弱，相貌平平，又不大爱整洁。和母亲一道外出时，母亲常常要他在街头喷泉池洗手洗脸。费米的头发常常板结一块，从不梳理。在大人面前显得特别羞怯，沉默寡言。爱生气，又不会花言巧语。在学校里，他的文章写得很一般，造句简单，平铺直叙，毫无文采。他不肯多用一个多余的词。这个毛病，对孩子似乎很突出。但当他日后成了大科学家以后，人们说这是他写作论文的优点。

　　小学二年级时，有一次写作文的题目是“铁可以做什么用”。太巧，小费米上学的路上得经过一家铁工厂，他便写道：“铁可以做一些床。”

　　这句话多么简洁明白！他故意加上“一些”字样，表示他知道并不是所有的床都是用铁做的。但是，对这样的作文，老师不高兴。费米的母亲也不高兴——对儿子的智商产生了怀疑。

　　费米算不上人们心目中的“童星”。