可是，小卓别林没能成为“蓝衣少年”。因为仿佛一夜之间，这无忧无虑的宽裕日子，便如美丽的肥皂泡那样一个接一个地爆裂。那五光十色瞬间消失，生活露出了灰色。随着经济的萧条，哈娜的时运不济。她原本易受感染的咽喉，稍受风寒就患上喉炎。嗓子常常失润嘶哑，往往一病几十天不能恢复正常，为一家人生计却又不得不登台。于是令人担心的事出现了：她正表情丰富地演唱着，清亮的嗓子突然像生锈的机器一样卡壳，发出怪异沙哑低沉之音。逼得她只好轻声唱起来，乐手们对演员变了调手忙脚乱，观众们则感到滑稽而哄堂大笑、议论纷纷。
每到这要命的、难堪的时刻，哈娜总是提心吊胆。嗓子是她挣钱吃饭、抚养孩子的看家本领，嗓子不好生计难保，她的精神受到极大打击。过去她是歌舞剧团的主角之一，剧院门前的海报和她的戏单上，醒目地写着她的艺名：
特约！
扮相美丽技艺超群
正派喜剧女角擅长舞蹈、反串
莉莉·哈丽
如今哈娜她们剧团的生意越来越清淡，于是只好到伦敦以外的地方去演出。那一次，是在伦敦西南30多英里的奥尔德肖特自治市的俱乐部里。那里是军事基地，看戏的观众多是士兵。只要一不如意，他们就毫不留情地在台下与台上对着干。演员们都把在奥尔德肖特俱乐部演出的一周，看作是可怕的一周，哈娜正是在她嗓子出毛病的时候碰上了这一周。
那天晚上，哈娜因不放心小卓别林一个人留在旅馆里，就把他带到俱乐部。她演唱时，小卓别林从后台蹑手蹑脚地上了舞台，躲到二三道侧幕后，看自己崇拜的妈妈演出。哈娜正唱着，嗓子不幸又嘶哑。这一次比哪一回都糟糕，她的唱像是在悄声说什么。台下的士兵们很不耐烦，有的大声发出嘲笑，有的跟着乐曲憋着嗓子唱起来，有的竟发出猫儿一样的怪叫。结果她实在唱不下去，懊恼地退下台面。台下并未因此而安静，反而喧哗起来。台后也一片混乱，大伙急得团团转。这时舞台监督看到侧幕边的小卓别林，脑子里有了主意。他建议让小卓别林上去代替他母亲演，因为他以前看过小卓别林当着剧团大人们的面的精彩表演。大伙这时都记起这个5岁的孩子表演的天份是那么高，模仿什么像什么。小卓别林自己呢？这时觉得应该为自己的妈妈挺身而出，他懂事地要求上台，唱那首当时正流行的歌曲《杰克·琼斯》。
于是，舞台监督马上把小卓别林领到台上，乐队试着配了一下他的音高，就开始伴奏过门。小卓别林面对着台上耀眼的灯光和台下烟雾朦朦中的一大片人，竟毫不心慌地大声唱起来：
一谈起杰克·琼斯，哪一个不知道？
你不是见过吗？他常常在市场上跑，
我可没意思找杰克的错儿，
只要呀，只要他仍旧像以前一样好。
可是呀，自从他有了金条，
这一来，他可变坏了。……
他唱出开头两句，台下就安静了。刚唱到这一半歌词，一个个便士就扔上了台。他看着滚到脚边的钱币，马上停下来，说：“请等等，我必须先捡起这些便士，才可以继续为先生们唱。”话一出口，台下台上哄堂大笑，并伴着掌声。这时，舞台监督赶快走出来，笑着帮他捡起散落在台面上的便士。
“先生，你可不能捡着归自己，这全都是给我的呀。”小卓别林说，又引起观众们一片大笑。他急巴巴的紧跟在舞台监督屁股后，直看着把钱交给了站在侧幕边的母亲后，才又在笑声中回到舞台中间接下去唱：
可是呀，自从他有了金条，
这一来，他可变坏了，
只瞧瞧他怎样对待哥儿们，
就叫我心里十分地糟。现在呀，星期天早晨他要读《电讯》，
可以前呐，他只翻一翻《明星报》。
自从杰克·琼斯有了那点儿钞票，
嗨，他得意得不知道怎么办才好。
小卓别林边唱边舞，还惟妙惟肖地模仿了几个大人才做的动作，得到了观众们的喝彩。后来他唱起了一支母亲经常唱的爱尔兰歌曲，那正是写军人的，带有进行曲的味儿：
赖利赖利，就是他那个小白脸叫我着了迷，
赖利赖利，就是他那个小白脸很中我的意。
我走遍了大大小小所有的部队里，
谁也比不上他那样漂亮又整齐，
比不上雄赳赳的八十八部队里，
那一位高贵的中士他叫赖利。
他反复唱着，还鬼使神差地模仿他母亲的沙哑声来一遍。没想到竟大受士兵观众的欢迎，欢笑声中便士如雨点般地飞上台。直到结束，母亲带着孩子出来谢幕，那掌声还不曾停歇。
第一次登台就大获成功，使5岁的卓别林终生难忘。这拉开他“舞台生涯”的第一次大幕，但却是他母亲舞台生涯的最后一次。时令转入冬季，哈娜的嗓音不能恢复。寒冷使她无法登台，平时积攒起来的一点钱就只能流水似的花光。家境拮据起来，一搬再搬，那两年中房子从3间到2间到1间。哈娜的首饰和值钱的东西，也陆续出卖。她可以帮人家带孩子或找别的活干，但一箱子戏装绝不送进当铺。她顽强支撑着自己重返舞台的信念，期望有朝一日嗓子能恢复如初。她甚至为此而求助于上帝，信仰天主教，常去威斯敏斯特路教堂作礼拜。当巴哈的风琴乐曲悦耳地奏起来时，小卓别林看到了母亲眼中的虔诚的泪花……
然而，情况并不因此而见好转，本来卓别林先生准时补贴小查理的10先令，不能按期付给了。由于他无节制地酗酒而影响演出，戏院不能按期跟他订立演出合同。对哈娜来说这真是祸不单行，一年的短暂日子变得如同漫长无边的苦难一生。有主见的哈娜由于过去自己动手制作戏装，掌握了一手缝纫技术。她以分期付款的方式租了一台缝纫机，为教友们做衣挣钱，供雪尼上小学和抚养小卓别林。
即便在这样窘困无奈的日子里，哈娜仍然保持一个好母亲所能给孩子影响的东西。她将自己的衣物、鞋子改制好给孩子穿，身居贫民区而注意举止言行不受环境感染。包括随时纠正孩子们的不雅语言和错误语法，把阴暗的屋子收拾干净，省出几个钱为孩子们买上一套滑稽连环画。她知道自己的嗓子恢复无望，更以母亲的眼光看出小查理和雪尼的艺术天赋，她要把两个儿子这种天赋发掘出来。她常常放下手中的针线活，空着肚子以惊人的潇洒灵活，为孩子们表演她拿手的轻歌舞剧；用她沙哑的嗓子轻声唱出她自己创作和唱红一时的《我是女法官》，那首四分之二拍子的歌曲：
我是一位女法官，也是一位好法官。
判断案子真公平，审理官司很在行。
我要教律师，明白几件事；
还要让他们看一看，
女孩到底有多大能耐多大胆……
每说一出戏，她同时绘声绘色地扮演戏中的几个角色，让小查理和雪尼理解。她甚至向两个小观众分析：当时伦敦演莎士比亚剧著称的男女演员的艺术技巧和表演才能。母亲的热情、乐观、幽默、艺术才华，以及对戏剧事业的爱好、追求，就这样渗透进查理和雪尼的小小心田。
在冬天的黄昏和雪尼上夜校的时候，母亲就常常给小查理读《圣经》和解说那些故事，叙述基督如何爱怜穷人和小孩，如何对一般人体谅和宽容。如一个不幸的女人犯了过失，暴徒们想按老规矩砸死她，基督挺身而出：“你们之中有谁敢说自己绝对没有罪过的，才可以用石头砸这女人。”她描述耶稣如何被出卖、钉在十字架上，却原谅了悔罪的强盗。又如何看着自己悲痛欲绝的母亲，在临死前的痛苦中叹息道：“我的神呀，你为什么离弃我？”这时查理感动得流下泪珠，听母亲呜咽着说：“他是多么富有人情味呀。”
小查理的母亲就是这样一个富有人情味的人，她不只是说说而已。有一天她带着小查理从医院回来，见路上几个调皮孩子推推扯扯欺负一个衣衫肮脏的女人，她就上前责备那几个顽皮鬼。偏巧这女人原来也是个歌舞演员，生病之后生活无着流落街头。哈娜毅然送她到公共浴室洗了澡，然后领回家住了三天，从自己不多的衣物和钱中匀出一些送给她。这些都让小查理感到吃惊，因为他们家已自顾不暇，他母亲自己的身体也不健康。
在兰贝斯区奥克利街那间阴暗的地下室栖身的日子里，在肯宁顿路波纳尔弄3号那间摇晃的顶楼上苦熬的时光里，一个平凡而伟大的母亲使小查理看到了“这个世界上前所未有的慈祥的光辉”。他成名之后总结说：“只有在这种光辉的照耀下，文学和戏剧才具有它们最伟大、最富有意义的主题，也就是关于爱情、怜悯与人性的主题。”
日子复入愁苦，哈娜那一箱子戏装早已送进当铺。她又患了偏头痛症，可是没钱治病，只好用绷带敷上茶叶把眼睛蒙上，借以减轻痛苦。租来的分期付款的缝纫机因到期付不出租金，又被人家搬回去。雪尼趁课间休息去卖报，但这于事无补。全家人只得去肯宁顿路救济贫民的施粥所领取粥票，生活的重担已经压垮了拖着病体的哈娜，她只有硬着头皮决定：一家3口人进贫民习艺所。
这，对于原本小康的演艺之家不啻是一件“丢脸”的事。但小查理和雪尼刚听到这个决定时，小哥俩竟又觉得有点新奇，因为他们早想改变一下吃了上顿没下顿，和把衣物什么的送进当铺的日子。
就这样，1895年夏季小卓别林和雪尼随母亲走进了兰贝斯贫民习艺所。随着铁栅栏大门的关合，一家3口分开了。孩子住进儿童收容部，母亲则住进妇女收容部。两处分开不远，却都各有院墙，封闭式管理，制度严格。如每人都要脱下自己的衣裤洗了用蒸汽消毒，穿上贫民习艺所那既不像囚服又不是住院病服的那种衣服，孩子们一律剪成短发；家人会面只能在探望室，每周只能探望1次。第一个探望日，3人一见面都悲伤地流下眼泪。6岁多的小查理深切感受到这种近在咫尺却活生生地分开的痛苦，何时归家又何时才有个家呢？
3周之后，查理和雪尼又被转到汉威尔贫民孤儿学校。那是伦敦当局出于人道和责任，专门为生活无着的贫民、孤儿办的学校。孩子进去要经过体格、智力检查与试读，然后进入学校本部。孩子们生活上被照顾得不错，但校规比兰贝斯区习艺所更严。学文化、体操，还要受军训，小查理就是在这里由老师教会写自己姓名的。但若触犯了校规和有了过失，那就惨了，必须在星期五早晨去健身房，在列队而立的300人面前被体罚。轻则藤条重则木板，打的是屁股，少则3下多则6下，挨罚的孩子轻则哭喊重则晕倒。执行人是一个退役的粗壮的海军大尉，他喜欢慢条斯理的高举藤条，然后迅速地抽下去，这使孩子们十分恐怖而他本人颇为得意。
那一周，雪尼在厨房劳动打杂。小查理有时吃完饭离开餐厅时就去看哥哥，哥哥就偷偷拿一个夹着黄油的面包卷塞给弟弟，小查理就把它藏在衣服里带出去享受。到了星期四，小查理正和同伴们在运动场上游戏，可怕的喇叭吹响了，孩子们马上停下来列队站好。打手似的海军大尉像往常一样在扩音器前，慢条斯理地宣布星期五应当受罚的孩子的姓名。当听到是“查尔斯·卓别林”，小查理吃惊不小，不知自己做错了什么；如果是面包卷事发，那吃藤条的应该是雪尼呀；同时大概是由于成了一出剧中的角色吧，他的神经系统这时竟然有几分亢奋。如果5岁登台，是他个性中爱冒险与标新立异的基因首次显露，那么他等待着第二次表现的机会，因此他没有告诉雪尼。
翌日，孩子们在健身房排列整齐，板着脸的校长审问小查理：“查尔斯·卓别林，有人告你在厕所烧火，你怎么解释？”这真是冤案一桩，当时那几个孩子在厕所中烧纸片时，查理只是进去小便，不知是哪个坏小子恶作剧告了刁状。校长继续审问：“查尔斯·卓别林你有没有罪？”才7岁的小查理一紧张竟脱口而出：“有罪”两字。于是，他被绑了脚，脸朝下横放在长桌上，由人按着，另一人从他裤子里扯出他的衬衫罩住他的脑袋。海军大尉神气活现地使用了他的特权，疼痛和耻辱使小查理几乎停止呼吸，屁股上赫然留下3条粉红色伤痕。站在队列中的雪尼，眼见弟弟受辱而哭泣。小查理一声不吭，虽然不能走路被抬到垫子上伏着，但他觉得自己胜利了，苦难与挫折使这个7龄童变得勇敢了。
时隔不久，查理不得不与哥哥分开。当时贫民习艺所、贫民孤儿学校的男孩年满11岁，即可由本人选择将来参加海军或陆军。如果想参加海军，他就能派到一艘训练船上去接受实习训练。雪尼当时一心要学航海本领，这也许还包含了受海军大尉鞭打弟弟的刺激的缘故。因此，他毅然离开了汉威尔贫民孤儿学校走上训练船。
哥哥走后，又一个倒霉的事落到查理头上。那段时间学校“金钱癣”流行病，沾染上的孩子们的脑袋被剃得光光的，碘酒涂得满满的，小查理觉得那样子怪异而恶心。偏偏有一次，一个保姆拨开他脑袋上的头发，就发现了金钱癣。这回查理就忍不住哭了，因为他原本是一个整洁干净、受过良好熏陶的孩子啊。这次医治了几周才好，幸好母亲离开了贫民习艺所；等他好了，雪尼也训练完了，母亲把他接了出去。
但哈娜仍然难以找到工作，卓别林先生所在的戏院生意仍不太景气，给小查理的补贴难以为继。没过很久，他们母子3人只得重回贫民习艺所，小哥俩转到另一间孤儿学校。他们觉得那儿比汉威尔学校更凄凉，这是因为有一天，雪尼正在运动场上比赛足球，突然有两个保姆叫他到场外，悄悄告诉说他妈妈精神失常，已被送进疯人院。雪尼心中大惊，但怕别的孩子知道就装作什么事也没发生，又去踢球。等比赛完了，他独自躲到一边哭，哭完了再告诉弟弟。
查理听了先是不信，继而感到绝望，怎么可能呢？他问自己，妈妈怎么会疯呢？他的妈妈曾是一个优秀的喜剧演员，那样爽朗坚强、无忧无虑，还那么年轻，怎么会一下子就疯了呢？也许是年龄不大眼泪已流了不少，也许是这两年经历了太多的变故，查理这次没哭。他只感到绝望，恍恍惚惚觉得母亲是不是要有意丧失理智、抛弃自己与雪尼呢？他仿佛看到母亲消瘦犯愁的脸上，那对美丽的大眼睛茫然无奈地盯着他而渐渐远去……
一周后，事情证实了，法院裁决由卓别林先生负责抚养两个孩子。校方派车把小哥俩送到了肯宁顿路287号，卓别林先生和他的第二个妻子露易丝住在那。说起来除了酗酒这毛病，卓别林先生对孩子还是爱的。而露易丝这个高大漂亮却愁容满面的女人，忧郁而烦躁。她已有一个孩子，又来了两个丈夫前妻的孩子，这增加了她的负担，使她快乐不起来。而且露易丝也偏爱杯中物，常常喝酒和咒骂雪尼，使查理害怕又发愁。她把小哥俩送进肯宁顿学校读书，7岁的查理开始接受正规教育。他十分懂事，一放学就回家帮助干活跑腿，周末下午拖地板、洗餐具。
一个星期六中午，查理放学回去，家中空无一人。原来卓别林先生和露易丝吵了架，两人都出去了，雪尼放了学踢球也没回。菜橱里空无一物，查理肚子也空空的，他孤单单地走出去，像安徒生童话中卖火柴的小女孩一样，饥肠辘辘地在肯宁顿路上徘徊。菜馆、酒店的橱窗里，烤牛排、烤猪排冒着热气，肉汁卤的土豆金黄诱人……入夜，街头艺人吹响了大箫，拉起了手风琴，《金银花和蜜蜂》的乐曲，在广场上空悠扬回旋……小查理沉醉在这富有情感的音乐里，艺术的独特魅力使他忘了饥饿和孤独。可是夜已深沉，人们都回家了，艺人们也不见了，查理疲倦地回到家，喝醉了的露易丝骂着不让进门。这使同样喝醉了的卓别林先生大为光火，一失手打晕了露易丝。这不是第一次，有一回她把查理、雪尼都关在门外，他俩只得睡在一个守更人的炉子边，引起有人向“防止儿童受虐待委员会”投诉……
