1954年，8岁的诺尔斯偷了一辆自行车，从此成为了一个小偷，这种生活持续了数年之久，诺尔斯也因此被当地警方关注。不过这种小偷小摸很难人赃俱获，警方也就对他的行为睁一只眼闭一只眼，这种行为被诺尔斯理解为一种默许，于是他的犯罪行为也就越来越出格。
诺尔斯在这个时期并非没有受到一些处罚，他曾被送进佛罗里达州臭名昭著的多齐尔男校一段时间，这所寄宿制学校以“严格管理”著称，很多“问题少年”被送进了这样的学校，他们之中有的确实罪孽深重，而有的人，只是因为在学校厕所里抽了一根烟。那里所谓的严格管理其实是对男孩进行体罚，和诺尔斯一同进入这间学校的有300名男孩，其中有81个死在了那里。
从多齐尔男校出来后，诺尔斯更相信自己的能力，在他19岁那年，一名交警在诺尔斯违法交通法之后将其拦了下来，但让他没想到的是这个男孩居然反过来绑架了他。诺尔斯最终因此事被捕入狱，这也开启了他此后反反复复的监狱生涯，据后来人统计，诺尔斯的人生有一半时间是在监狱里度过的。
1974年，28岁的诺尔斯因为盗窃再次入狱。没想到在服刑期间，他和一名叫做安琪拉·维奇的加州离异女性成为了笔友。两人很快发展出了一段浪漫关系，不久就正式订了婚，安琪拉甚至还花钱为诺尔斯请了一位律师，帮助其获得假释。
