1954年9月14日，李敖走进台湾大学校园，19岁的他抬头看蓝天白云，左顾右盼郁郁葱葱的棕榈树，台湾大学校园的美景马上抓住了青年的心。大学是个性张扬的地方，大学是思想奔放的地方。李敖觉得自己终于可以大展手脚干一番了。正如他在诗《胆》中所云：我走我的路，别人怎能管?只手打天下，一身都是胆。
临到上课，不到20岁已博览群书的李敖极其顽皮，专挑老师的错。
教“刑法总则”的老师讲到李大钊的死，失言了，李敖马上纠正。教英文的老师满口上海腔，把“Lib?鄄erty”念成“喇比利台”，李敖听了当场大笑。教“经济学”的老师有一次被李敖劈头大声问道：“三民主义到底有没有瑕玷啊?”他应声脱口而出：“当然有啊!”李敖追问：“瑕玷在哪里啊?”他厉声回答：“我不敢讲啊!”全班为之哄堂大笑。而这位老师更是李敖纠正的对象，两人甚至在课堂大吵过。
李敖看不起别人，不喜欢上课，连考试都懒得应付。大一时8门课，有3门不及格，甚至连中文都差点不及格。大一总成绩，第一学期只有71.31分，第二学期只有65.45分，成绩之烂，一望便知。但李敖从不作弊，不是他不想，而是他不屑，而且他觉得自己也不需要好成绩，他觉得做一个真正的自己，比得到一个好成绩更主要。
“不畏浮云遮望眼，只缘身在最高层”，李敖始终自认为有学问，只是不屑上课和应付考试而已。
那时候，香港有本杂志《大学生活》称台大有“四怪三丑”，而“怪丑之尤”便是“长袍怪”李敖，可见李敖在台大的确特立独行，够狂够野。他自己更宣称：没有一个人敢说他没见过文学院那个穿长袍的，除非他是瞎子，可瞎子也得听说过李某人，除非他依然聋子。
为什么大热天穿长袍?李敖有自己的理论，他在《长袍心理学》一文中自述他穿长袍时的情状：一袭在身，随风飘展，道貌岸然，风姿翩翩然，屈指算来，数载于兹矣!不分冬夏，不论晴雨，不管女孩儿笑于前，恶狗吠于后，我行我素，吾爱吾袍。
在法律系学习了287天后，李敖突然之间之间之间向所有人宣布——弃法从文，重考文学院!
李敖本来志在学文，不在弄法，只因几分之差，没考入台大文学院，进入法学院。但台大学生不能重考本校，得先自动退学才成。退学后李敖恶补数学，考了59分，得以在1955年考入台大文学院历史系，从此告别了法学院。
当他走进文学院的课堂后，很快又发现这里的学者根本不像外界传言的那样神通宽大，六七个外文系的大一英文教师都搞不清美国文学家萨洛扬是谁!一个大学一年级的“饱学之士”，面对这些“巍巍乎可畏､赫赫乎可象”的“为人师表”们，心中的梦彻底破灭了。
那个天堂般的大学怎么是这样的呢?
但是这一次，李敖真的安定下来，他决定让自己歇息一段时间，重新整理自己的思路。从此，李敖不再为台大的美景所吸引，他走上了一条与其他人“辨别东西南北流”的道路，教授教他们的，李敖学自己的。
李敖拿起一本书，躲进树荫里，任风儿将书吹到哪一页，他便从那里开始读，直读到“夕阳无限好”，然后回宿舍。
李敖邀上挚友，游山､玩水､饮酒､吵架，深更半夜在草地上大谈到天明……从这些社走运动中，李敖学到更多书本上学不到的。
李敖也像文学青年一样多愁善感：为朋友纷争，为女友离去，为事业无成……他甚至尝试自sha，但终能从痛苦中走出来，锻铸出钢铁般的性格。
在台大毕业答辩的时候，3个教授坐在李敖面前半小时后对他说：“李敖，你答辩通过了。”李敖说：“你们什么也没说啊，我也没发言啊。”教授说：“我们知道一开口一定会被你驳倒的，所以依然不说了。”
李敖用他的“我行我素”，达成为无人管的心愿。