回国后,任教导总队骑兵少校连长,三七年任第二旅中校参谋主任,经历南京保卫战,1937年的冬天,他成了一个难民。“当时廖承担的是守护南京城的责任,南京失守后来不及撤退的他从马群搭一个农夫的马车躲过日军搜索,藏进栖霞寺。他12月13日当天进寺,带着5个军人。”廖耀湘一直在寺里藏身,直到栖霞寺的和尚和当时江南水泥厂难民营的辛德贝格和京特联系后,偷偷地将他用小船送到江北为止。
1945年抗战胜利后,廖耀湘曾经重游栖霞寺感谢救命之恩,并且题下了“凯旋,与旧友重还栖霞”,至今还留在栖霞寺。
1938年廖任二百师参谋长,参加兰封会战,桂南会战,四一年任新二十二师副师长,后任师长,入缅甸作战,失败入印度,接受美军训练和装备。四三年十月参加缅甸反击战,战功显赫。四四年升任新六军军长。
缅甸北部是热带树林,经常有野人出没,而被称为野人山。野人山全为原始密林之高山,极为险恶,大部队难以补给,重武器亦无法使用,日军精锐18师团55联队以小部队构筑据点逐山防阻,在野人山中到处可以见到第5军病困而死将士的白骨,常常是一堆白骨围着枪架而坐,这里躺着中国远征军近十万具遗骸。就在这样困难的情况下,新一军击败了日军精锐十八师团,自己的损失也非常大,所有的连级干部基本上换了一遍,可见战斗之残酷。
screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}">
史迪威与孙立人(左)、廖耀湘讨论作战计划
新一军38师师长孙立人因为不是黄浦系出身,后来的际遇不如廖好,之后在台湾因间谍策反,被蒋介石软禁了几十年。
抗战胜利后,蒋介石将新六军空运回国,参加内战。在离开之前,廖对那些留下来看管坟墓的伤兵们说:等着吧,我会回来接你们的。那种气魄,如同麦帅离开东南亚时的豪言壮语“吾将返回”。