從日治時期以來，阿里山車庫素有臺灣最高的火車車庫之稱，它與過去嘉義北門修理工場的嘉義車庫，恰好為登山火車上山與下山的車輛集中保養場所。
歷史上阿里山車庫，一共換過三個不同的地點。早年通車初期，它的木造車庫是建築在沼平舊車站往眠月方向的左側，也就是今日的阿里山閣飯店的所在地。後來民國60年代，一度改遷至右側。民國70年1月，阿里山車站遷移至第四分道後，新的阿里山車庫又改在第四分道路段的終端延伸位置，也就是阿里山新站的尾端，以鋼筋水泥建築提供各式火車停放。民國86年起，又以全新的鋼架結構改建完成，每天清晨3點祝山線火車在此地整備待發，為阿里山鐵路的營運開啟嶄新的一天。