Tā ir bijusī Alūksnes muižas siltumnīca, kurā kādreiz audzētas palmas, no kā celtne arī aizguvusi savu nosaukumu. Siltumnīca celta 18.gs beigās un tajā barona stils apvienojas ar klasicismu. Sākotnēji palmu mājai bijis iestiklots jumts un stikla priekšsienas ar garā rindā iekārtotiem logiem. Centrālās daļas telpas grezno bagātīgs dekors klasicisma stilā. Apakšējā stāva zālei ir balkons.
20.gs sākumā muižas īpašnieks izpārdevis siltumnīcā esošos mākslas darbus un sānu spārnos ierīkojis dzīvokli kučierim. Stikla jumta vietā izbūvēts skārda jumta segums un uzceltas mūra sienas. 1933.gadā māja pārvērsta par eļļas spiestuvi, bet 1941.gadā šeit ierīkota koncentrācijas nometne.
Vēlāk palmu mājā izvietots Alūksnes autobusu parks. Šobrīd Palmu māja ir privātīpašums.