« La Cour » était, au Moyen-Age, la maison d’un propriétaire noble. L’expression « Château de la Cour » serait donc, en quelque sorte, une redondance. Son emplacement ne le destinait pas à un rôle stratégique mais plutôt à une fonction de surveillance et de refuge.
Cependant, de toutes les maisons fortes d’Annecy-le-Vieux, elle est probablement celle qui a gardé longtemps l’aspect le plus imposant, avec ses tours (au moins deux), ses fossés remplis d’eau et son pont-levis. En 1730, elle apparaît comme un bâtiment d’environ 30 m sur 40, avec des douves de 10m de large sur trois côtés.