Dans les chartes anciennes de Fontevrault, le lieu est déjà évoqué en 1192 et 1246 sous le nom de Columberium.

Ancienne maison noble avec chapelle, jardins et vastes clos de vigne, appartenant dans la première moitié du XVIII^ème siècle à Claude Pocquet de Livonnière, plus tard à Mme Robert des Marchais. Il s’y tenait des réunions demi-élégantes et demi-littéraires.

Dans son dictionnaire historique, Célestin Port nous le décrit comme « un beau château moderne aux héritiers de Mme de Villemorge, formé d’un grand corps de logis rectangulaire dont la cour s’ouvre par un élégant portail XVIII^ème siècle, de même style que celui de la chapelle, qui s’élève tout à l’entrée à gauche ». Deux dessins de M. Antoine Dubois, architecte, en témoignent.

Le domaine restera propriété de la famille Brillet de Villemorge jusqu’à la fin du XIX^ème siècle. Il appartiendra ensuite à la famille Le Brault de la Morinière.

En 1930, la propriété est vendue à l’association d’action éducative tenue par les Pères Blancs. En 1940, le Colombier est réquisitionné pour recevoir des soldats allemands et en 1944, il est transformé en prison politique.

Les bâtiments détériorés par l’occupation vont être restaurés par un contre-maître condamné pour collaboration. Il se chargea avec d’autres détenus, des travaux et fit même réaliser une chapelle dans l’aile ouest (avec remise en valeur de la charpente). Pour ce travail, tous furent graciés.

Acquis par le département de Maine-et-Loire en 1947, c’est maintenant un centre d’observation de jeunes : étude comportementale pendant quelques mois, en vue de leur orientation vers un centre spécialisé. Le Colombier, comme la Marmitière, dépendent de l’Association de Sauvegarde de l’Enfance et de l’Adolescence (A.S.E.A.).