C'est probablement dès avant le XIe siècle, que fut construite la première fortification en bois sur un éperon rocheux situé entre le gave de Pau et l'un de ses affluents, le Hédas. Pau, en occitan, signifierait d'ailleurs "palissade de pieux".

De ce premier ouvrage modeste, et tirant parti d'un site naturel favorable à la fortification, les vicomtes de Béarn construisirent, à partir du XIe siècle, un château fort d'une rude simplicité.

Il subsiste de cette période, l'actuelle tour Mazères, au sud, haute de 22m30 avec des murs de 1m65 d'épaisseur, et plus tard la tour Montauser (XIIIe siècle), au nord, haut donjon carré en pierre.