Il est armé chevalier de l'ordre Teutonique en 1498, avec la perspective d'en devenir le prochain Grand maître. Son élection officielle a lieu le . Frédéric mène d'emblée tout un train de réformes destinées à rétablir financièrement et militairement l’État teutonique et à protéger les simples sujets des confiscations arbitraires. Il décide d'abord d'un programme d'inspections à travers les territoires contrôlés par l'Ordre et nomme une commission de révision pour contrôler les dépenses. Frédéric établit ensuite un tribunal princier (Quatember) comme instance juridique suprême de l’État teutonique. En tout il s'attache à remodeler l’État teutonique sur le modèle des autres principautés du Saint Empire, et finalement entreprend avec succès une réforme monétaire. En peu d'années, Frédéric de Saxe sait ainsi s'imposer comme l'un des plus populaires Grand maître de l’ordre Teutonique.
En 1503 il réforme le découpage territorial de la Prusse pour uniformiser les lois et coutumes, puis en 1507 il met sur pied un ost fort de 18 000 miliciens issus de la bourgeoisie, répartis entre 10 000 fantassins et une milice de 8 000 hommes pour la défense des places.
Le refus obstiné de Frédéric de prêter serment d'allégeance au roi de Pologne (ce qui, en tant que prince allemand, lui est évidemment interdit) fait peser sur les provinces de l'État teutonique une menace de guerre avec la Pologne pendant toute la régence du prince Wettin. Pour sa sécurité personnelle, il fait d'ailleurs transplanter sa résidence de Kœnigsberg à Rochlitz en Saxe en 1507, confiant l'administration de la Prusse au Grand Commandeur de l'Ordre teutonique. Finalement à la suite de la Diète de Worms, Frédéric parvient en à faire abroger le Traité de Thorn (1466) au détriment de la Pologne.