Voilà comment on peut faire en dimension finie. Oubliez pour l'instant que vous travailler sur les matrices (F envoie une matrice sur une matrice). Je vais faire le cas général sans me préoccuper du cas particulier. On peut peut-être faire plus vite dans ce cas particulier. Et je ne cherche pas à rédiger style prépa.
Prenons $ G\colon\mathbb{R}^d\to\mathbb{R}^d $. L'ensemble $ GL_d(\mathbb{R} $ est un ouvert de $ \mathcal{M}_d(\mathbb{R}) $ est un ouvert. En effet, $ GL_d(\mathbb{R} $ est l'image réciproque par l'application déterminant de $ \mathbb{R}^* $ et l'application déterminant est continue. De plus, en passant par la comatrice, on observe que l'application
$$
GL_d(\mathbb{R})\to GL_d(\mathbb{R})\\
A\mapsto A^{-1}
$$
est de classe $ \mathcal{C}^\infty $.
Donc, si $ dG(x^*) $ est inversible, il existe $ r>0 $ tel que $ x\in\bar{B}(x^*,r) $ implique $ dG(x)\in GL_d(\mathbb{R}) $. Et
$$
\bar{B}(x^*,r)\to GL_d(\mathbb{R}
x\mapsto (dG(x))^{-1}
$$
est continue sur le fermé borné $ \bar{B}(x^*,r) $ donc borné (pour n'importe quelle norme car on est en dimension finie et donc en particulier pour n'importe quel norme subordonnée).
Maintenant $ F $ envoie des matrices de taille $ n $ sur des matrices de taille $ n $ et $ dF(x) $ appartient à $ \mathcal{L}(\mathcal{M}_n(\mathbb{R}),\mathcal{M}_n(\mathbb{R})) $ et tout ce qui est écrit plus haut s'applique quand on travaille sur des espaces de vecteurs colonnes. Et bien, cela ne change rien car out ce que l'on a écrit est valable en dimension finie car en tant qu'espace vectoriel $ \mathcal{M}_n(\mathbb{R}) $ est isomorphe à $ \mathbb{R}^{n^2} $.
Tout ce travail peut aussi être fait en dimension infinie (moyennant de travailler dans des espaces complets qui sont sortis du programme en 2013) mais c'est beaucoup plus compliqué.