Supposons que la matrice $A$ est inversible. Pour tout vecteur $B$, on a alors :
$$\ds AX=B\iff X=A^{-1}B$$donc le système admet une unique solution.

Supposons que, pour tout vecteur $B$, le système $AX=B$ admet une unique solution. On note $(E_{1},\dots,E_{n})$ la base canonique de $\mathcal{M}_{n,1}(\R)$. Pour tout $i\in[\![1,n]\!]$, le système $AX=E_{i}$ admet donc une solution $C_{i}$ unique. Soit alors $A'$ la matrice de $\mathcal{M}_{n}(\R)$ dont les colonnes sont $C_{1},\dots,C_{n}$. Alors :
$$\ds AA'=A(C_{1}\dots C_{n})=(E_{1}\dots E_{n})=I_{n}$$donc $A'A=I_{n}$ aussi. On en déduit que $A$ est inversible.