Oui pourquoi pas. Mais la diagonalisation m'a l'air plus dure à programmer. Déjà il faudrait savoir calculer les racines d'un polynome de n'importe quel degré etc. J'y réffléchirai après mes examens :-)

Matrices.class = Matrice.class en fait

Ben le problème est qu'il ne trouve pas la classe Matprog donc Matprog.java compilé.
Vérifie tu as bien compilé les 3 fichiers donc dans ton dossier tu dois avoir ces 3 fichiers :

Matprog.class
Matrices.class
Systeme.class

Si tu as ces 3 fichiers compilés dans le même dossier, que tu lances bien le programme et que tu as encore une erreur, je vois pas de solution à ton problème :-)
Mais le programme ne pose aucun problème à s'exécuter, cela doit venir de ton PC.

Non, c'est un programme console.
Donc tu ouvres une invit MS-Dos, tu te positionnes dans le dossier où se trouvent les classes compilées et tu tape : "java Matprog"