Первое замечание. Обозначить 1/√х = t

Тогда бы рассматривал систему линейных уравнений.

При переносе вправо потерял минус.

Далее t =1/√х ≤ 0    

         (не учтен знак равно.)               А в твоем случае 1/t =0  Т.е. а²-5а-6=0

И в условии а - целочисленные?

Тогда а=-3; -2; -1; 3; 4;  5;  6.