a²-b²=-3                                      a²=b²-3  

ab=-2      возведем в квадрат :  а²b²=4                (b²-3)*b²=4 -биквадратное уравнение

пусть b²=x≥0      х(х-3)=4    х²-3х-4=0     х=4   х=-1(не уд. усл. х≥0)

b²=4   b=±2

a²=4-3=1     a=±1

т.к. аb=-2, то знаки берем противоположные:

а=1, b=-2     или    а=-1, b=2