Запиши уравнения в виде:

у = х - 5      - прямая (строится по двум точкам)

у = 3/x   - гипербола,   составь таблицу значений:

х |   -9     -3   -2   -1   1   2   3   9

у | -1/3    . . . 

Вычисли у для каждого х.   И построй гиперболу по точкам.

Найди точки пересечения гиперболы и прямой. Координаты и будут решением этой системы.