Да что Вы?
На самом деле эта задача решается гораздо проще. x либо равен y, либо нет.
Если x=y, то получи, что x^2=3, что невозможно.
Если x не равен y, то сравним их по абсолютной величине.
Т.к. уравнение "равноправно относительно x и y", то абсолютно всё равно, какое из чисел считать большим по модулю.
Допусти |y|>|x| ,
Тогда, если |x|>1, то
(xy)2>3y2>x2+|xy|+y2>=x2+xy+y2
Т.е. равенства левой и правой частей не возможно, значит либо х=1, либо х=-1, либо х=0.
При х=0 получаем у=0,
При х=1 получаем 1+у=0 => y=-1.
При х=-1 получаем 1-y=0 => y=1.