Решение задачи:

-28ab-2(a-7b)² = -28ab-2(a²-2a*7b+(7b)²) = -28ab-2(a²-14ab+49b²) = -28ab-2a²+28ab-98b² = -2a²-98b².
При a=√13, b=√3:
-2(√13)²-98(√3)² = -2*13-98*3 = -26-294 = -320
Ответ: -320