Решение задачи:

По условию задачи ∠KAC>90°, т.е. это наибольший угол в треугольнике AKC следовательно, сторона KC, противолежащая этому углу тоже наибольшая (по теореме о соотношениях между сторонами и углами треугольника). Сторона AC равная 2√5 - наибольшая сторона исходного треугольника ABC (т.к. 2<√11<2√5). Следовательно, угол ABC - наибольший угол треугольника ABC.
По условию задачи треугольник KAC подобен исходному треугольнику ABC. А значит углы этих треугольников соответственно равны (по определению подобных треугольников). Поэтому наибольшие углы двух рассматриваемых треугольников равны, т.е. ∠KAC=∠ABC. ∠ACK не равен ∠ACB ( т.к. KC пересекает сторону AB в точке, отличной от B), поэтому ∠ACK = ∠BAC. Следовательно, ∠AKC=∠ACB => cos(∠AKC)=cos(∠ACB).
Применяя теорему косинусов мы можем записать AB²=AC²+BC²-2*AC*BC*cos(∠ACB).
(√11)²=(2√5)²+2²-2*2√5*2*cos(∠ACB);
11=4*5+4-8*√5*cos(∠ACB);
11-24=-8*√5*cos(∠ACB);
13=8*√5*cos(∠ACB);
cos(∠AKC)=cos(∠ACB)=13/(8*√5)
Ответ: cos(∠AKC)=13/(8*√5)