Решение задачи:

По условию задачи /KAC>90°, т.е. это наибольший угол в треугольнике AKC следовательно, сторона KC, противолежащая этому углу тоже наибольшая (по теореме о соотношениях между сторонами и углами треугольника). Сторона AC равная 2√5 - наибольшая сторона исходного треугольника ABC (т.к. 2<√13<2√5). Следовательно, угол ABC - наибольший угол треугольника ABC.
По условию задачи треугольник KAC подобен исходному треугольнику ABC. А значит углы этих треугольников соответственно равны (по определению подобных треугольников). Поэтому наибольшие углы двух рассматриваемых треугольников равны, т.е. /KAC=/ABC. /ACK не равен /ACB ( т.к. KC пересекает сторону AB в точке, отличной от B), поэтому /ACK = /BAC. Следовательно, /AKC=/ACB => cos(/AKC)=cos(/ACB).
Применяя теорему косинусов мы можем записать AB²=AC²+BC²-2*AC*BC*cos(/ACB).
(√13)²=(2√5)²+2²-2*2√5*2*cos(/ACB);
13=4*5+4-8*√5*cos(/ACB);
13-24=-8*√5*cos(/ACB);
11=8*√5*cos(/ACB);
cos(/AKC)=cos(/ACB)=11/(8*√5)
Ответ: cos(/AKC)=11/(8*√5)