چون $a,b$ ریشه های معادله ی $x^2-x-3=0$ هستند لذا $ab=-3$ و $a+b=1$
از طرفی چون $a^2-a-3=0$ لذا $$a^4=(a^2)^2=(a+3)^2=a^2+6a+9$$
لذا داریم:
$$\require{cancel}\begin{align}
a^4+b^2-6a-8&=a^2+\cancel{6a}+9+b^2-\cancel{6a}-8\\
&=(a+b)^2-2ab+1\\
&=(1)^2-2(-3)+1\\
&=8
\end{align}$$
