باید روابط بین ریشه های معادله درجه سوم رو بلد باشید.
در حالت کلی در معادله درجه سوم $ax^3+bx^2+cx+d=0$ که دارای سه ریشه $x_1,x_2,x_3$ است را می توان به صورت $a(x-x_1)(x-x_2)(x-x_3)$ نوشت.
بنابراین
$$ax^3+bx^2+cx+d=ax^3-a(x_1+x_2+x_3)x^2+a(x_1x_2+x_1x_3+x_2x_3)x\\ -ax_1x_2x_3$$
(اینو به راحتی با ضرب $ a(x-x_1)(x-x_2)(x-x_3) $ میتونید به دست بیارید.)
در اینجا $x^3+0x^2+3x+5=0$ داریم $a=1,b=0, c=3, d=5$ .
اما داریم
$$(x_1+\frac 1{x_1})(x_2+\frac 1{x_2})(x_3+\frac 1{x_3})=\frac{(x_1^2+1)(x_2^2+1)(x_3^2+1)}{x_1x_2x_3}$$
بنابر آنچه در بالا گفتیم $x_1x_2x_3=-\frac da=-5$ و $x_1x_2+x_1x_3+x_2x_3=\frac ca=3$ و $x_1+x_2+x_3=-\frac ba=0$
چون $x_1,x_2,x_3$ در معادله صدق می کنند و هیچکدام صفر نیستند(چرا؟) پس برای $i=1,2,3$داریم
$$ x_i^2+1=\frac{-5-2x_i}{x_i} $$
لذا
$$(x_1^2+1)(x_2^2+1)(x_3^2+1)=(\frac{-5-2x_1}{x_1})(\frac{-5-2x_2}{x_2})(\frac{-5-2x_3}{x_3})\\
=-\frac{125+50(x_1+x_2+x_3)+20(x_1x_2+x_1x_3+x_2x_3)+8x_1x_2x_3}{x_1x_2x_3}\\=-\frac{125+50(0)+20(3)+8(-5)}{-5}=29$$
البته $(x_1^2+1)(x_2^2+1)(x_3^2+1)$ رو میتونید به طور مستقیم هم حساب کنید. چون برابر است با $$(x_1x_2x_3)^2+((x_1x_2)^2+(x_1x_3)^2+(x_2x_3)^2)+(x_1^2+x_2^2+x_3^2)+1$$
و $$(x_1^2+x_2^2+x_3^2)=(x_1+x_2+x_3)^2-2(x_1x_2+x_1x_3+x_2x_3)=(0)^2-2(3)=-6$$
و $$(x_1x_2)^2+(x_1x_3)^2+(x_2x_3)^2=(x_1x_2+x_1x_3+x_2x_3)^2-2(x_1+x_2+x_3)(x_1x_2x_3)=(3)^2-2(0)(-5)=9$$
بنابراین $ (x_1^2+1)(x_2^2+1)(x_3^2+1)=25-6+9+1=29 $
بنابراین
$$(x_1+\frac 1{x_1})(x_2+\frac 1{x_2})(x_3+\frac 1{x_3})=\frac{29}{-5}$$
