اولین کار این است که ریشه های مخرج را جدا کنیم.
از $\cos x+\cos 2x=0$ داریم
$$\begin{align}\cos x+(2\cos^2x-1)&=0\\
2\cos^2x+\cos x-1&=0\end{align}$$
با قرار دادن $y=\cos x$ داریم $2y^2+y-1=0$ لذا $\Delta=9$ و
$y=\frac{-1\pm \sqrt 9}{4}=\frac{1}{2},-1$ . از $ $ . از $\cos x=\frac 12$ داریم $$\color{red}{x=2k\pi\pm \frac\pi3=(6k\pm 1)\frac{\pi}{3}}$$ .
و از $\cos x=-1$ داریم $$\color{red}{x=2k\pi+\pi=(2k+1)\pi }$$ .
از طرف دیگر چون $\cot x=\frac{\cos x}{\sin x}$ و $\sin x=0$ داریم
$$\color{red}{x=k\pi} $$ .
حال معادله را با طرفین وسطین و توجه به اینکه $ \cos(\alpha+\beta)=\cos\alpha\cos\beta-\sin\alpha\sin\beta $حل می کنیم:
$$\begin{align}\sin^2x+\sin x\sin 2x&=\cos^2x+\cos x\cos 2x\\
\underbrace{\cos ^2x-\sin ^2 x}&+\underbrace{\cos x\cos 2x-\sin x\sin 2x}&=0\\
\cos 2x&+\cos 3x&=0\\
&2\cos\frac{5x}2\cos\frac{x}2&=0\end{align}$$
بنابراین یا $\cos \frac{5x}2=0$ یا $\cos \frac x2=0$
از $\cos \frac{5x}2=0$ خواهیم داشت $\frac{5x}2=k\pi+\frac\pi2 $ یعنی
$$x=\frac{2k\pi}5+\frac\pi5=(2k+1)\frac\pi5 $$
و از $\cos \frac x2=0$ داریم $\frac x2=k\pi+\frac\pi2$ یعنی $$x=2k\pi+\pi $$
اما $x=2k\pi+\pi$ در بالا ذکر شد که مخرج را صفر می کند پس قابل قبول نیست.
اما آیا $ x=(2k+1)\frac\pi5 $ با سه تا مورد بالا در جایی برابر می شود؟ که باید آن نقاط را برداریم. مثلا
اگر $(2k+1)\frac\pi5=(6k'+1)\frac{\pi}3 $ آنگاه $k=5k'+\frac 13 $ که امکان پذیر نیست چون باید $k$ عدد صحیح باشد ولی $5k'+\frac 13$ عدد صحیح نمی شود. و همچنین از $ (2k+1)\frac\pi5=(6k'-1)\frac{\pi}3 $ نتیجه می شود به طور مشابه که امکان پذیر نیست.
اما اگر $(2k+1)\frac\pi5=(2k'+1)\pi $ در اینصورت داریم $2k+1=10k'+5$ یعنی $k=5k'+2$ . پس تمام عبارات به صورت $(2k+1)\pi$ را شامل می شود.
و اگر $(2k+1)\frac\pi5=k'\pi$ آنگاه $k=\frac{5k'}2-\frac 12$ که این هم امکان پذیر است.
بنابراین جواب به صورت $$x=(2k+1)\frac\pi5$$
خواهد بود که $x\neq (2k+1)\pi,k\pi$ . اما چون $k\pi$ شامل $(2k+1)\pi$ هم می شود لذا جواب به صورت ساده برابر است با
$$\{(2k+1)\frac \pi5:k\in\mathbb Z\} \setminus \{k\pi:k\in\mathbb Z\}\big)$$
