اگر دنبال مرجعی برای خواندن در این مورد هستید میتونید کتاب های آنالیزحقیقی فولند فصل Elements of Fourier Analysis رو ببینید.
اما در مورد سوالی که گفتید چرا $(\mu*\nu)(E)=\int \mu(E-t)d\nu(t)$ به این دلیل هست که بنابر تعریف
$$(\mu*\nu)(E)=\mu\times \nu(\alpha^{-1}(E))$$
که $\alpha:\mathbb R\times \mathbb R\to \mathbb R$ به صورت $\alpha(x,y)=x+y$ تعریف می شود.
اما برای هر $E\subset \mathbb R\times \mathbb R$ می دانیم که
$$(\mu\times \nu)(E)=\int \mu(E^y)d\nu(y)$$
که $E^y=\{x:(x,y)\in E\}$ .
بنابراین
$$(\mu*\nu)(E)=\int\mu((\alpha^{-1}(E))^y)d\nu(y)$$
اما
$$(\alpha^{-1}(E))^y=\{x:(x,y)\in \alpha^{-1}(E)\}=\{x:x+y=\alpha(x)\in E\}=E-y$$
و لذا $ (\mu*\nu)(E)=\int \mu(E-y)d\nu(y) $