به محفل ریاضی ایرانیان خوش آمدید! لطفا برای استفاده از تمامی امکانات عضو شوید
+1 امتیاز
248 بازدید
در دانشگاه توسط Amin4568 (6 امتیاز)
ویرایش شده توسط AmirHosein

در درس آمار مهندسی سوال زیر داده‌شده‌است. برای خط رگرسیون سادهٔ مقیدی که از مبدأ مختصات می‌گذرد اطلاعات زیر را داریم. $$\begin{align} \sum x_iy_i &= 480\\ \sum x_i^2 &= 20\\ \sum y_i^2 &= 16 \end{align}$$ که بر اساس یک نمونهٔ تصادفیِ ۱۰تایی داده شده است. شیب رگرسیون را بدست آورید.

مرجع: کتاب آمار ریاضی و کاربردهای آن، نوشتهٔ جان فروند، ترجمهٔ محمدقاسم وحیدی‌ِاصل و علی عمیدی، انتشارات نشر دانشگاهی

1 پاسخ

+1 امتیاز
توسط AmirHosein (19,718 امتیاز)

پس شما دو متغیر تصادفی $X$ و $Y$ دارید که فرض کرده‌اید می‌توان $Y$ را بوسیلهٔ یک رابطهٔ خطی از $X$ پیش‌بینی کرد. پس باید $a$ و $b$ای موجود باشند که $$Y=aX+b+e$$ که در آن $e$ خطای تقریب (خطای پیش‌بینی) است. چون گفته‌اید رابطهٔ خطی‌تان از مبدأ می‌گذرد پس فرض کرده‌اید که $b=0$. در نتیجه برای مدل‌تان تنها یک پارامتر دارید. مسلما دوست دارید این پارامتر را عددی برگزینید که مدل‌تان پیش‌بینی بهتری انجام دهد، پیش‌بینی بهتر یعنی داشتن خطای کمتر. اما قرار نیست تنها در یک نقطه مدل استفاده شود و همانطور که اشاره کرده‌اید چندین دادهٔ قبلی دارید (در پرسش شما ۱۰ داده)، چگونه همزمان نسبت به ۱۰ داده که ۱۰ خطا به شما می‌دهند مدل را کمینه کنیم؟ باید خطاها وزنی داشته باشند و اثری، یک ایده استفاده از جمع مجذور خطاهاست. پس هر خطایی اثر دارد و مدل ما به این نحو نخواهد شد که یک خطا را کوچک ولی خطای دیگری را به شدت بزرگ کند، به طوری نسبتا عادلانه سعی می‌کنیم همهٔ خطاها را با هم پائین بیاوریم. به هر حال این تصمیم را می‌گیریم که معیارِ خوبی و بدی مدل را کمیت عددیِ $\sum e^2$ قرار دهیم. در نمادگذاری‌های اینجا توجه کنید که تمامی جمع‌هایی که اینجا می‌نویسم دارای کران‌های $i=1$ تا $n$ که $n$ تعداد داده‌های قبلی‌مان است هستند، در مورد پرسش شما $n=10$، پس بریا نمونه باید می‌نوشتم $\sum_{i=1}^{10}e^2$ و توجه می‌کنیم که در جمع‌هایم تمامی حروف غیر از پارامترِ $a$ باید اندیس داشته باشند یعنی $\sum_{i=1}^{10}e_i^2$ که $e_i$ خطای مدل در دادهٔ $i$اُم است. پس بهترین انتخاب برای $a$، مقداری است که این کمیتِ معرفی‌شده کوچکترین عدد ممکن بشود. اما پیش از رفتن به سراغ یافتن این پارامتر ابتدا خطای مدل در داده‌های قبلی را بشناسیم. خطا چیز جدیدی نیست، در خیلی جاهای دیگر با این مفهوم آشنا شده‌اید. خطا یعنی تفاضل مقدار حقیقی و مقدارِ اندازه‌گیری‌شده (یا در اینجا می‌توانید بگوئید مقدار پیش‌بینی‌شده). معمولا قدرمطلق هم برایش می‌گذارید، ولی اینجا با مجذور این مفهوم کار داریم پس با یا بدون قدرمطلق فرقی برایتان نخواهد داشت. اما خطا برای اندازه‌گیری چه چیزی؟ $Y$. مقدارِ حقیقیِ $Y$ در دادهٔ $i$اُم را با $y_i$ نمایش دهید. مقداری که مدل اندازه می‌گیرد (پیش‌بینی می‌کند) چطور؟ برابر با $ax_i$ است که $x_i$ مقدارِ $X$ در دادهٔ $i$اُم است. پس داریم $$e_i=y_i-ax_i$$ از روی شکل اولیهٔ مدل‌مان در خط‌های نخست هم می‌توانستید این را ببینید. به هر حال، پس به دنبالِ کمینه کردنِ مقدار زیر هستیم. $$\sum(y-ax)^2$$ به یاد آورید که گفتم از گذاشتن کران‌های جمع و اندیس‌های حروف صرف نظر کردم و اعتماد کرده‌ام که شما متوجه‌شان می‌شوید و برایتان ابهام نمی‌شود (امیدوارانه). اما توجه کنید که چون این کمیت را فقط روی داده‌های از پیش داشته‌مان تعریف کرده‌ایم پس همهٔ $y_i$ها و $x_i$های درون جمع را داریم. چه چیزی را نداریم؟ فقط $a$. پس می‌توانیم این جمع را به چشم یک تابعِ تک‌متغیره با متغیرِ $a$ ببینیم (این متغیر، متغیر تصادفی نیست، متغیر معمولی است همچون متغیرهایی که در معادله‌ها می‌بینید). پس بیایید برای آن نامِ $f(a)$ بگذاریم و آن را ساده کنیم و به شکل یک تابع درست و حسابی و تمیز از $a$ بنویسیم. $$\begin{align} f(a) &= \sum(y-ax)^2\\ &= \sum(y^2-2ax+a^2x^2)\\ &= (\sum y^2)-2a(\sum xy)+a^2(\sum x^2)\\ &= (\sum x^2)a^2-2(\sum xy)a+(\sum y^2) \end{align}$$ همانطور که می‌بینید یک تابع درجه‌دو با ضریبِ پیشروی1 مثبت است (چون جمع مجذور یک سری عدد است). پس نمودار آن یک سهمی با تو رفتگی است (شاخه‌هایش رو به بالاست). در نتیجه دارای یک نقطهٔ کمینهٔ مطلق است. امیدواریم که به یاد داشته‌باشید که این نقطه جایی است که مشتق تابع برابر با صفر می‌شود. پس برای یافتنِ مقدارِ $a$ای که $f(a)$ کمترین مقدار ممکنش را می‌گیرد کافیست برابریِ (معادلهٔ) $f'(a)=0$ را حل کنیم. $$\begin{array}{l} f'(a)=2(\sum x^2)a-2(\sum xy)\\ f'(a)=0\Longrightarrow a=\frac{\sum xy}{\sum x^2} \end{array}$$ پس در مورد پرسش شما این پارامتر برابر می‌شود با $a=\frac{480}{20}=24$ و هیچ یک از داده‌های دیگر یعنی $n$ و $\sum y^2$ اصلا نیاز نشدند.


  1. ضریبِ بزرگترین جمله، ضریبِ عبارتی که $a$ بیشترین توان را دارد، در اینجا ضریب عبارت با توان ۲. ↩︎

بزرگترین ریاضیدانان، همچون ارشمیدس، نیوتن و گاوس، همواره نظریه و کاربردها را در اندازه ی یکسان در هم می آمیزند.
...