كيف يتم حساب الانحدار الخطي

الانحدار الخطي، ببساطة

الانحدار الخطي هو طريقة لنمذجة علاقة بين كميتين:

• x: المُدخل (المتغير المستقل)
• y: المخرج (المتغير التابع)

تفترض النمذجة أن y تتغير تقريبًا بنمط خط مستقيم عندما تتغير x. كلمة “تقريبًا” مهمة: فالبيانات نادرًا ما تتبع خطًا دقيقًا، لذلك تتضمن النمذجة حدًا للخطأ.

أكثر نسخة شائعة هي المربعات الصغرى العادية (OLS)، والتي تختار خطًا مستقيمًا يجعل أخطاء التنبؤ الإجمالية صغيرة قدر الإمكان.

الحساب: النموذج والصيغة

يُكتب نموذج الانحدار الخطي على النحو التالي:

[ \hat{y} = a + b x ]

حيث:

• (\hat{y}) هي القيمة المتوقعة لـ y
• (a) هو الاعتراض (قيمة y المتوقعة عندما تكون x = 0)
• (b) هو الميل (كم تتغير (\hat{y}) عندما تزيد x بمقدار 1)

لحساب a و b، يستخدم OLS فكرة تقليل مجموع البواقي المربعة.

البواقي وهدف المربعات الصغرى

بالنسبة لنقاط البيانات ((x_i, y_i)) حيث (i=1,2,\dots,n):

• الباقي (Residual): (e_i = y_i - \hat{y}_i)
• مجموع البواقي المربعة: (\sum_{i=1}^{n} e_i^2)

يختار OLS (a) و (b) لتقليل هذا المجموع.

الميل (b)

هناك صيغة حسابية شائعة للميل:

[ b = \frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2} ]

هنا:

• (\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i)
• (\bar{y} = \frac{1}{n}\sum_{i=1}^{n} y_i)

فكرة حدسية: البسط هو التزامن/الترافق في الحركة بين x و y (كيف تتوافق انحرافات x مع انحرافات y). والمقام هو مدى انتشار x حول متوسطها.

الاعتراض (a)

بمجرد معرفة (b)، يأتي الاعتراض من شرط أن يمر الخط الملاءم بالنقطة ((\bar{x},\bar{y})):

[ a = \bar{y} - b\bar{x} ]

ما البيانات التي تحتاجها (وما الذي يجب أن يكون صحيحًا)

لحساب انحدار خطي بسيط تحتاج إلى:

1. مجموعة من المشاهدات المزدوجة ((x_i, y_i)) حيث (i=1\ldots n).
2. تباين كافٍ في x، أي (\sum (x_i-\bar{x})^2 \neq 0). إذا كانت كل قيم x متطابقة، فإن الميل يكون غير محدد.
3. معنى واضح لـ x و y لحالتك. تنتج النمذجة دائمًا توقعات؛ ولا تخبرك تلقائيًا أن العلاقة سببية.

الافتراضات وراء ملاءمة “خط مستقيم”

تأتي حسابات OLS مع افتراضات تؤثر على التفسير:

• إن صيغة الخط (a + bx) هي تقريب مناسب لنمط البيانات.
• تُعامل الأخطاء عادةً على أنها غير مرتبطة بـ x (وبشكل أدق، غالبًا ما يُفترض أن الباقي المتوقع عند x يساوي 0).
• يجب ألا تُظهر البواقي بنية منهجية؛ فإذا حدث ذلك، فقد يكون اختيار خط مستقيم خيارًا ضعيفًا.

هذه افتراضات حول كيفية سلوك البيانات، وليست حول المستقبل.

تحقق عملي مع مثال صغير (بدون برامج خاصة)

افترض أن لديك 3 نقاط:
((x_1,y_1),(x_2,y_2),(x_3,y_3)). لحساب خط الانحدار:

1. احسب (\bar{x}) و (\bar{y}).
2. احسب البسط:
   (\sum (x_i-\bar{x})(y_i-\bar{y})).
3. احسب المقام:
   (\sum (x_i-\bar{x})^2).
4. احسب (b) كناتج البسط ÷ المقام.
5. احسب (a = \bar{y} - b\bar{x}).

للتأكد، احسب كل قيمة ملاءمة (\hat{y}_i = a + b x_i)، ثم احسب البواقي (e_i = y_i-\hat{y}_i). إذا كانت البواقي كبيرة أو تُظهر نمطًا منحنيًا بدلًا من كونها عشوائية، فهذا يشير إلى أن الشكل الخطي البسيط قد لا يطابق البيانات جيدًا.

القيود وأوضاع الفشل

على الرغم من أن الحسابات الحسابية مباشرة، قد يكون الانحدار الخطي مضلِّلًا عندما تنتهك البيانات الفكرة الكامنة وراء النموذج.

1) علاقات غير خطية

إذا كانت العلاقة الحقيقية منحنية (على سبيل المثال، ترتفع ثم تنخفض)، فسيقوم الخط المستقيم بأخذ متوسط عبر هذا السلوك. قد يظل المخرج يقلّل الأخطاء المربعة، لكنه قد يخفي بنية مهمة.

2) القيم الشاذة قد تسيطر

لأن الأخطاء تُربّع في هدف القياس، فقد تؤثر النقاط المتطرفة بقوة على (a) و (b). قد يؤدي رصد واحد غير معتاد إلى تغيير كبير في الخط الملاءم.

3) يجب أن تتغير x

إذا لم يكن لـ x أي انتشار (كل قيم x متطابقة)، يصبح المقام في صيغة الميل يساوي صفرًا. في هذه الحالة، لا يمكنك حساب ميل ذي معنى.

4) “ملاءمة جيدة” لا تعني بالضرورة فائدة مستقبلية

قد تتغير الأنماط التاريخية. يصف الانحدار المُلائم على بيانات الماضي كيف سلكت البيانات في ذلك المجموع؛ ولا يثبت أن النمط نفسه سيستمر.

التحقق: كيف تفحص نتيجتك بشكل مستقل

للتحقق بشكل مستقل من انحدار خطي محسوب، يمكنك:

1. إعادة حساب (\bar{x}) و (\bar{y}).
2. إعادة حساب الميل (b) باستخدام صيغة الانحرافات.
3. إعادة حساب الاعتراض (a = \bar{y}-b\bar{x}).
4. توليد القيم الملاءمة (\hat{y}_i) والبواقي (e_i).
5. فحص البواقي:
   • هل هي في الغالب صغيرة؟
   • هل تبدو مبعثرة عشوائيًا، أم تُظهر أنماطًا منهجية؟

إذا لم تتطابق أي قيمة محسوبة مع إعادة حسابك، فغالبًا تكون المشكلة عدم تطابق في المدخلات (ترابط مختلف بين x/y، أو خلط في الوحدات، أو ترتيب خاطئ)، وليس صيغ الانحدار.

السؤال التالي للتوضيح

قبل تطبيق أو تفسير الانحدار الخطي، يساعد على توضيح ما تمثله x وما إذا كان تقريب الخط المستقيم معقولًا لهذه البيانات. إذا كنت تريد المضي قدمًا، فإن مقارنة الانحدار الخطي بأفكار مرتبطة مثل الارتباط أو أنواع مختلفة من الانحدار (مثل النماذج ذات المزيد من المتغيرات التفسيرية) يمكن أن يوضح ما الذي يتغير في الحساب وما الذي يبقى كما هو.