هادی امامی

Outliers present a major challenge in statistical analysis, especially in regression modeling. While ridge regression is commonly used to manage multicollinearity, it becomes less effective when outliers are involved due to its reliance on least squares estimation. To overcome this issue, Silvapulle,1991 introduced a ridge-type M-estimator specifically designed for handling outliers. Building on this approach, Acitas and Senoglu ,2019 developed a ridge-type estimator based on modified maximum likelihood (MML) estimation, which offers greater robustness against outliers, particularly when the error distribution follows long-tailed symmetry (LTS). This M.Sc. thesis aims to compare the performance of three estimators: the traditional ridge estimator, Silvapulle’s ridge-type M-estimator, and Acitas and Senoglu’s ridge-type MML estimator. The goal is to evaluate these estimators using the mean square error (MSE) criterion through Monte Carlo simulations and real-world datasets. By comparing these methods, the study seeks to identify the best technique for managing outliers and improving the accuracy of regression models. The research includes both a theoretical review and an empirical analysis. The theoretical component involves a comprehensive review of ridge regression, M-estimators, and the ridge-type MML estimator, with a focus on their statistical properties and outlier robustness. The empirical analysis will use Monte Carlo simulations to test the estimators under various conditions of multicollinearity and outlier contamination, as well as apply them to real-world datasets to validate their practical effectiveness. This study is expected to provide insights into the comparative strengths and weaknesses of the traditional ridge estimator, Silvapulle's ridge-type M-estimator, and the ridge-type MML estimator from Acitas and Senoglu. These findings will contribute to the field of robust regression modeling and offer practical value to statisticians, researchers, and practitioners, helping them handle outliers more effectively and improve regression model accuracy.

مدل های خطی نیمه پارامتری به دلیل داشتن ویژگی های جالبی که ترکیبی از مدل های کاملا́ پارامتری و کاملا́ ناپارامتری دارند، توجه بسیاری از پژوهشگران را به خود جلب کرده اند. این مدل ها با استفاده از ترکیب ویژگی های هر دو نوع مدل، امکان ارائه تحلیل های دقیق تر و انعطاف پذیرتری را در مطالعات رگرسیون فراهم می کنند. در برازش هر مدل از جمله مدل رگرسیون نیمه پارمتری ممکن است اطلاعات کامل متغیر ها در دسترس پژوهشگر نباشد و با مسئله سانسور روبرو شود . اگر متغیر پاسخ برای کسری از مشاهدات سانسور شده باشد برآورد پارامترهای بدست آمده توسط روشهای رگرسیون مرسوم، اریب خواهند بود. در این پایانامه روش براورد مناسب پارمترها در مدل رگرسیون نیمه پارامتری در مواجه با داده های سانسور شده پیشنهاد شده است. علاوه بر داده های سانسور شده، یکی دیگر از مشکلاتی که ممکن است مدل رگرسیون نیمه پارامتری با آن مواجه شود مسئله حضور هم خطی در متغیر های توضیحی است. هم خطی مشکل ساز است و اثرات آن روی جنبه های متفاوت مدل های رگرسیونی شناخته شده است از جمله باعث تورم واریانس و علامت های اشتباه برآوردهای رگرسیونی و یا عدم اعتبار متغیرهای مهم می‌شود. در اینجا برای مواجه با همخطی در مدل های خطی نیمه پارامتری سانسور شده استفاده از براوردگر های ستیغی پیشنهاد شده است. از آنجایی که پژوهشگران شواهد زیادی برای داده های دور افتاده و اثرات نامطلوب آن بر برآوردهای پارامترهای مدل رگرسیونی ارائه داده اند استفاده از براوردگرهای کمترین توان دوم پیراسته‌ یک روش قدرتمند برای تحلیل رگرسیون در حضور داده های نامطلوب است. با کاهش تاثیر مشاهدات دورافتاده، این روش می‌تواند نتایج قابل اعتمادتر و پایدارتری را ارائه دهد. تعمیم این براوردگرها به جهت سادگی تعریف و نقطه فروریزش بالا و استوار در برابر دورافتاده ها یکی از رایج ترین روش های برآوردی پرکاربرد هست. در این پایانامه در حضور داده های دورافتاده براوردگرهای کمترین توان های دوم معمولی و ستیغی در مدل رگرسیون نیمه پارامتری سانسور شده تعمیم داده شده است. در ادامه با استفاده از نتایج شبیه سازی مونت کارلو برآوردگرهای مطرح شده را با برآوردگر های معمولی مقایسه می شوند و در پایان آنها را برای یک مجموعه داده واقعی استفاده می شوند.