در این پست می‌خواهیم تعدادی از معیار‌های ارزیابی در یادگیری ماشین را بررسی کنیم. یکی از مهم‌ترین قدم‌ها پس از طراحی و ساخت یک مدل، ارزیابی کارآیی (performance) آن است. در ادامه با تکنیک‌هایی برای ارزیابی مدل آشنا می‌شویم. با کمپنا همراه باشید.

انتخاب یک معیار برای کارآیی، به مسئله‌ای که سعی در حلِ آن داریم، وابسته است. فرض کنیم ۱۰۰ نمونه داده در دسترس باشد. این داده‌ها تک‌تک به مدل داده شده و به ازای هرکدام، یک کلاس به عنوان خروجی دریافت شود. کلاسِ پیش‌بینی شده توسط مدل و کلاسِ واقعی داده‌ها را می‌توان در یک جدول نمایش داد. به این جدول، ماتریس اختلاط گفته می‌شود.

معیار‌های ارزیابی در یادگیری ماشین

جدول بالا مدلی را تصویر می‌کند که دو خروجی دارد، یکی مثبت و دیگری منفی. این دو خروجی، در واقع کلاس هر نمونه را نشان می‌دهند. از آنجایی که تنها دو خروجی وجود دارد، مدل مربوط به این ماتریس اختلاط ، یک کلاسیفایر باینری نامیده می‌شود.

به منظور توصیف بهتر، ماتریس اختلاط را به صورت زیر در نظر می‌گیریم:

معیار‌های ارزیابی در یادگیری ماشین

به طور کلی، دقت به این معناست که مدل تا چه اندازه خروجی را درست پیش‌بینی می‌کند.

معیار‌های ارزیابی در یادگیری ماشینبا نگاه کردن به دقت ، بلافاصله می‌توان دریافت که آیا مدل درست آموزش دیده است یا خیر و کارآیی آن به طور کلی کمپنا است. اما این معیار اطلاعات جزئی در مورد کارآیی مدل ارائه نمی‌دهد.

وقتی که مدل نتیجه را مثبت (positive) پیش‌بینی می‌کند، این نتیجه تا چه اندازه درست است؟

معیار‌های ارزیابی در یادگیری ماشین

زمانی که ارزش false positives بالا باشد، معیار صحت، معیار مناسبی خواهد بود. فرض کنید، مدلی برای تشخیص سرطان داشته باشیم و این مدل Precision پایینی داشته باشد. نتیجه این امر این است که این مدل، بیماری بسیاری از افراد را به اشتباه سرطان تشخیص می‌دهد. نتیجه این امر استرس زیاد، آزمایش‌های فراوان و هزینه‌های گزافی را برای بیمار به دنبال خواهد داشت.

معیار‌های ارزیابی در یادگیری ماشین

زمانی که ارزش false negatives بالا باشد، معیار Recall، معیار مناسبی خواهد بود. فرض کنیم مدلی برای تشخیص بیماری کشنده ابولا داشته باشیم. اگر این مدل Recall پایینی داشته باشد چه اتفاقی خواهد افتاد؟ این مدل افراد زیادی که آلوده به این بیماری کشنده هستند را سالم در نظر می‌گیرد و این فاجعه است.

معیار‌های ارزیابی در یادگیری ماشین

معیار F1، یک معیار مناسب برای ارزیابی دقت یک آزمایش است. این معیار Precision و Recall را با هم در نظر می‌گیرد. معیار F1 در بهترین حالت، یک و در بدترین حالت صفر است.

لطفا به این پست رای دهید…

۰
برچسب

confusion matrix, deep learning, deep learning tensorflow, deep model, F1, F1 Score, model, neural network, performance, Precision, Recall, ارزیابی, صحت, کارآیی, ماتریس اختلاط, یادگیری عمیق, یادگیری ماشین,