تشخیص و دسته بندی تصاویر پزشکی

در این پروژه با استفاده از معماری CNN و MLP یک مدل Unsupervised روی تصاویر MRI مغزی توسعه داده شده است که هر تصویر را به یک بردار با 10مولفه خلاصه می کند. (Auto encoder)
ساختار یک مدل Auto-encoder به صورت زیر است:

به بردار وسط latent representation گفته می شود. Encoder و Decoder شبکه عصبی CNN هستند. Encoder در طی فرآیند آموزش، یاد می گیرد هر تصویر را به یک بردار به اندازه کافی پر اطلاعات تبدیل کند که در ادامه Decoder بتواند به کمک آن دوباره تصویر را بسازد.

در ادامه مدل دومی توسعه داده شد که براساس بردارهای Encode شده هر تصویر، کلاس تصویر را پیش بینی می کند.

تعداد تصاویر کلاس اول و دوم برابر نیستند که این نیز از چالش های این پروژه است و نیاز است به کمک SMOTE یا Resampling و یا روش های دیگر برای مدیریت مجموعه داده های نامتوازن (Imbalanced Data) توزان بین کلاس ها برقرار شود. از سوی دیگر با توجه به حجم کم تصاویر نیاز به داده افزایی (Augmentation) است.

در ادامه بهره گیری از مدل های pre-trained در مدل اول (Unsupervised) موجب بهبود مدل شد. استفاده از روش t-SNE برای کاهش بعد بردار خروجی مدل اول به یک بردار در فضای دو بعدی از دیگر اقدامات برای بهبود مدل بود.