دوره آموزشی پروژه محور داده افزایی (Data Augmentation) در پردازش متن

مقدمه

افزایش داده یا data augmentation تکنیک هایی ساده جهت افزایش تعداد رکوردهای مجموعه داده می باشد. در شاخه های مختلفی می توان از تکنیک های data augmentation استفاده کرد مانند حوزه پردازش زبان طبیعی یا Natural Language Processing (NLP)، حوزه پردازش تصویر یا image processing،  بینایی ماشین و موارد مختلف دیگر. البته رویکرد های افزایش داده در هر یک از این حوزه ها با هم متفاوت است. در این آموزش تکنیک های data augmentation در پردازش متن را معرفی و آن ها را در محیط برنامه نویسی پایتون روی دیتاست ها متنی اعمال می کنیم.

سرفصل های کلی دوره

توی این آموزش، شش روش مختلف جهت افزایش حجم داده ها بررسی و هر کدام در یک جلسه جداگانه به صورت عملی پیاده سازی شده است. این روش ها در زیر لیست شده اند :

• تکنیک Translate : ترجمه جملات.
• تکنیک Sentence displacement : جا به جایی جملات.
• تکنیک Replace words : جایگزاری کلمات.
• تکنیک FastText : استفاده از بردار کلمات جهت بررسی شباهت میان کلمات.
• تکنیک NER : مشخص کردن نقش کلمات در متن و افزایش حجم داده ها.
• تکنیک SMOTE : الگوریتم متعادل سازی داده ها.

مزایای تکنیک های Data Augmentation

• تولید داده های جدید جهت تحلیل های دقیق تر.
• درصورت نبود داده های کافی، بهترین گزینه ست جهت ایجاد داده.
• بالا بردن دقت مدل های یادگیری ماشین.
• ایجاد مدل های قابل اعتماد تر.
• مقاوم در برابر نویز و تغییرهای کوچک.
• کشف ویژگی های جدید.

محیط برنامه نویسی و کدنویسی