کارگاه پروژه محور پردازش زبان طبیعی با استفاده از Transformer ها

آشنایی با BERT

BERT معادل واژه «نمایش رمزگذاری دوطرفه از ترانسفورمرها» است. BERT معماری شبکه عمیق است، BERT یک مدل پردازش زبان طبیعی بدون نظارت است که از قبل آموزش داده شده است. این الگوریتم می تواند 11 مورد از موارد متداول NLP را پس از تنظیم صحیح به طور دقیق پیاده سازی کند و به یک تقویت کننده برای پردازش و درک طبیعی زبان تبدیل شود. BERT عمیقاً و دقیقاً دو جهته است، این به آن معنی است که کلمات قبل و بعد از کلمات به درستی بررسی شده و با اطلاعات مندرج در ویکی پدیا تطبیق داده می شود، تا الگوریتم بتواند درک صحیحی از مفهوم آنچه کاربر در پی آن است بدست آورد.

Bert نوعی هوش مصنوعی است. گوگل برای گسترش و بهبود عملکرد الگوریتم این هوش از متون ویکی پدیا و هزینه های قابل توجه برای افزایش قدرت محاسباتی استفاده کرده است. آنها در این راه از یک شبکه عصبی تحت نظارت استفاده کردند تا هوش مصنوعی با استفاده از تمام متون ویکی پدیا آموزش ببیند و زبان و متن را بهتر درک کند. یکی از بزرگترین مزیت های برت آن است که می تواند جملاتی با طول های مختلف و حتی جملات بسیار طولانی را درک کند و پس از آن، برای همیشه به خاطر بسپارد. الگوریتم Bert برای باهوش تر و کامل تر شدن از تکنیکی به نام masking استفاده می کند.

آشنایی با Transformer

حالا تمامی اطلاعات و دانش مورد نیاز برای توصیف و درک ترانسفورماتوها را در اختیار داریم. ترانسفورمر جز سازنده BERT است. ترانسفورمر یک توپولوژی شبکه است که با استفاده از شبکه‌های کاملاً متصل مبتنی بر توجه رمزگذار و رمزگشا را پیاده‌سازی و اجرا می‌کند. ورودی‌ها تعبیه کلمات به همراه  رمزگذاری مکانی است. ترانسفورمر با بهره‌گیری از خودتوجه تمامی کلمات را با در نظر گرفتن سایر کلمات حاضر در دنباله رمزگذاری می‌کند. در مرحله بعد، ترانسفورمر از طریق نرمال‌سازی لایه ورودی‌ها در سرتاسر ویژگی‌ها نرمال‌سازی می‌کند ( توجه داشته باشید که کلمات به فضای برداری چندبعدی  نگاشت شده‌اند). در رمزگشا ورودی را با استفاده از یک کلمه تغییر می‌دهیم، در نتیجه می‌توانیم ترانسفورمر را آموزش دهیم که چگونه می‌تواند کلمه بعدی در جمله را پیش‌بینی کند. برای پیش‌بینی کلمه، ورودی رمزگشا باید پنهان شود ( در نتیجه کلماتی که باید پیش‌بینی‌ کند را نمی‌بیند)، پس رمزگشا از یک خودتوجه پوشیده برای ورودی‌های خود استفاده می‌کند.

توجه رمزگذار و رمزگشا پیش از فرایند پیش‌بینی، اطلاعات بافت را ترکیب می‌کند. در آخر، رمزگشا یک لایه نرمال‌سازی دیگر خواهد داشت و خروجی‌ها نرمال‌سازی می‌شوند و در نتیجه نرمال‌سازی خروجی‌ها چندین ترانسفورمر می‌توانند با یکدیگر پشته شوند. اگر درک این مبحث برای‌‎تان دشوار بود، جای نگرانی نیست. تنها چیزی که لازم است بدانید این است که ترانسفورمرها جز سازنده شبکه‌های مدرن NLU هستند چرا که تمامی مزایا و نکات مثبت سه توپولوژی شبکه را با یکدیگر در خود جمع کرده‌اند. ترانسفورمرهای مبتنی بر شبکه توانمند اما هزینه‌بر هستند؛ این شبکه‌ها معمولاً فضای زیادی از حافظه را اشغال می‌کنند و توان محاسباتی زیادی برای آموزش و هم‌چنین استنتاج استفاده می‌کنند.

آشنایی با PyTorch

پای تورچ کتابخانه می باشد که ماشین یادگیری پایتون می باشد که برای torch کاربرد دارد. پای تورچ محاسبه عملی در حساس پایتون که پردازش پردازنده های گرافیکی بهره مند می شود این کتابخانه دارای ماه های مختلف و جامع برای یادگیری عمیق به کار می رود که سرعت بالا داشته و انعطاف پذیر می باشد. این کتابخانه دارای دو قابلیت منحصر به فرد دارند که شامل ساخته یک سری شبکه‌های عصبی عمیق که در سیستم اتو گرید می باشد قابلیت بعدی محاسبات تانسور برای استفاده از توان شتاب پردازنده های گرافیکی می باشد. کتابخانه های زیادی وجود دارد که کار با یادگیری و هوش مصنوعی را یاد می دهد با آن ها کار میکنه یکی از کتابخانه هایی که توانسته است به سرعت پیشرفت کرده مدل های شبکه عصبی را تولید نماید به همچنین ساختار اصلی تانسور را فراهم کرده است که کتابخانه پای تورچ همچنان در حال پیشرفت و سبقت از دیگر رقبای خود می باشد.