توجه: فقط بخشی عملیاتی و کدنویسی کارگاه ضبط شده است و فیلمی از بخش تئوری در دسترس نیست.
سطح این کارگاه در چه حدی می باشد؟
سطح این کارگاه پیشرفته می باشد و مناسب برای افرادی است که دوره پردازش زبان طبیعی مبتنی بر یادگیری عمیق در مدرسه بیگ دیتا را گذرانده باشند.
با شرکت در این کارگاه چه مسائلی را میتوانیم حل کنیم؟
با شرکت در این کارگاه می توانید مسائل متنوع پردازش زبان طبیعی بر بستر الگوریتم های یادگیری عمیق را با استفاده از راهکارهایی نظیر BERT, GPT, Transformers را با استفاده از چارچوب قدرتمند PyTorch حل کنید.
آیا کارگاه مدنظر فقط به صورت تئوری است؟
خیر. کارگاه ضبط شده می باشد و کاملا به صورت عملیاتی و پیاده سازی پروژه می باشد.
پروژه کارگاه شامل چه مواردی است؟
در این کارگاه، پروژه تحلیل احساسات بر مبنای چارچوب PyTorch آموزش داده می شود.
من با مبحث ترنسفورمرها آشنایی ندارم. آیا این کارگاه را به من توصیه می کنید؟
خیر. همانطور که ذکر شد کارگاه در سطح پیشرفته می باشد و مناسب افرادی است که آشنایی مقدماتی با مبحث ترنسفورمرها داشته باشند.
ترنسفورمرها: BERT, GPT (در فارسی و انگلیسی)
بخش عملی و کد نویسی:
- آشنایی با Hugging Face
- آشنایی با چارچوب یادگیری عمیق PyTorch، کار با مدل ها و فرآیند آموزش آنها
- آموزش و بهینه سازی یک ترنسفورمرمُدل
آشنایی با ماهیت دوره
آشنایی با BERT
BERT معادل واژه «نمایش رمزگذاری دوطرفه از ترانسفورمرها» است. BERT معماری شبکه عمیق است، BERT یک مدل پردازش زبان طبیعی بدون نظارت است که از قبل آموزش داده شده است. این الگوریتم می تواند 11 مورد از موارد متداول NLP را پس از تنظیم صحیح به طور دقیق پیاده سازی کند و به یک تقویت کننده برای پردازش و درک طبیعی زبان تبدیل شود. BERT عمیقاً و دقیقاً دو جهته است، این به آن معنی است که کلمات قبل و بعد از کلمات به درستی بررسی شده و با اطلاعات مندرج در ویکی پدیا تطبیق داده می شود، تا الگوریتم بتواند درک صحیحی از مفهوم آنچه کاربر در پی آن است بدست آورد.
Bert نوعی هوش مصنوعی است. گوگل برای گسترش و بهبود عملکرد الگوریتم این هوش از متون ویکی پدیا و هزینه های قابل توجه برای افزایش قدرت محاسباتی استفاده کرده است. آنها در این راه از یک شبکه عصبی تحت نظارت استفاده کردند تا هوش مصنوعی با استفاده از تمام متون ویکی پدیا آموزش ببیند و زبان و متن را بهتر درک کند. یکی از بزرگترین مزیت های برت آن است که می تواند جملاتی با طول های مختلف و حتی جملات بسیار طولانی را درک کند و پس از آن، برای همیشه به خاطر بسپارد. الگوریتم Bert برای باهوش تر و کامل تر شدن از تکنیکی به نام masking استفاده می کند.
آشنایی با Transformer
حالا تمامی اطلاعات و دانش مورد نیاز برای توصیف و درک ترانسفورماتوها را در اختیار داریم. ترانسفورمر جز سازنده BERT است. ترانسفورمر یک توپولوژی شبکه است که با استفاده از شبکههای کاملاً متصل مبتنی بر توجه رمزگذار و رمزگشا را پیادهسازی و اجرا میکند. ورودیها تعبیه کلمات به همراه رمزگذاری مکانی است. ترانسفورمر با بهرهگیری از خودتوجه تمامی کلمات را با در نظر گرفتن سایر کلمات حاضر در دنباله رمزگذاری میکند. در مرحله بعد، ترانسفورمر از طریق نرمالسازی لایه ورودیها در سرتاسر ویژگیها نرمالسازی میکند ( توجه داشته باشید که کلمات به فضای برداری چندبعدی نگاشت شدهاند). در رمزگشا ورودی را با استفاده از یک کلمه تغییر میدهیم، در نتیجه میتوانیم ترانسفورمر را آموزش دهیم که چگونه میتواند کلمه بعدی در جمله را پیشبینی کند. برای پیشبینی کلمه، ورودی رمزگشا باید پنهان شود ( در نتیجه کلماتی که باید پیشبینی کند را نمیبیند)، پس رمزگشا از یک خودتوجه پوشیده برای ورودیهای خود استفاده میکند.
توجه رمزگذار و رمزگشا پیش از فرایند پیشبینی، اطلاعات بافت را ترکیب میکند. در آخر، رمزگشا یک لایه نرمالسازی دیگر خواهد داشت و خروجیها نرمالسازی میشوند و در نتیجه نرمالسازی خروجیها چندین ترانسفورمر میتوانند با یکدیگر پشته شوند. اگر درک این مبحث برایتان دشوار بود، جای نگرانی نیست. تنها چیزی که لازم است بدانید این است که ترانسفورمرها جز سازنده شبکههای مدرن NLU هستند چرا که تمامی مزایا و نکات مثبت سه توپولوژی شبکه را با یکدیگر در خود جمع کردهاند. ترانسفورمرهای مبتنی بر شبکه توانمند اما هزینهبر هستند؛ این شبکهها معمولاً فضای زیادی از حافظه را اشغال میکنند و توان محاسباتی زیادی برای آموزش و همچنین استنتاج استفاده میکنند.
آشنایی با PyTorch
پای تورچ کتابخانه می باشد که ماشین یادگیری پایتون می باشد که برای torch کاربرد دارد. پای تورچ محاسبه عملی در حساس پایتون که پردازش پردازنده های گرافیکی بهره مند می شود این کتابخانه دارای ماه های مختلف و جامع برای یادگیری عمیق به کار می رود که سرعت بالا داشته و انعطاف پذیر می باشد. این کتابخانه دارای دو قابلیت منحصر به فرد دارند که شامل ساخته یک سری شبکههای عصبی عمیق که در سیستم اتو گرید می باشد قابلیت بعدی محاسبات تانسور برای استفاده از توان شتاب پردازنده های گرافیکی می باشد. کتابخانه های زیادی وجود دارد که کار با یادگیری و هوش مصنوعی را یاد می دهد با آن ها کار میکنه یکی از کتابخانه هایی که توانسته است به سرعت پیشرفت کرده مدل های شبکه عصبی را تولید نماید به همچنین ساختار اصلی تانسور را فراهم کرده است که کتابخانه پای تورچ همچنان در حال پیشرفت و سبقت از دیگر رقبای خود می باشد.
مدرس کارگاه
دانشمند داده، دیجی کالا
کارشناسی مهندسی کامپیوتر، دانشگاه صنعتی شریف تهران
کارشناسی ارشد مهندسی کامپیوتر، دانشگاه شهید بهشتی تهران
فیلم کارگاه
کارگاه پروژه محور پردازش زبان طبیعی با استفاده از Transformer ها ویدئو
1:58:00
فایل پیاده سازی پروژه دوره تمرین
ژوپیتر
اسلاید آموزشی مبحث Deep NLP, Transformers و BERT
دانلود اسلاید
با پسوند PDF
دوره های مرتبط
کارگاه آموزشی کاربردهای شگفتانگیز ChatGPT
کارگاه آموزشی آمار و احتمالات ضروری برای علم داده
مینی دوره آموزشی بینایی ماشین و یادگیری عمیق
کارگاه آموزشی یادگیری تقویتی عمیق با پایتون
کارگاه آموزشی پروژه محور اصول پردازش زبان طبیعی در پایتون
کارگاه آموزشی پروژه محور شبکه های عصبی گرافی
دوره جامع پروژه محور یادگیری عمیق با پای تورچ (PyTorch)
Deep Learning with PyTorch Framework
پلتفرم بعنوان سرویس با Docker برای مهندسان داده
امتیاز دانشجویان دوره
نظرات
تنها اشخاصی که این محصول را خریداری کرده اند و وارد سایت شده اند می توانند در مورد این محصول بازبینی ارسال کنند.
200,000 تومان 99,000 تومان
احسان طاهر
تکنیکال لید دیتاساینس، دیجی کالاتکنیکال لید تیم دیتاساینس در دیجی کالا، فارغ التحصیل مهندسی کامپیوتر از دانشگاه صنعتی شریف و فارغ التحصیل ارشد هوش مصنوعی از دانشگاه شهید بهشتی تهران
Sajjad_Esf76( دانشجوی دوره )
سلام خیلی رویداد خوبی بوده برای کسایی که هم بحث تئوری گوش دادند هم بخش عملی…و برای کسایی که تازه میخواهند دوره بخرند خیلی شاید مفید نباشه و ذهنشون پر از علامت سوال باشه مثل من.
بخش تئوری رکورد نشده که اونم قرار بدهید؟
مهسا معلم( دانشجوی دوره )
خیلی ممنونم ازتون بابت تهیه کارگاه. اگر امکانش هست بخش تئوری مطالب ترنسفورمر در کنار کدنویسی هم درج بشه
زهرا معرفت( دانشجوی دوره )
ورکشاپ نسبتا خوبی بود ولی ایکاش مفصل تر بود. من خیلی نیاز دارم برای کار پایان نامم جزییات کار با ترنسفورمرها رو فراتز از کار با مدل آماده و فراخوانیش پیش ببری
محمد مهدی امجدی( دانشجوی دوره )
این دست از آموزش ها در وب پارسی با این هزینه مقرون بصرفه نادر است. با سپاس از زحمات شما
حسنیه ذوالفقاری( دانشجوی دوره )
لازم است که دانش لازم در مورد ترانسفرمرها را داشته باشید. در اینجا کد ترانسفرمر برای آنالیز احساس با پایتورچ نیز توضیح داده می شود.