آشنایی با Graph Attention Network (شبکه های توجه گرافی)

مقدمه

در دنیای یادگیری ماشین توجه به مبحث یادگیری گراف روز به روز افزایش پیدا می کند. چرا که بسیاری از داده ها قابلیت نگاشت به ساختار گرافی را دارند. از مباحث نوین در بحث یادگیری گراف، Graph Neural Network می باشد که به اختصار از آن به GNN تعبیر می شود. GNN تجمع همسان گرا را اجرا می کند که در آن هر همسایه به صورت مساوی در به روز رسانی نمایش گره مرکزی مشارکت دارد.

داده های گرافی

داده‌های گرافی، دسته بسیار مهمی از داده‌ها هستند که کاربرد‌های فراوانی در حوزه‌های مختلف صنعت دارند. عملکرد افراد در شبکه‌های اجتماعی، ساختار‌های شیمیایی دارو‌ها، داده‌های ترافیک شهری، تصاویر و سیگنال‌های مغزی مثال‌هایی از انواع داده هستند که میتوان با استفاده از گراف نمایش داد. شبکه‌های عصبی گرافی دسته‌ای از شبکه ‌های عصبی است که میتوان از آن‌ها برای تحلیل و پردازش داده‌های گرافی استفاده کرد و مسائل مختلف مطرح در این نوع داده‌ها نظیر طبقه بندی رئوس، طبقه بندی گراف‌ها و یا خوشه بندی گراف‌ها استفاده کرد.

آشنایی با Graph Attention Network – GAT

Attention یکی از موفق‌ترین ایده‌های مطرح شده در زمینه NLP است که مدل‌های پیشرفته این حوزه نظیر BERT و GPT ها بر آن استوار است. در زمینه پردازش گراف‌ها نیز این ایده مورد استفاده قرار گرفته تا جمع‌آوری بهتری از زمینه صورت پذیرد. در این بین Graph Attention Network که در پارسی از آن به شبکه های توجه گرافی نام برده می شود یک معماری بر اساس Neural Nets است که بر روی داده هایی کار می کند که از ساختار گرافی برخورداند. شبکه های توجه گرافی زیرمجموعه ای از شبکه های عصبی گرافی هستند که خود شبکه های عصبی گرافی با شبکه های پیچشی گرافی در ارتباط هستند. به منظور پیاده سازی الگوهای شبکه های توجه گرافی وجود داده هایی که از ساختار گرافی برخوردار هستند ضروری است که از جمله آنها می توان به شبکه های اجتماعی، زیستی، پروتئینی، ژنتیکی، برقی، ارجاعات پژوهشی، راه های جاده ای، جریانات آبی، گراف های دانشی و … را نام برد.

شبکه های توجه گرافی بر خلاف شبکه های پیچشی گرافی که جمع‌آوری را به صورت یکسان روی همه زمینه انجام می‌دهد، به بخش‌های مختلف زمینه با مقادیر خاصی توجه می‌کند.