بلاگ

تمرین آسان مثل آب خوردن در اکوسیستم هدوپ: آشنایی و کار با Hue

آشنایی با Hue

Hue یه Query Editor تحت وب هستش و به منظور تحلیل داده هایی استفاده میشه با اکوسیستم Hadoop یکپارچه هستن و می تونه به انباره های داده وصل بشه و روی اونا کوئری های مدنظرمون رو پیاده کنه.در واقع Hue از یه UI استفاده می کنه تا با

  1. HDFS
  2. MapReduce Applications
  3. Oozie workflows
  4. Hive
  5. Impala queries

اتصال خودشو برقرار کنه.

پس در واقع Hue یه Web UI هستش که ارتباط ما با اکوسیستم هدوپ آسون تر می کنه و ما رو از کار با دستورات CLI تا حدود زیادی بی نیاز میکنه.

ویژگی ها

یه سری از ویژگی های کلیدی Hue رو با هم مرور می کنیم. 

  1. HDFS File Browser
  2. Job Designer and Browser
  3. Hadoop API access
  4. Access to Hadoop Shell
  5. User Admin
  6. Hive query editor
  7. Pig query editor
  8. Oozie interface for workflows
  9. Interface for SOLR searches

علت اینکه ملت میان موقع نصب کلاستر هدوپ، Hue رو هم استفاده میکنن اینه که میاد خیلی از توابع ضروری مو موردنیازمون رو ترکیب میکنه و برای بچه هایی که با CLI خیلی آشنا نیستن کار رو آسون تر میکنه.

بعنوان مثال تصویر زیر نتیجه Impala SQL query هستش که بر بستر Hue تولید شده. 

با Hue میشه روی دیتایی که داریم پرس و جو بزنیم، خروجی های مصورسازی شده آماری بگیریم، از گراف هاش استفاده کنیم و دیتامون رو داخلش Import کنیم.

پنل سمت چپ به ما کمک میکنه آپشن های زیر رو داشته باشیم

  1. جستجوی دیتابیس مدنظرمون
  2. جستجوی جداول مشخص
  3. مشاهده دایرکتوری HDFS و ذخیره ساز Cloud
  4. جستجوی Index ها و جداول HBase, Kudu
  5. جستجوی اسناد مدنظرمون

کوئری زدن روی دیتا، ساخت داشبوردهای قدرتمند و زمان بندی Jobهای تکراری

پنل مرکزی مجموعه ای غنی از ابزارها رو برامون به ارمغان میاره از جمله

  1. Versatile editors: ما می تونیم از SQL Shell هایی مثل Impala, Hive روی دیتایی که بر بستر HDFS هست استفاده کنیم و روشون کوئری بزنیم. امکان استفاده از Sqoop واسه ایمپورت دیتا از SQL-based Database ها رو داریم. می تونیم از Solr واسه جستجو کمک بگیریم و …
  2. می تونیم داشبوردهایی قدرتمند رو بسازیم بدون اینکه نیاز به برنامه نویسی داشته باشیم. صرفا با Drag  Drop عناصر مدنظرمون روی صفحه.
  3. می تونیم گردش کار درست کنیم و برای اجرای اونها بصورت سفارشی زمان بندی شون کنیم تا در بازه های زمانی معین Run بشن. یه monitoring interface هم داریم که به ما نرخ پیشرفت کار، لاگ ها و امکان Stop یا Pause کارها رو بهمون میده.

به عنوان مثال تو تصویر بالا یه سری راهنما برای Impala SQL فراهم شده تا بتونیم کوئری های Impala SQL رو تو پنل وسطی پیاده کنیم.

اشتراک گذاری:

مطالب زیر را حتما مطالعه کنید

دوره های آموزشی مرتبط

دیدگاهتان را بنویسید