سفر Mobileye به سمت مقیاس‌سازی Amazon EKS به هزاران گره که از پردازنده‌های مقیاس‌پذیر Intel® Xeon® و شتاب‌دهنده‌های هوش مصنوعی Gaudi Habana بهره می‌برند | توسط اینتل | فناوری اینتل | ژوئیه، 2022

منبع

Habana.ai/gaudi: “درست”

از TensorFlow.common.library_loader وارد کردن load_habana_module

مدل: ResNet50
چارچوب: TensorFlow 2
مجموعه داده: Imagenet2012
GitHub: https://github.com/HabanaAI/Model-
مراجع/tree/master/TensorFlow/computer_vision/Resnets/resnet_keras

اینتل داده های شخص ثالث را کنترل یا ممیزی نمی کند. برای ارزیابی دقت باید به منابع دیگری مراجعه کنید.

منطقه: “us-east-1a”

– کلید: “Habana.ai/gaudi”

فناوری‌های اینتل ممکن است به فعال‌سازی سخت‌افزار، نرم‌افزار یا سرویس نیاز داشته باشند.

عملکرد بر اساس استفاده، پیکربندی و سایر عوامل متفاوت است. در سایت شاخص عملکرد بیشتر بدانید.

اثر: “NoSchedule”

برچسب ها:

مدل: Bert Large — Pretraining
چارچوب: Pytorch 1.9
مجموعه داده: Wikipedia/BooksCorpus
GitHub: https://github.com/HabanaAI/Model-References/tree/master/PyTorch/nlp/bert

نتایج عملکرد بر اساس آزمایش در تاریخ‌های نشان‌داده‌شده در پیکربندی‌ها است و ممکن است همه به‌روزرسانی‌های در دسترس عموم را منعکس نکند. برای جزئیات پیکربندی به نسخه پشتیبان مراجعه کنید. هیچ محصول یا جزء نمی تواند کاملاً ایمن باشد.

در این پست وبلاگ، بررسی خواهیم کرد که چگونه Mobileye گروه مهندسی هوش مصنوعی خود را قادر می‌سازد تا روزانه بیش از 250 گردش کار را با استفاده از Amazon EKS اجرا کند و چگونه توسعه و زمان عرضه به بازار با استفاده از هر دو نمونه EC2 آمازون بر اساس شتاب‌دهنده‌های Habana Gaudi کاهش می‌یابد. پردازنده های اینتل زئون مقیاس پذیر.

با توجه به معماری EKS فوق، توسعه دهندگان ما از راه اندازی گروه گره، مناطق در دسترس (AZ) یا هر جنبه دیگری آگاه نیستند و نباید آن را بدانند. برای دستیابی به این انتزاع، از گردش کار Argo استفاده می کنیم.

در درجه اول، ما از گردش کار DL1 برای آموزش مدل های دو بعدی و سه بعدی استفاده می کنیم. ما به طور مداوم شاهد صرفه‌جویی در هزینه‌ها در مقایسه با نمونه‌های مبتنی بر GPU موجود در انواع مدل‌ها هستیم که ما را قادر می‌سازد تا به زمان بازار بسیار بهتری برای مدل‌های موجود یا آموزش مدل‌های بسیار بزرگ‌تر و پیچیده‌تر دست یابیم.

load_habana_module()

در پاراگراف‌های بعدی، نحوه پیکربندی و تنظیم صحیح DL1 برای گردش‌های کاری EKS را به اشتراک می‌گذاریم.

ما چندین نوع گردش کار را اجرا می کنیم که به پیکربندی نمونه های مختلف نیاز دارند. اینجاست که برچسب‌های گره، لکه‌ها و تحمل‌ها، و تمایل گره به کار می‌آیند. این به ما اجازه می دهد تا بررسی کنیم که حجم کاری مناسب زیرساخت مناسب را با استفاده از نوع نمونه مناسب دریافت می کند.

تسریع: “dl1.24xlarge”

تمام بارهای کاری تولید در Amazon EKS اجرا می شود. با توجه به تنوع گردش کار، ما پیکربندی های محاسباتی مختلفی را در هر خوشه EKS تطبیق داده ایم.
به‌طور دقیق‌تر، برای برآورده کردن نیازهای محاسباتی، از نمونه‌های Amazon EC2 R5 با پردازنده‌های نسل دوم اینتل Xeon Scalable استفاده می‌کنیم. برای نیازهای AI/ML خود، برخی از گردش‌های کاری آموزشی خود را به نمونه‌های Amazon EC2 DL1 منتقل کردیم.

k8s.amazonaws.com/accelerator: “gaudi”