استفاده از آموزش فدرال برای مبارزه با سیلوهای داده | توسط اینتل | فناوری اینتل | مارس، 2023

مشکل سیلو داده زمانی اتفاق می‌افتد که سازمان‌ها مقادیر زیادی از داده‌های با ارزش را در اختیار دارند، اما راه‌هایی برای دسترسی و ادغام آن‌ها در بینش‌های معنادار ندارند. (چنگ و همکاران، 2020).

آیا می خواهید با یادگیری فدرال شروع کنید؟ با امتحان کردن یک چارچوب متن باز مانند Open Federated Learning (OpenFL) می توانید ببینید که چگونه کار می کند. این یک کتابخانه Python* 3 برای یادگیری فدرال است که سازمان‌ها را قادر می‌سازد تا به طور مشترک یک مدل را بدون اشتراک‌گذاری اطلاعات حساس آموزش دهند. مخزن GitHub* را بررسی کنید و از اسناد اینجا بیشتر بیاموزید.

ازکیل لانزا یک مبشر متن باز در تیم اکوسیستم باز اینتل است که مشتاق کمک به مردم برای کشف دنیای هیجان انگیز هوش مصنوعی است. او همچنین یک مجری مکرر کنفرانس هوش مصنوعی و خالق موارد استفاده، آموزش و راهنماهایی است که به توسعه دهندگان کمک می کند تا ابزارهای AI منبع باز مانند TensorFlow* و Hugging Face* را بکار گیرند. او را در توییتر در @ پیدا کنیدeze_lanza

منبع در اینجا سه ​​راه حل رایج برای مشکل وجود دارد:

• ادغام دستی داده ها
  جمع آوری و ترکیب اطلاعات مختلف از چندین منبع در یک پایگاه داده واحد. ممکن است وقت گیر و پرهزینه باشد، اما اغلب لازم است دید دقیقی از عملیات شرکت و داده های مشتریان در تمام بخش ها یا بخش ها داشته باشید.
• نرم افزار یکپارچه سازی داده ها
  این گزینه دیگری برای شکستن سیلو است که به سازمان‌ها اجازه می‌دهد تا به سرعت سیستم‌ها، برنامه‌ها، پایگاه‌های داده و سرویس‌های مختلف را بدون نیاز به کدنویسی دستی یا تلاش یکپارچه به هم متصل کنند. این برنامه ها روشی خودکار برای استخراج مجموعه داده های مرتبط از منابع متفاوت با ترسیم اشتراکات آنها مانند نام فیلدها یا انواع داده ها فراهم می کنند تا بتوان آنها را در یک مخزن واحد برای دسترسی آسان تر ترکیب کرد. (پتل، 2019)
• یادگیری فدرال
  در سال های اخیر، FL به عنوان یکی از امیدوارکننده ترین رویکردها برای مدیریت مقادیر زیادی از داده های توزیع شده ظاهر شده است. این شرکت ها را قادر می سازد تا مدل های پیش بینی با اطلاعات حساس کاربر ذخیره شده در دستگاه های جداگانه ایجاد کنند که از افشای هرگونه جزئیات محرمانه از طریق اینترنت در حین انتقال بین طرفین جلوگیری می کند. از آنجایی که سازمان‌های بیشتری از این فناوری استفاده می‌کنند، به ابزار مهمی برای شکستن دیوارهای موجود بین پایگاه‌های داده در سطح سازمانی تبدیل می‌شود و در عین حال بینش‌هایی را از آن‌ها به‌دست می‌آورند.

پاتل، جی (2019). پل زدن سیلوهای داده با استفاده از یکپارچه سازی داده های بزرگ. مجله بین المللی سیستم های مدیریت پایگاه داده، 11(3)، 01-06. https://doi.org/10.5121/ijdms.2019.11301

Carruthers، A. (2022). شکستن سیلوهای داده. در A. Carruthers، ساخت Snowflake Data Cloud (ص 29-50). Apress. https://doi.org/10.1007/978-1-4842-8593-0_2

در نهایت، سیستم‌های قدیمی که فاقد APIهای مدرن یا سایر روش‌های ارتباط با فناوری‌های جدیدتر هستند، می‌توانند موانع قابل توجهی ایجاد کنند تا شرکت‌ها را از دسترسی به مجموعه داده‌های غنی از بینش مهمی که در آن‌ها قرار دارند، بازدارند. در بسیاری از موارد حتی اگر آنها قادر به اتصال بودند، باز هم به فرآیندهای دستی نیاز دارند تا تجزیه و تحلیل های معنی دار را استخراج کنند که منجر به تاخیرهای زمانی قابل توجهی می شود که می تواند منجر به اشتباهات پرهزینه در طول فرآیندهای تصمیم گیری شود (Carruthers, 2022).

سیلوهای داده همچنین می‌توانند در سطح سازمانی رخ دهند، زمانی که چندین فروشنده در مدیریت جنبه‌های مختلف فرآیند کسب‌وکار دخیل هستند، اما هیچ‌کدام با دید کلی در مورد نحوه کار همه چیز با هم، وجود ندارند. به عنوان مثال، اگر یک فروشنده موجودی را مدیریت کند در حالی که دیگری سفارشات فروش را بدون هیچ گونه ارتباطی بین آنها مدیریت می کند، برای تیم مدیریت ارشد شرکت نمی توان تصویر کاملی از نحوه اجرای عملیات خود بدست آورد.

علاوه بر بهبود امنیت داده ها، آموزش فدرال مقیاس پذیری و کارایی بهتری را در مقایسه با سیستم های یادگیری ماشین سنتی ارائه می دهد. این سازمان ها را قادر می سازد تا به سرعت مدل ها را در چندین شبکه بدون نیاز به انتقال مقادیر زیادی از داده های حساس از یک سرور یا دستگاه به سرور دیگر مستقر کنند. این امر زمان و منابع صرف شده را کاهش می دهد و در عین حال بینش دقیقی از رفتار مشتری یا سایر روندهای بازار با حداقل تلاش از طرف سازمان دریافت می کند.

یکی از رایج‌ترین نمونه‌های مشکل سیلو داده زمانی است که بخش‌ها یا بخش‌های مختلف در یک سازمان پایگاه‌های داده و سیستم‌های خود را برای جمع‌آوری و ذخیره داده‌ها دارند. این می تواند منجر به مغایرت بین اطلاعات نگهداری شده توسط هر بخش و همچنین ناسازگاری بین برنامه های مورد استفاده برای دسترسی و تجزیه و تحلیل این داده ها شود. در نتیجه، سازمان ها ممکن است به دلیل این تفاوت ها نتوانند بینش دقیقی را از همه منابع موجود به دست آورند.

چنگ، ی.، لیو، ی.، چن، تی، و یانگ، کیو (2020). یادگیری فدرال برای هوش مصنوعی حفظ حریم خصوصی. ارتباطات ACM، 63(12)، 33-36. https://doi.org/10.1145/3387107