• شهروند خبرنگار
  • شهروند خبرنگار آرشیو
امروز: -
  • صفحه نخست
  • سیاسی
  • اقتصادی
  • اجتماعی
  • علمی و فرهنگی
  • استانها
  • بین الملل
  • ورزشی
  • عکس
  • فیلم
  • شهروندخبرنگار
  • رویداد
پخش زنده
امروز: -
پخش زنده
نسخه اصلی
کد خبر: ۳۸۵۱۴۲۸
تاریخ انتشار: ۲۶ ارديبهشت ۱۴۰۲ - ۱۱:۲۷
علمی و فرهنگی » فضای مجازی

رویداد هک گروهی با هدف عیب یابی از چت بات‌ها برگزار می‌شود

یک رویداد هک گروهی با مشارکت دولت بایدن برگزار می‌شود تا غول‌های فناوری بتوانند نقص‌های چت بات‌های خود را بهتر درک کنند.

///به گزارش خبرگزاری صداوسیما به نقل از یورونیوز، به محض اینکه چت‌جی‌پی‌تی راه اندازی شد، هکر‌ها شروع به استفاه از آن کردند و سعی می‌کردند محافظ‌های آن را نادیده بگیرند تا بتواند چیزی غیرقابل انکار یا زشتی را ایجاد کنند. اما اکنون سازنده این چت بات یعنی اوپن‌ ای آی و دیگر ارائه دهندگان اصلی هوش مصنوعی مانند گوگل و مایکروسافت، در حال هماهنگی با دولت بایدن هستند تا به هزاران هکر اجازه دهند تا محدودیت‌های این فناوری را آزمایش کنند.

برخی از چیز‌هایی که آن‌ها به دنبال یافتن خواهند بود، این است که چگونه می‌توان چت بات‌ها را دستکاری کرد تا آسیبی به آن‌ها وارد شود؟ آیا آن‌ها اطلاعات خصوصی را که ما در اختیار آن‌ها قرار می‌دهیم، در اختیار سایر کاربران قرار خواهند داد؟ و چرا پزشک را مرد و پرستار را زن فرض می‌کنند؟

رامن چاودری، هماهنگ کننده این رویداد که تابستان امسال در لاس وگاس برگزار می‌شود، گفت: ما به هزاران نفر نیاز داریم. ما به افراد زیادی با طیف وسیعی از تجربیات، تخصص موضوع و سوابق نیاز داریم که این مدل‌ها را هک و سعی کنند مشکلاتی را پیدا کنند که می‌توان آن‌ها را برطرف کرد.

هرکسی که چت‌جی‌پی‌تی، ربات چت بینگ مایکروسافت یا بارد گوگل را امتحان کرده باشد، به سرعت متوجه خواهد شد که این فناوری ها، به جعل اطلاعات و ارائه با اطمینان به عنوان واقعیت تمایل دارد.

این سیستم‌ها که بر اساس مدل‌های بزرگ زبان (LLM) ساخته شده‌اند، همچنین از تعصبات فرهنگی که از آموزش روی مجموعه‌های عظیمی از آنچه مردم نوشته‌اند، الگوبرداری می‌کنند.

ایده برگزاری رویداد هک گروهی در ماه مارس در جشنواره South by Southwest مورد توجه مقامات دولتی آمریکا قرار گرفت، جایی که سون کتل، بنیانگذار دهکده هوش مصنوعی DEF CON، و آستین کارسون، رئیس بخش غیرانتفاعی هوش مصنوعی SeedAI به کارگاهی که از دانشجویان دعوت می‌کرد تا یک مدل هوش مصنوعی را هک کنند،  کمک کرد.

کارسون گفت: این مکالمات در نهایت به پیشنهادی برای آزمایش مدل‌های زبان هوش مصنوعی با پیروی از دستورالعمل‌های طرح کاخ سفید برای منشور حقوق هوش مصنوعی، مجموعه‌ای از اصول برای محدود کردن تأثیرات سوگیری الگوریتمی، ارائه کنترل بر داده‌های خود به کاربران و اطمینان از اینکه سیستم‌های خودکار به صورت ایمن و شفاف استفاده می‌شوند.

در حال حاضر جامعه‌ای از کاربران وجود دارد که تمام تلاش خود را می‌کنند تا چت بات‌ها را فریب دهند و معایب آن‌ها را برجسته کنند. برخی از آن‌ها "تیم‌های رسمی هستند که توسط شرکت ها، مجاز به حمله سریع به مدل‌های هوش مصنوعی برای کشف آسیب پذیری‌های آن‌ها هستند.

بسیاری دیگر از افراد استفاده سرگرمی دارند که در شبکه‌های اجتماعی خروجی‌های خنده دار یا آزاردهنده را به نمایش می‌گذارند.

در یک مثال، که به عنوان «سوء استفاده مادربزرگ» شناخته می‌شود، کاربران می‌توانستند چت‌بات‌هایی را دریافت کنند تا به آن‌ها بگویند چگونه بمب بسازند (درخواستی که یک چت بات تجاری معمولا آن را رد می‌کند) و از آن می‌خواستند وانمود کند که مادربزرگی است که داستانی را قبل از خواب تعریف می‌کند.

در مثالی دیگر، جستجوی Chowdhury با استفاده از نسخه اولیه چت بات موتور جستجوی بینگ مایکروسافت، که مبتنی بر فناوری مشابه چت‌جی‌پی‌تی است، اما می‌تواند اطلاعات را از اینترنت استخراج کند، منجر به نمایه‌ای شد که حدس می‌زد که کاربر دوست دارد هر ماه کفش جدید بخرد و اظهارات عجیب و جنسیتی در مورد ظاهر او داشت.

پرداخت پاداش به هکر‌ها در صورت کشف یک باگ امنیتی در صنعت امنیت سایبری امری عادی است، اما این یک مفهوم جدیدتر برای محققانی بود که در حال مطالعه سوگیری مضر هوش مصنوعی بودند.

رویداد امسال در مقیاس بسیار بزرگ‌تری برگزار می‌شود و اولین رویدادی است که به مدل‌های زبان بزرگی می‌پردازد که از زمان انتشار چت‌جی‌پی‌تی در اواخر سال گذشته، موجی از علاقه عمومی و سرمایه‌گذاری تجاری را به خود جلب کرده‌اند.

برخی از جزئیات هنوز در حال مذاکره هستند، اما شرکت‌هایی که توافق کرده اند مدل‌های خود را برای آزمایش ارائه دهند عبارتند از اوپن‌ای آی، گوگل، سازنده تراشه انویدیا و استارت آپ‌های Anthropic، Hugging Face و Stability AI.

استارتاپ دیگری که در این رویداد شرکت دارد، Scale AI است که به دلیل کارش در اختصاص دادن به انسان‌ها برای کمک به آموزش مدل‌های هوش مصنوعی با برچسب گذاری داده‌ها شناخته شده است.

الکساندر وانگ، مدیرعامل این شرکت گفت: از آنجایی که این مدل‌های روز به روز گسترده‌تر می‌شوند، بسیار مهم است که ما هر کاری می‌توانیم برای اطمینان از ایمنی آن‌ها انجام دهیم. می‌توانید تصور کنید که شخصی در یک طرف دنیا سوالات بسیار حساس یا دقیقی از جمله برخی از اطلاعات شخصی خود را از او بپرسد. شما نمی‌خواهید هیچ یک از آن اطلاعات به هیچ کاربر دیگری نشت کند.

خطرات دیگری که وانگ نگران آن است، چت‌بات‌هایی هستند که توصیه‌های پزشکی باورنکردنی بد یا سایر اطلاعات نادرست را ارائه می‌کنند که می‌تواند آسیب جدی ایجاد کند.

جک کلارک، یکی از بنیانگذاران Anthropic، گفت: رویداد هک گروهی امیدوار است آغاز تعهد عمیق‌تر توسعه دهندگان هوش مصنوعی برای اندازه گیری و ارزیابی ایمنی سیستم‌هایی باشد که در حال ساخت هستند. دیدگاه اصلی ما این است که سیستم‌های هوش مصنوعی هم قبل از استقرار و هم بعد از استقرار به ارزیابی‌های شخص ثالث نیاز دارند.

بازدید از صفحه اول
ارسال به دوستان
نسخه چاپی
گزارش خطا
Bookmark and Share
X Share
Telegram Google Plus Linkdin
ایتا سروش
عضویت در خبرنامه
نظر شما
آخرین اخبار
حمله سپاه به شمپاد آمریکایی
هلاکت بیش از ۱۰۰ مزدور سعودی در درگیری‌های «تعز» یمن
آماده‌باش رژیم صهیونیستی در جبهه شمالی لبنان
افزایش ظرفیت روزانه صادرات نفت عراق
پیشنهاد ایجاد مرکزهای میانجیگری بین کشورهای‌ بریکس
مشاور پیشین پنتاگون: ایران قدرت ریشه‌داریست و تسلیم نمی شود
حمله توپخانه‌ای رژیم صهیونیستی به جنوب سوریه
آمریکا با تشدید تنش، درد بیشتری خواهد کشید
گاردین: اروپا برای جنگ با روسیه آماده نیست
تمدید ساعت کاری دستگاههای اجرایی لرستان تا ۳۱ شهریور ۱۴۰۵
حمله به ناو هواپیمابر و ناوشکن ارتش کودک‌کش متجاوز آمریکا
رونمایی مجموعه داستان‌های عامیانه فارسی و روسی
وزیر خارجه انگلیس: آنچه در غزه می‌گذرد، وحشتناک است
تولید نفت آزادگان جنوبی از ۱۸۳ هزار بشکه گذشت
یورش نظامیان صهیون به کرانه باختری
حملات رژیم صهیونیستی به مناطق شرقی غزه
پایان مذاکرات پوتین با فرستادگان ترامپ در مسکو
علت سانحه نفتکش در دست بررسی کارشناسی است
تداوم حملات رژیم صهیونیستی به جنوب لبنان
بررسی وضع شبکه برق منطقه‌ آذربایجان
  • پربازدیدها
  • پر بحث ترین ها
انفجار تانکر سوخت در محور سنندج - همدان با ۱۱ کشته
تغییر نام موشک خیبرشکن به قلعه‌شکن
پاسخ به تجاوز ارتش تروریستی آمریکا در حمله‌به ۳ نفتکش‌ایران
اجازه ندهید شما را به پیاده‌نظام جنگ تبدیل کنند
خشم سناتور آمریکایی از اظهارات معاون ترامپ درباره جنگ با ایران
بیانیه حزب‌الله در واکنش به ادامه تجاوز صهیونیست‌ها به لبنان
­ایران در صدر مصرف‌کنندگان پرشدت انرژی جهان
انفجار در یک پایگاه نظامی در بولیوی
انتقاد آلمان از وزیر صهیونیستی به خاطر تمسخر زندانیان فلسطینی
هشدار صریح نیروهای مسلح یمن به مزدوران سعودی
هشدار قرارگاه خاتم؛ با ادامه محاصره ضربات شدیدتر می‌شود
ترامپ همچنان در توهماتش سیر می کند
ساعت کاری ادارات تغییر نکرد
آغاز برداشت خرما در نخلستان‌های آبادان
حزب‌الله به صبر طولانی و تفکر راهبردی شناخته می‌شود
یارانه برق متخلفان یک سال قطع می‌شود  (۱ نظر)
حمله آمریکا به مراسم عروسی، جنایت جنگی است  (۱ نظر)
برگزاری مراسم تشییع پیکر مطهر شهدای کوهستک هرمزگان  (۱ نظر)
توسعه و ترویج فرهنگ اقامه نماز در مدارس  (۱ نظر)
انتقاد آلمان از وزیر صهیونیستی به خاطر تمسخر زندانیان فلسطینی  (۱ نظر)