زلزله در دنیای هوش مصنوعی؛ چطور چینی‌ها با دیپ‌سیک دنیا را غافلگیر کردند_تونل زمان

جدول امتیاز دیپ‌سیک، برتری مدل V3 را در تعداد بسیاری از بنچمارک‌های کد و ریاضی مشخص می کند

مایلز براندیج، پژوهشگر اسبق سیاست‌گذاری در OpenAI، از دو ترفند پیش‌آموزش و یادگیری تقویتی کارآمدتر بر پایه‌ی استدلال زنجیره‌ای (Chain-of-Thought Reasoning) نام می‌برد. به عبارت ساده‌تر، دیپ‌سیک از تکنیک نسبتا جدیدی منفعت گیری کرد که به مدل اجازه می‌داد به‌جای پیروی صرف از حرکت انسان، مرحله‌به‌مرحله و از طریق آزمون‌ و اشتباه (یادگیری تقویتی) مسائل را حل کند. این روش علتشد مدل بتواند با توان محاسباتی و هزینه‌ی به‌مراتب کمتر، به سطح کارکرد مدل o1 اوپن‌ای‌آی دست یابد.

نسخه‌ی سوم و دوم DeepSeek اساسا از همان نوع مدل‌هایی می باشند که در GPT-4 منفعت گیری شده، اما با مهندسی هوشمندانه‌تر تا منفعت‌وری GPUها افزایش یابد.

– مایلز براندیج، پژوهشگر اسبق سیاست‌گذاری در OpenAI

آخرین مطالب

• مدل‌های کپی‌شده ویندوزی مک پرو و مک مینی اپل رونمایی شدند_تونل زمان
• اینفوگرافی چیست و چطور می‌توان آن را ساخت؟_تونل زمان
• کشف سه سیاره زمین‌سان با دو غروب خورشید دانشمندان را شگفت‌زده کرد_تونل زمان
• چطور بچه دار شویم؟ راهنمای کامل، علمی و کاربردی برای عمل به بارداری سریع_تونل زمان
• برکترو استارشات؛ داستان ظهور و افول بلندپروازانه‌ترین پروژه سفر بین‌ستاره‌ای_تونل زمان

یقیناً آزمایشگاه‌های دیگر هم از این راه حلها منفعت گیری می‌کنند. برای مثال، روش «Mixture of Experts» که دیپ‌سیک در آموزش مدل‌هایش منفعت گیری کرده، در GPT-4 نیز به کار گرفته شده است. این روش به‌پشتیبانی مجموعه‌ای از «متخصصان» (Experts) که هرکدام در پردازش نوع خاصی از داده‌ها توانایی دارند، فقط قسمت‌های خاصی از مدل را که برای آن ورودی سودمند می باشند، فعال می‌کند تا بدین‌ترتیب در عین افزایش دقت، هزینه و قوت پردازشی را افت دهد.

اما دیپ‌سیک با تشکیل دسته‌بندی‌های تخصصی‌تر و گسترش‌ی روشی کارآمدتر برای ربط بین این قسمت‌ها، تکنیک MoE را بهبود داد و کل فرایند آموزش را بهینه‌تر کرد. علاوه‌براین، پژوهشگران دیپ‌سیک، تکنیک Multi-Head Latent Attention را به‌طوری بهبود دادند تا با فشرده‌سازی راه حلهای ذخیره و بازیابی اطلاعات در مدل، مقدار حافظه‌ی موردنیاز برای پردازش خواست‌ها را به‌طور چشمگیری افت دهد. درواقع، تازه ترین مدل دیپ‌سیک به‌قدری بهینه است که گسترش‌ی آن تنها به یک‌دهم قوت پردازشی مدل Llama 3.1 شرکت متا نیاز داشت.

یکی از داغ‌ترین موضوعاتی که درمورد‌ی دیپ‌سیک نقل می‌بشود، سخت‌افزاری است که برای گسترش‌ی مدل‌ های زبانی بزرگ از آن‌ها منفعت گیری کرد؛ آن هم در سایه‌ی تحریم‌های آمریکا که توانایی چین در به‌دست‌آوردن و تشکیل تراشه‌های پیشرفته‌ برای ساخت این مدل‌ها را به‌شدت محدود کرده است.

ممنوعیت صادرات تراشه‌های پیشرفته به چین که به‌طور جدی در اکتبر ۲۰۲۳ اغاز شد، نسبتا تازه است و تأثیر کامل آن تا این مدت حس نشده. بااین‌حال، درمورد گسترش‌ی هوش مصنوعی به‌نظر می‌رسد آمریکا و چین رویکردهای متضادی در پیش گرفته‌اند. درحالی‌که آمریکا روی قوت خام شرط‌بندی بزرگی کرده است (همانند پروژه‌ی ۵۰۰ میلیارد دلاری آلتمن با ترامپ)، دیپ‌سیک به‌علت دسترسی به منبع های محدود، سراغ بهینه‌سازی رفته است.

منبع های دیگر تخمین می‌زنند که دیپ‌سیک به گمان زیاد از چیزی نزدیک به ۵۰,۰۰۰ تراشه‌ی انویدیا برای گسترش‌ی فناوری خود منفعت گیری کرده است. انویدیا از اظهارنظر مستقیم درمورد‌ی این که دیپ‌سیک دقیقا از کدام تراشه‌های این شرکت منفعت گیری کرده، خودداری کرد؛ بااین‌حال، سخنگوی غول تراشه‌سازی در بیانیه‌ای او گفت که «دیپ‌سیک پیشرفت چشمگیری در صنعت هوش مصنوعی» از خود به نمایش گذاشت و اضافه کرد که روش استنتاجی این استارتاپ برای آموزش مدل، «به تعداد قابل‌توجهی از GPU‌های انویدیا و شبکه‌های پردازشی پرقدرت نیاز دارد.»

صرف‌نظر از این که مدل‌های دیپ‌سیک دقیقا با چه تراشه‌ای گسترش یافته‌اند، به نظر می‌رسد این‌روزها رویکرد متن‌باز در حوزه‌ی هوش مصنوعی درحال کسب نفوذ و محبوبیت بیشتری است؛ این نوشته زنگ خطری برای شرکت‌های بسته‌ای چون OpenAI است که روزی می‌خواست اولین شرکت دنیا باشد که به AGI دست اشکار می‌کند.

هوش مصنوعی به توان محاسباتی عظیم و هزینه‌های هنگفت نیاز دارد؛ تاحدی که قدرتمندترین مدیران فناوری آمریکا در حال خرید نیروگاه‌های هسته‌ای می باشند تا برق موردنیاز مدل‌های هوش مصنوعی خود را تامین کنند.

همین چند زمان پیش، متا خبرداد که امسال بیشتر از ۶۵ میلیارد دلار برای گسترش‌ی هوش مصنوعی هزینه خواهد کرد. اوپن‌ای‌آی هم سال قبل برآورد کرد که صنعت هوش مصنوعی به تریلیون‌ها دلار اندوخته‌گذاری برای تامین تراشه‌های پیشرفته نیاز دارد.

به این علت، فکر این که مدل‌هایی با کارکرد شبیهِ قدرتمندترین مدل‌های هوش مصنوعی آمریکا می‌توانند با هزینه‌‌ای به‌مراتب کمتر و با تراشه‌هایی به‌مراتب ضعیف‌تر گسترش یابند، فهمیدن صنعت از مقدار اندوخته‌گذاری موردنیاز در حوزه‌ی هوش مصنوعی را زیرورو کرده است.

هوش مصنوعی منتقدان و مخالفان بسیاری دارد، اما حامیانش نوید آینده‌ای پرسود خواهند داد. برای مثال، لیسا سو، مدیرعامل AMD، تاثییر هوش مصنوعی بر زندگی روزمره و پژوهش‌های بشری در آینده را با تاثییر اینترنت، ظهور تلفنهای هوشمند و فضای ابری یکسان می‌داند و معتقد است آنچه اکنون از هوش مصنوعی می‌بینیم، تنها نوک کوه یخ است.

اگر این چنین قوت متغیرکننده‌ای بتواند با این چنین هزینه‌ی مقداری به دست آید، آن‌زمان دنیا با زمان‌های تازه و یقیناً تهدیدهای جدیدی مواجه خواهد شد.

در این بین، شرکتی که از هیاهوی این تکنولوژی نوظهور بیشترین سود را برده، انویدیا است که تراشه‌های گسترش یافتهی مورداستفاده‌ی شرکت‌های هوش مصنوعی را تشکیل می‌کند. فکر اندوخته‌گذاران این می بود که در دوران «تب طلای هوش مصنوعی»، خرید سهام انویدیا به‌معنی اندوخته‌گذاری روی شرکتی است که «بیل‌وکلنگ» این صنعت را تشکیل می‌کند. مهم نیست کدام شرکت درنهایت در رقابت هوش مصنوعی پیروز بشود؛ چراکه همه آن‌ها برای اجرای مدل‌های خود به انبوهی از تراشه‌های انویدیا نیاز خواهند داشت. این فکر پشتیبانی کرد در ۲۷ دسامبر ۲۰۲۴، قیمت سهام انویدیا به ۱۳۷ دلار برسد؛ تقریبا ۱۰ برابر قیمت آن در ابتدای ژانویه‌ی ۲۰۲۳.

اما درمورد‌ی جنبه‌ی فرد دیگر از ماجرا کمتر سخن بگویید می‌بشود؛ این‌که چطور دیپ‌سیک توانست دستاوردهای چندساله‌ی OpenAI را فقط در عرض چند ماه بازتولید کند. اوپن‌ای‌آی همانند TSMC برای دنیای تراشه، خود را به‌گفتن تنها شرکتی که قادر به ساخت هوش مصنوعی پیشرفته است، معارفه کرده و با این عکس، حمایتاندوخته‌گذاران را برای ساخت بزرگ‌ترین دیتاسنتر هوش مصنوعی جهان پیدا کرده است. اما دستاورد یک‌شبه‌ی دیپ‌سیک مشخص می کند برتری‌های فنی دوام چندانی ندارند؛ حتی وقتی‌که شرکت‌ها تلاش می‌کنند راه حلهای خود را محرمانه نگه دارند.

بخشی از قیمت شرکت‌های بسته‌ای چون OpenAI به این وابسته است که مردم فکر کنند آن‌ها در حال انجام کارهای زیاد مهمی می باشند که از توان تعداد بسیاری از شرکت‌ها خارج است. این فکر برای تشکیل هیاهوی تبلیغاتی و جذب اندوخته‌ی زیاد تر یا گسترش‌ی پروژه‌های تازه ملزوم است. اما دیپ‌سیک نشان داد برای رسیدن به جایگاه اوپن‌ای‌آی، نیازی به اندوخته‌‌های صدها میلیون دلاری نیست. شگفت نیست که این نوشته دست‌کم برای چند ساعت، بازار بورس آمریکا را به وحشت انداخت.

پیروزی دیپ‌سیک نشان داد که ریخت‌وپاش مالی عامل ضمانت‌کننده‌ی برتری نیست؛ هرچند برخی از کارشناسان به ادعای این شرکت درمورد هزینه‌ی نهایی آموزش مدل شک دارند و می‌گویند هزینه‌ها زیاد زیاد تر از چیزی است که اظهار شده.

برخی حس می‌کنند محدودیت‌های صادراتی آمریکا ناکامی خورده و به‌جای افت شدت پیشرفت فناوری چین، آن‌ها را ناچار به نوآوری کرده است. برای برخی هم، پیروزی دیپ‌سیک نشان‌دهنده‌ی از دست رفتن برتری آمریکا در حوزه‌ی هوش مصنوعی است.

عده‌ای اعتقاد دارند این حالت مقطعی است و بازار بورس و صنعت هوش مصنوعی مجدد به حالت قبل باز می‌گردد؛ اما تعدادی از کارشناسان، این حالت را نشانه‌ای از یک تحول فناوری می‌دانند؛ این که شرکت‌های هوش مصنوعی به جای تلاش برای تشکیل مدل‌های بزرگ‌تر و پرهزینه‌تر، اکنون زیاد تر بر گسترش‌ی قابلیت‌های پیشرفته، همانند استدلال و علت، متمرکز شده‌اند.