هوش مصنوعی Orca-Math مایکروسافت برای حل مسائل ریاضی معارفه شد

مایکروسافت مدل هوش مصنوعی Orca-Math را معارفه کرد؛ این هوش مصنوعی یک مدل زبانی کوچک (SLM) است اما از مدل‌های زیاد بزرگ‌تری همانند جمینای پرو گوگل و GPT-3.5 در حل مسائل ریاضی بهتر عمل می‌کند. یقیناً این مدل کاملاً توسط مایکروسافت تشکیل نشده، درواقع Orca-Math برپایه مدل 7 میلیارد پارامتری شرکت Mistral ساخته شده است. پیش‌ازاین مایکروسافت از همکاری چندساله با این شرکت فرانسوی خبر داده می بود.

بر پایه اظهار رسمی بلاگ مایکروسافت ریسرچ، Orca-Math در بنچمارک GSM8k pass@1 که مخصوص بازدید مقدار توانایی در حل مسائل ریاضی است، امتیاز 86.81 درصد را کسب کرد. این رقم از امتیاز مدل‌های بزرگی همانند جمینای پرو، LLAMA-2-70 متا، GPT-3.5 و حتی از مدل‌های تخصصی ریاضی همانند MetaMath-70B و WizardMa8th-70B زیاد تر است. قابل‌ذکر است که مدل پایه Mistral-7B نیز در بنچمارک GSM8k امتیاز 37.83 درصد را به‌دست آورد.

مدل هوش مصنوعی Orca-Math مایکروسافت

مدل Orca-Math با مجموعه داده‌ای متشکل از 200 هزار قضیه ریاضی آموزش دیده است؛ هرچند این مقدار کوچک‌تر از دیگر مجموعه داده‌های ریاضی است، اما این مقدار داده امکان آموزش سریع تر و مقرون‌به‌صرفه را فراهم می‌کند. این چنین Orca-Math تحت یک فرایند یادگیری تکراری قرار داشته، بدین صورت که حل مسائل تکراری را تمرین می‌کرد و به‌طور مداوم بر پایه بازخورد سیگنال‌های ناظر، خود را بهبود می‌داد.

به‌نظر می‌رسد استارتاپ انتروپیک نیز از همین مجموعه داده برای آموزش مدل هوش مصنوعی Claude 3 Opus منفعت گیری کرده است. مدل هوش مصنوعی قوی انتروپیک که به‌تازگی معارفه شده، رقیبی جدی برای جمینای و ChatGPT محسوب می‌بشود.

مایکروسافت مدل زبانی مهم Orca با 13 میلیارد پارامتر را در ژوئن 2023 (خردادماه) معارفه کرد که از GPT-4 به‌گفتن معلم هوش مصنوعی خود منفعت گیری می‌کرد. Orca 2 نیز در نسخه‌های 13 و 7 میلیارد پارامتری در نوامبر 2023 (آبان‌ماه) معارفه شد که هر دو برپایه مدل متن‌باز متا یعنی Llama 2 LLM بودند. اکنون عضو تازه خانواده Orca، با 7 میلیارد پارامتر، مخصوص حل مسائل ریاضی است و می‌تواند در این عرصه کاربردهای مختلفی داشته باشد.