مدل زبانی بزرگ (LLM) به زبان مدیر
اگر قرار است دربارهٔ یک پروژه هوش مصنوعی تصمیم بگیرید، لازم نیست بدانید مدل زبانی چطور آموزش میبیند. لازم است بدانید چه کاری را خوب انجام میدهد، کجا اشتباه میکند، و هزینهاش از کجا میآید. این سه، تقریباً همهٔ چیزی است که در جلسهٔ تصمیم به دردتان میخورد.
مدل زبانی چه کاری میکند
یک مدل زبانی، متن ورودی را میگیرد و ادامهاش را مینویسد. همین. هر چیزی که میبینید — پاسخ به سؤال، خلاصهسازی، ترجمه، نوشتن کد — شکلی از همین یک کار است.
این توصیف ساده به نظر میرسد و دو نتیجهٔ مهم دارد.
اول اینکه مدل دانش ندارد، الگو دارد. چیزی که تولید میکند محتملترین ادامه است، نه چیزی که از جایی خوانده و تأیید کرده. به همین دلیل میتواند با اطمینان کامل چیزی بگوید که وجود ندارد.
دوم اینکه کیفیت خروجی بهشدت به ورودی وابسته است. همان مدل با ورودی دقیقتر، خروجی بهمراتب بهتری میدهد. بخش بزرگی از کار در پروژههای واقعی، ساختن همان ورودی است.
چه کاری را خوب انجام میدهد
الگویی که در پروژههای موفق تکرار میشود این است که مدل روی متنی که به آن دادهاید کار میکند، نه از حافظهاش.
خلاصهکردن یک متن بلند. استخراج اطلاعات ساختاریافته از متن آزاد — مثلاً بیرون کشیدن نام و مبلغ و تاریخ از یک قرارداد. دستهبندی — اینکه این تیکت مربوط به کدام واحد است. بازنویسی و تغییر لحن. و پاسخ به سؤال، وقتی متن مرجع همراه سؤال داده شود.
آن شرط آخر مهمترین جمله این مقاله است. تفاوت یک دستیار قابل اتکا و یک دستیار خطرناک، تقریباً همیشه همین است. روشی که این را ممکن میکند RAG نام دارد و در RAG چیست توضیحش دادهایم.
کجا قابل اتکا نیست
محاسبه. مدل زبانی ماشینحساب نیست. برای جمعزدن اعداد یک فاکتور، از کد استفاده کنید نه از مدل.
واقعیتهای دقیق از حافظه. تاریخ، شماره، قیمت، بند قانون. اگر متن مرجع نداده باشید، آنچه میگیرید حدس است — حدسی که مثل واقعیت نوشته شده.
تازگی. دانش مدل تا مقطعی است. رویدادهای بعد از آن را نمیداند مگر به آن بدهید.
پایداری. یک پرسش را دو بار بپرسید، ممکن است دو جواب کمی متفاوت بگیرید. برای متن ایرادی ندارد؛ برای فرایندی که خروجیاش باید همیشه یکسان باشد، مشکل است.
تصمیمهای پرپیامد. رد یا تأیید وام، تشخیص پزشکی، تصمیم حقوقی. مدل میتواند خلاصه کند و گزینه پیشنهاد دهد؛ تصمیم باید با آدم بماند.
چند چیزی که با هم اشتباه میشوند
مدل موتور است. API راهی است برای رسیدن به آن. دستور یا prompt ورودی است. RAG روشی است برای همراهکردن اسناد شما با سؤال. فاینتیون یعنی تغییر خود مدل با داده شما.
بیشترین سوءتفاهمی که در جلسات میبینیم بین دو تای آخر است. فاینتیون برای تغییر سبک پاسخ خوب است؛ برای دانش انتخاب بدی است، چون هر بار داده عوض شود باید تکرار شود و نمیتوانید بگویید جواب از کدام سند آمده. دانش سازمانی مرتب عوض میشود، پس نباید در وزنهای مدل پخته شود.
هزینه از کجا میآید
هزینه استفاده معمولاً بر مبنای حجم متن ورودی و خروجی حساب میشود. یعنی سه چیز مستقیماً روی صورتحساب اثر میگذارند: طول ورودی، طول خروجی، و تعداد فراخوانی.
نکتهای که در برآورد اولیه معمولاً دیده نمیشود: در یک سامانه RAG، ورودی فقط سؤال کاربر نیست؛ قطعههای سند بازیابیشده هم هستند. اگر هر پرسش پنج قطعه متن همراهش برود، ورودی چند برابر سؤال است.
و هزینه واقعی پروژه، هزینه استفاده نیست. آمادهسازی داده، ساخت سامانه بازیابی، ارزیابی کیفیت و نگهداری، بخش بزرگتر است.
مدل ابری یا مدل روی سرور خودتان
اگر اسناد شما قرارداد، اطلاعات بیمار یا داده مالی است، فرستادن هر پرسش به یک سرویس بیرونی معمولاً روی میز نیست — بهعلاوهٔ محدودیتهای پرداخت و دسترسی.
سه گزینه واقعی: مدل باز روی سرور خودتان، مدل باز روی زیرساخت ابری داخلی، یا معماری ترکیبی که داده حساس از سازمان بیرون نمیرود و فقط پرسشهای بیخطر به سرویس بیرونی میروند.
هزینه و کیفیت این سه با هم تفاوت جدی دارند و انتخاب باید پیش از شروع پیادهسازی انجام شود. عوضکردنش در میانه راه، بازنویسی است نه تنظیم.
چطور بفهمید ادعایی واقعی است
اگر کسی راهکاری بر پایه مدل زبانی به شما پیشنهاد میدهد، این چهار سؤال بیشتر از هر دموی خوبی به شما میگویند با چه چیزی طرفید:
پاسخها از کجا میآیند؟ اگر جواب «از دانش مدل» است، برای کاربرد سازمانی مناسب نیست.
وقتی جواب را نمیداند چه میکند؟ سامانهای که همیشه جوابی دارد، مشکل توهم را با مراحل بیشتر بازتولید کرده.
کیفیت را چطور میسنجید؟ اگر معیار مکتوبی وجود ندارد، بهبود هم قابل اثبات نیست.
و داده من کجا میرود؟
نقطه شروع عملی
یک حوزهٔ پرسش با اسناد سالم انتخاب کنید، پنجاه پرسش واقعی با جواب درستشان جمع کنید، و نمونهٔ اولیه را با همان پنجاه پرسش بسنجید. سه عدد را نگاه کنید: درصد پاسخ درست، درصد مواردی که درست گفته «نمیدانم»، و درصد پاسخهای قاطعِ غلط.
عدد سوم مهمترین است و تنها عددی است که تصمیم میسازد. سامانهای که هشتاد درصد درست جواب میدهد و بیست درصد با اطمینان اشتباه میگوید، از سامانهای که شصت درصد جواب میدهد و بقیه را میگوید نمیدانم، بیاعتمادتر است.