نقشه راه مهندس پردازش زبان طبیعی، مسیر یادگیری NLP و مدل‌های زبانی

معرفی

مخاطبان نقشه راه

این مسیر برای افرادی است که می‌خواهند از برنامه‌نویسی یا تحلیل داده وارد مهندسی پردازش زبان طبیعی شوند. مسیر از مبانی Python آغاز می‌شود. بنابراین برای شروع به تجربه قبلی در یادگیری ماشین نیاز ندارید، اما باید بتوانید تمرین‌های برنامه‌نویسی را پیوسته انجام دهید و مستندات انگلیسی را در حد فنی بخوانید.

دستاورد پایانی

پس از تکمیل مسیر، برای هر مسئله متنی فارسی می‌توانید کارهای زیر را انجام بدهید: ۱- مسئله را صورت‌بندی کرده و داده را بررسی و آماده کنید. ۲- سپس خط پایه و مدل ترنسفورمر بسازید. ۳- کیفیت مدل را با معیار و تحلیل خطا بسنجید و آن را در قالب API قابل‌آزمایش ارائه کنید. ۴- همچنین می‌توانید متناسب با شاخه هدف خود، در طبقه‌بندی و استخراج اطلاعات یا جست‌وجوی معنایی و RAG نمونه اولیه قابل‌ارزیابی بسازید.

پیش‌نیازها

پیش از شروع، بهتر است با موارد زیر آشنا باشید.

• توانایی کار روزمره با رایانه و نصب ابزارهای توسعه
• انگلیسی فنی در حد خواندن مستندات و پیام‌های خطا
• زمان منظم برای تمرین و اجرای پروژه، ترجیحاً دست‌کم ۸ تا ۱۲ ساعت در هفته

مسیر یادگیری شغل مهندس پردازش زبان طبیعی

1. ۱

   ساخت پایه برنامه‌نویسی و کار با داده

   ۶۰ ساعت

   هدف گام: نوشتن برنامه‌های Python برای خواندن، تبدیل، بررسی و ذخیره داده‌های متنی.

   کار را با زبان برنامه نویسی پایتون شروع کنید، زیرا بیشتر ابزارهای رایج NLP و یادگیری ماشین با این زبان استفاده می‌شوند. متغیرها، شرط، حلقه، تابع، ساختارهای داده، خواندن فایل و مدیریت خطا را در سطح تعریف رها نکنید و هر مفهوم را با داده متنی تمرین کنید.

   سپس کار با آرایه و جدول داده را بیاموزید. فایل CSV یا JSON را بخوانید، مقدارهای گمشده و رکوردهای تکراری را پیدا کنید، طول متن‌ها را بررسی کنید و خروجی تحلیل را به صورت بازتولیدپذیر ذخیره کنید. از همان ابتدا تغییرات پروژه را با Git ثبت کنید.

   مهارت‌ها

   برنامه‌نویسی پایتونپاک‌سازی و آماده‌سازی دادهکنترل نسخه

   ابزارها

   پایتونژوپیتر نوت‌بوکپانداسنام‌پایگیت

   مفاهیم تکمیلی

   ساختارهای داده و توابع در Pythonخواندن و نوشتن داده‌های CSV و JSONبررسی مقدارهای گمشده و داده‌های تکراریآمار توصیفی متن و طول پیام‌هاثبت تغییرات و نوشتن پیام کامیت

   پروژه پیشنهادی: مجموعه کوچکی از نظرهای فارسی یا پیام‌های عمومی را در CSV بخوانید، رکوردهای تکراری و متن‌های خالی را گزارش کنید، توزیع طول متن را بسنجید و نسخه پاک‌سازی شده را همراه با README در مخزن Git نگه دارید.

   معیار پایان گام: می‌توانید بدون کپی‌کردن نوت‌بوک آماده، یک فایل داده متنی را بخوانید، کیفیت اولیه آن را گزارش کنید، خروجی پاک‌سازی‌شده بسازید و تغییرات را با Git ثبت کنید.

2. ۲

   یادگیری ریاضی، آمار و ارزیابی مدل

   ۵۵ ساعت

   هدف گام: فهم معیارهای ارزیابی و انتخاب معیار متناسب با مسئله زبانی.

   مفاهیم زیر را در تصمیم‌های مدل‌سازی به کار ببرید.

   • احتمال

   • بردار و ماتریس

   • میانگین و پراکندگی

   • نمونه‌گیری

   • بیش‌برازش

   تمرکز این گام را بر درک این موضوع بگذارید که یک امتیاز مدل چه چیزی را پنهان می‌کند.

   داده را به بخش‌های آموزش، اعتبارسنجی و آزمون تقسیم کنید. برای طبقه‌بندی، دقت، «دقت مثبت» (Precision)، «بازیابی» (Recall) و امتیاز F1 را مقایسه کنید و ماتریس درهم‌ریختگی را بخوانید. برای مسئله‌های بازیابی نیز تفاوت میان کیفیت رتبه‌بندی و پاسخ‌گویی درست را بشناسید.

   مهارت‌ها

   ریاضیات و آمار برای یادگیری ماشینکاربست آمار در تحلیل دادهمدل‌سازی با یادگیری ماشین

   ابزارها

   پایتوننام‌پایسایکیت‌لرنژوپیتر نوت‌بوک

   مفاهیم تکمیلی

   تقسیم داده به آموزش، اعتبارسنجی و آزمونبیش‌برازش و تعمیم‌پذیری مدلماتریس درهم‌ریختگیدقت مثبت، بازیابی و امتیاز F1نامتوازن بودن کلاس‌هاانتخاب معیار بر اساس هزینه خطا

   پروژه پیشنهادی: برای مسئله دسته‌بندی پیام، تقسیم داده ثابتی بسازید و دو مدل فرضی را با دقت و F1 مقایسه کنید. توضیح دهید چرا مدلی با دقت بالاتر ممکن است برای کلاس مهم‌تر مناسب نباشد.

   معیار پایان گام: می‌توانید داده را بدون نشت اطلاعات تقسیم کنید، معیار مناسب مسئله را انتخاب کنید و تفاوت دقت، precision و recall و F1 را با نمونه خطا توضیح دهید.

3. ۳

   شناخت داده و زبان فارسی در NLP

   ۵۰ ساعت

   هدف گام: آماده‌سازی داده فارسی بدون حذف بی‌دلیل نشانه‌های معنایی و ثبت تصمیم‌های پاک‌سازی.

   داده فارسی را مانند متن انگلیسی فرض نکنید. موارد زیر می‌توانند داده و ارزیابی را تغییر دهند.

   • شکل‌های متفاوت «ی» و «ک»

   • نیم‌فاصله

   • فاصله‌های اضافی

   • نشانه‌گذاری

   • املای متغیر محاوره و فینگلیش

   پیش از نرمال‌سازی، نمونه واقعی داده را بررسی کنید و مشخص کنید کدام تبدیل‌ها برای مسئله شما مفید یا زیان‌بار هستند.

   برای نمونه، حذف همه نشانه‌ها ممکن است اموجی و علامت تعجب را در تحلیل احساس از بین ببرد. در استخراج اطلاعات از سند نیز تغییر عددها یا قالب تاریخ می‌تواند خطای جدی ایجاد کند.

   قواعد آماده‌سازی را در فایلی قابل‌ اجرا و مستند نگه دارید تا آموزش و سرویس از دو منطق متفاوت استفاده نکنند.

   مهارت‌ها

   پردازش زبان طبیعیپاک‌سازی و آماده‌سازی دادهمهندسی ویژگی در یادگیری ماشین

   ابزارها

   پایتونپانداسژوپیتر نوت‌بوک

   مفاهیم تکمیلی

   نرمال‌سازی نویسه‌های فارسیمدیریت نیم‌فاصله و فاصله‌های اضافیتوکن‌سازی و قطعه‌بندی متنبررسی املای متغیر و زبان محاورهحفظ یا حذف نشانه‌گذاری بر اساس مسئلهنمونه‌برداری دستی برای کنترل کیفیت داده

   پروژه پیشنهادی: یک تابع آماده‌سازی برای داده فارسی بسازید و روی حداقل ۵۰ نمونه، نسخه اصلی و نسخه تبدیل‌شده را کنار هم بررسی کنید. مواردی را که قاعده شما معنای متن را تغییر داده است ثبت و اصلاح کنید.

   معیار پایان گام: می‌توانید برای یک داده فارسی مشخص، قواعد نرمال‌سازی را توجیه کنید، نمونه‌های آسیب‌دیده را پیدا کنید و یک فرایند آماده‌سازی یکسان برای آموزش و استنتاج بسازید.

4. ۴

   ساخت خط پایه برای مسئله‌های متنی

   ۶۰ ساعت

   هدف گام: حل یک مسئله NLP با خط پایه ساده، قابل‌تکرار و قابل‌مقایسه.

   پیش از ریزتنظیم مدل‌های بزرگ، یک خط پایه بسازید. برای طبقه‌بندی متن، نمایش کیسه کلمات یا TF-IDF همراه با مدل خطی نقطه شروع مناسبی است. برای استخراج اطلاعات، ابتدا مجموعه نمونه برچسب‌خورده و قواعد ساده‌ای بسازید. خط پایه به شما نشان می‌دهد که مدل پیچیده چه بهبودی ایجاد کرده است.

   نتیجه را با یک امتیاز خلاصه نکنید. نمونه‌های درست و نادرست را دسته‌بندی کنید:

   • متن کوتاه

   • غلط املایی

   • اصطلاح تخصصی

   • کلاس‌های کم‌نمونه

   • موارد مبهم

   این دسته‌ها مبنای تصمیم شما برای جمع‌آوری داده، تغییر برچسب یا انتخاب مدل در گام بعدی هستند.

   مهارت‌ها

   پردازش زبان طبیعیمدل‌سازی با یادگیری ماشینمهندسی ویژگی در یادگیری ماشین

   ابزارها

   پایتونسایکیت‌لرنپانداس

   مفاهیم تکمیلی

   نمایش TF-IDF برای متنمدل‌های خطی برای طبقه‌بندیخط پایه مبتنی بر قواعدتحلیل خطا بر اساس گروه‌های دادهآزمون بازتولیدپذیری فرایند آموزشثبت نسخه داده و تنظیمات آزمایش

   پروژه پیشنهادی: دسته‌بند فارسی برای ارجاع خودکار تیکت‌های پشتیبانی بسازید. خط پایه‌ای مبتنی بر TF-IDF و مدل خطی پیاده‌سازی کنید، F1 هر دسته را گزارش دهید و دست‌کم ۱۵ خطا را با علت احتمالی دسته‌بندی کنید.

   معیار پایان گام: می‌توانید خط پایه را از آموزش تا ارزیابی اجرا کنید، نتایج را بازتولید کنید و با تحلیل نمونه‌های خطادار، پیشنهاد مشخصی برای بهبود بعدی بدهید.

5. ۵

   کار با ترنسفورمرها و ریزتنظیم مدل

   ۸۰ ساعت

   هدف گام: انتخاب، ریزتنظیم و ارزیابی یک مدل ترنسفورمر برای داده متنی فارسی.

   مفهوم «تبدیل متن به بردار»، «سازوکار توجه» (Attention)، «توکن‌سازی» (Tokenization)، «دسته داده» (Batch) و «دوره آموزش» (Epoch) را در حدی یاد بگیرید که بتوانید انتخاب‌هایی مانند طول ورودی، اندازه Batch، نرخ یادگیری، تعداد Epoch و خطر بیش‌برازش را درک کنید. نیازی نیست مدل زبانی را از صفر آموزش دهید. در بیشتر پروژه‌های محصول، ارزیابی و ریزتنظیم مدل موجود واقع‌بینانه‌تر است.

   مدل را بر اساس محبوبیت انتخاب نکنید. آن را با خط پایه خود، داده واقعی، زمان پاسخ و محدودیت سخت‌افزار مقایسه کنید. اگر داده یا توان پردازشی محدودی دارید، با مدل کوچک‌تر، داده بهتر و ارزیابی دقیق‌تر شروع کنید. از PyTorch و Transformers برای چرخه آموزش، ذخیره مدل و استنتاج استفاده کنید.

   مهارت‌ها

   پردازش زبان طبیعیمدل‌سازی با یادگیری ماشیناشکال‌زدایی نرم‌افزار

   ابزارها

   پایتونپایتورچترنسفورمرز هاگینگ فیس

   مفاهیم تکمیلی

   بردارسازی زمینه‌مند متنسازوکار توجه در ترنسفورمرتوکن‌سازی و محدودیت طول ورودیریزتنظیم مدل از پیش آموزش‌دیدهتنظیم نرخ یادگیری و اندازه batchمقایسه مدل با خط پایه

   پروژه پیشنهادی: همان مسئله دسته‌بندی تیکت را با یک مدل ترنسفورمر ریزتنظیم کنید. نتیجه را با خط پایه مقایسه کنید، زمان استنتاج را ثبت کنید و نشان دهید بهبود یا افت کیفیت در کدام گروه از متن‌ها رخ داده است.

   معیار پایان گام: می‌توانید یک فرایند ریزتنظیم را اجرا و اشکال‌زدایی کنید، نتیجه را با خط پایه مقایسه کنید و دلیل انتخاب مدل را با کیفیت، زمان پاسخ و محدودیت منابع توضیح دهید.

6. ۶

   شاخه انتخابی: جست‌وجوی معنایی و سامانه RAG

   ۷۰ ساعت

   هدف گام: برای نقش‌های جست‌وجو، پرسش‌وپاسخ از اسناد یا دستیار دانشی، ساخت نمونه اولیه‌ای که پاسخ را بر داده بازیابی‌شده تکیه دهد.

   این گام برای همه مسئله‌های NLP ضروری نیست. اگر شرح مسئولیت آگهی بر جست‌وجوی معنایی، پرسش‌وپاسخ از اسناد، چت‌بات دانشی یا مدل‌های زبانی متمرکز است، این شاخه را انتخاب کنید. برای طبقه‌بندی یا استخراج اطلاعات، زمان این گام را به بهبود داده برچسب‌خورده، تحلیل خطا و ریزتنظیم اختصاص دهید.

   برای پرسش‌وپاسخ روی اسناد سازمانی، چت‌بات مبتنی بر مدل زبانی به تنهایی کافی نیست. اسناد را بخش‌بندی کنید، نمایش برداری بسازید، قطعه‌های مرتبط را بازیابی کنید و پاسخ را همراه با منبع ارزیابی کنید. این الگو RAG نام دارد.

   LangChain جریان بازیابی و تولید را سازمان می‌دهد، pgvector جست‌وجوی برداری را در PostgreSQL فراهم می‌کند و OpenAI API در صورت انتخاب مدل بیرونی برای تولید پاسخ به کار می‌رود. کیفیت بازیابی و کیفیت پاسخ را جداگانه بسنجید و سناریوی «اطلاعات کافی ندارم» را طراحی کنید.

   مهارت‌ها

   توسعه سامانه‌های تولید تقویت‌شده با بازیابی (RAG)مهندسی پرامپت و طراحی زمینه مدلپردازش زبان طبیعی

   ابزارها

   پایتونپستگرس‌کیوال

   مفاهیم تکمیلی

   بخش‌بندی اسناد برای بازیابیبردارسازی و جست‌وجوی معناییطراحی مجموعه پرسش برای ارزیابی بازیابیتفکیک ارزیابی بازیابی از ارزیابی پاسخطراحی پاسخ مبتنی بر منبعمدیریت پرسش‌های خارج از محدوده

   پروژه پیشنهادی: یک سامانه RAG کوچک برای پرسش‌وپاسخ از مجموعه‌ای از مستندات عمومی فارسی بسازید. برای هر پاسخ، قطعه‌های بازیابی‌شده را نمایش دهید و حداقل ۲۰ پرسش را از نظر ارتباط منبع و درستی پاسخ بررسی کنید.

   معیار پایان گام: می‌توانید علت پاسخ نادرست را به بازیابی، زمینه ارسالی یا تولید پاسخ نسبت دهید و برای پرسش‌های بدون منبع کافی، رفتار مشخصی پیاده‌سازی کنید.

7. ۷

   تبدیل مدل به سرویس قابل‌استفاده

   ۶۰ ساعت

   هدف گام: ارائه مدل یا سامانه منتخب از طریق API با ورودی، خروجی، خطا و آزمون مشخص.

   یک نوت‌بوک برای تحویل محصول کافی نیست. مدل را پشت API قرار دهید تا تیم بک‌اند یا محصول بتواند با قرارداد روشن از آن استفاده کند. ورودی نامعتبر، متن خالی، محدودیت طول، خطای سرویس بیرونی و زمان پاسخ را از ابتدا در طراحی در نظر بگیرید.

   با FastAPI «نقطه پایانی» (endpoint) برای API بسازید، نمونه درخواست و پاسخ بنویسید و رفتار سرویس را با pytest آزمون کنید. خروجی این گام باید شامل آزمون درخواست معتبر، متن خالی و ورودی با طول بیش از حد مجاز باشد. سپس محیط اجرا را با Docker یکسان کنید. در این مرحله، به‌جای افزودن قابلیت‌های متعدد، روی قابل‌اجرا بودن، مستندسازی و کنترل خطا تمرکز کنید.

   مهارت‌ها

   عملیاتی‌سازی یادگیری ماشینکانتینرسازی نرم‌افزارتست API

   ابزارها

   فست‌ای‌پی‌آیداکرپایتونگیت

   مفاهیم تکمیلی

   طراحی قرارداد ورودی و خروجی APIاعتبارسنجی ورودی‌های متنیمدیریت خطا و زمان‌سنجی درخواستآزمون endpointهای سرویسکانتینرسازی سرویس مدلمستندسازی روش اجرای محلی

   پروژه پیشنهادی: مدل دسته‌بندی یا سامانه RAG خود را با FastAPI به سرویس تبدیل کنید. یک endpoint سلامت سرویس و یک endpoint پیش‌بینی بسازید، با pytest آزمون خودکار اضافه کنید و پروژه را با Docker در محیط محلی اجرا کنید.

   معیار پایان گام: می‌توانید سرویس را با یک دستور اجرا کنید، درخواست معتبر و نامعتبر را آزمون کنید، پاسخ خطا را کنترل‌شده برگردانید و روش استفاده از API را در README توضیح دهید.

8. ۸

   پایش، حریم خصوصی و پروژه نهایی

   ۷۰ ساعت

   هدف گام: تکمیل یک پروژه انتهابه‌انتها با ارزیابی، پایش اولیه و تصمیم‌های مسئولانه درباره داده.

   در محصول واقعی، کیفیت مدل پس از انتشار نیز مهم است. معیارهای فنی مانند خطای سرویس و زمان پاسخ را کنار معیارهای کیفیت مانند نرخ ارجاع اشتباه، پاسخ بی‌پایه یا بازخورد کاربر پایش کنید. در نسخه اولیه، ثبت ساخت‌یافته زمان پاسخ، کد وضعیت و نمونه‌های خطادار برای تحلیل کافی است؛ ابزارهای پایش پیشرفته را فقط زمانی اضافه کنید که پروژه به استقرار پایدار نزدیک می‌شود.

   برای بازبینی نمونه‌ها، داده را با کنترل دسترسی نگه دارید و اطلاعات شناسایی‌کننده را تا حد ممکن حذف کنید. پروژه نهایی باید یک مسئله روشن، داده مشخص، خط پایه، مدل یا روش RAG در صورت انتخاب آن شاخه، معیار ارزیابی، تحلیل خطا و API داشته باشد. موضوع را بر اساس داده‌ای انتخاب کنید که حق استفاده از آن را دارید.

   مهارت‌ها

   عملیاتی‌سازی یادگیری ماشینپایش و مشاهده‌پذیری سامانه‌هاارتباطات فنی

   ابزارها

   داکرگیت

   مفاهیم تکمیلی

   پایش زمان پاسخ و خطای سرویسثبت بازخورد و نمونه‌های خطادارتشخیص تغییر الگوی دادهحذف اطلاعات شناسایی‌کننده از دادهمستندسازی محدودیت‌ها و سناریوهای شکستارائه تصمیم‌های فنی پروژه

   پروژه پیشنهادی: یک پروژه نهایی در شاخه هدف انتخاب کنید: دسته‌بندی تیکت فارسی، استخراج فیلد از متن، جست‌وجوی معنایی یا RAG روی اسناد. مخزن پروژه باید داده یا روش تهیه آن، ارزیابی، تحلیل خطا، API، Docker، راهنمای اجرا و محدودیت‌های حریم خصوصی را داشته باشد.

   معیار پایان گام: یک نفر دیگر می‌تواند با README پروژه را اجرا کند، API را آزمایش کند، معیارها و خطاهای نمونه را ببیند و محدودیت‌های داده، مدل و استفاده محصول را بفهمد.

ابزارهای مسیر

در ادامه، مهم‌ترین موارد این بخش به تفکیک معرفی شده‌اند.

• ابزار پایتون Python
• ابزار ژوپیتر نوت‌بوک Jupyter Notebook
• ابزار پانداس Pandas
• ابزار سایکیت‌لرن scikit-learn
• ابزار پایتورچ PyTorch
• ابزار ترنسفورمرز هاگینگ فیس Hugging Face Transformers
• ابزار گیت Git
• ابزار فست‌ای‌پی‌آی FastAPI
• ابزار داکر Docker

خطاهای رایج مسیر

موارد زیر تصویری کلی از این بخش برای این مسیر ارائه می‌کنند.

• شروع با مدل بزرگ پیش از ساخت خط پایه

  ابتدا یک خط پایه ساده و قابل‌ارزیابی بسازید. مدل ترنسفورمر را فقط وقتی اضافه کنید که بتوانید بهبود آن را در برابر خط پایه، زمان پاسخ و هزینه اجرا مقایسه کنید.

• پاک‌سازی تهاجمی متن فارسی

  پیش از حذف نشانه‌گذاری، ایموجی، عدد یا نیم‌فاصله، نمونه‌های واقعی را بررسی کنید. هر قاعده تبدیل را روی نمونه‌های قبل و بعد آزمایش و دلیل آن را ثبت کنید.

• اتکا به یک معیار کلی

  علاوه بر امتیاز کلی، معیار هر کلاس و نمونه‌های خطادار را بررسی کنید. برای وظیفه‌های حساس، خطاهای پرهزینه را جداگانه تعریف و گزارش کنید.

• ارزیابی روی داده‌ای که به آموزش نشت کرده است

  تقسیم آموزش، اعتبارسنجی و آزمون را پیش از تنظیم مدل انجام دهید. داده‌های تکراری یا بسیار مشابه را میان بخش‌ها پیدا کنید و تنظیمات نهایی را با داده آزمون انتخاب نکنید.

• ارائه نوت‌بوک به جای قابلیت قابل‌استفاده

  مدل را با API، آزمون، README و Docker تحویل دهید. ورودی‌های نامعتبر، متن‌های بلند و خطای سرویس‌های وابسته را نیز آزمایش کنید.

• انتخاب RAG برای مسئله‌ای که به آن نیاز ندارد

  ابتدا نوع مسئله و شرح مسئولیت را بررسی کنید. برای طبقه‌بندی یا استخراج اطلاعات، خط پایه و داده برچسب‌خورده را در اولویت بگذارید. RAG را برای بازیابی و پاسخ‌گویی بر پایه اسناد انتخاب کنید.

• ساخت RAG بدون سنجش کیفیت بازیابی

  برای پرسش‌های نمونه، ابتدا بررسی کنید آیا قطعه درست بازیابی شده است. کیفیت بازیابی و کیفیت پاسخ تولیدشده را با دو مجموعه معیار جداگانه ارزیابی کنید.

• ارسال داده حساس به سرویس بیرونی بدون بررسی

  پیش از استفاده از API بیرونی، اطلاعات شناسایی‌کننده را حذف کنید، دسترسی‌ها را محدود سازید و مشخص کنید داده در کجا و برای چه مدتی نگه‌داری می‌شود.

• نادیده‌گرفتن تفاوت مسئله محصول و مسئله مدل

  قبل از انتخاب مدل، با مثال واقعی مشخص کنید خروجی برای چه کاربری استفاده می‌شود، خطای قابل قبول چیست و چه زمانی سامانه باید از پاسخ‌گویی خودداری کند.

چک‌لیست آمادگی شغلی

موارد زیر را یک‌به‌یک بررسی کنید تا چیزی جا نماند:

• می‌توانم داده متنی فارسی را بررسی، پاک‌سازی و نسخه‌بندی کنم.
• می‌توانم برای یک مسئله متنی، خط پایه قابل‌ارزیابی بسازم.
• می‌توانم معیار مناسب را انتخاب کنم و نمونه‌های خطادار را تحلیل کنم.
• می‌توانم یک مدل ترنسفورمر را ریزتنظیم و با خط پایه مقایسه کنم.
• می‌توانم محدودیت‌های داده فارسی، از جمله نیم‌فاصله و املای متغیر، را در طراحی لحاظ کنم.
• می‌توانم در شاخه هدف خود، پروژه طبقه‌بندی، استخراج اطلاعات یا سامانه جست‌وجوی معنایی و RAG قابل‌ارزیابی بسازم.
• می‌توانم مدل یا سامانه زبانی را با FastAPI و Docker به سرویس قابل آزمایش تبدیل کنم.
• می‌توانم زمان پاسخ، خطاهای سرویس و نمونه‌های نامطلوب خروجی را پایش کنم.
• می‌توانم در پروژه خود، محدودیت‌های مدل و ملاحظات حریم خصوصی داده را مستند کنم.

پرسش‌های پرتکرار

در این بخش، به تعدادی از پرسش‌های رایج درباره این مسیر پاسخ داده شده است.

آموزش‌های مرتبط در فرادرس

• آموزش پردازش زبان طبیعی با ترنسفورمر در پایتون + مثال عملی در Hugging Face آموزش ویدئویی
• آموزش پلتفرم Hugging Face + کاربردهای هاگینگ فیس در پردازش زبان طبیعی (رایگان) آموزش ویدئویی
• آموزش پردازش زبان های طبیعی NLP در پایتون Python با پلتفرم NLTK + گواهینامه آموزش ویدئویی
• آموزش یادگیری ماشین با پایتون، ماشین لرنینگ با Python + گواهینامه آموزش ویدئویی
• آموزش ریاضی برای یادگیری ماشین + پیاده سازی در پایتون + گواهینامه آموزش ویدئویی
• آموزش برنامه نویسی پایتون Python، مقدماتی + گواهینامه آموزش ویدئویی
• پردازش زبان طبیعی چیست؟ – توضیح و کاربرد به زبان ساده آموزش متنی
• آموزش پردازش زبان طبیعی پروژه محور – راهنمای کاربردی آموزش متنی

منابع پیشنهادی

• Introduction دوره آموزشیhuggingface.co