راهنمای آمادگی مصاحبه شغلی مهندس پردازش زبان طبیعی

معرفی

شایستگی‌های مورد سنجش

برای آشنایی بهتر با این راهنما، توجه به موارد زیر می‌تواند مفید باشد.

• صورت‌بندی مسئله زبانی

  توانایی تبدیل نیاز مبهمی مانند «چت‌بات بهتر» به وظیفه مشخص، داده موردنیاز، خروجی قابل‌قبول و معیار موفقیت.

• آماده‌سازی متن فارسی

  تشخیص اثر نیم‌فاصله، شکل‌های مختلف «ی» و «ک»، غلط املایی، محاوره، فینگلیش، داده تکراری و اطلاعات شناسایی‌کننده بر مدل.

• ارزیابی و تحلیل خطا

  انتخاب معیار متناسب با مسئله، تفکیک داده آموزش و آزمون، خواندن نمونه‌های خطادار و اولویت‌بندی بهبودها بر اساس اثر محصول.

• مدل‌سازی یادگیری ماشین و ترنسفورمر

  درک خط پایه، بردارسازی، ریزتنظیم، بیش‌برازش، تنظیم ابرپارامتر و تفاوت مدل‌های کوچک با مدل‌های زبانی بزرگ.

• مهندسی داده و کدنویسی پایتون

  نوشتن کد قابل تکرار برای خواندن، پاک‌سازی، تقسیم‌بندی، آموزش و ارزیابی داده با Python و Pandas و NumPy.

• تبدیل مدل به سرویس محصول

  درک API، نسخه‌بندی مدل، زمان پاسخ، مدیریت خطا، محدودیت منابع و همکاری با بک‌اند برای استفاده عملی از مدل.

• طراحی سامانه‌های بازیابی و تولید

  توانایی توضیح اجزای RAG، کیفیت بازیابی، زمینه ارسالی به مدل، ارزیابی پاسخ و محدودیت توهم مدل.

• حریم خصوصی و استفاده مسئولانه از داده

  تشخیص خطر انتقال پیام‌ها و اسناد کاربران به سرویس بیرونی، حذف اطلاعات شناسایی‌کننده و تعیین دسترسی مناسب.

• ارتباط با محصول و ذی‌نفعان

  توضیح محدودیت مدل، کیفیت مورد انتظار، هزینه و سناریوهای شکست به مدیر محصول، کارشناس دامنه و توسعه‌دهنده.

• همکاری مهندسی

  استفاده از Git، مستندسازی تصمیم‌ها، بازبینی کد و تحویل تغییراتی که هم‌تیمی‌ها بتوانند اجرا و نگهداری کنند.

برنامه آماده‌سازی

موارد زیر تصویری کلی از این بخش برای این راهنما ارائه می‌کنند.

• بازخوانی پروژه NLP از ابتدا تا انتها

  پروژه واقعی را برای خود انتخاب کنید و بتوانید مسئله، منبع داده، تعریف برچسب، روش پاک‌سازی، خط پایه، مدل نهایی، معیار و خطاهای مهم آن را بدون نمایش اسلاید توضیح دهید. برای هر تصمیم، یک جایگزین و دلیل رد آن آماده کنید.

  اگر پروژه شما تحلیل احساس است، مشخص کنید برچسب‌های مبهم را چگونه مدیریت کرده‌اید. اگر بازیابی یا RAG است، تفاوت کیفیت بازیابی و کیفیت پاسخ نهایی را جداگانه توضیح دهید.

• داده متنی و چالش‌های فارسی

  روی مجموعه کوچکی از متن فارسی تمرین کنید:

  • یکسان‌سازی نویسه‌ها

  • مدیریت نیم‌فاصله

  • حذف یا نگه‌داشتن نشانه‌گذاری

  • تشخیص داده تکراری

  • بررسی نمونه‌های محاوره‌ای یا فینگلیش

  • و غیره

  توضیح دهید که هر مرحله چرا برای همان کاربرد لازم است. پاک‌سازی بیش‌ازحد می‌تواند اطلاعات مفید را حذف کند.

• ارزیابی، تقسیم داده و تحلیل خطا

  دقت، Precision و Recall و F1 را برای طبقه‌بندی مرور کنید و بدانید در کلاس نامتوازن چرا Accuracy می‌تواند گمراه‌کننده باشد. برای جست‌وجو، تفاوت معیارهای رتبه‌بندی و ارزیابی با پرس‌وجوهای واقعی را توضیح دهید.

  تمرین کنید خطاها را در گروه‌هایی مانند ابهام برچسب، متن بسیار کوتاه، غلط املایی، کلاس کم‌نمونه و مسئله خارج از دامنه دسته‌بندی کنید. سپس مشخص کنید کدام گروه ارزش بهبود بیشتری دارد.

• مدل‌های کلاسیک و ترنسفورمرها

  یک خط پایه ساده مانند TF-IDF را به‌همراه یک طبقه‌بند با مدل ترنسفورمر مقایسه کنید. تفاوت کیفیت، داده موردنیاز، زمان آموزش، هزینه استنتاج و نگهداری را به تصمیم محصول پیوند دهید. مفاهیم زیر را مرور کنید:

  • tokenization

  • طول ورودی

  • ریزتنظیم

  • بیش‌برازش

  • یادگیری انتقالی

  • تنظیم ابرپارامتر

  صرف نام‌بردن از Hugging Face یا PyTorch مسئله‌ای را حل نمی‌کند؛ باید مسئله حل‌شده توسط آن‌ها را بدانید.

• RAG و مدل‌های زبانی

  برای یک دستیار پاسخ‌گو، جریان‌های زیر را ترسیم کنید:

  • دریافت سند

  • قطعه‌بندی

  • ساخت بردار

  • بازیابی

  • انتخاب زمینه

  • تولید پاسخ

  برای شرایطی آماده باشید که مدل زبانی با وجود بازیابی ضعیف، پاسخ روان اما نادرست تولید می‌کند. معیارهای ارزیابی را به دو بخش بازیابی و پاسخ تقسیم کنید. شرایط ترجیح پاسخ ندادن یا ارجاع به کارشناس نسبت به پاسخ قطعی را مشخص کنید.

• داده گفتاری و ارزیابی ASR

  اگر آگهی به گفتار، تماس صوتی یا تبدیل گفتار به متن اشاره دارد، تفاوت «تشخیص خودکار گفتار» (ASR) با NLP متنی را مرور کنید. در ASR عوامل زیر بر نتیجه اثر می‌گذارند:

  • کیفیت صدا

  • نرخ نمونه‌برداری

  • نویز و لهجه

  • هم‌پوشانی گفتار

  • شیوه رونویسی داده

  معیار «Word Error Rate» یا «WER» را تمرین کنید و خطاها را به حذف، درج و جایگزینی واژه تفکیک سازید. در داده فارسی، نام‌های خاص، واژه‌های محاوره‌ای، اعداد و تفاوت شکل نوشتاری واژه‌ها را جداگانه بررسی کنید. کاهش WER به معنای مناسب‌بودن خروجی برای کاربرد نهایی نیست.

• استقرار و ملاحظات محصول

  مسیر ساده‌ای را از مدل تا API، مرور کنید:

  • ورودی و خروجی سرویس

  • اعتبارسنجی درخواست

  • زمان پاسخ و ثبت خطا

  • نسخه مدل و پاسخ جایگزین هنگام اختلال

  آشنایی عملی با FastAPI و Docker و Git به توضیح این مسیر کمک می‌کند. برای هر مدل یا API بیرونی، هزینه، محدودیت نرخ درخواست، محرمانگی متن کاربران و امکان پایش کیفیت پس از انتشار را در نظر بگیرید.

چک‌لیست آماده‌سازی

چک‌لیست زیر کمک می‌کند هیچ نکته مهمی را از قلم نیندازید:

• یک پروژه NLP را در ۳ دقیقه، همراه با مسئله، داده، معیار و نتیجه توضیح داده‌اید.
• برای پروژه خود، سه نمونه خطای واقعی و علت احتمالی هر کدام را آماده کرده‌اید.
• معیار مناسب مسئله خود را انتخاب کنید و محدودیت آن را بشناسید.
• تفاوت خط پایه ساده با مدل ترنسفورمر را برای پروژه خود شرح دهید.
• روش جلوگیری از نشت داده در تقسیم آموزش، اعتبارسنجی و آزمون را مرور کنید.
• چالش‌های نرمال‌سازی متن فارسی را در نمونه‌کار خود مشخص کنید.
• مخزن Git پروژه، دستور اجرا و وابستگی‌های آن را بررسی کنید.
• مسیر تبدیل مدل به API و محدودیت‌های زمان پاسخ را شرح دهید.
• برای یک سامانه RAG، کیفیت بازیابی و کیفیت پاسخ را جداگانه ارزیابی کنید.
• یاست خود را برای حذف یا محافظت از اطلاعات حساس در داده متنی آماده کنید.
• شرح وظایف آگهی را بخوانید و پرسش‌های مرتبط با دامنه داده و محصول را بنویسید.
• معرفی کوتاهی آماده کنید تا تجربه شما را با مسئله زبانی نقش مرتبط سازد.

سئوالاتی که از شما می‌پرسند

• فنی

  برای ساخت یک مدل دسته‌بندی تیکت‌های فارسی، از کجا شروع می‌کنید؟

  توانایی شکستن مسئله به داده، خط پایه، ارزیابی و مسیر بهبود را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  نوع و تعریف دسته‌ها، نمونه‌های مرزی و کیفیت برچسب‌ها را مشخص کنید. توزیع کلاس‌ها، متن‌های خالی و تکراری و همچنین شکل نوشتاری فارسی را بررسی کنید. خط پایه ساده و قابل تفسیرd مانند TF-IDF و یک طبقه‌بند ساده بسازید. سپس داده را بدون نشت اطلاعات به سه بخش آموزش، اعتبارسنجی و آزمون تقسیم کنید.

  اگر کلاس‌ها نامتوازن هستند، F1 و Recall هر کلاس را در کنار Accuracy گزارش کنید. پس از بررسی خطاها، درباره تغییر داده، تعریف برچسب‌ها یا مدل تصمیم بگیرید.

  ابتدا با تیم پشتیبانی مشخص می‌کنم هر دسته چه تعریف عملی دارد و تیکت‌های چندموضوعی چگونه برچسب می‌خورند. سپس داده‌های تکراری، متن‌های بسیار کوتاه و شکل‌های متفاوت نویسه‌های فارسی را بررسی می‌کنم.

  برای ساخت خط پایه، TF-IDF و یک طبقه‌بند ساده اجرا می‌کنم تا مشخص شود مدل پیچیده‌تر واقعا چه بهبودی ایجاد می‌کند. چون به طور معمول، بعضی دسته‌ها نمونه‌های کمتری دارند، F1 و Recall هر دسته را بررسی می‌کنم.

  در نهایت، نمونه‌های خطا را با کارشناس پشتیبانی بررسی می‌کنم. ممکن است مشکل از ابهام دسته‌ها باشد، نه انتخاب مدل.

• فنی

  چرا accuracy برای همه مسئله‌های NLP معیار مناسبی نیست؟

  درک انتخاب معیار بر اساس هزینه خطا و توزیع داده را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  در داده‌های نامتوازن، مدل می‌تواند با پیش‌بینی کلاس پرتکرار Accuracy بالایی به دست آورد، اما در تشخیص کلاس‌های مهم عملکرد ضعیفی داشته باشد. Precision و Recall را نیز به خطاهای مثبت کاذب و منفی کاذب مرتبط کنید.

  برای نمونه، در تشخیص پیام‌های حساس، از دست دادن پیام حساس ممکن است هزینه بیشتری نسبت به بررسی دستی پیام اضافی داشته باشد. بنابراین، در این مسئله Recall اهمیت بیشتری پیدا می‌کند. برای مسئله‌های رتبه‌بندی و تولید نیز باید معیار ارزیابی و ارزیابی انسانی را متناسب با کاربرد انتخاب کنید.

  Accuracy فقط نسبت پیش‌بینی‌های درست را نشان می‌دهد و در داده‌های نامتوازن می‌تواند تصویر اشتباهی ارائه کند. برای مثال، اگر ۹۵ درصد تیکت‌ها عادی باشند، مدلی که همیشه «عادی» را پیش‌بینی می‌کند Accuracy بالایی دارد، اما نمی‌تواند تیکت‌های مهم را پیدا کند.

  در چنین مسئله‌ای، Precision و Recall هر کلاس را جداگانه بررسی می‌کنم. اگر هدف، ارجاع پیام‌های مشکوک به کارشناس باشد، Recall کلاس حساس اهمیت بیشتری دارد. با این حال، باید افزایش هشدارهای اشتباه و ظرفیت بررسی دستی را هم در نظر گرفت.

• فنی

  برای متن فارسی چه نرمال‌سازی‌هایی انجام می‌دهید و چه چیزهایی را کورکورانه حذف نمی‌کنید؟

  دقت عملی در آماده‌سازی داده و پرهیز از پاک‌سازی قالبی را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  به یکسان‌سازی کاراکترهای هم‌ارز، فاصله و نیم‌فاصله، فاصله‌های اضافی و داده‌های تکراری اشاره کنید. تصمیم درباره نشانه‌گذاری، عدد، ایموجی، هشتگ و اعراب باید به کاربرد وابسته باشد.

  توضیح دهید که در تحلیل احساس، ایموجی و کشیدگی واژه ممکن است سیگنال باشند. در استخراج شماره سفارش، عدد اهمیت دارد و در جست‌وجو، نرمال‌سازی باید با شیوه پردازش پرس‌وجو و اسناد هماهنگ باشد.

  ابتدا کاراکترهای معادل و فاصله‌های ناسازگار را یکسان می‌کنم و متن‌های تکراری را جداگانه بررسی می‌کنم. اما حذف نشانه‌ها را پیش‌فرض نمی‌گیرم. در تحلیل احساس، ایموجی و علامت تعجب می‌توانند مفید باشند. در استخراج اطلاعات نیز عدد و قالب تاریخ ممکن است هدف اصلی باشند.

  نیم‌فاصله را هم با توجه به Tokenizer مدل و داده واقعی بررسی می‌کنم. معیار تصمیم من این است که هر تبدیل چه اثری روی خطاهای مجموعه اعتبارسنجی و نمونه‌های واقعی دارد.

• فنی

  چگونه تشخیص می‌دهید مدل شما بیش‌برازش کرده است؟

  درک چرخه آموزش، اعتبارسنجی و اقدام اصلاحی را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  فاصله بین عملکرد آموزش و اعتبارسنجی، روند Loss و ثبات نتایج روی داده آزمون را بررسی کنید. ابتدا مطمئن شوید که نشت داده وجود ندارد و نمونه‌های مشابه در بخش‌های مختلف داده تکرار نشده‌اند.

  بر اساس نتایج، می‌توانید راهکارهایی مانند استفاده از داده بیشتر یا باکیفیت‌تر، توقف زودهنگام، کاهش تعداد Epoch، تنظیم نرخ یادگیری، ساده‌تر کردن مدل یا بررسی تعریف برچسب‌ها را در نظر بگیرید.

  اگر معیار آموزش بهتر شود، اما معیار اعتبارسنجی ثابت بماند یا افت کند، به بیش‌برازش مشکوک می‌شوم. پیش از تغییر مدل، بررسی می‌کنم نمونه‌های تکراری یا متن‌های مربوط به یک گفت‌وگو بین داده‌های آموزش و آزمون پخش نشده باشند.

  سپس با توقف زودهنگام، کاهش تعداد Epoch یا نرخ یادگیری و مقایسه با خط پایه ساده‌تر آزمایش می‌کنم. اگر داده برچسب‌خورده کم یا مبهم باشد، بهبود داده و بازبینی برچسب‌ها را به افزایش پیچیدگی مدل ترجیح می‌دهم.

• فنی

  ریزتنظیم یک مدل ترنسفورمر را چه زمانی به خط پایه کلاسیک ترجیح می‌دهید؟

  توانایی تصمیم‌گیری میان کیفیت، داده، هزینه و پیچیدگی را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  پاسخ را بر اساس مقایسه تجربی ارائه کنید، نه برتری مطلق ترنسفورمر. مدل ترنسفورمر می‌تواند برای متن‌های دارای زمینه و الگوهای پیچیده مفید باشد، اما هزینه آموزش و استنتاج، طول ورودی، داده برچسب‌خورده و نیازهای محصول را هم باید در نظر گرفت.

  ابتدا خط پایه را اندازه‌گیری کنید. اگر در یکی از معیارهای مهم محصول شکاف کیفیت وجود دارد و منابع اجرا اجازه می‌دهد، ریزتنظیم را آزمایش کنید. مدل کوچک‌تر یا روش کلاسیک نیز ممکن است برای تاخیر کم و ترافیک بالا مناسب‌تر باشد.

  ترنسفورمر را فقط به‌دلیل جدیدتر بودن انتخاب نمی‌کنم. ابتدا خط پایه‌ای مانند TF-IDF می‌سازم و خطاهای آن را بررسی می‌کنم. اگر مسئله به درک زمینه وابسته باشد و خط پایه در نمونه‌های مهم شکست بخورد، ریزتنظیم مدل را بررسی می‌کنم.

  کیفیت مدل را در کنار زمان پاسخ، هزینه و حجم درخواست می‌سنجم. برای API سریع و کم‌هزینه، مدل کوچک‌تر یا خط پایه را برای نسخه اول انتخاب می‌کنم.

• فنی

  در سامانه‌های تبدیل گفتار فارسی به متن، WER را چگونه تفسیر و خطاها را تحلیل می‌کنید؟

  درک تفاوت ارزیابی گفتار و NLP متنی، کیفیت داده صوتی و تحلیل خطاهای ASR را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  WER را به‌صورت نسبت مجموع خطاهای حذف، درج و جایگزینی واژه‌ها به تعداد واژه‌های متن مرجع توضیح دهید. این معیار باید روی مجموعه‌ای نماینده از شرایط واقعی مانند نویز، لهجه، گفتار محاوره‌ای و نام‌های خاص گزارش شود.

  خطاها را فقط با یک عدد خلاصه نکنید. بررسی کنید هر خطا از کیفیت صوت، رونویسی مرجع، واژه خارج از واژگان، عدد، نام خاص یا مدل زبانی ناشی می‌شود. سپس اثر این خطاها را بر کاربرد نهایی، مانند جست‌وجوی تماس یا ثبت تیکت، ارزیابی کنید.

  WER از تقسیم مجموع خطاهای جایگزینی، حذف و درج واژه‌ها بر تعداد واژه‌های متن مرجع به دست می‌آید. یک WER کلی برای تصمیم‌گیری کافی نیست. ممکن است مدل در فایل‌های صوتی تمیز عملکرد خوبی داشته باشد، اما در تماس‌های نویزی افت شدیدی پیدا کند.

  نمونه‌های خطا را بر اساس نام خاص، عدد، لهجه، نویز و هم‌پوشانی گفتار دسته‌بندی می‌کنم. سپس سناریوی استفاده و خطاهای اثرگذار بر محصول را در کنار WER بررسی می‌کنم.

• موقعیتی

  مدل خلاصه‌سازی شما متن روان تولید می‌کند، اما گاهی یک واقعیت نادرست به خلاصه اضافه می‌کند. چه می‌کنید؟

  درک توهم مدل، ارزیابی کیفیت و طراحی پاسخ ایمن را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  میان روانی و صحت تمایز بگذارید. نمونه‌های خطا را با دسته‌بندی‌هایی مانند عدد، نام، تاریخ، رابطه علت و معلول یا اطلاعات خارج از متن تحلیل کنید.

  برای کاربردهای حساس، محدودکردن خروجی به خلاصه استخراجی، افزودن کنترل مبتنی بر منبع، نمایش بخش مرجع، آستانه اطمینان و ارجاع به بازبینی انسانی را بررسی کنید. معیار ارزیابی باید صحت ادعاها را جدا از شباهت واژگانی بسنجد.

  این رفتار را مسئله صحت می‌دانم، نه خطای نگارشی. نمونه‌های نادرست را دسته‌بندی می‌کنم. برای تصمیم‌های عملی، پاسخ روان اما غیرمستند قابل‌قبول نیست. روش استخراجی یا تولید محدودشده به متن منبع را آزمایش می‌کنم، بخش‌های مرجع را نشان می‌دهم و موارد کم‌اطمینان را برای بازبینی انسانی می‌فرستم.

• فنی

  سامانه RAG را چگونه ارزیابی می‌کنید؟

  توانایی تفکیک اجزای سامانه و طراحی ارزیابی متناسب با کاربرد را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  ارزیابی را به دو بخش بازیابی و تولید تقسیم کنید. در بخش بازیابی، مجموعه‌ای از پرسش‌ها و اسناد مرجع داشته باشید و بررسی کنید سند درست چقدر در نتایج حضور دارد و چه رتبه‌ای دارد. در بخش تولید، درستی پاسخ نسبت به زمینه، پوشش پرسش، استنادپذیری و پاسخ‌ندادن به پرسش‌های خارج از دامنه را بسنجید.

  کیفیت قطعه‌بندی، به‌روزرسانی دانش، پرسش‌های واقعی فارسی، اسناد متناقض و مشاهده‌پذیری درخواست‌ها را نیز بررسی کنید. ارزیابی خودکار را با نمونه‌خوانی انسانی تکمیل کنید، به‌ویژه در دامنه‌های حساس.

  ابتدا مجموعه‌ای از پرسش‌های واقعی یا نماینده می‌سازم و برای هر پرسش، سند یا قطعه مرجع را مشخص می‌کنم. در بخش بازیابی بررسی می‌کنم آیا منبع درست در نتایج وجود دارد و چه رتبه‌ای دارد. چون پاسخ خوب با بازیابی نامرتبط پایدار نمی‌ماند.

  در بخش تولید، پاسخ را از نظر درستی نسبت به زمینه، کامل‌بودن، نسبت‌ندادن اطلاعات بی‌منبع و رفتار در برابر پرسش‌های خارج از دامنه ارزیابی می‌کنم. خطاها را به بازیابی، قطعه‌بندی، زمینه ارسالی یا تولید نسبت می‌دهم تا راه‌حل اشتباه انتخاب نکنم. پس از انتشار نیز پرسش‌های ناموفق و نرخ ارجاع را پایش می‌کنم.

• نمونه‌کار

  در نمونه‌کار شما مهم‌ترین خطای مدل چه بود و چه تغییری برای آن انجام دادید؟

  عمق واقعی مشارکت، توانایی خواندن داده و چرخه بهبود مبتنی بر شواهد را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  یک خطای مشخص از داده یا خروجی خود انتخاب کنید، نه عبارت کلی «دقت پایین بود». ورودی، خروجی نادرست، علت احتمالی و آزمونی را بیان کنید که آن علت را بررسی کرده است.

  تغییر انجام شده می‌تواند بازبینی برچسب، اصلاح پیش‌پردازش، افزودن داده نماینده، تغییر آستانه یا تغییر مدل باشد. نتیجه را با معیار و اثر جانبی آن گزارش کنید. اگر بهبود همه خطاها را حل نکرده است، محدودیت باقی‌مانده را بگویید.

  در پروژه دسته‌بندی تیکت، مدل پیام‌های کوتاهی را که فقط شامل شماره سفارش بودند، به کلاس پرتکرار می‌فرستاد. با بررسی خطاها دیدم این پیام‌ها بدون متن گفت‌وگو به شکل واقعی ابهام دارند و تغییر مدل به‌تنهایی مسئله را حل نمی‌کند.

  یک مسیر تعریف کردم که اگر اطلاعات کافی وجود نداشته باشد، مدل درخواست تکمیل اطلاعات بدهد یا پیام را برای بررسی دستی بفرستد. این کار ممکن است پوشش پاسخ خودکار را کم کند، اما خطای دسته‌بندی در تیکت‌های مبهم را کاهش می‌دهد.

• موقعیتی

  مدیر محصول درخواست کرده چت‌بات روی تیکت‌های کاربران فعال شود، اما داده شامل اطلاعات حساس است. چگونه تصمیم می‌گیرید؟

  توانایی تشخیص ریسک داده، گفت‌وگو با ذی‌نفعان و طراحی محدودیت‌های اجرایی را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  نوع داده حساس، هدف دقیق استفاده، محل پردازش، افراد دارای دسترسی و سیاست نگه‌داری را مشخص کنید. انتقال کامل داده به یک سرویس بیرونی را تصمیم پیش‌فرض ندانید.

  راهکارهایی مانند حذف یا پوشاندن اطلاعات شناسایی‌کننده، کمینه‌کردن داده ارسالی، کنترل دسترسی، ثبت رویدادهای لازم بدون ذخیره متن حساس و بازبینی حقوقی یا امنیتی را در نظر بگیرید. همچنین محدودیت‌های کیفیت ناشی از حذف داده را با تیم محصول شفاف کنید.

  پیش از انتخاب مدل، داده‌های لازم برای پاسخ را مشخص می‌کنم و با تیم امنیت و محصول درباره محل پردازش توافق می‌سازم. برای استفاده از سرویس بیرونی، حذف یا پوشاندن اطلاعات شناسایی‌کننده را بررسی می‌کنم. برای برخی تیکت‌ها پاسخ خودکار را غیرفعال می‌کنم. زیرا کیفیت بالاتر نباید به قیمت انتقال کنترل‌نشده داده کاربران باشد.

• رفتاری

  زمانی را شرح دهید که داده برچسب‌خورده با تعریف مسئله محصول سازگار نبود.

  توانایی تشخیص ابهام برچسب، همکاری با کارشناس دامنه و جلوگیری از بهینه‌سازی روی هدف اشتباه را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  سناریویی را انتخاب کنید که در آن میان برچسب‌گذاران اختلاف وجود داشته، تعریف دسته‌ها تغییر کرده یا نمونه‌ها چندنیتی بوده‌اند. توضیح دهید نمونه‌ها را چگونه جمع‌آوری و اختلاف‌ها را چگونه مستند کرده‌اید.

  پاسخ قوی شامل گفت‌وگو با مالک فرایند، اصلاح راهنمای برچسب‌گذاری، بازبرچسب‌گذاری بخش لازم از داده و اندازه‌گیری اثر این تغییر بر مدل است. نشان دهید که افت معیار را بدون بررسی تعریف برچسب‌ها، با تغییر مدل پنهان نکرده‌اید.

  در یکی از پروژه‌ها متوجه شدیم بین برچسب‌گذاران درباره برخی نمونه‌ها اختلاف وجود دارد و تعریف بعضی دسته‌ها نیز با نیاز واقعی محصول سازگار نیست. نمونه‌های مورد اختلاف را جمع‌آوری و دلایل اختلاف را مستند کردیم. سپس با مالک فرایند و تیم محصول گفت‌وگو کردیم تا تعریف دسته‌ها و نحوه برخورد با نمونه‌های چندنیتی مشخص شود. بر اساس این بررسی، راهنمای برچسب‌گذاری را اصلاح کردیم و بخش‌های تحت‌تأثیر را دوباره برچسب‌گذاری کردیم. در نهایت، مدل را قبل و بعد از این تغییر ارزیابی کردیم تا اثر اصلاح داده‌ها مشخص شود. به این ترتیب، پیش از تغییر مدل، مطمئن شدیم مشکل از تعریف برچسب‌ها و کیفیت داده نیست.

• رفتاری

  اگر توسعه‌دهنده بک‌اند بگوید مدل شما برای API کند یا سنگین است، چگونه همکاری می‌کنید؟

  توانایی تبدیل محدودیت مدل به تصمیم مشترک مهندسی و محصولی را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  به‌جای دفاع از مدل، معیارهای مشترکی مانند زمان پاسخ در صدک‌های بالا، نرخ درخواست، حافظه، هزینه و کیفیت را تعیین کنید. مشخص کنید تاخیر در کدام بخش ایجاد می‌شود: پیش‌پردازش، بازیابی، مدل یا شبکه.

  گزینه‌هایی مانند استفاده از مدل کوچک‌تر، کوتاه‌کردن زمینه، کش، پردازش غیرهمزمان، صف، محدودکردن طول ورودی یا پاسخ جایگزین را با توجه به اثرشان بر کیفیت مقایسه کنید. تصمیم نهایی باید متناسب با سناریوی کاربر باشد.

  ابتدا زمان پاسخ را به بخش‌های پیش‌پردازش، بازیابی و استنتاج تقسیم می‌کنم تا مشخص شود گلوگاه کجاست. سپس با تیم بک‌اند و محصول، زمان پاسخ قابل قبول و حداقل کیفیت موردنیاز را تعیین می‌کنیم.

  برای نمونه، اگر مدل زبانی عامل اصلی کندی باشد، مدل کوچک‌تر یا کوتاه‌کردن زمینه را روی همان مجموعه ارزیابی آزمایش می‌کنم. اگر درخواست‌ها تکراری باشند، کش می‌تواند مفید باشد. نتیجه را باید با عددهای مربوط به کیفیت و زمان پاسخ گزارش کرد، نه با این فرض که مدل بزرگ‌تر همیشه بهتر است.

• فرهنگی

  وقتی خروجی مدل در نمونه‌های واقعی با انتظار تیم محصول تفاوت دارد، چگونه این اختلاف را مطرح می‌کنید؟

  توانایی مدیریت انتظار از مدل‌های زبانی و گفت‌وگوی مبتنی بر نمونه و معیار را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  نمونه‌های واقعی را کنار تعریف مسئله و معیار توافق‌شده قرار دهید. تفاوت میان خطای مدل، ابهام درخواست کاربر و انتظار فراتر از داده یا دامنه را روشن کنید.

  گزینه‌های قابل‌تصمیم ارائه دهید: محدودکردن دامنه، افزودن داده، طراحی مسیر ارجاع، تغییر تجربه کاربر یا پذیرش سطح مشخصی از خطا. از وعده «حل کامل با مدل بهتر» بدون شواهد پرهیز کنید.

  ابتدا چند نمونه واقعی را بررسی می‌کنم و خروجی مدل را با تعریف مسئله و معیارهای توافق‌شده مقایسه می‌کنم. سپس مشخص می‌کنم اختلاف ایجادشده ناشی از خطای مدل، ابهام درخواست کاربر یا خارج‌ بودن مسئله از دامنه داده‌های آموزشی است. در ادامه، گزینه‌های قابل تصمیم را با تیم محصول مطرح می‌کنم. برای مثال، محدودکردن دامنه، افزودن داده، ایجاد مسیر ارجاع به کارشناس یا تغییر تجربه کاربر. اگر مشکل از تعریف مسئله یا داده باشد، فقط پیشنهاد نمی‌کنم که مدل قوی‌تری ایجاد شود. بلکه ابتدا همان بخش را اصلاح می‌کنم. هدفم این است که تصمیم نهایی بر اساس شواهد و اثر قابل‌اندازه‌گیری گرفته شود.

• نمونه‌کار

  چگونه پروژه NLP خود را قابل‌تکرار و قابل‌بررسی کرده‌اید؟

  نظم مهندسی، توانایی تحویل کد و آشنایی با همکاری تیمی را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  ساختار مخزن، فایل وابستگی‌ها، روش دریافت یا تولید داده غیرحساس، جداسازی پیکربندی از کد و دستور اجرای آموزش و ارزیابی را توضیح دهید. اگر داده قابل‌انتشار نیست، یک نمونه ناشناس یا روش بازتولید ساختار داده ارائه کنید.

  نسخه مدل و داده، seed آزمایش و ثبت معیارها را مطرح کنید. استفاده از Git و توضیح تغییرهای اصلی نشان می‌دهد نوت‌بوک را به خروجی قابل‌نگهداری نزدیک کرده‌اید.

  در پروژه NLP، کدها را در مخزن Git با ساختار مشخص نگهداری کردم و وابستگی‌ها را در فایل جداگانه ثبت کردم. پیکربندی، داده و کد را از هم جدا کردم و برای آموزش و ارزیابی، دستور اجرای مشخص داشتم. نسخه مدل و داده، seed آزمایش و معیارهای ارزیابی را ثبت می‌کردم تا نتایج قابل تکرار باشند. اگر داده اصلی قابل انتشار نبود، نمونه‌ای ناشناس با همان ساختار آماده می‌کردم. همچنین تغییرات مهم را در Git ثبت می‌کردم تا مشخص باشد هر نتیجه با چه نسخه‌ای از کد و داده تولید شده است. به این شکل، پروژه از نوت‌بوک آزمایشی به فرایندی قابل‌بررسی و نگهداری تبدیل می‌شد.

• موقعیتی

  مدل روی داده آزمون خوب است، اما پس از انتشار، کیفیت پاسخ‌های فارسی افت می‌کند. نخست چه بررسی‌هایی انجام می‌دهید؟

  توانایی پایش پس از استقرار، تشخیص تغییر داده و تحلیل تفاوت محیط آزمایش با محصول را می‌سنجد.

  راهنمای پاسخ و نمونه پاسخ

  ابتدا بررسی کنید ورودی واقعی چه تفاوتی با داده آزمون دارد. برای مثال، محاوره، غلط املایی، طول متن، دامنه جدید، فینگلیش یا تغییر در مسیر پیش‌پردازش. تفاوت نسخه مدل، Tokenizer و کد سرویس را نیز کنترل کنید.

  نمونه‌های واقعی را با رعایت حریم خصوصی جمع‌آوری و برچسب‌گذاری کنید. سپس افت عملکرد را به گروه‌های مختلف خطا تقسیم کنید و مشخص کنید آیا به اصلاح داده، بازآموزی، تغییر آستانه یا پاسخ جایگزین نیاز است.

  ابتدا یکسان بودن نرمال‌سازی و tokenizer زمان آزمایش را با زمان سرویس بررسی می‌کنم. توزیع طول متن، واژگان، زبان محاوره و نرخ ورودی خارج از دامنه را مقایسه می‌کنم. نمونه‌های ناموفق را دسته‌بندی می‌کنم و در صورت وجود فینگلیش یا درخواست جدید، مجموعه ارزیابی را به‌روزرسانی می‌کنم.

پرسش‌های شما از پنل مصاحبه

• مسئله اصلی NLP این تیم چیست و خروجی مدل در کدام بخش محصول استفاده می‌شود؟

  روشن می‌کند نقش روی آزمایش پژوهشی، جست‌وجو، طبقه‌بندی، استخراج اطلاعات یا دستیار مبتنی بر مدل زبانی متمرکز است.

• داده متنی از چه منبعی می‌آید و کیفیت یا برچسب‌گذاری آن اکنون چه وضعی دارد؟

  کیفیت داده و امکان دسترسی قانونی به آن، دامنه واقعی کار و سرعت پیشرفت پروژه را تعیین می‌کند.

• تیم، کیفیت مدل را با چه معیارهایی می‌سنجد و چه کسی درباره قابل‌ قبول‌ بودن خروجی تصمیم می‌گیرد؟

  نشان می‌دهد ارزیابی مدل به نیاز محصول و کارشناس دامنه متصل است یا فقط به یک امتیاز فنی محدود می‌شود.

• برای خروجی‌های نادرست، مبهم یا خارج از دامنه چه مسیر جایگزینی در محصول در نظر گرفته‌اید؟

  رفتار سامانه در شکست، به‌ویژه در چت‌بات و استخراج اطلاعات، بخش مهمی از مسئولیت نقش است.

• مسئولیت استقرار، پایش و پاسخ به افت کیفیت مدل میان تیم NLP، بک‌اند و زیرساخت چگونه تقسیم می‌شود؟

  مرز عملی نقش و انتظار سازمان از توانایی‌های عملیاتی را روشن می‌کند.

• آیا استفاده از مدل‌ها یا API-های بیرونی برای داده کاربران محدودیت امنیتی یا حقوقی دارد؟

  برای تصمیم درباره معماری، انتخاب مدل و نحوه مدیریت داده حساس، ضروری است.

• در پروژه‌های فارسی، بیشترین خطای فعلی مدل در چه نوع متن یا درخواست‌هایی رخ می‌دهد؟

  به شما کمک می‌کند چالش واقعی داده، مانند محاوره، ابهام، فینگلیش یا کمبود برچسب، را بشناسید.

اشتباه‌های رایج

در ادامه تعدادی از اشتباهاتی که اغلب افراد در مصاحبه شغل «مهندس پردازش زبان طبیعی» انجام می‌دهند، آمده است. پرهیز از انجام این اشتباهات، می‌تواند شانس شما را برای پذیرفته شدن از مصاحبه و استخدام نهایی بیشتر کند.

• معرفی پروژه به‌عنوان اجرای یک مدل آماده

  مسئله، داده، خط پایه، معیار، خطاهای واقعی و دلیل انتخاب مدل را توضیح دهید. مصاحبه‌گر باید نقش تصمیم‌گیری شما را ببیند، نه فقط نام کتابخانه را.

• گفتن اینکه پاک‌سازی متن همیشه باید حداکثری باشد

  هر تبدیل را به کاربرد وصل کنید. ایموجی، عدد، نشانه‌گذاری یا نیم‌فاصله ممکن است در مسئله‌ای جزو اطلاعات مفید باشند.

• استفاده از accuracy بدون بررسی کلاس‌ها

  برای داده نامتوازن، Precision و Recall و F1 هر کلاس را بررسی کنید و هزینه خطاهای متفاوت را با نیاز محصول مرتبط سازید.

• نادیده‌گرفتن نشت داده

  پیش از اعتماد به نتیجه، تکراری بودن متن‌ها، وابستگی گفت‌وگوها و هم‌پوشانی داده میان آموزش و آزمون را بررسی کنید.

• وعده کیفیت قطعی از مدل زبانی

  محدودیت توهم، وابستگی به زمینه، پرسش خارج از دامنه و نیاز به مسیر پاسخ جایگزین یا بازبینی انسانی را مطرح کنید.

• دیدن RAG به‌عنوان یک پرامپت واحد

  بازیابی، قطعه‌بندی، کیفیت اسناد، زمینه ارسالی و تولید پاسخ را اجزای جداگانه بدانید و هرکدام را مستقل ارزیابی کنید.

• نادیده‌گرفتن زمان پاسخ و هزینه اجرا

  هنگام پیشنهاد مدل، کیفیت را کنار تاخیر، ترافیک، منابع سخت‌افزاری و هزینه استنتاج مقایسه کنید.

• انتقال بی‌بررسی متن کاربران به سرویس بیرونی

  پیش از استفاده از API بیرونی، داده حساس را شناسایی کنید، حداقل داده لازم را ارسال کنید و سیاست دسترسی و نگه‌داری را روشن سازید.

• ناتوانی در توضیح خطا به تیم محصول

  چند نمونه واقعی خطا را با اثر محصول، علت احتمالی و گزینه‌های کاهش ریسک آماده کنید. از اصطلاحاتی که فقط مدل‌محور هستند، فاصله بگیرید.

پس از مصاحبه

پرسش‌های پرتکرار

در این بخش، به تعدادی از پرسش‌های رایج درباره این راهنما پاسخ داده شده است.

آموزش‌های مرتبط در فرادرس

• آموزش پردازش زبان طبیعی با ترنسفورمر در پایتون + مثال عملی در Hugging Face آموزش ویدئویی
• آموزش پلتفرم Hugging Face + کاربردهای هاگینگ فیس در پردازش زبان طبیعی (رایگان) آموزش ویدئویی
• آموزش مهندسی پرامپت + بهینه‌سازی عملکرد پرامپت‌ها در مدل‌های زبانی + گواهینامه آموزش ویدئویی
• آموزش شروع برنامه نویسی جی پی تی و مدل های زبانی بزرگ + نصب LLM، با جادی (رایگان) آموزش ویدئویی
• آموزش پردازش زبان های طبیعی NLP در پایتون Python با پلتفرم NLTK + گواهینامه آموزش ویدئویی
• آموزش یادگیری ماشین با پایتون، ماشین لرنینگ با Python + گواهینامه آموزش ویدئویی
• پردازش زبان طبیعی چیست؟ – توضیح و کاربرد به زبان ساده آموزش متنی

منابع پیشنهادی

• Transformers مستنداتhuggingface.co
• Deep Learning for NLP with Pytorch مستنداتdocs.pytorch.org