مهندس داده کیست و چه وظایفی دارد؟

Q: تفاوت مهندس داده با تحلیلگر داده چیست؟

تحلیلگر داده از داده موجود برای پاسخ به پرسشهای کسبوکار، گزارش و استخراج بینش استفاده میکند. مهندس داده زیرساخت، مدلها و خطوط لولهای میسازد که داده قابلاعتماد را در اختیار تحلیلگر و دیگر تیمها قرار میدهد. البته در شرکتهای کوچک ممکن است بخشی از این وظایف همپوشانی داشته باشند.

Q: برای مهندس داده شدن باید در یادگیری ماشین قوی باشم؟

خیر. یادگیری ماشین پیشنیاز اصلی این نقش نیست. SQL، مدلسازی داده، توسعه خط لوله، Python و درک کیفیت داده معمولا بنیادیتراند. آشنایی با نیازهای تیم یادگیری ماشین میتواند یک مزیت باشد.

Q: آیا مهندس داده باید برنامهنویس حرفهای باشد؟

باید بتوانید کد قابلنگهداری، قابلآزمون و قابلبازبینی بنویسید، بهویژه با Python و SQL. سطح برنامهنویسی موردنیاز به شرکت و پروژه بستگی دارد، اما اسکریپتهای شکننده و کوئریهای بدون ساختار برای کار حرفهای کافی نیستند.

Q: آیا بدون سابقه کار میتوان وارد مهندسی داده شد؟

ممکن است، اما مسیر سادهای نیست. برای فردی که SQL و Python پایه را میداند، ساختن نمونهکار قابل ارائه معمولا با حدود ۱۰ ساعت تمرین هفتگی، حداقل ۳ تا ۶ ماه زمان میخواهد. فرد بدون پیشزمینه برنامهنویسی ممکن است به ۶ تا ۱۲ ماه نیاز داشته باشد. یک پروژه قابلاجرا شامل دریافت داده، تبدیل، بارگذاری، آزمون کیفیت و مستندات است.

Q: Apache Spark و Apache Kafka از ابتدا لازم هستند؟

نه همیشه. برای شروع، SQL، یک پایگاه داده رابطهای، Python و ساخت خط لوله دستهای اولویت بیشتری دارند. Spark برای پردازش توزیعشده و Kafka برای جریان داده برخط مهماند، اما زمانی یادگیری آنها ارزش بیشتری دارد که هدف شغلی یا پروژه واقعا به آنها نیاز داشته باشد.

معرفی

مهندس داده (Data Engineer) سامانه‌هایی می‌سازد که داده را از منابع مختلف دریافت، پاک‌سازی، تبدیل، ذخیره و در اختیار مصرف‌کنندگان قرار می‌دهند. این مصرف‌کنندگان می‌توانند تحلیلگر داده، دانشمند داده، تیم محصول، واحد مالی یا یک سرویس نرم‌افزاری باشند. خروجی کار مهندس داده معمولا یک جدول تحلیلی قابل‌اعتماد، انبار داده، جریان داده برخط یا خط لوله داده‌ای (Data Pipeline) است که طبق زمان‌بندی مشخص اجرا می‌شود.

وظایف و روند کار یک مهندس داده

بخش مهمی از کار روزانه یک مهندس داده، فهمیدن معنای داده است. برای مثال، اینکه یک رویداد محصول دقیقا چه زمانی ثبت می‌شود، شناسه مشتری در چند سامانه چگونه به هم متصل می‌شود یا چرا تعداد سفارش‌های گزارش با پایگاه داده عملیاتی تفاوت دارد. سپس توسط SQL، Python و ابزارهایی مانند Apache Airflow، Apache Spark یا Apache Kafka جریان داده‌ای طراحی می‌کند که قابل‌تکرار، قابل‌پایش و قابل‌بازیابی باشد.

تنوع مسئولیت‌ها در سازمان‌های مختلف

در بازار کار ایران، دامنه این نقش در شرکت‌های مختلف یکسان نیست. بعضی تیم‌ها بیشتر روی انبار داده، گزارش‌گیری و تبدیل داده‌های تراکنشی کار می‌کنند و بعضی دیگر مسئول پردازش حجیم، داده جریانی یا زیرساخت مشترک داده‌اند. بنابراین هنگام بررسی آگهی، بهتر است منابع داده، ابزارهای موردنیاز، مسئولیت‌ها و مصرف‌کنندگان خروجی داده را بررسی کنید.

ابزارهای کلیدی در مهندسی داده

در حالت کلی انتخاب ابزارها اغلب به زیرساخت موجود در سازمان بستگی دارد:

PostgreSQL و Microsoft SQL Server: برای نگهداری داده‌های عملیاتی یا تحلیلی در پایگاه‌های داده رابطه‌ای
dbt: برای سازمان‌دهی تبدیل‌ها، مدل‌ها و آزمون‌های داده در انبار داده
SQL Server Integration Services یا SSIS: برای ساخت و نگهداری جریان‌های انتقال داده در محیط‌های مبتنی بر Microsoft SQL Server
Apache Hadoop: برای پروژه‌های دارای خوشه و ذخیره‌سازی توزیع‌ شده (برای خطوط لوله کوچک نیازی به این ابزار نیست)

چالش‌ها و مسئولیت‌ها

واقعیت این شغل فقط ساختن کوئری نیست، بلکه شما با چالش‌هایی نظیر داده ناقص، تغییر ناگهانی ساختار API، تاخیر سرویس‌های مبدا، خطاهای زمان‌بندی و اختلاف تعریف شاخص‌ها روبه‌رو می‌شوید. برای فردی در سطح جونیور، انتظارات در ماه‌های اول شامل نوشتن و بررسی SQL، نگهداری یک جریان موجود، مستندسازی منبع داده و رفع خطاهای مشخص زیر نظر هم‌تیمی باتجربه‌ است.

این شغل را با نام‌های دیگری نیز می‌شناسند:

دیتا انجینیر
کارشناس مهندسی داده

وظایف و مسئولیت‌ها

فعالیت‌های زیر بخش‌های اصلی نقش مهندس داده را نشان می‌دهند.

طراحی و توسعه خطوط لوله داده

داده را از پایگاه داده، API، فایل یا رویدادهای سامانه دریافت می‌کند، تبدیل‌های لازم را اعمال می‌کند و با ابزارهایی مانند Apache Airflow اجرای زمان‌بندی‌شده و تکرارپذیر آن را مدیریت می‌کند.
مدل‌سازی و ساخت لایه‌های داده

جداول عملیاتی را به مدل‌های مناسب گزارش‌گیری و تحلیل تبدیل می‌کند تا تعریف شاخص‌ها، اتصال داده‌ها و استفاده تیم‌های دیگر روشن و پایدار باشد.
پیاده‌سازی فرایندهای ETL و ELT

ETL یعنی استخراج، تبدیل و بارگذاری داده. در این روش تبدیل پیش از بارگذاری انجام می‌شود. بنابراین در ELT، داده ابتدا بارگذاری و سپس در انبار داده تبدیل می‌شود. مهندس داده با توجه به زیرساخت و حجم داده، روش مناسب را پیاده‌سازی می‌کند.
پایش کیفیت و سلامت داده

در این مورد مهندس داده کامل بودن، تازگی، یکتایی و سازگاری داده‌ها را بررسی می‌کند، برای شکست اجرای خط لوله هشدار می‌گذارد و علت اختلاف‌های داده‌ای را پیگیری می‌کند.
توسعه پردازش داده در مقیاس بالا

مهندس داده برای داده‌های حجیم یا پردازش‌های سنگین، کارهای توزیع‌ شده را با ابزارهایی مانند Apache Spark طراحی و بهینه می‌کند تا زمان و هزینه اجرا کنترل شود.
ساخت و نگهداری جریان‌های داده برخط

مهندس داده رویدادها و پیام‌های لحظه‌ای را با ابزارهایی مانند Apache Kafka دریافت و پردازش می‌کند تا سامانه‌های نیازمند داده نزدیک به زمان واقعی تغذیه شوند.
همکاری با تیم‌های محصول و تحلیل

مهندس داده لازم است تعریف رویدادها، شاخص‌ها و نیاز داده‌ای را با تحلیلگر، مدیر محصول و توسعه‌دهندگان بررسی کند تا خروجی فنی با پرسش کسب‌وکار همخوان باشد.
مستندسازی و بازبینی تغییرات داده

مهندس داده منابع داده، منطق تبدیل، مالک هر جدول و قراردادهای تغییر را مستند می‌کند و تغییرات کد و مدل را با Git قابل‌پیگیری نگه می‌دارد.

نیازمندی‌ها و مهارت‌ها

پیش از ورود به این شغل، نگاهی به نیازمندی‌های زیر داشته باشید.

مهارت‌های مورد نیاز

سایر نیازمندی‌ها

جدای از مهارت‌ها و ابزارهای بالا، این موارد هم در آگهی‌های استخدام این شغل دیده می‌شوند:

انگلیسی فنی برای خواندن مستندات
دقت در تعریف شاخص‌ها و جزئیات داده
توانایی تحلیل مسئله و ریشه‌یابی خطا
ارتباط مؤثر با تیم محصول و تحلیل
آشنایی با مفاهیم کسب‌وکار حوزه فعالیت شرکت
عیب‌یابی پایپ‌لاین‌ها

چشم‌انداز شغلی

برای بررسی مسیر حرفه‌ای این شغل، توجه به عوامل زیر تصویر روشن‌تری ارائه می‌کند.

تقاضا در تیم‌های داده‌محور

هرچه شرکتی داده بیشتری از تراکنش‌ها، رفتار کاربران یا عملیات داخلی تولید کند، نیاز آن به داده قابل‌اعتماد بیشتر می‌شود. گستره مسئولیت این نقش را از شرح وظایف آگهی و وضعیت زیرساخت داده در شرکت تشخیص دهید، نه فقط بر اساس عنوان شغلی.
ورود نیازمند نمونه‌کار فنی است

برای ورود به این نقش شغلی، دانستن مفاهیم کافی نیست. توانایی ساخت یک خط لوله کوچک، نوشتن SQL خوانا، مدل‌سازی جدول‌ها و توضیح تصمیم‌های فنی در مخزن Git نشانه آماده بودن شماست.
انتخاب بین انبار داده و پردازش جریانی

مسیر انبار داده بیشتر با مدل‌سازی، SQL، تبدیل‌های دسته‌ای و نیازهای گزارش‌گیری سروکار دارد. مسیر پردازش جریانی با رویدادهای لحظه‌ای، تاخیر، ترتیب پیام‌ها و بازیابی پس از خطا درگیر است. نمونه‌کار شما باید نوع مسئله هدف را نشان دهد.
پلتفرم داده مسئولیت عملیاتی بیشتری دارد

کار روی پلتفرم داده معمولا علاوه بر ساخت خط لوله، شامل استانداردسازی دسترسی، پایش اجراها، مدیریت هزینه و فراهم‌کردن ابزار مشترک برای تیم‌ها است. برای این مسیر، مستندسازی، مشاهده‌پذیری و توانایی نگهداری سرویس‌های مشترک اهمیت بیشتری دارد.
کار دورکار ممکن، اما وابسته به بلوغ تیم است

بخشی از کار مهندسی داده با همکاری دورکاری انجام‌پذیر است، اما دسترسی امن به داده، زیرساخت داخلی و هماهنگی هنگام رخدادهای عملیاتی می‌تواند حضور یا همکاری نزدیک‌تری لازم داشته باشد.

پرسش‌های رایج درباره مهندس داده

اگر درباره این شغل پرسشی دارید، ممکن است پاسخ آن را در میان موارد زیر پیدا کنید.

تفاوت مهندس داده با تحلیلگر داده چیست؟

تحلیلگر داده از داده موجود برای پاسخ به پرسش‌های کسب‌وکار، گزارش و استخراج بینش استفاده می‌کند. مهندس داده زیرساخت، مدل‌ها و خطوط لوله‌ای می‌سازد که داده قابل‌اعتماد را در اختیار تحلیلگر و دیگر تیم‌ها قرار می‌دهد. البته در شرکت‌های کوچک ممکن است بخشی از این وظایف هم‌پوشانی داشته باشند.

برای مهندس داده شدن باید در یادگیری ماشین قوی باشم؟

خیر. یادگیری ماشین پیش‌نیاز اصلی این نقش نیست. SQL، مدل‌سازی داده، توسعه خط لوله، Python و درک کیفیت داده معمولا بنیادی‌تراند. آشنایی با نیازهای تیم یادگیری ماشین می‌تواند یک مزیت باشد.

آیا مهندس داده باید برنامه‌نویس حرفه‌ای باشد؟

باید بتوانید کد قابل‌نگهداری، قابل‌آزمون و قابل‌بازبینی بنویسید، به‌ویژه با Python و SQL. سطح برنامه‌نویسی موردنیاز به شرکت و پروژه بستگی دارد، اما اسکریپت‌های شکننده و کوئری‌های بدون ساختار برای کار حرفه‌ای کافی نیستند.

آیا بدون سابقه کار می‌توان وارد مهندسی داده شد؟

ممکن است، اما مسیر ساده‌ای نیست. برای فردی که SQL و Python پایه را می‌داند، ساختن نمونه‌کار قابل ارائه معمولا با حدود ۱۰ ساعت تمرین هفتگی، حداقل ۳ تا ۶ ماه زمان می‌خواهد. فرد بدون پیش‌زمینه برنامه‌نویسی ممکن است به ۶ تا ۱۲ ماه نیاز داشته باشد. یک پروژه قابل‌اجرا شامل دریافت داده، تبدیل، بارگذاری، آزمون کیفیت و مستندات است.

Apache Spark و Apache Kafka از ابتدا لازم هستند؟

نه همیشه. برای شروع، SQL، یک پایگاه داده رابطه‌ای، Python و ساخت خط لوله دسته‌ای اولویت بیشتری دارند. Spark برای پردازش توزیع‌شده و Kafka برای جریان داده برخط مهم‌اند، اما زمانی یادگیری آن‌ها ارزش بیشتری دارد که هدف شغلی یا پروژه واقعا به آن‌ها نیاز داشته باشد.

مهندس داده در ایران به مجوز یا آزمون رسمی نیاز دارد؟

برای هر فرصت استخدام، متن آگهی و شرایط اعلامی کارفرما را بررسی کنید، زیرا الزامات داخلی شرکت‌ها می‌تواند متفاوت باشد. در استخدام‌های شرکتی، معیارهای اعلام‌شده معمولا بر توانایی فنی، تجربه پروژه، مصاحبه و تناسب با زیرساخت شرکت تمرکز دارند. اگر آگهی شرط مدرک، گواهی یا فرایند خاصی دارد، همان شرط برای آن موقعیت ملاک است.