مهندسی داده چیست و چگونه آن را یاد بگیریم؟

Q: آیا برای شروع مهندسی داده باید یادگیری ماشین بلد باشم؟

خیر. مهندسی داده بر دریافت، ذخیرهسازی، تبدیل، کیفیت و ارائه داده تمرکز دارد. آشنایی با نیازهای یادگیری ماشین مفید است، اما پیشنیاز شروع نیست.

Q: برای مهندسی داده Python مهمتر است یا SQL؟

هر دو مهماند. SQL برای پرسوجو، مدلسازی و تبدیل داده در پایگاه داده ضروری است و Python معمولا برای دریافت داده، خودکارسازی و ساخت اجزای خط لوله بکار میرود. برای ورود، SQL ضعیف یک مانع جدی است.

Q: آیا با Excel میتوان مهندسی داده یاد گرفت؟

Excel برای شناخت داده و تحلیلهای کوچک مفید است، اما برای ساخت خط لوله قابلتکرار، مدیریت حجم بالاتر و کنترل کیفیت کافی نیست. مسیر اصلی این مهارت با SQL، برنامهنویسی و پایگاه داده ادامه پیدا میکند.

Q: تفاوت مهندسی داده و تحلیل داده چیست؟

مهندس داده زیرساخت و جریان قابلاعتماد داده را میسازد و نگهداری میکند. تحلیلگر داده از داده آماده برای پاسخ به سؤال، گزارشگیری و ارائه بینش استفاده میکند. در تیمهای کوچک ممکن است بخشی از این مسئولیتها همپوشانی داشته باشند.

Q: آیا باید همه ابزارهای داده مانند Spark و Kafka را یاد بگیرم؟

خیر. ابتدا SQL، Python، پایگاه داده و ساخت خط لوله دستهای را محکم کنید. سپس بر اساس نوع آگهیهای هدف و مسئلهای که حل میکنید، Spark، Kafka، Airflow یا ابزارهای ابری را انتخاب کنید.

Q: نمونهکار مهندسی داده باید چه چیزی را نشان دهد؟

نمونهکار خوب فقط یک نمودار یا فایل خروجی نیست. باید منبع داده، طرح ذخیرهسازی، منطق تبدیل، روش اجرای تکراری، آزمونهای کیفیت، لاگ یا رسیدگی به خطا و مستندات راهاندازی را نشان دهد.

معرفی و تعریف

مهندسی داده (Data Engineering) توانایی طراحی، ساخت و نگهداری سامانه‌هایی است که داده را از منابع گوناگون دریافت، پاک‌سازی، تبدیل، ذخیره و در اختیار مصرف‌کنندگان قرار می‌دهند. خروجی این کار معمولا خط لوله داده، پایگاه داده تحلیلی، انبار داده یا جریان داده‌ای است که بتوان به آن اعتماد کرد.

مهندس داده فقط داده را از یک فایل یا API به مقصد منتقل نمی‌کند، بلکه او باید ساختار داده، زمان‌بندی اجرا، خطاهای احتمالی، کیفیت داده، دسترسی‌ها و هزینه نگهداری را نیز در نظر بگیرد. برای مثال، اگر سفارش‌های یک فروشگاه اینترنتی از سامانه پرداخت، پایگاه داده سفارش و ابزار تحلیل محصول می‌آیند، مهندس داده باید داده‌های ناسازگار یا تکراری را تشخیص دهد و مجموعه‌ای قابل‌استفاده برای گزارش‌گیری ایجاد کند.

این مهارت برای مهندسان داده حیاتی است و در کار تحلیلگران داده، دانشمندان داده، تیم‌های هوش تجاری و مهندسان یادگیری ماشین نیز کاربرد دارد. هدف نهایی، تبدیل داده پراکنده و خام به داده‌ای قابل‌اعتماد، قابل‌ردیابی و آماده استفاده است.

کاربرد در مسیر شغلی ایران

برای جست‌وجوی فرصت‌های شغلی در ایران، عنوان‌های «مهندس داده» و Data Engineer را بررسی کنید. این نقش در شرکت‌های محصولی دارای داده کاربر یا تراکنش، کسب‌وکارهای تجارت الکترونیک، پلتفرم‌های مالی و تیم‌های هوش تجاری یا داده‌محور دیده می‌شود.

در تیم‌های کوچک، مرز نقش‌ها جدا از هم نیست. ممکن است فردی که خط لوله و جدول‌های تحلیلی را می‌سازد، بخشی از گزارش‌گیری، تحلیل داده یا کارهای هوش تجاری را نیز انجام دهد. بنابراین هنگام بررسی هر آگهی، مسئولیت‌های واقعی نقش و ابزارهای زیرساخت آن شرکت را بخوانید، نه فقط عنوان شغلی را.

اهمیت و کاربردها

چرا این مهارت مهم است؟

زمانی که داده‌ها بین سرویس‌های عملیاتی، فایل‌ها، API‌ها و ابزارهای مختلف پراکنده‌ شده‌اند، بدون مهندسی داده معمولا تعریف شاخص‌ها ناهماهنگ می‌شود و پاسخ به پرسش‌های ساده کسب‌وکار زمان‌بر خواهد بود.

مهارت مهندسی داده، مسیر دریافت داده تا ذخیره‌سازی، تبدیل، ارائه و نگهداری آن را به هم متصل می‌کند. در یک شرکت محصولی، تمرکز می‌تواند روی رویدادهای کاربر، داده تراکنش و شاخص‌های محصول باشد. در سازمانی با سامانه‌های متعدد، یکپارچه‌سازی داده عملیاتی و ساخت انبار داده اهمیت بیشتری پیدا می‌کند. تیم کوچک نیز ممکن است ابتدا با یک پایگاه داده، زمان‌بندی ساده و چند جدول تحلیلی شروع کند.

این مهارت برای تحلیلگر داده نیز ارزشمند است، اما دامنه مسئولیت آن متفاوت است. تحلیلگر اغلب از داده موجود برای پاسخ به سوالات استفاده می‌کند. اما مهندس داده مسئول فراهم‌کردن مسیر پایدار، مستند و قابل‌پایش برای رسیدن داده به مصرف‌کنندگان است.

کاربردها

ساخت انبار داده برای گزارش‌های مدیریتی

داده فروش، مشتری، پرداخت و عملیات از سامانه‌های مختلف جمع‌آوری و با مدل مشخص در یک مقصد تحلیلی ذخیره می‌شود تا گزارش‌ها بر یک تعریف مشترک از شاخص‌ها تکیه کنند.
خودکارسازی دریافت داده از API‌ها

دریافت دوره‌ای داده از سرویس‌هایی مانند درگاه پرداخت، سامانه تبلیغات یا ابزار تحلیل محصول، همراه با ثبت وضعیت اجرا و رسیدگی به خطاها.
پاک‌سازی و استانداردسازی داده عملیاتی

تشخیص رکوردهای تکراری، یکسان‌سازی قالب تاریخ و شناسه‌ها، مدیریت مقدارهای خالی و اعمال قواعد اعتبارسنجی پیش از ورود داده به لایه تحلیلی.
پشتیبانی از تحلیل محصول و کسب‌وکار

آماده‌سازی جدول‌های قابل‌استفاده برای تحلیل قیف تبدیل، رفتار کاربران، فروش، نگهداشت مشتری و شاخص‌های عملیاتی.
تامین داده برای مدل‌های یادگیری ماشین

ساخت فرایندهای تکرارپذیر برای تولید مجموعه داده آموزشی و ویژگی‌ها، با امکان ردیابی منبع، زمان تولید و نسخه داده.
پردازش رویدادهای جریانی

دریافت و پردازش رویدادهایی مانند ثبت سفارش، تغییر وضعیت ارسال یا فعالیت کاربر در زمانی نزدیک به وقوع، برای کاربردهای عملیاتی و تحلیلی.
پایش کیفیت و تازگی داده

تعریف کنترل‌هایی برای شناسایی قطع‌شدن جریان داده، کاهش غیرعادی حجم داده، نقض قواعد کسب‌وکار و دیررسیدن جدول‌های کلیدی.

پیش‌نیازها

پیش از شروع، بهتر است با موارد زیر آشنا باشید.

آشنایی مقدماتی با کار در خط فرمان لینوکستوانایی خواندن مستندات فنی انگلیسی

مسیر یادگیری مهندسی داده

واکشی و پرس‌وجوی داده رابطه‌ای را انجام دهید

۷۰ ساعت

مفاهیم جدول، کلید اصلی و خارجی، نرمال‌سازی و تراکنش را یاد بگیرید. سپس با SQL، داده را انتخاب، فیلتر، اتصال و تجمیع کنید. روی JOIN، CTE، توابع پنجره‌ای و بررسی برنامه اجرای پرس‌وجو تمرین کنید تا بتوانید هم داده درست بگیرید و هم پرس‌وجوی پرهزینه را تشخیص دهید.
داده را با Python دریافت و تبدیل کنید

۷۰ ساعت

با Python، فایل‌های CSV و JSON و پاسخ API‌ها را بخوانید، داده‌ها را اعتبارسنجی و تبدیل کنید و خروجی را در پایگاه داده بنویسید. مدیریت خطا، ثبت لاگ، تنظیمات محیطی و نوشتن تابع‌های قابل‌آزمون را از ابتدا در تمرین‌ها وارد کنید. پانداس برای نمونه‌های کوچک مفید است، اما منطق تبدیل را وابسته به یک فایل یا دفترچه آزمایشی نگه ندارید.
یک خط لوله داده تکرارپذیر بسازید

۶۵ ساعت

الگوهای ETL و ELT، بارگذاری کامل و افزایشی، شناسه یکتا، داده دیررس و اجرای تکراری امن را یاد بگیرید. خط لوله‌ای بسازید که داده را از منبع بخواند، در لایه خام نگه دارد، تبدیل کند و در جدول مقصد بارگذاری کند. اجرای دوباره آن نباید رکورد تکراری یا نتیجه ناسازگار بسازد.
داده تحلیلی را مدل‌سازی و مستند کنید

۵۵ ساعت

تفاوت پایگاه داده عملیاتی و تحلیلی را درک کنید و مدل‌های ستاره‌ای، جدول واقعیت و جدول بُعد را تمرین کنید. برای هر جدول، منبع، سطح جزئیات، کلیدها، زمان به‌روزرسانی و تعریف ستون‌ها را مستند کنید. با dbt می‌توانید تبدیل‌های SQL، وابستگی مدل‌ها و آزمون‌های داده را به‌صورت ساختاریافته تمرین کنید.
جریان‌ها را زمان‌بندی و قابل‌پایش کنید

۴۵ ساعت

یک جریان چندمرحله‌ای را با Apache Airflow زمان‌بندی کنید. وابستگی وظایف، اجرای مجدد، پارامترها، ثبت لاگ و هشدار برای شکست اجرا را پیاده‌سازی کنید. کنترل‌های کیفیت مانند یکتایی کلید، نبود مقدار خالی در ستون‌های ضروری و حداقل حجم داده را به خط لوله اضافه کنید.
پردازش مقیاس‌پذیر و جریانی را درک کنید

۵۵ ساعت

مفاهیم پارتیشن‌بندی، پردازش توزیع‌شده، تحمل خطا و تفاوت پردازش دسته‌ای با جریانی را یاد بگیرید. با Apache Spark یک تبدیل داده حجیم را اجرا کنید و با Apache Kafka مسیر یک رویداد ساده را بررسی کنید. برای موقعیت‌های جونیور، درک درست این مفاهیم و ساخت یک نمونه کوچک از حفظ‌کردن تنظیمات ابزارها ارزشمندتر است.

زمان تقریبی یادگیری

حدود ۳۶۰ ساعت

برآورد مجموع زمان آموزش، مطالعه و تمرین تا رسیدن به سطح کاربردی؛ بسته به پیش‌زمینه شما می‌تواند کمتر یا بیشتر باشد.

پروژه‌های تمرینی

موارد زیر تصویری کلی از این بخش برای این مهارت ارائه می‌کنند.

خط لوله داده فروشگاه اینترنتی

توضیح پروژه: داده سفارش، مشتری و پرداخت را از فایل‌های جداگانه دریافت کنید، خطاها و رکوردهای تکراری را مدیریت کنید و جدول‌های تحلیلی فروش روزانه و مشتری بسازید. منبع داده، قواعد تبدیل و روش اجرای پروژه را در README مستند کنید.
دریافت افزایشی داده از API عمومی

توضیح پروژه: یک API عمومی را در بازه‌های زمانی مشخص بخوانید و داده جدید را بدون بارگذاری تکراری در PostgreSQL ذخیره کنید. وضعیت آخرین اجرای موفق، خطاهای شبکه و داده ناقص را ثبت کنید.
انبار داده و آزمون کیفیت با dbt

توضیح پروژه: برای داده سفارش و محصول، مدل ستاره‌ای طراحی کنید. تبدیل‌ها را با dbt بنویسید و آزمون یکتایی، رابطه کلید خارجی و نبود مقدار خالی را برای ستون‌های کلیدی اجرا کنید.
زمان‌بندی خط لوله با Airflow

توضیح پروژه: خط لوله پروژه فروشگاه را به وظایف دریافت، تبدیل، بارگذاری و کنترل کیفیت تقسیم کنید. وابستگی‌ها، اجرای مجدد و ثبت لاگ را تنظیم کنید و یک شکست عمدی را برای بررسی رفتار خطا بازتولید کنید.
پردازش رویداد سفارش با Kafka و Spark

توضیح پروژه: رویدادهای ساختگی سفارش را تولید کنید، آن‌ها را در Kafka منتشر کنید و با Spark یک تجمیع ساده مانند تعداد سفارش در هر ساعت بسازید. محدودیت‌ها و فرض‌های نمونه را مستند کنید.

پرسش‌های رایج درباره مهندسی داده

در این بخش، به تعدادی از پرسش‌های رایج درباره این مهارت پاسخ داده شده است.

آیا برای شروع مهندسی داده باید یادگیری ماشین بلد باشم؟

خیر. مهندسی داده بر دریافت، ذخیره‌سازی، تبدیل، کیفیت و ارائه داده تمرکز دارد. آشنایی با نیازهای یادگیری ماشین مفید است، اما پیش‌نیاز شروع نیست.

برای مهندسی داده Python مهم‌تر است یا SQL؟

هر دو مهم‌اند. SQL برای پرس‌وجو، مدل‌سازی و تبدیل داده در پایگاه داده ضروری است و Python معمولا برای دریافت داده، خودکارسازی و ساخت اجزای خط لوله بکار می‌رود. برای ورود، SQL ضعیف یک مانع جدی است.

برای رسیدن به سطح کاربردی مهندسی داده چقدر زمان لازم است؟

اگر SQL و Python را در سطح مقدماتی کاربردی بلد باشید، معمولا ۳۰۰ تا ۴۰۰ ساعت آموزش و تمرین هدفمند نیاز دارید. با هفته‌ای ۸ تا ۱۰ ساعت تمرین، این مسیر حدود ۸ تا ۱۲ ماه طول می‌کشد. اگر این پیش‌نیازها را ندارید، حدود ۱۵۰ تا ۲۵۰ ساعت بیشتر برای یادگیری پایه‌ها در نظر بگیرید.

آیا با Excel می‌توان مهندسی داده یاد گرفت؟

Excel برای شناخت داده و تحلیل‌های کوچک مفید است، اما برای ساخت خط لوله قابل‌تکرار، مدیریت حجم بالاتر و کنترل کیفیت کافی نیست. مسیر اصلی این مهارت با SQL، برنامه‌نویسی و پایگاه داده ادامه پیدا می‌کند.

تفاوت مهندسی داده و تحلیل داده چیست؟

مهندس داده زیرساخت و جریان قابل‌اعتماد داده را می‌سازد و نگهداری می‌کند. تحلیلگر داده از داده آماده برای پاسخ به سؤال، گزارش‌گیری و ارائه بینش استفاده می‌کند. در تیم‌های کوچک ممکن است بخشی از این مسئولیت‌ها هم‌پوشانی داشته باشند.

آیا باید همه ابزارهای داده مانند Spark و Kafka را یاد بگیرم؟

خیر. ابتدا SQL، Python، پایگاه داده و ساخت خط لوله دسته‌ای را محکم کنید. سپس بر اساس نوع آگهی‌های هدف و مسئله‌ای که حل می‌کنید، Spark، Kafka، Airflow یا ابزارهای ابری را انتخاب کنید.

نمونه‌کار مهندسی داده باید چه چیزی را نشان دهد؟

نمونه‌کار خوب فقط یک نمودار یا فایل خروجی نیست. باید منبع داده، طرح ذخیره‌سازی، منطق تبدیل، روش اجرای تکراری، آزمون‌های کیفیت، لاگ یا رسیدگی به خطا و مستندات راه‌اندازی را نشان دهد.