ডেটা ক্লিনিং কী? কেন প্রয়োজন?
⭐⭐⭐⭐What is data cleaning and why is it necessary?
- সংজ্ঞা
- কেন ডেটা নোংরা হয়
- সমস্যা ও সমাধান
- ধাপ
- উপসংহার
কত নম্বরে কতটা লিখবে
| নম্বর | কী লিখবে | আকার |
|---|---|---|
| 1 | শুধু এক লাইনে সংজ্ঞা | 1–2 লাইন |
| 2 | সংজ্ঞা + নোংরা ডেটার 2টি কারণ | 4–5 লাইন |
| 3 | পুরো উত্তর লেখো (নিচের সম্পূর্ণ উত্তর) | 1-2 পৃষ্ঠা |
| 4 | পুরো উত্তর লেখো (নিচের সম্পূর্ণ উত্তর) | 1-2 পৃষ্ঠা |
| 5 | পুরো উত্তর লেখো (নিচের সম্পূর্ণ উত্তর) | 1-2 পৃষ্ঠা |
পুরো উত্তর · ৩/৪/৫ নম্বরের জন্য এটাই লেখো · প্রায় 266 শব্দ (১–২ পৃষ্ঠা)
সংজ্ঞা
ডেটা ক্লিনিং (Data Cleaning) বলতে বোঝায় ডেটাসেটে থাকা ভুল, ফাঁকা, পুনরাবৃত্ত ও অসংগত মান খুঁজে বের করে ঠিক করা, যাতে বিশ্লেষণের ফলাফল নির্ভরযোগ্য হয়।
কেন ডেটা নোংরা হয়
কাঁচা ডেটা সবসময় নোংরা থাকে — ভুল টাইপিং, খালি ঘর, একই শিক্ষার্থীর দুই রেকর্ড বা একই তারিখের বিভিন্ন ফরম্যাট।
সমস্যা ও সমাধান
কাঁচা ডেটার সাধারণ সমস্যা ও সমাধান
| সমস্যা | উদাহরণ | সমাধানের ধাপ |
|---|---|---|
| খালি ঘর (Missing value) | কিছু শিক্ষার্থীর নম্বর লেখাই নেই | গড় মান দিয়ে পূরণ করা বা সারিটি বাদ দেওয়া |
| পুনরাবৃত্ত রেকর্ড (Duplicate) | একই নাম ও আইডি দুইবার আছে | একটি রেখে বাকিগুলো মুছে ফেলা |
| ভিন্ন বানান বা ফরম্যাট | Dhaka, DHAKA, dhaka একই শহর | একই বানানে রূপান্তর করা |
| ভুল টাইপ (Outlier) | নম্বরের ঘরে 1000 লেখা | সীমা ঠিক করে মান শুধরে নেওয়া |
| অসংগত ধরন | তারিখ কোথাও 12/03, কোথাও 2026-03-12 | একই ফরম্যাটে রূপান্তর করা |
ক্লিনিংয়ের ধাপ
ডেটা ক্লিনিংয়ের ধাপ
- 1ডেটা দেখে নাও — কত সারি, কোন কলাম, কোথায় ফাঁকা বা অস্বাভাবিক মান আছে।
- 2পুনরাবৃত্ত রেকর্ড খুঁজে একটি রেখে বাকিগুলো সরিয়ে দাও।
- 3খালি ঘর গড় বা প্রচলিত মান দিয়ে পূরণ করো, না হলে সারিটি বাদ দাও।
- 4বানান, তারিখ ও একক একই ফরম্যাটে রূপান্তর করো (যেমন: নম্বর 0-100 এর মধ্যে)।
- 5পরিষ্কার ডেটার সারসংক্ষেপ (গড়, সর্বোচ্চ, সর্বনিম্ন) দেখে যাচাই করো।
শিল্পের অভিজ্ঞতা: ডেটা বিশ্লেষকের সময়ের প্রায় 60-70 শতাংশ চলে শুধু ডেটা পরিষ্কার করাতেই; কারণ নোংরা ডেটা দিয়ে তৈরি মডেল ভুল সিদ্ধান্ত দেয়।
উপসংহার
পরিশেষে বলা যায়, ডেটা ক্লিনিং বিশ্লেষণের প্রথম ও অপরিহার্য ধাপ — Garbage In, Garbage Out নিয়মে ভুল ডেটা ঢুকলে ভুল ফলাফলই বেরোবে।
(সহজ কথায়: ডেটা ক্লিনিং = রান্নার আগে সবজি ধোয়া — নোংরা ডেটা দিয়ে বিশ্লেষণ করলে ফলাফলও নোংরা হয়।)
পরীক্ষার টিপ
পরিষ্কার না করে চার্ট বানালে ফলাফল ভুল দেখায়; পরীক্ষায় একটি উদাহরণ (যেমন: পুনরাবৃত্ত রেকর্ড) লিখলে উত্তর পূর্ণ হয়।