اصفهان رصد یک رصدخانهٔ دادههای شهری است که قرار بود شاخصهای پراکنده در دهها واحد شهرداری را در یک داشبورد واحد گرد آورد تا مدیران شهری تصمیمهای دادهمحور بگیرند. بزرگترین چالش از همان ابتدا روشن بود؛ مسئله نوشتن کد نبود، بلکه آشتی دادن دادههایی بود که هرکدام در سیستمی جداگانه و با قالبی متفاوت نگهداری میشدند.
هر واحد، داده را به شکل خودش داشت: یکی در پایگاه دادهٔ قدیمی، دیگری در فایل اکسل و سومی پشت یک API بدون مستندات. ما یک لایهٔ یکپارچهسازی ساختیم که داده را از این منابع گوناگون میگرفت، پاکسازی و استانداردسازی میکرد و در یک انبار دادهٔ مرکزی مینشاند. تعریف یک واژهنامهٔ مشترک برای مفاهیم، نیمی از کار بود.
کیفیت داده مشکل دائمی بود. مقادیر گمشده، واحدهای ناهمخوان و رکوردهای تکراری در دادههای واقعی فراواناند. ما یک خط لولهٔ اعتبارسنجی ساختیم که هر رکورد ورودی را بررسی میکرد و موارد مشکوک را بهجای دور انداختن، برای بازبینی علامت میزد. داشبورد همراه هر شاخص، میزان کامل بودن دادهاش را هم نشان میداد تا مدیر بداند چقدر میتواند به آن اتکا کند.
درس کلیدی این پروژه، اهمیت ذینفعان انسانی بود. موفقیت یک سامانهٔ شهری به پذیرش کارکنانی بستگی دارد که باید داده را وارد و نگهداری کنند. ما با درگیر کردن آنها از مرحلهٔ طراحی و سادهسازی فرایند ورود داده، سامانه را از یک ابزار تحمیلی به ابزاری تبدیل کردیم که خودشان هم از آن سود میبردند.