[Ingest] Tune parser/validator for real Divar+Medjobs data

Analyzed live Divar (POST search) and Medjobs (ad_listing sitemaps) data — both are free Persian text. Tighten the medical-relevance gate (drop generic «استخدام»/«شیفت» that match retail/restaurant ads; add clinical terms: بهیار/اتاق عمل/بیهوشی/رادیولوژی/آزمایشگاه/دیالیز/فوریت/تریاژ/… ) so off-topic Divar jobs get flagged, not treated as medical. Add clinical role synonyms in the heuristic parser (بهیار/کمک‌پرستار/سالمند→پرستار, اتاق عمل→تکنسین اتاق عمل, فوریت→فوریت‌های پزشکی, آزمایشگاه→کارشناس آزمایشگاه, فوق‌تخصص→پزشک متخصص…). Result on live data: Medjobs now yields ~9/30 queue-ready healthcare listings; Divar correctly flags ~72/75 noise for manual review. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-07 22:34:05 +03:30
parent 33c13ec524
commit 018c0f0286
2 changed files with 20 additions and 3 deletions
@@ -51,7 +51,19 @@ public class HeuristicListingParser : IListingParser
        {
            if (text.Contains(Normalize(role))) { p.RoleName = role; break; }
        }
-        if (p.RoleName is null && ContainsAny(text, "پزشک", "دکتر")) p.RoleName = "پزشک عمومی";
+        // Synonyms common on Divar/Medjobs → canonical seeded role names.
+        if (p.RoleName is null)
+        {
+            p.RoleName =
+                  ContainsAny(text, "اتاق عمل", "اسکراب") ? "تکنسین اتاق عمل"
+                : ContainsAny(text, "فوریت", "اورژانس پیش بیمارستانی", "آمبولانس") ? "تکنسین فوریت‌های پزشکی"
+                : ContainsAny(text, "آزمایشگاه", "علوم آزمایشگاهی", "نمونه گیر") ? "کارشناس آزمایشگاه"
+                : ContainsAny(text, "بهیار", "کمک بهیار", "کمک پرستار", "بیماربر", "مراقب", "سالمند", "همراه بیمار", "تزریقات", "پانسمان") ? "پرستار"
+                : ContainsAny(text, "ماما", "مامایی") ? "ماما"
+                : ContainsAny(text, "فوق تخصص", "متخصص") ? "پزشک متخصص"
+                : ContainsAny(text, "پزشک", "دکتر", "طبیب") ? "پزشک عمومی"
+                : null;
+        }
        p.Notes.Add(p.RoleName is null ? "نقش: تشخیص داده نشد" : $"نقش: {p.RoleName}");

        // --- Shift type ---