Nạp dữ liệu vào WebGIS Quy hoạch

Mọi quyết định kỹ thuật đều phục vụ năm nguyên tắc này. Khi có mâu thuẫn, nguyên tắc thắng.

Mọi định dạng đầu vào đều đi qua đúng tám chặng. Khác biệt giữa các định dạng nằm ở chặng 2–4; từ chặng 5 dòng dữ liệu là một FeatureCollection GeoJSON WGS-84 thống nhất.

Chặng 4 & 5 tạo ra khác biệt: cùng một tuyến đường, đến từ .gdb thì đã đúng lớp đúng cột; đến từ .dxf thì phải suy ra từ tên lớp CAD và tự polygonize.

File tải lên lưu vào thư mục phiên _incoming/<token>/ kèm giới hạn dung lượng (MAX_GDB_MB). Đuôi file quyết định bước chuẩn bị nhưng vẫn để OGR tự xác nhận driver ở chặng thanh tra.

ogrinfo -ro -so -json cho toàn bộ cấu trúc: danh sách lớp, kiểu hình học, số đối tượng, danh sách trường, WKT hệ toạ độ.

Rút CRS từ WKT

Regex bắt ID["EPSG",xxxx] ở cuối chuỗi WKT. Có mã EPSG → dùng thẳng. Chỉ có WKT không mã → đánh dấu "wkt". Không có gì → has_crs=false, hỏi người dùng chọn kinh tuyến trục.

Nhánh CAD: bóc tách theo lớp bản vẽ

DXF/DWG thường chỉ có một lớp OGR tên entities. Truy vấn SQLite gom theo trường "Layer" và "SubClasses" để dựng bảng phân rã cho bộ phân loại tự động.

SELECT "Layer" L, "SubClasses" SC, GeometryType(geometry) GT, count(*) N
FROM entities GROUP BY L, SC, GT;

Kho dữ liệu cố định: 153 feature class, 2 142 cột, dựng sẵn theo bốn file mẫu HienTrang / MocGioi / NenDiaHinh / QuyHoach.gdb. Nạp thêm chỉ được rót vào một trong các lớp này — không tạo lớp ngoài chuẩn. Bảng phi không gian đi vào kho chung x_table.

Nguồn đã đúng chuẩn (GDB / GPKG / SHP đặt tên chuẩn)

Ánh xạ theo tên feature class. Trùng khớp fc_name → chọn sẵn lớp đích, người vận hành xác nhận.

Nguồn tự do (CAD / KML / GeoJSON không theo chuẩn)

Dùng bộ luật cad_rules.yml. Mỗi luật khớp theo chuỗi con trong tên lớp và trả về:

• role — keep (nạp), annotation (làm nhãn), ignore (bỏ), unmatched (chờ chọn).
• target — lớp đích <Nhóm>/<FcName>.
• force_geom — ép kiểu hình học.
• polygonize — nối LINESTRING khép kín thành POLYGON.
• phanloai — gán phanLoai theo từ khoá trong tên lớp.
• duongkinh_from_name — rút D300, Ø200 từ tên lớp vào duongKinh.

Chuẩn hoá tên trường

Shapefile cắt tên còn 10 ký tự; ArcGIS xuất PascalCase. Bảng _FIELD_ALIASES + hàm _norm ánh xạ mọi biến thể về tên cột chuẩn. Giá trị gốc vẫn nằm nguyên trong props.

"8"            -> 8.0
"1 631 234,56" -> 1631234.56       # bỏ khoảng trắng, "," -> "."
"R8" "D300"    -> NULL (cột typed) # giữ "R8" trong props.banKinh
"25/12/2025"   -> "2025-12-25"     # dd/mm/yyyy -> ISO
"(null)" ""    -> NULL

Chuyển đổi bằng ogr2ogr — bộ cờ chuẩn

ogr2ogr -f GeoJSON out.geojson SOURCE LAYER \
  -s_srs "<CRS nguồn>" -t_srs EPSG:4326 \
  -nlt PROMOTE_TO_MULTI \        # đồng nhất Multi*
  -makevalid \                   # SỬA hình học lỗi, không bỏ
  -lco COORDINATE_PRECISION=8 \  # ~1 mm
  -lco RFC7946=NO \
  -mapFieldType DateTime=String,Date=String,Time=String,\
IntegerList=String,RealList=String,StringList=String \
  -skipfailures                  # 1 feature hỏng không giết cả lớp

Nếu -makevalid lỗi ở OGR cũ → chạy lại không có cờ đó. Nếu kết quả rỗng và nguồn không có CRS → thử lại -a_srs EPSG:4326 (coi toạ độ như đã là kinh/vĩ độ).

VN-2000 → WGS-84: một phép nắn duy nhất

Ba kinh tuyến trục: 108°00′ (EPSG:5898, mặc định Quảng Ngãi), 107°45′, 107°30′.

+proj=tmerc +lat_0=0 +lon_0=108 +k=0.9999 +x_0=500000 +y_0=0
+ellps=WGS84
+towgs84=-191.90441429,-39.30318279,-111.45032835,
         -0.00928836,0.01975479,-0.00427372,0.252906278
+units=m +no_defs

Xử lý hình học trong PostGIS (khi gộp / polygonize)

"Rác" chia làm ba mức. Đỏ phải chặn hoặc sửa trước khi nạp; vàng nạp được nhưng phải ghi cảnh báo; xanh xử lý tự động.

Sau chặng nạp, báo cáo nghiệm thu đối chiếu nguồn với đích. Ngưỡng dưới là gợi ý khởi điểm — mọi lần vượt ngưỡng phải có người xác nhận.

• Đối soát số lượng|nguồn − đích| = đã bỏ qua Số feature nguồn trừ số đã nạp phải bằng đúng số ghi trong "đã bỏ qua". Chênh không giải thích được ⇒ dừng.
• Hình học hợp lệ≥ 99,5 % ST_IsValid trên toàn lớp sau khi nạp. Phần còn lại phải nằm trong log makevalid.
• Độ đầy cột khoámaDoiTuong ≥ 95 % Cột định danh phải gần đầy; rỗng nhiều ⇒ nguồn thiếu hoặc ánh xạ sai tên trường.
• Biên độ toạ độX = 500 000 ± 80 km Bounding-box lớp sau khi nắn phải nằm trong phạm vi hành chính tỉnh.
• Trùng lặp= 0 cặp trùng khít Không còn feature trùng hình học + khoá thuộc tính sau khi khử.
• Topology lớp vùng0 overlap · gap < ngưỡng Với lớp phủ kín: không chồng lấn; khe hở nhỏ hơn dung sai bắt điểm.
• Bảo toàn thuộc tính gốcprops ⊇ mọi trường nguồn Mọi tên trường của nguồn xuất hiện trong props ít nhất một dòng.

Quy trình hiện tại đủ chắc để không mất dữ liệu. Mười hạng mục sau nâng nó lên "tự động hoá cao, chính xác kiểm chứng được".