Gaussian Splatting là gì? Nguyên lý hoạt động, ưu điểm và ứng dụng

3D Gaussian Splatting (3DGS) là kỹ thuật biểu diễn và kết xuất trường bức xạ 3D (Radiance Fields) thời gian thực được công bố bởi Bernhard Kerbl và cộng sự tại SIGGRAPH 2023.

Khác với mô hình lưới đa giác (Polygon Mesh) của Photogrammetry hay mạng nơ-ron sâu ngốn tài nguyên của NeRF, 3DGS mô hình hóa không gian bằng hàng triệu hạt thể tích elip Gaussian khả vi kết hợp thuật toán sắp xếp ô Tile-based Rasterization. 

Đột phá công nghệ này mở đường cho khả năng hiển thị quang học chân thực với tốc độ vượt mốc 100 FPS ở độ phân giải tiêu chuẩn 1080p trên card đồ họa thương mại. Mở ra kỷ nguyên Virtual Tour 6 bậc tự do (6-DoF) tương tác đa chiều, xóa bỏ hoàn toàn giới hạn điểm nhìn cố định của ảnh panorama 360° truyền thống. Điều này cũng giúp giảm đáng kể cảm giác say thực tế ảo.

Vấn đề: Sự đánh đổi giữa tốc độ và chân thực trong không gian ảo

Trước khi 3D Gaussian Splatting xuất hiện, ngành xử lý đồ họa máy tính và xây dựng không gian ảo phải đối mặt với một sự đánh đổi kinh điển giữa hai hướng tiếp cận biểu diễn không gian.

Explicit Representation: Polygon Mesh / Photogrammetry (Tạm dịch: Hướng tiếp cận hình học tường minh)

Mô hình lưới đa giác truyền thống tận dụng tối đa khả năng xử lý song song của các đường ống rasterization trên GPU tiêu chuẩn, mang lại tốc độ khung hình rất cao (thường đạt trên 60 FPS).

Tuy nhiên, phương pháp biểu diễn dựa trên các mặt phẳng tam giác lại bộc lộ hạn chế chí mạng trước các hiện tượng quang học phi tuyến tính. Hệ thống gần như bất lực khi phải tái lập các bề mặt có độ phản xạ phức tạp như gương kính, đá hoa cương bóng hay kim loại ánh kim.

Đối với các cấu trúc mỏng như tán lá, dây cáp hay môi trường bán trong suốt như khói bụi, phương pháp này thường tạo ra các vết nứt hình học (mesh artifacts), đòi hỏi hàng trăm giờ làm sạch và hiệu chỉnh thủ công.

Implicit Representation: Neural Radiance Fields - NeRF (Tạm dịch: Hướng tiếp cận trường bức xạ tiềm ẩn)

Ở chiều ngược lại, mô hình trường bức xạ nơ-ron (NeRF) do Mildenhall et al. công bố năm 2020 đã giải quyết bài toán độ chân thực quang học bằng cách lưu trữ toàn bộ trường ánh sáng vào trọng số của mạng perceptron đa tầng (MLP).

NeRF tái hiện độ sâu trường ảnh và hiệu ứng phản xạ hướng nhìn gần như hoàn hảo. Điểm nghẽn lớn nhất nằm ở hiệu năng: việc phải thực hiện hàng trăm bước dò tia thể tích (Ray-marching) xuyên qua mạng nơ-ron cho từng pixel đơn lẻ ngốn dung lượng VRAM khổng lồ.

Tốc độ kết xuất chỉ dao động từ 15 đến 35 FPS trên các dòng GPU cao cấp (kể cả với các kiến trúc mã hóa đa phân giải hash như Instant-NGP của Müller et al.), hoàn toàn không đáp ứng được ngưỡng tối thiểu 90 FPS mỗi mắt nhằm đảm bảo an toàn thị giác trên các thiết bị kính VR chuyên dụng.

Giới hạn thị sai của Virtual Tour Panorama 360°

Các hệ thống Virtual Tour truyền thống ứng dụng ảnh chụp Panorama 360° thực chất chỉ cung cấp trải nghiệm 3 bậc tự do xoay góc nhìn 3-DoF: quay trái - phải, ngửa lên - cúi xuống, nghiêng đầu (Roll, Pitch, Yaw). Về bản chất, toàn bộ không gian xung quanh người xem chỉ là một bức ảnh phẳng hai chiều được dán lên mặt trong của một quả cầu ảo, giam giữ tầm mắt tại một điểm đặt chân máy cố định.

Hạn chế cốt lõi của công nghệ này là triệt tiêu hoàn toàn thị sai chuyển động (Motion Parallax), là hiện tượng tự nhiên trong đời thực khi người quan sát di chuyển thì vật ở gần lướt nhanh hơn, để lộ ra những phần không gian ở xa phía sau.

Trong ảnh Panorama 360°, do toàn bộ cảnh vật bị dán dính vào nhau trên mặt cầu phẳng, khi người xem bước tới hoặc nghiêng đầu, các vật thể không trượt qua nhau theo đúng chiều sâu mà chỉ bị phóng to hoặc méo mó cơ học. Sự mâu thuẫn trực tiếp giữa chuyển động vận động của cơ thể và hình ảnh thị giác đứng im này chính là nguyên nhân hàng đầu gây ra hội chứng say kính thực tế ảo (VR Sickness).

Kế thừa nguyên lý chiếu điểm thể tích (Surface Splatting) từ năm 2001 của Zwicker et al., 3DGS thay thế bức ảnh cầu phẳng tĩnh bằng hàng triệu hạt thể tích elip phân bố liên tục trong không gian ba chiều thực tế. Mỗi khi người dùng di chuyển bước chân, bộ kết xuất tính toán lại phối cảnh lập tức, tái lập sự trượt chuyển động chuẩn xác giữa các lớp vật thể, qua đó dung hòa thành công độ chân thực cấp độ điện ảnh của NeRF với tốc độ xử lý thời gian thực của mô hình lưới truyền thống.

Khái niệm

Để tổng kết và hiểu một cách đơn giản nhất mà không cần qua các lý thuyết toán học phức tạp.

3D Gaussian Splatting (3DGS) là phương pháp số hóa không gian thực tế thành hàng triệu "hạt thể tích thông minh" lơ lửng trong không gian ba chiều. Mỗi hạt này vừa mang thông tin về kích thước, vị trí, vừa mang khả năng đổi màu sắc linh hoạt theo hướng nhìn của mắt người. Khi ghép hàng triệu hạt này lại với nhau, chúng tạo nên một bản sao số chuẩn xác, mượt mà và bóng bẩy hệt như một đoạn phim quay thực tế nhưng người xem lại có thể tự do bước đi bên trong đó.

Quy trình kết xuất đồ họa của phương pháp Optimal Projection, 3D Gaussian Splatting. Ảnh: Huang, L., et al. (2024). On the Error Analysis of 3D Gaussian Splatting and an Optimal Projection Strategy. arXiv:2402.00752.

Sự khác biệt căn bản so với các phương pháp truyền thống

Trọng tâm của 3DGS là việc loại bỏ hoàn toàn các bề mặt đa giác cứng nhắc hay đám mây điểm (point cloud) thô sơ để chuyển sang mô hình hóa không gian bằng một tập hợp các hạt Gaussian thể tích 3 chiều. 

Cách làm 3D truyền thống buộc các kỹ sư phải ghép từng mặt tam giác cứng lại với nhau rồi "dán ảnh" lên bề mặt. Cách này rất dễ bị gãy nứt hình học ở các vật thể mảnh (như cành cây, dây điện) và hoàn toàn bất lực trước các bề mặt phản chiếu (như sàn đá bóng, kính, kim loại). 3DGS thay thế các mặt tam giác cứng bằng các hạt thể tích mềm, giúp bề mặt không gian liền mạch, tự nhiên và bắt trọn từng vệt sáng bóng bẩy.

Không phải là mô hình tính toán nặng nề (NeRF)

Trước 3DGS, công nghệ NeRF từng gây sốt vì hình ảnh cực kỳ chân thực, nhưng lại đòi hỏi những cỗ máy chủ khổng lồ xử lý và tốc độ hiển thị rất chậm (chỉ 15–30 FPS), gây giật lag và hoàn toàn không thể chạy mượt trên điện thoại hay kính VR.

3DGS ra đời đã khắc phục triệt để điểm yếu này, mang lại chất lượng thị giác tương đương nhưng tốc độ hiển thị nhanh gấp 4 đến 5 lần.

Giá trị đột phá khi 3DGS lần đầu được công bố

Như đã nhắc đến ở trên, trước khi 3DGS xuất hiện, ngành đồ họa không gian số toàn cầu bị mắc kẹt trong một sự đánh đổi kinh điển: Muốn hình ảnh chân thực thì tốc độ phải rất chậm; muốn chạy nhanh thì hình ảnh phải thô cứng, giả tạo.

Giá trị lịch sử của 3DGS khi lần đầu được giới thiệu là đã xóa bỏ hoàn toàn sự đánh đổi này

Phá vỡ giới hạn tốc độ (Real-time Performance)

Lần đầu tiên, một mô hình tái hiện không gian có độ chân thực ngang ngửa video quay phim thực tế lại có thể hiển thị với tốc độ trên 100 FPS ở độ phân giải cao trên các thiết bị phần cứng phổ thông.

Khai mở chuẩn mực Virtual Tour 6 bậc tự do (6-DoF)

Thay vì bắt người dùng "đứng chôn chân" tại một điểm cố định rồi chỉ được xoay nhìn xung quanh như các ảnh Panorama 360° cũ (3-DoF), 3DGS cho phép người dùng thực sự bước đi, cúi người, tiến lại gần từng góc phòng hay từng hiện vật với cảm giác chiều sâu chuẩn xác.

Triệt tiêu hoàn toàn hội chứng say thực tế ảo (VR Sickness)

Trong các bức ảnh 360° phẳng, khi người xem nghiêng đầu trong kính VR, cảnh vật không hề trượt qua nhau theo đúng khoảng cách mà chỉ bị kéo giãn méo mó, gây ra sự xung đột giữa tai trong và mắt khiến não bộ sinh ra cảm giác buồn nôn, chóng mặt. 3DGS tái lập sự trượt chuyển động tự nhiên giữa vật thể gần và xa theo từng cử động nhỏ của cơ thể, giúp người xem có thể đeo kính trải nghiệm thoải mái trong thời gian dài mà không hề khó chịu.

3DGS hỗ trợ và cộng hưởng với các kỹ thuật khác như thế nào?

3DGS không ra đời để phủ định hay tiêu diệt các công nghệ hiện có, mà đóng vai trò như một chất xúc tác nâng tầm toàn bộ chuỗi công nghệ số hóa không gian của doanh nghiệp:

Bổ trợ cho công nghệ Flycam/Drone và Khảo sát từ trên không

Khảo sát bằng Drone chụp hàng nghìn bức ảnh từ trên cao thường chỉ tạo ra các bản đồ địa hình dạng lưới thô hoặc ảnh bình đồ 2D. Khi tích hợp 3DGS, toàn bộ tập hợp ảnh chụp từ Drone được chuyển hóa trực tiếp thành một không gian sa bàn số 3D siêu thực.

Lãnh đạo có thể "bay lượn" thị sát từ tầng cao xuống tận ban công căn hộ hoặc từng góc mái nhà xưởng với độ nét nguyên bản của camera thực địa mà không cần phải trải qua khâu dựng hình lại.

Nguồn ảnh: geoweeknews.com/articles/gaussian-splatting-3d-scene-rendering-nerfs/

Bổ trợ và lấp đầy điểm mù cho công nghệ Quét 3D Laser (LiDAR) & Photogrammetry

Các máy quét Laser đắt tiền dù đo đạc khoảng cách rất chuẩn xác nhưng lại gặp "tử huyệt" khi quét các bề mặt phản quang: gương soi, cửa kính trong suốt, sàn đá marble sáng bóng, mặt nước hồ bơi hay các chi tiết kim loại mạ vàng. Dữ liệu quét tại các vị trí này thường bị thủng lỗ, méo mó hoặc đen kịt.

3DGS với đặc tính bắt ánh sáng theo góc nhìn sẽ đóng vai trò bọc một "lớp áo quang học hoàn hảo" lên trên khung tọa độ của máy quét, giúp không gian vừa đạt độ chính xác về đo đạc kỹ thuật, vừa đạt độ lộng lẫy, bắt mắt về thị giác.

Đóng vai trò là "Lớp thị giác cao cấp" cho Bản đồ số và Digital Twin

Trong các dự án Bản đồ số đô thị hoặc Bản sao số Nhà máy (Digital Twin), dữ liệu cảm biến IoT và số liệu báo cáo thường rất khô khan. 3DGS đóng vai trò là giao diện hiển thị cao cấp nhất:

• Biến những khối nhà xưởng hộp diêm đơn điệu thành một nhà máy số sống động, nhìn rõ từng đường ống kim loại, máy móc sáng bóng và hiện trạng thực địa.
• Giúp ban quản lý và các nhà đầu tư nước ngoài có thể trực tiếp thị sát, giám sát cơ sở vật chất từ xa với độ tin cậy tương đương như đang có mặt tại hiện trường.

📍 Tham khảo: Digital Twin là gì? Lịch sử và ví dụ cụ thể

Hiệu quả 3D Gaussian Splatting

Bảng phân tích dưới đây giúp các nhà lãnh đạo và chuyên gia chuyển đổi số nhanh chóng đối chiếu hiệu quả đầu tư giữa các giải pháp:

Các lĩnh vực nào 3DGS thực sự tạo nên khác biệt

3DGS tạo ra bước ngoặt doanh thu và nâng tầm định vị thương hiệu trong ba lĩnh vực mũi nhọn:

Bất động sản cao cấp & Sa bàn ảo bán lẻ

Cho phép khách hàng ở các tỉnh xa hoặc nhà đầu tư nước ngoài bước đi tham quan căn hộ mẫu, đứng ngoài ban công ngắm nhìn tầm view thành phố với ánh nắng thực tế mà không cần phải bay tới dự án.

Tạo cảm xúc chân thực: Độ bóng bẩy của sàn đá granite, độ trong của vách kính tắm và sự mềm mại của rèm cửa được tái hiện trọn vẹn, mang lại cảm xúc sang trọng - yếu tố quyết định hành vi xuống tiền của phân khúc khách hàng thượng lưu.

Bảo tàng số & Bảo tồn di sản văn hóa (vrMuseum)

Số hóa các bảo vật/hiện vật: Giải quyết bài toán nan giải khi số hóa đồ gốm men bóng, đồ đồng cổ hun màu, ngọc bích phong thủy hay trang phục hoàng cung thêu chỉ kim tuyến. 3DGS bắt trọn độ lấp lánh của kim loại và độ sâu trong suốt của chất men mà máy scan truyền thống hoàn toàn bó tay.

Tạo lập hồ sơ số hóa không gian di tích với độ chi tiết cao, hỗ trợ đắc lực cho công tác nghiên cứu, giáo dục di sản và phục dựng nếu có sự cố thiên tai ngoài đời thực.

Bản sao số Khu công nghiệp & Nhà máy (Digital Twin)

Thị sát hạ tầng tức thời: Tái hiện toàn bộ hệ thống đường ống cơ điện chằng chịt, máy móc thiết bị phức tạp trong nhà xưởng rộng hàng chục nghìn mét vuông chỉ từ video quay thực địa.

Ban quản lý KCN có thể gửi ngay một đường link duy nhất cho các tập đoàn quốc tế xem xét hiện trạng nhà xưởng và quy hoạch hạ tầng xung quanh mà đối tác không cần phải cử đoàn chuyên gia bay sang khảo sát trực tiếp nhiều lần.

Quy trình triển khai thực tế

Để ứng dụng 3DGS hiệu quả mà không làm xáo trộn hệ thống công nghệ thông tin hiện tại, các doanh nghiệp và cơ quan nhà nước có thể tiếp cận theo lộ trình 3 bước tinh gọn

Bước 1: Khảo sát và lấy hình thực địa

Sử dụng thiết bị quay chụp chuyên dụng (DSLR / Drone) thu thập toàn bộ không gian theo quy chuẩn chồng lấp quang học.

Bước 2: Xử lý tập trung và tối ưu hoá tệp dữ liệu

Mô hình hóa không gian thành hàng triệu hạt thể tích, sau đó đóng gói và nén gọn (giảm hơn 90% dung lượng) để sẵn sàng chạy mượt trên Web.

Bước 3: Xử lý hậu kỳ, xuất bản, liên thông đa nền tảng

Nhúng không gian 3DGS trực tiếp vào Website doanh nghiệp, Cổng thông tin địa phương, hoặc đồng bộ hóa với hệ thống Bản đồ số, Kính thực tế ảo sẵn có.

Kết luận, 3D Gaussian Splatting không phải là một công nghệ tương lai xa vời, mà là một giải pháp thực chiến đã hoàn thiện, mang lại lợi thế cạnh tranh áp đảo về chi phí, tốc độ và trải nghiệm thị giác. Việc sớm làm chủ và ứng dụng 3DGS sẽ giúp tổ chức tiên phong xác lập vị thế dẫn đầu trong kỷ nguyên kinh tế số và không gian ảo thời gian thực.

Nguồn tham khảo nội dung trong bài:
arxiv.org/abs/2402.00752
geoweeknews.com/articles/gaussian-splatting-3d-scene-rendering-nerfs/
matthewtancik.com/nerf
niujinshuchong.github.io/mip-splatting