Data Engineer

Mô tả Công việc

1. Xây dựng và vận hành kho dữ liệu:

- Làm việc với các team ERP, software, các đối tác và phòng ban chức năng để xác định luồng đi và ý nghĩa của dữ liệu.

- Thiết kế các phương án thu thập dữ liệu, các tiêu chuẩn thu thập, đảm bảo việc thu thập và ghi nhận dữ liệu đúng và phù hợp cho việc khai thác/ ứng dụng.

- Xây dựng, phát triển các nền tảng lưu trữ, xử lý, quản lý dữ liệu lớn (Big Data) trên hệ sinh thái Cloud Azure (MS Fabric) ,AWS,…

- Thiết kế, xây dựng, tối ưu hóa luồng dữ liệu, giải pháp ETL có khả năng mở rộng linh hoạt với độ tin cậy cao, phục vụ cho việc khai thác/ingest các loại dữ liệu vào Data lake, Data Warehouse.

- Làm việc với các team phân tích để thiết kế những bộ dữ liệu phù hợp cho hệ thống báo cáo/ dashboard.

- Cập nhật những thay đổi trong các bộ dữ liệu theo quá trình chuyển đổi của business và các nhu cầu khai thác.

- Xây dựng các tài liệu liên quan đến kiến trúc và định nghĩa dữ liệu.

2. Cải tiến, nâng cấphiệu suất của kho dữ liệu:

- Xây dựng những kiến trúc dữ liệu phù hợp với nhu cầu từ các đội phân tích, khoa học dữ liệu, học máy và người dùng.

- Làm việc với các team kỹ thuật công nghệ để tối ưu hóa chi phí hạ tầng, môi trường kho dữliệu, tư vấn và xây dựng những giải pháp để dữ liệu có thể được lưu trữ nhiều hơn, đa dạng hơn, truy vấn nhanh hơn với chi phí tối ưu nhất.

- Kiểm soát chi phí và khả năng đáp ứng của kho dữ liệu, liên tục theo dõi, cảnh báo và xử lí nhanh nhất có thể khi có sự cố phát sinh để đảm bảo hệ thống báo cáo và các sản phẩm dữ liệu khác hoạt động trơn tru hiệu quả.

3. Minh bạch và antoàn dữ liệu:

- Đảm bảo các kết nối được ổn định ,an toàn.

- Data được khai thác & sử dụng đúng đối tượng & phạm vi công việc.

- Theo dõi và cảnh báo nếu có bất kì vấn đề gì khiến dữ liệu có thể bị sai lệch, lấy cắp,dùng sai mục đích.

- Quy hoạch & xây dựng cơ chế an toàn dữ liệu của Data Warehouse