Quy trình lựa chọn ETF và các điểm chính cốt lõi

• Một, Thu thập dữ liệu cơ bản và lọc sơ bộ

Lấy danh sách ETF: Sử dụng get_all_securities([‘etf’]) để lấy toàn bộ thị trường ETF, lọc các ETF thành lập trước ngày 1 tháng 1 năm 2013 (start_date < 2013-01-01), đảm bảo dữ liệu lịch sử đầy đủ.
Loại bỏ ETF thanh khoản thấp: Thủ công loại bỏ các ETF có trung bình giá trị giao dịch quá thấp (ví dụ như 159003.XSHE Chiao Xin Fast Line ETF, 159005.XSHE Huitianfu Kuaiqian ETF, v.v.), với trung bình giá trị giao dịch ≤ 2.92kw.

• Hai, Dữ liệu giá ngày và tính lợi nhuận Phạm vi dữ liệu: Lấy dữ liệu giá đóng cửa của 240 ngày giao dịch trước ngày hiện tại (today).
  Xử lý lợi nhuận: Tính lợi nhuận hàng ngày (pchg = close.pct_change()), tạo ma trận lợi nhuận ETF (prices, hàng = ngày giao dịch, cột = mã ETF).

• Ba, Phân cụm K-Means loại bỏ trùng lặp (dựa trên độ tương đồng xu hướng) Mục tiêu phân cụm: Gom các ETF có xu hướng tương tự thành một nhóm, giảm trùng lặp các mã mục tiêu.
  Thông số: Số lượng cụm n_clusters=30 (tránh quá ít nhóm gây nhầm lẫn các ETF không tương tự), sử dụng thuật toán KMeans, seed ngẫu nhiên random_state=42.
  Lọc trong nhóm: Mỗi nhóm giữ lại ETF có ngày thành lập sớm nhất, lý do:

• Thành lập sớm → thường có khối lượng giao dịch lớn hơn (tính thanh khoản tốt hơn);
• Thành lập sớm → có nhiều dữ liệu lịch sử hơn (hỗ trợ huấn luyện mô hình).

• Bốn, Đánh giá hiệu quả phân cụm bằng hệ số silhouette Tính hệ số silhouette của phân cụm: 0.4511880967361387 (trung bình, cho thấy độ chặt trong nhóm và phân tách giữa các nhóm khá tốt, cần tối ưu thêm).

• Năm, Lọc hai lần dựa trên hệ số tương quan (giảm thiểu tương quan) Ma trận hệ số tương quan: Tính hệ số tương quan của lợi nhuận ETF (corr = prices[df.code].corr()).
  Xử lý các cặp ETF có hệ số tương quan cao: Chỉ giữ lại các cặp có hệ số > 0.85, trong mỗi cặp chỉ giữ lại ETF thành lập sớm hơn, loại bỏ các ETF còn lại (ví dụ như loại 159922.XSHE, 512100.XSHG, v.v.).

• Sáu, Tùy chọn: Lọc các ETF thành lập muộn hơn (nâng cao chất lượng dữ liệu) Đặt ngưỡng: Loại bỏ các ETF thành lập sau năm 2020 (ví dụ như 513060.XSHG Háng Sen Y tế, 515790.XSHG ETF quang điện, v.v.), đảm bảo các ETF còn lại có dữ liệu lịch sử phong phú hơn (phù hợp cho huấn luyện mô hình).

• Bảy, Các chú ý và đề xuất bổ sung Xử lý đặc biệt ETF trái phiếu chính phủ: Nếu dùng để huấn luyện mô hình, cần loại bỏ 511010.XSHE ETF trái phiếu chính phủ — xu hướng gần như thẳng (tương tự như Balance Treasure), biến động cực nhỏ, gây nhiễu cho việc học đặc trưng biến động của mô hình, và không cần dự đoán.
  Lựa chọn ETF giảm giá: Kết quả có thể chứa các ETF giảm giá dài hạn (như ETF y tế, ETF bất động sản), việc loại bỏ hay không phụ thuộc vào mục tiêu chiến lược:

• Nếu hướng tới lợi nhuận ổn định, có thể loại bỏ;
• Nếu chiến lược vẫn hoạt động tốt khi có ETF giảm giá, có thể cho thấy chiến lược có độ bền cao (nhưng cần chú ý đến rủi ro “hàm số tương lai”, không thể dự đoán chính xác ETF giảm giá có đảo chiều hay không).
  Xác nhận bằng trực quan: Vẽ biểu đồ xu hướng của các ETF còn lại (ví dụ như giá đóng cửa từ năm 2017 trở đi), kiểm tra thủ công xem hệ số tương quan có phù hợp với kỳ vọng không (ít tương quan, phân bố hợp lý).
  Tổng kết quy trình lọc cuối cùng:
  Thông qua bốn bước “lọc ban đầu → phân cụm loại bỏ trùng lặp → lọc hệ số tương quan hai lần → (tùy chọn) lọc theo thời gian thành lập”, tạo ra danh mục ETF có thanh khoản tốt, xu hướng ít tương quan, dữ liệu lịch sử phong phú, nhằm cung cấp các mã mục tiêu đa dạng, chất lượng cao cho chiến lược hoặc mô hình.