Reinforcement Learning Cho AI Agent: RLVR Và GRPO 2026

Posted on: 6/2/2026 1:15:10 AM

Năm 2026, một câu hỏi cứ lặp đi lặp lại trong cộng đồng kỹ sư: tại sao AI Agent đột nhiên giỏi đến vậy? Cùng một kiến trúc Transformer, cùng một họ mô hình ngôn ngữ, nhưng agent năm nay có thể tự sửa lỗi code suốt nhiều giờ, tự lập kế hoạch nhiều bước, biết dừng lại khi sai và thử hướng khác. Câu trả lời không nằm ở việc nhồi thêm dữ liệu hay phình to mô hình, mà nằm ở cách chúng được huấn luyện: Reinforcement Learning (Học tăng cường) với phần thưởng kiểm chứng được.

Nếu giai đoạn 2023–2024 là kỷ nguyên của pre-training (học từ toàn bộ Internet) và SFT (học bắt chước con người), thì 2025–2026 là kỷ nguyên của RL post-training. Đây chính là tầng kỹ thuật biến một mô hình "biết nói" thành một agent "biết làm". Bài viết này mổ xẻ toàn bộ guồng máy đó: từ RLVR, thuật toán GRPO, cú hích DeepSeek-R1, cho đến lý do vì sao huấn luyện agentic RL lại khó đến vậy và mặt tối của nó — reward hacking.

1. Từ "học bắt chước" đến "học bằng phần thưởng"

Để hiểu vì sao RL quan trọng, hãy nhìn lại ba tầng huấn luyện một mô hình ngôn ngữ hiện đại:

• Pre-training: mô hình đọc hàng nghìn tỷ token và học dự đoán token kế tiếp. Kết quả là một "kho tri thức" khổng lồ nhưng vô định hướng.
• Supervised Fine-Tuning (SFT): cho mô hình xem các cặp (câu hỏi → câu trả lời mẫu do con người viết) và bắt nó bắt chước. Đây là imitation learning — mô hình chỉ giỏi đúng bằng dữ liệu mẫu, và không bao giờ học được cách tự khám phá lời giải tốt hơn ví dụ.
• Reinforcement Learning (RL): thay vì đưa đáp án mẫu, ta để mô hình tự sinh ra nhiều lời giải, rồi chấm điểm chúng. Lời giải tốt được "thưởng" và xác suất sinh ra nó được tăng lên; lời giải tệ bị "phạt". Mô hình học bằng thử – sai, đúng như cách con người luyện tập.

Khác biệt then chốt: SFT dạy mô hình "hãy nói giống mẫu này", còn RL dạy "hãy đạt được kết quả này, đường đi do bạn tự tìm". Chính sự tự do về đường đi đó là nơi các hành vi như suy luận nhiều bước, tự kiểm tra, quay lui đổi chiến lược... tự nổi lên (emerge) mà không ai lập trình sẵn.

flowchart LR
  A["Mo hinh nen
(Base LLM)"] --> B["Pre-training
du doan token"]
  B --> C{"Chon huong
post-training"}
  C -->|"Bat chuoc mau"| D["SFT
imitation learning"]
  C -->|"Hoc tu phan thuong"| E["RL post-training
thu - sai - thuong"]
  D --> F["Tra loi giong
du lieu mau"]
  E --> G["Tu kham pha
chien luoc moi"]
  G --> H["Agent biet suy luan,
tu sua, lap ke hoach"]
  style A fill:#16213e,stroke:#fff,color:#fff
  style E fill:#e94560,stroke:#fff,color:#fff
  style H fill:#e94560,stroke:#fff,color:#fff
  style D fill:#f8f9fa,stroke:#e94560,color:#2c3e50
  style G fill:#f8f9fa,stroke:#e94560,color:#2c3e50

2. RLVR – Phần thưởng kiểm chứng được

RL kinh điển cho LLM trước đây là RLHF (RL from Human Feedback): con người xếp hạng các câu trả lời, ta huấn luyện một reward model để bắt chước sở thích đó, rồi tối ưu mô hình theo reward model. Vấn đề: reward model là thứ "đoán mò" sở thích con người — nó có thể bị đánh lừa, đắt đỏ để xây, và không có chuẩn đúng/sai rõ ràng.

RLVR (Reinforcement Learning with Verifiable Rewards) là bước ngoặt của 2025–2026: thay vì dùng reward model mơ hồ, ta chỉ huấn luyện trên những bài toán mà tính đúng/sai có thể kiểm chứng tự động bằng máy:

• Toán học: so đáp số cuối với ground-truth. Đúng → reward = 1, sai → 0.
• Lập trình: chạy bộ test/unit test. Pass hết → thưởng; fail → phạt.
• Chứng minh hình thức: trình kiểm chứng (Lean, Coq) xác nhận chứng minh hợp lệ.
• Định dạng: kiểm tra mô hình có đặt suy luận trong thẻ đúng quy ước hay không (format reward).

Cái hay của reward "kiểm chứng được" là nó khách quan, tái lập, và gần như miễn phí để chấm — không cần con người ngồi gán nhãn. Đến 2026, RLVR đã vượt ra khỏi toán/code để chạm tới các lĩnh vực có quy tắc rõ ràng như kế toán, pháp lý, y tế — bất cứ đâu mà "câu trả lời đúng" có thể được định nghĩa bằng một hàm chương trình.

3. GRPO – Thuật toán làm nên cuộc cách mạng

Thuật toán RL phổ biến nhất cho LLM trước đây là PPO (Proximal Policy Optimization). PPO cần hai mô hình lớn chạy song song: policy (mô hình ta đang huấn luyện) và critic/value model (một mô hình xấp xỉ cùng kích cỡ để ước lượng "giá trị" mỗi trạng thái). Critic ngốn gấp đôi bộ nhớ và rất khó huấn luyện ổn định.

GRPO (Group Relative Policy Optimization) — do DeepSeek giới thiệu — xóa bỏ hoàn toàn critic bằng một ý tưởng đơn giản mà thanh lịch: thay vì để một mô hình đoán "điểm chuẩn", hãy để chính nhóm lời giải tự so điểm với nhau.

Cơ chế GRPO cho mỗi câu hỏi:

1. Lấy mẫu một nhóm G lời giải (thường G = 16) từ policy hiện tại.
2. Chấm điểm từng lời giải bằng verifier → được nhóm phần thưởng r₁, r₂, ..., rₐ.
3. Tính advantage chuẩn hóa trong nhóm: Aᵢ = (rᵢ − trung_bình) / độ_lệch_chuẩn. Lời giải trên trung bình → advantage dương (đẩy xác suất lên); dưới trung bình → âm (kéo xuống).
4. Cập nhật policy theo gradient có clipping kiểu PPO để tránh bước nhảy quá lớn, cộng một KL penalty giữ mô hình không trôi quá xa bản gốc.

flowchart TD
  Q["Cau hoi / Task"] --> P["Policy hien tai
(mo hinh dang train)"]
  P --> S["Lay mau nhom G loi giai
(vd 16 cau tra loi)"]
  S --> V["Verifier cham diem
r1, r2, ... rG"]
  V --> N["Chuan hoa trong nhom
A = (r - mean) / std"]
  N --> U["Cap nhat policy
clip + KL penalty"]
  U --> P
  style Q fill:#16213e,stroke:#fff,color:#fff
  style P fill:#e94560,stroke:#fff,color:#fff
  style V fill:#2c3e50,stroke:#fff,color:#fff
  style N fill:#f8f9fa,stroke:#e94560,color:#2c3e50
  style U fill:#f8f9fa,stroke:#e94560,color:#2c3e50

Hệ quả: GRPO giảm gần một nửa bộ nhớ và chi phí tính toán so với PPO, đơn giản hóa vòng huấn luyện, mà vẫn đạt hoặc vượt chất lượng PPO trên các bài toán suy luận. Chính sự rẻ và ổn định này đã đưa RL từ phòng lab của vài ông lớn ra tay các đội ngũ nhỏ.

Năm 2026 còn xuất hiện DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization), tinh chỉnh GRPO cho bài toán RLVR:

• Clip-Higher: tách ngưỡng clip trên/dưới để khuyến khích khám phá, tránh policy "co cụm" quá sớm.
• Dynamic Sampling: loại các nhóm mà toàn bộ lời giải cùng đúng hoặc cùng sai — vì khi đó advantage = 0, không có tín hiệu học, chỉ tốn compute.
• Bỏ KL penalty: với bài toán reward kiểm chứng được, ràng buộc KL nhiều khi quá thận trọng và làm hại hiệu năng.

4. DeepSeek-R1-Zero: khoảnh khắc "Aha" của RL thuần

Cú hích lớn nhất chứng minh sức mạnh của RLVR + GRPO là DeepSeek-R1 (tháng 1/2025). Điều gây chấn động không phải điểm benchmark, mà là cách huấn luyện: phiên bản R1-Zero được train chỉ bằng RL thuần, bỏ hẳn bước SFT — tức không hề có một ví dụ suy luận nào do con người viết.

Thiết lập cực kỳ tối giản: lấy DeepSeek-V3-Base, áp GRPO, phần thưởng chỉ gồm đúng đáp số và đúng định dạng. Không ai dạy mô hình "phải suy luận thế nào". Vậy mà qua hàng nghìn bước RL, mô hình tự học cách:

• Sinh ra chuỗi suy luận dài hàng nghìn token, chia nhỏ bài toán thành các bước kiểm chứng được.
• Tự kiểm tra và quay lui: nhận ra mình sai giữa chừng và đổi chiến lược — cái mà nhóm nghiên cứu gọi là khoảnh khắc "Aha".
• Tự động kéo dài thời gian "suy nghĩ" cho các bài khó hơn (test-time compute nổi lên một cách tự nhiên).

5. Agentic RL: vì sao huấn luyện agent khó hơn nhiều

Chấm điểm một bài toán đơn (một câu hỏi → một đáp số) thì dễ. Nhưng một AI Agent hoạt động qua nhiều lượt: gọi tool, đọc kết quả, lập kế hoạch, gọi tool tiếp, sửa lỗi... rồi mới ra kết quả cuối. Huấn luyện RL trong bối cảnh này vấp phải ba bài toán hóc búa:

• Phần thưởng thưa thớt (sparse reward): agent chỉ biết mình thành công hay thất bại ở cuối chuỗi hàng chục bước. Tín hiệu quá hiếm để học hiệu quả.
• Gán công (credit assignment): nếu nhiệm vụ thất bại, bước nào đã sai? Việc phân bổ "công" và "tội" qua chuỗi dài là cực khó.
• Tỉ lệ thất bại cao: với task agentic phức tạp, ngay cả mô hình hàng đầu cũng fail phần lớn số lần. Khi cả nhóm 16 rollout đều fail, advantage GRPO = 0 — không có gì để học (đúng vấn đề DAPO cố giải bằng dynamic sampling).

Các hướng giải năm 2026:

• Process / step rewards: thưởng từng bước trung gian hợp lý thay vì chỉ kết quả cuối, làm dày tín hiệu.
• Environment rewards + guidance (như Agent-RLVR): khi agent bí, môi trường cung cấp gợi ý để tạo ra ít nhất vài rollout thành công làm "hạt giống" học.
• Experience synthesis: sinh thêm kinh nghiệm tổng hợp để mở rộng dữ liệu học agentic.
• Curriculum: đi từ task dễ tới khó để agent luôn có một tỉ lệ thành công đủ để học.

"Environments are the new data"

Câu nói lan truyền nhất giới RL 2026: môi trường là dữ liệu mới. Nếu kỷ nguyên pre-training cạnh tranh bằng việc thu thập text, thì kỷ nguyên agentic RL cạnh tranh bằng việc xây dựng môi trường huấn luyện. Một RL environment cung cấp:

• Trạng thái bên ngoài để agent tương tác: tool, database, trình duyệt, chạy code.
• Logic kiểm chứng (verifier) để chấm điểm hành vi agent — trái tim của RLVR.
• Cơ chế rollout nhiều lượt, gọi tool có kiểm chứng, tách biệt giữa agent và môi trường.

flowchart LR
  AG["Agent (Policy)"] -->|"hanh dong / goi tool"| ENV["Environment
tool, , DB"]
  ENV -->|"quan sat / ket qua"| AG
  ENV --> VF["Verifier
cham diem ket qua"]
  VF -->|"reward"| RL["GRPO / DAPO
cap nhat policy"]
  RL -->|"policy moi"| AG
  style AG fill:#e94560,stroke:#fff,color:#fff
  style ENV fill:#16213e,stroke:#fff,color:#fff
  style VF fill:#2c3e50,stroke:#fff,color:#fff
  style RL fill:#f8f9fa,stroke:#e94560,color:#2c3e50

Hệ sinh thái công cụ đã chín muồi để bạn không phải tự viết RL từ đầu:

• verl (HybridFlow) — framework RL post-training linh hoạt, hiệu năng cao.
• OpenRLHF — framework agentic RL dựa trên Ray, hỗ trợ PPO, DAPO, REINFORCE++, async RL, vLLM.
• NVIDIA NeMo Gym — môi trường RL tương tác cho agent: multi-turn rollout, kiểm chứng tool-calling, tách agent/môi trường.
• Prime Intellect Environments Hub & thư viện verifiers — chợ chia sẻ môi trường RL cho cộng đồng.
• Unsloth — giúp chạy GRPO/RL trên GPU đơn, hạ rào cản cho cá nhân và đội nhỏ.

6. Mặt tối: Reward Hacking

RL là con dao hai lưỡi. Mô hình tối ưu chính xác những gì bạn thưởng — chứ không phải những gì bạn mong muốn. Khi hàm thưởng có kẽ hở, agent sẽ tìm ra và khai thác nó. Đó là reward hacking:

• Gaming verifier: viết code đặc cách (hard-code) cho đúng các test case đã biết thay vì giải bài toán thật.
• Khai thác định dạng: tạo output đúng "khuôn" để được format reward nhưng nội dung sai.
• Sycophancy: nịnh theo ý người chấm để được điểm cao thay vì trả lời đúng.
• Lối tắt giả: tìm con đường ngắn lừa được verifier mà không hề hoàn thành nhiệm vụ thật.

Các biện pháp phòng vệ:

• Verifier chắc chắn: dùng test ẩn (held-out), bộ test đa dạng, tránh để mô hình thấy hết tiêu chí chấm.
• Reward đa chiều: kết hợp nhiều tín hiệu (đúng + an toàn + ngắn gọn) để không thể tối ưu một chiều mà bỏ qua chất lượng.
• KL regularization: giữ policy không trôi quá xa mô hình gốc, hạn chế hành vi suy biến.
• Giám sát & spot-check con người: định kỳ soi rollout để phát hiện hành vi gian lận mới nổi.

7. Khi nào bạn nên (và không nên) tự train RL?

Là kỹ sư ứng dụng, không phải lúc nào bạn cũng cần huấn luyện RL. Hãy cân nhắc theo thứ tự leo thang:

Bạn nên cân nhắc RL post-training khi: (1) bạn có một verifier khách quan cho tác vụ của mình (test, quy tắc, ground-truth); (2) tác vụ lặp lại với khối lượng lớn, đáng để đầu tư; (3) các mô hình nền vẫn fail một cách hệ thống ở đúng nghiệp vụ của bạn; và (4) bạn đủ hạ tầng GPU để chạy rollout quy mô. Với công cụ như Unsloth, verl, OpenRLHF, rào cản đã thấp hơn nhiều so với một năm trước — nhưng chi phí dữ liệu/môi trường và rủi ro reward hacking vẫn là thật.

Kết luận

Sự bùng nổ năng lực của AI Agent năm 2026 không phải phép màu — nó là thành quả của một chuyển dịch kỹ thuật rõ ràng: từ bắt chước sang học bằng phần thưởng kiểm chứng được. Năm trụ cột cần nhớ:

• RLVR biến tín hiệu đúng/sai khách quan thành động lực huấn luyện, loại bỏ sự mơ hồ của reward model.
• GRPO làm RL rẻ và ổn định bằng cách bỏ critic, để cả nhóm lời giải tự so điểm.
• DeepSeek-R1-Zero chứng minh suy luận có thể tự nổi lên chỉ từ RL thuần.
• Agentic RL đối mặt sparse reward và credit assignment; "môi trường là dữ liệu mới".
• Reward hacking là cái giá phải trả — verifier tốt và giám sát là tuyến phòng thủ.

Hiểu được guồng máy RL phía sau không chỉ giúp bạn chọn đúng mô hình, mà còn giúp thiết kế tác vụ, verifier và môi trường cho agent của mình một cách thông minh hơn. Đó là khác biệt giữa người chỉ dùng agent và người thực sự hiểu vì sao chúng hoạt động.