AWS Bedrock AgentCore — Nền tảng Serverless triển khai AI Agent Production

Posted on: 4/25/2026 1:13:40 AM

Xây dựng một AI Agent chạy được trong môi trường thử nghiệm là một chuyện. Đưa agent đó lên production với hàng triệu request, bảo mật chặt chẽ, khả năng ghi nhớ ngữ cảnh xuyên phiên, và tích hợp với hệ thống doanh nghiệp hiện có — đó mới là bài toán thực sự. Amazon Bedrock AgentCore ra đời để giải quyết chính xác vấn đề này: một nền tảng serverless cung cấp mọi building block cần thiết để triển khai AI Agent ở quy mô production.

1. Vì sao cần một nền tảng chuyên biệt cho AI Agent?

Khi xây dựng AI Agent, phần "thông minh" — gọi LLM, parse kết quả, gọi tool — thường chỉ chiếm khoảng 20% effort. 80% còn lại là các vấn đề production: bảo mật, xác thực, quản lý bộ nhớ, giám sát, retry, rate limiting, và triển khai ở quy mô lớn. Đây là lý do các managed platform như Bedrock AgentCore ngày càng quan trọng.

graph TB
    subgraph "Effort xây dựng AI Agent"
        A["20% — Agent Logic
LLM, Tools, Prompts"]
        B["80% — Production Infrastructure
Security, Memory, Observability,
Scaling, Identity, Deployment"]
    end

    style A fill:#4CAF50,stroke:#fff,color:#fff
    style B fill:#e94560,stroke:#fff,color:#fff

2. Kiến trúc tổng quan Amazon Bedrock AgentCore

AgentCore không phải là một service đơn lẻ — nó là một bộ các service modular, mỗi service giải quyết một khía cạnh cụ thể của bài toán production AI Agent. Bạn có thể sử dụng toàn bộ hoặc chỉ những phần cần thiết.

graph TB
    DEV["Developer / Agent Framework"]

    subgraph "Amazon Bedrock AgentCore"
        RT["Runtime
Serverless Execution"]
        GW["Gateway
Tool Access & Auth"]
        MEM["Memory
Session & Long-term"]
        ID["Identity
Agent Authentication"]
        OBS["Observability
Tracing & Metrics"]
        EVAL["Evaluations
Quality Scoring"]
        POL["Policy
Action Control"]
        BR["Browser
Web Interaction"]
        CI["Code Interpreter
Code Execution"]
    end

    DEV --> RT
    RT --> GW
    RT --> MEM
    RT --> ID
    RT --> OBS
    RT --> EVAL
    RT --> POL
    RT --> BR
    RT --> CI

    style DEV fill:#e94560,stroke:#fff,color:#fff
    style RT fill:#2c3e50,stroke:#fff,color:#fff
    style GW fill:#16213e,stroke:#fff,color:#fff
    style MEM fill:#16213e,stroke:#fff,color:#fff
    style ID fill:#16213e,stroke:#fff,color:#fff
    style OBS fill:#16213e,stroke:#fff,color:#fff
    style EVAL fill:#16213e,stroke:#fff,color:#fff
    style POL fill:#16213e,stroke:#fff,color:#fff
    style BR fill:#16213e,stroke:#fff,color:#fff
    style CI fill:#16213e,stroke:#fff,color:#fff

3. Runtime — Triển khai Agent không cần hạ tầng

AgentCore Runtime là trung tâm của toàn bộ platform. Nó cung cấp một môi trường serverless với session isolation — mỗi cuộc hội thoại chạy trong một container riêng biệt, không chia sẻ state với các session khác.

# Ví dụ: Deploy agent với AgentCore CLI
# Bước 1: Khởi tạo project
agentcore init my-support-agent --framework strands

# Bước 2: Định nghĩa agent logic
# agent.py sử dụng bất kỳ framework nào (Strands, LangGraph, CrewAI...)

# Bước 3: Deploy lên AgentCore Runtime
agentcore deploy --name my-support-agent \
    --memory enabled \
    --guardrails my-guardrail-id \
    --identity-provider okta

Điểm khác biệt lớn nhất của AgentCore Runtime: nó framework-agnostic. Bạn có thể sử dụng bất kỳ agent framework nào — Strands Agents SDK, LangGraph, CrewAI, AutoGen — và Runtime sẽ xử lý phần deploy, scale, và monitor.

4. Knowledge Base — RAG được quản lý hoàn toàn

Amazon Bedrock Knowledge Base cung cấp một pipeline RAG (Retrieval-Augmented Generation) hoàn chỉnh: từ ingestion dữ liệu, chunking, embedding, đến vector search — tất cả đều managed.

graph LR
    S3["S3 Bucket
Documents"] --> CHUNK["Auto Chunking
Semantic / Fixed"]
    CHUNK --> EMB["Embedding Model
Titan / Cohere"]
    EMB --> VS["Vector Store
OpenSearch / Pinecone"]

    Q["User Query"] --> AGENT["Bedrock Agent"]
    AGENT --> VS
    VS --> CTX["Retrieved Context"]
    CTX --> AGENT
    AGENT --> R["Grounded Response"]

    style S3 fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style AGENT fill:#e94560,stroke:#fff,color:#fff
    style VS fill:#2c3e50,stroke:#fff,color:#fff
    style R fill:#4CAF50,stroke:#fff,color:#fff
    style CHUNK fill:#16213e,stroke:#fff,color:#fff
    style EMB fill:#16213e,stroke:#fff,color:#fff
    style Q fill:#f8f9fa,stroke:#e94560,color:#2c3e50
    style CTX fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50

Chunking strategies

5. Guardrails — Kiểm soát output và bảo mật

Guardrails là lớp phòng thủ quan trọng nhất trong production. Amazon Bedrock Guardrails cung cấp 6 safeguard policies để kiểm soát cả input lẫn output của agent.

graph LR
    INPUT["User Input"] --> G1["Content Filter"]
    G1 --> G2["Denied Topics"]
    G2 --> G3["Word Filter"]
    G3 --> G4["PII Redaction"]
    G4 --> G5["Prompt Attack Detection"]
    G5 --> LLM["LLM Processing"]
    LLM --> G6["Contextual Grounding"]
    G6 --> OUTPUT["Safe Response"]

    style INPUT fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style LLM fill:#2c3e50,stroke:#fff,color:#fff
    style OUTPUT fill:#4CAF50,stroke:#fff,color:#fff
    style G1 fill:#e94560,stroke:#fff,color:#fff
    style G2 fill:#e94560,stroke:#fff,color:#fff
    style G3 fill:#e94560,stroke:#fff,color:#fff
    style G4 fill:#e94560,stroke:#fff,color:#fff
    style G5 fill:#e94560,stroke:#fff,color:#fff
    style G6 fill:#e94560,stroke:#fff,color:#fff

Ví dụ cấu hình Guardrails

{
  "name": "production-guardrail",
  "contentPolicyConfig": {
    "filtersConfig": [
      { "type": "SEXUAL", "inputStrength": "HIGH", "outputStrength": "HIGH" },
      { "type": "VIOLENCE", "inputStrength": "HIGH", "outputStrength": "HIGH" },
      { "type": "HATE", "inputStrength": "HIGH", "outputStrength": "HIGH" },
      { "type": "INSULTS", "inputStrength": "MEDIUM", "outputStrength": "HIGH" }
    ]
  },
  "topicPolicyConfig": {
    "topicsConfig": [
      {
        "name": "competitor-comparison",
        "definition": "Câu hỏi so sánh sản phẩm với đối thủ cạnh tranh",
        "type": "DENY"
      }
    ]
  },
  "sensitiveInformationPolicyConfig": {
    "piiEntitiesConfig": [
      { "type": "EMAIL", "action": "ANONYMIZE" },
      { "type": "PHONE", "action": "ANONYMIZE" },
      { "type": "CREDIT_DEBIT_CARD_NUMBER", "action": "BLOCK" }
    ]
  },
  "contextualGroundingPolicyConfig": {
    "filtersConfig": [
      { "type": "GROUNDING", "threshold": 0.7 },
      { "type": "RELEVANCE", "threshold": 0.7 }
    ]
  }
}

6. Multi-Agent Collaboration — Đội hình Agent chuyên biệt

Khi một agent đơn lẻ không đủ khả năng xử lý các task phức tạp, Bedrock cho phép bạn xây dựng một đội hình agents phối hợp với nhau. Kiến trúc supervisor-collaborator hỗ trợ tối đa 10 collaborator agents cho mỗi supervisor.

graph TB
    USER["User Request"] --> SUP["Supervisor Agent
Điều phối & Tổng hợp"]

    SUP --> A1["Agent 1
Customer Lookup"]
    SUP --> A2["Agent 2
Order Processing"]
    SUP --> A3["Agent 3
Inventory Check"]
    SUP --> A4["Agent 4
Payment Processing"]

    A1 --> DB["CRM Database"]
    A2 --> OMS["Order Management"]
    A3 --> WMS["Warehouse System"]
    A4 --> PAY["Payment Gateway"]

    A1 --> SUP
    A2 --> SUP
    A3 --> SUP
    A4 --> SUP
    SUP --> RESP["Consolidated Response"]

    style USER fill:#f8f9fa,stroke:#e94560,color:#2c3e50
    style SUP fill:#e94560,stroke:#fff,color:#fff
    style A1 fill:#2c3e50,stroke:#fff,color:#fff
    style A2 fill:#2c3e50,stroke:#fff,color:#fff
    style A3 fill:#2c3e50,stroke:#fff,color:#fff
    style A4 fill:#2c3e50,stroke:#fff,color:#fff
    style RESP fill:#4CAF50,stroke:#fff,color:#fff
    style DB fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style OMS fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style WMS fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style PAY fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50

Hai chế độ điều phối

import boto3

bedrock = boto3.client('bedrock-agent')

# Tạo Supervisor Agent
supervisor = bedrock.create_agent(
    agentName='ecommerce-supervisor',
    instruction="""Bạn là supervisor điều phối đội agent e-commerce.
    Phân tích yêu cầu khách hàng và phối hợp các agent chuyên biệt
    để xử lý: tra cứu đơn hàng, kiểm tra tồn kho, xử lý thanh toán.""",
    foundationModel='anthropic.claude-sonnet-4-20250514'
)

# Liên kết collaborator agents
bedrock.associate_agent_collaborator(
    agentId=supervisor['agent']['agentId'],
    collaborationInstruction='Gọi agent này khi cần tra cứu thông tin khách hàng',
    collaboratorId=customer_agent_id,
    collaboratorName='CustomerLookup',
    relayConversationHistory='TO_COLLABORATOR'
)

7. Identity — Xác thực Agent với hệ thống bên ngoài

Một trong những thách thức lớn nhất khi đưa AI Agent lên production: làm sao để agent truy cập vào các hệ thống doanh nghiệp (Slack, GitHub, Jira, Salesforce) một cách an toàn, không hardcode credentials?

AgentCore Identity giải quyết vấn đề này bằng cách gán cho agent một danh tính riêng và tích hợp với corporate Identity Provider (IdP).

graph LR
    AGENT["AI Agent"] --> ACID["AgentCore Identity"]
    ACID --> IDP["Corporate IdP
Okta / Entra ID / Cognito"]
    IDP --> TOKEN["OAuth Token"]
    TOKEN --> AGENT
    AGENT --> SLACK["Slack API"]
    AGENT --> GH["GitHub API"]
    AGENT --> JIRA["Jira API"]

    style AGENT fill:#e94560,stroke:#fff,color:#fff
    style ACID fill:#2c3e50,stroke:#fff,color:#fff
    style IDP fill:#16213e,stroke:#fff,color:#fff
    style TOKEN fill:#4CAF50,stroke:#fff,color:#fff
    style SLACK fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style GH fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style JIRA fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50

8. Memory — Agent có trí nhớ xuyên phiên

AgentCore Memory tự động quản lý hai loại memory cho agent:

# Memory được tự động quản lý bởi AgentCore
# Agent có thể truy vấn memory qua API

# Ví dụ: Agent nhớ preference của khách hàng
response = bedrock_runtime.invoke_agent(
    agentId='support-agent',
    sessionId='user-12345',
    enableTrace=True,
    memoryId='user-12345-memory',  # Long-term memory identifier
    inputText='Tôi muốn đổi gói dịch vụ'
)

# Agent tự động biết:
# - User đang dùng gói Premium từ 2024
# - User đã hỏi về downgrade 2 lần trước
# - User prefer giao tiếp tiếng Việt

9. Gateway — Kết nối Agent với mọi API

AgentCore Gateway đóng vai trò trung gian giữa agent và các external tools/APIs. Thay vì mỗi agent tự xử lý authentication, rate limiting, error handling cho từng API — Gateway xử lý tất cả.

# Ví dụ OpenAPI spec cho tool "get_order_status"
openapi: 3.0.0
info:
  title: Order Management API
  version: 1.0.0
paths:
  /orders/{orderId}:
    get:
      operationId: getOrderStatus
      summary: Lấy trạng thái đơn hàng
      parameters:
        - name: orderId
          in: path
          required: true
          schema:
            type: string
      responses:
        '200':
          description: Thông tin đơn hàng
          content:
            application/json:
              schema:
                type: object
                properties:
                  status:
                    type: string
                    enum: [pending, processing, shipped, delivered]
                  estimatedDelivery:
                    type: string
                    format: date

10. Action Groups — Mở rộng khả năng của Agent

Action Groups cho phép agent thực hiện các hành động cụ thể bằng cách kết nối với AWS Lambda functions hoặc API endpoints. Mỗi Action Group là một tập hợp các tools mà agent có thể gọi.

graph TB
    AGENT["Bedrock Agent"] --> AG1["Action Group: CRM"]
    AGENT --> AG2["Action Group: Inventory"]
    AGENT --> AG3["Action Group: Notifications"]
    AGENT --> KB["Knowledge Base"]

    AG1 --> L1["Lambda: searchCustomer"]
    AG1 --> L2["Lambda: updateCustomer"]
    AG2 --> L3["Lambda: checkStock"]
    AG2 --> L4["Lambda: reserveItem"]
    AG3 --> L5["Lambda: sendEmail"]
    AG3 --> L6["Lambda: sendSMS"]

    style AGENT fill:#e94560,stroke:#fff,color:#fff
    style AG1 fill:#2c3e50,stroke:#fff,color:#fff
    style AG2 fill:#2c3e50,stroke:#fff,color:#fff
    style AG3 fill:#2c3e50,stroke:#fff,color:#fff
    style KB fill:#16213e,stroke:#fff,color:#fff
    style L1 fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style L2 fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style L3 fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style L4 fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style L5 fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style L6 fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50

11. Observability — Giám sát Agent trong Production

Agent không phải là API truyền thống — output không deterministic, mỗi request có thể chạy qua nhiều bước reasoning, gọi nhiều tools. Observability trong thế giới agentic đòi hỏi tracing ở cấp độ từng bước suy luận.

# Enable trace để theo dõi reasoning chain
response = bedrock_runtime.invoke_agent(
    agentId='my-agent',
    sessionId='session-001',
    enableTrace=True,
    inputText='Kiểm tra đơn hàng ORD-12345 và gửi cập nhật cho khách'
)

# Trace output bao gồm:
# 1. PreProcessingTrace - Input parsing & classification
# 2. OrchestrationTrace - Reasoning steps, tool selection
# 3. PostProcessingTrace - Response formatting
# 4. GuardrailTrace - Safety filter results
# 5. FailureTrace - Error details nếu có

12. So sánh với các nền tảng AI Agent khác

13. Kiến trúc Production: E-commerce Support Agent

Để minh họa cách các building block kết hợp trong thực tế, hãy xem kiến trúc một hệ thống Customer Support Agent cho e-commerce.

graph TB
    CUST["Customer
Web / Mobile / Chat"] --> ALB["Application Load Balancer"]
    ALB --> API["API Gateway"]
    API --> RT["AgentCore Runtime"]

    RT --> SUP["Supervisor Agent"]
    SUP --> FAQ["FAQ Agent
+ Knowledge Base"]
    SUP --> ORD["Order Agent
+ Action Groups"]
    SUP --> ESC["Escalation Agent
+ SES / SNS"]

    RT --> MEM["AgentCore Memory"]
    RT --> GR["Guardrails"]
    RT --> OBS["CloudWatch
Observability"]
    RT --> AID["AgentCore Identity
→ Okta SSO"]

    FAQ --> S3["S3: Product Docs"]
    ORD --> DDB["DynamoDB: Orders"]
    ORD --> PAY["Stripe API"]
    ESC --> AGENT_DESK["Human Agent Queue"]

    style CUST fill:#f8f9fa,stroke:#e94560,color:#2c3e50
    style RT fill:#e94560,stroke:#fff,color:#fff
    style SUP fill:#2c3e50,stroke:#fff,color:#fff
    style FAQ fill:#16213e,stroke:#fff,color:#fff
    style ORD fill:#16213e,stroke:#fff,color:#fff
    style ESC fill:#16213e,stroke:#fff,color:#fff
    style GR fill:#e94560,stroke:#fff,color:#fff
    style MEM fill:#2c3e50,stroke:#fff,color:#fff
    style OBS fill:#2c3e50,stroke:#fff,color:#fff
    style AID fill:#2c3e50,stroke:#fff,color:#fff
    style ALB fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style API fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style S3 fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style DDB fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style PAY fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style AGENT_DESK fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50

14. Best Practices cho Production

15. Chi phí và Pricing

Bedrock AgentCore sử dụng mô hình pay-per-use, tính phí dựa trên:

• LLM inference: Tính theo input/output tokens, khác nhau tùy model (Claude Sonnet rẻ hơn Claude Opus)
• Knowledge Base: Phí embedding + vector store (OpenSearch Serverless)
• Runtime: Phí compute dựa trên thời gian session active
• Guardrails: Phí theo số lượng text units được xử lý
• Memory: Phí storage cho long-term memory

Kết luận

Amazon Bedrock AgentCore đại diện cho sự trưởng thành của hệ sinh thái AI Agent — từ giai đoạn demo sang production-grade. Với kiến trúc modular, bạn không bị ép buộc phải dùng toàn bộ platform — có thể bắt đầu với Runtime + Guardrails, sau đó mở rộng sang Memory, Identity, Multi-Agent khi nhu cầu tăng.

Điều khiến AgentCore khác biệt không phải là từng tính năng riêng lẻ — Azure AI Foundry hay LangGraph Cloud cũng có các capability tương tự. Điểm mạnh nằm ở việc tất cả đều managed, serverless, và framework-agnostic — bạn tập trung vào agent logic, để AWS xử lý phần production infrastructure.

Tham khảo

• Amazon Bedrock AgentCore — Official Page
• AgentCore Developer Guide — AWS Documentation
• Introducing Amazon Bedrock AgentCore — AWS Blog
• Multi-Agent Collaboration — AWS Bedrock Docs
• Amazon Bedrock Guardrails — AWS
• Navigating Managed AI Agent Options on Bedrock — The Scale Factory
• AI Agents Best Practices with AgentCore — AWS ML Blog