Azure Container Apps Dynamic Sessions — Sandbox Hyper-V cho AI Agent chạy code an toàn

Posted on: 4/27/2026 2:10:40 AM

Khi AI Agent có khả năng sinh code và thực thi tự động, câu hỏi lớn nhất không còn là "AI có viết được code không?" mà là "Chạy code đó ở đâu cho an toàn?". Azure Container Apps Dynamic Sessions ra đời để giải quyết chính xác bài toán đó — cung cấp môi trường cách ly Hyper-V, khởi động trong mili-giây, tự scale hàng ngàn session đồng thời, và tích hợp sẵn MCP (Model Context Protocol) để AI agent gọi trực tiếp.

Bài viết này đi sâu vào kiến trúc, cơ chế hoạt động, mô hình bảo mật và các pattern triển khai thực tế của Dynamic Sessions — từ góc nhìn system design cho team đang xây dựng hệ thống AI agent production.

1. Bài toán: Chạy code AI-generated ở đâu?

Hãy hình dung một AI coding assistant nhận yêu cầu: "Phân tích file CSV 500MB và vẽ biểu đồ revenue theo quý". Agent sẽ sinh ra đoạn Python dùng pandas + matplotlib, nhưng code này phải chạy ở đâu đó. Các phương án truyền thống đều có vấn đề:

Dynamic Sessions giải quyết tất cả: Hyper-V cách ly hoàn toàn, prewarmed pool khởi động sub-second, tự quản lý lifecycle, scale tới hàng ngàn session, và tích hợp sẵn với hệ sinh thái AI agent qua MCP.

2. Kiến trúc tổng quan

graph TD
    Client["🤖 AI Agent / LLM App"]
    MgmtAPI["Management API Endpoint"]
    Pool["Session Pool"]
    Prewarmed["Prewarmed Sessions
(Hyper-V Isolated)"]
    Active1["Session A
identifier: user-123"]
    Active2["Session B
identifier: user-456"]
    Active3["Session C
identifier: conv-789"]
    EntraID["Microsoft Entra ID"]

    Client -->|"HTTPS + Bearer Token"| MgmtAPI
    EntraID -->|"AuthN/AuthZ"| MgmtAPI
    MgmtAPI -->|"Route by identifier"| Pool
    Pool --> Prewarmed
    Pool --> Active1
    Pool --> Active2
    Pool --> Active3

    style Client fill:#e94560,stroke:#fff,color:#fff
    style MgmtAPI fill:#2c3e50,stroke:#fff,color:#fff
    style Pool fill:#f8f9fa,stroke:#e94560,color:#2c3e50
    style Prewarmed fill:#f8f9fa,stroke:#4CAF50,color:#2c3e50
    style Active1 fill:#fff,stroke:#e94560,color:#2c3e50
    style Active2 fill:#fff,stroke:#e94560,color:#2c3e50
    style Active3 fill:#fff,stroke:#e94560,color:#2c3e50
    style EntraID fill:#2c3e50,stroke:#fff,color:#fff

3. Hai loại Session Pool

3.1. Code Interpreter Session Pool

Dùng container platform-managed, cài sẵn Python (NumPy, pandas, matplotlib), Node.js và Shell. Không cần build image — chỉ cần tạo pool là dùng được ngay.

3.2. Custom Container Session Pool

Bring-your-own-container — bạn push image lên ACR (Azure Container Registry), cấu hình resource (CPU, RAM), command, env vars. Hoàn toàn tùy biến runtime environment.

4. Cơ chế Session Pool và Prewarming

Điểm khác biệt cốt lõi của Dynamic Sessions so với việc tự spawn container: Session Pool duy trì một tập session prewarmed — container đã boot xong, OS đã load, runtime đã sẵn sàng, chỉ chờ request đến là allocate ngay.

sequenceDiagram
    participant App as AI Agent App
    participant API as Management API
    participant Pool as Session Pool
    participant PW as Prewarmed Session
    participant Active as Active Session

    App->>API: POST /api/execute?identifier=user-123
    API->>API: Validate Entra ID token
    API->>Pool: Route by identifier "user-123"

    alt Session exists
        Pool->>Active: Forward request
        Active-->>App: Response (execution result)
    else New identifier
        Pool->>PW: Allocate from prewarmed pool
        PW->>Active: Become active session
        Active-->>App: Response (sub-second)
        Pool->>Pool: Replenish prewarmed pool
    end

    Note over Active: Cooldown timer starts
    Note over Active: No activity → auto-destroy

4.1. Identifier-based Routing

Mỗi request phải kèm ?identifier=<value>. Đây là cách Pool biết request thuộc session nào:

• Nếu identifier đã tồn tại → route tới session đang active
• Nếu identifier chưa có → allocate session mới từ prewarmed pool
• Identifier là free-form string (4-128 ký tự): có thể dùng user ID, conversation ID, hoặc task ID

4.2. Lifecycle và Cooldown

Session tự động bị destroy khi hết cooldown period (cấu hình được, mặc định 600 giây). Điều này đảm bảo resource không bị lãng phí. Bạn có thể query trạng thái session qua endpoint /.management/getSession và liệt kê tất cả session qua /.management/listSessions.

5. Bảo mật: Hyper-V Isolation

Đây là yếu tố quan trọng nhất khi chạy untrusted code. Dynamic Sessions không dùng container isolation thông thường (Linux namespaces/cgroups) — mà dùng Hyper-V isolation, tức mỗi session chạy trong một lightweight VM riêng biệt.

graph LR
    subgraph Host["Azure Host Machine"]
        subgraph HV1["Hyper-V VM 1"]
            S1["Session A
user-123"]
        end
        subgraph HV2["Hyper-V VM 2"]
            S2["Session B
user-456"]
        end
        subgraph HV3["Hyper-V VM 3"]
            S3["Session C
conv-789"]
        end
    end

    S1 -.->|"❌ Không thể truy cập"| S2
    S2 -.->|"❌ Không thể truy cập"| S3

    style Host fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style HV1 fill:#fff,stroke:#e94560,color:#2c3e50
    style HV2 fill:#fff,stroke:#e94560,color:#2c3e50
    style HV3 fill:#fff,stroke:#e94560,color:#2c3e50
    style S1 fill:#f8f9fa,stroke:#e94560,color:#2c3e50
    style S2 fill:#f8f9fa,stroke:#e94560,color:#2c3e50
    style S3 fill:#f8f9fa,stroke:#e94560,color:#2c3e50

5.1. Network Security

Mặc định, session không có outbound network access. Đây là defense-in-depth: ngay cả khi attacker escape được application , họ vẫn không gọi ra ngoài được. Bạn có thể mở qua sessionNetworkConfiguration.status: "EgressEnabled" khi cần (ví dụ session cần gọi external API).

5.2. Authentication Flow

Tất cả request tới Management API đều phải có Microsoft Entra ID token với role Azure ContainerApps Session Executor trên session pool resource. Flow xác thực:

// C# - Lấy token từ managed identity hoặc DefaultAzureCredential
using Azure.Identity;

var credential = new DefaultAzureCredential();
var token = credential.GetToken(
    new TokenRequestContext(new[] { "https://dynamicsessions.io/.default" })
);
// Gửi kèm header: Authorization: Bearer {token.Token}

# Python - Azure Identity
from azure.identity import DefaultAzureCredential

credential = DefaultAzureCredential()
token = credential.get_token("https://dynamicsessions.io/.default")
# Header: Authorization: Bearer {token.token}

6. Tích hợp MCP — AI Agent gọi trực tiếp

Tính năng nổi bật nhất (preview từ tháng 3/2026): bật MCP trên session pool, platform tự expose endpoint /mcp theo chuẩn JSON-RPC 2.0. AI agent (Claude, GitHub Copilot, Azure Foundry) kết nối trực tiếp và gọi tool mà không cần code trung gian.

sequenceDiagram
    participant Agent as AI Agent (Claude/Copilot)
    participant MCP as /mcp Endpoint
    participant Sandbox as Hyper-V Sandbox

    Agent->>MCP: initialize (JSON-RPC 2.0)
    MCP-->>Agent: capabilities: [launchShell, runShellCommand, runPythonCode]

    Agent->>MCP: tools/call → launchShell
    MCP->>Sandbox: Create environment
    Sandbox-->>MCP: environmentId: "env-abc"
    MCP-->>Agent: environmentId

    Agent->>MCP: tools/call → runPythonCodeInRemoteEnvironment
    Note right of Agent: code: "import pandas as pd
df = pd.read_csv('data.csv')
print(df.describe())"
    MCP->>Sandbox: Execute Python code
    Sandbox-->>MCP: stdout output
    MCP-->>Agent: execution result

6.1. Ba tool MCP platform-managed

6.2. Cấu hình MCP trên Session Pool

Chỉ cần một property trong ARM/Bicep template:

{
  "type": "Microsoft.App/sessionPools",
  "apiVersion": "2025-02-02-preview",
  "properties": {
    "containerType": "PythonLTS",
    "poolManagementType": "Dynamic",
    "mcpServerSettings": {
      "isMCPServerEnabled": true
    },
    "dynamicPoolConfiguration": {
      "executionType": "Timed",
      "cooldownPeriodInSeconds": 600
    },
    "scaleConfiguration": {
      "maxConcurrentSessions": 100,
      "readySessionInstances": 10
    }
  }
}

Sau khi deploy, lấy API key qua Azure CLI:

az rest --method POST \
    --uri "https://management.azure.com/subscriptions/{subId}/resourceGroups/{rg}/providers/Microsoft.App/sessionPools/{pool}/fetchMCPServerCredentials" \
    --uri-parameters api-version=2025-02-02-preview \
    --query "apiKey" -o tsv

Agent kết nối bằng endpoint https://{pool}.{envId}.{region}.azurecontainerapps.io/mcp với header x-ms-apikey.

7. Hai mô hình host MCP Server trên Container Apps

Ngoài Dynamic Sessions (platform-managed MCP), bạn còn có thể deploy MCP server riêng dưới dạng standalone container app. Hai mô hình phục vụ mục đích khác nhau:

8. Pattern triển khai thực tế

8.1. AI Data Analyst Agent

graph LR
    User["Người dùng"]
    App["Web App / API"]
    LLM["Azure OpenAI / Claude"]
    DS["Dynamic Session
(Code Interpreter)"]
    Blob["Azure Blob Storage"]

    User -->|"Upload CSV + câu hỏi"| App
    App -->|"Prompt + context"| LLM
    LLM -->|"Generated Python code"| App
    App -->|"Execute code
identifier=user-id"| DS
    DS -->|"Read/Write file"| DS
    DS -->|"Chart image"| Blob
    Blob -->|"Chart URL"| App
    App -->|"Kết quả + chart"| User

    style User fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50
    style App fill:#2c3e50,stroke:#fff,color:#fff
    style LLM fill:#e94560,stroke:#fff,color:#fff
    style DS fill:#f8f9fa,stroke:#e94560,color:#2c3e50
    style Blob fill:#f8f9fa,stroke:#2c3e50,color:#2c3e50

8.2. Multi-tenant Code Playground

Mỗi tenant có identifier riêng → session cách ly hoàn toàn. Cooldown 15 phút → tự dọn dẹp. Egress disabled → tenant không thể gọi ra ngoài (trừ khi bạn cho phép). Scale tới hàng trăm tenant đồng thời mà không cần manage infrastructure.

8.3. CI/CD Pipeline với Secure Test Execution

Chạy test suite trong Dynamic Sessions thay vì trên build agent. Lợi ích: test không ảnh hưởng lẫn nhau (Hyper-V isolation), không cần clean up build agent, scale tự động theo số PR.

9. Cấu hình ARM Template đầy đủ

{
  "type": "Microsoft.App/sessionPools",
  "apiVersion": "2024-08-02-preview",
  "name": "my-ai-session-pool",
  "location": "southeastasia",
  "properties": {
    "environmentId": "/subscriptions/{sub}/resourceGroups/{rg}/providers/Microsoft.App/managedEnvironments/{env}",
    "poolManagementType": "Dynamic",
    "containerType": "CustomContainer",
    "scaleConfiguration": {
      "maxConcurrentSessions": 50,
      "readySessionInstances": 5
    },
    "dynamicPoolConfiguration": {
      "executionType": "Timed",
      "cooldownPeriodInSeconds": 900
    },
    "customContainerTemplate": {
      "registryCredentials": {
        "server": "myregistry.azurecr.io",
        "identity": "/subscriptions/{sub}/resourceGroups/{rg}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/{id}"
      },
      "containers": [{
        "image": "myregistry.azurecr.io/my-:latest",
        "name": "",
        "resources": { "cpu": 0.5, "memory": "1Gi" },
        "env": [
          { "name": "SANDBOX_MODE", "value": "restricted" }
        ]
      }],
      "ingress": { "targetPort": 8080 }
    },
    "sessionNetworkConfiguration": {
      "status": "EgressDisabled"
    }
  }
}

10. So sánh với các giải pháp khác

11. Pricing và tối ưu chi phí

Dynamic Sessions tính phí dựa trên resource tiêu thụ của session pool (vCPU-second + memory GiB-second). Vài chiến lược tối ưu:

• Giảm readySessionInstances ngoài giờ cao điểm — prewarmed session vẫn tiêu thụ resource dù chưa được allocate
• Cooldown period ngắn hơn cho workload one-shot (ví dụ code execution) — 60-120s thay vì mặc định 600s
• Right-size container resource — code interpreter thường chỉ cần 0.25 vCPU + 0.5Gi RAM trừ khi xử lý data lớn
• Dùng Code Interpreter pool thay vì Custom Container khi có thể — ít overhead quản lý image hơn

12. Hạn chế cần lưu ý

Kết luận

Azure Container Apps Dynamic Sessions là lời giải chuyên biệt cho bài toán "chạy code AI-generated an toàn ở quy mô lớn". Với Hyper-V isolation, prewarmed pool sub-second, và MCP native support, đây là building block quan trọng cho bất kỳ hệ thống AI agent nào cần code execution capability.

Điểm mạnh nhất nằm ở sự đơn giản vận hành: không cần quản lý container lifecycle, không cần lo clean up, không cần tự build infrastructure. Bạn chỉ cần tạo session pool, gán identity, và AI agent bắt đầu chạy code an toàn.

Với sự tích hợp MCP ngày càng sâu vào hệ sinh thái (Azure Foundry, GitHub Copilot, Claude), Dynamic Sessions đang trở thành cầu nối tiêu chuẩn giữa AI reasoning và real-world code execution.

Nguồn tham khảo

• Dynamic sessions in Azure Container Apps - Microsoft Learn
• Use dynamic sessions in Azure Container Apps - Microsoft Learn
• Host MCP servers on Azure Container Apps - Microsoft Learn
• Even simpler to Safely Execute AI-generated Code with Dynamic Sessions - Microsoft Tech Community
• What's new in Azure Container Apps at Ignite'25 - Microsoft Tech Community