Skip to content

Latest commit

 

History

History
365 lines (295 loc) · 21.8 KB

File metadata and controls

365 lines (295 loc) · 21.8 KB

Dự án AIRI

Lấy ý tưởng từ Neuro-sama và chúng tôi đã tạo ra một AI waifu / nhân vật ảo để mang họ đến với thế giới của chúng ta.

[Tham gia máy chủ Discord] [Dùng thử] [English] [简体中文] [日本語] [Русский] [Français] [한국어]

AIRI - Một bình chứa linh hồn số, tái tạo Neuro-sama | Product Hunt moeru-ai%2Fairi | Trendshift

Lấy cảm hứng mạnh mẽ từ Neuro-sama

Warning

Chú ý: Chúng tôi không phát hành bất kỳ loại tiền điện tử hay token chính thức nào liên quan đến dự án này. Hãy kiểm tra kỹ thông tin trước khi tham gia.

Note

Chúng tôi có cả một tổ chức riêng @proj-airi cho các dự án con xuất phát từ AIRI. Hãy xem qua nhé! Bao gồm: RAG, hệ thống bộ nhớ, cơ sở dữ liệu nhúng, icon, tiện ích Live2D, và nhiều hơn nữa.

Tip

Chúng tôi có dự án dịch trên Crowdin. Nếu bạn thấy bản dịch chưa chính xác, hãy giúp dịch hoặc chỉnh sửa trên Crowdin. Crowdin | Agile localization for tech companies

Bạn đã từng mơ về một thực thể số sống động (cyber-waifu, thú cưng ảo) hay một bạn đồng hành kỹ thuật số có thể chơi cùng và trò chuyện với bạn chưa?

Với sức mạnh của các mô hình LLM (ngôn ngữ lớn) hiện nay như ChatGPT hay Claude, việc yêu cầu nhân vật ảo nhập vai và trò chuyện với chúng ta đã trở nên rất dễ dàng. Các nền tảng như Character.ai, JanitorAI hay bản cài tự host như SillyTavern đã đủ tốt cho trải nghiệm trò chuyện và nhập vai.

Nhưng còn việc chơi game cùng bạn, xem bạn code, trò chuyện khi chơi game hoặc xem video, và làm được nhiều việc khác thì sao?

Có lẽ bạn đã biết Neuro-sama. Cô ấy là VTuber ảo xuất sắc nhất hiện nay, có thể vừa chơi game, vừa trò chuyện và tương tác với bạn cũng như khán giả. Một số người còn gọi đây là “con người số” (digital human). Đáng tiếc, vì không mã nguồn mở, bạn không thể tương tác với cô ấy khi buổi livestream kết thúc.

Do đó, dự án AIRI mang đến một lựa chọn khác: cho phép bạn sở hữu thực thể số của riêng mình, dễ dàng, mọi lúc, mọi nơi.


DevLogs Đã Đăng & Cập Nhật Gần Đây

Dự Án Này Có Gì Đặc Biệt?

Khác với các dự án VTuber AI mã nguồn mở khác, アイリ được xây dựng ngay từ đầu với sự hỗ trợ của nhiều công nghệ Web như WebGPU, WebAudio, Web Workers, WebAssembly, WebSocket, v.v.

Tip

Bạn lo lắng về hiệu năng khi chúng tôi dùng công nghệ Web?

Đừng lo, phiên bản chạy trên trình duyệt chỉ nhằm minh hoạ khả năng có thể đạt được trong browser và webview. Phiên bản desktop của AIRI mặc định có thể dùng NVIDIA CUDAApple Metal (nhờ HuggingFace & dự án candle), mà không cần quản lý phụ thuộc phức tạp. Đồ hoạ, bố cục, animation, và hệ thống plugin (WIP) vẫn tận dụng công nghệ Web để mở rộng dễ dàng.

Điều này có nghĩa là アイリ có thể chạy trên các trình duyệt và thiết bị hiện đại, kể cả thiết bị di động (đã hỗ trợ PWA). Điều này mở ra nhiều khả năng để chúng tôi (nhà phát triển) nâng VTuber アイリ lên tầm cao mới, đồng thời vẫn để người dùng linh hoạt bật các tính năng cần TCP hoặc công nghệ ngoài Web như kết nối kênh thoại Discord hay chơi Minecraft, Factorio với bạn bè.

Note

Chúng tôi vẫn đang ở giai đoạn đầu phát triển và tìm kiếm nhà phát triển tài năng để cùng hiện thực hoá アイリ.

Không sao nếu bạn chưa quen Vue.js, TypeScript, hay devtools của dự án này, bạn vẫn có thể tham gia với vai trò hoạ sĩ, nhà thiết kế, hoặc giúp chúng tôi tổ chức buổi livestream đầu tiên.

Kể cả bạn là fan của React, Svelte hay Solid, chúng tôi vẫn chào đón. Bạn có thể mở thư mục phụ để thêm tính năng mà bạn muốn thử nghiệm cho アイリ.

Các mảng (và dự án liên quan) chúng tôi cần:

  • Live2D modeller
  • VRM modeller
  • Nhà thiết kế avatar VRChat
  • Thị giác máy tính
  • Học tăng cường (Reinforcement Learning)
  • Nhận diện giọng nói
  • Tổng hợp giọng nói
  • ONNX Runtime
  • Transformers.js
  • vLLM
  • WebGPU
  • Three.js
  • WebXR (xem thêm dự án khác của tổ chức @moeru-ai)

Nếu bạn hứng thú, hãy giới thiệu bản thân ở đây: Muốn tham gia cùng chúng tôi xây dựng AIRI?

Tiến Độ Hiện Tại

Khả năng:

  • Bộ não
    • Chơi game: Minecraft
    • Chơi game: Factorio (WIP, PoC và demo có sẵn)
    • Trò chuyện trên Telegram
    • Trò chuyện trên Discord
    • Bộ nhớ
      • Hỗ trợ CSDL trong trình duyệt (DuckDB WASM | pglite)
      • Memory Alaya (WIP)
    • Suy luận cục bộ trong trình duyệt (WebGPU)
  • Khả năng nghe hiểu
    • Nhận âm thanh từ trình duyệt
    • Nhận âm thanh từ Discord
    • Nhận diện giọng nói phía client
    • Phát hiện giọng nói chuyện phía client
  • Giọng nói
  • Cơ thể
    • Hỗ trợ VRM
      • Điều khiển model VRM
    • Animation cho VRM
      • Chớp mắt
      • Tự động nhìn theo
      • Chuyển động mắt khi idle
    • Hỗ trợ Live2D
      • Điều khiển model Live2D
    • Animation cho Live2D
      • Chớp mắt
      • Tự động nhìn theo
      • Chuyển động mắt khi idle

Phát Triển

Để xem hướng dẫn chi tiết phát triển, tham khảo CONTRIBUTING.md

Note

Mặc định, pnpm dev sẽ khởi chạy server cho Stage Web (phiên bản trình duyệt). Nếu muốn phát triển bản desktop, hãy đọc CONTRIBUTING.md để cấu hình đúng môi trường.

pnpm i
pnpm dev

Stage Web (Bản web tại airi.moeru.ai)

pnpm dev

Stage Tamagotchi (phiên bản máy tính)

pnpm dev:tamagotchi

Gói Nix dành cho Tamagotchi được bao gồm. Để chạy airi với Nix, trước tiên hãy đảm bảo bạn đã bật flakes, sau đó chạy:

nix run github:moeru-ai/airi

Trang tài liệu

pnpm dev:docs

Xuất bản

Vui lòng cập nhật phiên bản trong Cargo.toml sau khi chạy bumpp:

npx bumpp --no-commit --no-tag

Các LLM API hỗ trợ (cung cấp bởi xsai)

Các dự án phụ khác

  • Awesome AI VTuber: Danh sách tuyển chọn các AI VTuber và những dự án liên quan
  • unspeech: Máy chủ proxy endpoint chung cho /audio/transcriptions/audio/speech, giống LiteLLM nhưng dành cho bất kỳ ASR và TTS nào
  • hfup: Các công cụ hỗ trợ triển khai, đóng gói lên HuggingFace Spaces
  • xsai-transformers: Nhà cung cấp thử nghiệm 🤗 Transformers.js cho xsAI.
  • WebAI: Realtime Voice Chat: Ví dụ đầy đủ về việc triển khai voice realtime của ChatGPT từ đầu với VAD + STT + LLM + TTS.
  • @proj-airi/drizzle-duckdb-wasm: Trình điều khiển Drizzle ORM cho DuckDB WASM
  • @proj-airi/duckdb-wasm: Wrapper dễ sử dụng cho @duckdb/duckdb-wasm
  • tauri-plugin-mcp: Plugin Tauri để tương tác với máy chủ MCP.
  • AIRI Factorio: Cho phép AIRI chơi Factorio
  • Factorio RCON API: RESTful API wrapper cho console máy chủ headless Factorio
  • autorio: Thư viện tự động hóa Factorio
  • tstl-plugin-reload-factorio-mod: Tự động tải tạo lại mod Factorio khi đang phát triển
  • Velin: Sử dụng Vue SFC và Markdown để viết prompt trạng thái dễ quản lý cho LLM
  • demodel: Dễ dàng tăng tốc độ tải model và dataset từ nhiều runtime suy luận khác nhau
  • inventory: Dịch vụ backend lưu trữ tập trung catalog model và cấu hình nhà cung cấp mặc định
  • MCP Launcher: Công cụ tạo & khởi chạy MCP dễ dùng cho mọi máy chủ MCP, giống như Ollama nhưng cho MCP!
  • 🥺 SAD: Tài liệu và ghi chú về tự host và chạy LLM trong trình duyệt.
%%{ init: { 'flowchart': { 'curve': 'catmullRom' } } }%%

flowchart TD
  Core("Core")
  Unspeech("unspeech")
  DBDriver("@proj-airi/drizzle-duckdb-wasm")
  MemoryDriver("[WIP] Memory Alaya")
  DB1("@proj-airi/duckdb-wasm")
  SVRT("@proj-airi/server-runtime")
  Memory("Memory")
  STT("STT")
  Stage("Stage")
  StageUI("@proj-airi/stage-ui")
  UI("@proj-airi/ui")

  subgraph AIRI
    DB1 --> DBDriver --> MemoryDriver --> Memory --> Core
    UI --> StageUI --> Stage --> Core
    Core --> STT
    Core --> SVRT
  end

  subgraph UI_Components
    UI --> StageUI
    UITransitions("@proj-airi/ui-transitions") --> StageUI
    UILoadingScreens("@proj-airi/ui-loading-screens") --> StageUI
    FontCJK("@proj-airi/font-cjkfonts-allseto") --> StageUI
    FontXiaolai("@proj-airi/font-xiaolai") --> StageUI
  end

  subgraph Apps
    Stage --> StageWeb("@proj-airi/stage-web")
    Stage --> StageTamagotchi("@proj-airi/stage-tamagotchi")
    Core --> RealtimeAudio("@proj-airi/realtime-audio")
    Core --> PromptEngineering("@proj-airi/playground-prompt-engineering")
  end

  subgraph Server_Components
    Core --> ServerSDK("@proj-airi/server-sdk")
    ServerShared("@proj-airi/server-shared") --> SVRT
    ServerShared --> ServerSDK
  end

  STT -->|Speaking| Unspeech
  SVRT -->|Playing Factorio| F_AGENT
  SVRT -->|Playing Minecraft| MC_AGENT

  subgraph Factorio_Agent
    F_AGENT("Factorio Agent")
    F_API("Factorio RCON API")
    factorio-server("factorio-server")
    F_MOD1("autorio")

    F_AGENT --> F_API -.-> factorio-server
    F_MOD1 -.-> factorio-server
  end

  subgraph Minecraft_Agent
    MC_AGENT("Minecraft Agent")
    Mineflayer("Mineflayer")
    minecraft-server("minecraft-server")

    MC_AGENT --> Mineflayer -.-> minecraft-server
  end

  XSAI("xsAI") --> Core
  XSAI --> F_AGENT
  XSAI --> MC_AGENT

  Core --> TauriMCP("@proj-airi/tauri-plugin-mcp")
  Memory_PGVector("@proj-airi/memory-pgvector") --> Memory

  style Core fill:#f9d4d4,stroke:#333,stroke-width:1px
  style AIRI fill:#fcf7f7,stroke:#333,stroke-width:1px
  style UI fill:#d4f9d4,stroke:#333,stroke-width:1px
  style Stage fill:#d4f9d4,stroke:#333,stroke-width:1px
  style UI_Components fill:#d4f9d4,stroke:#333,stroke-width:1px
  style Server_Components fill:#d4e6f9,stroke:#333,stroke-width:1px
  style Apps fill:#d4d4f9,stroke:#333,stroke-width:1px
  style Factorio_Agent fill:#f9d4f2,stroke:#333,stroke-width:1px
  style Minecraft_Agent fill:#f9d4f2,stroke:#333,stroke-width:1px

  style DBDriver fill:#f9f9d4,stroke:#333,stroke-width:1px
  style MemoryDriver fill:#f9f9d4,stroke:#333,stroke-width:1px
  style DB1 fill:#f9f9d4,stroke:#333,stroke-width:1px
  style Memory fill:#f9f9d4,stroke:#333,stroke-width:1px
  style Memory_PGVector fill:#f9f9d4,stroke:#333,stroke-width:1px
Loading

Các dự án tương tự

Mã nguồn mở

Mã nguồn đóng

Trạng thái dự án

Repobeats analytics image

Lời cảm ơn

Lịch sử sao nhận được

Star History Chart