h2oGPT: Khám phá sức mạnh của AI mã nguồn mở

h2oGPT là một dự án mã nguồn mở Apache V2 mạnh mẽ, cho phép bạn truy vấn và tóm tắt tài liệu của mình, hoặc đơn giản là trò chuyện với các LLM GPT riêng tư cục bộ.

Hãy biến ★ thành ⭐ (góc trên bên phải) nếu bạn yêu thích dự án này!

Kiểm tra dự án CoT Open-o1 open 🍓strawberry🍓 dài hạn: https://github.com/pseudotensor/open-strawberry

Demo Trực Tiếp

Khám phá sức mạnh của h2oGPT thông qua các bản demo trực tiếp:

Bạn có thể trải nghiệm h2oGPT thông qua giao diện Gradio tại Gradio Demo.

Hoặc khám phá nó qua giao diện OpenWebUI tại OpenWebUI Demo.

Video Demo

Xem h2oGPT hoạt động trong video demo:

YouTube 4K Video

Tính Năng Nổi Bật của h2oGPT

h2oGPT cung cấp một loạt các tính năng mạnh mẽ, bao gồm:

• Cơ sở dữ liệu riêng tư, ngoại tuyến cho mọi loại tài liệu (PDF, Excel, Word, Ảnh, Khung hình Video, YouTube, Audio, Code, Text, MarkDown, v.v.)
  • Cơ sở dữ liệu liên tục (Chroma, Weaviate, hoặc FAISS trong bộ nhớ) sử dụng các embedding chính xác (instructor-large, all-MiniLM-L6-v2, v.v.).
  • Sử dụng hiệu quả ngữ cảnh bằng cách sử dụng LLM được điều chỉnh theo hướng dẫn (không cần phương pháp few-shot của LangChain).
  • Tóm tắt và trích xuất song song, đạt được đầu ra 80 token mỗi giây với mô hình LLaMa2 13B.
  • HYDE (Hypothetical Document Embeddings) để cải thiện khả năng truy xuất dựa trên phản hồi của LLM.
  • Semantic Chunking để phân chia tài liệu tốt hơn (yêu cầu GPU).
• Hỗ trợ đa dạng các mô hình (LLaMa2, Mistral, Falcon, Vicuna, WizardLM. Với AutoGPTQ, 4-bit/8-bit, LORA, v.v.)
  • Hỗ trợ GPU từ các mô hình HF và LLaMa.cpp GGML, và hỗ trợ CPU bằng các mô hình HF, LLaMa.cpp và GPT4ALL.
  • Attention Sinks cho khả năng tạo dài tùy ý (LLaMa-2, Mistral, MPT, Pythia, Falcon, v.v.).
• Giao diện người dùng Gradio hoặc CLI với luồng dữ liệu của tất cả các mô hình
  • Tải lên và Xem tài liệu thông qua giao diện người dùng (kiểm soát nhiều bộ sưu tập cộng tác hoặc cá nhân).
  • Mô hình Vision LLaVa, Claude-3, Gemini-Pro-Vision, GPT-4-Vision
  • Tạo ảnh Stable Diffusion (sdxl-turbo, sdxl, SD3), PlaygroundAI (playv2) và Flux
  • Voice STT sử dụng Whisper với chuyển đổi audio trực tuyến
  • Voice TTS sử dụng Microsoft Speech T5 được cấp phép MIT với nhiều giọng nói và chuyển đổi audio trực tuyến
  • Voice TTS sử dụng TTS được cấp phép MPL2 bao gồm Voice Cloning và chuyển đổi audio trực tuyến
  • Chế độ Điều khiển bằng giọng nói AI Assistant để điều khiển h2oGPT chat rảnh tay
  • Chế độ giao diện người dùng Bake-off so sánh nhiều mô hình cùng một lúc
  • Dễ dàng Tải xuống các artifacts của mô hình và kiểm soát các mô hình như LLaMa.cpp thông qua giao diện người dùng
  • Xác thực trong giao diện người dùng bằng tên người dùng/mật khẩu thông qua Native hoặc Google OAuth
  • Bảo toàn trạng thái trong giao diện người dùng bằng tên người dùng/mật khẩu
• Open Web UI với h2oGPT làm backend thông qua OpenAI Proxy
  • Xem Start-up Docs.
  • Hoàn thành trò chuyện với luồng dữ liệu
  • Hỏi và đáp tài liệu bằng cách sử dụng h2oGPT ingestion với OCR nâng cao từ DocTR
  • Mô hình Vision
  • Chuyển âm audio (STT)
  • Tạo audio (TTS)
  • Tạo ảnh
  • Xác thực
  • Bảo toàn trạng thái
• Hỗ trợ Linux, Docker, macOS và Windows
• Hỗ trợ Inference Servers [/h2oai/h2ogpt/blob/main/docs/README_InferenceServers.md] cho oLLaMa, máy chủ HF TGI, vLLM, Gradio, ExLLaMa, Replicate, Together.ai, OpenAI, Azure OpenAI, Anthropic, MistralAI, Google và Groq
• Tương thích với OpenAI
  • Server Proxy API (h2oGPT hoạt động như một sự thay thế trực tiếp cho máy chủ OpenAI)
  • Hoàn thành trò chuyện và văn bản (truyền phát và không truyền phát)
  • Chuyển âm audio (STT)
  • Tạo audio (TTS)
  • Tạo ảnh
  • Embedding
  • Gọi công cụ chức năng với lựa chọn công cụ tự động
  • AutoGen Code Execution Agent
• JSON Mode
  • Kiểm soát lược đồ nghiêm ngặt cho vLLM thông qua việc sử dụng outlines
  • Kiểm soát lược đồ nghiêm ngặt cho các mô hình OpenAI, Anthropic, Google Gemini, MistralAI
  • Chế độ JSON cho một số mô hình OpenAI hoặc Gemini cũ hơn với kiểm soát lược đồ nếu mô hình đủ thông minh (ví dụ: gemini 1.5 flash)
  • Bất kỳ mô hình nào thông qua trích xuất khối mã
• Tích hợp Tìm kiếm trên web với Chat và Hỏi đáp tài liệu
• Agents cho Tìm kiếm, Hỏi đáp tài liệu, Mã Python, khung CSV
  • Agents chất lượng cao thông qua máy chủ proxy OpenAI trên cổng riêng biệt
  • Agent ưu tiên mã tạo ra các biểu đồ, nghiên cứu, đánh giá hình ảnh thông qua mô hình vision, v.v. (mã máy khách openai_server/openai_client.py).
  • Không có giao diện người dùng cho việc này, chỉ có API
• Đánh giá hiệu suất bằng cách sử dụng các mô hình khen thưởng
• Chất lượng được duy trì với hơn 1000 bài kiểm tra đơn vị và tích hợp mất hơn 24 giờ GPU

Bắt Đầu Với h2oGPT

h2oGPT là một dự án mã nguồn mở, được cấp phép theo Giấy phép Apache 2.0, cho phép bạn tự do sử dụng, sửa đổi và phân phối nó.

h2oGPT hỗ trợ hệ điều hành Linux, cung cấp các hướng dẫn cài đặt và sử dụng chi tiết.

h2oGPT cũng hỗ trợ macOS, với các script và hướng dẫn cài đặt dành riêng cho hệ điều hành này.

Mặc dù có một số hạn chế so với Linux, h2oGPT vẫn hỗ trợ Windows với các script cài đặt riêng.

Để có được đầy đủ các tính năng của h2oGPT, Docker là lựa chọn được khuyến nghị cho Linux, Windows và macOS.

Cài đặt h2oGPT

Docker được khuyến nghị cho Linux, Windows và MAC để có đầy đủ các khả năng. Linux Script cũng có đầy đủ khả năng, trong khi Windows và MAC script có ít khả năng hơn so với sử dụng Docker.

Collab Demos

Tài Nguyên

Hướng Dẫn Tài Liệu

Phát Triển

• Để tạo môi trường phát triển để đào tạo và tạo, hãy làm theo hướng dẫn cài đặt.
• Để tinh chỉnh bất kỳ mô hình LLM nào trên dữ liệu của bạn, hãy làm theo hướng dẫn tinh chỉnh.
• Để chạy các thử nghiệm h2oGPT:

  pip install requirements-parser pytest-instafail pytest-random-order playsound==1.3.0 conda install -c conda-forge gst-python -y sudo apt-get install gstreamer-1.0 pip install pygame GPT_H2O_AI=0 CONCURRENCY_COUNT=1 pytest --instafail -s -v tests <span><span>#</span> cho thử nghiệm máy chủ openai trên máy chủ cục bộ đã chạy</span> pytest -s -v -n 4 openai_server/test_openai_server.py::test_openai_client

hoặc điều chỉnh/chạy tests/test4gpus.sh để chạy các thử nghiệm song song.

Lời Cảm Ơn

Tại Sao Lại Là H2O.ai?

Các Makers của chúng tôi tại H2O.ai đã xây dựng một số nền tảng Machine Learning, Deep Learning và AI đẳng cấp thế giới:

Chúng tôi cũng đã xây dựng các nền tảng để triển khai và giám sát, và để xử lý dữ liệu và quản trị:

Nhiều khách hàng của chúng tôi đang tạo mô hình và triển khai chúng trên toàn doanh nghiệp và ở quy mô lớn trong H2O AI Cloud:

Chúng tôi tự hào có hơn 25 Kaggle Grandmasters (trong số 280 người trên thế giới) gọi H2O là nhà, bao gồm ba Kaggle Grandmasters đã vươn lên vị trí số 1 thế giới.

Tuyên Bố Miễn Trừ Trách Nhiệm

Vui lòng đọc kỹ tuyên bố miễn trừ trách nhiệm này trước khi sử dụng mô hình ngôn ngữ lớn được cung cấp trong kho lưu trữ này. Việc bạn sử dụng mô hình này đồng nghĩa với việc bạn đồng ý với các điều khoản và điều kiện sau.

• Thành kiến và Nội dung Gây Khó Chịu: Mô hình ngôn ngữ lớn được đào tạo trên một phạm vi đa dạng của dữ liệu văn bản trên internet, có thể chứa nội dung thành kiến, phân biệt chủng tộc, xúc phạm hoặc không phù hợp. Bằng cách sử dụng mô hình này, bạn thừa nhận và chấp nhận rằng nội dung được tạo có thể đôi khi thể hiện thành kiến hoặc tạo ra nội dung xúc phạm hoặc không phù hợp. Các nhà phát triển của kho lưu trữ này không xác nhận, hỗ trợ hoặc quảng bá bất kỳ nội dung hoặc quan điểm nào như vậy.
• Hạn Chế: Mô hình ngôn ngữ lớn là một công cụ dựa trên AI và không phải là con người. Nó có thể tạo ra các phản hồi không chính xác, vô nghĩa hoặc không liên quan. Người dùng có trách nhiệm đánh giá một cách nghiêm túc nội dung được tạo và sử dụng nó theo quyết định của họ.
• Sử Dụng với Rủi Ro Của Riêng Bạn: Người dùng mô hình ngôn ngữ lớn này phải chịu hoàn toàn trách nhiệm cho bất kỳ hậu quả nào có thể phát sinh từ việc sử dụng công cụ này. Các nhà phát triển và cộng tác viên của kho lưu trữ này sẽ không chịu trách nhiệm cho bất kỳ thiệt hại, mất mát hoặc tổn hại nào phát sinh từ việc sử dụng hoặc lạm dụng mô hình được cung cấp.
• Cân Nhắc Về Đạo Đức: Người dùng được khuyến khích sử dụng mô hình ngôn ngữ lớn một cách có trách nhiệm và đạo đức. Bằng cách sử dụng mô hình này, bạn đồng ý không sử dụng nó cho các mục đích thúc đẩy ngôn từ kích động thù địch, phân biệt đối xử, quấy rối hoặc bất kỳ hình thức hoạt động bất hợp pháp hoặc gây hại nào.
• Báo Cáo Vấn Đề: Nếu bạn gặp bất kỳ nội dung thành kiến, xúc phạm hoặc không phù hợp nào khác được tạo bởi mô hình ngôn ngữ lớn, vui lòng báo cáo cho người duy trì kho lưu trữ thông qua các kênh được cung cấp. Phản hồi của bạn sẽ giúp cải thiện mô hình và giảm thiểu các vấn đề tiềm ẩn.
• Thay Đổi đối với Tuyên Bố Miễn Trừ Trách Nhiệm Này: Các nhà phát triển của kho lưu trữ này có quyền sửa đổi hoặc cập nhật tuyên bố miễn trừ trách nhiệm này bất kỳ lúc nào mà không cần thông báo trước. Người dùng có trách nhiệm xem xét định kỳ tuyên bố miễn trừ trách nhiệm để cập nhật bất kỳ thay đổi nào.

Bằng cách sử dụng mô hình ngôn ngữ lớn được cung cấp trong kho lưu trữ này, bạn đồng ý chấp nhận và tuân thủ các điều khoản và điều kiện được nêu trong tuyên bố miễn trừ trách nhiệm này. Nếu bạn không đồng ý với bất kỳ phần nào của tuyên bố miễn trừ trách nhiệm này, bạn nên воздержаться от использования модели и любого контента, созданного ею.

Lịch Sử Sao

Theo dõi sự phát triển của h2oGPT qua biểu đồ lịch sử sao.