Memvid - Video-basiertes KI-Gedächtnis 🧠📹

Die leichtgewichtige, revolutionäre Lösung für KI-Gedächtnis im großen Maßstab

Memvid revolutioniert das KI-Gedächtnismanagement, indem Textdaten in Videos codiert werden, was blitzschnelle semantische Suche über Millionen von Textabschnitten mit Sub-Sekunden-Abrufzeiten ermöglicht. Im Gegensatz zu traditionellen Vektordatenbanken, die massive Mengen an RAM und Speicher verbrauchen, komprimiert Memvid Ihre Wissensbasis in kompakte Videodateien, während der sofortige Zugriff auf jede Information erhalten bleibt.

🎥 Demo

https://github.com/user-attachments/assets/ec550e93-e9c4-459f-a8a1-46e122b5851e

✨ Hauptmerkmale

🎥 Video-als-Datenbank: Speichern Sie Millionen von Textabschnitten in einer einzigen MP4-Datei
🔍 Semantische Suche: Finden Sie relevante Inhalte mit natürlichen Sprachabfragen
💬 Integrierter Chat: Kontextbewusste Antworten über eine Konversationsschnittstelle
📚 PDF-Unterstützung: Direkter Import und Indexierung von PDF-Dokumenten
🚀 Schneller Abruf: Sub-Sekunden-Suche über massive Datensätze
💾 Effiziente Speicherung: 10-fache Komprimierung im Vergleich zu traditionellen Datenbanken
🔌 Anpassbare LLMs: Funktioniert mit OpenAI, Anthropic oder lokalen Modellen
🌐 Offline-First: Kein Internet erforderlich nach der Videogenerierung
🔧 Einfache API: Starten Sie mit nur 3 Codezeilen

🎯 Anwendungsfälle

📖 Digitale Bibliotheken: Indizieren Sie Tausende von Büchern in einer einzigen Videodatei
🎓 Bildungsinhalte: Erstellen Sie durchsuchbare Video-Erinnerungen von Kursmaterialien
📰 Nachrichtenarchive: Komprimieren Sie Jahre von Artikeln in handhabbare Videodatenbanken
💼 Unternehmenswissen: Bauen Sie unternehmensweite durchsuchbare Wissensbasen
🔬 Forschungsarbeiten: Schnelle semantische Suche über wissenschaftliche Literatur
📝 Persönliche Notizen: Verwandeln Sie Ihre Notizen in einen durchsuchbaren KI-Assistenten

🚀 Warum Memvid?

Revolutionäre Innovation

Video als Datenbank: Speichern Sie Millionen von Textabschnitten in einer einzigen MP4-Datei
Sofortiger Abruf: Sub-Sekunden-semantische Suche über massive Datensätze
10-fache Speichereffizienz: Videokomprimierung reduziert den Speicherbedarf drastisch
Keine Infrastruktur: Keine Datenbankserver, nur Dateien, die Sie überall kopieren können
Offline-First: Funktioniert komplett offline nach der Videogenerierung

Leichtgewichtige Architektur

Minimale Abhängigkeiten: Kernfunktionalität in ~1000 Zeilen Python
CPU-freundlich: Läuft effizient ohne GPU-Anforderungen
Portabel: Eine einzelne Videodatei enthält Ihre gesamte Wissensbasis
Streamingfähig: Videos können aus Cloud-Speicher gestreamt werden

📦 Installation

Schnellinstallation

pip install memvid

Für PDF-Unterstützung

pip install memvid PyPDF2

Empfohlene Einrichtung (Virtuelle Umgebung)

# Create a new project directory
mkdir my-memvid-project
cd my-memvid-project

# Create virtual environment
python -m venv venv

# Activate it
# On macOS/Linux:
source venv/bin/activate
# On Windows:
venv\Scripts\activate

# Install memvid
pip install memvid

# For PDF support:
pip install PyPDF2

🎯 Schnellstart

Grundlegende Verwendung

from memvid import MemvidEncoder, MemvidChat

# Create video memory from text chunks
chunks = ["Important fact 1", "Important fact 2", "Historical event details"]
encoder = MemvidEncoder()
encoder.add_chunks(chunks)
encoder.build_video("memory.mp4", "memory_index.json")

# Chat with your memory
chat = MemvidChat("memory.mp4", "memory_index.json")
chat.start_session()
response = chat.chat("What do you know about historical events?")
print(response)

Gedächtnisaufbau aus Dokumenten

from memvid import MemvidEncoder
import os

# Load documents
encoder = MemvidEncoder(chunk_size=512, overlap=50)

# Add text files
for file in os.listdir("documents"):
    with open(f"documents/{file}", "r") as f:
        encoder.add_text(f.read(), metadata={"source": file})

# Build optimized video
encoder.build_video(
    "knowledge_base.mp4",
    "knowledge_index.json",
    fps=30,  # Higher FPS = more chunks per second
    frame_size=512  # Larger frames = more data per frame
)

Erweiterte Suche & Abruf

from memvid import MemvidRetriever

# Initialize retriever
retriever = MemvidRetriever("knowledge_base.mp4", "knowledge_index.json")

# Semantic search
results = retriever.search("machine learning algorithms", top_k=5)
for chunk, score in results:
    print(f"Score: {score:.3f} | {chunk[:100]}...")

# Get context window
context = retriever.get_context("explain neural networks", max_tokens=2000)
print(context)

Interaktive Chat-Oberfläche

from memvid import MemvidInteractive

# Launch interactive chat UI
interactive = MemvidInteractive("knowledge_base.mp4", "knowledge_index.json")
interactive.run()  # Opens web interface at http://localhost:7860

Testen mit file_chat.py

Das Skript examples/file_chat.py bietet eine umfassende Möglichkeit, Memvid mit eigenen Dokumenten zu testen:

# Process a directory of documents
python examples/file_chat.py --input-dir /path/to/documents --provider google

# Process specific files
python examples/file_chat.py --files doc1.txt doc2.pdf --provider openai

# Use H.265 compression (requires Docker)
python examples/file_chat.py --input-dir docs/ --codec h265 --provider google

# Custom chunking for large documents
python examples/file_chat.py --files large.pdf --chunk-size 2048 --overlap 32 --provider google

# Load existing memory
python examples/file_chat.py --load-existing output/my_memory --provider google

Vollständiges Beispiel: Chat mit einem PDF-Buch

# 1. Create a new directory and set up environment
mkdir book-chat-demo
cd book-chat-demo
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate

# 2. Install dependencies
pip install memvid PyPDF2

# 3. Create book_chat.py
cat > book_chat.py << 'EOF'
from memvid import MemvidEncoder, chat_with_memory
import os

# Your PDF file
book_pdf = "book.pdf"  # Replace with your PDF path

# Build video memory
encoder = MemvidEncoder()
encoder.add_pdf(book_pdf)
encoder.build_video("book_memory.mp4", "book_index.json")

# Chat with the book
api_key = os.getenv("OPENAI_API_KEY")  # Optional: for AI responses
chat_with_memory("book_memory.mp4", "book_index.json", api_key=api_key)
EOF

# 4. Run it
export OPENAI_API_KEY="your-api-key"  # Optional
python book_chat.py

🛠️ Erweiterte Konfiguration

Benutzerdefinierte Embeddings

from sentence_transformers import SentenceTransformer

# Use custom embedding model
custom_model = SentenceTransformer('sentence-transformers/all-mpnet-base-v2')
encoder = MemvidEncoder(embedding_model=custom_model)

Video-Optimierung

# For maximum compression
encoder.build_video(
    "compressed.mp4",
    "index.json",
    fps=60,  # More frames per second
    frame_size=256,  # Smaller frames
    video_codec='h265',  # Better compression
    crf=28  # Compression quality (lower = better quality)
)

Verteilte Verarbeitung

# Process large datasets in parallel
encoder = MemvidEncoder(n_workers=8)
encoder.add_chunks_parallel(massive_chunk_list)

🐛 Problembehandlung

Häufige Probleme

ModuleNotFoundError: No module named 'memvid'

# Make sure you're using the right Python
which python  # Should show your virtual environment path
# If not, activate your virtual environment:
source venv/bin/activate  # On Windows: venv\Scripts\activate

ImportError: PyPDF2 is required for PDF support

pip install PyPDF2

LLM-API-Schlüsselprobleme

# Set your API key (get one at https://platform.openai.com)
export GOOGLE_API_KEY="AIzaSyB1-..."  # macOS/Linux
# Or on Windows:
set GOOGLE_API_KEY=AIzaSyB1-...

Verarbeitung großer PDFs

# For very large PDFs, use smaller chunk sizes
encoder = MemvidEncoder()
encoder.add_pdf("large_book.pdf", chunk_size=400, overlap=50)

🤝 Mitwirkung

Wir freuen uns über Beiträge! Bitte lesen Sie unseren Mitwirkungsleitfaden für Details.

# Run tests
pytest tests/

# Run with coverage
pytest --cov=memvid tests/

# Format code
black memvid/

🆚 Vergleich mit traditionellen Lösungen

Merkmal	Memvid	Vektor-DBs	Traditionelle DBs
Speichereffizienz	⭐⭐⭐⭐⭐	⭐⭐	⭐⭐⭐
Einrichtungsaufwand	Einfach	Komplex	Komplex
Semantische Suche	✅	✅	❌
Offline-Nutzung	✅	❌	✅
Portabilität	Dateibasiert	Serverbasiert	Serverbasiert
Skalierbarkeit	Millionen	Millionen	Milliarden
Kosten	Kostenlos	$$$$	$$$

📚 Beispiele

Sehen Sie sich das Verzeichnis examples/ an für:

Gedächtnisaufbau aus Wikipedia-Dumps
Erstellung einer persönlichen Wissensbasis
Mehrsprachige Unterstützung
Echtzeit-Gedächtnisaktualisierungen
Integration mit beliebten LLMs

🆘 Hilfe erhalten

📖 Dokumentation - Umfassende Anleitungen
💬 Diskussionen - Fragen stellen
🐛 Issue-Tracker - Fehler melden
🌟 Show & Tell - Projekte teilen

🔗 Links

📄 Lizenz

MIT-Lizenz - siehe LICENSE-Datei für Details.

🙏 Danksagungen

Erstellt von Olow304 und der Memvid-Community.

Gebaut mit ❤️ unter Verwendung von:

sentence-transformers - State-of-the-art Embeddings für semantische Suche
OpenCV - Computer Vision und Videoverarbeitung
qrcode - QR-Code-Generierung
FAISS - Effiziente Ähnlichkeitssuche
PyPDF2 - PDF-Text-Extraktion

Besonderer Dank an alle Mitwirkenden, die helfen, Memvid besser zu machen!

Bereit, Ihr KI-Gedächtnismanagement zu revolutionieren? Installieren Sie Memvid und legen Sie los! 🚀