Bernt
f4f853d94b
Datafabrik: - Skördare: crawler, källvitlista, upphandlingsskördare - Extraktor: LLM-baserad schemastyrd extraktion - Upplösare: Entitetsupplösning och deduplicering - Köer: Schemalagd / kunddriven / fält - Agentorkestrering: 20+ parallella agenter Vision: - Identify-modell: ResNet50 + kontrastivt lärande - Träningspipeline: NT-Xent loss - Vektordatabas: FAISS för snabb sökning - OCR-pipeline: Typskyltsläsning Infrastruktur: - Docker Compose production - Terraform för AWS ECS - Prometheus + Grafana monitorering - Neo4j + FAISS + MinIO + Redis
18 lines
274 B
Plaintext
18 lines
274 B
Plaintext
# Datafabrik dependencies
|
|
aiohttp>=3.9
|
|
beautifulsoup4>=4.12
|
|
openai>=1.30
|
|
neo4j>=5.19
|
|
pydantic>=2.6
|
|
python-dotenv>=1.0
|
|
requests>=2.31
|
|
pillow>=10.0
|
|
torch>=2.2
|
|
torchvision>=0.17
|
|
transformers>=4.40
|
|
sentence-transformers>=2.7
|
|
scikit-learn>=1.4
|
|
numpy>=1.26
|
|
pandas>=2.2
|
|
tqdm>=4.66
|