feat: configurar balanceamento de carga com NGINX

Author: tsffarias

.env_example

@@ -1,4 +1,4 @@
-BACKEND_URL=http://backend:8000
+BACKEND_URL=http://nginx
 
 DB_HOST_PROD = <example>
 DB_PORT_PROD = <example>

README.md

@@ -19,7 +19,7 @@
 Este projeto descreve uma arquitetura de pipeline de dados de baixo custo voltada para startups, com foco em integração de dados de vendas a partir de APIs e CRMs, utilizando tecnologias modernas e acessíveis. O objetivo é criar uma solução escalável para ingestão, transformação e visualização de dados, garantindo que tanto engenheiros de dados quanto analistas possam colaborar eficientemente. A arquitetura proposta inclui a divisão do pipeline em múltiplas camadas (Bronze, Silver e Gold), integração com APIs, Airbyte para ingestão de dados, Airflow para orquestração e DBT para transformação de dados. A plataforma colaborativa "Briefer" também é integrada, permitindo que analistas de dados acessem e utilizem os dados transformados de forma eficiente.
 
 <p align="center">
-<img src = "./img/arquitetura_1.5.png">
+<img src = "./img/arquitetura_1.6.png">
 </p>
 
 #### **Assistente IA Especialista em Analise de Dados e Vendas**
@@ -99,7 +99,19 @@ graph TD
 #### FastAPI com Swagger
 - **Descrição:** FastAPI é um framework moderno e de alto desempenho para a construção de APIs com Python 3.6+ baseado em tipos de dados. Ele é projetado para ser rápido e fácil de usar, oferecendo validação automática de dados e documentação interativa.
 - **Uso no Projeto:** Utilizado para criar a API que manipula dados de funcionários, produtos e vendas. O FastAPI gera automaticamente a documentação da API utilizando Swagger, permitindo que os desenvolvedores testem as endpoints diretamente pela interface.
-- **Acessando o Swagger:** Após iniciar a aplicação com o comando `uvicorn main:app --reload`, a documentação do Swagger pode ser acessada em `http://127.0.0.1:8000/docs`.
+- **Acessando o Swagger:** Após iniciar a aplicação com o comando `uvicorn main:app --reload`, a documentação do Swagger pode ser acessada em `http://127.0.0.1:80/docs`.
+
+#### NGINX
+- **Descrição:** NGINX é um servidor web de alto desempenho que também pode atuar como um balanceador de carga e proxy reverso. Sua arquitetura assíncrona o torna extremamente rápido e eficiente no uso de recursos.
+- **Uso no Projeto:** O NGINX está sendo usado como load balancer, distribuindo as requisições entre múltiplas instâncias do backend (Backend-1, Backend-2, Backend-3). Assim, se algum backend estiver sobrecarregado, o NGINX encaminha requisições para outro backend disponível. Ele garante maior disponibilidade (caso um container falhe, ainda há outros disponíveis), ajuda na escalabilidade (suportando mais requisições) e melhora a performance ao distribuir de forma equilibrada o tráfego entre os backends.
+
+```mermaid
+graph TD
+    A[Usuário] --> |Envia Requisição HTTP| B{NGINX (Load Balancer)}
+    B --> |Distribui Requisições| C[Backend-1]
+    B --> |Distribui Requisições| D[Backend-2]
+    B --> |Distribui Requisições| E[Backend-3]
+```
 
 #### **Streamlit**
 

app/backend/main.py

@@ -1,4 +1,5 @@
 from fastapi import FastAPI
+import socket
 from database.database import engine
 
 import models.product.product
@@ -16,7 +17,12 @@
 models.employee.employee.Base.metadata.create_all(bind=engine)
 models.supplier.supplier.Base.metadata.create_all(bind=engine)
 
-app = FastAPI()
+app = FastAPI(docs_url="/docs", openapi_url="/openapi.json")
+
+@app.get("/whoami") # Endpoint para teste de load balance
+def whoami():
+    return {"hostname": socket.gethostname()}
+
 app.include_router(product_router)
 app.include_router(sales_router)
 app.include_router(employee_router)

app/frontend/app.py

@@ -72,18 +72,18 @@ def home(self):
                 """
                 Transforme sua startup com nossa solução de pipeline de dados de última geração!
 
-                ### 🎯 Nossa Missão
+                ### Nossa Missão
                 Capacitar startups com uma arquitetura de dados robusta, escalável e econômica, 
                 permitindo que você se concentre no crescimento do seu negócio.
 
-                ### 🔑 Principais Benefícios
+                ### Principais Benefícios
                 - **Economia**: Solução de baixo custo ideal para startups
                 - **Eficiência**: Processamento e análise rápida de dados de vendas
                 - **Escalabilidade**: Cresce com seu negócio
                 - **Integração**: Conecta-se facilmente com APIs e CRMs existentes
                 - **Colaboração**: Facilita o trabalho entre engenheiros e analistas de dados
 
-                ### 🛠️ Nossa Tecnologia
+                ### Nossa Tecnologia
                 - Pipeline em camadas: Bronze, Silver e Gold
                 - Airbyte para ingestão de dados flexível
                 - Airflow para orquestração poderosa
@@ -219,7 +219,7 @@ def about(self):
         6. Plataforma 'Briefer' para acesso e utilização dos dados transformados
         """)
 
-        st.image("https://raw.githubusercontent.com/tsffarias/LiftOff_Data/refs/heads/main/img/arquitetura_1.5.png", use_container_width=True, caption="Arquitetura do Pipeline de Dados")
+        st.image("https://raw.githubusercontent.com/tsffarias/LiftOff_Data/refs/heads/main/img/arquitetura_1.6.png", use_container_width=True, caption="Arquitetura do Pipeline de Dados")
 
         st.divider()
 

app/frontend/dashboard/dashboard.py

@@ -62,8 +62,8 @@ def display_metrics(sales_df, employee_df):
         st.warning("⚠️ Coluna 'id' ausente no DataFrame de vendas.")
 
     # Verifica se a coluna 'quantidade' está presente
-    if 'quantidade' in sales_df.columns:
-        total_itens = sales_df['quantidade'].sum()
+    if 'quantity' in sales_df.columns:
+        total_itens = sales_df['quantity'].sum()
     else:
         total_itens = 0
         st.warning("⚠️ Coluna 'quantidade' ausente no DataFrame de vendas.")

docker-compose.yml

@@ -18,7 +18,8 @@ services:
     networks:
       - mynetwork
 
-  backend:
+  backend-1:
+    hostname: backend-1
     build: 
       context: ./app/backend
       dockerfile: Dockerfile
@@ -33,12 +34,69 @@ services:
     env_file:
     - .env
     ports:
-      - "8000:8000"
+      - "8001:8000"
     depends_on:
       - postgres
     networks:
       - mynetwork
 
+  backend-2:
+    hostname: backend-2
+    build: 
+      context: ./app/backend
+      dockerfile: Dockerfile
+    volumes:
+      - ./app/backend:/main
+    environment:
+      DB_HOST_PROD: ${DB_HOST_PROD}  
+      DB_PORT_PROD: ${DB_PORT_PROD}
+      DB_NAME_PROD: ${DB_NAME_PROD}
+      DB_USER_PROD: ${DB_USER_PROD}
+      DB_PASS_PROD: ${DB_PASS_PROD}
+    env_file:
+    - .env
+    ports:
+      - "8002:8000"
+    depends_on:
+      - postgres
+    networks:
+      - mynetwork
+
+  backend-3:
+    hostname: backend-3
+    build: 
+      context: ./app/backend
+      dockerfile: Dockerfile
+    volumes:
+      - ./app/backend:/main
+    environment:
+      DB_HOST_PROD: ${DB_HOST_PROD}  
+      DB_PORT_PROD: ${DB_PORT_PROD}
+      DB_NAME_PROD: ${DB_NAME_PROD}
+      DB_USER_PROD: ${DB_USER_PROD}
+      DB_PASS_PROD: ${DB_PASS_PROD}
+    env_file:
+    - .env
+    ports:
+      - "8003:8000"
+    depends_on:
+      - postgres
+    networks:
+      - mynetwork
+
+  nginx:
+    image: nginx:latest
+    ports:
+      - "80:80"
+    volumes:
+      - ./nginx.conf:/etc/nginx/nginx.conf
+    depends_on:
+      - backend-1
+      - backend-2
+      - backend-3
+    networks:
+      - mynetwork
+
   frontend:
     build: 
       context: ./app/frontend

img/arquitetura_1.6.png

@@ -0,0 +1,21 @@
+events {}
+
+http {
+    upstream api_servers {
+        server backend-1:8000;
+        server backend-2:8000;
+        server backend-3:8000;
+    }
+
+    server {
+        listen 80;
+
+        location / {
+            proxy_pass http://api_servers;
+            proxy_set_header Host $host;
+            proxy_set_header X-Real-IP $remote_addr;
+            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
+            proxy_set_header X-Forwarded-Proto $scheme;
+        }
+    }
+}