• na Nuvem AWS
• de Data Science / Machine Learning

No meu repositório de projetos você encontrará uma lista dos meus projetos mais recentes e interessantes, com uma breve descrição de cada um.

Videos: https://silviolima07.github.io/#work-cloud

Ler 5 arquivos csv a partir de um bucket. Copiar as tabelas dentro do Redshift Serverless. Gerar um dashboard com Metabase. Serviços: S3, Iam, Redshift Serverless e Metabase.

Usando a lib Faker criar dados sintéticos de vendas. Salvar os dados num bucket da AWS. Gerar um dashboard e atualizar sob demanda ou agendamento. Serviços: Git Actions, S3, Iam e Power BI.

Construção de um MVP de um site de e-commerce. O Terraform e o Ansible foi usado nesse projeto. O Magento foi a base de construção do site. Serviços: EC2, IAM, Terraform, Ansible e Magento.

Dois servidores precisavam ser atualizados com agentes de segurança. O Terraform foi configurado para criação da infraestrutura e o System Manager aplicou a atualização em cada instância criada. Serviços: EC2, IAM, System Manager, SNS e Terraform.

Uma aplicação, Wiki, rodando localmente foi migrada para execução na AWS. Foi feito o planejamento do projeto, os recursos foram provisionados e a migração concluida com sucesso. Serviços: EC2, RDS, VPN, Subnet e Internet Gateway.

Foram criados 5 grupos para administrar as permissões dos usuários. Dentro do CloudShell na AWS, foi executado o script bash que cria o usuário no seu respectivo grupo. Tools: Bash, CloudShell, IAM.

Web scrap de dados do site do Caged usando Python. Dados são salvos num bucket e posteriormente copiados para um cluster do Redshift. As tabelas geradas são lidas pelo Metabase, que gera um dashboard apresentando os dados. Tools: Python, GitHub Action, S3, Redshift e Metabase.

Implementação do CI/CD, usando CodeDeploy, CodeBuild e CodePipeline. Uma aplicação é recompilada, o código atualizado e a versão nova é levada para um bucket no S3 que hospeda um site estático.

Implementação do serviço de Load Balancing, simulando dois ambientes. Dois grupos de instâncias distintas, onde uma aplicação HTTP rodando em cada instância do grupo é acessada, de acordo com um filtro implementado na url do DNS do load balancer.

Videos: https://silviolima07.github.io/#work-ds

Este repositório contém uma variedade de projetos desenvolvidos utilizando técnicas de Data Science e Machine Learning. Cada projeto aborda diferentes aspectos e técnicas, desde análise exploratória de dados até implementações de modelos de machine learning avançados. Confira abaixo os projetos disponíveis:

Análise das transações via Pix realizadas em 2022 e 2023. Este projeto investiga o total de transações feitas por cidade ao longo do dia, além das transações feitas até o momento em 2023.

Extração de dados de páginas web para criação de uma aplicação web com Streamlit. Uma planilha CSV foi extraída através do Git Actions, que executou um script Python para ler uma página web. Os dados coletados foram tratados e utilizados como dataset para criação de uma aplicação web.

Identificação de insights a partir do serviço prestado de viagens de ônibus. Foram lidos 6GB de dados usando pyspark, realizando agrupamentos para diferentes conjuntos de análise. O projeto também envolveu a geração de diversos gráficos e a previsão da quantidade de viagens para a cidade de São Paulo utilizando o modelo Prophet.

Criação de dados sintéticos para testes de modelos e análises. Este projeto inclui templates de dados prontos, como nomes, endereços e sexo, além da capacidade de criar novos dados de acordo com a necessidade e objetivo.

Previsão do valor de ações nos próximos 365 dias utilizando yfinance para extração de dados da bovespa e Prophet para previsão dos preços de fechamento das ações.

Exemplo de integração de ferramentas para análise de Churn. Utiliza Colab como ambiente de desenvolvimento, MLFlow para salvar os artefatos gerados, Ngrok para compartilhar o desenvolvimento do app e Pycaret para tratar, treinar os dados e avaliar os modelos.

Atualização e publicação de dashboard criado com Datapane. A execução dos passos é administrada pelo Github Action, permitindo gerenciar o ambiente de execução e a sequência dos passos.

Levando dados via Pentaho PDI até o serviço de repositório AWS, Bucket S3. Buscando os dados no S3 através de scripts Python no Power BI.

Chatbot que traz a cotação de 3 ações e faz previsões usando a lib Prophet.

Detecção de anomalias/fraude e remoção de ruído/redução de dimensão utilizando a arquitetura de autoencoder em redes neurais.

Projeto que iniciou com a coleta de dados, via scrap em sites de venda de apartamentos. Seguido pelo tratamento dos dados, treinamento do modelo e deploy na nuvem. Veja em Artigos e Raio-X

Análise exploratória, treinamento e avaliação de modelos.

• Comparecimento as Consultas no Sus
• Classificação da Pressão Sanguinea
• Segmentação de Clientes

Exemplo de aplicação do algoritmo Arima numa série temporal.

Diversos dashboards construidos com dados públicos.

Modelo configurado para descoberta dos itens que respeitem critérios. O peso total <= 10kg.

Descoberta dos elementos que compõem um acidente de trânsito.

Estudos de aplicação de R para criação de gráficos. Rpbus repositório público.

Modelo construido usando R.

Cada projeto possui um link para mais detalhes e código fonte. Confira!

Espero que você ache esses projetos interessantes! Se precisar de mais informações ou tiver alguma dúvida, fique à vontade para entrar em contato.