Teste 3

• Inserir data no começo do poste diário, testando com o prompt.

Teste

testando o ocm-zettel e o Zettel-Update que estão ro dando no meu pc,

[Página 1 em branco]

[Página 2 em branco]

[Página 3 em branco]

1961 62

1961 62

• —

test — —

Que dia foi esse, meus amigos! Fui tomar sol, ouvir música, e tomar cerveja, sozinha, como antigamente. Andei pela rua, passei onde o sol batia, enxerguei pelas lentes do meu carolina herrera, magnífica!

fumei maconha e fiquei numa vibe muito boa. Quero fazer isso todo dia. Depois, cheguei em casa, tomei banho, comi ouro bran, a ansiedade bateu, a depressão tomou conta, eu chorei muito, me senti sozinha e abandonada. — —

3. Funções

Conceito

Uma função é como um miniprograma dentro de um programa.

As funções são blocos de códigos que podem ser reutilizados em diferentes partes do programa, sem que o código seja copiado e colado toda vez que for usado, evitando a duplicação de códigos, que torna o código maior, mais difícil de atualizar e corrigir e ilegível. — —

Dados

• Média: 8,23 V
• s = 0,03

Cálculo do teste t

• Estatística:

  $$ T=\frac{8{,}28\,\text{V}-8{,}23\,\text{V}}{0{,}03/\sqrt{15}}\;\approx\;6{,}45 $$

• Probabilidade (bicaudal):

  $$ P\!\left[T_{15}\le -2{,}45\right]+P\!\left[T_{15}\ge 2{,}45\right] \;=\;2\times P\!\left[T_{15}>2{,}45\right] $$

2)

$$ \frac{3{,}50-4{,}05}{0{,}75/\sqrt{18}}\;\approx\;-3{,}11 $$ — —

luciana luciana — —

Mon

Tue

• vacuum [ilegível]
• clean kitchen
• mop/[ilegível]

Wed

Thu

Fri

Sat

Sun

---
---

- 2

• Relatório
• vídeo aulas
• 3
  • aula
  • tarefas
  • sair
• 4
  • Estudar
• 5
  • estudar
• 6
  • estudar
• 7
  • Prova
• 8
  • Atividades
  • pôster
  • sci
• 30
  • Prova final
  • Estudar.

  • Programar

    ---

What is cost function in machine learning

A função de custo é o quão bom um modelo performa.

• Minimizar essa função para ter um modelo

Equações comuns:

• MSE:

  $$\mathrm{MSE}=\frac{1}{m}\sum_{i=1}^{m}\left(y_i-\hat{y}_i\right)^2$$

• Cross entropy:

  $$\mathrm{CE}=-\frac{1}{m}\sum_i\Big(y_i\log(\hat{y}_i)+(1-y_i)\log\big(1-\hat{y}_i\big)\Big)$$

• Hinge loss:

  $$\mathrm{HL}=\max\left(0,\,1-y_i\hat{y}_i\right)$$

How does a cost function differ from a loss function

• Cost: Calcula a performance
• Loss: Usada no contexto de treino com o modelo e iterando

Explain the purpose of a cost function in the context of model training

• Quantifica a discrepância entre o resultado real e o predito, para então otimizar os parâmetros

What are the characteristics of a good cost function

• Tem que ser convexa
• Contínua e smoothness
• Suficientemente sensível: mudanças nos parâmetros geram uma mudança notável no custo
• Ter um mínimo global
• Simples
• Boundedness: limitado por cima e por baixo
• Eficiente em dados
• Gradiente interpretável
• Consistente quanto à previsão real

Differentiate between convex and non-convex cost functions

• Convexa: global mínimo (bowl-shaped)
• Não convexa: vários local minima

Describe the mean squared error cost function and when to use it

• Na regressão
• Sensível aos outliers
• Todos os valores positivos
• Interpretável
• Derivável

Discuss the role of the Huber loss and when it is prefered over MSE

• Robusto aos outliers
• Misto
• Efetivo

Fórmula do Huber:

$$ \mathcal{L}_\delta(x)= \begin{cases} \frac{1}{2}x^2, & \text{se } |x|\le \delta \\ \delta\left(|x|-\frac{1}{2}\delta\right), & \text{se } |x|>\delta \end{cases} $$ — —

Anomaly Detection

What is anomaly detection?

Detecção de outliers ou dados que destoam do padrão, indicando potencial risco/atividade não usual.

Exemplos de uso: Fraud detection, Network Security, Predictive Maintenance, Healthcare.

What are the main types of anomalies in data

• Contextual: específico do contexto; um valor pode ser normal em um contexto e anômalo em um tempo específico.
• Coletivo: identificada pelo coletivo e não por campos individuais. Ex.: detecção de um cyber-attack através de requests de servers.
• Pontual: pontos individuais diferentes dos outros pontos. Ex.: cartão de crédito — transação; detecção de fraude.
• Outliers: considerando features e domínios; dimensões dos dados podem ser agrupadas para revelar anomalia coletiva.

How does anomaly detection differ from noise removal

• Anomalia: identificar pontos que desviam significativamente.
• Noise removal: remover pontos randômicos/sem informação (filtering techniques, moving average, median smoothing).

Explain the concepts of outliers and their impact on dataset

• Diferem significativamente de um padrão (devido a erro, variação natural ou humana).
• Influenciam análises de dados, gerando resultados enviesados e predições sem acurácia.
• Modelos paramétricos: distorcem a regressão ao influenciar a curvatura e o intercept.
• Não paramétricos: sensíveis a outliers (principalmente em métricas de distância).

Efeitos estatísticos (alguns são problemáticos)

• Média: fortemente influenciável.
• Desvio: influi o desvio padrão dada a dispersão.
• Correlação: afeta a conclusão.
• Teste de hipóteses: influencia testes estatísticos como t-tests e ANOVA.
• Clustering: influencia o centro do cluster.
• Classificação: influencia o limite, gerando classificação errada.

Data preprocessing

• Trunc: remove valores extremos.
• Capping: limita valores extremos em percentis.
• Transformações: log transformations; tornam menos sensível aos outliers.
• Visual: Boxplots e Histogramas.

What is the difference between supervised and unsupervised anomaly detection?

• Supervised: possui labels anormais.
• Unsupervised: detectar outliers via clustering; k-NN.

What are some real-world applications of anomaly detection?

• Credit card fraud detection
• Algorithmic trading
• Intrusion detection
• System health monitoring
• Predictive maintenance
• Manufacturing quality control
• Network traffic analysis
• Plagiarism detection
• Spam filtering

What is the role of statistics in anomaly detection

• Quantificar a divergência do comportamento padrão.
• Distâncias mensuráveis (ex.: Mahalanobis).
• PCA e SVD: métodos estatísticos para redução de dimensionalidade.
• Risk assessment: avaliar potenciais impactos no sistema.

How do you handle high-dimensional data in anomaly detection

• Aplicar z-score em cada dimensão para identificar anomalias e outliers.
• PCA para análise multivariada.

Explain the working principle of k-NN in anomaly detection

• Cada ponto é indicado como anômalo ou não.
• Compara-se com os k mais próximos.
• Pontos distantes dos k mais próximos são considerados anomalias.

Describe how cluster analysis can be useful for detecting anomalies

• Identificar pontos que são distantes da maioria.
• k-means:
  • Longe do centroide em desvios padrão.

  • Não fazem parte de nenhum cluster.

    ---

Erro na API

Ocorreu um erro ao processar a nota: Error code: 400 - {‘error’: {‘message’: ‘something went wrong reading your request’, ‘type’: ‘invalid_request_error’, ‘param’: None, ‘code’: None}} —