Random Forest

Introdução

O modelo desenvolvido tem como objetivo prever o resultado de admissões em programas de MBA a partir de um conjunto de informações sobre os candidatos. Para isso, foi escolhida a técnica de Random Forest, um método de aprendizado de máquina baseado em um conjunto de árvores de decisão que, ao trabalharem de forma conjunta, proporcionam maior precisão e robustez nas previsões. Essa abordagem permite não apenas identificar o status de admissão de cada candidato, mas também compreender a relevância de diferentes variáveis no processo seletivo, por meio da análise da importância das features. Assim, o modelo combina poder preditivo e capacidade interpretativa, funcionando tanto como uma ferramenta de classificação quanto de apoio à decisão, ao destacar os fatores mais determinantes no perfil de um candidato admitido.

Base de dados

A base utilizada é composta por dados sintéticos criados a partir das estatísticas da turma de 2025 do MBA de Wharton. Ela reúne informações demográficas, acadêmicas e profissionais de candidatos, como gênero, nacionalidade, área de formação, desempenho no GPA e no GMAT, além de experiência de trabalho e setor de atuação. Esses atributos foram relacionados ao status final da candidatura, categorizado como admitido, em lista de espera ou negado. Por se tratar de um conjunto de dados diversificado, é possível observar tanto os aspectos objetivos ligados ao desempenho acadêmico e profissional quanto elementos contextuais que podem influenciar o resultado do processo seletivo. Essa combinação torna o dataset especialmente relevante para análises exploratórias e para o desenvolvimento de modelos preditivos que buscam compreender os critérios implícitos de seleção em admissões de MBA.

Exploração dos Dados

A seguir foi realizada uma análise exploratória da base de dados, com o objetivo de compreender o significado e a composição de cada coluna. Essa etapa busca identificar possíveis problemas, como valores ausentes ou distribuições desbalanceadas, que podem influenciar diretamente a qualidade do modelo. As visualizações e estatísticas descritivas permitem observar padrões, tendências e discrepâncias entre os candidatos, fornecendo subsídios importantes para orientar as decisões de pré-processamento e a construção da árvore de decisão.

Pré-Processamento

Com base na análise exploratória realizada, foram definidos e aplicados procedimentos de pré-processamento a fim de adequar os dados para a etapa de modelagem. As principais etapas conduzidas incluem:

• Tratamento de valores ausentes:na variável admission, valores nulos foram interpretados como recusa e substituídos por Deny. Já na variável race, os valores ausentes foram preenchidos como Unknown, garantindo a consistência da base.
• Codificação de variáveis categóricas: colunas como gender, international, major, race, work_industry e admission foram convertidas em variáveis numéricas por meio do método LabelEncoder, possibilitando sua utilização pelo modelo de árvore de decisão.
• Imputação em variáveis numéricas: atributos como gpa, gmat e work_exp tiveram seus valores ausentes substituídos pela mediana, minimizando a influência de outliers e preservando a distribuição original dos dados.
• Seleção de variáveis: foram mantidas no conjunto de treino apenas as colunas relevantes para a análise preditiva, enquanto identificadores como application_id foram descartados por não possuírem valor analítico.
• Separação entre features e target: as variáveis explicativas (X) foram definidas a partir das características acadêmicas, demográficas e profissionais dos candidatos, enquanto a variável alvo (y) corresponde ao status de admission.
• Divisão em treino e teste: o conjunto de dados foi dividido em duas partes, com 80% para treino e 20% para teste, garantindo estratificação da variável alvo para preservar a proporção entre as classes.

Divisão dos dados

Nesta etapa, o conjunto de dados foi dividido em duas partes: treinamento e teste. O conjunto de treinamento é utilizado para ajustar o modelo de Random Forest, permitindo que ele aprenda os padrões que relacionam as variáveis de entrada com o resultado de admissão. Já o conjunto de teste é usado para avaliar o desempenho do modelo em dados nunca vistos, garantindo que a análise reflita a capacidade real de generalização.

A proporção de 80% para treino e 20% para teste foi adotada, e a divisão foi feita de forma estratificada, mantendo a proporção entre candidatos admitidos e não admitidos. Essa estratégia evita que o modelo aprenda de forma enviesada e assegura maior consistência na avaliação final.

# Divisão dos Dados
import pandas as pd
from sklearn.model_selection import train_test_split

# 1. Carregar a base pré-processada
df = pd.read_csv("./src/MBA.csv")

# 2. Converter variável-alvo para binária, caso ainda não esteja
df["admission"] = df["admission"].apply(lambda x: 1 if x == "Admit" else 0)

# 3. Separar features (X) e alvo (y)
X = df.drop(columns=["admission"])
y = df["admission"]

# 4. Divisão treino/teste (80/20) com estratificação
X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.2,
    stratify=y,
    random_state=42
)

# 5. Exibir informações
print("Tamanho do conjunto de treinamento:", X_train.shape)
print("Tamanho do conjunto de teste:", X_test.shape)
print("\nProporção de classes no treino:")
print(y_train.value_counts(normalize=True))
print("\nProporção de classes no teste:")
print(y_test.value_counts(normalize=True))

Treinamento do Modelo

# docs/random-forest/rf_viz.py
# Gera imagens SVG (matriz de confusão, importâncias e 1 árvore do ensemble)
# para embutir no MkDocs com exec="on" html="1".

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from io import StringIO
from sklearn.model_selection import train_test_split
from sklearn.metrics import (accuracy_score, classification_report,
                             confusion_matrix, ConfusionMatrixDisplay)
from sklearn.ensemble import RandomForestClassifier
from sklearn import tree

# ========================
#  Helpers de renderização
# ========================
def fig_to_svg():
    """Retorna a figura atual como string SVG e fecha a figura."""
    buf = StringIO()
    plt.tight_layout()
    plt.savefig(buf, format="svg", bbox_inches="tight")
    plt.close()
    return buf.getvalue()

def h2(txt):  # título HTML
    print(f"<h2 style='margin:16px 0 8px'>{txt}</h2>")

def h3(txt):
    print(f"<h3 style='margin:12px 0 6px'>{txt}</h3>")

# ==========
# 1) Dados
# ==========
# Ajuste o caminho se necessário
df = pd.read_csv("./src/MBA.csv")

# Pré-processamento essencial (alvo binário + codificação leve)
df["admission"] = df["admission"].fillna("Deny")
df["admission"] = (df["admission"] == "Admit").astype(int)

# imputações simples
for col in ["gmat", "work_exp"]:
    if df[col].isna().any():
        df[col] = df[col].fillna(df[col].median())
if "race" in df.columns and df["race"].isna().any():
    df["race"] = df["race"].fillna("Unknown")

# remove ID se existir
if "application_id" in df.columns:
    df = df.drop(columns=["application_id"])

# one-hot nas categóricas
cat_cols = df.select_dtypes(exclude=["number", "bool"]).columns
X = pd.get_dummies(df.drop(columns=["admission"]), columns=cat_cols, drop_first=True)
y = df["admission"]

# divisão
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42
)

# ==========
# 2) Modelo
# ==========
rf = RandomForestClassifier(
    n_estimators=300,
    max_depth=None,
    max_features="sqrt",
    oob_score=True,
    n_jobs=-1,
    random_state=42
)
rf.fit(X_train, y_train)

# ==================
# 3) Métricas texto
# ==================
y_pred = rf.predict(X_test)
acc = accuracy_score(y_test, y_pred)
rep = classification_report(y_test, y_pred, output_dict=True)
rep_df = (pd.DataFrame(rep).T
          .rename_axis("classe")
          .reset_index()[["classe","precision","recall","f1-score","support"]])

# Títulos e números principais
h2("Desempenho do Modelo")
print(f"<p><b>Acurácia (teste):</b> {acc:.4f} &nbsp;&nbsp;|&nbsp;&nbsp; "
      f"<b>OOB score:</b> {rf.oob_score_:.4f}</p>")
h3("Relatório de Classificação")
print(rep_df.to_html(index=False, float_format=lambda x: f"{x:.4f}"))

# =========================
# 4) Matriz de Confusão SVG
# =========================
cm = confusion_matrix(y_test, y_pred)
disp = ConfusionMatrixDisplay(cm, display_labels=[0,1])
disp.plot(values_format="d", cmap="Blues", colorbar=False)
plt.title("Matriz de Confusão — Random Forest")
print(fig_to_svg())

# ===================================
# 5) Importância das variáveis (Top15)
# ===================================
imp = (pd.Series(rf.feature_importances_, index=X.columns)
         .sort_values(ascending=False)
         .head(15))[::-1]  # invertido p/ barh crescer p/ cima

plt.figure(figsize=(8,5))
sns.barplot(x=imp.values, y=imp.index)
plt.xlabel("Score de Importância (MDI)")
plt.ylabel("Variável")
plt.title("Importância das Variáveis — Top 15")
plt.grid(axis="x", linestyle="--", alpha=0.5)
print(fig_to_svg())

# ==========================================
# 6) Uma árvore do ensemble (visão ilustrativa)
# ==========================================
# Pega um estimador e desenha até profundidade 3 para ficar legível
est = rf.estimators_[0]
plt.figure(figsize=(12,6))
tree.plot_tree(est, max_depth=3, fontsize=8, feature_names=X.columns, class_names=["0","1"], filled=True)
plt.title("Árvore Representativa (estimador 0) — max_depth=3")
print(fig_to_svg())

Avaliação do Modelo

O modelo de Random Forest apresentou um desempenho geral consistente, atingindo uma acurácia de 85,39% nos dados de teste e um OOB score de 84,88%, o que indica boa capacidade de generalização — ou seja, o modelo mantém resultados estáveis mesmo em amostras fora do treinamento.

A matriz de classificação mostra que o modelo tem excelente desempenho na classe 0 (não admitidos), com precisão de 87,8% e recall de 96,3%, resultando em um f1-score de 0,918. Já para a classe 1 (admitidos), o modelo apresenta uma precisão menor (49,3%) e recall de 21,1%, o que indica dificuldade em identificar todos os candidatos realmente admitidos — uma consequência comum em bases desbalanceadas, onde há muito mais casos de não admissão do que de admissão.

Mesmo com essa limitação, o modelo demonstra boa capacidade de separar os dois grupos, sendo mais conservador ao prever admissões (o que reduz falsos positivos, mas aumenta falsos negativos).

Importância das Variáveis

Abaixo estão as variáveis que mais contribuíram para as decisões do modelo Random Forest, segundo o método Mean Decrease in Impurity (MDI):

Observação:
O modelo dá maior peso ao desempenho acadêmico e profissional, reforçando que candidatos com GPA e GMAT altos e maior experiência de trabalho têm maior probabilidade de admissão.